KR20190123372A - 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법 - Google Patents

계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법 Download PDF

Info

Publication number
KR20190123372A
KR20190123372A KR1020180042456A KR20180042456A KR20190123372A KR 20190123372 A KR20190123372 A KR 20190123372A KR 1020180042456 A KR1020180042456 A KR 1020180042456A KR 20180042456 A KR20180042456 A KR 20180042456A KR 20190123372 A KR20190123372 A KR 20190123372A
Authority
KR
South Korea
Prior art keywords
face
learning
face recognition
model
facial feature
Prior art date
Application number
KR1020180042456A
Other languages
English (en)
Other versions
KR102138657B1 (ko
Inventor
이상웅
보둑미
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020180042456A priority Critical patent/KR102138657B1/ko
Publication of KR20190123372A publication Critical patent/KR20190123372A/ko
Application granted granted Critical
Publication of KR102138657B1 publication Critical patent/KR102138657B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/46—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 계층적 현업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법에 관한 것으로, 학습데이터의 협업 서브공간에서 얼굴인식을 위한 얼굴 이미지와 상기 얼굴 이미지에 대한 투영벡터 사이의 유클리드 거리와 상기 투영벡터에서 학습데이터에 대한 학습 벡터까지의 유클리드 거리를 고려하는 계층적 협업 표현 분류를 통해 노이즈, 조명효과에 영향을 받지 않고 정확하게 얼굴인식을 수행할 수 있도록 하는 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법에 관한 것이다.

Description

계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법{APPARATUS AND METHOD FOR ROBUST FACE RECOGNITION VIA HIERARCHICAL COLLABORATIVE REPRESENTATION}
본 발명은 계층적 현업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 학습데이터의 협업 서브공간에서 얼굴인식을 위한 얼굴 이미지와 상기 얼굴 이미지에 대한 투영벡터 사이의 유클리드 거리와 상기 투영벡터에서 학습데이터에 대한 학습벡터까지의 유클리드 거리를 고려하는 계층적 협업 표현 분류를 통해 노이즈, 조명효과에 영향을 받지 않고 정확하게 얼굴인식을 수행할 수 있도록 하는 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법에 관한 것이다.
최근 산업발전과 보안기술의 급속한 발전으로 인해 사람의 신체를 이용한 생체인식기술이 고도화됨에 따라 얼굴, 홍체, 지문, 정맥 등을 이용한 사용자의 인원을 인식하는 생체인식기술은 기존의 열쇠나 번호 등을 이용한 방법을 대체해 나가고 있는 실정이다.
특히, 얼굴인식 기술은 홍체, 지문, 정맥 등을 이용한 다른 생체인식기술이 사용자로 하여금 일정한 동작을 취하도록 요구하는 것과 달리, 비접촉식으로 자연스럽게 신원확인을 수행할 수 있도록 하며, 저렴한 설치 및 유지비용 등과 같은 다양한 장점으로 인해 상기 얼굴인식 기술을 상용화하기 위한 많은 노력과 연구가 진행 중에 있다.
이러한 얼굴인식 기술은 보안시스템, 모바일 로봇과 같은 다양한 분야에 적용되고 있으며, 아파트, 공항, 대행사(agencies)의 보안 관리와 같이 사람의 노력이 많이 필요로 했던 어려운 작업을 시스템이 자동적으로 수행하여 사용자에게 편의성을 제공하고 있다.
종래의 얼굴인식 기술은 기계학습을 기반으로 구축되고 있기 때문에, 정확한 얼굴인식을 위해서는 많은 수의 학습 얼굴이 필요하다. 그러나 현실적으로 많은 수의 학습 얼굴을 수집하는 것이 매우 어려워 상기 종래의 얼굴인식 기술은 실제적으로 얼굴인식에 대한 정확도가 매우 낮은 실정이다.
이러한 문제점을 해결하기 위해 최근에는, SRC(sparse representation-based classification) 및 CRC(collaborative representation-based classification) 기술이 개발되고 있다.
상기 SRC기술은 전체 데이터 세트(data set)에 대한 학습 벡터의 선형 조합으로 얼굴 특징 벡터를 나타낼 수 있기 때문에 적은 수의 학습 얼굴에 대해서도 높은 얼굴인식 정확도를 보이나, 상기 데이터 세트를 전체적으로 처리하기 때문에 그 계산 비용이 너무 높아 실제 현실에서 적용하기에는 그 한계가 있다.
또한 CRC기술은 학습 얼굴을 복수의 클래스로 나누어, 학습 얼굴의 협업 서브 공간에서 테스트 얼굴의 근사자와 테스트 얼굴 사이의 유클리드 거리를 계산하여 얼굴인식을 수행한다. 상기 CRC기술은 테스트 얼굴과 상기 근사자 사이의 유클리드 거리를 최소화한 결과에 의존하기 때문에 상기 각 클래스에 해당하는 학습얼굴의 수가 적으면 얼굴인식 정확도가 현저하게 떨어지는 문제점이 있다.
이에 따라 본 발명은 얼굴 이미지로부터 얼굴특징을 추출하기 위한 특징추출모델과 결합되어, 상기 추출한 얼굴특징을 학습하여 학습 얼굴의 협업 서브공간에서 테스트 얼굴과 상기 테스트 얼굴의 투영벡터까지의 유클리드 거리를 최소화한 후, 상기 투영벡터와 학습 벡터 사이의 유클리드 거리를 고려하는 2단계 얼굴인식 과정을 포함하는 계층적 협업 표현 분류기를 제안하여, 사용자 얼굴에 대한 상이한 포즈나 표현 및 조명의 변화에 따라 정확하고 실시간으로 상기 사용자를 인식할 수 있도록 하는 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법을 제공하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저 비특허 문헌, 이미지 분류를 위한 노벨 커널 협업 표현 방법(2014IEEE International conference on image processing(ICIP), 2013, pp.4241-4245)은 비선형 데이터를 고차원 특징 공간(커널 공간)으로 변환하여 학습 데이터를 분리할 수 있도록 하는 것으로, 상기 커널 공간에서의 새로운 특징들은 CRC에 의해 학습되어 얼굴인식을 수행할 수 있도록 한다.
또한 비특허 문헌 마진 분포 최적화를 통한 얼굴인식을 위한 다중 스케일 패치 협업 표현(ECCV'12, Springer-Verlag,, Berlin, Heidelberg)은 얼굴 이미지에 대한 서로 다른 스케일에 대한 정보를 이용하는 것으로, 각 스케일에 있어서, 테스트 이미지가 오버랩된 패치들의 출력이 결합됨으로써 분류되며, 이를 통해 테스트 이미지에 대한 얼굴을 인식할 수 있도록 한다.
상기 선행기술들은 얼굴인식을 수행함에 있어, CRC를 기반으로 하고 있기 때문에 학습 얼굴의 수가 적은 경우에는 얼굴인식의 정확도가 현저하게 떨어지는 문제점이 있다.
또한 상기 선행기술들은 기본적으로 CRC를 토대로 얼굴을 인식하는 방법에 대해서만 논의하고 있을 뿐, 본 발명의 학습 얼굴의 협업 서브 공간에서 테스트 얼굴과 테스트 얼굴의 투영벡터까지의 유클리드 거리를 최소화하는 제1 과정과 상기 투영벡터와 학습 벡터 사이의 유클리드 거리를 최소화하는 제2 과정을 포함하는 계층적 협업 표현 분류기를 통해 사용자를 신속하고 정확하게 인식하도록 하는 수단에 대한 구성이 전혀 제시되어 있지 않으며 이에 대한 그 어떠한 암시도 되어 있지 않다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 기계학습방법을 통해 학습얼굴에 대한 얼굴특징을 학습하여, 테스트 얼굴과 해당 테스트 얼굴에 대한 투영벡터 사이의 유클리드 거리를 최소화하고, 상기 투영벡터와 학습얼굴까지의 유클리드 거리를 최소화하는 계층적 협업 표현 분류기를 통해 얼굴인식을 실시간으로 수행할 수 있도록 하는 계층적 협업 표현 기반 분류기를 통한 강인한 얼굴인식 장치 및 그 방법을 제공하는 것을 목적으로 한다.
또한 본 발명은 상기 계층적 협업 표현 분류기에 얼굴 특징 추출을 위한 DCNN 모델 또는 LTP 모델을 결합하여 얼굴 이미지에 포함되는 랜덤 노이즈, 조명의 변화에 상관없이 더욱 정확하고 신속하게 얼굴인식을 주행할 수 있도록 하는 계층적 협업 표현 기반 분류기를 통한 강인한 얼굴인식 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
즉, 본 발명은 상기 계층적 협업 표현 분류기에 DCNN 모델과 LTP 모델을 선택적으로 적용하여 동일한 사용자 얼굴에 대한 상이한 포즈나 표현 및 조명의 변화에 따라 정확하고 실시간으로 상기 사용자의 신원을 확인할 수 있도록 하는 것이다.
본 발명의 일 실시예에 따른 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치는, 얼굴 이미지로 구성된 복수의 학습데이터를 학습하여 얼굴특징을 추출하기 위한 얼굴특징 추출용 학습모델을 생성하는 얼굴특징 추출용 학습모델 생성부, 상기 얼굴특징 추출용 학습모델에 의해 추출된 얼굴특징을 학습하여, 얼굴특징과 상기 얼굴특징에 대한 프로젝션 벡터 사이의 유클리드 거리에 따라 상기 얼굴특징에 대한 적어도 하나 이상의 후보 클래스를 분류하기 위한 제1 단계 분류용 학습모델을 생성하는 제1 단계 분류용 학습모델 생성부 및 제1 단계 분류용 학습모델에 의해 분류된 상기 적어도 하나 이상의 후보 클래스를 학습하여, 상기 프로젝션 벡터와 상기 후보 클래스에 대한 유클리드 거리에 따라 상기 후보 클래스를 재분류하는 제2 단계 분류용 학습모델을 생성하는 제2 단계 분류용 학습모델 생성부를 포함하는 것을 특징으로 한다.
또한 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치는, 상기 생성한 얼굴특징 추출용 학습모델에 특정 얼굴 이미지를 적용하여 얼굴특징을 추출하는 얼굴특징 추출부, 상기 제1 단계 분류용 학습모델에 상기 얼굴특징 추출부를 통해 추출한 얼굴특징을 적용하여, 해당 얼굴특징에 대한 적어도 하나 이상의 후보 클래스를 분류하는 제1 단계 분류기 및 상기 제2 단계 분류용 학습모델에, 상기 얼굴특징 추출부를 통해 추출한 얼굴특징과 제1 단계 분류기 통해 분류된 적어도 하나 이상의 후보 클래스를 적용하여, 상기 분류된 적어도 하나 이상의 후보 클래스를 재분류하는 제2 단계 분류기를 더 포함하며, 상기 제1 단계 분류기 및 제2 단계 분류기의 계층적 협업 표현을 통해 상기 특정 얼굴 이미지에 대한 얼굴 인식을 수행하기 위해 상기 학습데이터를 분류하는 것을 특징으로 한다.
또한 상기 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치는, 상기 얼굴특징 추출부를 통해 추출한 얼굴특징에 대한 프로젝션 벡터와 상기 제2 단계 분류기를 통해 재분류한 후보 클래스 간의 유클리드 거리를 비교하여 제일 작은 유클리드 거리를 가지는 후보 클래스를 선택함으로써, 상기 특정 얼굴 이미지에 대한 얼굴인식을 수행하는 얼굴인식부를 더 포함하는 것을 특징으로 한다.
또한 상기 얼굴특징 추출용 학습모델 생성부는, DCNN(deep convolutional neural network) 모델로 구성되거나, 또는 LTP(local ternary patterns) 모델로 구성되는 것을 특징으로 한다.
또한 상기 DCNN 모델은, 복수의 컨볼루션(convolution) 레이어, 상기 각 컨볼루션 레이어와 연결되는 복수의 맥스아웃(maxout) 레이어, 복수의 풀링(pooling) 레이어 및 소프트 맥스(softmax) 레이어를 포함하며, 각 학습데이터에 대한 고유의 특징을 공통의 세트로 변환함으로써, 얼굴특징을 추출하는 것을 특징으로 한다.
또한 상기 LTP 모델은, 상기 각 학습데이터를 복수의 블록으로 나누어, 상기 각 블록에 대한 LTP 코드를 히스토그램으로 수집하고, 상기 각 히스토그램을 여러 개의 빈(bin)으로 구성되는 결합된 특징 히스토그램으로 연결함으로써, 얼굴특징을 추출하는 것을 특징으로 한다.
아울러 본 발명의 일 실시예에 따른 계층적 협업 표현 기반 분류를 통한 얼굴인식 방법은, 얼굴특징 추출용 학습모델 생성부를 통해, 얼굴 이미지로 구성된 복수의 학습데이터를 학습하여 얼굴특징을 추출하기 위한 얼굴특징 추출용 학습모델을 생성하는 단계, 제1 단계 분류용 학습모델 생성부를 통해 상기 얼굴특징 추출용 학습모델을 통해 추출된 얼굴특징을 학습하여, 얼굴특징과 상기 얼굴특징에 대한 프로젝션 벡터 사이의 유클리드 거리에 따라 상기 얼굴특징에 대한 적어도 하나 이상의 후보 클래스를 분류하기 위한 제1 단계 분류용 학습모델을 생성하는 단계 및 제2 단계 분류용 학습모델 생성부를 통해 제1 단계 분류용 학습모델을 통해 분류된 상기 적어도 하나 이상의 후보 클래스를 학습하여, 상기 프로젝션 벡터와 상기 후보 클래스에 대한 유클리드 거리에 따라 상기 후보 클래스를 재분류하는 제2 단계 분류용 학습모델을 생성하는 단계를 포함하는 것을 특징으로 한다.
또한 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치는, 얼굴특징 추출부를 통해, 상기 생성한 얼굴특징 추출용 학습모델에 얼굴 이미지를 적용하여 얼굴특징을 추출하는 단계, 제 1단계 분류기를 통해, 상기 제1 단계 분류용 학습모델에 상기 얼굴특징 추출부에 의해 추출된 얼굴특징을 적용하여, 해당 얼굴특징에 대한 적어도 하나 이상의 후보 클래스를 분류하는 단계, 제 2단계 분류기를 통해, 상기 제2 단계 분류용 학습모델에, 상기 얼굴특징 추출부에 의해 추출된 얼굴특징과 제1 단계 분류기에 의해 분류된 적어도 하나 이상의 후보 클래스를 적용하여, 상기 분류된 적어도 하나 이상의 후보 클래스를 재분류하는 단계를 더 포함하며, 상기 제1 단계 분류기 및 제2 단계 분류기의 계층적 협업 표현을 통해 상기 얼굴 이미지에 대한 얼굴 인식을 수행하기 위해 상기 학습데이터를 분류하는 것을 특징으로 한다.
또한 계층적 협업 표현 기반 분류를 통한 얼굴인식 방법은, 얼굴인식부를 통해 제2 단계 분류기에 의해 재분류한 후보 클래스 중 상기 얼굴특징 추출부에 의해 추출된 얼굴특징에 대한 프로젝션 벡터와의 유클리드 거리가 제일 작은 후보 클래스를 선택함으로써, 얼굴 이미지에 대한 얼굴 인식을 수행하는 단계를 더 포함하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법에 따르면, 학습 얼굴의 협업 서브공간에서 테스트 얼굴로부터 상기 테스트 얼굴의 투영벡터까지의 유클리드 거리와, 상기 투영벡터에서 상기 학습얼굴가지의 유클리드 거리를 고려하는 계층적 협업 표현기반 분류기를 통해 얼굴인식 속도를 현저하게 향상시킬 수 있도록 하는 효과가 있다.
또한 상기 계층적 협업 표현기반 분류기와 얼굴 이미지로부터 특징점을 추출하기 위한 DCNN 모델 또는 LTP 모델을 선택적으로 결합하여, 랜덤 노이즈에 민감하지 않고 통제되지 않은 조명하에서도 신속하고 정확하게 얼굴을 인식할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법을 개략적으로 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 학습 얼굴의 부족으로 인해 발생할 수 있는 문제점을 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 투영 벡터의 두 가지의 전형적인 위치를 비교하여 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치의 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 계층적 협업 표현 분류기가 DCNN 모델과 결합하여 얼굴인식을 수행하는 과정을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 DCNN 모델의 구조를 나타낸 도면이다.
도 7은 발명의 일 실시예에 따른 계층적 협업 표현 분류기가 LTP 모델과 결합하여 얼굴인식을 수행하는 과정을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 LTP 모델을 설명하기 위해 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 계층적 협업 표현 분류기와 타 얼굴 특징 학습 모델과의 성능을 비교한 도면이다.
도 10은 본 발명의 일 실시예에 따른 AR 데이터 세트에서 랜덤 노이즈를 가진 얼굴 이미지의 인식률을 비교한 도면이다.
도 11은 본 발명의 일 실시예에 따른 AR 데이터 세트에서 랜덤 오클루젼을 가진 얼굴 이미지의 인식률을 비교한 도면이다.
도 12는 본 발명의 일 실시예에 따른 확장된 Yale B 데이터 세트에서 얼굴인식 성능을 비교한 도면이다.
도 13은 본 발명의 일 실시예에 따른 확장된 Yale B 데이터 세트에서 랜덤 노이즈를 가지는 얼굴 이미지의 인식률을 비교한 도면이다.
도 14는 본 발명의 일 실시예에 따른 LFW-a 데이터 세트에서 얼굴인식률을 비교한 도면이다.
도 15는 본 발명의 일 실시예에 따른 LFW-a 데이터 세트에서 랜덤 노이즈를 가지는 얼굴 이미지에 대한 인식성능을 설명하기 위해 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 FW-a 데이터 세트에서 랜덤 오클루젼을 가지는 얼굴 이미지에 대한 인식률을 비교한 도면이다.
도 17은 본 발명의 일 실시예에 따른 얼굴인식 절차를 나타낸 흐름도이다.
이하, 첨부한 도면을 참조하여 본 발명의 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.
도 1은 본 발명의 일 실시예에 따른 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법을 개략적으로 설명하기 위한 개념도이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치(이하, 얼굴인식 장치로 칭함)(100)는 학습데이터 베이스(310)에 저장되어 있는 얼굴 이미지로 구성된 학습데이터에 대한 얼굴특징을 기계학습하여 상기 학습 얼굴을 분류함으로써, 특정 사람에 대한 얼굴을 신속하고 정확하게 인식할 수 있도록 한다.
또한 상기 분류는 2단계 분류를 통해 수행되며, 제1 단계 분류는 학습 데이터의 협업 서브 공간에서 테스트 얼굴 이미지(즉, 인식하고자 하는 얼굴 이미지를 의미함)과 해당 테스트 얼굴의 근사자(approximator)사이의 유클리드 거리를 최소화하며, 제2 단계 분류에서는 상기 근사자로부터 각 클래스의 학습데이터까지의 유클리드 거리를 최소화한다. 이를 통해 얼굴인식 장치(100)는 얼굴인식 정확도를 현저하게 향상시킬 수 있다. 한편 상기 제1 단계 및 제 2단계 분류에 대해서는 도 4를 참조하여 상세히 설명하도록 한다.
즉, 본 발명의 얼굴인식 장치(100)는 인식하고자 하는 얼굴 이미지(즉, 테스트 얼굴 이미지, 이하 테스트 얼굴 이미지라 칭함)와 해당 테스트 얼굴 이미지의 근사자에 대한 유클리드 거리를 최소화하는 것에 의존하는 종래의 CRC기술과는 달리, 테스트 얼굴 이미지와 상기 근사자에 대한 유클리드 거리뿐만 아니라 상기 근사자와 학습데이터에 대한 유클리드 거리를 모두 고려하여 얼굴인식에 대한 정확도와 속도를 현저하게 향상시킬 수 있도록 하는 것이다.
또한 얼굴인식 장치(100)는 상기 학습한 결과 생성한 학습모델을 학습모델 데이터베이스(320)에 저장한다.
또한 얼굴인식 장치(100)는 사용자 단말(200)로부터 얼굴인식을 위한 얼굴 이미지가 입력되는 경우, 상기 저장한 학습모델에 상기 입력되는 얼굴 이미지를 적용함으로써, 해당 얼굴 이미지에 대한 신원을 확인하다. 이때, 상기 사용자 단말(200)은 스마트 폰, PDA, 노트북 PC 등과 같이 사용자가 구비한 무선통신단말을 의미한다.
한편 상기 사용자 단말(200)은 얼굴인식을 수행함에 있어, 상기에서 설명한 것과 같이 네트워크를 통해 얼굴인식 장치(100)로 촬영한 얼굴 이미지를 전송하여 상기 얼굴인식 장치(100)로부터 얼굴인식 결과를 수신할 수도 있으나, 상기 얼굴인식 장치(100)로부터 학습모델을 다운로드하여 사용자 단말(200) 자체에서 얼굴인식을 수행할 수 있다. 이때, 상기 사용자 단말(200)은 얼굴인식용 디바이스가 된다.
또한 얼굴인식 장치(100)는 보안 시스템과 연동하여, 적어도 하나 이상의 카메라(400)로부터 촬영되는 얼굴 이미지를 입력받아 해당 얼굴 이미지에 대한 신원을 확인할 수 있으며, 상기 확인 결과를 상기 보안 시스템을 관리하는 사용자 단말(200)로 전송할 수 있다. 이때, 상기 얼굴인식 장치(100)는 네트워크를 통해 보안 시스템과 연동될 수 있으며, 상기 보안 시스템과 통합되어 로컬에서 얼굴인식을 수행할 수 도 있다.
또한 얼굴인식 장치(100)는 모바일 로봇에 적용되어, 상기 모바일 로봇을 통해 얼굴인식을 수행할 수 있도록 구성될 수 도 있다. 즉, 상기 얼굴인식 장치(100)는 얼굴인식을 위한 다양한 분야에 적용되어 사용자의 신원을 확인할 수 있도록 구현될 수 있다.
또한 데이터베이스(300)는 학습을 위한 학습데이터를 저장하는 학습데이터 데이터베이스(310) 및 상기 얼굴인식 장치(100)에 의해 생성한 학습모델을 저장하는 학습모델 데이터베이스(320)를 포함하여 구성된다.
한편, 상기 얼굴특징은 학습데이터로 구성되는 얼굴 이미지로부터 추출되는 것으로, 차별적인 특징 추출 모델을 통해 추출된다. 상기 특징 추출 모델은 기계학습 기법인 DCNN(deep convolutional neural network) 모델 또는 LTP(local ternary patterns) 모델을 포함한다.
즉, 얼굴인식 장치(100)는 특징 추출 모델과 결합하여 상기 특징 추출 모델을 통해 학습얼굴로부터 추출되는 얼굴특징을 기계학습하며, 상기 기계학습을 통해 상기 학습얼굴을 분류함으로써, 학습얼굴에 대한 상이한 포즈나 표현, 노이즈, 조명효과에 대해서는 정확하고 신속하게 얼굴인식을 수행할 수 있도록 한다.
도 2는 본 발명의 일 실시예에 따른 학습얼굴의 부족으로 인해 발생할 수 있는 문제점을 설명하기 위해 나타낸 도면이다.
도 2에 도시한 바와 같이, X = [ X1 , X2 , X3 , . . . , XK ]에 의한 아이덴티티(identities)들의 K개 클래스들에 대한 세트가 표시되어 있다. 여기서 Xi는 i번째 클래스의 서브세트를 의미한다. 데이터 행렬의 Xi열의 수는 i번째 클래스의 학습 벡터의 수와 같다. 또한 상기 얼굴인식 장치(100)에서 학습을 수행함에 있어, 데이터 행렬 X에 대한 이미지의 레이블 셋 Lx가 필요하다. 또한 얼굴인식 장치(100)는 다음의 [수학식 1]에 따라 임의의 얼굴 특징 벡터 y에 대한 새로운 표현을 찾아 전체 데이터 세트 상의 모든 학습 벡터에 의해 효과적으로 표현될 수 있도록 한다.
[수학식 1]
Figure pat00001
여기서 y는 얼굴 특징 벡터를 나타내며, α는 표현벡터(representation vector)를 의미한다. 상기 벡터 α에 대한 이상적인 솔루션은 l2-norm 알고리즘의 최소화 문제를 푸는 것으로 발견할 수 있다. 그러나 상기 l2-norm 알고리즘은 NP-hard(non-deterministic polynomial-time hard)문제 또는 해답에 대해 매우 느리게 수렴하기 때문에 실패할 수 있다.
종래의 CRC 기술에 대한 일반적인 전략은 학습데이터에 의해 채워지는 얼굴 서브 공간(즉, 협업 서브 공간) Ω로 폴링(fall)되는
Figure pat00002
의 최소 근사치를 찾기 위한 것이고, 이러한 상기 얼굴 서브 공간 Ω에 의해 선형적으로 표현될 수 있다. 다시 말해, 벡터
Figure pat00003
는 상기 서브 공간 Ω의 내에 위치하는 벡터 y의 프로젝션(projection) 벡터이다.
대부분의 경우, CRC는 테스트 얼굴이 오브컴플리트(over complete)한 학습 서브 공간 Ω에 의해 표현되고, 상기 프로젝션 벡터가 해당 서브 공간에 완전하게 들어 있기 때문에 얼굴 인식 정확도가 높다. 그러나 상술한 바와 같이 종래의 CRC는 얼굴 인식을 사용하는 다양한 생체 인식 시스템에서 학습 샘플의 다양성으로 인해 얼굴 인식 정확도가 현저하게 떨어지는 문제점이 있다.
테스트 얼굴 이미지 y는 대게 매우 많은 다양한 학습얼굴을 커버할 필요가 있는 고차원 얼굴 공간에 속한다. 따라서 벡터 y는 협업 서브 공간 쉽게 폴 아웃(fall out)되고 상기 벡터 y의 프로젝션 벡터
Figure pat00004
는 상기 협업 서브 공간 Ω의 경계 근처에 위치할 수 있다. 이 경우에 본 발명의 얼굴인식 장치(100)는 프로젝션 벡터
Figure pat00005
로부터 학습 벡터까지의 유클리드 거리를 산출할 수 있다. 도 2에 도시한 것과 같이, 테스트 얼굴이 클래스 X1에 속한다고 가정할 경우, 테스트 얼굴 이미지을 완전하게 표현하기 위한 학습데이터의 부족성 때문에 테스트 얼굴 이미지의 프로젝션 벡터
Figure pat00006
는 내부에 폴링(falling)되는 것 대신에 협업 서브 공간 Ω의 경계 근처로 폴(fall)된다. 따라서 클래스 X1과 클래스 X2의 대한 대부분의 학습데이터는 상기 벡터
Figure pat00007
와는 거리가 멀다. 이 경우 종래의 CRC기술은 테스트 얼굴의 신원을 예측하지 못하는 문제점이 있다. 이러한 이유는 종래의 CRC기술은 협업 서브 공간 Ω에서 테스트 얼굴 이미지 y에서 상기 y의 프로젝션 벡터
Figure pat00008
까지의 유클리드 거리를 최소화하는 데에 초점이 맞춰져 있는 반면에 이 프로젝션 벡터
Figure pat00009
에서 학습 벡터까지의 유클리드 거리는 고려되지 않기 때문이다.
다음으로 도 3을 참조하여 프로젝션 벡터
Figure pat00010
의 두 가지 일반적인 위치를 비교하여 설명하도록 한다.
도 3의 (a)는 협업 서브 공간 Ω의 경계 근처에 프로젝션 벡터
Figure pat00011
가 폴링된 것을 나타낸 도면이며, 도 3의 (b)는 협업 서브 공간 Ω의 중심 근처에 프로젝션 벡터
Figure pat00012
가 폴링된 것을 나타낸 도면이다.
도 3의 (a)에 나타낸 프로젝션 벡터
Figure pat00013
의 위치는 l2-norm square
Figure pat00014
인 벡터
Figure pat00015
에 의해 표현된다.
또한 도 3의 (b)에 나타낸 프로젝션 벡터
Figure pat00016
의 위치는 l2-norm square
Figure pat00017
인 벡터
Figure pat00018
에 의해 표현된다. 이 결과는 표현 벡터 α1의 l2-norm square
Figure pat00019
가 표현벡터 α2의 l2-norm square
Figure pat00020
보다 훨씬 더 큰 것을 보여준다. 또한 표현벡터 α2는 사람의 얼굴을 인식하는데 표현벡터 α1보다 더 신뢰성이 있는 것을 보여준다. 또한 l2-norm square를 최소화할 수 있다면, 프로젝션 벡터
Figure pat00021
는 협업 서브 공간 Ω의 중심에 더 가깝게 폴링된다는 것을 알 수 있으며, 이때 테스트 얼굴은 더욱 정확하게 인식될 수 있다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 제1 단계 분류기 및 제 2단계 분류기를 포함하는 계층적 협업 표현 기반 분류기를 통해 테스트 얼굴 이미지 y와 해당 테스트 얼굴의 프로젝션 벡터
Figure pat00022
사이의 유클리드 거리를 최소화할 뿐만 아니라, 이 프로젝션 벡터
Figure pat00023
에서부터 상기 학습 클래스까지의 유클리드 거리를 최소화함으로써, 상기 프로젝션 벡터
Figure pat00024
가 협업 서브 공간 Ω와 클래스 i의 중심에 가능한 가깝게 폴링되도록 하여 적은 수의 학습얼굴에 대해서는 얼굴인식의 정확도를 현저하게 향상시킬 수 있도록 한다.
본 발명에서 이론적으로, 표현벡터 α에 대한 솔루션은 다음의 [수학식 2]를 통해 l1-norm 최소화 문제의 확장된 공식을 사용하여 구할 수 있다.
[수학식 2]
Figure pat00025
여기서 wi(i는 1에서 K값을 가짐)는 정규화 가중치(regularization weights)를 나타내고 ε1 와 ε2는 작은 상수이다. 상기 [수학식 2]의 솔루션은 벡터
Figure pat00026
이며, 협업 서브 공간 Ω에서 테스트 벡터 y를 분류하기에 충분하지 않다. 이 최적화 문제는 주된 제약조건
Figure pat00027
와 추가적이 제약조건인
Figure pat00028
(i는 1에서 K값을 가짐)의 두 가지 유형의 제약 조건을 따른다. 상기 주된 제약조건
Figure pat00029
는 효율적인 근사범위 ε1을 가지는 벡터 α를 최적화하여 y에서 밀집한 작은 노이즈를 설명하기 위한 것이다. 또한 본 발명은 추가적인 제약 조건
Figure pat00030
를 사용하여 코딩 벡터 Xα로부터 협업 서브 공간 Ω내의 각 클래스 Xi에서 학습얼굴의 코딩 벡터까지의 유클리드 거리를 최소화할 것을 제안한다.
전체적으로 추가 제약 조건
Figure pat00031
(i는 1에서 K값을 가짐)은 ε2 의 범위에서 사전 지식과 각 특정 문제의 경합에 따라 자동으로 선택되는 정규화 가중치 wi로 근사화된다. 다음으로 이러한 파라미터의 선택에 대해 설명하도록 한다.
비록 상기 [수학식 2]에 대한 솔루션은 l1-norm 최소화 알고리즘을 사용하여 찾을 수 있으나, 이 알고리즘은 매우 느리게 수렴하는 문제점이 있다. 따라서 본 발명에서는 얼굴 인식 성능을 향상시키고 상기 l1-norm 최소화 알고리즘보다 더 강건한 l2-norm 최소화 알고리즘으로 완전히 대체하여 사용하도록 한다. 이는 상기 l1-norm 최소화 알고리즘보다 훨씬 낮은 복잡도와 상기 l1-norm 최소화 알고리즘에 의한 정확도와 거의 동일한 정확도를 보여준다.
결과적으로 X에 의한 y의 표현은 다음의 [수학식 3]에 의해 공식화될 수 있다.
[수학식 3]
Figure pat00032
여기서 τ는 정규화 파라미터이다. 원래의 협업 표현은 wi(i는 1에서 K값을 가짐)가 0일 때, 본 발명의 특별한 케이스이다. 사실, 더 나은 정규화 가중치 세트인 wi를 선택하는 것은, 프로젝션 벡터
Figure pat00033
가 협업 서브 공간 Ω의 중심 근처에 있고, 얼굴이 속한 클래스에 가깝게 만드는 것이 중요하다.
이러한 이유로 본 발명은 제1 단계 분류기 및 제2 단계 분류기를 포함하는 계층적 협업 표현 기반 분류기를 제안한다. 즉, 상기 계층적 협업 표현 기반 분류기는 얼굴 인식을 위해 두 단계로 구성되며, 정규화 가중치 wi는 상기 제1 단계 분류기를 통해 0으로 설정되고, 상기 제2 단계 분류기를 통해 업데이트 된다.
한편 상기 계층적 협업 표현 기반 분류기는 도 4를 참조하여 상세히 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치의 구성을 나타낸 블록도이다.
도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치(100)는 인식을 위한 얼굴 이미지를 수집하는 얼굴 이미지 수집부(110), 얼굴 이미지로 구성된 복수의 학습데이터를 학습하여 얼굴특징을 추출하기 위한 얼굴특징 추출용 학습모델을 생성하는 얼굴특징 추출용 학습모델 생성부(120), 상기 얼굴특징 추출용 학습모델을 통해 추출된 얼굴특징을 학습하여 각 얼굴특징에 대한 적어도 하나 이상의 후보 클래스를 분류하기 위한 제 1단계 분류용 학습모델 생성부(130), 상기 제1 단계 분류용 학습모델 생성부를 통해 분류된 상기 적어도 하나 이상의 후보 클래스를 학습하여, 상기 각 얼굴특징에 대해 상기 분류한 적어도 하나 이상의 후보 클래스를 재분류하는 제2 단계 분류용 학습모델 생성부(140), 상기 얼굴특징 추출용 학습모델에 상기 얼굴 이미지 수집부(110)를 통해 수집한 얼굴 인식을 위한 특정 얼굴 이미지를 적용하여 얼굴특징을 추출하는 얼굴특징 추출부(150), 상기 생성한 제1 단계 분류용 학습모델 및 제2 단계 분류용 학습모델을 통해 얼굴 인식을 위한 상기 학습데이터를 분류하는 계층적 협업 표현 기반 분류기(160), 상기 얼굴 이미지 수집부(110)를 통해 수집한 특정 얼굴 이미지에 얼굴인식을 수행하고, 인식한 결과를 사용자에게 제공하는 얼굴인식부(170) 및 상기 얼굴인식 장치(100)를 전반적으로 제어하기 위한 제어부(180)를 포함하여 구성된다.
또한 얼굴 이미지 수집부(110)는 상기 얼굴인식 장치(100)를 통해 얼굴을 인식(즉, 해당 얼굴에 대한 신원을 확인)하기 위한 얼굴 이미지를 수집한다.
상기 얼굴 이미지는 적어도 하나 이상의 사용자 단말(200)로부터 수집되거나, CCTV 등과 같이 적어도 하나 이상의 카메라(400)로부터 수집될 수 있다. 다만, 상기 얼굴 이미지 수집부(110)는 얼굴인식을 위해 얼굴 이미지를 수집하는 것으로, 사용자 단말(200), 카메라(400)뿐만 아니라 웹사이트를 통해 수집될 수도 있다. 즉, 본 발명에서 얼굴 이지미를 수집하는 방법에 대해서는 그 제한을 두지 않는다.
또한 얼굴 이미지 수집부(110)는 상기 얼굴특징 추출용 학습모델 생성부(120), 상기 제1 단계 분류용 학습모델 생성부(130), 상기 제2 단계 분류용 학습모델 생성부(140)에서 생성되는 각각의 학습모델을 업데이트할 수 있도록 학습데이터의 기반이 되는 얼굴 이미지를 주기적으로 수집할 수 있다. 즉, 얼굴 이미지 수집부(110)는 사용자 단말(200) 또는 얼굴 이미지를 제공하는 기관으로부터 얼굴 이미지를 주기적으로 수집하여 상기 학습데이터 데이터베이스(310)에 상기 수집한 얼굴 이미지를 반영함으로써, 상기 각각의 학습모델을 업데이트할 수 있도록 한다.
또한 얼굴 특징 추출용 학습모델 생성부(120)는 얼굴 이미지로부터 얼굴특징을 추출하는 기능을 수행하기 위한 얼굴 특징 추출용 학습모델을 생성하는 기능을 수행하며, 상기 얼굴 특징 추출부(150)는 상기 계층적 협업 표현 기반 분류기(160)의 학습대상이 되는 학습데이터로부터 얼굴 특징을 추출하거나, 상기 얼굴 이미지 수집부(110)를 통해 수집되는 얼굴인식을 위한 특정 얼굴이미지로부터 얼굴 특징을 추출한다.
한편 상기 얼굴 특징 추출용 학습모델 생성부(120)는 DCNN(deep convolutional neural network) 모델 또는 LTP(local ternary patterns) 모델로 구성될 수 있으며, 상기 DCNN 모델 및 LTP 모델은 도 5 및 도 6을 각각 참조하여 상세히 설명하도록 한다.
또한 제1 단계 분류용 학습모델 생성부(130)는 상기 얼굴특징 추출용 학습모델을 통해 추출된 얼굴특징을 학습하여, 상기 각 얼굴특징에 대한 적어도 하나 이상의 후보 클래스를 분류하기 위한 것으로, 상기 분류는 상기 각 얼굴특징과 상기 각 얼굴특징에 대한 프로젝션 벡터 사이의 유클리드 거리에 따라 수행된다.
또한 제 2단계 분류 학습모델 생성부(140)는 상기 제1 단계 분류용 학습모델 생성부(130)를 통해 분류된 상기 적어도 하나 이상의 후보 클래스를 학습하여, 상기 각 얼굴특징에 대한 프로젝션 벡터와 상기 각 얼굴특징에 대해 분류된 상기 적어도 하나 이상의 후보 클래스에 대한 유클리드 거리에 따라 상기 분류된 적어도 하나 이상의 후보 클래스를 재분류하는 기능을 수행한다.
또한 계층적 협업 표현 기반 분류기(160)는 제1 단계 분류기(161) 및 제2 단계 분류기(162)를 포함하여 구성된다. 즉, 상기 계층적 협업 표현 기반 분류기(160)는 제1 단계 분류기(161) 및 제2 단계 분류기(162)의 계층적 협업을 통해 학습얼굴을 분류함으로써, 신속하고 정확하게 얼굴인식을 수행할 수 있도록 한다.
또한 제1 단계 분류기(161)는 상기 얼굴특징 추출부(150)에 의해 추출된 얼굴특징을 하기 제1 단계 분류용 학습모델에 적용하여 해당 얼굴특징에 대한 적어도 하나 이상의 후보 클래스를 분류한다.
또한 제2 단계 분류기(162)는 상기 얼굴특징 추출부(150)에 의해 추출된 얼굴특징과, 상기 제1 단계 분류기(161)에 의해 분류된 해당 얼굴특징에 대한 적어도 하나 이상의 후보 클래스를 상기 제2 단계 분류용 학습모델에 적용하여 상기 얼굴특징에 대한 적어도 하나 이상의 후보 클래스를 재분류함으로써, 상기 얼굴인식부(170)를 통해 해당 얼굴특징에 대한 얼굴인식을 정확하고 신속하게 수행할 수 있도록 한다.
상기 도 3을 참조하여 설명한 것과 같이, 상기 제1 단계 분류기(161)는 정규화 가중치 wi를 0으로 설정한다. 이때, 상기 제1 단계 분류기(161)는 원래의 CRC(협업 표현 기반 분류기)가 된다. 이를 통해 상기 제1 단계 분류기(161)는 CRC의 두 가지 이점을 얻을 수 있다.
하나는, 원래의 CRC는 테스트 얼굴 y가 이들 클래스에 속할 가능성이 매우 낮으므로, 임계값 θ보다 높은 정규화된 잔차(residual)를 갖는 대부분의 클래스를 신속하게 필터링하기 위해 사용될 수 있다. 또 다른 하나는, 상기 제1 단계 분류기(161)는 상기 제2 단계 분류기(162)를 통해 가중치 wi를 업데이트하기 위해 프로젝션 벡터
Figure pat00034
로부터 학습 클래스까지의 모든 유클리드 거리를 제공한다.
실제로 상기 제1단계 분류기는 테스트 벡터 y가 가장 속할 수 있는 소수의 후보 클래스를 선택하는 강력한 다중-클래스 분류기이다. 그런 다음, 제2 단계 분류기에서 상기 소수의 후보 클래스 중 가장 적합한 후보를 선택한다. 이러한 전략은 계산상의 복잡성을 줄이고, 더 높은 인식 정확도를 달성하기 위한 것이다. 임계값 θ는 정규화된 잔차의 비율을 기반으로 선택된다. 특히, 클래스 i의 정규화된 잔차는 다음의 [수학식 4]에 의해 계산된다.
[수학식 4]
Figure pat00035
여기서,
Figure pat00036
는 클래스 i의 계수 벡터이다. 클래스 i 및 상기 클래스 i의 학습 샘플은 다음의 수학식 5를 만족하면 상기 제2 단계 분류기(162)를 통해 제외된다.
[수학식 5]
Figure pat00037
여기서, r0은 최소 정규화 잔차를 나타낸다. 이때, 상기 클래스 i의 정규화된 잔차는 테스트 얼굴 y가 클래스 i에 얼마나 가까운지를 보여주기 때문에 i가 1내지 K값을 가지는 정규화된 잔차 ri에 비례하는 정규화 가중치를 설정한다. 결과적으로 상기 [수학식 3]은 [수학식 6]으로 수정될 수 있고, 다음의 [수학식 7]에 따라 η를 계산하여 가장 높은 인식 정확도를 얻을 수 있다.
[수학식 6]
Figure pat00038
[수학식 7]
Figure pat00039
여기서 r0은 최소 정규화된 잔차이다. 정규화 요소 η는 τ 및 ri(i는 1에서 K값을 가짐)를 포함하는 상기 [수학식 6]의 파리미터들에 대한 밸런스(balance)를 맞추기 위한 것이다. 결과적으로 상기 제1 단계 분류기(131)는 X' = [X'1, X'2, X'3, . . . , X'K'] 인 아이덴티티(identities)들의 K'에 대한 새로운 세트를 수집한다. 여기서 X'i는 i번째 클래스의 서브 세트이다. 이러한 소수의 K'클래스에 대한 세트는 제2 단계 분류기(132)에 의해 분류된다. 또한 상기 제1 단계 분류기(141)에 의해 설정된 가중치 wi의 세트는 계층적 협업 표현 기반 분류기(160)의 성능을 향상시키는데 사용된다.
즉, 제1 단계 분류기(161)는 제1 단계 분류용 학습모델 생성부(130)를 통해 생성한 제1 단계 분류용 학습모델을 이용하여, 특정 얼굴 이미지에 대한 얼굴을 인식하기 위해 상기 학습데이터로부터 소수의 후보 클래스(즉, 적어도 하나 이상의 후보 클래스)를 분류하는 기능을 수행한다.
또한 제2 단계 분류기(162)는 다음의 [수학식 8]에 따라 정규화된 최소 제곱법을 사용하여 학습 세트 X'에 대해 테스트 벡터 y를 인코딩하기 위한 향상된 협업 표현 방법을 적용한다.
[수학식 8]
Figure pat00040
CRC에서와 같이, 상기 [수학식 8]을 위한 솔루션은 다음의 [수학식 9]를 통해 분석적으로 도출된다.
[수학식 9]
Figure pat00041
또한 상기 제2 단계 분류기(142)는 다음의 [수학식 10]을 통해 클래스의 정규화된 잔차를 계산한다.
[수학식 10]
Figure pat00042
여기서,
Figure pat00043
는 클래스 i의 계수 벡터이다. 최소 정규화된 재구성 오차(reconstruction error)를 발견함으로써, y의 인식은 다음의 [수학식 11]을 통해 계산된다.
[수학식 11]
Figure pat00044
즉, 상기 제2 단계 분류기(162)는 특정 얼굴 이미지에 대한 얼굴을 인식하기 위해 상기 제1 단계 분류기(161)를 통해 분류한 적어도 하나 이상의의 후보 클래스 중 가장 접합한 후보 클래스를 재분류하는 기능을 수행하는 것이다.
또한 얼굴인식부(170)는 상기 얼굴 이미지 수집부(110)를 통해 수집한 얼굴 이미지를 토대로 얼굴을 인식하기 위한 기능을 수행한다.
즉, 상기 얼굴인식부(170)는 얼굴 이미지 수집부(110)를 통해 얼굴 인식을 위한 특정 얼굴 이미지가 수신되는 경우, 상기 얼굴특징 추출부(150), 제1 단계 분류기(161) 및 제2 단계 분류기(162)를 제어하여, 상기 특정 얼굴 이미지에 대한 얼굴특징, 해당 얼굴특징에 대한 적어도 하나 이상의 후보 클래스의 분류 및 상기 후보 클래스를 재분류하도록 한다.
또한 얼굴인식부(170)는 상기 재분류한 후보 클래스 중 상기 얼굴특징 추출부(150)를 통해 추출한 얼굴특징에 대한 프로젝션 벡터와의 유클리드 거리가 제일 작은 후보 클래스를 선택함으로써, 상기 특정 얼굴에 대한 얼굴인식을 수행한다.
또한 얼굴인식부(170)는 상기 인식한 결과를 얼굴인식을 요청한 사용자 단말(200)로 제공하는 기능을 수행한다.
한편 본 발명의 일 실시예에 따른 상기 얼굴특징을 추출하는 추출 모델은 DCNN 모델 또는 LTP 모델을 이용할 수 있으며, 상기 DCNN 모델 또는 LTP 모델은 상기 계층적 협업 표현 기반 분류기(160)와 결합되어 신속하고 정확하게 테스트 얼굴을 인식할 수 있도록 한다. 상기 DCNN 모델 및 LTP 모델은 도 5와 도 6 및 도 7과 도 8을 참조하여 상세히 설명하도록 한다.
또한 제어부(180)는 상기 얼굴인식 장치(100)의 각 구성부분에 대한 구동 및 데이터 이동을 포함하여 상기 얼굴인식 장치(100)의 전반적인 제어를 수행한다.
도 5는 본 발명의 일 실시예에 따른 계층적 협업 표현 분류기가 DCNN 모델과 결합하여 얼굴인식을 수행하는 과정을 나타낸 도면이며, 도 6은 본 발명의 일 실시예에 따른 DCNN 모델의 구조를 나타낸 도면이다.
도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 계층적 협업 표현 분류기(160)는 DCNN 모델로부터 추출되는 얼굴특징을 토대로 특정 얼굴 이미지에 대한 얼굴인식을 수행할 수 있도록 구현될 수 있다.
즉, 얼굴인식 장치(100)의 얼굴특징 추출용 학습모델 생성부(120)는 DCNN 모델로 구성될 수 있으며, 상기 DCNN 모델은 학습데이터를 구성하는 얼굴 이미지를 학습하여 상기 얼굴이미지로터 얼굴특징을 추출하기 위한 얼굴특징 추출용 학습모델을 생성한다. 즉, 상기 DCNN 모델은 상기 얼굴특징 추출용 학습모델 학습모델을 생성하여, 학습데이터에 대한 차별적인 얼굴특징을 공통의 세트로 변환하는 기능을 수행하는 것이다.
또한 계층적 협업 표현 기반 분류기(160)는 상기 도 4를 참조하여 설명한 것과 같이 상기 DCNN 모델에 의해 추출되는 얼굴특징을 학습하여 생성되는 제1 단계 분류용 학습모델과 상기 제1 단계 분류용 학습모델의 출력을 학습하여 생성되는 제2 단계 분류용 학습모델을 이용하여 특정 얼굴 이미지에 대한 얼굴을 인식하기 위한 제1 단계 및 제2 단계 분류과정을 수행하게 된다.
또한 상기 얼굴인식부(170)는 상기 도 4를 참조하여 설명한 것과 같이 상기 계층적 협업 표현 기반 분류기(160)를 토대로 최종적으로 분류되는 후보 클래스 중 어느 하나를 선택함으로써, 상기 특정 얼굴 이미지에 대한 얼굴인식을 수행하게 된다.
한편 본 발명에서는 상기 각 학습데이터에 대한 이미지의 크기는 128 x 128 x 1로 조정되며(다만, 이에 한정하지 않음), 도 6에 도시한 바와 같이, 상기 DCNN은 복수의 컨볼루션 레이어(convolutional layer)(예: 8개), 상기 각 컨볼루션 레이어와 연결되는 복수의 맥스아웃(maxout)레이어를 포함하여 구성된다.
상기 맥스아웃 레이어는 일반적인 맥스아웃 네트워크와는 달리 최대 특징 맵(maximal feature maps)의 레이어로 간주된다. 상세하게는 각각의 컨볼루션 레이어는 n 그룹의 특징맵으로 무작위로 카테고라이즈(catagorized)된다. 이러한 그룹으로부터 동일한 좌표에 있는 특징값을 비교하여 최대값을 선택한 다음, 맥스아웃 레이어의 동일한 좌표에 상기 선택한 최대값을 할당한다. 상기 맥스아웃 레이어는 얼굴인식의 성능 향상 측면에서 몇 가지 중요한 장점이 있다. 첫째, 맥스아웃 레이어는 필요한 뉴런의 수와 각 레이어에서의 네트워크의 파라미터를 최소화하는데 중요한 역할을 한다. 둘째, 맥스아웃 레이어는 효율적인 활성 함수(activation functions)들의 세트로 간주되며, 이는 기존의 활성 함수보다 빠르다. 이러한 두 가지 장점은 다른 딥 컨볼루션 네트워크보다 훨씬 빠르게 만들어준다. 마지막으로, 맥스아웃 레이어를 사용하여 우수한 특징 추출 모델을 구축하는데 유효한 경쟁 특징(competitive feature)들을 빠르게 얻을 수 있는 장점이 있다.
또한 본 발명의 DCNN 모델은 복수의 풀링 레이어(pooling layer)(예: 4개)를 더 포함하여 구성되며, 상기 각 풀링 레이어는 다운 샘플링 특징 맵에 적용되고, 학습 파라미터의 수를 줄이는 기능을 수행한다. 또한 상기 DCNN 모델은 오버피팅(overfitting)으로부터 DCNN 모델을 보호하기 위한 좋은 기술로 간주되는 드롭아웃 레이어(dropout layer)를 더 포함한다. 또한 학습 단계에서 목적 함수(objective function)를 생성하기 위해 소프트 맥스 레이어(softmax layer)가 추가된다.
상기에서 설명한 것과 같이, 상기 DCNN을 통해 추출되는 얼굴특징은 상기 계층적 협업 표현 기반 분류기(160)의 입력으로써, 사용된다.
도 7은 발명의 일 실시예에 따른 계층적 협업 표현 분류기가 LTP 모델과 결합하여 얼굴인식을 수행하는 과정을 나타낸 도면이며, 도 8은 본 발명의 일 실시예에 따른 LTP 모델을 설명하기 위해 나타낸 도면이다.
도 7 도시한 바와 같이, 본 발명의 일 실시예에 따른 계층적 협업 표현 분류기(160)는 LTP 모델과 결합하여 상기 LTP 모델로부터 추출되는 얼굴특징을 토대로 특정 얼굴 이미지에 대한 얼굴인식을 수행할 수 있도록 구현될 수 있다.
즉, 얼굴인식 장치(100)의 얼굴특징 추출용 학습모델 생성부(120)는 LTP 모델로 구성될 수 있다.
따라서, 계층적 협업 표현 기반 분류기(160)는 상기 LTP 모델로 부터 추출되는 얼굴특징을 학습하여 생성되는 제1 단계 분류용 학습모델 상기 제1 단계 분류용 학습모델의 출력을 학습하여 생성되는 제2 단계 분류용 학습모델을 이용하여 특정 얼굴 이미지에 대한 얼굴을 인식하기 위한 제1 단계 및 제2 단계 분류과정을 수행하게 된다.
또한 상기 얼굴인식부(170)는 상기 도 4를 참조하여 설명한 것과 같이 상기 계층적 협업 표현 기반 분류기(160)를 토대로 최종적으로 분류되는 후보 클래스 중 어느 하나를 선택함으로써, 상기 특정 얼굴 이미지에 대한 얼굴인식을 수행하게 된다.
한편 상기 LTP 모델은 제어되지 않은 조명의 효과를 크게 줄일 뿐만 아니라 무작위 노이즈에 민감하지 않기 때문에 계층적 협업 표현 기반 분류기(160)의 성능을 크게 향상시킬 수 있는 장점이 있다.
도 8에 도시 한 바와 같이, LTP 오퍼레이터(operator)는 얼굴 이미지의 중심 픽셀과 이웃 픽셀 간에 대한 차이가 삼중 코드(trinary code)로 인코딩되는 얼굴 이미지의 3x3 픽셀블록에서 작동한다. 상기 LTP 코드는 다음의 [수학식 12]에 의해 계산된다.
[수학식 12]
Figure pat00045
여기서, lc는 중심 픽셀의 그레이 레벨을 나타내고 lp는 이웃 픽셀의 그레이 레벨을 나타낸다. 또한 p는 0 또는 1의 값을 가진다. 또한 f(lp, lc, th )는 임계함수를 나타내며, 상기 임계함수는 다음의 [수학식 13]에 의해 계산된다.
[수학식 13]
Figure pat00046
여기서, th는 임계값을 나타낸다. 만약, 임계값 th가 충분히 큰 경우, 노이즈에 의해 야기되는 중심 픽셀의 작은 그레이 변화는 이미지 내의 중심픽셀의 이웃 픽셀에 대한 코드들을 변화시킬 수 없다. 이것이 LTP 모델이 얼굴 이미지에 발생되는 노이즈에 둔감한 이유이다. 본 발명에서 상기 th는 5로 설정될 수 있으며, 특징 차원을 줄이기 위해 LTP는 효과적인 코딩체계에 의해 구성된다. 상기 LTP 모델은 다음의 [수학식 14] 및 [수학식 15]에 의해 포지티브(positive) 및 네거티브(negative) LBP 부분으로 나누어진다.
[수학식 14]
Figure pat00047
[수학식 15]
Figure pat00048
이에 따라, 상기 LTP 모델은 얼굴 특징을 추출하기 위한 두 개의 LPB 이미지를 생성한다. 로컬 특징을 성공적으로 보존하고 얼굴의 공간 위치정보를 유지하기 위해 얼굴 이미지를 블록으로 나눔으로써, LTP 모델의 고차원적인 특징을 구성한다. 또한 본 발명에서 상기 블록은 8x8 픽셀의 크기로 고정(다만, 이에 한정하지 않음)되며 각 블록에서 LTP 코드의 발생은 히스토그램으로 수집된다. 이러한 히스토그램은 여러 개의 빈(bin)으로 구성되는 결합된 특징 히스토그램으로 연결된다. 또한 차원의 저주를 피하기 위해, 상기 고차원의 히스토그램을 훨씬 낮은 차원의 특징벡터로 변환하기 위해 PCA(principal component analysis)방법을 적용하며, 상기 PCA의 출력은 얼굴 특징 벡터이다.
즉, LTP 모델의 출력은 상기 DCNN 모델에서와 같이 상기 계층적 협업 표현 기반 분류기(160)의 입력으로 사용되며, 상기 LTP 모델은 실시간 얼굴 인식을 위해 더 우수한 특징을 추출할 수 있다.
도 9는 본 발명의 일 실시예에 따른 계층적 협업 표현 분류기와 타 얼굴 특징 학습 모델과의 성능을 비교한 도면이다.
도 9의 (a)는 AR 데이터 세트에서 인식 정확도를 비교한 도면이며, 도 9의 (b)는 AR 데이터 세트에서의 인식속도를 비교한 도면이다.
도 9의 (b)에 도시한 바와 같이, 상이한 환경에서 얼굴인식의 정확성을 평가하기 위해, 비교 목적으로 사용되는 AR 데이터베이스는 50명의 남성과 50명의 여성에 대한 얼굴로 구성된다. 상기 목적을 위해 조명과 환경 및 표현이 다른 7개의 이미지를 학습하기 위해 수집하였으며, 이 데이터베이스의 이미지는 60x43픽셀로 조정하였다. 계층적 협업 표현 분류기(160)에 대한 실험에서 τ= α= 1로 설정하였다. 얼굴 특징을 추출하기 위해 맥스아웃 네트워크(maxout network), VGG(very deep convolutional network) 및 센트로스 네트워크(centerloss network)가 사용하였다. 그런 다음 상기 특징들을 분류하기 위한 본 발명의 계층적 협업 표현 기반 분류기(160)를 적용하였으며, 맥스아웃 네트워크, VGG 및 센트로스 네트워크를 포함하는 기존의 딥 네트워크와 각각 비교하였다. 상기 비교결과는 도 9에 도시한 바와 같이, 특징 추출 모델과 결합한 계층적 협업 표현 기반 분류기(160)의 성능이 제일 좋은 것을 알 수 있다.
즉, 본 발명의 계층적 협업 표현 기반 분류기(160)의 정확도가 SRC 및 CRC의 정확도보다 우수함을 알 수 있으며, 계층적 협업 표현 기반 분류기(160)는 CRC에 비해 2%, SRC에 비해 2.4% 더 정확하다. 이 결과는 계층적 협업 표현 기반 분류기(160)가 종래의 CRC의 성능을 효과적으로 향상시킨다는 것을 증명한다.
또한 LTP 모델을 결합한 계층적 협업 표현 기반 분류기(160)가 99.9%의 정확도를 달성하고 딥 러닝 모델을 사용하지 않는 다른 접근방식보다 훨씬 뛰어나다는 것을 나타낸다. 이 결과는 LTP 모델이 얼굴 특징에서 노이즈를 제거함으로써, 인식 성능을 향상시키는 데 매우 크게 기여함을 알 수 있다.
또한 도 9의 (b)에 도시한 것과 같이 계층적 협업 표현 기반 분류기(160)가 LTP 모델과 결합된 경우, 제일 정확하고 타 접근방법보다 빠르다는 것을 알 수 있으며, 이는 감시보안 시스템이나 모바일 로봇과 같은 실시간 얼굴 인식분야에 적용될 수 있음을 보여준다.
또한 계층적 협업 표현 기반 분류기(160)가 VGG 네트워크과 결합된 경우(VGG-HCRC) 99.9%의 정확도를 달성하는 것을 알 수 있다. 이는 딥 러닝 모델을 사용하는 타 방식 중에서도 최고이며, 계층적 협업 표현 기반 분류기(160)가 LTP 모델과 결합되는 경우(LTP-HCRC)와 동일한 정확도를 보인다. 또한 계층적 협업 표현 기반 분류기(160)가 맥스아웃 네트워크과 결합(maxout-HCRC)된 경우는 99.1%의 정확도를 보이며, 이는 상기 VGG-HCRC 및 계층적 협업 표현 기반 분류기(160)가 센트로스 네트워크과 결합(centerloss-HCRC)된 경우보다 약간 적다. 그러나 VGG-HCRC 및 centerloss-HCRC는 네트워크 파리미터가 많기 때문에 maxout-HCRC보다 각각 7.8 배 및 2.5배 더 느리다. maxout-HCRC는 GPU의 지원을 갖춘 보다 강력한 디바이스에서 실행되는 경우 훨씬 더 빠르다. 일반적으로 maxout-HCRC는 실시간 얼굴 인식을 위한 유망한 알고리즘이며, VGG-HCRC는 실시간 얼굴인식이 필요하지 않은 환경에서의 얼굴 인식 시스템을 위한 최적의 알고리즘이다.
도 10은 본 발명의 일 실시예에 따른 AR 데이터 세트에서 랜덤 노이즈를 가진 얼굴 이미지의 인식률을 비교한 도면이다.
도 10에 도시한 바와 같이 AR 데이터 세트에서 랜덤 노이즈를 가진 얼굴 이미지의 인식률은, 본 발명의 계층적 협업 표현 기반 분류기(160)가 상이한 노이즈 비율 하에서 MSPCRC와 CRC보다 현저히 우수함을 보여준다. 특히 계층적 협업 표현 기반 분류기(160)는 MSPCRC보다 1.7 ~ 10.6%향상됨을 알 수 있다. 도 10에 도시한 결과는 LTP 모델이 노이즈에 대한 내성이 높기 때문에 인식 성능 향상에 기여한다는 것을 보여준다. 따라서 상기 LTP-HCRC는 99.4%의 정확도를 달성하며, 최상의 방법임을 알 수 있다. 또한 딥 러닝 모델을 사용하는 다른 접근방법보다 우수하다.
또한 maxout-HCRC, VGG-HCRC 및 centerloss-HCRC의 정확도는 테스트 얼굴에서 랜덤 노이즈가 증가할 때, 현저하기 감소한다. 특징 딥 러닝 모델의 경우와 마찬가지로 이 문제는 오버피팅으로 인해 발생한다. DCNN은 분류 작업에는 강력하지만 지나친 오버피팅에 완전히 자유롭지 못하다. 이러한 경우 흐릿하고 노이즈가 심하고, 낮은 해상도와 같은 얼굴 이미지를 다루지 못한다. 결과적으로 DCNN 모델은 학습 데이터에서는 잘 수행할 수 있지만 이전에 보지 못했던 새로운 얼굴 이미지가 포함된 일부 평가 데이터 세트에서는 잘 수행되지 않는다.
도 11은 본 발명의 일 실시예에 따른 AR 데이터 세트에서 랜덤 오클루젼을 가진 얼굴 이미지의 인식률을 비교한 도면이다.
도 11에 도시한 바와 같이, 얼굴 인식 문제에 대해 더욱 어렵게 만드는 블록 오클루젼(block occlusion)을 가지는 얼굴 이미지를 이용하여 본 발명의 계층적 협업 표현 기반 분류기(130)와 타 분류기를 평가하였다.
각 테스트 이미지는 작은 정사각형 블록에 의해 무작위로 가려졌다. 도 11에 나타낸 것과 같이, 상기 계층적 협업 표현 기반 분류기(160)는 CRC보다 성능이 우수하고 4.0%이상 정확하다는 것을 알 수 있다. 또한 상기 LTP-HCRC가 높은 인식률을 달성하는 것을 알 수 있으며, 그것의 정확도가 테스트 얼굴의 오클루젼 비율이 급격하게 증가할 때, 다소 감소함을 알 수 있다. LTP-HCRC는 오클루젼에 의해 야기되는 손상에 대해 상대적으로 민감하지 않은 것으로 나타났다. 이는 LTP 모델이 오클루션, 조명, 노이즈 및 음영과 같은 다양한 유형에 의해 야기되는 이미지 손상에 대한 경고성으로 인해 인식률 향상에 크게 기여한다는 것을 증명한다.
또한 maxout-HCRC, VGG-HCRC 및 centerloss-HCRC는 오클루젼 하에서 얼굴 인식에 효과적이며, maxout, VGG 및 centerloss보다 정확하다는 것을 알 수 있다. 이것은 여전히 부분적인 오클루젼에도 불구하고 인식을 위한 좋은 특징을 유지한다는 사실로 설명할 수 있다. 따라서 오클루젼 비율이 급격하게 증가하더라도 maxout-HCRC, VGG-HCRC 및 centerloss-HCRC의 정확도는 매우 높다. 그 중에서 VGG-HCRC가 가장 좋은 방법이며, maxout-HCRC는 centerloss-HCRC와 비슷한 결과는 얻는다.
도 12는 본 발명의 일 실시예에 따른 확장된 Yale B 데이터 세트에서 얼굴인식 성능을 비교한 도면이다.
도 12에 도시한 바와 같이, 본 발명의 일 실시예에 따른 확장된 Yale B 얼굴 데이터베이스를 사용하여 다양한 조명 조건 하에서 본 발명의 계층적 협업 표현 기반 분류기(160)과 타 접근방법에 대한 정확성을 평가하였다.
조명 조건의 변화는 얼굴인식 결과에 가장 큰 영향을 미쳤다. 상기 확장된 Yale B 얼굴 데이터베이스는 64개의 조명 조건 하에서 38개의 아이덴티티로 구성된다. 얼굴 이미지는 32x32 픽셀로 조정하였다.
도 12에 나타낸 것과 같이, LTP-HCRC 및 VGG-HCRC가 해당 평가에서 포함된 접근방법 중에서 가장 우수하다는 것을 증명한다. LTP-HCRC는 CRC에 비해 0.9%의 성능 향상을 보이는 계층적 협업 표현 기반 분류기(160)와 복잡한 조명 조건에서 견고한 LTP 모델의 이점을 모두 상속받는다. maxout 네트워크, VGG 네트워크 및 centerloss 네트워크가 높은 인식 정확도를 보여준다. 이는 데이터베이스에서 주요 얼굴 특징을 추출할 수 있기 때문이다. 이는 또한 VGG-HCRC가 가장 높은 인식 정확도를 달성하는 이유이며, maxout 네트워크 및 centerloss 네트워크는 VGG-HCRC보다 0.4% 덜 정확함을 알 수 있다.
도 13은 본 발명의 일 실시예에 따른 확장된 Yale B 데이터 세트에서 랜덤 노이즈 및 오클루젼을 가지는 얼굴 이미지의 인식률을 비교한 도면이다.
도 13의 (a)는 본 발명의 일 실시예에 따른 확장된 Yale B 데이터 세트에서 랜덤 노이즈를 가지는 얼굴 이미지의 인식률을 비교한 도면이다.
도 13의 (a)에 도시한 바와 같이, 본 발명의 일 실시예에 따른 랜덤 노이즈로 인해 손상된 데이터 세트를 이용하여 본 발명의 계층적 협업 표현 기반 분류기(130)과 타 접근방법에 대한 정확성을 평가하였다.
랜덤 노이즈로 인해 손상된 데이터 세트에 대한 얼굴인식 결과는 본 발명의 계층적 협업 표현 기반 분류기(160)가 CRC보다 우수함을 알 수 있다. 또한 LTP-HCRC는 상기 평가에 포함되는 타 접근방법 중 최고임을 보여준다.
또한 LTP-HCRC의 정확성은 노이즈의 비율에 따라 약간만 감소하는 반면에 타 접근방법은 크게 저하되는 것을 알 수 있다. 반면, maxout-HCRC, VGG-HCRC 및 centerloss-HCRC의 정확도는 테스트 얼굴에서 랜덤 노이즈가 증가하면 빠르게 감소한다. 다시한번, 이러한 결과는 딥 피처 학습 모델은 랜덤 노이즈에 민감하다는 것을 증명하며, LTP-HCRC는 여전히 최첨단 노이즈 방지 접근법이다.
도 13의 (b)는 본 발명의 일 실시예에 따른 확장된 Yale B 데이터 세트에서 랜덤 노이즈 및 오클루젼을 가지는 얼굴 이미지의 인식률을 비교한 도면이다.
도 13의 (b)에 도시한 바와 같이, 블록 오클루젼에 하에서 LTP-HCRC, maxout-HCRC, VGG-HCRC 및 centerloss-HCRC가 높은 인식률을 유지하는 것을 알 수 있다.
도 14는 본 발명의 일 실시예에 따른 LFW-a 데이터 세트에서 얼굴인식률을 비교한 도면이다.
도 14에 도시한 바와 같이, LFW-a 데이터베이스에서 수집되는 학습얼굴을 이용하여 본 발명의 계층적 협업 표현 기반 분류기(160)와 타 접근방법과의 얼굴인식률을 비교 평가하였다.
상기 LFW-a 데이터베이스는 무제한 얼굴 인식을 연구하기 위해 만들어 진 것으로, 다양한 인종, 나이 및 성별에 따라 158명의 다른 사람들로 구성된다. 이 개인들 각각을 위해, 5개의 학습 이미지 및 2개의 테스트 이미지를 수집하였다. 상기 학습 이미지와 테스트 이미지를 통해 서로 다른 수의 학습얼굴을 사용함으로써, 제약없는 환경에서 얼굴 인식 성능을 평가하였다.
이 이미지의 모든 얼굴은 32x32 픽셀로 조정되었으며, 동일한 개인의 얼굴은 포즈나 표현 및 조명이 다르다. LFW-a 데이터베이스에서 수집되는 학습얼굴의 수는 1,2,3,4,5로 각각 설정되었다.
도 14에 나타낸 것과 같이, 학습얼굴의 수가 증가하면 본 발명의 계층적 협업 표현 기반 분류기(160)는 MSPCRC 및 CRC보다 정확함을 알 수 있다. maxout-HCRC, VGG-HCRC 및 centerloss-HCRC가 maxout 네트워크, VGG 네트워크, centerloss 네트워크보다 정확하다. 이중에서 VGG-HCRC가 가장 좋은 방법이며, maxout-HCRC는 centerloss-HCRC와 비슷한 인식률을 보인다. 이는, 다른 기계학습 툴을 사용할 때 보다, 딥 피처 학습 모델을 사용하여 더 복잡한 특징 세트를 추출할 수 있다는 사실로 설명할 수 있다. 또한 계층적 협업 표현 기반 분류기(160)의 장점을 상속하며, 다른 표현 기반 방법보다 성능이 우수함을 알 수 있다. LTP-HCRC는 maxout-HCRC, VGG-HCRC 및 centerloss-HCRC보다 약간 덜 정확하다.
도 15는 본 발명의 일 실시예에 따른 LFW-a 데이터 세트에서 랜덤 노이즈를 가지는 얼굴 이미지에 대한 인식성능을 설명하기 위해 나타낸 도면이다.
도 15의 (a)는 본 발명의 일 실시예에 따른 LFW-a 데이터 세트에서 랜덤 노이즈를 가지는 테스트 이미지의 샘플을 나타낸 도면이며, 도 15의 (b)는 본 발명의 일 실시예에 따른 LFW-a 데이터 세트에서 랜덤 노이즈를 가지는 얼굴 이미지에 대한 인식률을 비교한 도면이다.
도 15의 (a)에 도시한 바와 같이, 노이즈 방지 특성을 평가하기 위해 더 많은 랜덤 노이즈를 추가하여 상기 데이터베이스의 모든 테스트 이미지를 다시 손상 시켰다. 각 이미지의 픽셀 수는 [0, 255]내의 임의의 값으로 대체되었다. 랜덤 노이즈에 의해 손상된 픽셀의 비율은 각각 10%, 20%, 30%, 40% 및 50%로 설정된다. 각 개인별로 5개의 학습용 이미지와 2개의 테스트 이미지를 수집하였으며, 이에 대한 평가는 도 15의 (b)에 나타내었다.
도 15의 (b)에 도시한 바와 같이, 본 발명의 계층적 협업 표현 기반 분류기(130)는 상이한 노이즈 비율 하에서 MSPCRC 및 CRC보다 현저하게 우수함을 보여준다. 또한 LTP-HCRC가 딥 러닝 모델을 사용하여 가장 높은 정확도를 달성하고, 다른 접근방식보다 훨씬 우수함을 나타낸다. 다시 한번, 이결과는 LTP 모델이 노이즈에 매우 강력하다는 것을 증명한다.
LTP-HCRC와 대조적으로 테스트 얼굴에서 랜덤 노이즈가 증가하면 maxout-HCRC, VGG-HCRC 및 centerloss-HCRC의 정확도가 급격하게 떨어진다. 이는 DCNN 모델이 높은 수준의 노이즈가 있는 저해상도 테스트 이미지를 처리할 때 발생하는 오버피팅 문제 때문이다. 이 실험의 결과는 딥 피처 학습 모델이 매우 높은 노이즈 비율, 저해상도 이미지의 경우에는 얼굴 인식문제를 효과적으로 해결할 수 없음을 보여준다.
도 16은 본 발명의 일 실시예에 따른 FW-a 데이터 세트에서 랜덤 오클루젼을 가지는 얼굴 이미지에 대한 인식률을 비교한 도면이다.
도 16에 도시한 바와 같이, 도 15에서 설명한 각각의 테스트 이미지는 크기가 다른 사각형 블록에 의해 랜덤하게 오클루젼되며, 상기 오클루젼된 테스트 이미지를 활용하여 본 발명의 계층적 협업 표현 기반 분류기(160)와 타 접근방법에 대한 인식률을 평가하였다.
그 결과, 상기 계층적 협업 표현 기반 분류기(160)가 CRC보다 성능이 우수하며, 4.3%이상 정확하다는 것을 알 수 있다. 또한 VGG-HCRC가 현저한 인식 정확도를 달성하는 것을 보여준다.
VGG-HCRC의 정확도는 테스트 얼굴에서 오클루젼 비율이 급격하게 증가할 때, 완만한게 감소한다. LTP-HCRC는 두번째로 좋은 인식률을 달성한다. maxout-HCRC는 LTP-HCRC보다 정확도가 떨어지며, centerloss-HCRC와 비슷한 결과는 내는 것을 알 수 있다.
도 17은 본 발명의 일 실시예에 따른 얼굴인식 절차를 나타낸 흐름도이다.
도 17에 도시한 바와 같이, 본 발명의 일 실시예에 따른 얼굴인식 절차는 우선, 얼굴인식 장치(100)는 학습데이터 데이터베이스(310)에 저장된 학습데이터를 로딩한 후, 이를 학습하여 얼굴 이미지로부터 얼굴특징을 추출하기 위한 얼굴특징 추출용 학습모델을 생성한다(S110). 상기 생성한 얼굴특징 추출용 학습모델은 학습모델 데이터베이스(320)에 저장된다.
또한 상기 학습은 DCNN 모델 또는 LTP 모델을 통해 수행됨은 상술한 바와 같다. 즉, 본 발명은 상기 DCNN 모델 또는 LTP 모델을 통해 얼굴 이미지로부터 얼굴특징을 추출할 수 있다.
다음으로 얼굴인식 장치(100)는 상기 얼굴특징 추출용 학습모델을 통해 추출되는 얼굴특징을 학습하여 상기 얼굴특징에 대한 적어도 하나 이상의 후보 클래스를 분류하기 위한 제1 단계 분류용 학습모델과, 상기 분류한 적어도 하나 이상의 후보 클래스를 재분류하기 위한 제2 단계 분류용 학습모델을 생성한다(S120).
한편 제1 단계 분류용 학습모델을 통해 수행되는 분류는, 상기 얼굴특징과 상기 얼굴특징에 대한 프로젝션 벡터 사이의 유클리드 거리에 따라 수행되며, 상기 제2 단계 분류용 학습모델을 통해 수행되는 재분류는 상기 프로젝션 벡터와 상기 후보 클래스에 대한 유클리드 거리에 따라 수행됨은 상술한 바와 같다.
다음으로 상기 얼굴인식 장치(100)는 얼굴인식을 위한 특정 얼굴 이미지가 입력되는 경우(S130), 상기 얼굴인식 장치(100)의 얼굴특징 추출부(120)는 상기 입력된 특정 얼굴 이미지를 상기 생성한 얼굴특징 추출용 학습모델에 적용하여 해당 얼굴 이미지에 대한 얼굴특징을 추출한다(S140).
다음으로 상기 얼굴인식 장치(100)의 제1 단계 분류기(161)를 통해 상기 생성한 제1 단계 분류용 학습모델에 상기 추출한 얼굴특징을 적용하여 해당 얼굴특징에 대한 적어도 하나 이상의 후보 클래스를 분류한다(S150).
즉, 상기 제1 단계 분류용 학습모델의 입력은 상기 추출한 얼굴특징이 되며, 출력은 해당 얼굴특징에 대한 적어도 하나 이상의 후보 클래스이다.
다음으로 상기 얼굴인식 장치(100)의 제2 단계 분류기(162)는 상기 생성한 제2 단계 분류용 학습모델을 이용하여 상기 제1 단계 분류기(161)에 의해 분류된 적어도 하나 이상의 후보 클래스를 재분류한다(S160).
즉, 상기 제2 단계 분류용 학습모델의 입력은 상기 얼굴특징 추출부(120)에서 추출한 얼굴특징과 상기 제1 단계 분류기(161)에서 분류한 해당 얼굴특징에 대한 적어도 하나 이상의 후보 클래스이며, 출력은 상기 얼굴특징의 프로젝션 벡터와 상기 분류한 적어도 하나 이상의 후보 클래스에 대한 유클리드에 따라 재분류되는 상기 후보 클래스 중 적어도 하나 이상의 후보 클래스가 된다.
다음으로 상기 얼굴인식 장치(200)의 얼굴인식부(170)는 상기 재분류한 결과에 따라 상기 입력된 특정 얼굴 이미지에 대한 얼굴인식을 수행한다(S170).
상기 얼굴인식은 상기 제2 단계 분류기(162)에 의해 재분류한 후보 클래스 중 상기 얼굴특징 추출부에 의해 추출된 얼굴특징에 대한 프로젝션 벡터와의 유클리드 거리가 제일 작은 후보 클래스를 선택함으로써, 수행됨은 상술한 바와 같다.
이상에서 설명한 바와 같이 본 발명은 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법에 관한 것으로, 얼굴인식의 대상이 되는 얼굴 이미지의 프로젝션 벡터와 학습데이터까지의 유클리드 거리에 대한 추가적인 제약조건을 사용함으로써, 학습데이터를 구성하는 얼굴 이미지를 신속하게 분류할 수 있도록 하여 얼굴인식의 성능을 현저하게 향상시킬 수 있는 효과가 있다.
또한 본 발명은 DCNN 모델 또는 LTP 모델과 결합하여 학습데이터를 구성하는 얼굴 이미지를 분류할 수 있도록 함으로써, 노이즈, 상이한 조명효과에 대해서도 신속하고 정확하게 얼굴인식을 수행할 수 있도록 하는 효과가 있다.
또한 상기에서는 본 발명에 따른 바람직한 실시 예를 위주로 상술하였으나 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 범위 내에서 변경 또는 수정될 수 있을 것이다.
아울러 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100 : 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치
110 : 얼굴 이미지 수집부 120 : 얼굴특징 추출용 학습모델 생성부
130 : 제1 단계 분류용 학습모델 생성부
140 : 제2 단계 분류용 학습모델 생성부 150 : 얼굴특징 추출부
160 : 계층적 협업 표현 기반 분류기 161 : 제1 단계 분류기
162 : 제2 단계 분류기 170 : 얼굴인식부
200 : 사용자 단말 300 : 데이터베이스
310 : 학습데이터 데이터베이스 320 : 학습모델 데이터베이스
400 : 카메라

Claims (12)

  1. 얼굴 이미지로 구성된 복수의 학습데이터를 학습하여 얼굴특징을 추출하기 위한 얼굴특징 추출용 학습모델을 생성하는 얼굴특징 추출용 학습모델 생성부;
    상기 얼굴특징 추출용 학습모델에 의해 추출된 얼굴특징을 학습하여, 얼굴특징과 상기 얼굴특징에 대한 프로젝션 벡터 사이의 유클리드 거리에 따라 상기 얼굴특징에 대한 적어도 하나 이상의 후보 클래스를 분류하기 위한 제1 단계 분류용 학습모델을 생성하는 제1 단계 분류용 학습모델 생성부; 및
    제1 단계 분류용 학습모델에 의해 분류된 상기 적어도 하나 이상의 후보 클래스를 학습하여, 상기 프로젝션 벡터와 상기 후보 클래스에 대한 유클리드 거리에 따라 상기 후보 클래스를 재분류하는 제2 단계 분류용 학습모델을 생성하는 제2 단계 분류용 학습모델 생성부;를 포함하는 것을 특징으로 하는 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치.
  2. 청구항 1에 있어서,
    계층적 협업 표현 기반 분류를 통한 얼굴인식 장치는,
    상기 생성한 얼굴특징 추출용 학습모델에 특정 얼굴 이미지를 적용하여 얼굴특징을 추출하는 얼굴특징 추출부;
    상기 제1 단계 분류용 학습모델에 상기 얼굴특징 추출부를 통해 추출한 얼굴특징을 적용하여, 해당 얼굴특징에 대한 적어도 하나 이상의 후보 클래스를 분류하는 제1 단계 분류기; 및
    상기 제2 단계 분류용 학습모델에, 상기 얼굴특징 추출부를 통해 추출한 얼굴특징과 제1 단계 분류기 통해 분류된 적어도 하나 이상의 후보 클래스를 적용하여, 상기 분류된 적어도 하나 이상의 후보 클래스를 재분류하는 제2 단계 분류기;를 더 포함하며,
    상기 제1 단계 분류기 및 제2 단계 분류기의 계층적 협업 표현을 통해 상기 특정 얼굴 이미지에 대한 얼굴 인식을 수행하기 위해 상기 학습데이터를 분류하는 것을 특징으로 하는 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치.
  3. 청구항 2에 있어서,
    상기 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치는,
    상기 얼굴특징 추출부를 통해 추출한 얼굴특징에 대한 프로젝션 벡터와 상기 제2 단계 분류기를 통해 재분류한 후보 클래스 간의 유클리드 거리를 비교하여 제일 작은 유클리드 거리를 가지는 후보 클래스를 선택함으로써, 상기 특정 얼굴 이미지에 대한 얼굴인식을 수행하는 얼굴인식부;를 더 포함하는 것을 특징으로 하는 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치.
  4. 청구항 1에 있어서,
    상기 얼굴특징 추출용 학습모델 생성부는,
    DCNN(deep convolutional neural network) 모델로 구성되거나, 또는 LTP(local ternary patterns) 모델로 구성되는 것을 특징으로 하는 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치.
  5. 청구항 4에 있어서,
    상기 DCNN 모델은,
    복수의 컨볼루션(convolution) 레이어, 상기 각 컨볼루션 레이어와 연결되는 복수의 맥스아웃(maxout) 레이어, 복수의 풀링(pooling) 레이어 및 소프트 맥스(softmax) 레이어를 포함하며, 각 학습데이터에 대한 고유의 특징을 공통의 세트로 변환함으로써, 얼굴특징을 추출하는 것을 특징으로 하는 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치.
  6. 청구항 4에 있어서,
    상기 LTP 모델은,
    상기 각 학습데이터를 복수의 블록으로 나누어, 상기 각 블록에 대한 LTP 코드를 히스토그램으로 수집하고, 상기 각 히스토그램을 여러 개의 빈(bin)으로 구성되는 결합된 특징 히스토그램으로 연결함으로써, 얼굴특징을 추출하는 것을 특징으로 하는 계층적 협업 표현 기반 분류를 통한 얼굴인식 장치.
  7. 얼굴특징 추출용 학습모델 생성부를 통해, 얼굴 이미지로 구성된 복수의 학습데이터를 학습하여 얼굴특징을 추출하기 위한 얼굴특징 추출용 학습모델을 생성하는 단계;
    제1 단계 분류용 학습모델 생성부를 통해 상기 얼굴특징 추출용 학습모델을 통해 추출된 얼굴특징을 학습하여, 얼굴특징과 상기 얼굴특징에 대한 프로젝션 벡터 사이의 유클리드 거리에 따라 상기 얼굴특징에 대한 적어도 하나 이상의 후보 클래스를 분류하기 위한 제1 단계 분류용 학습모델을 생성하는 단계; 및
    제2 단계 분류용 학습모델 생성부를 통해 제1 단계 분류용 학습모델을 통해 분류된 상기 적어도 하나 이상의 후보 클래스를 학습하여, 상기 프로젝션 벡터와 상기 후보 클래스에 대한 유클리드 거리에 따라 상기 후보 클래스를 재분류하는 제2 단계 분류용 학습모델을 생성하는 단계;를 포함하는 것을 특징으로 하는 계층적 협업 표현 기반 분류를 통한 얼굴인식 방법.
  8. 청구항 7에 있어서,
    계층적 협업 표현 기반 분류를 통한 얼굴인식 방법은,
    얼굴특징 추출부를 통해, 상기 생성한 얼굴특징 추출용 학습모델에 얼굴 이미지를 적용하여 얼굴특징을 추출하는 단계;
    제 1단계 분류기를 통해, 상기 제1 단계 분류용 학습모델에 상기 얼굴특징 추출부에 의해 추출된 얼굴특징을 적용하여, 해당 얼굴특징에 대한 적어도 하나 이상의 후보 클래스를 분류하는 단계;
    제 2단계 분류기를 통해, 상기 제2 단계 분류용 학습모델에 상기 얼굴특징 추출부에 의해 추출된 얼굴특징과 제1 단계 분류기에 의해 분류된 적어도 하나 이상의 후보 클래스를 적용하여, 상기 분류된 적어도 하나 이상의 후보 클래스를 재분류하는 단계;를 더 포함하며,
    상기 제1 단계 분류기 및 제2 단계 분류기의 계층적 협업 표현을 통해 특정 얼굴 이미지에 대한 얼굴 인식을 수행하기 위해 상기 학습데이터를 분류하는 것을 특징으로 하는 계층적 협업 표현 기반 분류를 통한 얼굴인식 방법.
  9. 청구항 8에 있어서,
    계층적 협업 표현 기반 분류를 통한 얼굴인식 방법은,
    얼굴인식부를 통해 제2 단계 분류기에 의해 재분류한 후보 클래스 중 상기 얼굴특징 추출부에 의해 추출된 얼굴특징에 대한 프로젝션 벡터와의 유클리드 거리가 제일 작은 후보 클래스를 선택함으로써, 얼굴 이미지에 대한 얼굴 인식을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 계층적 협업 표현 기반 분류를 통한 얼굴인식 방법.
  10. 청구항 7에 있어서,
    상기 얼굴특징 추출용 학습모델 생성부는,
    DCNN(deep convolutional neural network) 모델로 구성되거나, 또는 LTP(local ternary patterns) 모델로 구성되는 것을 특징으로 하는 계층적 협업 표현 기반 분류를 통한 얼굴인식 방법.
  11. 청구항 10에 있어서,
    상기 DCNN 모델은,
    복수의 컨볼루션(convolution) 레이어, 상기 각 컨볼루션 레이어와 연결되는 복수의 맥스아웃(maxout) 레이어, 복수의 풀링(pooling) 레이어 및 소프트 맥스(softmax) 레이어를 포함하며, 각 학습데이터에 대한 고유의 특징을 공통의 세트로 변환함으로써, 얼굴특징을 추출하는 것을 특징으로 하는 계층적 협업 표현 기반 분류를 통한 얼굴인식 방법.
  12. 청구항 10에 있어서,
    상기 LTP 모델은,
    상기 각 학습데이터를 복수의 블록으로 나누어, 상기 각 블록에 대한 LTP 코드를 히스토그램으로 수집하고, 상기 각 히스토그램을 여러 개의 빈(bin)으로 구성되는 결합된 특징 히스토그램으로 연결함으로써, 얼굴특징을 추출하는 것을 특징으로 하는 계층적 협업 표현 기반 분류를 통한 얼굴인식 방법.
KR1020180042456A 2018-04-12 2018-04-12 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법 KR102138657B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180042456A KR102138657B1 (ko) 2018-04-12 2018-04-12 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180042456A KR102138657B1 (ko) 2018-04-12 2018-04-12 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190123372A true KR20190123372A (ko) 2019-11-01
KR102138657B1 KR102138657B1 (ko) 2020-07-28

Family

ID=68535638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180042456A KR102138657B1 (ko) 2018-04-12 2018-04-12 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102138657B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639545A (zh) * 2020-05-08 2020-09-08 浙江大华技术股份有限公司 一种人脸识别方法、装置、设备及介质
CN112364737A (zh) * 2020-10-30 2021-02-12 深圳点猫科技有限公司 一种用于网络直播课的人脸表情识别方法、装置及设备
CN112800914A (zh) * 2021-01-20 2021-05-14 桂林电子科技大学 一种基于专家先验知识和ltp复杂光照下的人脸识别方法
KR20210080143A (ko) * 2019-12-20 2021-06-30 주식회사 코이노 다자 간 협업 기반 객체 인식 시스템 및 그 방법
KR20210119109A (ko) 2020-03-24 2021-10-05 주식회사 인포랩 안면 인식을 이용한 무인 접수 장치 및 방법
KR20210119108A (ko) 2020-03-24 2021-10-05 주식회사 인포랩 안면 인식을 이용한 환자 식별 장치 및 방법
WO2022169060A1 (ko) * 2021-02-05 2022-08-11 한국기술교육대학교 산학협력단 계층적 다중 레이블 분류를 위한 데이터 분류 방법 및 장치
KR20230006071A (ko) * 2021-07-02 2023-01-10 가천대학교 산학협력단 얼굴 인식을 위한 심층 소프트맥스 협업 표현 분류 장치 및 그 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220073914A (ko) * 2020-11-27 2022-06-03 연세대학교 산학협력단 경량화 신경망을 이용한 얼굴 인식 장치 및 방법
US11893085B2 (en) 2021-05-04 2024-02-06 Ford Global Technologies, Llc Anomaly detection for deep neural networks
KR20230145873A (ko) 2022-04-11 2023-10-18 스퀘어네트 주식회사 본인 인증 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160061856A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
KR20170063643A (ko) * 2014-09-30 2017-06-08 퀄컴 인코포레이티드 이벤트들-기반 시각 센서를 이용한 저-전력 상시-온 얼굴 검출, 추적, 인식 및/또는 분석
KR20170077366A (ko) * 2015-12-28 2017-07-06 삼성에스디에스 주식회사 얼굴 인식 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170063643A (ko) * 2014-09-30 2017-06-08 퀄컴 인코포레이티드 이벤트들-기반 시각 센서를 이용한 저-전력 상시-온 얼굴 검출, 추적, 인식 및/또는 분석
KR20160061856A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
KR20170077366A (ko) * 2015-12-28 2017-07-06 삼성에스디에스 주식회사 얼굴 인식 시스템 및 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210080143A (ko) * 2019-12-20 2021-06-30 주식회사 코이노 다자 간 협업 기반 객체 인식 시스템 및 그 방법
KR20210119109A (ko) 2020-03-24 2021-10-05 주식회사 인포랩 안면 인식을 이용한 무인 접수 장치 및 방법
KR20210119108A (ko) 2020-03-24 2021-10-05 주식회사 인포랩 안면 인식을 이용한 환자 식별 장치 및 방법
CN111639545A (zh) * 2020-05-08 2020-09-08 浙江大华技术股份有限公司 一种人脸识别方法、装置、设备及介质
CN111639545B (zh) * 2020-05-08 2023-08-08 浙江大华技术股份有限公司 一种人脸识别方法、装置、设备及介质
CN112364737A (zh) * 2020-10-30 2021-02-12 深圳点猫科技有限公司 一种用于网络直播课的人脸表情识别方法、装置及设备
CN112800914A (zh) * 2021-01-20 2021-05-14 桂林电子科技大学 一种基于专家先验知识和ltp复杂光照下的人脸识别方法
WO2022169060A1 (ko) * 2021-02-05 2022-08-11 한국기술교육대학교 산학협력단 계층적 다중 레이블 분류를 위한 데이터 분류 방법 및 장치
US11874856B2 (en) 2021-02-05 2024-01-16 Korea University Of Technology And Education Industry-University Cooperation Foundation Data classification method and device for hierarchical multi-label classification
KR20230006071A (ko) * 2021-07-02 2023-01-10 가천대학교 산학협력단 얼굴 인식을 위한 심층 소프트맥스 협업 표현 분류 장치 및 그 방법

Also Published As

Publication number Publication date
KR102138657B1 (ko) 2020-07-28

Similar Documents

Publication Publication Date Title
KR102138657B1 (ko) 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법
CN110532920B (zh) 基于FaceNet方法的小数量数据集人脸识别方法
KR101410489B1 (ko) 얼굴 식별 방법 및 그 장치
CN109190566B (zh) 一种融合局部编码与cnn模型手指静脉识别方法
Hasan et al. Fingerprint image enhancement and recognition algorithms: a survey
Vo et al. Robust face recognition via hierarchical collaborative representation
CN110866530A (zh) 一种字符图像识别方法、装置及电子设备
Yang et al. Learning to recognize 3D objects with SNoW
CN108805140B (zh) 一种基于lbp的特征快速提取方法及人脸识别系统
CN116250020A (zh) 使用潜在邻域图检测对抗性示例
CN114612968A (zh) 一种基于卷积神经网络的唇纹识别方法
Soumya et al. Emotion recognition from partially occluded facial images using prototypical networks
CN116110089A (zh) 一种基于深度自适应度量学习的面部表情识别方法
Kopčan et al. Anomaly detection using Autoencoders and Deep Convolution Generative Adversarial Networks
CN109815887B (zh) 一种基于多智能体协作的复杂光照下人脸图像的分类方法
Briceno et al. Biometric identification based on hand-shape features using a hmm kernel
CN108898157B (zh) 基于卷积神经网络的数值型数据的雷达图表示的分类方法
Herlambang et al. Cloud-based architecture for face identification with deep learning using convolutional neural network
Khotanzad et al. Hand written digit recognition using BKS combination of neural network classifiers
Lee et al. Design of face recognition attendance
Alsuhimat et al. Offline signature recognition via convolutional neural network and multiple classifiers
Rajharia et al. A new and effective approach for fingerprint recognition by using feed forward back propagation neural network
Soviany et al. A biometric security model with co-occurrence matrices for palmprint features
Kabeer et al. Face recognition using state space parameters and artificial neural network classifier
Somashekhar et al. An Hybrid Method for Fingerprint Image Classification

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant