KR101793510B1 - 얼굴 학습 및 인식 시스템과 그 방법 - Google Patents

얼굴 학습 및 인식 시스템과 그 방법 Download PDF

Info

Publication number
KR101793510B1
KR101793510B1 KR1020170041623A KR20170041623A KR101793510B1 KR 101793510 B1 KR101793510 B1 KR 101793510B1 KR 1020170041623 A KR1020170041623 A KR 1020170041623A KR 20170041623 A KR20170041623 A KR 20170041623A KR 101793510 B1 KR101793510 B1 KR 101793510B1
Authority
KR
South Korea
Prior art keywords
face
learning
image
feature
facial
Prior art date
Application number
KR1020170041623A
Other languages
English (en)
Inventor
이승호
장경욱
Original Assignee
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한밭대학교 산학협력단 filed Critical 한밭대학교 산학협력단
Application granted granted Critical
Publication of KR101793510B1 publication Critical patent/KR101793510B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 얼굴 학습 및 인식 시스템과 그 방법을 제시하고 있다. 본 발명에 따른 얼굴 학습 시스템은 다각도 얼굴 촬영 영상을 수신하는 IP 카메라부와, 상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴을 추출하는 얼굴 검출부 및 상기 얼굴 검출부에서 추출된 얼굴을 딥러닝 기법을 이용하여 학습하는 얼굴 학습부를 포함한다. 본 발명에 따르면, 다각도로 학습 대상 얼굴을 촬영한 다각도 얼굴 촬영 영상을 이용하여 얼굴 학습을 진행하므로 각도별로 얼굴의 특징을 파악하여 얼굴을 학습할 수 있고, 이에 더하여 딥러닝 기법을 토대로 얼굴을 학습하므로 얼굴 학습 정밀성과 신뢰성을 높일 수 있으며, 또한 다각도 얼굴 촬영 영상과 인식 대상 얼굴을 비교하여 기존에 학습된 얼굴과 인식 대상 얼굴이 일치하는지 판단할 수 있고, 딥러닝 기법을 이용하여 인식 대상 얼굴을 분류하므로 얼굴 인식률을 증가시킬 수 있다.

Description

얼굴 학습 및 인식 시스템과 그 방법{SYSTEM FOR LEARNING AND RECOGNIZING FACE AND THEREOF METHOD}
본 발명은 얼굴 학습 및 인식 시스템과 그 방법에 관한 것으로, 보다 상세하게는 다수의 카메라를 이용하여 인식 대상 얼굴을 다각도에서 촬영하고, 딥러닝 기술을 이용하여 촬영된 얼굴을 분석, 분류 및 학습하는 얼굴 인식 기술에 관한 것이다.
고도의 정보화된 사회에 살아가면서 중요시 되고 있는 문제 중 하나가 개인정보 유출로 인한 사고이다. 정보화 사회의 가장 큰 힘이 되고 있는 인터넷 보급이 증가함에 따라 전 세계인의 개인정보가 타인에 의해 도용되는 심각한 문제가 제기 되고 있다. 따라서 이러한 문제점을 해결하기 위해사람의 신체의 고유한 특성(지문, 홍채, 망막, 정맥, 손금, 얼굴 등)이나, 행동적인 특성(목소리, 필체, 체형, 걸음걸이, 특정 행동 등)을 이용하여 개인을 식별하는 기술인 생체인식에 대한 관심이 늘어나고 있다. 생체인식 기술은 보편성(누구나 갖고 있는 특성), 유일성(각 개인을 구별할 수 있는 고유한 특성), 영속성(변하지 않고 변경이 불가능한 특성), 획득성(센서에 의한 획득과 정량화가 용이해야 하는 특성) 등을 가지고 있어 보안성 및 편의성을 기반으로 개인의 신원을 증명하는 금융, 통신, 보안, 자동차, 의료 등의 분야에서 사용되고 있다.
생체인식 기술 중 얼굴 인식은 지문인식, 홍채인식, 정맥인식, 음성인식, 손 모양 인식 등에 비하여 인식이 쉽고 빠르며, 사용자가 특별한 행동이나 신체 접촉을 요구하지 않기 때문에 편의성과 거부감 면에서 우수한 장점을 가지고 있다[2]. 또한 CCTV를 이용한 무인 감시 시스템, 출입 관리 시스템, 금융 보안 시스템, 검역 시스템, 엔터테인먼트 시스템 등의 다양한 분야에 접목 될 수 있는 장점을 가진다. 그러나 현재 얼굴 인식을 수행함에 있어 많은 문제적 요인들이 나타나고 있다. 얼굴의 표정, 조명, 각도 등에 따라서 데이터의 변화가 심하여 신뢰도면에서 고도의 보안을 요구하는 분야에 적용하기 어려움이 있는 실정이다. 따라서 얼굴 인식 시스템에서 다양한 환경요소에 대한 문제를 보안하여 높은 신뢰도를 확보할 수 있는 기술이 반드시 필요하다.
얼굴 인식(Face Recognition) 과정은 도 1과 같이 영상 전체에서 얼굴이 어디인지 구분해내는 얼굴 검출(Face Detection) 과정, 찾아낸 얼굴의 특징을 부각시키고 잡음을 줄이는 특징 추출(Feature Extraction) 과정, 누구의 얼굴인지 감별하는 얼굴 분류(Face Classification) 과정으로, 크게 3가지 단계로 나뉜다. 얼굴검출 과정은 입력되는 영상에서 얼굴을 찾아 얼굴만을 검출하는 과정으로서 Skin Color, Haar-Cascade, PCA 등이 존재한다. Skin Color는 얼굴 검출의 초창기 방법으로서 입력 영상에서 얼굴색을 이용하여 얼굴을 검출하는 기법으로 얼굴색이 변하면 얼굴 검출이 안되는 단점이 있다. Haar-Cascade는 얼굴에 있는 특징과 비슷한 필터를 가지고 학습하여 얼굴을 검출하는 방법으로 빠른 검출 속도를 가지고 있으나 다각도 얼굴 검출이 안되는 단점이 있다. PCA는 주성분 분석으로 얼굴에 있는 성분을 분석하여 얼굴을 검출하는 방법으로 빠른 검출 속도를 가지고 있으나 잡음에 대해 취약한 단점이 있다. 얼굴 특징 추출 과정은 검출된 얼굴의 특징을 부각시켜주는 과정으로서 LBP, ULBP, LCP 등이 존재한다. LBP는 일정 크기의 원 형태로 이진 패턴을 통해 얼굴의 특징을 부각시키는 전형적인 얼굴 표현 방법이지만 조명에 약한 단점을 가지고 있다. ULBP는 LBP의 확장 방법으로 256가지의 패턴 중 중요 패턴만 선택하여 얼굴을 표현하는 방법으로 빠른 인식 속도를 가지고 있지만 인식률이 떨어지는 단점을 가지고 있다. LCP는 이진 패턴을 확장하여 얼굴 특징 방향에 대하여 얼굴을 표현 방법으로 높은 인식률과 잡음에 강하지만 액세서리에 대하여 얼굴 인식률이 떨어지는 단점이 있다. 얼굴 분석 또는 분류 과정은 추출된 얼굴의 특징 벡터가 누구의 얼굴 특징인지를 비교하고 확인하는 과정으로서 KNN, SVM, CNN 등이 존재한다. KNN은 얼굴 이미지로부터 추출된 특징 벡터를 비교 분석하는 방법으로 가장 쉽게 분석 또는 분류 할 수 있는 장점이 있으나 특징 벡터를 반복적으로 분석함으로서 인식 속도가 느리다는 단점이 있다. SVM은 얼굴 이미지로부터 추출된 특징 벡터를 미리 학습하여 비교 분석하는 방법으로 빠른 인식 속도를 갖는 장점이 있지만 인식률이 낮다는 단점을 가지고 있다. CNN은 인간 뇌의 기본 구조 조직인 뉴런을 수학적으로 모델링하여 학습하는 방법으로 높은 인식률을 갖는 장점이 있지만 학습 데이터 연산 량이 많아 학습시간이 오래 걸리는 단점을 가지고 있다.
한편, 현재 얼굴 인식을 수행함에 있어 생겨나는 문제 중 특히 얼굴 특징이 얼굴의 각도에 따라 변화되어 한사람의 얼굴에서 전혀 다른 특징이 나오는 문제가 발생하고 있다. 이러한 경우 신뢰도면에서 고도의 보안을 요구하는 분야에 적용하기 어려움이 있는 실정이다. 따라서 얼굴 학습 시스템(100)를 이용하여 다각도의 얼굴 인식하는 연구를 필요로 하고 있다. 또한 다각도의 얼굴 데이터베이스에 대한 학습을 할 수 있도록 하는 딥러닝 알고리즘에 대한 연구가 필요로 하고 있다.
한국공개특허공보 제10-2007-0012395호 (실시간 얼굴 인식을 위한 방법 및 장치)
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 다각도로 학습 대상 얼굴을 촬영한 다각도 얼굴 촬영 영상과 딥러닝 기법을 토대로 얼굴을 학습하는 얼굴 학습 시스템 및 그 방법을 제공하는 것을 일 목적으로 한다.
또한 본 발명은 다각도 얼굴 촬영 영상과 인식 대상 얼굴을 비교하고 딥러닝 기법을 이용하여 인식 대상 얼굴을 분류하는 얼굴 인식 시스템 및 그 방법을 제공하는 것을 다른 목적으로 한다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 얼굴 학습 시스템은 다각도 얼굴 촬영 영상을 수신하는 IP 카메라부와, 상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴을 추출하는 얼굴 검출부와, 상기 얼굴 검출부에서 추출된 얼굴을 딥러닝 기법을 이용하여 학습하는 얼굴 학습부를 포함한다.
바람직하게 상기 얼굴 검출부는 Haar-Cascade 얼굴 검출 알고리즘을 이용하여 상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴을 추출하되, Haar-like-feature 웨이블릿 이미지를 사용하여 상기 학습 대상 얼굴의 특징을 검출하고, AdaBoost 학습 알고리즘을 이용하여 상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴 영역을 추출할 수 있다.
바람직하게, 상기 얼굴 학습부는 상기 얼굴 검출부에서 추출된 얼굴을 딥러닝 기법을 이용하여 학습하고 얼굴 학습 정보를 생성하되, 상기 딥러닝 기법은 CNN 학습법이며, 상기 CNN 학습법은 상기 다각도 얼굴 촬영 영상과 특징 추출 필터를 컨볼루션 연산을 수행하여 학습 대상 얼굴 특징 이미지를 생성하고, 상기 학습 대상 얼굴 특징 이미지를 sub sampling 연산하여 학습 대상 얼굴 특징 집약 이미지를 획득하며, 상기 학습 대상 얼굴 특징 집약 이미지를 fully connect 연산을 통해 학습 대상 얼굴 특징 벡터로 구성하여, 상기 학습 대상 얼굴 특징 벡터 및 역전파 신경망 알고리즘을 토대로 상기 얼굴 검출부에서 추출된 얼굴을 학습하는 방법일 수 있다.
바람직하게 상기 다각도 얼굴 촬영 영상, 상기 학습 대상 얼굴의 특징, 상기 학습 대상 얼굴 영역, 상기 학습 대상 얼굴 특징 이미지, 상기 학습 대상 얼굴 특징 집약 이미지, 상기 학습 대상 특징 벡터 및 얼굴 학습 정보 중 적어도 어느 하나 이상을 저장하는 저장부를 더 포함할 수 있다.
또한 본 발명의 다른 측면에 따른 얼굴 인식 시스템은 상기 저장부와, 실시간으로 인식 대상 얼굴 영상을 획득하는 인식 카메라와, Haar-Cascade 얼굴 검출 알고리즘을 사용하여 상기 실시간으로 획득한 인식 대상 얼굴 영상에서 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역과 상기 저장부에 기 저장된 얼굴 학습 정보를 비교 및 분석하는 제어부를 포함한다.
바람직하게 상기 제어부는 Haar-Cascade 얼굴 검출 알고리즘을 사용하여 상기 실시간으로 획득한 인식 대상 얼굴 영상에서 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역과 상기 저장부에 저장된 얼굴 학습 정보를 비교 및 분석하되, 상기 실시간으로 획득한 인식 대상 얼굴 영상과 특징 추출 필터를 컨볼루션 연산을 수행하여 인식 대상 얼굴 특징 이미지를 생성하고, 상기 인식 대상 얼굴 특징 이미지를 sub sampling 연산하여 인식 대상 얼굴 특징 집약 이미지를 획득하며, 상기 인식 대상 얼굴 특징 집약 이미지를 fully connect 연산을 통해 인식 대상 얼굴 특징 벡터로 구성하여, 상기 인식 대상 얼굴 특징 벡터 및 역전파 신경망 알고리즘을 토대로 상기 실시간으로 획득한 인식 대상 얼굴 영상과 상기 얼굴 학습 정보를 비교 및 분석할 수 있다.
또한 본 발명의 다른 측면에 따른 얼굴 학습 방법은 IP 카메라부가 다각도 얼굴 촬영 영상을 수신하는 영상 수신 단계와, 얼굴 검출부가 상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴을 추출하는 학습 대상 얼굴 검출 단계와, 얼굴 학습부가 상기 얼굴 검출 단계에서 추출된 얼굴을 딥러닝 기법을 이용하여 학습하는 얼굴 학습 단계를 포함한다.
바람직하게 상기 얼굴 검출 단계는 Haar-like-feature 웨이블릿 이미지를 사용하여 상기 학습 대상 얼굴의 특징을 검출하는 특징 검출 과정과, AdaBoost 학습 알고리즘을 이용하여 상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴 영역을 추출하는 얼굴 영역 추출 과정을 구비할 수 있다.
바람직하게 상기 딥러닝 기법은 CNN 학습법이며, 상기 얼굴 학습 단계는 상기 다각도 얼굴 촬영 영상과 특징 추출 필터를 컨볼루션 연산을 수행하여 학습 대상 얼굴 특징 이미지를 생성하는 학습 대상 얼굴 특징 이미지 생성 과정과, 상기 학습 대상 얼굴 특징 이미지를 sub sampling 연산하여 학습 대상 얼굴 특징 집약 이미지를 획득하는 학습 대상 얼굴 특징 집약 이미지 생성 과정과, 상기 학습 대상 얼굴 특징 집약 이미지를 fully connect 연산을 통해 학습 대상 얼굴 특징 벡터로 구성하는 학습 대상 얼굴 특징 벡터 구성 과정 및 상기 학습 대상 얼굴 특징 벡터 및 역전파 신경망 알고리즘을 토대로 상기 얼굴 검출부에서 추출된 얼굴을 학습하는 얼굴 학습 과정을 구비할 수 있다.
바람직하게 저장부가 상기 다각도 얼굴 촬영 영상, 상기 학습 대상 얼굴의 특징, 상기 학습 대상 얼굴 영역, 상기 학습 대상 얼굴 특징 이미지, 상기 학습 대상 얼굴 특징 집약 이미지, 상기 학습 대상 특징 벡터 및 얼굴 학습 정보 중 적어도 어느 하나 이상을 저장하는 저장 단계를 더 포함할 수 있다.
또한 본 발명의 또 다른 측면에 따른 얼굴 인식 방법은 인식 카메라가 실시간으로 인식 대상 얼굴 영상을 획득하는 영상 획득 단계와, 제어부가 Haar-Cascade 얼굴 검출 알고리즘을 사용하여 상기 실시간으로 획득한 인식 대상 얼굴 영상에서 얼굴 영역을 검출하는 인식 대상 얼굴 검출 단계 및 상기 검출된 얼굴 영역과 저장부에 기 저장된 얼굴 학습 정보를 비교 및 분석하는 얼굴 분석 단계를 포함하되, 상기 얼굴 분석 단계는 상기 실시간으로 획득한 인식 대상 얼굴 영상과 특징 추출 필터를 컨볼루션 연산을 수행하여 인식 대상 얼굴 특징 이미지를 생성하는 인식 대상 얼굴 특징 이미지 생성 과정과, 상기 인식 대상 얼굴 특징 이미지를 sub sampling 연산하여 인식 대상 얼굴 특징 집약 이미지를 획득하는 인식 대상 얼굴 특징 집약 이미지 생성 과정과, 상기 인식 대상 얼굴 특징 집약 이미지를 fully connect 연산을 통해 인식 대상 얼굴 특징 벡터로 구성하는 인식 대상 얼굴 특징 벡터 구성 과정과, 상기 인식 대상 얼굴 특징 벡터 및 역전파 신경망 알고리즘을 토대로 상기 실시간으로 획득한 인식 대상 얼굴 영상과 상기 얼굴 학습 정보를 비교 및 분석하는 얼굴 인식 과정을 구비하는 것을 특징으로 한다.
본 발명에 따르면, 다각도로 학습 대상 얼굴을 촬영한 다각도 얼굴 촬영 영상을 이용하여 얼굴 학습을 진행하므로 각도별로 얼굴의 특징을 파악하여 얼굴을 학습할 수 있고, 이에 더하여 딥러닝 기법을 토대로 얼굴을 학습하므로 얼굴 학습 정밀성과 신뢰성을 높일 수 있다.
또한 본 발명은 다각도 얼굴 촬영 영상과 인식 대상 얼굴을 비교하여 기존에 학습된 얼굴과 인식 대상 얼굴이 일치하는지 판단할 수 있고, 딥러닝 기법을 이용하여 인식 대상 얼굴을 분류하므로 얼굴 인식률을 증가시킬 수 있다.
본 발명의 다른 목적, 효과 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 다양한 실시예들에 의해 보다 분명하게 알 수 있게 될 것이며, 특허청구범위에 나타난 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 종래 얼굴 인식 방법을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 학습 시스템의 구성을 도시한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 얼굴 학습 방법의 절차를 도시한 도면이다.
도 4a 내지 도 4k는 본 발명의 다양한 실시예에 따른 얼굴 학습 시스템 및 그 방법에서 사용하는 얼굴 학습 방법을 설명하기 위해 도시한 도면이다.
도 5는 본 발명의 또 다른 실시예에 따른 얼굴 인식 시스템의 구성을 도시한 도면이다.
도 6은 본 발명의 또 다른 실시예에 따른 얼굴 인식 방법의 절차를 도시한 도면이다.
도 7a내지 도 7k는 본 발명의 다양한 실시예에 따른 얼굴 인식 시스템 및 그 방법에서 사용하는 얼굴 인식 방법을 설명하기 위해 도시한 도면이다.
도 8a 내지 도 8e는 본 발명의 다양한 실시예를 실제 구현한 예시와 그에 따른 얼굴 인식률 실험 결과를 도시한 도면이다
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경물, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 2는 본 발명의 일 실시예에 따른 얼굴 학습 시스템(100)의 구성을 도시한 도면이다.
얼굴 학습 시스템(100)은 다각도 얼굴 촬영 영상을 수신하는 IP 카메라부(110)와, 상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴을 추출하는 얼굴 검출부(120)와, 상기 얼굴 검출부(120)에서 추출된 얼굴을 딥러닝 기법을 이용하여 학습하는 얼굴 학습부(130)를 포함한다.
IP 카메라부(110)는 복수개의 IP 카메라를 구비하며, IP 카메라는 유무선 인터넷 등에 연결하여 사용할 수 있는 디지털 카메라로 카메라 모듈, 디코더, 영상 압축 칩, CPU, 네트워크 전송 칩 등으로 구성될 수 있다.
얼굴 검출부(120)는 Haar-Cascade 얼굴 검출 알고리즘을 이용하여 상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴을 추출하되, Haar-like-feature 웨이블릿 이미지를 사용하여 상기 학습 대상 얼굴의 특징을 검출하고, AdaBoost 학습 알고리즘을 이용하여 상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴 영역을 추출할 수 있다.
얼굴 학습부(130)는 얼굴 검출부(120)에서 추출된 얼굴을 딥러닝 기법을 이용하여 학습하고 얼굴 학습 정보를 생성하되, 상기 딥러닝 기법은 CNN 학습법이며, 상기 CNN 학습법은 상기 다각도 얼굴 촬영 영상과 특징 추출 필터를 컨볼루션 연산을 수행하여 학습 대상 얼굴 특징 이미지를 생성하고, 상기 학습 대상 얼굴 특징 이미지를 sub sampling 연산하여 학습 대상 얼굴 특징 집약 이미지를 획득하며, 상기 학습 대상 얼굴 특징 집약 이미지를 fully connect 연산을 통해 학습 대상 얼굴 특징 벡터로 구성하여, 상기 학습 대상 얼굴 특징 벡터 및 역전파 신경망 알고리즘을 토대로 얼굴 검출부(120)에서 추출된 얼굴을 학습하는 방법일 수 있다.
상기 다각도 얼굴 촬영 영상, 상기 학습 대상 얼굴의 특징, 상기 학습 대상 얼굴 영역, 상기 학습 대상 얼굴 특징 이미지, 상기 학습 대상 얼굴 특징 집약 이미지, 상기 학습 대상 특징 벡터 및 얼굴 학습 정보 중 적어도 어느 하나 이상을 저장하는 저장부(140)를 더 포함할 수 있다.
도 3은 본 발명의 다른 실시예에 따른 얼굴 학습 방법(s100)의 절차를 도시한 도면이다.
얼굴 학습 방법(s100)은 IP 카메라부(110)가 다각도 얼굴 촬영 영상을 수신하는 영상 수신 단계(s110)와, 얼굴 검출부(120)가 상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴을 추출하는 학습 대상 얼굴 검출 단계(s120)와, 얼굴 학습부(130)가 상기 얼굴 검출 단계에서 추출된 얼굴을 딥러닝 기법을 이용하여 학습하는 얼굴 학습 단계(s130)를 포함한다.
얼굴 검출 단계는 Haar-like-feature 웨이블릿 이미지를 사용하여 상기 학습 대상 얼굴의 특징을 검출하는 특징 검출 과정(s121)과, AdaBoost 학습 알고리즘을 이용하여 상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴 영역을 추출하는 얼굴 영역 추출 과정(s122)을 구비할 수 있다.
상기 딥러닝 기법은 CNN 학습법이며, 얼굴 학습 단계(s130)는 상기 다각도 얼굴 촬영 영상과 특징 추출 필터를 컨볼루션 연산을 수행하여 학습 대상 얼굴 특징 이미지를 생성하는 학습 대상 얼굴 특징 이미지 생성 과정(s131)과, 상기 학습 대상 얼굴 특징 이미지를 sub sampling 연산하여 학습 대상 얼굴 특징 집약 이미지를 획득하는 학습 대상 얼굴 특징 집약 이미지 생성 과정(s132)과, 상기 학습 대상 얼굴 특징 집약 이미지를 fully connect 연산을 통해 학습 대상 얼굴 특징 벡터로 구성하는 학습 대상 얼굴 특징 벡터 구성 과정(s133) 및 상기 학습 대상 얼굴 특징 벡터 및 역전파 신경망 알고리즘을 토대로 상기 얼굴 검출부(120)에서 추출된 얼굴을 학습하는 얼굴 학습 과정(s134)을 구비할 수 있다.
또한 얼굴 학습 방법(s100)은 저장부(140)가 상기 다각도 얼굴 촬영 영상, 상기 학습 대상 얼굴의 특징, 상기 학습 대상 얼굴 영역, 상기 학습 대상 얼굴 특징 이미지, 상기 학습 대상 얼굴 특징 집약 이미지, 상기 학습 대상 특징 벡터 및 얼굴 학습 정보 중 적어도 어느 하나 이상을 저장하는 저장 단계(s140)를 더 포함할 수 있다.
도 4a 내지 도 4k는 본 발명의 다양한 실시예에 따른 얼굴 학습 시스템 및 그 방법에서 사용하는 얼굴 학습 방법을 설명하기 위해 도시한 도면으로서, 이를 참조하여 전술한 얼굴 학습 시스템(100) 및 얼굴 학습 방법(s100)을 상세히 설명한다.
얼굴 학습 시스템(100)은 IP 카메라부(110)를 포함하며 IP 카메라부(110)는 도 4a와 같이 다양한 각도(수평 75 ~75 , 수직 30 ~30 )에서 복수개(예로써 총 21개)의 IP 카메라를 배치하여 다양한 각도의 얼굴 영상을 촬영한다. IP 카메라부(110)가 구비하는 IP 카메라는 반원 형태의 모양새로 반원의 반지름은 0.5m ~ 1.0m 내외로 촬영 시 사진이 너무 크거나 작지 않게 조정할 수 있고, 각 각도마다 촬영하기 위해 달아놓은 복수개의 IP 카메라(예로써 21대)를 LAN 허브(도시하지 않음) 등을 통해 얼굴 검출부(120)로 전송할 수 있다. 이때 wi-fi, LTE 등의 무선 통신 또는 유선 통신 기술을 사용할 수 있다. 연결된 복수개(예로써 21개)의 IP 카메라를 통해 1인당 예로써 21개의 다각도 영상 이미지를 도 4a와 같이 획득할 수 있다.
얼굴 검출부(120)가 수행하는 얼굴 검출 단계(s120)는 얼굴 인식함에 있어 입력영상에서 얼굴의 영역을 먼저 확인하여 얼굴을 추출하는 과정이다. 본 발명의 다양한 실시예에서는 얼굴 검출 알고리즘 중에서 가장 성능이 뛰어나고 빠른 Haar-Cascade 얼굴 검출 알고리즘을 사용한다. Haar-Cascade는 Haar-like-feature와 AdaBoost 등으로 구성되어있다. Haar-like-feature는 1910년 Haar가 제안한 도 4b에서와 같은 Haar-like-feature 웨이블릿 이미지를 사용하여 얼굴의 특징을 검출한다. Haar-like-feature 웨이블릿 이미지는 수평, 수직, 대각 방향 성분들을 Edge features, Line features, Center-surrond features 등으로 나누어 얼굴의 전체 영역을 각각의 성분들로 분해하는데 사용된다. 입력 영상의 영역에 Haar-like-feature 웨이블릿 이미지들을 이동시키며 탐색할 때 식 (2.1)을 이용하여 Haar-like-feature 웨이블릿 이미지와 같은 특징을 가지는 영역을 추출한다. 식 (2.1)의 특징 값(feature)은 입력 영상 영역으로 구성되어진 각 영역 안에 위치한 픽셀들의 값을 더한 값들에 가중치를 곱하여 구해진다. 이때 가중치는 Haar-like-feature 웨이블릿 이미지들 마다 다르다.
Figure 112017031738442-pat00001
(2.1)
Figure 112017031738442-pat00002
: 가중치
Figure 112017031738442-pat00003
: 사각형 넓이
입력된 영상 영역의 특징 값들을 계산한 후, AdaBoost 학습 알고리즘으로 얼굴 영역을 추출하게 된다. Haar-like-feature 웨이블릿 이미지를 사용한 특징 값들로 얼굴 영역을 약 분류기(weak classifier)를 사용하여 검출하게 된다. 이때 얼굴 특징을 추출하는데 많은 오차가 생기게 되므로, 약 분류기들을 합친 강 분류기(strong classifier)를 사용하여 오차를 줄이고 얼굴 특징을 정확하게 검출하여 판단할 수 있도록 하는 것이 바람직하다. 도 4c는 Haar-Cascade를 이용한 얼굴 검출 단계(s120)를 나타내고 있다.
얼굴 학습부(130)가 수행하는 얼굴 학습 단계(s130)에서는 딥러닝의 여러 가지 방법 중에서 CNN를 이용하여 학습을 수행한다. CNN 학습 방법은 convolution 연산(s131)과 sub sampling 연산 과정의 반복수행(s132), fully connect 연산(s133), 딥러닝을 이용한 얼굴 학습 연산(s134) 등의 4가지 과정으로 구성된다.
s131을 설명하면, convolution이란 영상처리 분야에서 많이 사용하는 연산으로 얼굴의 특징을 부각 시켜 얼굴의 적절한 특징을 뽑아내기 위해 사용된다. IP 카메라부(110)를 통해 획득되는 다각도 얼굴 촬영 영상(예로써 21장)의 입력 영상과 특징 추출 필터를 convolution 연산을 한다. 도 4d는 convolution 연산에 대해 나타내고 있다. 도 4d에서 7 × 7 image와 3 × 3 filter의 convolution 연상에 대해 설명한다. 7 × 7 image에서 filter 연산하는 수식 (2.2)과 같다. 수식 (2.2)에서 i는 image를 뜻하고 f는 filter를 뜻한다. x는 가로축, y는 세로축 좌표를 말하며 k와 l은 filter의 크기에 따라 크기가 증가한다. 도 4d와 같이 7 × 7 image에서 3 × 3 filter convolution 연산하게 되면 출력 이미지는 5 × 5 image가 되어 출력된다.
Figure 112017031738442-pat00004
(2.2)
특징 추출 필터는 얼굴의 특징을 부각 시켜 얼굴의 특징들을 인간 눈으로 보기 힘든 영역까지 표현해주는 필터로서 이미지의 조명이나 잡음 등의 요인에 대해서도 영향을 적게 하고 적절한 특징을 뽑아내기 위해 사용된다. 여기서 다각도 얼굴 데이터베이스를 이용하여 들어오는 다각도 얼굴 이미지 21개에 모두 적용하게 된다. 입력 영상에 특징 추출 필터를 convolution 연산을 하게 되면 도 4e와 같이 표현된다.
사용되는 특징 추출 필터는 3 × 3 크기의 랜덤 값 필터로서 총 5가지의 필터를 사용하게 된다. 필터의 크기와 개수는 실험치를 통해 결정 한다. 특징 추출 필터를 다양하게 사용하는 이유는 특징 추출 필터마다 특징을 나타내는 정도가 각기 다르고 특징이라고 잡는 위치 또한 각기 필터마다 다르기 때문에 얼굴의 다양한 특징을 추출하기 위함과 조명 변화와 노이즈 변화에 민감성을 떨어뜨리기 위함이다. 따라서 얼굴 학습부(130) 또는 얼굴 학습 단계(s130)에서는 조명 변화와 노이즈에 영향을 줄이는 특징 추출 필터를 이용하여 얼굴의 중요한 특징만을 부각시키는 convolution 연산을 한다.
CNN에서 convolution 연산만 여러 개 연결하여 Deep Network를 구성하는 것도 가능하지만, convolution 연산만을 여러 번 반복하게 되면 연산 량은 기하급수적으로 늘어나게 되고 특징 성분이 너무 많아 얼굴을 인식하기까지 너무 오래 걸릴 수 있다. 따라서 얼굴에서 특징이 아닌 성분들을 지우고 줄여주는 역할을 하는 sub sampling 과정(s132)으로 도 4f와 식 (2.3)와 같이 수행 된다. 도 4f에서 6 × 6 image에서 3 × 3의 크기로 구역을 나누고 나눈 3 × 3 구역에서 가장 큰 값을 가지고 있는 값을 남기고 나머지 값을 버리는 과정이다. 수식 (2.3)에서 i는 image를 말하고 max는 픽셀 값의 최대치를 말한다. x, y는 가로, 세로 좌표를 말한다.
Figure 112017031738442-pat00005
(2.3)
sub sampling 연산은 특징 추출 필터를 통해 나오는 특징과 특징이 아닌 부분을 줄여주는 과정으로서 전체 특징 이미지를 3 × 3 영역들로 나누는 것이다. 이 과정을 수행 하면 총 99 × 99로 이루어진 특징 이미지를 33 × 33으로 줄이는 효과가 나타난다. 따라서 얼굴 학습부(130) 또는 얼굴 학습 단계(s130)에서는 3 × 3 영역의 값은 특징의 크기 값으로 이루어져 있기 때문에 제일 큰 값이 특별하게 나타나는 특징 값으로 계산한다. 그리고 나머지 값들은 버리고 제일 큰 값만 연산과정에서 남기는 max sub sampling 연산을 수행한다. 도 4g는 얼굴 학습부(130) 또는 얼굴 학습 단계(s130)에서 제안하는 sub sampling 과정을 나타내고 있다.
위에서 보여준 convolution과 sub sampling 과정 연산을 계속적으로 반복 연산을 하게 되고 사용하는 필터와 크기들은 모두 저장되면서 연산 하게 된다. 계속 반복하여 convolution과 sub sampling 과정을 수행하게 되면 추출된 특징 이미지들은 아주 작은 픽셀 단위의 이미지로 줄어들게 되며 특징이 집약된 얼굴의 특징 성분들만으로 이루어진다. 마지막으로 이 특징들을 연결하여 하나의 긴 특징 벡터로 구성한다(s133). 도 4h는 추출된 특징 이미지들을 fully connect 연산하는 과정을 나타내고 있다.
s134를 설명하면, 추출된 특징 벡터를 이용하여 얼굴을 학습하는 얼굴 학습부(130) 또는 얼굴 학습 단계(s130)에서는 역전파 신경망 알고리즘을 사용한다. 역전파 신경망 알고리즘이란 신경망의 출력 값이 원하는 출력 값이 나오도록 오차 신호를 역방향으로 전파하여 노드 사이의 가중치를 수정하는 기법이다. 도 4i는 역전파 신경망의 구조를 나타내고 있다. 도 4i에서 입력 층은 딥러닝으로 추출된 특징 벡터 x1, x2, x3 등으로 이루어지고, 출력 층은 학습되어야 할 클래스 o1, o2 등으로 이루어진다. 입력 층과 출력 층 사이에 은닉 층이 존재한다. 노드와 노드 사이에 에지의
Figure 112017031738442-pat00006
는 가중치(weight)를 나타낸다. 도 4i에서 노드 번호는 왼쪽에서부터 1부터 시작하고 층 번호는 아래서부터 0으로 시작한다. 가중치
Figure 112017031738442-pat00007
의 아래 첨자는 도착 노드와 시작 노드의 번호를 나타내고, 가중치
Figure 112017031738442-pat00008
의 위 첨자는 도착 층과 시작 층 번호를 의미한다.
입력 벡터
Figure 112017031738442-pat00009
가 있다고 할 때
Figure 112017031738442-pat00010
는
Figure 112017031738442-pat00011
의 범위를 갖고,
Figure 112017031738442-pat00012
에 대한
Figure 112017031738442-pat00013
차원 원하는 출력 값인 희망 출력
Figure 112017031738442-pat00014
는 식 (2.4)와 같이 정의된다. 그 다음 입력 벡터와 그 입력에 대한 희망 출력을 묶어 하나의 훈련 세트를 구성하고 그 식은 (2.5)과 같다. 이제 입력 벡터
Figure 112017031738442-pat00015
를 신경망에 입력했을 때 신경망의 실제 출력
Figure 112017031738442-pat00016
는 식 (2.6)와 같다.
Figure 112017031738442-pat00017
(2.4)
Figure 112017031738442-pat00018
(2.5)
Figure 112017031738442-pat00019
(2.6)
역전파 신경망의 목표는 실제 출력 벡터
Figure 112017031738442-pat00020
가 희망 출력 벡터
Figure 112017031738442-pat00021
와 거의 비슷하게 되도록 가중치
Figure 112017031738442-pat00022
를 조절 하는 것이다. 다시 말해 모든 입력 벡터들의 오차 합이 최소가 되도록 가중치
Figure 112017031738442-pat00023
를 조절하는 것이다. 오차에 대한 함수식은 식 (2.7)과 같다. 오차 함수를 제곱 형태로 정하는 이유는 그 함수가 미분 가능하고 함수의 미분 값이 선형 일차식 꼴이므로 경사 강하 알고리즘에 적용하기 쉽기 때문이다.
Figure 112017031738442-pat00024
(2.7)
경사 강하 알고리즘에 따르면
Figure 112017031738442-pat00025
의 가중치 변화 방향은
Figure 112017031738442-pat00026
방향과 같아야 한다. 도 4j에서 ①과 같이 기울기가 음수인 경우
Figure 112017031738442-pat00027
는 증가하는 방향으로, ②와 같이 기울기가 양수인 경우
Figure 112017031738442-pat00028
는 감소하는 방향으로 나아가야한다. 도 4i 신경망의 구조와 같이 한 은닉층을 갖는 인공신경망에서
Figure 112017031738442-pat00029
의 변화 양은 식 (2.8)과 식 (2.9)과 같이 표현될 수 있다.
(2.8)
Figure 112017031738442-pat00031
(2.9)
오차 함수
Figure 112017031738442-pat00032
는 식 (2.10)과 같이
Figure 112017031738442-pat00033
를 변수로 갖는 함수이다. 따라서 식 (2.8)은
Figure 112017031738442-pat00034
를
Figure 112017031738442-pat00035
에 대해 미분하여 계산될 수 있고 그 값은 0층에서 1층 사이의 가중치 식으로 식 (2.11)와 같다.
Figure 112017031738442-pat00036
(2.10)
Figure 112017031738442-pat00037
(2.11)
또한 식 (2.10)의 마지막 항에서
Figure 112017031738442-pat00038
이므로
Figure 112017031738442-pat00039
는 또한
Figure 112017031738442-pat00040
를 변수로 갖는 함수이다. 따라서 식 (2.9)은
Figure 112017031738442-pat00041
를
Figure 112017031738442-pat00042
에 대해 미분하여 계산될 수 있고 그 값은 1층에서 2층 사이의 가중치 식으로 식 (2.12)과 같다.
Figure 112017031738442-pat00043
(2.12)
여기서
Figure 112017031738442-pat00044
는
Figure 112017031738442-pat00045
층의 모든 노드들의 가중된 합을 뜻한다. 최종적으로 역전파 신경망을 이용하여 신경망을 학습시킨다는 의미는 위의 식들을 이용하여 오차 신호를 역방향으로 전파하여 노드 사이의 가중치 즉,
Figure 112017031738442-pat00046
를 원하는 에러율이 나올 때까지 계속 수정하여 최적의 가중치를 얻는 것을 의미한다. 분류하려고 하는 모든 사람의 21개의 다각도 얼굴에 대한 특징 벡터를 학습하여 도 4k와 같이 가중치 값을 학습하게 된다.
도 5는 본 발명의 또 다른 실시예에 따른 얼굴 인식 시스템(200)의 구성을 도시한 도면이다.
얼굴 인식 시스템(200)은 저장부(140)와 동일한 구성을 지니고 동일한 기능을 수행하는 저장부(230)와, 실시간으로 인식 대상 얼굴 영상을 획득하는 인식 카메라(210)와, Haar-Cascade 얼굴 검출 알고리즘을 사용하여 상기 실시간으로 획득한 인식 대상 얼굴 영상에서 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역과 저장부(230)에 기 저장된 얼굴 학습 정보를 비교 및 분석하는 제어부(220)를 포함한다.
제어부(220)는 Haar-Cascade 얼굴 검출 알고리즘을 사용하여 상기 실시간으로 획득한 인식 대상 얼굴 영상에서 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역과 저장부(230)에 저장된 얼굴 학습 정보를 비교 및 분석하되, 상기 실시간으로 획득한 인식 대상 얼굴 영상과 특징 추출 필터를 컨볼루션 연산을 수행하여 인식 대상 얼굴 특징 이미지를 생성하고, 상기 인식 대상 얼굴 특징 이미지를 sub sampling 연산하여 인식 대상 얼굴 특징 집약 이미지를 획득하며, 상기 인식 대상 얼굴 특징 집약 이미지를 fully connect 연산을 통해 인식 대상 얼굴 특징 벡터로 구성하여, 상기 인식 대상 얼굴 특징 벡터 및 역전파 신경망 알고리즘을 토대로 상기 실시간으로 획득한 인식 대상 얼굴 영상과 상기 얼굴 학습 정보를 비교 및 분석할 수 있다.
전술하였듯이 저장부(230)은 저장부(140)와 동일한 구성으로 동일한 기능을 수행하며, 저장부(230) 및 저장부(140)는 일반적인 데이터베이스의 형태로 구현될 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 얼굴 인식 방법(s200)의 절차를 도시한 도면이다.
얼굴 인식 방법(s200)은 인식 카메라(210)가 실시간으로 인식 대상 얼굴 영상을 획득하는 영상 획득 단계(s210)와, 제어부(220)가 Haar-Cascade 얼굴 검출 알고리즘을 사용하여 상기 실시간으로 획득한 인식 대상 얼굴 영상에서 얼굴 영역을 검출하는 인식 대상 얼굴 검출 단계(s220) 및 상기 검출된 얼굴 영역과 저장부(230)에 기 저장된 얼굴 학습 정보를 비교 및 분석하는 얼굴 분석 단계(s230)를 포함하되, 얼굴 분석 단계(s230)는 상기 실시간으로 획득한 인식 대상 얼굴 영상과 특징 추출 필터를 컨볼루션 연산을 수행하여 인식 대상 얼굴 특징 이미지를 생성하는 인식 대상 얼굴 특징 이미지 생성 과정(s231)과, 상기 인식 대상 얼굴 특징 이미지를 sub sampling 연산하여 인식 대상 얼굴 특징 집약 이미지를 획득하는 인식 대상 얼굴 특징 집약 이미지 생성 과정과(s232), 상기 인식 대상 얼굴 특징 집약 이미지를 fully connect 연산을 통해 인식 대상 얼굴 특징 벡터로 구성하는 인식 대상 얼굴 특징 벡터 구성 과정과(s233), 상기 인식 대상 얼굴 특징 벡터 및 역전파 신경망 알고리즘을 토대로 상기 실시간으로 획득한 인식 대상 얼굴 영상과 상기 얼굴 학습 정보를 비교 및 분석하는 얼굴 인식 과정(s234)을 구비할 수 있다.
도 7a내지 도 7k는 본 발명의 다양한 실시예에 따른 얼굴 인식 시스템 및 그 방법에서 사용하는 얼굴 인식 방법을 설명하기 위해 도시한 도면으로서, 이를 참조하여 얼굴 인식 시스템(200) 및 얼굴 인식 방법(s200)을 상세히 설명한다.
도 7a와 같이 인식 카메라(210)에서 실시간으로 영상을 획득하여 제어부(220)로 전송한다(s210). 그 다음 제어부(220)는 Haar-Cascade 알고리즘을 사용하여 도 7b와 같이 얼굴 검출을 수행한다(s220).
제어부(220) 및 얼굴 분석 단계(s230)에서는 딥러닝의 여러 가지 방법 중에서 CNN를 이용하여 얼굴 분석 또는 분류를 수행할 수 있다. CNN 분류 방법은 convolution 연산(s231)과 sub sampling 연산 과정의 반복수행(s232), fully connect 연산(s233), 딥러닝을 이용한 얼굴 분류 연산(s234) 등의 4가지 과정으로 구성된다.
s231는 s131과 유사한 방법으로 s231을 설명하면, convolution이란 영상처리 분야에서 많이 사용하는 연산으로 얼굴의 특징을 부각 시켜 얼굴의 적절한 특징을 뽑아내기 위해 사용된다. 도 7c는 convolution 연산에 대해 나타내고 있다.
도 7c에서 7 × 7 image와 3 × 3 filter의 convolution 연상에 대해 설명한다. 7 × 7 image에서 filter 연산하는 수식 (2,13)와 같다. 수식 (2.13)에서 i는 image를 뜻하고 f는 filter를 뜻한다. x는 가로축, y는 세로축 좌표를 말하며 k와 l은 filter의 크기에 따라 크기가 증가한다. 도 7c와 같이 7 × 7 image에서 3 × 3 filter convolution 연산하게 되면 출력 이미지는 5 × 5 image가 되어 출력된다.
Figure 112017031738442-pat00047
(2,13)
상기한 바와 같이특징 추출 필터는 얼굴의 특징을 부각 시켜 얼굴의 특징들을 인간 눈으로 보기 힘든 영역까지 표현해주는 필터로서 이미지의 조명이나 잡음 등의 요인에 대해서도 영향을 적게 하고 적절한 특징을 뽑아내기 위해 사용된다. 여기서 실시간 입력되어 들어오는 얼굴 영상에 학습과 같은 특징 추출 필터를 사용하여 convolution 연산을 하게 되면 도 7d와 같이 표현된다.
사용되는 특징 추출 필터는 3 × 3 크기의 랜덤 값 필터로서 총 5가지의 필터를 사용하게 된다. 필터의 크기와 개수는 실험치를 통해 결정 한다. 특징 추출 필터를 다양하게 사용하는 이유는 특징 추출 필터마다 특징을 나타내는 정도가 각기 다르고 특징이라고 잡는 위치 또한 각기 필터마다 다르기 때문에 얼굴의 다양한 특징을 추출하기 위함과 조명 변화와 노이즈 변화에 민감성을 떨어뜨리기 위함이다. 따라서 조명 변화와 노이즈에 영향을 줄이는 특징 추출 필터를 이용하여 얼굴의 중요한 특징만을 부각시키는 convolution 연산을 한다.
CNN에서 convolution 연산만 여러 개 연결하여 Deep Network를 구성하는 것도 가능하지만, convolution 연산만을 여러 번 반복하게 되면 연산 량은 기하급수적으로 늘어나게 되고 특징 성분이 너무 많아 얼굴을 인식하기까지 너무 오래 걸리는 단점을 가지게 된다. 따라서 얼굴에서 특징이 아닌 성분들을 지우고 줄여주는 역할을 하는 sub sampling 과정으로 도 7e와 식 (2.14)와 같이 수행 된다(s232). 도 7e에서 6 × 6 image에서 3 × 3의 크기로 구역을 나누고 나눈 3 × 3 구역에서 가장 큰 값을 가지고 있는 값을 남기고 나머지 값을 버리는 과정이다. 수식 (2.14)에서 i는 image를 말하고 max는 픽셀 값의 최대치를 말한다. x, y는 가로, 세로 좌표를 말한다.
Figure 112017031738442-pat00048
(2.14)
sub sampling 연산은 특징 추출 필터를 통해 나오는 특징과 특징이 아닌 부분을 줄여주는 과정으로서 전체 특징 이미지를 3 × 3 영역들로 나누는 것이다. 이 과정을 수행 하면 총 99 × 99로 이루어진 특징 이미지를 33 × 33으로 줄이는 효과가 나타난다. 따라서 제어부(220) 및 얼굴 분석 단계(s220)에서는 3 × 3 영역의 값은 특징의 크기 값으로 이루어져 있기 때문에 제일 큰 값이 특별하게 나타나는 특징 값으로 계산한다. 그리고 나머지 값들은 버리고 제일 큰 값만 연산과정에서 남기는 max sub sampling 연산을 수행한다. 도 7f는 제어부(220) 및 얼굴 분석 단계(s220)에서 수행하는 sub sampling 과정을 나타내고 있다.
위에서 보여준 convolution과 sub sampling 과정 연산을 계속적으로 반복 연산을 하게 되고 사용하는 필터와 크기들은 모두 저장되면서 연산 하게 된다. 계속 반복하여 convolution과 sub sampling 과정을 수행하게 되면 추출된 특징 이미지들은 아주 작은 픽셀 단위의 이미지로 줄어들게 되며 특징이 집약된 얼굴의 특징 성분들만으로 이루어진다. 마지막으로 이 특징들을 연결하여 하나의 긴 특징 벡터로 구성한다(s233). 도 7 g는 추출된 특징 이미지들을 fully connect 연산하는 과정을 나타내고 있다.
추출된 특징 벡터를 이용하여 얼굴을 분류 또는 분석하는 방법으로 제어부(220) 및 얼굴 분석 단계(s230)에서는 역전파 신경망 알고리즘을 사용한다. 역전파 신경망 알고리즘이란 신경망의 출력 값이 원하는 출력 값이 나오도록 오차 신호를 역방향으로 전파하여 노드 사이의 가중치를 수정하는 기법이다. 도 7i는 역전파 신경망의 구조를 나타내고 있다. 도 7i에서 입력 층은 딥러닝으로 추출된 특징 벡터 x1, x2, x3 등으로 이루어지고, 출력 층은 학습되어야 할 클래스 o1, o2 등으로 이루어진다. 입력 층과 출력 층 사이에 은닉 층이 존재한다. 노드와 노드 사이에 에지의
Figure 112017031738442-pat00049
는 가중치(weight)를 나타낸다. 도 7i에서 노드 번호는 왼쪽에서부터 1부터 시작하고 층 번호는 아래서부터 0으로 시작한다. 가중치
Figure 112017031738442-pat00050
의 아래 첨자는 도착 노드와 시작 노드의 번호를 나타내고, 가중치
Figure 112017031738442-pat00051
의 위 첨자는 도착 층과 시작 층 번호를 의미한다.
입력 벡터
Figure 112017031738442-pat00052
가 있다고 할 때
Figure 112017031738442-pat00053
는
Figure 112017031738442-pat00054
의 범위를 갖고,
Figure 112017031738442-pat00055
에 대한
Figure 112017031738442-pat00056
차원 원하는 출력 값인 희망 출력
Figure 112017031738442-pat00057
는 식 (2.15)와 같이 정의된다. 그 다음 입력 벡터와 그 입력에 대한 희망 출력을 묶어 하나의 훈련 세트를 구성하고 그 식은 (2.16)과 같다. 이제 입력 벡터
Figure 112017031738442-pat00058
를 신경망에 입력했을 때 신경망의 실제 출력
Figure 112017031738442-pat00059
는 식 (2.17)와 같다.
Figure 112017031738442-pat00060
(2.15)
Figure 112017031738442-pat00061
(2.16)
Figure 112017031738442-pat00062
(2.17)
역전파 신경망의 목표는 실제 출력 벡터
Figure 112017031738442-pat00063
가 희망 출력 벡터
Figure 112017031738442-pat00064
와 거의 비슷하게 되도록 가중치
Figure 112017031738442-pat00065
를 조절 하는 것이다. 다시 말해 모든 입력 벡터들의 오차 합이 최소가 되도록 가중치
Figure 112017031738442-pat00066
를 조절하는 것이다. 오차에 대한 함수식은 식 (2.18)과 같다. 오차 함수를 제곱 형태로 정하는 이유는 그 함수가 미분 가능하고 함수의 미분 값이 선형 일차식 꼴이므로 경사 강하 알고리즘에 적용하기 쉽기 때문이다.
Figure 112017031738442-pat00067
(2.18)
경사 강하 알고리즘에 따르면
Figure 112017031738442-pat00068
의 가중치 변화 방향은
Figure 112017031738442-pat00069
방향과 같아야 한다. 도 7j에서 ①과 같이 기울기가 음수인 경우
Figure 112017031738442-pat00070
는 증가하는 방향으로, ②와 같이 기울기가 양수인 경우
Figure 112017031738442-pat00071
는 감소하는 방향으로 나아가야한다. 도 7i의 신경망의 구조와 같이 한 은닉층을 갖는 인공신경망에서
Figure 112017031738442-pat00072
의 변화 양은 식 (2.19)과 식 (2.20)과 같이 표현될 수 있다.
Figure 112017031738442-pat00073
(2.19)
Figure 112017031738442-pat00074
(2.20)
오차 함수
Figure 112017031738442-pat00075
는 식 (2.21)과 같이
Figure 112017031738442-pat00076
를 변수로 갖는 함수이다. 따라서 식 (2.19)은
Figure 112017031738442-pat00077
를
Figure 112017031738442-pat00078
에 대해 미분하여 계산될 수 있고 그 값은 0층에서 1층 사이의 가중치 식으로 식 (2.22)와 같다.
Figure 112017031738442-pat00079
(2.21)
Figure 112017031738442-pat00080
(2.22)
또한 식 (2.21)의 마지막 항에서
Figure 112017031738442-pat00081
이므로
Figure 112017031738442-pat00082
는 또한
Figure 112017031738442-pat00083
를 변수로 갖는 함수이다. 따라서 식 (2.20)은
Figure 112017031738442-pat00084
를
Figure 112017031738442-pat00085
에 대해 미분하여 계산될 수 있고 그 값은 1층에서 2층 사이의 가중치 식으로 식 (2.23)과 같다.
Figure 112017031738442-pat00086
(2.23)
여기서
Figure 112017031738442-pat00087
는
Figure 112017031738442-pat00088
층의 모든 노드들의 가중된 합을 뜻한다. 최종적으로 역전파 신경망을 이용하여 신경망을 학습시킨다는 의미는 위의 식들을 이용하여 오차 신호를 역방향으로 전파하여 노드 사이의 가중치 즉,
Figure 112017031738442-pat00089
를 원하는 에러율이 나올 때까지 계속 수정하여 최적의 가중치를 얻는 것을 의미한다.
딥러닝을 이용한 얼굴 분류 및 분석을 하게 되는데 얼굴 학습 시스템(100) 또는 얼굴 학습 방법(s100)에서 얼굴 학습을 통해 학습해 놓은 가중치 값을 이용하여 얼굴 인식 시스템(200) 또는 얼굴 인식 방법(s200)에서 실시간으로 입력되는 얼굴 특징 벡터를 노드에 적용하여 마지막 출력 노드를 구하여 누구의 얼굴인지를 확인하는 방식으로 도 7k와 같다.
입력 벡터를 노드
Figure 112017031738442-pat00090
,
Figure 112017031738442-pat00091
,
Figure 112017031738442-pat00092
에 넣으면 학습해 놓은 가중치
Figure 112017031738442-pat00093
에 따라 은닉층 노드로 가게 되고 가중치
Figure 112017031738442-pat00094
에 의해 출력층 노드로 출력하게 되는데 출력 클래스는 기존에 분류해 놓은 클래스와 비교하여 오차율이 가장 작은 클래스로 분류하게 되어 입력되는 얼굴 특징 벡터가 누구의 얼굴인지 판단하게 된다. 각각의 은닉층은 얼굴을 표현하는 여러 특징 벡터들로 이루어져 있다.
도 8a 내지 도 8e는 본 발명의 다양한 실시예를 실제 구현한 예시와 그에 따른 얼굴 인식률 실험 결과를 도시한 도면이다
도 8a는 얼굴 학습 시스템(100)를 실제 구현한 모습을 도시한 것이다. GUI는 도 8a와 같이 복수개의 IP 카메라 (예로써 21대의 카메라)에서 받아오는 영상을 띄우는 부분과, 조명을 제어하는 부분 그리고 21대의 카메라에서 받아오는 영상을 그 순간 찍어서 저장하는 버튼으로 구성되어있다.
도 8b와 같이 복수개(예로써 21개)의 다각도 얼굴 사진을 Haar-Cascade를 통해 얼굴만 검출한 후, 딥러닝을 이용하여 얼굴을 학습 시킨다.
학습이 완료된 후에, 카메라를 통해 실시간 영상이 입력되면 Haar Cascade를 통해 얼굴을 검출하고, 딥러닝을 통해 학습된 이미지와 비교하여 얼굴 인식을 하게 된다.
도 8c는 본 발명의 다양한 실시예에 따른 얼굴 학습 시스템(100) 및 얼굴 인식 시스템(200)를 실제 구현한 예의 전체 개념을 나타낸 도면이다.
얼굴 학습 시스템(100) 및 얼굴 인식 시스템(200)의 효용성을 측정하기 위하여 실험에 사용된 데이터베이스는 성별, 체형들이 각기 다른 60명의 학생(타겟 5명, 비타겟 55명)들로 구성되어있다. 얼굴 각도는 0 부터 75 의 다각도 얼굴 영상을 1,260장을 촬영하였다. 도 8c에서 나타난 바와 같이 정면(0 )에서의 인식률은 98%가 나왔으며, 정면이 아닌 수평 75 이하의 각도에서도 얼굴 인식률은 93%가 나왔으며, 정면이 아닌 수직 30 이하의 각도에서도 얼굴 인식률은 93%가 나왔다. 도 8d는 도 8c의 결과 값을 그래프 화 하였다.
전술한 얼굴 검출부(120), 얼굴 학습부(130), 저장부(140), 제어부(220) 및 저장부(230)가 수행하는 기능과, 학습 대상 얼굴 검출 단계(s120), 얼굴 학습 단계(s130), 저장 단계(s140), 인식 대상 얼굴 검출 단계(s220) 및 얼굴 분석 단계(s230)에서 수행하는 과정들은 CPU, RAM, ROM 등을 구비한 데스크탑, 노트북 형태의 PC 뿐만 아니라 프로세서(Application Processor)를 구비한 스마트폰 형태의 스마트 단말기 등을 이용하여 구현할 수 있다.
지금까지 본 발명을 바람직한 실시예를 참조하여 상세히 설명하였다. 그러나 본 발명이 상기한 실시예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.
100 : 얼굴 학습 시스템
110 : IP 카메라부
120 : 얼굴 검출부
130 : 얼굴 학습부
140 : 저장부
200 : 얼굴 인식 시스템
210 : 인식 카메라
220 : 제어부
230 : 저장부
s100 : 얼굴 학습 방법
s110 : 영상 수신 단계
s120 : 학습 대상 얼굴 검출 단계
s130 : 얼굴 학습 단계
s200 : 얼굴 인식 방법
s210 : 영상 획득 단계
s220 : 인식 대상 얼굴 검출 단계
s230 : 얼굴 분석 단계

Claims (9)

  1. 얼굴 학습 및 인식을 위한 시스템에 있어서,
    다각도 얼굴 촬영 영상을 수신하는 IP 카메라부;
    상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴을 추출하는 얼굴 검출부; 및
    상기 얼굴 검출부에서 추출된 얼굴을 딥러닝 기법을 이용하여 학습하는 얼굴 학습부를 포함하고,
    상기 얼굴 검출부는,
    Haar-Cascade 얼굴 검출 알고리즘을 이용하여 상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴을 추출하되, Haar-like-feature 웨이블릿 이미지를 사용하여 상기 학습 대상 얼굴의 특징을 검출하고, AdaBoost 학습 알고리즘을 이용하여 상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴 영역을 추출하며,
    상기 얼굴 학습부는,
    상기 얼굴 검출부에서 추출된 얼굴을 딥러닝 기법을 이용하여 학습하고 얼굴 학습 정보를 생성하되, 상기 딥러닝 기법은 CNN 학습법이며, 상기 CNN 학습법은 상기 다각도 얼굴 촬영 영상과 특징 추출 필터를 컨볼루션 연산을 수행하여 학습 대상 얼굴 특징 이미지를 생성하고, 상기 학습 대상 얼굴 특징 이미지를 sub sampling 연산하여 학습 대상 얼굴 특징 집약 이미지를 획득하며, 상기 학습 대상 얼굴 특징 집약 이미지를 fully connect 연산을 통해 학습 대상 얼굴 특징 벡터로 구성하여, 상기 학습 대상 얼굴 특징 벡터 및 역전파 신경망 알고리즘을 토대로 상기 얼굴 검출부에서 추출된 얼굴을 학습하는 방법인 것을 특징으로 하는 얼굴 학습 및 인식 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 얼굴 학습 및 인식 시스템은
    상기 다각도 얼굴 촬영 영상, 상기 학습 대상 얼굴의 특징, 상기 학습 대상 얼굴 영역, 상기 학습 대상 얼굴 특징 이미지, 상기 학습 대상 얼굴 특징 집약 이미지, 상기 학습 대상 특징 벡터 및 상기 얼굴 학습 정보 중 적어도 어느 하나 이상을 저장하는 저장부를 더 포함하는 것을 특징으로 하는 얼굴 학습 및 인식 시스템.
  5. 제4항에 있어서,
    상기 저장부;
    실시간으로 인식 대상 얼굴 영상을 획득하는 인식 카메라; 및
    Haar-Cascade 얼굴 검출 알고리즘을 사용하여 상기 실시간으로 획득한 인식 대상 얼굴 영상에서 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역과 상기 저장부에 기 저장된 얼굴 학습 정보를 비교 및 분석하는 제어부를 포함하는 것을 특징으로 하는 얼굴 학습 및 인식 시스템.
  6. 제5항에 있어서, 상기 제어부는,
    Haar-Cascade 얼굴 검출 알고리즘을 사용하여 상기 실시간으로 획득한 인식 대상 얼굴 영상에서 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역과 상기 저장부에 저장된 얼굴 학습 정보를 비교 및 분석하되,
    상기 실시간으로 획득한 인식 대상 얼굴 영상과 특징 추출 필터를 컨볼루션 연산을 수행하여 인식 대상 얼굴 특징 이미지를 생성하고, 상기 인식 대상 얼굴 특징 이미지를 sub sampling 연산하여 인식 대상 얼굴 특징 집약 이미지를 획득하며, 상기 인식 대상 얼굴 특징 집약 이미지를 fully connect 연산을 통해 인식 대상 얼굴 특징 벡터로 구성하여, 상기 인식 대상 얼굴 특징 벡터 및 역전파 신경망 알고리즘을 토대로 상기 실시간으로 획득한 인식 대상 얼굴 영상과 상기 얼굴 학습 정보를 비교 및 분석하는 것을 특징으로 하는 얼굴 학습 및 인식 시스템.
  7. IP 카메라부가 다각도 얼굴 촬영 영상을 수신하는 영상 수신 단계와,
    얼굴 검출부가 상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴을 추출하는 학습 대상 얼굴 검출 단계와,
    얼굴 학습부가 상기 얼굴 검출 단계에서 추출된 얼굴을 딥러닝 기법을 이용하여 학습하는 얼굴 학습 단계를 포함하되,
    상기 얼굴 검출 단계는
    Haar-like-feature 웨이블릿 이미지를 사용하여 상기 학습 대상 얼굴의 특징을 검출하는 특징 검출 과정과,
    AdaBoost 학습 알고리즘을 이용하여 상기 다각도 얼굴 촬영 영상에서 학습 대상 얼굴 영역을 추출하는 얼굴 영역 추출 과정을 구비하고,
    상기 딥러닝 기법은 CNN 학습법이며,
    상기 얼굴 학습 단계는 상기 다각도 얼굴 촬영 영상과 특징 추출 필터를 컨볼루션 연산을 수행하여 학습 대상 얼굴 특징 이미지를 생성하는 학습 대상 얼굴 특징 이미지 생성 과정과,
    상기 학습 대상 얼굴 특징 이미지를 sub sampling 연산하여 학습 대상 얼굴 특징 집약 이미지를 획득하는 학습 대상 얼굴 특징 집약 이미지 생성 과정과,
    상기 학습 대상 얼굴 특징 집약 이미지를 fully connect 연산을 통해 학습 대상 얼굴 특징 벡터로 구성하는 학습 대상 얼굴 특징 벡터 구성 과정 및 상기 학습 대상 얼굴 특징 벡터 및 역전파 신경망 알고리즘을 토대로 상기 얼굴 검출부에서 추출된 얼굴을 학습하는 얼굴 학습 과정을 구비하는 것을 특징으로 하는 얼굴 학습 및 인식 방법.
  8. 제7항에 있어서, 상기 얼굴 학습 및 인식 방법은,
    저장부가 상기 다각도 얼굴 촬영 영상, 상기 학습 대상 얼굴의 특징, 상기 학습 대상 얼굴 영역, 상기 학습 대상 얼굴 특징 이미지, 상기 학습 대상 얼굴 특징 집약 이미지, 상기 학습 대상 특징 벡터 및 얼굴 학습 정보 중 적어도 어느 하나 이상을 저장하는 저장 단계를 더 포함하는 것을 특징으로 하는 얼굴 학습 및 인식 방법.
  9. 제8항에 있어서, 상기 얼굴 학습 및 인식 방법은
    인식 카메라가 실시간으로 인식 대상 얼굴 영상을 획득하는 영상 획득 단계와,
    제어부가 Haar-Cascade 얼굴 검출 알고리즘을 사용하여 상기 실시간으로 획득한 인식 대상 얼굴 영상에서 얼굴 영역을 검출하는 인식 대상 얼굴 검출 단계 및 상기 검출된 얼굴 영역과 저장부에 기 저장된 얼굴 학습 정보를 비교 및 분석하는 얼굴 분석 단계를 포함하되,
    상기 얼굴 분석 단계는
    상기 실시간으로 획득한 인식 대상 얼굴 영상과 특징 추출 필터를 컨볼루션 연산을 수행하여 인식 대상 얼굴 특징 이미지를 생성하는 인식 대상 얼굴 특징 이미지 생성 과정과,
    상기 인식 대상 얼굴 특징 이미지를 sub sampling 연산하여 인식 대상 얼굴 특징 집약 이미지를 획득하는 인식 대상 얼굴 특징 집약 이미지 생성 과정과, 상기 인식 대상 얼굴 특징 집약 이미지를 fully connect 연산을 통해 인식 대상 얼굴 특징 벡터로 구성하는 인식 대상 얼굴 특징 벡터 구성 과정과,
    상기 인식 대상 얼굴 특징 벡터 및 역전파 신경망 알고리즘을 토대로 상기 실시간으로 획득한 인식 대상 얼굴 영상과 상기 얼굴 학습 정보를 비교 및 분석하는 얼굴 인식 과정을 구비하는 것을 특징으로 하는 얼굴 학습 및 인식 방법

KR1020170041623A 2017-03-27 2017-03-31 얼굴 학습 및 인식 시스템과 그 방법 KR101793510B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170038550 2017-03-27
KR20170038550 2017-03-27

Publications (1)

Publication Number Publication Date
KR101793510B1 true KR101793510B1 (ko) 2017-11-06

Family

ID=60384368

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170041623A KR101793510B1 (ko) 2017-03-27 2017-03-31 얼굴 학습 및 인식 시스템과 그 방법

Country Status (1)

Country Link
KR (1) KR101793510B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208869A1 (ko) * 2018-04-27 2019-10-31 연세대학교 산학협력단 학습을 이용한 얼굴 특징점 검출 방법 및 장치
KR20190135062A (ko) * 2018-05-02 2019-12-06 동국대학교 산학협력단 딥 러닝 기반의 홍채 영역 검출 장치 및 방법
KR20190142553A (ko) * 2018-06-18 2019-12-27 주식회사 쓰임기술 얼굴 데이터베이스를 이용한 인물 추적 방법 및 시스템
KR20200068771A (ko) * 2018-11-28 2020-06-16 동국대학교 산학협력단 딥러닝 기반 얼굴 인식 출석체크 시스템
KR102126197B1 (ko) * 2020-01-29 2020-06-24 주식회사 카카오뱅크 비식별화된 이미지를 이용한 신경망 학습 방법 및 이를 제공하는 서버
KR20200094844A (ko) 2019-01-23 2020-08-10 한국전자통신연구원 딥러닝을 이용한 얼굴 인식 장치 및 그것의 동작 방법
CN112307868A (zh) * 2019-07-31 2021-02-02 百度（美国）有限责任公司 图像识别方法、电子设备和计算机可读介质
US10937141B2 (en) 2017-10-13 2021-03-02 Sualab Co., Ltd. Deep learning based image comparison device, method and computer program stored in computer readable medium
WO2021040345A1 (ko) * 2019-08-27 2021-03-04 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US10997399B1 (en) 2019-11-25 2021-05-04 Karya Property Management, Llc Facial recognition tool
KR20210145984A (ko) * 2020-05-26 2021-12-03 한국전자통신연구원 다시점 얼굴 영상 기반 사용자 모니터링 장치 및 방법
KR20220071728A (ko) * 2020-11-24 2022-05-31 (주)싱스웰 사용자 맞춤형 서비스를 제공하는 캡슐형 스마트 쉘터

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10937141B2 (en) 2017-10-13 2021-03-02 Sualab Co., Ltd. Deep learning based image comparison device, method and computer program stored in computer readable medium
WO2019208869A1 (ko) * 2018-04-27 2019-10-31 연세대학교 산학협력단 학습을 이용한 얼굴 특징점 검출 방법 및 장치
KR102178521B1 (ko) * 2018-05-02 2020-11-16 동국대학교 산학협력단 딥 러닝 기반의 홍채 영역 검출 장치 및 방법
KR20190135062A (ko) * 2018-05-02 2019-12-06 동국대학교 산학협력단 딥 러닝 기반의 홍채 영역 검출 장치 및 방법
KR20190142553A (ko) * 2018-06-18 2019-12-27 주식회사 쓰임기술 얼굴 데이터베이스를 이용한 인물 추적 방법 및 시스템
KR102106898B1 (ko) * 2018-06-18 2020-05-06 주식회사 쓰임기술 얼굴 데이터베이스를 이용한 인물 추적 방법 및 시스템
KR20200068771A (ko) * 2018-11-28 2020-06-16 동국대학교 산학협력단 딥러닝 기반 얼굴 인식 출석체크 시스템
KR102177235B1 (ko) * 2018-11-28 2020-11-11 동국대학교 산학협력단 딥러닝 기반 얼굴 인식 출석체크 시스템
KR20200094844A (ko) 2019-01-23 2020-08-10 한국전자통신연구원 딥러닝을 이용한 얼굴 인식 장치 및 그것의 동작 방법
CN112307868A (zh) * 2019-07-31 2021-02-02 百度（美国）有限责任公司 图像识别方法、电子设备和计算机可读介质
CN112307868B (zh) * 2019-07-31 2024-04-19 百度（美国）有限责任公司 图像识别方法、电子设备和计算机可读介质
WO2021040345A1 (ko) * 2019-08-27 2021-03-04 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US10997399B1 (en) 2019-11-25 2021-05-04 Karya Property Management, Llc Facial recognition tool
WO2021108262A1 (en) * 2019-11-25 2021-06-03 Karya Property Managment, Llc Facial recognition tool
KR102126197B1 (ko) * 2020-01-29 2020-06-24 주식회사 카카오뱅크 비식별화된 이미지를 이용한 신경망 학습 방법 및 이를 제공하는 서버
WO2021153971A1 (ko) * 2020-01-29 2021-08-05 주식회사 카카오뱅크 비식별화된 이미지를 이용한 신경망 학습 방법 및 이를 제공하는 서버
KR20210145984A (ko) * 2020-05-26 2021-12-03 한국전자통신연구원 다시점 얼굴 영상 기반 사용자 모니터링 장치 및 방법
KR102441171B1 (ko) 2020-05-26 2022-09-08 한국전자통신연구원 다시점 얼굴 영상 기반 사용자 모니터링 장치 및 방법
US11749023B2 (en) 2020-05-26 2023-09-05 Electronics And Telecommunications Research Institute Apparatus and method for monitoring user based on multi-view face image
KR20220071728A (ko) * 2020-11-24 2022-05-31 (주)싱스웰 사용자 맞춤형 서비스를 제공하는 캡슐형 스마트 쉘터
KR102529240B1 (ko) 2020-11-24 2023-05-04 (주)싱스웰 사용자 맞춤형 서비스를 제공하는 캡슐형 스마트 쉘터

Similar Documents

Publication Publication Date Title
KR101793510B1 (ko) 얼굴 학습 및 인식 시스템과 그 방법
KR101862639B1 (ko) 나선 신경망 기법을 이용한 홍채 인식 장치 및 방법
KR101901591B1 (ko) 얼굴 인식 장치 및 그 제어방법
Huang et al. Robust face detection using Gabor filter features
US8837786B2 (en) Face recognition apparatus and method
CN108416291B (zh) 人脸检测识别方法、装置和系统
Santoso et al. Face recognition using modified OpenFace
El Khiyari et al. Age invariant face recognition using convolutional neural networks and set distances
KR102189405B1 (ko) 실시간 영상에서 안면을 인식하는 시스템
Lee et al. Enhanced iris recognition method by generative adversarial network-based image reconstruction
Choras Multimodal biometrics for person authentication
Taha et al. Iris features extraction and recognition based on the local binary pattern technique
Ponnusamy et al. A palm vein recognition system based on a support vector machine
KR20180092453A (ko) Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법
Kalansuriya et al. Facial image classification based on age and gender
Badejo et al. Survey of Periocular Recognition Techniques.
Gandhe et al. Intelligent face recognition techniques: a comparative study
Verma et al. Fuzzy brain storm optimization and adaptive thresholding for multimodal vein-based recognition system
Li et al. Iris recognition on mobile devices using near-infrared images
Makinde et al. Enhancing the accuracy of biometric feature extraction fusion using Gabor filter and Mahalanobis distance algorithm
Prasanth et al. Fusion of iris and periocular biometrics authentication using CNN
Zhou et al. Facial expression recognition using frequency multiplication network with uniform rectangular features
Elfakhrany et al. IRIS recognition using conventional approach
Bulbule et al. Robust CBFR for Forensic Application using CNN
Sallam et al. Iris recognition system using deep learning techniques

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration