KR102199178B1 - Tprl 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법 - Google Patents

Tprl 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법 Download PDF

Info

Publication number
KR102199178B1
KR102199178B1 KR1020190065537A KR20190065537A KR102199178B1 KR 102199178 B1 KR102199178 B1 KR 102199178B1 KR 1020190065537 A KR1020190065537 A KR 1020190065537A KR 20190065537 A KR20190065537 A KR 20190065537A KR 102199178 B1 KR102199178 B1 KR 102199178B1
Authority
KR
South Korea
Prior art keywords
face
identity
face image
algorithm
tprl
Prior art date
Application number
KR1020190065537A
Other languages
English (en)
Other versions
KR20200139015A (ko
Inventor
이종하
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020190065537A priority Critical patent/KR102199178B1/ko
Publication of KR20200139015A publication Critical patent/KR20200139015A/ko
Application granted granted Critical
Publication of KR102199178B1 publication Critical patent/KR102199178B1/ko

Links

Images

Classifications

    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법에 관한 것으로서, 보다 구체적으로는 TPRL(Topology Preserving Relaxation Labeling) 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템으로서, 사용자 모집단의 사용자별 얼굴 영상 데이터를 수집하여 저장하는 데이터베이스 서버; 신원 확인이 요구되는 사용자의 얼굴 영상을 촬영하는 카메라부; 및 상기 데이터베이스 서버에 저장된 사용자 모집단의 얼굴 영상 데이터와 상기 카메라부에서 촬영된 신원 확인이 요구되는 사용자의 얼굴 영상을 TPRL 알고리즘을 이용하여 비교함으로써, 상기 신원 확인이 요구되는 사용자의 신원을 확인하는 제어부를 포함하여 구성되며, 상기 제어부는, 상기 카메라부에서 촬영된 얼굴 영상에서 상기 신원 확인이 요구되는 사용자의 얼굴 위치를 감지하는 얼굴 위치 감지부; 상기 얼굴 위치 감지부에서 감지된 얼굴 위치 내에서 얼굴의 기하학적인 정보인 특징점을 추출하는 특징점 추출부; 상기 특징점 추출부에서 추출된 특징점과 상기 데이터베이스 서버에 저장된 사용자 모집단의 얼굴 영상에서 추출된 특징점을 비교하는 특징점 비교부; 및 상기 특징점 비교부에서 비교된 데이터를 이용하여 상기 사용자 모집단 내에서 상기 신원 확인이 요구되는 사용자의 신원을 확인하는 신원 확인부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법에 따르면, 종래의 PCA(Principal Component analysis)만을 적용하여 얼굴을 인식하는 기술의 경우 조명이나 얼굴표정의 변화로 인해 인식률이 다소 저하되는 경향이 있었으나, 본 발명의 경우 PCA를 통하여서는 얼굴의 대략적인 위치만을 가져오며 그 위치 안에서 EBGM(Elastic Bunch graph matching)에서 사용되는 특징점 추출 방법으로서, 모델 번치 그래프(Model bunch graph)를 이용하여 특징점을 추출함으로써, PCA와 EBGM을 단계적으로 이용하여, 이미지 시퀀스 내에서 조명, 자세 또는 표정이 변화하더라도 성능에 영향을 적게 받을 수 있다. 또한, 데이터베이스 서버에 저장된 얼굴 영상 데이터에서의 특징점과 신원 확인이 요구되는 자의 영상 이미지 시퀀스로부터 추출된 특징점을 비교하는 방법으로 TPRL 알고리즘을 사용하여 point matching을 함으로써, 종래의 ICP(Iterated Closet Point) 알고리즘, TPS-RPM(Thin Plate Spline Robust Point Matching) 알고리즘, 또는 SC(Shape Context) 방법을 이용하여 point matching을 하는 기술에 비하여, 이미지의 회전변형이나 잡음 발생 또는 일부가 엄폐된 상황에서도 신원 인식의 오차율을 줄일 수 있다.

Description

TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법{IDENTIFICATION SYSTEM FOR FACE RECOGNITION USING TPRL ALGORITHM AND ITS WAY TO WORKING}
본 발명은 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법에 관한 것으로서, 보다 구체적으로는 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법에 관한 것이다.
생체인식기술(biometrics)이란 개별적인 생체의 특성을 인식해서 보안시스템에 활용하는 기술을 말하며, 망막, 지문, 음성, 얼굴 등 개인의 신체적 특성을 이용하여 신원을 확인하거나 범죄자를 가려내기 위해 주로 이용된다. 현대 사회에서는 매우 잠재력이 큰 시장으로 떠오르고 있으며, 특히 금융서비스, 네트워크 보안, 헬스케어 등의 분야에서 다수의 회사들이 이미 관련 기술을 채택하고 있는 곳이 많다.
도 1은 종래 이용되고 있는 생체인식기술을 도시한 도면이다. 도 1에 도시된 바와 같이, 생체인식기술에 의한 보안 방법으로는 지문인식, 홍채인식, 음성인식, 정맥인식, 얼굴인식 등이 있다. 지문인식은 편리하기는 하나, 신체접촉이 필수적으로 요구되고 상황에 따라 일부의 사람에게서 지문채취가 불가능할 수 있으며, 홍채인식은 장비가 고가이고 출입자에게 인식에 대한 거부감을 주며, 정맥인식은 장치의 소형화가 어려운 불편함이 있으나, 이에 비해 얼굴인식은 비접촉식으로 이용 가능하고 장치의 비용이 저렴하다는 장점이 있다.
다만, 종래의 얼굴 인식 기술의 경우 조명이나 표정, 촬영 각도 등에 따른 영향을 많이 받아, 인식률이 저하될 수 있는 문제점이 있는데, 신원 확인의 대상자가 모자, 선글라스, 마스크 등의 액세서리를 착용하여 얼굴 영역의 일부가 가려지면 얼굴을 인식하는 성능이 크게 저하된다. 따라서 신원 확인 대상자가 종래의 얼굴 인식 기술을 사용하는 경우, 신원을 확인할 때마다 착용한 모자, 선글라스 등의 액세서리를 착용 해제해야 하는 불편이 있어, 이러한 제약을 극복하고 얼굴 인식률을 높이는 얼굴 인식 기술 도입의 필요성이 대두된다.
한편, 본 발명과 관련된 선행기술로서, 한국공개특허 제10-2011-0103223호(발명의 명칭: 얼굴 인식을 위한 알고리즘을 이용한 키포인트 매칭 시스템 및 방법, 공고일자: 2011년 09월 20일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 종래의 PCA(Principal Component analysis)만을 적용하여 얼굴을 인식하는 기술의 경우 조명이나 얼굴표정의 변화로 인해 인식률이 다소 저하되는 경향이 있었으나, 본 발명의 경우 PCA를 통하여서는 얼굴의 대략적인 위치만을 가져오며 그 위치 안에서 EBGM(Elastic Bunch graph matching)에서 사용되는 특징점 추출 방법으로서, 모델 번치 그래프(Model bunch graph)를 이용하여 특징점을 추출함으로써, PCA와 EBGM을 단계적으로 이용하여, 이미지 시퀀스 내에서 조명, 자세 또는 표정이 변화하더라도 성능에 영향을 적게 받는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 데이터베이스 서버에 저장된 얼굴 영상 데이터에서의 특징점과 신원 확인이 요구되는 자의 영상 이미지 시퀀스로부터 추출된 특징점을 비교하는 방법으로 TPRL 알고리즘을 사용하여 point matching을 함으로써, 종래의 ICP(Iterated Closet Point) 알고리즘, TPS-RPM(Thin Plate Spline Robust Point Matching) 알고리즘, 또는 SC(Shape Context) 방법을 이용하여 point matching을 하는 기술에 비하여, 이미지의 회전변형이나 잡음 발생 또는 일부가 엄폐된 상황에서도 신원 인식의 오차율을 줄일 수 있는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템은,
TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템으로서,
사용자 모집단의 사용자별 얼굴 영상 데이터를 수집하여 저장하는 데이터베이스 서버;
신원 확인이 요구되는 사용자의 얼굴 영상을 촬영하는 카메라부; 및
상기 데이터베이스 서버에 저장된 사용자 모집단의 얼굴 영상 데이터와 상기 카메라부에서 촬영된 신원 확인이 요구되는 사용자의 얼굴 영상을 TPRL 알고리즘을 이용하여 비교함으로써, 상기 신원 확인이 요구되는 사용자의 신원을 확인하는 제어부를 포함하여 구성되며,
상기 제어부는,
상기 카메라부에서 촬영된 얼굴 영상에서 상기 신원 확인이 요구되는 사용자의 얼굴 위치를 감지하는 얼굴 위치 감지부;
상기 얼굴 위치 감지부에서 감지된 얼굴 위치 내에서 얼굴의 기하학적인 정보인 특징점을 추출하는 특징점 추출부;
상기 특징점 추출부에서 추출된 특징점과 상기 데이터베이스 서버에 저장된 사용자 모집단의 얼굴 영상에서 추출된 특징점을 비교하는 특징점 비교부; 및
상기 특징점 비교부에서 비교된 데이터를 이용하여 상기 사용자 모집단 내에서 상기 신원 확인이 요구되는 사용자의 신원을 확인하는 신원 확인부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 데이터베이스 서버는,
주기적인 업데이트를 통해 기 저장된 영상 데이터뿐만 아니라, 새로운 사용자 모집단의 얼굴 영상 데이터를 추가로 수집하여 저장할 수 있다.
바람직하게는, 상기 얼굴 위치 감지부는,
다수의 샘플 얼굴 이미지들로부터 Eigen face(얼굴 공통의 형태 정보)를 형성하는 Eigen face 형성부; 및
상기 카메라부에서 촬영된 영상 내에서 상기 Eigen face 형성부에서 형성된 Eigen face와 유사한 형태를 가지고 있는 부분을 사람의 얼굴이라 감지하여, 그 감지된 얼굴 위치를 이미지 시퀀스로 추적하는 얼굴 위치 추적부를 포함하여 구성될 수 있다.
더욱 바람직하게는, 상기 Eigen face 형성부는,
변수 간의 상관관계가 있는 다차원의 데이터를 저차원의 데이터로 요약하는 방법인, PCA(Principal Component analysis)를 이용하여 Eigen face를 형성할 수 있다.
더욱 바람직하게는, 상기 얼굴 위치 감지부는,
상기 카메라부에서 촬영된 얼굴 영상으로부터 얼굴 위치를 감지할 수 없는 경우, 상기 신원 확인이 요구되는 사용자의 얼굴 영상 재획득을 요구하는 영상 재요구부를 더 포함하여 구성될 수 있다.
바람직하게는, 상기 특징점 추출부는,
EBGM(Elastic Bunch graph matching)에서 사용되는 특징점 추출 방법으로서, 모델 번치 그래프(Model bunch graph)를 이용하여, 상기 얼굴 위치 감지부에서 감지된 얼굴 위치 내 특징점을 추출할 수 있다.
더욱 바람직하게는, 상기 모델 번치 그래프는,
특정 m개의 훈련 이미지를 만들어 점을 찍은 후, 그 찍힌 점들에서 얻어진 Gabor 계수들의 모음일 수 있다.
바람직하게는, 상기 특징점 비교부는,
Point matching 기법 중, 각 특징점 사이의 관계가 오브젝트의 변형 정도에 따라 변화폭이 심한 경우 이용되는 Non-rigid matching 기법을 사용하여, 상기 특징점 추출부에서 추출된 특징점과 상기 사용자 모집단의 얼굴 영상에서 추출된 특징점을 비교할 수 있다.
더욱 바람직하게는,
Non-rigid matching 알고리즘으로써, TPRL 알고리즘을 이용하여 특징점을 비교할 수 있다.
바람직하게는, 상기 신원 확인부는,
상기 사용자 모집단 내에서 상기 신원 확인이 요구되는 사용자와 매칭되는 데이터를 찾아 신원을 확인해 주거나, 상기 사용자 모집단 내 매칭되는 데이터가 없는 경우, 신원 확인 불가의 메시지를 표시할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구동 방법은,
TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구동 방법으로서,
(1) 데이터베이스 서버에서 사용자 모집단의 사용자별 얼굴 영상 데이터를 수집하여 저장하는 단계;
(2) 카메라부에서 신원 확인이 요구되는 사용자의 얼굴 영상을 촬영하는 단계; 및
(3) 상기 단계 (1)에서 저장된 사용자 모집단의 얼굴 영상 데이터와 상기 단계 (2)에서 촬영된 신원 확인이 요구되는 사용자의 얼굴 영상을 TPRL 알고리즘을 이용하여 비교함으로써, 제어부에서 상기 신원 확인이 요구되는 사용자의 신원을 확인하는 단계를 포함하며,
상기 단계 (3)은,
(3-1) 상기 단계 (2)에서 촬영된 얼굴 영상으로부터 상기 신원 확인이 요구되는 사용자의 얼굴 위치를 감지하는 단계;
(3-2) 상기 단계 (3-1)에서 감지된 얼굴 위치 내에서 얼굴의 기하학적인 정보인 특징점을 추출하는 단계;
(3-3) 상기 단계 (3-2)에서 추출된 특징점과 상기 단계 (1)에서 저장된 사용자 모집단의 얼굴 영상에서 추출된 특징점을 비교하는 단계; 및
(3-4) 상기 단계 (3-3)에서 비교된 데이터를 이용하여 상기 사용자 모집단 내에서 상기 신원 확인이 요구되는 사용자의 신원을 확인하는 단계를 포함하는 것을 그 구현상의 특징으로 한다.
바람직하게는, 상기 단계 (1)은,
주기적인 업데이트를 통해 기 저장된 영상 데이터뿐만 아니라, 새로운 사용자 모집단의 얼굴 영상 데이터를 추가로 수집하여 저장할 수 있다.
바람직하게는, 상기 단계 (3-1)은,
(3-1-1) 다수의 샘플 얼굴 이미지들로부터 Eigen face(얼굴 공통의 형태 정보)를 형성하는 단계; 및
(3-1-2) 상기 단계 (2)에서 촬영된 영상 내 상기 단계 (3-1-1)에서 형성된 Eigen face와 유사한 형태를 가지고 있는 부분을 사람의 얼굴이라 감지하여, 그 감지된 얼굴 위치를 이미지 시퀀스로 추적하는 단계를 포함하여 구현될 수 있다.
더욱 바람직하게는, 상기 단계 (3-1-1)은,
변수 간의 상관관계가 있는 다차원의 데이터를 저차원의 데이터로 요약하는 방법인, PCA(Principal Component analysis)를 이용하여 Eigen face를 형성할 수 있다.
더욱 바람직하게는, 상기 단계 (3-1)은,
(3-1-3) 상기 단계 (2)에서 촬영된 얼굴 영상으로부터 얼굴 위치를 감지할 수 없는 경우, 상기 신원 확인이 요구되는 사용자의 얼굴 영상 재획득을 요구하는 단계를 더 포함하여 구현될 수 있다.
바람직하게는, 상기 단계 (3-2)는,
EBGM(Elastic Bunch graph matching)에서 사용되는 특징점 추출 방법으로서, 모델 번치 그래프(Model bunch graph)를 이용하여, 상기 단계 (3-1)에서 감지된 얼굴 위치 내 특징점을 추출할 수 있다.
더욱 바람직하게는, 상기 모델 번치 그래프는,
특정 m개의 훈련 이미지를 만들어 점을 찍은 후, 그 찍힌 점들에서 얻어진 Gabor 계수들의 모음일 수 있다.
바람직하게는, 상기 단계 (3-3)은,
Point matching 기법 중, 각 특징점 사이의 관계가 오브젝트의 변형 정도에 따라 변화폭이 심한 경우 이용되는 Non-rigid matching 기법을 사용하여, 상기 단계 (3-2)에서 추출된 특징점과 상기 사용자 모집단의 얼굴 영상에서 추출된 특징점을 비교할 수 있다.
더욱 바람직하게는,
Non-rigid matching 알고리즘으로써, TPRL(Topology Preserving Relaxation Labeling) 알고리즘을 이용하여 특징점을 비교할 수 있다.
바람직하게는, 상기 단계 (3-4)는,
상기 사용자 모집단 내에서 상기 신원 확인이 요구되는 사용자와 매칭되는 데이터를 찾아 신원을 확인해 주거나, 상기 사용자 모집단 내 매칭되는 데이터가 없는 경우, 신원 확인 불가의 메시지를 표시할 수 있다.
본 발명에서 제안하고 있는 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법에 따르면, 종래의 PCA(Principal Component analysis)만을 적용하여 얼굴을 인식하는 기술의 경우 조명이나 얼굴표정의 변화로 인해 인식률이 다소 저하되는 경향이 있었으나, 본 발명의 경우 PCA를 통하여서는 얼굴의 대략적인 위치만을 가져오며 그 위치 안에서 EBGM(Elastic Bunch graph matching)에서 사용되는 특징점 추출 방법으로서, 모델 번치 그래프(Model bunch graph)를 이용하여 특징점을 추출함으로써, PCA와 EBGM을 단계적으로 이용하여, 이미지 시퀀스 내에서 조명, 자세 또는 표정이 변화하더라도 성능에 영향을 적게 받을 수 있다.
또한, 본 발명에서 제안하고 있는 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법에 따르면, 데이터베이스 서버에 저장된 얼굴 영상 데이터에서의 특징점과 신원 확인이 요구되는 자의 영상 이미지 시퀀스로부터 추출된 특징점을 비교하는 방법으로 TPRL 알고리즘을 사용하여 point matching을 함으로써, 종래의 ICP(Iterated Closet Point) 알고리즘, TPS-RPM(Thin Plate Spline Robust Point Matching) 알고리즘, 또는 SC(Shape Context) 방법을 이용하여 point matching을 하는 기술에 비하여, 이미지의 회전변형이나 잡음 발생 또는 일부가 엄폐된 상황에서도 신원 인식의 오차율을 줄일 수 있다.
도 1은 종래 이용되고 있는 생체인식기술을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구성을 기능블록으로 도시한 도면.
도 3은 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 제어부의 구성을 기능블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 얼굴 위치 감지부의 구성을 기능블록으로 도시한 도면.
도 5는 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 Eigen face 형성 과정을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 Eigen face 형성부에서의 PCA(Principal Component analysis) 원리를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 얼굴 위치 추적부에서 얼굴 위치를 추적하는 방법을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 특징점 비교부에서 특징점을 비교하는 방법을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구동 방법의 흐름을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 제어부의 구동 방법의 흐름을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 2는 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구성을 기능블록으로 도시한 도면이고, 도 3은 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 제어부의 구성을 기능블록으로 도시한 도면이다. 도 2 내지 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템은, 사용자 모집단의 사용자별 얼굴 영상 데이터를 수집하여 저장하는 데이터베이스 서버(100), 신원 확인이 요구되는 사용자의 얼굴 영상을 촬영하는 카메라부(200), 및 데이터베이스 서버(100)에 저장된 사용자 모집단의 얼굴 영상 데이터와 카메라부(200)에서 촬영된 신원 확인이 요구되는 사용자의 얼굴 영상을 TPRL 알고리즘을 이용하여 비교함으로써, 신원 확인이 요구되는 사용자의 신원을 확인하는 제어부(300)를 포함하여 구성될 수 있으며, 제어부(300)는, 카메라부(200)에서 촬영된 얼굴 영상에서 신원 확인이 요구되는 사용자의 얼굴 위치를 감지해 추출하는 얼굴 위치 감지부(310), 얼굴 위치 감지부(310)에서 감지된 얼굴 위치 내에서 눈, 코, 입, 귀와 같이 얼굴의 기하학적인 정보인 특징점을 추출하는 특징점 추출부(320), 특징점 추출부(320)에서 추출된 특징점과 데이터베이스 서버(100)에 저장된 사용자 모집단의 얼굴 영상에서 추출된 특징점을 비교하는 특징점 비교부(330), 및 특징점 비교부(330)에서 비교된 데이터를 이용하여 사용자 모집단 내에서 신원 확인이 요구되는 사용자의 신원을 확인하는 신원 확인부(340)를 포함하여 구성될 수 있다.
데이터베이스 서버(100)는, 미리 구축된 얼굴 이미지 데이터베이스 서버로서, 사용자 모집단의 사용자별 얼굴 영상 데이터를 수집하여 저장할 수 있다. 즉, 데이터베이스 서버(100)는, 신원 확인이 요구되는 대상자 신원을 인증하기 위한 하나 이상의 후보자에 연관된 정보를 저장할 수 있는데, 후보자에 연관된 정보는 후보자 신원(ID) 정보, 후보 이미지 정보뿐만 아니라, 후보자의 지역, 인종, 국가, 성별 등 사용 환경에 따라 적합한 정보를 더 포함할 수 있다. 데이터베이스 서버(100)에 저장되는 데이터베이스 정보는 외부 데이터베이스로부터 획득될 수도 있고, 사용자의 입력으로부터 획득될 수도 있다. 또한, 주기적인 업데이트를 통해 기 저장된 영상 데이터뿐만 아니라, 새로운 사용자 모집단의 얼굴 영상 데이터를 추가로 수집하여 저장하는 것도 가능하다.
카메라부(200)는, 신원 확인이 요구되는 사용자의 얼굴 영상을 촬영할 수 있다. 보다 구체적으로, 데이터베이스 서버(100)에 저장된 사용자 모집단의 영상 데이터 중에서 신원 확인이 요구되는 사용자와 매칭되는 데이터를 찾아 신원을 확인할 수 있도록 신원 확인이 요구되는 사용자의 얼굴이 포함된 영상을 촬영하여 제공할 수 있다.
제어부(300)는, 데이터베이스 서버(100)에 저장된 사용자 모집단의 얼굴 영상 데이터와 카메라부(200)에서 촬영된 신원 확인이 요구되는 사용자의 얼굴 영상을 비교함으로써, 데이터베이스 서버(100)에 저장된 사용자 모집단의 얼굴 영상 데이터 중에서 신원 확인이 요구되는 사용자의 신원을 확인할 수 있다. 보다 구체적으로, 제어부(300)는 TPRL 알고리즘을 이용함으로써, 종래의 신원 확인 시스템보다 오차율을 줄일 수 있고, 신원 인식의 정확도를 높일 수 있다.
얼굴 위치 감지부(310)는, 제어부(300)를 구성하는 장치 중 하나로써, 카메라부(200)에서 촬영된 얼굴 영상에서 신원 확인이 요구되는 사용자의 얼굴 위치를 감지할 수 있다. 즉, 사람의 얼굴이 카메라부(200)를 통해 영상으로 입력되는 경우, 같은 사람이라도 매우 다양한 포즈로 나타나기 때문에 얼굴을 구별하기가 쉽지 않다. 특히, 카메라를 통해 받아들인 영상에는 여러 가지 잡음도 포함되어 있고 얼굴과 상관없는 배경 등도 포함되므로, 이러한 불필요한 부분을 제거해야 한다. 따라서 얼굴 위치 감지부(310)는, 불필요한 영역을 제외하고 신원 확인에 필요한 얼굴 영역을 인식하기 위하여 사용자의 얼굴 위치를 감지할 수 있다.
도 4는 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 얼굴 위치 감지부의 구성을 기능블록으로 도시한 도면이다. 도 4에서 도시된 바와 같이, 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 얼굴 위치 감지부(310)는, 다수의 샘플 얼굴 이미지들로부터 Eigen face(얼굴 공통의 형태 정보)를 형성하는 Eigen face 형성부(311) 및 카메라부(200)에서 촬영된 영상 내에서 Eigen face 형성부(311)에서 형성된 Eigen face와 유사한 형태를 가지고 있는 부분을 사람의 얼굴이라 감지하여, 그 감지된 얼굴 위치를 이미지 시퀀스로 추적하는 얼굴 위치 추적부(312)를 포함하여 구성될 수 있다.
도 5는 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 Eigen face 형성 과정을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 Eigen face 형성부(311)는, 변수 간의 상관관계가 있는 다차원의 데이터를 저차원의 데이터로 요약하는 방법인, PCA(Principal Component analysis)를 이용하여 Eigen face를 형성할 수 있다. 보다 구체적으로, Eigen face란 컴퓨터로 사람의 얼굴을 인식하는 데 필요한 얼굴 구성요소의 집합을 의미하는데, 종래의 경우 눈과 눈 사이의 거리, 눈과 코의 거리, 인중의 거리 등 얼굴의 각 컴포넌트 간의 기하학적인 위치 관계를 특징으로 삼아 분석한 것에 비하여, 본 발명의 경우, Eigen Face를 미리 만들어 두고, 카메라부(200)를 통해 입력된 영상에서 Eigen Face 계수를 이용하여 얼굴 위치를 감지할 수 있다.
도 6은 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 Eigen face 형성부에서의 PCA(Principal Component analysis, 주성분 분석) 원리를 도시한 도면이다. 도 6에 도시된 바와 같이, PCA는 변수 간의 상관관계가 있는 다차원의 데이터를 효율적으로 저차원의 데이터로 요약하는 방법의 하나다. 생체 시스템은 구성요소 간의 제어 연관성이 있고 이들은 강한 상관관계를 보이는데, 어떤 하나의 구성요소의 값을 알면 이와 강한 상관관계를 가지는 다른 구성요소들의 값은 추정 가능하므로, 다차원 데이터를 탐구하는 데에서 하나의 구성요소를 탐구하면 된다는 것이 PCA에서 차원 축소(dimension reduction)의 개념이다.
도 7은 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 얼굴 위치 추적부에서 얼굴 위치를 추적하는 방법을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 얼굴 위치 추적부(312)는, PCA를 이용해서 Eigen face(얼굴 공통의 형태 정보)를 형성한 후, input image 중에서 이와 유사한 형태를 가지고 있는 부분을 사람의 얼굴이라고 지정하여 추적하도록 한다. PCA는 평균과 분산까지의 통계적 성질을 이용한 2차 통계적 기법으로써, 입력 자료에 대하여 최대공분산의 각 방향을 가리키는 직교 정규화된 일련의 축들의 집합을 찾는다. 따라서 입력 자료의 가장 중요한 축들을 찾아 효율적으로 자료의 차원을 줄일 수 있는 장점을 가지며, 데이터 압축 방식에 의해 필요 없는 데이터를 제거하고 특징적인 부분만을 추출함으로써, 얼굴 패턴의 저차원적인 구조를 효과적으로 드러낼 수 있다.
주어진 자료를 X라 놓고, n개의 관찰된 표본이 있다면 X를 X={x1, x2, x3, …, xn}과 같이 정의할 수 있다. 이 때 X의 각 표본 xi는 해당 표본을 구성하는 xi={xi(1), xi(2), …, xi(m)}T 와 같이 m개의 데이터로 구성되어 있고, 이때 T는 행렬의 전치를 나타내며 얼굴 영상의 경우에는 m값은 해당 얼굴의 픽셀 수가 되며, 1차원 벡터로 나타낼 수 있다.
PCA로 데이터를 표현하는 방법은 다음과 같다. PCA로 데이터가 표현되는 것을 R이라 놓고, 이때 각 행이 원래 데이터의 표본에 매칭된다. 고유벡터가 열로 들어 있는 행렬을 V라고 하였을 때, R = XTV로 R을 구할 수 있다. 고유벡터 V가 대칭적이고, 직교 정규화되어 있으므로 VVT = 1의 성질을 가지며, 역으로 데이터를 변환하는 것은 XT = RVT와 같이 구할 수 있다.
PCA만을 적용하여 얻은 특징 벡터 공간은 영상의 조명변화와 얼굴의 표정변화 등의 특징이 포함되어 있어 인식률이 떨어질 수 있다. 이점을 고려하여, 본 발명에서는, PCA를 통하여서는 얼굴의 대략적 위치만을 가져오며, 그 위치 안에서 특징점을 추출하여 특징점 비교를 이용하여 얼굴인식을 함으로써 인식률을 높일 수 있다.
영상 재요구부(313)는, 얼굴 위치 감지부(310)를 구성하는 또 다른 장치로서, 신원 확인이 요구되는 사용자의 영상 재획득을 요청할 수 있다. 보다 구체적으로, 카메라부(200)에서 촬영된 얼굴 영상으로부터 얼굴을 인식하기에 부적합하거나 얼굴 위치를 감지할 수 없는 경우, 카메라부(200)로 신원 확인이 요구되는 사용자의 얼굴 영상 재획득을 요구할 수 있다.
특징점 추출부(320)는, EBGM(Elastic Bunch graph matching)에서 사용되는 특징점 추출 방법으로서, 모델 번치 그래프(Model bunch graph)를 이용하여, 얼굴 위치 감지부(310)에서 감지된 얼굴 위치 내 특징점을 추출할 수 있다. 여기서 모델 번치 그래프는, 특정 m개의 훈련 이미지를 만들어 점을 찍은 후, 그 찍힌 점들에서 얻어진 Gabor 계수들의 모음일 수 있다.
보다 구체적으로 살펴보면, 종래의 얼굴 인식 방법은 이미지의 전체 픽셀 정보를 이용하기 때문에 얼굴 이미지의 한 국소부분의 조그마한 조명, 자세, 표정 변화라도 인식 알고리즘에 영향을 미치게 되어, 조명, 자세, 표정 변화 등에 덜 강인하지만, 모델 기반 얼굴 인식 방법의 경우, 조명, 자세, 표정 변화를 감안하여 모델을 구성할 수 있으므로, 인식 시에 이러한 요인에 의한 영향을 줄일 수 있다. 모델 구성 시에 이용되는 특징 벡터로는 조명, 자세, 표정 변화에 대해 강인한, 가버 특징 벡터(얼굴 이미지 특징점에 대해 가버 웨이블렛 커널을 컨볼루션하여 얻어진 계수)가 이용될 수 있다. 가버 특징 벡터를 이용한 대표적인 얼굴 인식 방법에는 EBGM(Elastic Bunch graph matching)이 있는데, EBGM에 의한 얼굴 인식 방법은 얼굴의 특징점들을 찾은 후 이 특징점들에서 가버 계수를 구하고 이를 이용하여 얼굴 인식을 수행할 수 있다.
EBGM에 의한 얼굴 인식 방법은, 종래의 알고리즘이 선형 분석 방법에 의거한 것과는 달리, 실제 얼굴 이미지가 담고 있는 비선형적인 요소들을 비교하는 기법으로써, 종래 이미지 기반 얼굴 인식 기법의 경우 전체 이미지 정보를 사용하기 때문에 변화하는 환경에 대응하지 못하는 단점을 보완하여, 지역 정보를 사용하는 특징 벡터 기반 기법이다. EBGM은 눈, 코, 입과 같은 얼굴의 기하학적인 정보인 특징점에서 Gabor 계수를 구하고, 이 Gabor 계수들 간의 유사도를 비교하여 가장 유사도가 높은 사람을 인증 하는 방식으로 이루어지는데, 다양한 각도와 다른 조명에서 촬영된 얼굴 이미지들을 비교할 수 있다.
EBGM은 가버 웨이블렛 함수를 통해 이미지에서의 국부적인 주파수 특징만을 검출할 수 있다. 가버 웨이블렛 필터를 이용하여 실수부와 허수부로 나누어 각각을 이산화하여 가버 웨이블렛 마스크를 만들고 얼굴 영상에서의 특징점의 영역의 픽셀값들과 상승적분하여 얻어진 계수들을 구할 수 있다. 각 특징점에서 얻어진 계수들을 가버 젯이라고 하며, 가버 젯의 묶음을 번치라고 하고, 전체 얼굴 특징점의 번치의 모음이 번치 그래프이다. 이러한 번치 그래프들을 특정 M개의 훈련 이미지를 만들어 수동으로 점을 찍어서 만들어 놓은 것을 모델 번치 그래프라고 한다. 모델 번치 그래프는 얼굴의 특징점을 구하는데 사용되는데, EBGM에서 사용되는 특징점 추출은 모델 번치 그래프의 수와 종류에 많은 영향을 받을 수 있다. 따라서, 모델 번치 그래프는 다양한 성별과 나이, 조명, 포즈, 표정을 고려하여 만들 수 있다.
도 8은 본 발명의 일실시예에 따른 TPRL(Topology Preserving Relaxation Labeling) 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 특징점 비교부에서 특징점을 비교하는 방법을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 특징점 비교부(330)는, Point matching 기법 중, 각 특징점 사이의 관계가 오브젝트의 변형 정도에 따라 변화폭이 심한 경우 이용되는 Non-rigid matching 기법을 사용하여, 특징점 추출부(320)에서 추출된 특징점과 사용자 모집단의 얼굴 영상에서 추출된 특징점을 비교할 수 있으며, 특히 Non-rigid matching 알고리즘으로써, TPRL 알고리즘을 이용하여 특징점을 비교할 수 있다.
보다 구체적으로 살펴보면, Point matching 기법은 컴퓨터비전과 패턴 인식 분야에서 가장 광범위하게 쓰이는 비교기법으로서, Point matching은 이미지 시퀀스에서 추출한 목표 오브젝트의 변형도에 따라 rigid matching과 non-rigid matching으로 크게 두 가지로 분류할 수 있다. 얼굴 특징점의 경우 표정이나 각도에 따라 변화폭이 심하여 매우 심한 non-rigid matching에 해당하는데, Non-rigid matching의 경우 각 특징점 사이의 관계도가 목표 오브젝트의 변형도에 따라 변화폭이 심하여 비교하기에 어려움이 있다. 따라서 이를 해결하기 위해서 효과적인 non-rigid matching 알고리즘이 필요한바, 본 발명에서는 효과적인 신원 확인을 위해서, RPM-LNS(Robust Point Matching-preserving Local Neighborhood Structure) 알고리즘을 변형한 TPRL(Topology Preserving Relaxation Labeling) 알고리즘을 사용할 수 있다.
특징점 비교에 사용한 TPRL 알고리즘의 유효성을 입증하기 위하여, 여러 알고리즘들의 에러율에 대해서 실험을 진행하였다. 실험 방법은 데이터베이스의 특징점과 이미지 시퀀스의 특징점을 매칭하였을 때, 각 특징점의 거리 오차를 계산하여 비교하였으며, 비교대상으로는 Point matching에서 많이 쓰이는 알고리즘인 ICP(Iterated Closet Point) 알고리즘과 TPS-RPM(Thin Plate Spline Robust Point Matching) 알고리즘, 및 SC(Shape Context) 방법을 선정하였다. 실험은 변형률을 최소화하기 위해 데이터베이스와 유사한 상태로 이미지 시퀀스를 조정하여 정면을 주시한 채 특징점을 추출하여 비교하였다. 각각의 알고리즘은 같은 특징점을 기반으로 비교하였으며, 평균 오차값은 아래의 [표 1]과 같다. 표 1에서 단위는 ㎜이다.
Figure 112019056978278-pat00001
그 외에도 회전이나 잡음발생 또는 목표 오브젝트가 엄폐된 상황에서 오차율에 대해서도 실험을 진행하였다. 회전으로 인한 변형에서 변화값으로는 각도를 5부터 5 간격으로 20까지 변형하였으며, 변형하였을 때 오차값에 대해 실험하였다. 잡음 발생은 전체 특징점에서 임의의 잡음을 발생시켰으며 그 비율을 10% 간격으로 조절하여 실험하였다. 또한 엄폐는 임의의 위치에 장애물을 발생시켜 해당 위치에 특징점 추출을 방해한 채 특징점을 추출하여 비교한 뒤 오차값을 계산하였다.
회전변형 실험은 좌우측 각각 아래 [표 2]와 같은 결과가 발생하였다. 표 2에서 단위는 ㎜이다.
Figure 112019056978278-pat00002
잡음 발생 실험의 오차값은 아래의 [표 3]과 같다. 표 3에서 단위는 ㎜이다.
Figure 112019056978278-pat00003
엄폐변형 실험의 결과는 아래의 [표 4]와 같다. 표 4에서 단위는 ㎜이다.
Figure 112019056978278-pat00004
상기 실험을 통하여 알 수 있듯이, TPRL 알고리즘을 사용하였을 경우 타 알고리즘과 비교하여 적은 오차를 나타내는 것을 확인할 수 있다. 특히, 회전변형의 경우 5에서 20 변형과정에서 0.02㎜ 미만의 에러 값을 보였으며, 노이즈에 대해서는 모든 비율에서 가장 낮은 값을 보였다. 또한 엄폐변형 실험 또한 각 비율에서 가장 낮은 값을 보였으며 엄폐비율 증가에 따른 에러값 증가치 또한 0.017㎜로 변형에 영향을 거의 받지 않는 결과를 나타내었다.
신원 확인부(340)는, TPRL 알고리즘을 이용한 특징점 비교과정을 통하여 카메라부(200)에서 입력된 신원 확인이 요구되는 사용자의 신원을 확인할 수 있다. 즉, 사용자 모집단 내에서 신원 확인이 요구되는 사용자와 매칭되는 데이터를 찾아 신원을 확인해 주거나, 사용자 모집단 내 매칭되는 데이터가 없는 경우, 신원 확인 불가의 메시지를 표시할 수 있다.
도 9는 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구동 방법의 흐름을 도시한 도면이고, 도 10은 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 제어부의 구동 방법의 흐름을 도시한 도면이다. 도 9 내지 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구동 방법은, 데이터베이스 서버(100)에서 사용자 모집단의 사용자별 얼굴 영상 데이터를 수집하여 저장하는 단계(S100), 카메라부(200)에서 신원 확인이 요구되는 사용자의 얼굴 영상을 촬영하는 단계(S200), 및 단계 S100에서 저장된 사용자 모집단의 얼굴 영상 데이터와 단계 S200에서 촬영된 신원 확인이 요구되는 사용자의 얼굴 영상을 TPRL 알고리즘을 이용하여 비교함으로써, 제어부(300)에서 신원 확인이 요구되는 사용자의 신원을 확인하는 단계(S300)를 포함하여 구현될 수 있으며, 단계 S300은, 단계 S200에서 촬영된 얼굴 영상으로부터 신원 확인이 요구되는 사용자의 얼굴 위치를 감지해 추출하는 단계(S310), 단계 S310에서 감지된 얼굴 위치 내에서 눈, 코, 입, 귀와 같이 얼굴의 기하학적인 정보인 특징점을 추출하는 단계(S320), 단계 S320에서 추출된 특징점과 단계 S100에서 저장된 사용자 모집단의 얼굴 영상에서 추출된 특징점을 비교하는 단계(S330), 및 단계 S330에서 비교된 데이터를 이용하여 사용자 모집단 내에서 신원 확인이 요구되는 사용자의 신원을 확인하는 단계(S340)를 포함하여 구현될 수 있다.
각각의 단계들과 관련된 상세한 내용들은, 앞서 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템과 관련하여 충분히 설명되었으므로, 상세한 설명은 생략하기로 한다.
상술한 바와 같이, 본 발명의 일실시예에 따른 TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법에 따르면, 종래의 PCA만을 적용하여 얼굴을 인식하는 기술의 경우 조명이나 얼굴표정의 변화로 인해 인식률이 다소 저하되는 경향이 있었으나, 본 발명의 경우 PCA를 통하여서는 얼굴의 대략적인 위치만을 가져오며 그 위치 안에서 EBGM에서 사용되는 특징점 추출 방법으로서, 모델 번치 그래프를 이용하여 특징점을 추출함으로써, PCA와 EBGM을 단계적으로 이용하여, 이미지 시퀀스 내에서 조명, 자세 또는 표정이 변화하더라도 성능에 영향을 적게 받을 수 있다. 또한, 데이터베이스 서버에 저장된 얼굴 영상 데이터에서의 특징점과 신원 확인이 요구되는 자의 영상 이미지 시퀀스로부터 추출된 특징점을 비교하는 방법으로 TPRL 알고리즘을 사용하여 point matching을 함으로써, 종래의 ICP(Iterated Closet Point) 알고리즘, TPS-RPM(Thin Plate Spline Robust Point Matching) 알고리즘, 또는 SC(Shape Context) 방법을 이용하여 point matching을 하는 기술에 비하여, 이미지의 회전변형이나 잡음 발생 또는 일부가 엄폐된 상황에서도 신원 인식의 오차율을 줄일 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 데이터베이스 서버
200: 카메라부
300: 제어부
310: 얼굴 위치 감지부
311: Eigen face 형성부
312: 얼굴 위치 추적부
313: 영상 재요구부
320: 특징점 추출부
330: 특징점 비교부
340: 신원 확인부
S100: 데이터베이스 서버에서 사용자 모집단의 사용자별 얼굴 영상 데이터를 수집하여 저장하는 단계
S200: 신원 확인이 요구되는 사용자의 얼굴 영상을 촬영하는 단계
S300: 단계 S100에서 저장된 사용자 모집단의 얼굴 영상 데이터와 단계 S200에서 촬영된 얼굴 영상을 TPRL 알고리즘을 이용하여 비교하여, 사용자의 신원을 확인하는 단계
S310: 촬영된 얼굴 영상으로부터 신원 확인이 요구되는 사용자의 얼굴 위치를 감지하는 단계
S320: 단계 S310에서 감지된 얼굴 위치 내에서 얼굴의 기하학적인 정보인 특징점을 추출하는 단계
S330: 단계 S320에서 추출된 특징점과 단계 S100에서 저장된 사용자 모집단의 얼굴 영상으로부터 추출된 특징점을 비교하는 단계
S340: 단계 S330에서 비교된 데이터를 이용하여 사용자 모집단 내에서 신원 확인이 요구되는 사용자의 신원을 확인하는 단계

Claims (20)

  1. TPRL(Topology Preserving Relaxation Labeling) 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템으로서,
    사용자 모집단의 사용자별 얼굴 영상 데이터를 수집하여 저장하는 데이터베이스 서버(100);
    신원 확인이 요구되는 사용자의 얼굴 영상을 촬영하는 카메라부(200); 및
    상기 데이터베이스 서버(100)에 저장된 사용자 모집단의 얼굴 영상 데이터와 상기 카메라부(200)에서 촬영된 신원 확인이 요구되는 사용자의 얼굴 영상을 TPRL 알고리즘을 이용하여 비교함으로써, 상기 신원 확인이 요구되는 사용자의 신원을 확인하는 제어부(300)를 포함하여 구성되며,
    상기 제어부(300)는,
    상기 카메라부(200)에서 촬영된 얼굴 영상에서 상기 신원 확인이 요구되는 사용자의 얼굴 위치를 감지하는 얼굴 위치 감지부(310);
    상기 얼굴 위치 감지부(310)에서 감지된 얼굴 위치 내에서 얼굴의 기하학적인 정보인 특징점을 추출하는 특징점 추출부(320);
    상기 특징점 추출부(320)에서 추출된 특징점과 상기 데이터베이스 서버(100)에 저장된 사용자 모집단의 얼굴 영상에서 추출된 특징점을 비교하는 특징점 비교부(330); 및
    상기 특징점 비교부(330)에서 비교된 데이터를 이용하여 상기 사용자 모집단 내에서 상기 신원 확인이 요구되는 사용자의 신원을 확인하는 신원 확인부(340)를 포함하여 구성되며,
    상기 특징점 추출부(320)는,
    EBGM(Elastic Bunch graph matching)에서 사용되는 특징점 추출 방법으로서, 모델 번치 그래프(Model bunch graph)를 이용하여, 상기 얼굴 위치 감지부(310)에서 감지된 얼굴 위치 내 특징점을 추출하는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템.
  2. 제1항에 있어서, 상기 데이터베이스 서버(100)는,
    주기적인 업데이트를 통해 기저장된 영상 데이터뿐만 아니라, 새로운 사용자 모집단의 얼굴 영상 데이터를 추가로 수집하여 저장하는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템.
  3. 제1항에 있어서, 상기 얼굴 위치 감지부(310)는,
    다수의 샘플 얼굴 이미지들로부터 Eigen face(얼굴 공통의 형태 정보)를 형성하는 Eigen face 형성부(311); 및
    상기 카메라부(200)에서 촬영된 영상 내에서 상기 Eigen face 형성부(311)에서 형성된 Eigen face와 유사한 형태를 가지고 있는 부분을 사람의 얼굴이라 감지하여, 그 감지된 얼굴 위치를 이미지 시퀀스로 추적하는 얼굴 위치 추적부(312)를 포함하여 구성되는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템.
  4. 제3항에 있어서, 상기 Eigen face 형성부(311)는,
    변수 간의 상관관계가 있는 다차원의 데이터를 저차원의 데이터로 요약하는 방법인, PCA(Principal Component analysis)를 이용하여 Eigen face를 형성하는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템.
  5. 제3항에 있어서, 상기 얼굴 위치 감지부(310)는,
    상기 카메라부(200)에서 촬영된 얼굴 영상으로부터 얼굴 위치를 감지할 수 없는 경우, 상기 신원 확인이 요구되는 사용자의 얼굴 영상 재획득을 요구하는 영상 재요구부(313)를 더 포함하여 구성되는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템.
  6. 삭제
  7. 제1항에 있어서, 상기 모델 번치 그래프는,
    특정 m개의 훈련 이미지를 만들어 점을 찍은 후, 그 찍힌 점들에서 얻어진 Gabor 계수들의 모음인 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템.
  8. 제1항에 있어서, 상기 특징점 비교부(330)는,
    Point matching 기법 중, 각 특징점 사이의 관계가 오브젝트의 변형 정도에 따라 변화폭이 심한 경우 이용되는 Non-rigid matching 기법을 사용하여, 상기 특징점 추출부(320)에서 추출된 특징점과 상기 사용자 모집단의 얼굴 영상에서 추출된 특징점을 비교하는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템.
  9. 제8항에 있어서,
    Non-rigid matching 알고리즘으로써, TPRL 알고리즘을 이용하여 특징점을 비교하는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템.
  10. 제1항에 있어서, 상기 신원 확인부(340)는,
    상기 사용자 모집단 내에서 상기 신원 확인이 요구되는 사용자와 매칭되는 데이터를 찾아 신원을 확인해 주거나, 상기 사용자 모집단 내 매칭되는 데이터가 없는 경우, 신원 확인 불가의 메시지를 표시하는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템.
  11. TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구동 방법으로서,
    (1) 데이터베이스 서버(100)에서 사용자 모집단의 사용자별 얼굴 영상 데이터를 수집하여 저장하는 단계;
    (2) 카메라부(200)에서 신원 확인이 요구되는 사용자의 얼굴 영상을 촬영하는 단계; 및
    (3) 상기 단계 (1)에서 저장된 사용자 모집단의 얼굴 영상 데이터와 상기 단계 (2)에서 촬영된 신원 확인이 요구되는 사용자의 얼굴 영상을 TPRL 알고리즘을 이용하여 비교함으로써, 제어부(300)에서 상기 신원 확인이 요구되는 사용자의 신원을 확인하는 단계를 포함하며,
    상기 단계 (3)은,
    (3-1) 상기 단계 (2)에서 촬영된 얼굴 영상으로부터 상기 신원 확인이 요구되는 사용자의 얼굴 위치를 감지하는 단계;
    (3-2) 상기 단계 (3-1)에서 감지된 얼굴 위치 내에서 얼굴의 기하학적인 정보인 특징점을 추출하는 단계;
    (3-3) 상기 단계 (3-2)에서 추출된 특징점과 상기 단계 (1)에서 저장된 사용자 모집단의 얼굴 영상에서 추출된 특징점을 비교하는 단계; 및
    (3-4) 상기 단계 (3-3)에서 비교된 데이터를 이용하여 상기 사용자 모집단 내에서 상기 신원 확인이 요구되는 사용자의 신원을 확인하는 단계를 포함하며,
    상기 단계 (3-2)는,
    EBGM에서 사용되는 특징점 추출 방법으로서, 모델 번치 그래프를 이용하여, 상기 단계 (3-1)에서 감지된 얼굴 위치 내 특징점을 추출하는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구동 방법.
  12. 제11항에 있어서, 상기 단계 (1)은,
    주기적인 업데이트를 통해 기저장된 영상 데이터뿐만 아니라, 새로운 사용자 모집단의 얼굴 영상 데이터를 추가로 수집하여 저장하는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구동 방법.
  13. 제11항에 있어서, 상기 단계 (3-1)은,
    (3-1-1) 다수의 샘플 얼굴 이미지들로부터 Eigen face(얼굴 공통의 형태 정보)를 형성하는 단계; 및
    (3-1-2) 상기 단계 (2)에서 촬영된 영상 내 상기 단계 (3-1-1)에서 형성된 Eigen face와 유사한 형태를 가지고 있는 부분을 사람의 얼굴이라 감지하여, 그 감지된 얼굴 위치를 이미지 시퀀스로 추적하는 단계를 포함하는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구동 방법.
  14. 제13항에 있어서, 상기 단계 (3-1-1)은,
    변수 간의 상관관계가 있는 다차원의 데이터를 저차원의 데이터로 요약하는 방법인, PCA를 이용하여 Eigen face를 형성하는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구동 방법.
  15. 제13항에 있어서, 상기 단계 (3-1)은,
    (3-1-3) 상기 단계 (2)에서 촬영된 얼굴 영상으로부터 얼굴 위치를 감지할 수 없는 경우, 상기 신원 확인이 요구되는 사용자의 얼굴 영상 재획득을 요구하는 단계를 더 포함하는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구동 방법.
  16. 삭제
  17. 제11항에 있어서, 상기 모델 번치 그래프는,
    특정 m개의 훈련 이미지를 만들어 점을 찍은 후, 그 찍힌 점들에서 얻어진 Gabor 계수들의 모음인 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구동 방법.
  18. 제11항에 있어서, 상기 단계 (3-3)은,
    Point matching 기법 중, 각 특징점 사이의 관계가 오브젝트의 변형 정도에 따라 변화폭이 심한 경우 이용되는 Non-rigid matching 기법을 사용하여, 상기 단계 (3-2)에서 추출된 특징점과 상기 사용자 모집단의 얼굴 영상에서 추출된 특징점을 비교하는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구동 방법.
  19. 제18항에 있어서,
    Non-rigid matching 알고리즘으로써, TPRL 알고리즘을 이용하여 특징점을 비교하는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구동 방법.
  20. 제11항에 있어서, 상기 단계 (3-4)는,
    상기 사용자 모집단 내에서 상기 신원 확인이 요구되는 사용자와 매칭되는 데이터를 찾아 신원을 확인해 주거나, 상기 사용자 모집단 내 매칭되는 데이터가 없는 경우, 신원 확인 불가의 메시지를 표시하는 것을 특징으로 하는, TPRL 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템의 구동 방법.
KR1020190065537A 2019-06-03 2019-06-03 Tprl 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법 KR102199178B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190065537A KR102199178B1 (ko) 2019-06-03 2019-06-03 Tprl 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190065537A KR102199178B1 (ko) 2019-06-03 2019-06-03 Tprl 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법

Publications (2)

Publication Number Publication Date
KR20200139015A KR20200139015A (ko) 2020-12-11
KR102199178B1 true KR102199178B1 (ko) 2021-01-06

Family

ID=73786316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190065537A KR102199178B1 (ko) 2019-06-03 2019-06-03 Tprl 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법

Country Status (1)

Country Link
KR (1) KR102199178B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230040611A (ko) 2021-09-16 2023-03-23 동서대학교 산학협력단 인공지능 기반의 이미지 비 식별화 장치 및 그 동작 방법
KR102577906B1 (ko) * 2021-11-01 2023-09-14 주식회사 오픈링크시스템 인지기능검사를 이용한 치매진단보조 시스템 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI278782B (en) * 2001-08-24 2007-04-11 Toshiba Corp Personal recognition apparatus
KR101446143B1 (ko) * 2013-01-07 2014-10-06 한남대학교 산학협력단 Cctv 환경에서의 얼굴 인식 기반 보안 관리 시스템 및 방법

Also Published As

Publication number Publication date
KR20200139015A (ko) 2020-12-11

Similar Documents

Publication Publication Date Title
Sim et al. Multimodal biometrics: Weighted score level fusion based on non-ideal iris and face images
Yang et al. Comparative competitive coding for personal identification by using finger vein and finger dorsal texture fusion
Alonso-Fernandez et al. Iris recognition based on sift features
US9189686B2 (en) Apparatus and method for iris image analysis
Nigam et al. Designing an accurate hand biometric based authentication system fusing finger knuckleprint and palmprint
Meraoumia et al. 2D and 3D palmprint information, PCA and HMM for an improved person recognition performance
Ryu et al. Template adaptation based fingerprint verification
Barpanda et al. Iris feature extraction through wavelet mel-frequency cepstrum coefficients
Rai et al. A gender classification system robust to occlusion using Gabor features based (2D) 2PCA
KR102199178B1 (ko) Tprl 알고리즘을 이용하여 얼굴 이미지로부터 신원을 확인하는 시스템 및 그 구동 방법
Ammour et al. Face-iris multimodal biometric system based on hybrid level fusion
Sayed Biometric Gait Recognition Based on Machine Learning Algorithms.
Mohamed et al. Automated face recogntion system: Multi-input databases
Dutağacı et al. Comparative analysis of global hand appearance-based person recognition
Kaur et al. Touch-less Fingerprint Analysis--A Review and Comparison
El-Sayed et al. An identification system using eye detection based on wavelets and neural networks
Nigam et al. Multimodal personal authentication using iris and knuckleprint
Hegde et al. FKP biometrics for human authentication using Gabor wavelets
Ayoob et al. Face recognition using symmetric local graph structure
Karn et al. An experimental study of relative total variation and probabilistic collaborative representation for iris recognition
Li et al. Predict and improve iris recognition performance based on pairwise image quality assessment
Tamrakar et al. Blur and occlusion invariant palmprint recognition with block-wise local phase quantization histogram
Santiago-Raḿırez et al. Face recognition and tracking using unconstrained non-linear correlation filters
Choudhary et al. Ensuring Secured Iris Authentication for Mobile Devices
Bhavani et al. Human identification using finger and iris images

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant