KR101781361B1 - 얼굴 비교를 통한 개인 식별 방법 - Google Patents

얼굴 비교를 통한 개인 식별 방법 Download PDF

Info

Publication number
KR101781361B1
KR101781361B1 KR1020170061950A KR20170061950A KR101781361B1 KR 101781361 B1 KR101781361 B1 KR 101781361B1 KR 1020170061950 A KR1020170061950 A KR 1020170061950A KR 20170061950 A KR20170061950 A KR 20170061950A KR 101781361 B1 KR101781361 B1 KR 101781361B1
Authority
KR
South Korea
Prior art keywords
face
information
identification
image
photographed
Prior art date
Application number
KR1020170061950A
Other languages
English (en)
Inventor
이중
임성호
강태이
김홍석
변준석
심규선
박남인
Original Assignee
대한민국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국 filed Critical 대한민국
Application granted granted Critical
Publication of KR101781361B1 publication Critical patent/KR101781361B1/ko
Priority to PCT/KR2018/001055 priority Critical patent/WO2018139847A1/ko

Links

Images

Classifications

    • G06K9/00288—
    • G06K9/00617—
    • G06K9/4652—
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 촬영부와, 상기 촬영부에 연결된 제어부와, 상기 제어부에 연결되어 촬영부에서 촬영된 복수의 프레임으로 이루어지는 식별 영상과 개인 식별 프로그램이 저장되는 저장부로 이루어진 개인 식별 시스템에서 실행되어, 데이터 베이스에 등록된 자료와 대비하는데 있어서; 개인 식별 단계를 포함하고, 상기 개인 식별 단계는 식별 영상을 이루는 프레임의 얼굴 특징 벡터가 도출되는 얼굴 특징 벡터 추출 단계와, 상기 얼굴 특징 벡터 추출 단계에서 추출된 얼굴 특징 벡터와 데이터 베이스에 등록된 자료의 얼굴 특징 벡터의 유클리디언 거리가 연산되는 단계로 이루어져; 연산된 유사도가 촬영된 개인을 식별하기 위한 정보로 제공되는 얼굴 비교를 통한 개인 식별 방법에 관한 것이다.

Description

얼굴 비교를 통한 개인 식별 방법{A Method Identifying A Personnel By Comparing Face Area}
본 발명은 얼굴 비교를 통한 개인 식별 방법 및 그 방법이 실행되는 개인 식별 시스템에 관한 것으로, 보다 상세하게는 조형물인지 구분되고 동일인 여부가 식별되며 인종 등과 같은 추가 정보가 제공될 수 있는 본 발명은 얼굴 비교를 통한 개인 식별 방법 및 그 방법이 실행되는 개인 식별 시스템에 관한 것이다.
기존의 개인 식별 시스템은 주로 출입 보안 장치나 개인 맞춤형 정보 제공 시스템 등에서 많이 사용되며, 현장에서 촬영된 얼굴 이미지와 이미 등록된 이미지를 비교하여 동일인인지 여부에 대한 결과만을 출력하였다. 이러한 방법은 사람의 얼굴과 컬러프린터 등으로부터 사람의 얼굴 이미지를 출력한 출력물 또는 인위적으로 제작된 조형물을 구분하는 방법이 적용되어있지 않아 보안상 치명적인 문제를 야기할 가능성이 있으며 이분법적 판단 결과는 잘못된 결과, 즉 동일인임에도 불구하고 다른 사람으로 인식되는 경우 본인 인증이 되지 않아 불편을 초래하는 경우와 비동일인임에도 불구하고 동일인으로 판단할 수 있는 문제점이 있다.
이분법적 판단 시스템에서 동일인으로 판단하는 기준 유사도를 높게 설정하면 동일인임에도 비동일인으로 결과를 보여주는 경우가 빈번하게 되어 출입 시스템에서 불편을 초래하고, 반대로 기준 유사도를 낮게 설정하면 비동일인임에도 동일인으로 판단하는 문제가 발생하게 된다.
일반적으로 대부분의 출입 장치 및 보안 장치들은 사람의 얼굴과 출력물을 구분하지 못하고 판단에서는 기준 유사도를 높게 설정하여 불편함을 감수하고자 하여 알람이 발생하면 보안 요원 등이 알람이 발생된 대상자를 불러 사진과 실제 사람을 육안으로 다시 비교하는 문제가 있다.
또한, 유사도만을 기준으로 개인 식별을 하는 기존의 시스템은 식별 후 식별된 개인에 대한 인종, 성별에 관한 통계 정보를 자동으로 수집하여 개인 맞춤형 시스템 등에 응용이 불가능하다.
대한민국 등록 제10-0422709호 등록특허공보 대한민국 공개 제10-2012-0066462호 공개특허공보 대한민국 공개 제10-2011-0088361호 공개특허공보
본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 대비하려는 대상이 실제 얼굴인지 얼굴을 인쇄한 인쇄물이나 조형물인지 구분되도록 할 수 있으며, 얼굴의 유사도 자료를 제공하며, 인종이나 성별에 대한 정보도 함께 제공할 수 있는 얼굴 비교를 통한 개인 식별 방법을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 위하여 본 발명은 촬영부와, 상기 촬영부에 연결된 제어부와, 상기 제어부에 연결되어 촬영부에서 촬영된 복수의 식별 이미지로 이루어지는 식별 영상과 개인 식별 프로그램이 저장되는 저장부로 이루어진 개인 식별 시스템에서 실행되어, 데이터 베이스에 등록된 DB 얼굴 정보와 대비하는데 있어서;
개인 식별 단계를 포함하고, 상기 개인 식별 단계는 촬영된 개인의 식별 이미지로부터 얼굴 영역이 도출되는 얼굴영역도출단계와, 얼굴의 특징점들이 도출되는 얼굴특징점도출단계와, 도출된 얼굴영역의 회전각도가 연산되는 식별얼굴회전각도 연산단계와, 복수의 DB 얼굴 정보 이미지와 식별 이미지가 대비되는 DB얼굴정보 대비단계와, 픽셀색상적용단계와, 식별하려는 개인에 대한 얼굴 3D 데이터 베이스인 식별 얼굴 DB가 도출되는 얼굴DB 도출단계로 이루어져; 촬영된 개인을 식별하기 위한 정보가 제공되는 얼굴 비교를 통한 개인 식별 방법을 제공한다.
상기에서, DB얼굴정보 대비단계에서는 식별 이미지에 대하여 복수의 DB 얼굴 정보 이미지의 최소오류자승값이 연산되고, 상기 픽셀색상적용단계에서는 DB 얼굴 정보 이미지 중 식별 이미지에 대하여 가장 작은 최소오류자승값을 가지는 DB 얼굴 정보 이미지를 이루는 픽셀의 색상 정보가 식별 이미지로 변경되어 저장부에 저장되는 것을 특징으로 한다.
상기에서, 개인 식별 단계 전에 얼굴 식별 단계를 더 포함하고; 상기 얼굴 식별 단계는 식별 영상을 이루는 각 프레임에서 눈 영역이 도출되는 눈 영역 검출 단계와, 눈 영역의 눈동자 영역이 검출되는 눈동자 영역 도출 단계와, 각 프레임마다 눈동자 영역을 이루는 픽셀의 색상 정보가 대비되는 눈동자 영역 색상 정보 대비 단계와, 각 프레임의 눈동자 영역을 이루는 픽셀의 색상 정보 변화로부터 실제 얼굴이 촬영되는지 조형물이 촬영되는지 판단되는 정보가 제공되는 조형물 판별 정보 제공 단계로 이루어지는 것을 특징으로 한다.
상기에서, 눈 영역이 검출되는 단계 전에 촬영된 복수 프레임의 얼굴 영역이 도출되는 얼굴 영역 도출 단계를 더 포함하고, 눈동자 영역 도출 단계 후에 각 프레임에서 눈동자 영역을 이루는 픽셀 정보가 연산되는 눈동자 영역 픽셀 정보 연산 단계를 더 포함하며; 상기 색상 정보 대비 단계에서는 각 프레임의 눈동자 영역 픽셀의 색상 정보가 대비되는 것을 특징으로 한다.
상기에서, 개인 식별 단계 전에 얼굴 식별 단계를 더 포함하고;
상기 얼굴 식별 단계는 촬영부에서 촬영된 영상을 이루는 각 프레임에서 눈 영역이 도출되는 눈 영역 검출 단계와, 촬영된 영상을 이루는 각 프레임의 얼굴 영역의 특징점이 도출되는 얼굴 영역 특징점 도출 단계와, 눈 영역의 눈동자 영역이 검출되는 눈동자 영역 도출 단계와, 눈동자 영역의 위치가 도출되는 눈동자 영역 위치 도출 단계와, 상기 눈동자 영역 위치 도출 단계에서 도출된 눈동자 영역 위치와 얼굴 영역 특징점의 거리가 연산되는 눈동자 위치 거리 연산 단계와, 각 프레임의 눈동자 위치 거리 변화로부터 실제 얼굴이 촬영되는지 조형물이 촬영되는지 판단되는 정보가 제공되는 조형물 판별 정보 제공 단계로 이루어지는 것을 특징으로 한다.
상기에서, 개인 식별 단계 전에 얼굴 식별 단계를 더 포함하고;
상기 얼굴 식별 단계는 촬영부에서 촬영된 영상을 이루는 각 프레임에서 얼굴 영역이 도출되는 단계와, 얼굴 영역의 방향이 연산되는 단계와, 각 프레임의 얼굴 영역 방향 변화로부터 실제 얼굴이 촬영되는지 조형물이 촬영되는지 판단되는 정보가 제공되는 조형물 판별 정보 제공 단계로 이루어지는 것을 특징으로 한다.
상기에서, 시스템은 제어부에 연결된 거리 측정 센서를 더 포함하여, 상기 각 프레임은 거리 측정 센서로부터 측정된 거리 정보와 함께 저장부에 저장되며;
상기 개인 식별 단계 전에 얼굴 식별 단계를 더 포함하고; 상기 얼굴 식별 단계는 상기 촬영부에서 촬영된 영상을 이루는 각 프레임에서 얼굴 영역이 도출되는 얼굴 영역 도출 단계와, 얼굴 영역 도출 단계에서 도출된 얼굴 영역 정보가 연산되는 얼굴 영역 정보 연산 단계와, 각 프레임의 얼굴 영역 정보와 거리 정보로부터 실제 얼굴이 촬영되는지 조형물이 촬영되는지 판단되는 정보가 제공되는 조형물 판별 정보 제공 단계로 이루어지는 것을 특징으로 한다.
상기에서, 저장부에는 합성곱신경망 모듈과 학습용 촬영 영상 및 학습용 촬영 영상 정보가 저장되고, 상기 개인 식별 단계에 더하여 추가 정보 제공 단계를 더 포함하며; 상기 추가 정보 제공 단계는 학습 단계와 얼굴 정보 연산 단계로 이루어져 식별 영상의 인종 정보와 성별 정보가 제공되며;
상기 학습 단계는 인종 정보와 성별 정보에 각각에 대한 학습용 촬영 영상의 컨벌루션 계층이 형성되는 단계와, 컨벌루션 계층을 이루는 맵으로부터 풀링 계층이 형성되는 단계와, 풀링 계층을 이루는 풀링의 정보가 입력 정보가 되며 은닉층 가중치와 입력 정보의 연산으로 은닉층 노드값들이 연산되는 은닉층 정보 연산 단계와, 은닉층 노드값과 출력층 가중치의 연산으로 출력층이 연산되는 출력층 정보 연산 단계와, 출력층 정보와 학습용 촬영 영상 정보로부터 에러가 연산되고 역전파 알고리즘에 따라 은닉층 가중치와 출력층 가중치의 갱신값이 연산되어 은닉층 정보 연산 단계와 출력층 정보 연산 단계가 다시 반복 연산되고 연산된 출력층 정보가 학습용 촬영 영상 정보와 대비되는 과정이 반복되어 은닉층 가중치의 갱신값과 출력층 가중치의 갱신값이 도출되는 가중치 도출단계로 이루어지며;
상기 학습 단계에서 도출된 은닉층 가중치 갱신값과 출력층 가중치의 갱신값이 얼굴 정보 연산 단계의 인종 정보와 성별 정보 각각에 대한 은닉층 가중치와 출력층 가중치가 되는 것을 특징으로 한다.
상기에서, 얼굴 정보 연산 단계는 인종 정보와 성별 정보 각각에 대한 식별 영상의 컨벌루션 계층이 형성되는 단계와, 컨벌루션 계층을 이루는 맵으로부터 풀링 계층이 형성되는 단계와, 풀링 계층을 이루는 풀링의 정보가 입력 정보가 되며 은닉층 가중치와 입력 정보의 연산으로 은닉층 노드값들이 연산되는 은닉층 정보 연산 단계와, 은닉층 정보와 출력층 가중치의 연산으로 출력층이 연산되는 출력층 정보 연산 단계로 이루어지며; 인종 정보 획득을 위한 연산에서 출력층을 이루는 노드는 인종의 수와 같고, 성별 정보 획득을 위한 연산에서 출력층을 이루는 노드는 2개인 것을 특징으로 한다.
본 발명에 따르는 얼굴 비교를 통한 개인 식별 방법 및 그 방법이 실행되는 개인 식별 시스템에 의하면, 조형물이나 출력물이 실제 얼굴과 구별되므로 출입 장치나 보안 장치에 적용되면 악의적인 목적을 갖는 조형물이나 출력물 등을 사용한 무단 출입이 차단되며, 동일인과 비동일인이 유사도 단계별로 확인되며, 인종, 성별 및 연령 정보가 제공될 수 있는 효과가 있다.
도 1은 본 발명에 따르는 얼굴 비교를 통한 개인 식별 방법이 실행되는 단계를 도시한 것이며,
도 2는 도 1의 얼굴 식별 단계를 설명하기 위하여 도시한 것이며,
도 3은 본 발명을 이루는 얼굴 식별 단계를 설명하기 위하여 도시한 개략적인 순서도이며,
도 4 및 도 5는 눈 영역을 도식적으로 도시한 것이며,
도 6 및 도 7은 얼굴 식별 단계를 이루는 시선 방향이 도출되는 과정을 도시한 개략적인 순서도이며,
도 8 및 도 9는 프레임에 따른 시선변화를 도시한 그래프이다.
이하에서 도면을 참조하여 본 발명에 따르는 얼굴 비교를 통한 개인 식별 방법에 대하여 상세하게 설명한다.
도 1은 본 발명에 따르는 얼굴 비교를 통한 개인 식별 방법이 실행되는 단계를 도시한 것이며, 도 2는 도 1의 얼굴 식별 단계를 설명하기 위하여 도시한 것이며, 도 3은 본 발명을 이루는 얼굴 식별 단계를 설명하기 위하여 도시한 개략적인 순서도이며, 도 4 및 도 5는 눈 영역을 도식적으로 도시한 것이며, 도 6 및 도 7은 얼굴 식별 단계를 이루는 시선 방향이 도출되는 과정을 도시한 개략적인 순서도이며, 도 8 및 도 9는 프레임에 따른 시선변화를 도시한 그래프이다.
본 발명에 따르는 얼굴 비교를 통한 개인 식별 방법은 촬영부와, 상기 촬영부에 연결된 제어부와, 상기 제어부에 연결되어 촬영부에서 촬영된 복수의 프레임으로 이루어지는 식별 영상과 개인 식별 프로그램이 저장되는 저장부로 이루어진 개인 식별 시스템에서 실행된다.
상기 개인 식별 시스템은 제어부에 연결되어 측정된 거리 정보를 제어부로 제공하는 거리 측정 센서와, 제어부에 연결되어 신호를 송수신하는 통신 모듈이 더 포함하며, 저장부에는 합성곱신경망 모듈이 저장된다. 촬영부, 제어부, 저장부 및 거리 측정 센서는 도시하지 않은 본체에 구비된다.
상기 개인 식별 시스템은 출입문에 설치되어 작동될 수 있으며, 전원이 공급되고 작동 명령이 입력되면 개인 식별 프로그램이 작동되어 본 발명에 따르는 얼굴 비교를 통한 개인 식별 방법이 실행된다.
상기 저장부에는 복수(예: 300명)의 개인의 3D 얼굴 데이터베이스가 저장되며, 얼굴의 상하 방향으로 연장되며 얼굴의 중심을 지나는 축(제1 축)을 회전축으로 하여 －30°부터 ＋30°까지 10°간격으로 회전된 얼굴 이미지 정보(얼굴영역의 픽셀 색상, 좌표, 얼굴 영역의 특징점)이 저장된다. 이하에서 상기 얼굴 이미지 정보를 "DB 얼굴 정보"라 한다.
회전각도가 0°인 얼굴이 정면 얼굴이다. 제1 축은 좌우 대칭인 얼굴의 중심을 지나는 축이다. 얼굴영역의 특징점이 도출되는 과정 및 도출된 특징점에 대한 내용은 종래 기술에 공지되어 있는 기술로 설명을 생략한다.
－30°에서 "-"는 제1 축을 회전축으로 얼굴의 오른쪽으로 회전한 것을, ＋30°에서 "＋"는 제1 축을 회전축으로 얼굴의 왼쪽으로 회전한 것을 의미한다. 예시적으로 10°간격으로 저장되는 것으로 기재하였으나 5° 또는 15° 간격으로 저장되는 것도 가능하다.
-30° -20° -10° 0° ＋10° ＋20° ＋30°
A 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보
B 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보
C 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미 지 정보 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보
D 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보 얼굴 이미지 정보
상기 표는 개인의 얼굴 3D 데이터 베이스가 저장부에 저장되는 것을 설명하기 위하여 4명을 예시적으로 기재한 것이다. 상기 표에서 A, B, C, D는 서로 다른 개인을 의미한다. 얼굴 3D 데이터 베이스는 본 발명이 실행되는 개인 식별 시스템과 통신되는 서버에 저장되는 것도 가능하다.
도 1에 도시된 바와 같이 본 발명에 따르는 얼굴 비교를 통한 개인 식별 방법은 얼굴 식별 단계(ST-100)와, 개인 식별 단계(ST-200)와, 추가 정보 제공 단계(ST-300)로 이루어진다.
상기 얼굴 식별 단계(ST-100)에서는 촬영부에서 촬영되어 저장부에 저장된 복수 프레임으로 이루어진 식별 영상이 실제 사람이 촬영된 것인지 사람의 조형물이나 인쇄물이 촬영된 것인지 판단할 수 있는 정보가 도출되고,
개인 식별 단계(ST-200)에서는 촬영부에서 촬영된 개인과 데이터 베이스에 등록된 자료가 대비되어 촬영된 개인이 식별될 수 있는 자료가 제공되며,
추가 정보 제공 단계(ST-300)에서는 촬영된 개인의 인종과 성별을 판단할 수 있는 정보가 제공된다. 각 단계에서 도출된 정보들은 통신 모듈을 통하여 송신되어 보안실 등의 모니터에 디스플레이된다.
상기 얼굴 식별 단계(ST-100)에서는 촬영부에서 촬영되는 영상이 실제 사람을 촬영하는지 사람의 조형물이나 사람의 사진 등과 같은 인쇄물인지 구분할 수 있는 자료가 마련된다.
상기 얼굴 식별 단계(ST-100)는 식별 영상을 이루는 각 프레임에서 눈 영역이 도출되는 눈 영역 검출 단계와, 눈 영역의 눈동자 영역이 검출되는 눈동자 영역 도출 단계(ST-120)와, 각 프레임마다 눈동자 영역을 이루는 픽셀의 색상 정보가 대비되는 눈동자 영역 색상 정보 대비 단계(ST-120; 눈 깜빡임수 연산)와, 각 프레임의 눈동자 영역을 이루는 픽셀의 색상 정보 변화로부터 실제 얼굴이 촬영되는지 조형물이 촬영되는지 대비되는 판단되는 정보가 제공되는 조형물 판별 정보 제공 단계(ST-140)로 이루어진다.
도 4에 도시된 바와 같이 식별 영상을 이루는 각 프레임에서 눈 영역(100)이 도출된다. 눈 영역(100)은 마스크가 마련되어 도출되는 것이 가능하다. 눈 영역(100) 도출을 위한 마스크는 직사각형으로서 도출된 얼굴 영역의 크기로부터 크기가 결정될 수 있으며, 도 5에 도시된 바와 같은 눈동자 영역(110), 눈동자 주변의 흰 영역인 주변 영역(120)의 크기가 결정되고, 도출된 얼굴 영역에서 직사각형의 영역 내에 눈동자 영역(110)과 눈동자 주변의 흰 영역인 주변 영역(120)과 가장 유사한 배열을 가지는 마스크와 같은 크기의 픽셀 부분이 눈 영역(100)으로 도출되고, 도출된 눈 영역(100)에서 픽셀의 색상 정보로부터 눈동자 영역(110)이 도출된다. 그리고 도출된 눈동자 영역을 이루는 픽셀 중 세로 좌표 값이 가장 큰 픽셀과 가장 작은 픽셀 그리고 가로 좌표 값이 가장 큰 픽셀과 가장 작은 픽셀이 도출되어 도 5에 도시된 눈동자 영역의 특징점(113, 115)이 도출된다. 그리고 눈 영역의 주변 영역의 좌우 끝점인 눈 영역 특징점(121)도 도출될 수 있다. 눈동자에 대한 가로 좌표의 최대값과 최소값으로부터 가로 중심 좌표가 연산되어 세로 좌표의 최대값과 최소값으로부터 세로 중심 좌표가 연산되어, 눈동자 중심점(111)이 도출된다. 상기와 같은 눈동자 영역(110), 눈동자 중심점(111) 등의 정보로부터 연산되어(ST-130), 눈 깜빡임 수(ST-131)와 시선 방향(ST-133)이 연산된다.
시선 방향의 연산에서 얼굴 특징점의 거리 변화로부터 얼굴의 방향이 연산되며, 얼굴의 방향을 시선 방향으로 하여 연산되도록 하는 것도 가능하다. 예를 들어 왼쪽 눈 영역의 좌우 끝 특징점 사이의 거리와, 오른쪽 눈 영역의 좌우 끝 특징점 사이의 거리 연산으로부터 얼굴 회전 방향이 연산될 수 있다. 얼굴을 오른쪽으로 회전시키면 오른쪽 눈 영역의 좌우 끝 특징점 사이의 거리는 감소하면 감소하는 비율로 얼굴 회전 방향 즉 시선 방향이 연산될 수 있다. 그리고 눈 영역의 특징점과 입술 영역의 특징점 사이의 거리 변화로부터 상하 방향으로의 얼굴 회전 정도가 연산된 수 있고, 얼굴 회전인 각 프레임의 얼굴 방향 변화로부터 촬영 대상이 조형물인지 실제 얼굴인지 판단될 수 있는 자료를 제공 받는 것이 가능하다(도 8 및 도 9 참조).
도 5는 촬영 영상을 이루는 프레임 중 눈을 감은 상태에서 촬영된 프레임의 눈 영역 부분을 개략적으로 도시한 것으로, 눈을 감은 상태가 촬영되므로 눈 영역에서 눈동자 영역이나 주변 영역이 피부와 같은 색상의 픽셀을 가지게 된다. 한편, 눈이 감긴 시점에서 촬영된 눈 영역에서도 눈 영역 특징점(121)은 도출될 수 있다.
도 5에 도시한 바와 같이 눈을 뜨고 있는 상태에서 촬영된 프레임과, 도 6의 눈이 감긴 시점에서 촬영된 프레임에서 눈 영역(100)을 이루는 픽셀의 색상 변화가 도출된다. 눈 영역(100)에서 눈동자 영역(110, 110a)을 이루는 픽셀의 색상 정보가 도출된다. 각 프레임에 대하여 눈동자 영역을 이루는 픽셀들의 색상 정보가 도출되고, 눈동자 영역을 이루는 픽셀들의 색상의 평균값이 연산되고, 각 프레임의 시간에 대한 눈동자 영역의 픽셀들의 색상 정보 변화가 표시부를 통하여 디스플레이된다. 상기와 같이 각 프레임에서 눈 영역을 이루는 픽셀의 색상 정보로부터 시간에 대한 눈 깜빡임 수가 연산되어 도출된다(ST-131).
눈동자 영역을 이루는 픽셀들의 색상의 평균값의 변화에 대한 임계값을 지정하여, 눈동자 영역 픽셀들의 색상 평균값이 임계값을 넘는 경우 사람이 촬영되는 것이고 임계값을 넘지 않는 경우 인쇄물이나 조형물이 촬영된다고 하는 정보가 표시부를 통하여 제공될 수 있다. 그리고 인쇄물이나 조형물이 촬영된다는 정보가 제공되는 경우 제어부를 통하여 제어부에 연결된 경고수단(벨, 경광등 등)이 작동되도록 하는 것이 가능하며, 이때는 얼굴 비교 개인 식별 단계(ST-200)가 진행되지 않고 종료되도록 한다.
한편, 도 5에 도시된 바와 같이 눈이 떠져 있는 상태에서 촬영된 프레임에 대한 눈동자 중심점(111)의 가로 방향 변위와 세로 방향 변위가 도출되어 프레임에 대한 변화가 표시부에 디스플레이될 수 있다. 눈동자 중심점(111)의 가로 방향 위치 변화와 세로 방향 위치 변화는 촬영된 프레임에서 눈동자 중심점(111)의 위치로부터 도출되며, 눈동자 중심점(111)의 가로 반향 변위로는 눈 특징점(121)과 눈동자 중심점(111)이 연산되어 도출되는 것도 가능하다.
도 8은 실제 사람이 촬영되는 경우에 프레임에 따른 시선 변화(얼굴 방향 변화)를 도시한 그래프이며, 도 9는 인쇄물이 촬영되는 경우에 프레임에 따른 시선 변화(얼굴 방향 변화)를 도시한 그래프로서 도 8 및 도 9에 도시된 바와 같이 상하 좌우 방향 모두 실제 사람이 촬영되는 경우 프레임에 따른 시선 변화가 큰 것을 확인할 수 있었다. 상기 시선 변화는 얼굴 특징점으로부터 연산되는 얼굴의 회전 각도로부터 도출되는 것도 가능하다.
프레임에 따른 가로 방향 및 상하 방향으로의 시선 변화에 대한 임계값을 지정하여, 시선 변화의 최대값이 임계값보다 큰 경우 사람으로 판단하고, 시선 변화의 최대값이 임계값보다 작은 경우 조형물이나 인쇄물로 판단되도록 하여 결과가 표시부에 디스플레이되도록 하는 것도 가능하다. 그리고 인쇄물이나 조형물이 촬영된다는 정보가 제공되는 경우 제어부를 통하여 제어부에 연결된 경고수단(벨, 경광등 등)이 작동되도록 하는 것이 가능하며, 이때는 얼굴 비교 개인 식별 단계(ST-200)가 진행되지 않고 종료되도록 한다.
한편, 제어부에 연결되어 피사체로부터의 거리를 측정하는 거리 측정 센서에서 센싱된 거리 정보는 각 프레임과 함께 저장부에 저장된다. 그리고 상기 얼굴 영역 추출 단계에서 설명한 바와 같이 각 프레임의 얼굴 영역 추출되고(ST-110) 얼굴 영역을 이루는 픽셀의 수(면적)이 연산되어 거리 정보와 함께 저장부에 저장된다. 상기 데이터 베이스에는 거리에 따른 얼굴 면적(픽셀 수)에 대한 정보(거리에 따른 얼굴 영역 면적 정보)가 저장되어, 촬영된 식별 영상의 프레임에서 도출된 거리에 따른 얼굴 영역 면적과 대비되어 그 차이가 표시부에 디스플레이될 수 있다. 거리에 따른 식별 영상 프레임의 얼굴 면적과 거리에 따른 얼굴 영역 면적 차의 절대값에 대한 임계값이 지정되고 임계값보다 큰 경우 제어부를 통하여 제어부에 연결된 경고수단(벨, 경광등 등)이 작동되도록 하는 것이 가능하다.
상기에서와 같은 본 발명에서는 얼굴 비교 개인 식별 단계 전에 촬영되는 대상이 사람인지 조형물이나 인쇄물인지 미리 판단하여, 구분되도록 함으로써 연산 시간이 단축됨은 물론 데이터 베이스에 등록된 정보를 도용하여 출입문 등을 출입하는 것을 원천적으로 차단할 수 있는 효과가 있다.
상기 개인 식별 단계(ST-200)는 촬영부에서 촬영된 개인에 대한 정면 얼굴 이미지를 포함하여 얼굴 3D 데이터 베이스(이하에서 "식별 얼굴 DB"라 한다.)가 제공된다. 3D 정보나 정면 얼굴 이미지가 제공됨으로써 촬영된 개인의 식별이 용이하게 된다.
상기 개인 식별 단계는 촬영된 개인의 이미지(이하에서 '식별 이미지'라 함)로부터 얼굴 영역이 도출되는 얼굴영역도출단계(ST-210)와, 얼굴의 특징점들이 도출되는 얼굴특징점도출단계(ST-220)와, 도출된 얼굴영역의 제1 축에 대한 회전각도가 연산되는 식별얼굴회전각도 연산단계(ST-230)와, DB얼굴정보 대비단계(ST-230)와, 픽셀색상적용단계(ST-240)와, 식별하려는 개인에 대한 얼굴 3D 데이터 베이스인 식별 얼굴 DB가 도출되는 얼굴DB 도출단계(ST-240)로 이루어진다.
촬영부에서 촬영되는 개인의 이미지에서 얼굴영역을 도출하는 것은 종래 기술에 공지되어 있는바 설명을 생략한다. 예를들어, 촬영된 개인의 이미지에서 특정 색상의 픽셀로 이루어진 영역의 크기(픽셀의 개수)가 일정 범위인 영역이 얼굴 영역으로 도출될 수 있다.
도출된 얼굴 영역에서 얼굴특정점이 도출된다(ST-220). 얼굴 영역에서 특징점이 도출되는 과정은 위에서 예시적으로 설명하였고, 종래 공지 기술에서도 기재되어 있는바 이에 대한 상세한 설명은 생략한다.
얼굴 영역의 특징점이 도출되면, 특정점의 연산에 의해서 제1 축에 대한 회전 각도인 얼굴의 회전각도가 연산된다(ST-230, 얼굴회전각도 연산에 대한 내용은 대한민국 등록 제10-1215751호 등록특허공보 등에 기재된 내용 참조).
식별 이미지의 얼굴영역의 얼굴 회전 각도가 연산되면, 복수의 개인의 3D 얼굴 데이터베이스의 얼굴 이미지 정보와 대비된다. 식별얼굴회전각도와 가장 가까운 각도의 DB 얼굴 정보의 얼굴 이미지와 대비된다. 예를 들어 식별 이미지의 얼굴 회전각도가 －28°이면, 회전각도가 －30°인 DB 얼굴 정보의 얼굴 이미지와 대비된다. 식별 이미지의 얼굴 회전각도가 －25°와 같이 중간값이면 회전각도가 －30° 또는 －20°인 DB 얼굴 정보의 얼굴 이미지와 대비될 수 있다.
식별 이미지와 DB 얼굴 정보의 얼굴 이미지를 이루는 픽셀 개수가 다른 경우, 식별 이미지와 DB 얼굴 정보의 얼굴 이미지의 크기를 같게 하는 단계가 더 진행된다. 예를 들어 설명하면, 식별 이미지가 2×2 픽셀 이미지이고, DB 얼굴 정보의 얼굴 이미지가 3×3 픽셀 이미지인 경우, 식별 이미지의 (x1, y1), (x1, y2), (x2, y1), (x2, y2) 픽셀에서 (x1, y1)과 (x1, y2) 픽셀의 색상 정보의 평균값을 가지는 픽셀이 (x1, y1)과 (x1, y2) 사이에 생성되고, (x1, y2) 픽셀의 좌표는 (x1, y3)으로 되고, 생성된 픽셀의 좌표는 (x1, y2)로 되며;
(x2, y1)과 (x2, y2) 픽셀의 색상 정보의 평균값을 가지는 픽셀이 (x2, y1)과 (x2, y2) 사이에 생성되고, (x2, y2) 픽셀의 좌표는 (x2, y3)으로 되고, 생성된 픽셀의 좌표는 (x2, y2)로 되며;
(x1, y1)과 (x2, y1) 픽셀의 색상 정보의 평균값을 가지는 픽셀이 (x1, y1)과 (x2, y1) 사이에 생성되고, (x2, y1) 픽셀의 좌표는 (x3, y1)으로 되고, 생성된 픽셀의 좌표는 (x2, y1)로 되며;
(x1, y2)과 (x2, y2) 픽셀의 색상 정보의 평균값을 가지는 픽셀이 (x1, y2)과 (x2, y2) 사이에 생성되고, (x2, y2) 픽셀의 좌표는 (x3, y2)으로 되고, 생성된 픽셀의 좌표는 (x2, y2)로 되며;
(x1, y3)과 (x2, y3) 픽셀의 색상 정보의 평균값을 가지는 픽셀이 (x1, y3)과 (x2, y3) 사이에 생성되고, (x2, y3) 픽셀의 좌표는 (x3, y3)으로 되고, 생성된 픽셀의 좌표는 (x2, y3)로 되어 저장부에 저장된다.
회전 각도가 연산된 후, 식별 이미지에서 다시 얼굴영역의 특징점이 도출되어 DB 얼굴 정보의 특징점과 같은 특징점이 도출된다.
그리고 식별 이미지와 각 DB 얼굴 정보의 얼굴 이미지의 특징점에 대하여 최소자승오류값이 연산되어 DB얼굴정보가 대비된다(ST-230). DB 얼굴 정보의 얼굴 이미지 중 최소자승오류값이 가장 작은 DB 얼굴 정보의 얼굴 이미지가 픽셀 색상이 적용될 이미지(색상 정보 적용 이미지)로 된다.
상기 픽셀색상적용단계(ST-240)에서는 식별 이미지를 이루는 픽셀의 색상이 색상 정보 적용 이미지를 이루는 픽셀의 색상으로 되어 저장부에 저장된다. 그리고 표시부에 디스플레이된다.
정리하면, 복수의 DB 얼굴 정보의 얼굴 이미지 중에서 식별 이미지와 같은 얼굴 회전 각도를 가지는 복수의 DB 얼굴 정보의 얼굴 이미지의 특징점과 식별 이미지의 특징점에 대한 최소오류자승값(수학식 1)이 연산되고, 식별 이미지에 대하여 가장 작은 최소오류자승값을 가지는 DB 얼굴 정보의 얼굴 이미지를 이루는 픽셀의 색상이 식별 이미지의 픽셀의 색상으로 변경되어 저장부에 저장된다. 이하에서 식별 이미지의 픽셀의 색상으로 변경된 DB 얼굴 정보 이미지를 "식별도출얼굴이미지"라고 한다.
Figure 112017047611472-pat00001
위 식에서 n은 특징점 개수, xi와 yi는 식별 얼굴 이미지의 i번째 특징점의 x축 및 y축 좌표, xil과 yil은 DB 얼굴 정보 이미지의 i번째 특징점의 x축 및 y축 좌표이며, distrms는 최소오류자승값임.
예를 들어 얼굴 회전각이 30°이면, 식별 이미지의 픽셀의 색상을 가지는 30°회전한 DB 얼굴 정보의 얼굴 이미지가 획득된다. 30°회전한 DB 얼굴 정보의 얼굴 이미지에 대하여 회전 각도가 0°인 정면 이미지 정보와 픽셀 위치의 정보에 적용하여 식별 이미지의 픽셀의 색상을 가지는 30°회전한 DB 얼굴 정보의 얼굴 이미지로부터 식별 이미지의 픽셀의 색상을 가지는 회전각도 0°인 식별도출얼굴이미지의 정면 이미지가 획득된다.
위와 같은 과정을 거쳐 식별하려는 개인에 대한 얼굴 3D 데이터 베이스인 식별 얼굴 DB가 도출된다(ST-240).
식별 이미지와 같은 회전 각도를 가지는 복수의 DB 얼굴 정보의 얼굴 이미지 중에서, 식별 이미지에 대한 가장 작은 최소자승오류값을 가지는 DB 얼굴 정보의 얼굴 이미지가 도출되고, 도출된 DB 얼굴 정보의 얼굴 이미지를 이루는 픽셀의 색상 정보가 식별 이미지를 이루는 픽셀의 색상 정보로 변경되어 식별도출얼굴이미지가 획득되고, 획득된 식별도출얼굴이미지의 정보를 그 얼굴 이미지의 DB 얼굴 정보에 적용하여 식별도출얼굴이미지의 3D 정보와 정면 이미지 획득된다.
상기 개인 식별 단계는 촬영되어 저장부에 저장된 개인의 식별 영상을 이루는 각 프레임에서 얼굴 영역이 추출되는 얼굴 영역 추출 단계와, 추출된 얼굴 영역의 특징 벡터가 도출되는 얼굴 특징 벡터 도출 단계와, 상기 추출된 얼굴 영역의 특징 벡터와 데이터 베이스에 등록된 자료의 얼굴 특징 벡터의 유클리디언 거리가 연산되는 얼굴 특징 벡터 대비 단계로 이루어질 수 있다.
상기 얼굴 특징 벡터 도출 단계에서는 얼굴 영역 추출 단계에서 추출되고 정면화한 얼굴 영역 정보로부터 얼굴 영역 특징 벡터가 도출되고, 상기 얼굴 특징 벡터 대비 단계에서는 촬영된 식별 영상의 얼굴 특징 벡터와 데이터 베이스에 등록된 자료의 얼굴 특징 벡터의 유클리디언 거리(Euclidean Distance)가 연산된다. 상기에서 얼굴 영역 특징 벡터를 도출하는 방법과 유클리디언 거리 연산은 종래 기술이므로 이에 대한 설명은 생략한다.
촬영된 식별 영상과 데이터 베이스에 등록된 복수의 개인들에 대한 자료의 얼굴 특징 벡터에 대한 유클리디언 거리가 연산된다. 상기 유클리디언 거리가 얼굴 유사도가 된다. 연산된 유클리디언 거리와 함께 촬영된 개인의 식별 영상 및 데이터 베이스에 등록된 개인의 영상이 제어부에 연결된 표시부(예, LCD 패널; 도시하지 않음)에 디스플레이된다. 유클리디언 거리를 기준으로 등급을 4등급으로 분할하여 등급에 대한 정보도 함께 디스플레이된다.
실험값으로 구분되는 유사도는 아래 표 2와 같다.
유사도 0∼0.25(이하) 0.25(초과)∼0.5(이하) 0.5(초과)∼0.75(이하) 0.75(초과)∼1
등급 1(동일인) 2(유사인물) 3(확인필요) 4(비동일인)
상기와 표에서와 같이 제공되므로, 출입문에 설치되어 작동되는 경우 1등급인 경우에는 출입 통과, 2등급 및 3등급인 경우에는 확인하며, 4등급인 경우에는 출입 불가 등으로 구분하여 관리하는 것이 가능하다.
얼굴 특징 벡터는 합성곱신경망 모듈이 실행되어 학습용 촬영 영상으로부터 미리 학습된 개인 식별 가중값이 적용되어 식별 영상의 얼굴 특징 벡터가 도출된다.
본 발명에 따르는 얼굴 비교를 통한 개인 식별 방법은 상기 얼굴 비교 개인 식별 단계에 더하여, 얼굴 정보 획득 단계를 더 포함한다. 상기 얼굴 정보 획득 단계는 학습 단계와 얼굴 정보 연산 단계로 이루어져 식별 영상의 인종 정보와 성별 정보가 제공된다.
상기 학습 단계는 성별 정보에 대한 학습용 촬영 영상의 컨벌루션 계층이 형성되는 단계와, 컨벌루션 계층을 이루는 맵으로부터 풀링 계층이 형성되는 단계와, 풀링 계층을 이루는 풀링의 정보가 입력 정보가 되며 은닉층 가중치와 입력 정보의 연산으로 은닉층 노드값들이 연산되는 은닉층 정보 연산 단계와, 은닉층 노드값과 출력층 가중치의 연산으로 출력층이 연산되는 출력층 정보 연산 단계와, 출력층 정보와 학습용 촬영 영상 정보로부터 에러가 연산되고 역전파 알고리즘에 따라 은닉층 가중치와 출력층 가중치의 갱신값이 연산되어 은닉층 정보 연산 단계와 출력층 정보 연산 단계가 다시 연산되고 연산된 출력층 정보가 학습용 촬영 영상 정보와 대비되는 과정이 반복되어 은닉층 가중치의 갱신값과 출력층 가중치의 갱신값이 도출되는 가중치 도출단계로 이루어진다.
본 발명에서는 40,000명(1명당 50∼100장 촬영)의 학습용 촬영 영상을 마련하여 학습하였다. 40,000명 각각에 대한 인종 정보와 성별 정보는 학습용 촬영 영상과 함께 데이터베이스에 저장된다.
각 학습용 촬영 영상에 대하여 커널을 이용하여 컨벌루션 계층을 이루는 맵을 형성한다. 학습용 촬영 영상을 이루는 각 픽셀의 색상 정보가 학습용 촬영 영상 행렬의 성분이 된다. 맵을 형성하기 전에 학습용 촬영 영상을 흑백 영상으로 변환하는 것도 가능하다.
커널은 2×2 행렬, 3×3 행렬, 5×5행렬과 같이 다양한 크기의 행렬이 사용될 수 있으며, 본 발명자는 3×3행렬을 커널로 하여 맵을 형성하였으며, 컨벌루션 계층을 형성하였다. 은닉층은 5개층을 형성하였으며, 커널 개수에 있어서, 제1은닉층의 커널은 16개, 제2은닉층은 32개, 제3은닉층은 64개, 제4은닉층은 128개로 하였고, 제5은닉층은 512개로 하여 은닉층을 형성하였다. 은닉층의 형성에 있어서 출력층으로 갈수록 커널수를 증가시켜 은닉층의 개수를 증가시키므로써, 정확도가 향상된다.
커널의 성분들의 값은 랜덤함수를 활용하여 생성할 수 있으며, 각 성분들의 값은 2가 넘지 않도록 한다. 복수의 커널이 마련되고, 각 커널에 대한 맵이 마련되어 컨벌루션 계층이 형성된다.
예를 들어, 커널은 2×2 행렬이고 성분이 1, 0, 0, 1이라 하면, 커널을 학습용 촬영 영상의 첫 2×2 픽셀에 대응시켜 연산되어 맵을 이루는 성분값이 연산하며, 커널을 학습용 촬영 영상의 픽셀을 따라 1픽셀씩 이동시켜 맵 성분값이 차례로 연산되어 행렬인 맵이 마련된다. 상기와 같이 복수의 다른 성분값을 가지는 커널이 마련되고 각 커널에 대한 맵이 마련되어 컨벌루션 계층이 형성된다. 커널은 2×2 행렬이고 학습용 촬영 영상의 크기가 4×4 픽셀이면 맵은 3×3 행렬 크기로 형성된다.
컨벌루션 계층이 형성되면 컨벌루션을 이루는 각 맵은 활성함수를 거쳐 출력된다. 본 발명에서는 활성함수로 ReLU 함수를 채택하였다. 시그모이드 함수를 활성함수로 하는 것도 가능하다.
상기 풀링 계층의 복수의 풀링으로 이루어지며, 컨벌루션 계층을 이루는 각 맵의 출력값에 대하여 풀링이 형성된다. 상기 풀링은 평균값으로 풀링할 수도 있고, 최대값으로 풀링할 수도 있다. 상기 풀링은 2×2 행렬 크기에 대하여 행해질 수 있으며, 맵을 이루는 성분으로부터 2×2 행렬 크기의 성분 중 최대값이나 성분들의 평균값이 풀링의 성분값이 된다. 따라서 4×4 행렬 크기의 맵이 2×2 행렬 크기로 풀링되면 2×2 행렬의 행렬이 된다.
각 풀링을 이루는 성분이 입력값이 되고 은닉층의 가중치에 의하여 연산되어 은닉층을 이루는 노드값이 연산된다.
Figure 112017047611472-pat00002
위 식 2는 은닉층의 각 노드를 연산하는 식의 예로서 상기 식에서 m은 풀링을 이루는 성분 개수, Ej는 은닉층 노드값, pi는 풀링의 성분, wij는 가중치, po는 바이어스로서 1이다. 그리고 φ는 활성함수이다. 활성함수로 시그모이드 함수가 사용된다. 상기 가중치(wij)는 0과 2 사이의 값에서 선택된 임의의 값으로 할 수 있다.
상기 은닉층은 1개층 이상으로 형성될 수 있다. 은닉층이 2개층으로 형성되는 경우 상기 식 2는 제1 은닉층의 노드값이 연산되는 식이며, 제2 은닉층의 노드값은 식 2에서와 같이 제1 은닉층의 노드값과 가중치에 의해서 연산된다. 제1 노드값 연산시 사용된 가중값과 제2 노드값 연산시 사용된 가중값은 서로 다를 수 있다. 이와 같이 복수의 은닉층으로 이루어진 경우 연산이 차례로 이루어진다.
그리고 마지막 은닉층의 노드값과 가중값에 의하여 출력층 노드값이 연산된다. 성별은 남성과 여성이므로 출력층 노드는 2개이다.
Figure 112017047611472-pat00003
위 식 3은 출력층의 노드를 연산하는 식의 예로서 상기 식에서 Tj는 출력층 노드값을, Ei는 마지막 은닉층의 노드값, vij는 가중치를, Eo는 바이어스로서 1이다. 그리고 φ는 활성함수이다. 활성함수로 ReLU 사용된다. 상기 가중치(vij)는 0과 2 사이의 값에서 선택된 임의의 값으로 할 수 있다.
예를 들어, 학습용 촬영 영상이 남성이고 학습용 촬영 영상에 대하여 위와 같은 과정을 거쳐 연산된 출력층의 노드값이 0.5보다 큰 경우, 그리고 학습용 촬영 영상이 여성이고 학습용 촬영 영상에 대하여 위와 같은 과정을 거쳐 연산된 출력층의 노드값이 0.5보다 작은 경우, 은닉층 노드값 연산 가중치와 출력층 연산 가중치가 저장부에 저장된다. 준비된 학습용 촬영 영상 모두에 대하여 위와 같은 단계를 거쳐 출력 노드값이 연산되도록 하고 가중치의 정확성을 확인한다. 분류에서 0.5보다 크면 남성으로, 0.5보다 작으면 여성으로 분류되도록 할 수 있으며(물론, 반대로도 가능), 0.5인경우에는 미분류로 설정할 수 있다.
한편, 학습용 촬영 영상이 남성이고 위와 같은 단계를 거쳐 연산된 출력층 노드값이 0.3인 경우, 최소 에러는 0.7이 되며, 이 에러값에 의하여 역전파 알고리즘(종래 기술이므로 상세한 설명은 생략함)에 의하여 출력층 및 은닉층의 가중치를 갱신하고, 갱신된 가중치를 적용하여 다시 출력층 노드값이 연산되도록 하고 연산된 출력층 노드값에 대하여 확인하고 에러가 있는 경우 다시 가중치가 갱신되도록 하는 과정을 학습용 촬영 영상들에 대하여 적용하여 갱신된 가중치를 도출되도록 한다.
식별 영상에 대하여 위와 같은 과정을 거쳐 출력층 노드값이 연산되도록 하며, 예를 들어 식별 영상에 대한 출력층 노드값이 0.5보다 크면 남성으로, 0.5보다 작으면 여성으로 분류되어 저장된다.
인종에 대한 정보는 상기와 같은 과정을 거쳐 연산되며, 출력층 노드가 인종의 종류와 같도록 설정된다. 은닉층 노드 연산에는 활성함수로 시그모이드 함수가 사용되며, 출력층 노드 연산에는 소프트맥스 함수가 활성함수로 사용된다. 3개 인종으로 분류된다고 할 때, 출력층 노드값 연산 결과의 합은 1이 되며, 3개의 출력층 노드값의 최대값을 가지는 노드값에 따라 인종이 분류되고, 최대값이 클수록 정확도는 높아진다.
ST-100: 얼굴 식별 단계 ST-200: 개인 식별 단계
ST-300: 추가 정보 제공 단계

Claims (9)

  1. 촬영부와, 상기 촬영부에 연결된 제어부와, 상기 제어부에 연결되어 촬영부에서 촬영된 복수의 식별 이미지로 이루어지는 식별 영상과 개인 식별 프로그램이 저장되는 저장부로 이루어진 개인 식별 시스템에서 실행되어, 데이터 베이스에 등록된 DB 얼굴 정보와 대비하는데 있어서;
    개인 식별 단계와 추가 정보 제공 단계로 이루어지며;
    상기 개인 식별 단계는 촬영된 개인의 식별 이미지로부터 얼굴 영역이 도출되는 얼굴영역도출단계와, 얼굴의 특징점들이 도출되는 얼굴특징점도출단계와, 도출된 얼굴영역의 회전각도가 연산되는 식별얼굴회전각도 연산단계와, 복수의 DB 얼굴 정보 이미지와 식별 이미지가 대비되는 DB얼굴정보 대비단계와, 픽셀색상적용단계와, 식별하려는 개인에 대한 얼굴 3D 데이터 베이스인 식별 얼굴 DB가 도출되는 얼굴DB 도출단계로 이루어져 촬영된 개인을 식별하기 위한 정보가 제공되며;
    상기 추가 정보 제공 단계는 학습 단계와 얼굴 정보 연산 단계로 이루어져 식별 영상의 인종 정보와 성별 정보가 제공되며;
    상기 학습 단계는 인종 정보와 성별 정보에 각각에 대한 학습용 촬영 영상의 컨벌루션 계층이 형성되는 단계와, 컨벌루션 계층을 이루는 맵으로부터 풀링 계층이 형성되는 단계와, 풀링 계층을 이루는 풀링의 정보가 입력 정보가 되며 은닉층 가중치와 입력 정보의 연산으로 은닉층 노드값들이 연산되는 은닉층 정보 연산 단계와, 은닉층 노드값과 출력층 가중치의 연산으로 출력층이 연산되는 출력층 정보 연산 단계와, 출력층 정보와 학습용 촬영 영상 정보로부터 에러가 연산되고 역전파 알고리즘에 따라 은닉층 가중치와 출력층 가중치의 갱신값이 연산되어 은닉층 정보 연산 단계와 출력층 정보 연산 단계가 다시 반복 연산되고 연산된 출력층 정보가 학습용 촬영 영상 정보와 대비되는 과정이 반복되어 은닉층 가중치의 갱신값과 출력층 가중치의 갱신값이 도출되는 가중치 도출단계로 이루어지며;
    상기 학습 단계에서 도출된 은닉층 가중치 갱신값과 출력층 가중치의 갱신값이 얼굴 정보 연산 단계의 인종 정보와 성별 정보 각각에 대한 은닉층 가중치와 출력층 가중치가 되는 것을 특징으로 하는 얼굴 비교를 통한 개인 식별 방법.
  2. 제1 항에 있어서, 상기 DB얼굴정보 대비단계에서는 식별 이미지에 대하여 복수의 DB 얼굴 정보 이미지의 최소오류자승값이 연산되고, 상기 픽셀색상적용단계에서는 DB 얼굴 정보 이미지 중 식별 이미지에 대하여 가장 작은 최소오류자승값을 가지는 DB 얼굴 정보 이미지를 이루는 픽셀의 색상 정보가 식별 이미지로 변경되어 저장부에 저장되는 것을 특징으로 하는 얼굴 비교를 통한 개인 식별 방법.
  3. 제1 항에 있어서, 상기 개인 식별 단계 전에 얼굴 식별 단계를 더 포함하고; 상기 얼굴 식별 단계는 식별 영상을 이루는 각 프레임에서 눈 영역이 도출되는 눈 영역 검출 단계와, 눈 영역의 눈동자 영역이 검출되는 눈동자 영역 도출 단계와, 각 프레임마다 눈동자 영역을 이루는 픽셀의 색상 정보가 대비되는 눈동자 영역 색상 정보 대비 단계와, 각 프레임의 눈동자 영역을 이루는 픽셀의 색상 정보 변화로부터 실제 얼굴이 촬영되는지 조형물이 촬영되는지 판단되는 정보가 제공되는 조형물 판별 정보 제공 단계로 이루어지는 것을 특징으로 하는 얼굴 비교를 통한 개인 식별 방법.
  4. 제3 항에 있어서,
    상기 눈 영역이 검출되는 단계 전에 촬영된 복수 프레임의 얼굴 영역이 도출되는 얼굴 영역 도출 단계를 더 포함하고, 눈동자 영역 도출 단계 후에 각 프레임에서 눈동자 영역을 이루는 픽셀 정보가 연산되는 눈동자 영역 픽셀 정보 연산 단계를 더 포함하며; 상기 색상 정보 대비 단계에서는 각 프레임의 눈동자 영역 픽셀의 색상 정보가 대비되는 것을 특징으로 하는 얼굴 비교를 통한 개인 식별 방법.
  5. 제1 항에 있어서,
    상기 개인 식별 단계 전에 얼굴 식별 단계를 더 포함하고;
    상기 얼굴 식별 단계는 촬영부에서 촬영된 영상을 이루는 각 프레임에서 눈 영역이 도출되는 눈 영역 검출 단계와, 촬영된 영상을 이루는 각 프레임의 얼굴 영역의 특징점이 도출되는 얼굴 영역 특징점 도출 단계와, 눈 영역의 눈동자 영역이 검출되는 눈동자 영역 도출 단계와, 눈동자 영역의 위치가 도출되는 눈동자 영역 위치 도출 단계와, 상기 눈동자 영역 위치 도출 단계에서 도출된 눈동자 영역 위치와 얼굴 영역 특징점의 거리가 연산되는 눈동자 위치 거리 연산 단계와, 각 프레임의 눈동자 위치 거리 변화로부터 실제 얼굴이 촬영되는지 조형물이 촬영되는지 판단되는 정보가 제공되는 조형물 판별 정보 제공 단계로 이루어지는 것을 특징으로 하는 얼굴 비교를 통한 개인 식별 방법.
  6. 제1 항에 있어서, 상기 개인 식별 단계 전에 얼굴 식별 단계를 더 포함하고;
    상기 얼굴 식별 단계는 촬영부에서 촬영된 영상을 이루는 각 프레임에서 얼굴 영역이 도출되는 단계와, 얼굴 영역의 방향이 연산되는 단계와, 각 프레임의 얼굴 영역 방향 변화로부터 실제 얼굴이 촬영되는지 조형물이 촬영되는지 판단되는 정보가 제공되는 조형물 판별 정보 제공 단계로 이루어지는 것을 특징으로 하는 얼굴 비교를 통한 개인 식별 방법.
  7. 제6 항에 있어서, 상기 시스템은 제어부에 연결된 거리 측정 센서를 더 포함하여, 상기 각 프레임은 거리 측정 센서로부터 측정된 거리 정보와 함께 저장부에 저장되며;
    상기 개인 식별 단계 전에 얼굴 식별 단계를 더 포함하고; 상기 얼굴 식별 단계는 상기 촬영부에서 촬영된 영상을 이루는 각 프레임에서 얼굴 영역이 도출되는 얼굴 영역 도출 단계와, 얼굴 영역 도출 단계에서 도출된 얼굴 영역 정보가 연산되는 얼굴 영역 정보 연산 단계와, 각 프레임의 얼굴 영역 정보와 거리 정보로부터 실제 얼굴이 촬영되는지 조형물이 촬영되는지 판단되는 정보가 제공되는 조형물 판별 정보 제공 단계로 이루어지는 것을 특징으로 하는 얼굴 비교를 통한 개인 식별 방법.
  8. 삭제
  9. 제1 항에 있어서, 상기 얼굴 정보 연산 단계는 인종 정보와 성별 정보 각각에 대한 식별 영상의 컨벌루션 계층이 형성되는 단계와, 컨벌루션 계층을 이루는 맵으로부터 풀링 계층이 형성되는 단계와, 풀링 계층을 이루는 풀링의 정보가 입력 정보가 되며 은닉층 가중치와 입력 정보의 연산으로 은닉층 노드값들이 연산되는 은닉층 정보 연산 단계와, 은닉층 정보와 출력층 가중치의 연산으로 출력층이 연산되는 출력층 정보 연산 단계로 이루어지며; 인종 정보 획득을 위한 연산에서 출력층을 이루는 노드는 인종의 수와 같고, 성별 정보 획득을 위한 연산에서 출력층을 이루는 노드는 2개인 것을 특징으로 하는 얼굴 비교를 통한 개인 식별 방법.
KR1020170061950A 2017-01-25 2017-05-19 얼굴 비교를 통한 개인 식별 방법 KR101781361B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/001055 WO2018139847A1 (ko) 2017-01-25 2018-01-24 얼굴 비교를 통한 개인 식별 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170011653 2017-01-25
KR1020170011653 2017-01-25

Publications (1)

Publication Number Publication Date
KR101781361B1 true KR101781361B1 (ko) 2017-09-26

Family

ID=60036891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170061950A KR101781361B1 (ko) 2017-01-25 2017-05-19 얼굴 비교를 통한 개인 식별 방법

Country Status (2)

Country Link
KR (1) KR101781361B1 (ko)
WO (1) WO2018139847A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108652851A (zh) * 2018-01-19 2018-10-16 西安电子科技大学 基于视觉定位技术的眼控轮椅控制方法
CN108898053A (zh) * 2018-05-24 2018-11-27 珠海市大悦科技有限公司 一种面部识别方法
KR102060694B1 (ko) * 2018-03-02 2019-12-30 제주한라대학교산학협력단 개인 맞춤형 서비스를 제공하기 위한 고객 인식 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291668A (zh) * 2020-01-22 2020-06-16 北京三快在线科技有限公司 活体检测方法、装置、电子设备及可读存储介质
CN111680595A (zh) * 2020-05-29 2020-09-18 新疆爱华盈通信息技术有限公司 一种人脸识别方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140695A (ja) * 2005-11-15 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 不審顔検出システム、不審顔検出方法および不審顔検出プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101108835B1 (ko) * 2009-04-28 2012-02-06 삼성전기주식회사 얼굴 인증 시스템 및 그 인증 방법
KR101118978B1 (ko) * 2010-03-19 2012-02-28 한국산업기술대학교산학협력단 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치 및 그 방법
KR20160042646A (ko) * 2014-10-10 2016-04-20 인하대학교 산학협력단 얼굴 인식 방법
KR102462818B1 (ko) * 2015-07-08 2022-11-04 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140695A (ja) * 2005-11-15 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 不審顔検出システム、不審顔検出方法および不審顔検出プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108652851A (zh) * 2018-01-19 2018-10-16 西安电子科技大学 基于视觉定位技术的眼控轮椅控制方法
CN108652851B (zh) * 2018-01-19 2023-06-30 西安电子科技大学 基于视觉定位技术的眼控轮椅控制方法
KR102060694B1 (ko) * 2018-03-02 2019-12-30 제주한라대학교산학협력단 개인 맞춤형 서비스를 제공하기 위한 고객 인식 시스템
CN108898053A (zh) * 2018-05-24 2018-11-27 珠海市大悦科技有限公司 一种面部识别方法

Also Published As

Publication number Publication date
WO2018139847A1 (ko) 2018-08-02

Similar Documents

Publication Publication Date Title
KR101781361B1 (ko) 얼굴 비교를 통한 개인 식별 방법
CN109558764B (zh) 人脸识别方法及装置、计算机设备
CN105023010B (zh) 一种人脸活体检测方法及系统
CN111783748B (zh) 人脸识别方法、装置、电子设备及存储介质
US7305106B2 (en) Object detection apparatus, object detection method and recording medium
CN110909693A (zh) 3d人脸活体检测方法、装置、计算机设备及存储介质
KR101903127B1 (ko) 시선방향 예측 방법 및 장치
CN112560741A (zh) 一种基于人体关键点的安全穿戴检测方法
CN111274916A (zh) 人脸识别方法和人脸识别装置
CN110414400A (zh) 一种施工现场安全帽穿戴自动检测方法及系统
CN109830078B (zh) 适用于狭小空间的智能行为分析方法及智能行为分析设备
CN107292269A (zh) 基于透视失真特性的人脸图像鉴伪方法、存储、处理设备
CN114894337B (zh) 一种用于室外人脸识别测温方法及装置
CN116030519A (zh) 一种直播教学平台的学习注意力检测与评估方法
Nasrollahi et al. Complete face logs for video sequences using face quality measures
KR20180087812A (ko) 얼굴 비교를 통한 개인 식별 방법
CN107742112A (zh) 一种基于图像的人脸防伪方法及装置
CN112613430B (zh) 一种基于深度迁移学习的步态识别方法
CN113553928A (zh) 一种人脸活体检测方法、系统和计算机设备
CN107194406A (zh) 一种基于cs特征值的全景机器视觉目标识别方法
Cao et al. Human motion recognition using TMRIs with extended HOOF
CN111222448A (zh) 图像转换方法及相关产品
CN114462495B (zh) 一种脸部遮挡检测模型的训练方法及相关装置
CN112990060B (zh) 一种关节点分类和关节点推理的人体姿态估计分析方法
JP7152651B2 (ja) プログラム、情報処理装置、及び情報処理方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant