KR102441102B1 - 인공지능을 이용한 안면 인식 방법 및 시스템 - Google Patents

인공지능을 이용한 안면 인식 방법 및 시스템 Download PDF

Info

Publication number
KR102441102B1
KR102441102B1 KR1020200121216A KR20200121216A KR102441102B1 KR 102441102 B1 KR102441102 B1 KR 102441102B1 KR 1020200121216 A KR1020200121216 A KR 1020200121216A KR 20200121216 A KR20200121216 A KR 20200121216A KR 102441102 B1 KR102441102 B1 KR 102441102B1
Authority
KR
South Korea
Prior art keywords
image
area
face
face image
region
Prior art date
Application number
KR1020200121216A
Other languages
English (en)
Other versions
KR20220038877A (ko
Inventor
구기도
Original Assignee
(주) 아하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 아하 filed Critical (주) 아하
Priority to KR1020200121216A priority Critical patent/KR102441102B1/ko
Publication of KR20220038877A publication Critical patent/KR20220038877A/ko
Application granted granted Critical
Publication of KR102441102B1 publication Critical patent/KR102441102B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 방문자의 얼굴의 일부분이 마스킹 부분으로 가려져 있는 경우에도 방문자의 신원을 보다 빠르고 정확하게 인식할 수 있는 방법 및 시스템을 제공하는 것이 목적이다. 이를 위해서, a)사용자들의 얼굴 이미지를 영역별로 구분하고 해당 영역에 대등하는 각 사용자의 특징을 구분하여 데이터베이스(DB)에 저장하는 단계;와 b)신원 인식 서버가 방문자의 마스킹 부분이 포함된 촬영 얼굴 이미지를 수신하고 상기 촬영 얼굴 이미지를 영역별로 구분하여 복수의 추출 영역 이미지를 생성하는 단계;와 c)상기 추출 영역 이미지를 상기 DB에 저장된 해당 영역 이미지와 비교 분석하여 근접하는 저장 영역 이미지를 서치하여 추출하는 단계;와 d)상기 각 영역별 추출된 저장 영역 이미지를 이용하여 제1 샘플 얼굴 이미지를 생성하는 단계;와 e)생성된 상기 제1 샘플 얼굴 이미지에 상기 촬영 얼굴 이미지로부터 추출한 상기 마스킹 부분을 적용하여 제2 샘플 얼굴 이미지를 생성하는 단계; 및 f)상기 촬영 얼굴 이미지와 상기 제2 샘플 얼굴 이미지를 비교 분석하여 상기 촬영 얼굴 이미지의 신원을 판단하는 단계;를 포함하는 인공지능을 이용한 안면 인식 방법 및 시스템이 제공된다.

Description

인공지능을 이용한 안면 인식 방법 및 시스템{INDIVIDUAL FACIAL RECOGNITION METHOD AND SYSTEM USING ARTIFICIAL INTELLIGENCE}
본 발명은 인공지능(AI: artificial intelligence)을 이용한 안면 인식 스마트 패스 시스템 및 방법에 관한 것으로, 보다 상세하게는 촬영된 얼굴의 일부분이 노출되지 않은 상태라도 인공지능의 딥러닝 방법에 의해서 얼굴을 분석하여 촬영된 사람의 신분을 인식하여 출입통제를 할 수 있는 스마트 패스 시스템 및 방법에 관한 것이다.
최근 들어 건물, 연구소, 공장, 사무실, 보안구역 등 접근자의 통제가 요구되는 특정 장소의 인명, 재산, 정보 등을 안전하게 보호하기 위하여 출입 통제 시스템이 설치되고 있다.
이러한 자동화 출입통제 시스템의 대표적으로는 얼굴을 인식하여 출입통제를 하는 시스템이 있다.
일반적으로 얼굴 인식 과정은 크게 얼굴 검출과 얼굴 인식의 2단계로 구분할 수 있다.
얼굴 검출 단계는 이미지로부터 얼굴의 형상을 검출하는 단계로 얼굴 영상에 대해 분별력 있는 특징을 추출하기 위한 기술(예: Local Binary Patterns, Gabor 특징과 같은 Handcrafted 특징) 등을 이용할 수 있다.
얼굴 인식 단계는 크게 이미지 정규화, 특징 추출 및 인식 과정으로 구성된다.
이미지 정규화는 이전 단계에서 검출한 얼굴의 특징인 눈, 코, 입 등의 위치 정보를 이용하여 일정한 크기로 변환하거나 조명, 표정, 포즈 성분을 제거하는 작업으로 인식 성능과 밀접한 영향을 주는 전처리 과정이다.
특징 추출 및 인식은 크게 특징 기반의 방법과 영상 기반의 방법으로 나눌 수 있다. 특징 기반의 방법은 눈, 코, 입과 같은 얼굴을 구성하는 요소들의 특징점을 찾아서 각 점들 사이의 위치, 모양 등을 측정함으로써 얼굴 영상들 사이의 유사도를 비교한다. 이 방법은 얼굴 영상의 일부분이 가려져 있는 경우에 얼굴의 특징점을 정확히 찾아내기 어렵다는 문제가 있다
얼굴 인식을 통한 출입통제 시스템은 병원, 학교, 대기업, 관공서, 교도소 또는 군대 등의 많은 인원을 보다 빠르고 정확하게 통제하기 위해서 사용되는데, 이러한 공간에는 다양한 사람이 함께 생활하기 때문에 소수의 인원이 특정한 질병에 감염될 경우 단체 생활하는 모든 사람에게 해당 질병이 전염될 우려가 있다.
특히, 바이러스에 의한 질병 전파가 문제가 되는데 바이러스 전파를 예방하기 위해서는 마스크를 착용하는 것이 권장되고 있다. 그런데 마스크를 착용하는 경우에는 얼굴의 일부분만이 노출되므로 상술한 바와 같이 기존의 얼굴 인식 방법으로는 신원 인식이 제대로 되지 않는 문제점이 발생한다.
대한민국 특허출원 제10-2016-0118502호
본 발명은 방문자의 얼굴의 일부분이 마스킹 부분으로 가려져 있는 경우에도 방문자의 신원을 보다 빠르고 정확하게 인식할 수 있는 안면 인식 시스템 및 방법을 제공하는 것이 목적이다.
본 발명의 얼굴의 일부분이 가려진 이미지를 분석하여 방문자의 신원을 인식하는 인공지능을 이용한 안면 인식 방법은, a)사용자들의 얼굴 이미지를 영역별로 구분하고 해당 영역에 대등하는 각 사용자의 특징을 구분하여 데이터베이스(DB)에 저장하는 단계;와 b)신원 인식 서버가 방문자의 마스킹 부분이 포함된 촬영 얼굴 이미지를 수신하고 상기 촬영 얼굴 이미지를 영역별로 구분하여 복수의 추출 영역 이미지를 생성하는 단계;와 c)상기 추출 영역 이미지를 상기 DB에 저장된 해당 영역 이미지와 비교 분석하여 근접하는 저장 영역 이미지를 서치하여 추출하는 단계;와 d)상기 각 영역별 추출된 저장 영역 이미지를 이용하여 제1 샘플 얼굴 이미지를 생성하는 단계;와 e)생성된 상기 제1 샘플 얼굴 이미지에 상기 촬영 얼굴 이미지로부터 추출한 상기 마스킹 부분을 적용하여 제2 샘플 얼굴 이미지를 생성하는 단계; 및 f)상기 촬영 얼굴 이미지와 상기 제2 샘플 얼굴 이미지를 비교 분석하여 상기 촬영 얼굴 이미지의 신원을 판단하는 단계;를 포함하는 인공지능을 이용한 신원 인식 스마트 패스 방법을 제공한다.
여기서, 상기 a)단계는, 상기 사용자들의 얼굴 이미지를 영역별로 구분하되, 해당 영역에 대등하는 각 사용자의 특징을 가중치를 두어 구분하여 데이터베이스(DB)에 저장하고, 상기 c)단계는. 상기 가중치를 고려하여 상기 가중치가 가장 높은 특징이 일치하는 순서대로 상기 사용자의 각 영역별 상기 저장 영역 이미지를 추출하는 것을 특징으로 할 수 있다.
여기서, 상기 마스킹 부분은 마스크, 안경, 가발, 모자 중 어느 하나 이상인 것을 특징으로 할 수 있다.
여기서, 상기 방문자의 영상으로부터 상기 방문자의 키, 체격, 걸음 걸이 중 하나 이상의 특징을 포함하여 상기 촬영 얼굴 이미지의 신원을 판단하는 단계;를 더 포함하는 것을 특징으로 할 수 있다.
또한, 본 발명은 얼굴의 일부분이 가려진 이미지를 분석하여 방문자의 신원을 인식하는 인공지능을 이용한 신원 인식 스마트 패스 시스템에 있어서, 스마트 패드로부터 방문자의 촬영 얼굴 이미지를 수신하거나, 생성한 신원 인식 정보를 상기 스마트 패드로 전송하는 송수신부;와 사용자들의 얼굴 이미지가 영역별로 구분하되어 저장되어 있는 DB;와 상기 방문자의 마스킹 부분이 포함된 촬영 얼굴 이미지를 영역별로 구분하여 각 영역별로 추출 영역 이미지를 생성하는 추출 영역 이미지 생성부;와 상기 추출 영역 이미지를 상기 DB에 저장된 사용자의 해당 영역 이미지와 비교 분석하여 근접하는 사용자의 저장 영역 이미지를 서치하여 추출하는 영역 이미지 인식부;와 각 영역별로 추출된 상기 저장 영역 이미지를 이용하여 제1 샘플 얼굴 이미지를 생성하는 제1 샘플 얼굴 이미지 생성부;와 상기 제1 샘플 얼굴 이미지에 상기 촬영 얼굴 이미지로부터 추출한 마스킹 부분을 적용하여 제2 샘플 얼굴 이미지를 생성하는 제2 샘플 얼굴 이미지 생성부; 및 상기 사용자들의 얼굴 이미지를 영역별로 구분하고 해당 영역에 대등하는 각 사용자의 특징을 구분하여 상기 DB에 저장하고, 상기 촬영 얼굴 이미지와 상기 제2 샘플 얼굴 이미지를 비교 분석하여 상기 방문자의 신원을 인식하는 제어부;를 포함한다.
여기서, 상기 제어부는 상기 사용자들의 얼굴 이미지를 영역별로 구분하되, 해당 영역에 대등하는 각 사용자의 특징을 가중치를 두어 구분하여 저장하고, 상기 영역 이미지 인식부는 상기 사용자의 영역별 가중치 특징을 고려하여 가중치가 가장 높은 특징이 일치하는 순서대로 상기 사용자의 각 영역별 저장 영역 이미지를 추출하는 것을 특징으로 할 수 있다.
여기서, 상기 송수신부는 상기 스마트 패드 또는 다른 촬영 장치로 부터 상기 방문자의 키, 체격, 걸음 걸이 중 하나 이상의 특징을 포함하는 방문자 영상을 수신하고, 상기 제어부는 상기 방문자의 방문자의 키, 체격, 걸음 걸이 중 하나 이상의 특징을 더 포함하여 상기 방문자의 신원을 인식하는 것을 특징으로 할 수 있다.
이때 얼굴 이미지의 일부분이 마스킹 부분으로 가려져 있는 방문자의 안면 인식 및 신원 인식을 위해 비교하는 기저장 이미지의 대상은 어떠한 조직, 회사에 소속된 "임직원"일 수도 있고 단체에 가입된 "회원들"일 수도 있으며 이전에 해당 장소를 방문한 이력이 있는 "기존 이용자"일 수도 있다. 편의상 이하 "사용자" 또는 "임직원"이라고 부르기로 한다.
본 발명은 방문자의 얼굴 영상의 일부분이 가려져 있는 경우에도 보다 빠르고 정확하게 방문자의 얼굴을 인식할 수 있는 효과가 있다.
또한, 본 발명은 비교대상 사용자의 얼굴 영역을 해당 사용자의 특징이 보다 잘 나타나는 포인트에 가중치를 두어 저장 및 분석함으로써 방문자의 신분을 보다 빠르고 정확하게 인식할 수 있는 효과가 있다.
또한, 본 발명은 얼굴의 특징 뿐만 아니라 키, 체격, 걸음걸이의 특징을 고려하여 신원을 인식함으로써 보다 정확하게 방문자의 신분을 인식할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예로 인공지능을 이용한 신원 인식 스마트 패스 시스템 구성을 도시한 도면이다.
도 2는 본 발명의 일실시예로 사용자의 얼굴 이미지를 영역별로 구분하고 해당 영역별 사용자의 특징을 고려하여 해당 영역에 따라 저장 영역 이미지로 저장하는 것을 나타낸 도면이다.
도 3 및 도 4는 방문자의 촬영 열굴 이미지와 사용자의 저장 영역 이미지를 비교 분석하여 제1 얼굴 샘플 이미지를 생성하고 여기에 마스킹 부분을 적용하여 제2 얼굴 샘플 이미지를 생성하여 방문자의 신원을 인식하는 방법을 나타낸 도면이다.
도 5는 본 발명의 일실시예로 신원 인식 서버의 구성을 나타낸 도면이다.
도 6은 본 발명의 일실시예로 인공지능을 이용한 신원 인식 스마트 패스 방법을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시 예를 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시 예로 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.
본 명세서에서 본 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
따라서, 몇몇 실시 예에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.
또한, 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하고, 본 명세서에서 사용된(언급된) 용어들은 실시 예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함하며, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.
또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참고로 본 발명의 바람직한 실시 예에 대하여 설명한다.
도 1은 본 발명의 일실시예로 인공지능을 이용한 신원 인식 스마트 패스 시스템 구성을 도시한 도면이다.
본 발명의 인공지능을 이용한 신원 인식 스마트 패스 시스템은 스마트 패드(100), 신원 인식 서버(200)를 포함한다.
스마트 패드(100)는 출입구 근처에 설치되어 방문자(10)의 얼굴을 촬영하여 촬영 얼굴 이미지를 생성하여 신원 인식 서버(200)로 전송한다.
그리고 신원 인식 서버(200)로부터 방문자(10)의 신원 인식 정보를 수신한다.
신원 인식 서버(200)에는 출입이 허가된 임직원들(또는 사용자들)의 얼굴 이미지가 영역별로 구분되어 해당 영역에 대등하여 데이터베이스(DB)에 저장되어 있다.
신원 인식 서버(200)는 스마트 패드(100)로부터 방문자(10)의 촬영 얼굴 이미지를 수신하고 이를 영역별로 구분하여 저장되어 있는 임직원의 해당 영역의 이미지와 비교 분석하여 방문자의 신원이 임직원 중 누구인지를 판단한다.
특히, 본 발명의 인공지능을 이용한 신원 인식 스마트 패스 시스템은 방문자의 얼굴의 일부분이 마스킹 파트(예를 들어 마스크, 선글라스, 모자, 가발 등)로 인해 가려져 있는 상태인 경우에도 노출되어 있는 얼굴 부분과 마스킹 파트를 이용하여 임직원의 신원을 인식할 수 있는데, 이에 대한 상세한 설명은 도 2 내지 도 4를 통해 설명하기로 한다.
도 2는 본 발명의 일실시예로 사용자(또는 임직원)의 얼굴 이미지를 영역별로 구분하고 해당 영역별 사용자의 특징을 고려하여 해당 영역에 따라 저장 영역 이미지로 저장하는 것을 나타낸 도면이다.
신원 인식 서버(200)는 사용자의 얼굴 이미지를 스캔하여 영역별로 구분하고 이를 저장 영역 이미지로 저장한다.
예를 들어 여기서 각 영역은 다음과 같이 구분할 수 있다.
제1 영역은 머리(머리 형상, 헤어 스타일 등)와 관련된 특징을 포함하는 영역이고, 제2 영역은 눈(눈의 크기, 눈동자 색깔, 눈썹 모양 등)과 관련된 특징을 포함하는 영역이고, 제3 영역은 코(코의 모양, 크기, 콧수염 등)와 관련된 특징을 포함하는 영역이고, 제4 영역은 하관(입술 모양, 입술 크기, 턱의 형상, 턱 수염 등)과 관련된 특징을 포함하는 영역이고, 제5 영역은 귀(귀의 모양. 귀의 위치 등)와 관련된 특징을 포함하는 영역이다.
여기서, 사용자의 얼굴 중 해당 사용자의 특징이 가장 잘 나타나 있는 영역의 이미지를 가중치를 두어 저장할 수 있다. 이러한 가중치의 유무 및 정도는 다수의 얼굴 이미지의 학습된 데이터를 이용하여 인공지능 기반으로 자동으로 결정될 수 있다.
예를 들어 도시된 바와 같이 A라는 사용자의 오른쪽 눈 옆에 점이 있는 경우에 해당 A 사용자는 제2 영역에 가중치를 두어 A 사용자의 얼굴 이미지를 저장한다.
또 다른 예를 들어 도시된 바와 같이 B라는 사용자가 큰 코를 가진 경우에 해당 B 사용자는 제3 영역에 가중치를 두어 B 사용자의 얼굴 이미지를 저장한다.
아울러 복수개의 특징을 가지고 있는 경우에는 제n특징 및 제m특징에 대한 상대적인 가중치를 나누어 저장할 수 있다.
도 3 및 도 4는 방문자의 촬영 얼굴 이미지와 임직원(사용자)의 저장 영역 이미지를 비교 분석하여 제1 얼굴 샘플 이미지를 생성하고 여기에 마스킹 부분을 적용하여 제2 얼굴 샘플 이미지를 생성하여 방문자의 신원을 인식하는 방법을 나타낸 도면이다.
도 3에 도시한 바와 같이 신원 인식 서버(200)는 수신한 방문자의 촬영 얼굴 이미지를 영역별로 구분하고 복수의 추출 영역 이미지로 생성한다.
이때, 방문자가 마스크를 한 경우에 제4 영역은 얼굴의 특징이 아닌 마스킹 부분인 마스크의 특징만 포함하게 된다.
방문자의 추출 영역 이미지를 DB에 저장된 임직원의 저장 영역 이미지와 비교 분석을 하는 경우에 방문자의 촬영 얼굴 이미지 중 제2 영역의 동일한 위치에 점이 있는 방문자인 경우에 A 임직원인 확률이 매우 높다. 따라서 다른 얼굴 영역을 모두 고려하되 가중치가 가장 높은 영역의 특징이 일치하는 경우에는 해당 임직원의 얼굴 이미지와 방문자의 얼굴 이미지를 우선적으로 분석한다.
즉, 다른 얼굴 영역도 A 임직원의 저장 영역 이미지를 이용하여 제1 얼굴 샘플 이미지를 생성한다.
이후 방문자의 마스킹 부분이 위치하는 영역에 해당 마스킹 부분을 적용하여 제1 얼굴 샘플 이미지를 생성한다. 그리고 방문자의 촬영 얼굴 이미지와 제2 얼굴 샘플 이미지를 비교 분석한다.
이때 제2 얼굴 샘플 이미지와 방문자의 촬영 얼굴 이미지가 동일하지 않다고 판단되는 경우에는 순차적으로 다음 가중치를 가지는 영역이 일치하는 임직원의 저장 영역 이미지를 이용하여 제1 얼굴 샘플 이미지를 생성하고 마스킹 부분을 적용하여 동일한 방법으로 방문자의 신원을 판단한다. 또는, 모든 영역별 저장 영역 이미지를 고려하여 제1 얼굴 샘플 이미지를 생성하고 마스킹 부분을 적용하여 가장 많은 영역이 일치하는 임직원을 방문자의 신원으로 판단한다.
여기서, 본 발명은 인공 지능의 딥러닝 방법을 이용하여 상기의 과정을 반복 학습하여 방문자의 신원을 보다 빠르고 정확하게 인식할 수 있다.
도 5는 본 발명의 일실시예로 신원 인식 서버의 구성을 나타낸 도면이다.
본 발명의 신원 인식 서버(200)는 송수신부(210), DB(220), 추출 영역 이미지 생성부(230), 영역 이미지 인식부(240), 제1 샘플 얼굴 이미지 생성부(250), 제2 샘플 얼굴 이미지 생성부(260) 및 제어부(270)을 포함한다.
송수신부(210)는 스마트 패드(100)로부터 방문자(10)의 촬영 얼굴 이미지를 수신하거나, 신원 인식 정보를 스마트 패드(100)로 전송한다.
여기서, 송수신부(210)는 스마트 패드(100) 또는 다른 촬영 장치(예를 들어 CCTV)로 부터 방문자(10)의 키, 체격, 걸음 걸이 중 하나 이상의 특징을 포함하는 방문자 영상을 수신 할 수 있다.
DB(220)는 임직원들의 얼굴 이미지가 영역별로 구분되어 저장되어 있다.
추출 영역 이미지 생성부(230)는 방문자(10)의 마스킹 부분이 포함된 촬영 얼굴 이미지를 영역별로 구분하여 각 영역별로 추출 영역 이미지를 생성한다.
여기서, 1영역은 얼굴의 상단부에 해당하는 특징(이마 모양, 머리카락의 길이 색 및 헤어 스타일 등)을 포함하는 이미지의 영역을 의미한다.
여기서, 2영역은 얼굴의 눈부분에 해당하는 특징(눈썹 모양, 눈동자 크기 및 색 등)을 포함하는 이미지의 영역을 의미한다.
여기서, 3영역은 얼굴의 코부분에 해당하는 특징(코 모양, 크기 등)을 포함하는 이미지의 영역을 의미한다.
여기서, 4영역은 얼굴의 하단부에 해당하는 특징(입술 모양, 크기 등)을 포함하는 이미지의 영역을 의미한다.
여기서, 5영역은 얼굴의 귀부분에 해당하는 특징(귀 모양, 크기 및 위치 등)을 포함하는 이미지의 영역을 의미한다.
영역 이미지 인식부(240)는 방문자(10)의 추출 영역 이미지를 DB(220)에 저장된 임직원의 해당 영역 이미지와 비교 분석하여 근접하는 임직원의 저장 영역 이미지를 서치하여 추출한다.
여기서, 영역 이미지 인식부(240)는 상술한 바와 같이 임직원의 영역별 가중치 특징을 고려하여 가중치가 가장 높은 특징이 일치하는 순서대로 임직원의 각 영역별 저장 영역 이미지를 추출할 수 있다.
제1 샘플 얼굴 이미지 생성부(250)는 각 영역별로 추출된 저장 영역 이미지를 이용하여 제1 샘플 얼굴 이미지를 생성한다.
제2 샘플 얼굴 이미지 생성부(260)는 제1 샘플 얼굴 이미지에 방문자(10)의 촬영 얼굴 이미지로부터 추출한 마스킹 부분을 적용하여 제2 샘플 얼굴 이미지를 생성한다.
제어부(270)는 임직원들의 얼굴 이미지를 영역별로 구분하고 해당 영역에 대등하는 각 임직원의 특징을 구분하여 DB(220)에 저장한다.
여기서, 제어부(270)는 임직원들의 얼굴 이미지를 영역별로 구분하되, 해당 영역에 대등하는 각 임직원의 특징을 가중치를 두어 구분하여 저장할 수 있다.
또한, 제어부(270)는 방문자(10)의 촬영 얼굴 이미지와 제2 샘플 얼굴 이미지를 비교 분석하여 방문자(10)의 신원을 인식한다.
여기서, 제어부(270)는 방문자(10)의 방문자의 키, 체격, 걸음 걸이 중 하나 이상의 특징을 더 포함하여 방문자(10)의 신원을 인식할 수 있다.
여기서, 제어부(270)는 인공 지능의 딥러닝 방법을 이용하여 상기의 과정을 반복 학습하여 방문자의 신원을 보다 빠르고 정확하게 인식할 수 있다.
도 6은 본 발명의 일실시예로 인공지능을 이용한 신원 인식 스마트 패스 방법을 나타낸 도면이다.
S100 단계는 신원 인식 서버(200)가 임직원들의 얼굴 이미지를 영역별로 구분하고 해당 영역에 대등하는 각 임직원의 특징을 구분하여 데이터베이스(DB)에 저장하는 단계이다.
S110 단계는 출입구 근처에 설치된 스마트 패드(100)가 방문자(10)의 얼굴을 촬영하여 촬영 얼굴 이미지를 생성하고 이를 신원 인식 서버(200)로 전송하는 단계이다.
S120 단계는 신원 인식 서버(200)가 수신한 촬영 얼굴 이미지를 영역별로 구분하여 복수의 추출 영역 이미지를 생성하는 단계이다.
이때, 신원 인식 서버(200)는 촬영 얼굴 이미지에 포함된 마스킹 부분의 특징을 고려하여 복수의 추출 영역 이미지를 생성한다.
S130 단계는 신원 인식 서버(200)가 방문자(10)의 추출 영역 이미지를 DB(220)에 저장된 임직원의 해당 영역 이미지와 비교 분석하여 근접하는 임직원의 저장 영역 이미지를 서치하여 추출하는 단계이다.
이때, 상술한 바와 같이 신원 인식 서버(200)는 임직원의 영역별 가중치 특징을 이용하여 저장 영역 이미지를 서치하여 추출할 수 있다.
S140 단계는 신원 인식 서버(200)가 각 영역별 추출된 임직원의 저장 영역 이미지를 이용하여 제1 샘플 얼굴 이미지를 생성하는 단계이다.
S150 단계는 신원 인식 서버(200)가 제1 샘플 얼굴 이미지에 방문자(10)의 촬영 얼굴 이미지로부터 추출한 마스킹 부분을 적용하여 제2 샘플 얼굴 이미지를 생성하는 단계이다.
S160 단계는 신원 인식 서버(200)가 방문자(10)의 촬영 얼굴 이미지와 생성한 제2 샘플 얼굴 이미지를 비교 분석하여 촬영 얼굴 이미지의 신원을 판단하는 단계이다.
S170 단계는 신원 인식 서버(200)가 방문자(10)의 신원 인식 정보를 스마트 패드(100)로 전송하는 단계이다
본 발명은 상기한 특정의 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 되는 것임은 자명하다. 즉, 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10 : 방문자
100 : 스마트 패드
200 : 신원 인식 서버
210 : 송수신부
220 : DB
230 : 추출 영역 이미지 생성부
240 : 영역 이미지 인식부
250 : 제1 샘플 얼굴 이미지 생성부
260 : 제2 샘플 얼굴 이미지 생성부
270 : 제어부

Claims (7)

  1. 얼굴의 일부분이 마스크로 가려진 방문자의 신원을 인식하는 인공지능을 이용한 안면 인식 방법에 있어서,
    a)비교대상 사용자들의 얼굴 이미지를 제1 내지 제5의 영역별로 구분하고 해당 영역에 대응하는 각 사용자의 특징을 구분하여 데이터베이스(DB)에 저장하는 단계;
    b)신원 인식 서버가 방문자의 마스크 부분이 포함된 촬영 얼굴 이미지를 수신하고 상기 촬영 얼굴 이미지를 제1 내지 제5의 영역별로 구분하여 복수의 추출 영역 이미지를 생성하는 단계;
    c)상기 추출 영역 이미지를 상기 DB에 저장된 해당 영역 이미지와 비교 분석하여 근접하는 저장 영역 이미지의 원본을 서치하여 추출하는 단계;
    d)상기 각 영역별 추출된 저장 영역 이미지를 이용하여 마스크로 가려지지 않은 상태인 제1 샘플 얼굴 이미지를 생성하는 단계;
    e)생성된 상기 제1 샘플 얼굴 이미지에 상기 촬영 얼굴 이미지로부터 추출한 마스크 영역을 적용하여 상기 마스크 부분이 위치하는 영역에서 얼굴의 일부분이 마스크로 가려진 상태인 제2 샘플 얼굴 이미지를 생성하는 단계; 및
    f)상기 촬영 얼굴 이미지와 상기 제2 샘플 얼굴 이미지를 비교 분석하여 상기 촬영 얼굴 이미지의 신원을 판단하는 단계;를 포함하되,
    상기 a)단계는, 상기 사용자들의 얼굴 이미지를 영역별로 구분하되, 해당 영역에 대응하는 각 사용자의 특징을 가중치를 두어 구분하여 데이터베이스(DB)에 저장하고,
    상기 c)단계는. 상기 가중치를 고려하여 상기 가중치가 가장 높은 특징이 일치하는 사용자 순서대로 상기 사용자의 각 영역별 상기 저장 영역 이미지를 추출하며,
    상기 a)단계의 가중치는 상기 사용자들의 다수의 얼굴 이미지를 인공지능의 딥러닝 기반으로 반복 학습하여 결정하는 것을 특징으로 하는 인공지능을 이용한 안면 인식 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 얼굴의 일부분이 마스크로 가려진 방문자의 신원을 인식하는 인공지능을 이용한 안면 인식 시스템에 있어서,
    스마트 패드로부터 방문자의 촬영 얼굴 이미지를 수신하거나, 생성한 신원 인식 정보를 상기 스마트 패드로 전송하는 송수신부;
    사용자들의 얼굴 이미지가 제1 내지 제5의 영역별로 구분하되어 저장되어 있는 DB;
    상기 방문자의 마스크 부분이 포함된 촬영 얼굴 이미지를 제1 내지 제5의 영역별로 구분하여 각 영역별로 추출 영역 이미지를 생성하는 추출 영역 이미지 생성부;
    상기 추출 영역 이미지를 상기 DB에 저장된 사용자의 해당 영역 이미지와 비교 분석하여 근접하는 사용자의 저장 영역 이미지의 원본을 서치하여 추출하는 영역 이미지 인식부;
    각 영역별로 추출된 상기 저장 영역 이미지를 이용하여 마스크로 가려지지 않은 상태인 제1 샘플 얼굴 이미지를 생성하는 제1 샘플 얼굴 이미지 생성부;
    상기 제1 샘플 얼굴 이미지에 상기 촬영 얼굴 이미지로부터 추출한 마스크 영역을 적용하여 상기 마스크 부분이 위치하는 영역에서 얼굴의 일부분이 마스크로 가려진 상태인 제2 샘플 얼굴 이미지를 생성하는 제2 샘플 얼굴 이미지 생성부; 및
    상기 사용자들의 얼굴 이미지를 제1 내지 제5의 영역별로 구분하고 해당 영역에 대응하는 각 사용자의 특징을 구분하여 상기 DB에 저장하고, 상기 촬영 얼굴 이미지와 상기 제2 샘플 얼굴 이미지를 비교 분석하여 상기 방문자의 신원을 인식하는 제어부;를 포함하되,
    상기 제어부는 상기 사용자들의 얼굴 이미지를 영역별로 구분하되, 해당 영역에 대응하는 각 사용자의 특징을 가중치를 두어 구분하여 저장하고,
    상기 영역 이미지 인식부는 상기 사용자의 영역별 가중치 특징을 고려하여 가중치가 가장 높은 특징이 일치하는 사용자 순서대로 상기 사용자의 각 영역별 저장 영역 이미지를 추출하는 신원 인식 서버를 포함하며,
    상기 가중치는 상기 사용자들의 다수의 얼굴 이미지를 인공지능의 딥러닝을 기반으로 반복 학습하여 결정하는 것을 특징으로 하는 인공지능을 이용한 안면 인식 시스템.
  6. 삭제
  7. 삭제
KR1020200121216A 2020-09-21 2020-09-21 인공지능을 이용한 안면 인식 방법 및 시스템 KR102441102B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200121216A KR102441102B1 (ko) 2020-09-21 2020-09-21 인공지능을 이용한 안면 인식 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200121216A KR102441102B1 (ko) 2020-09-21 2020-09-21 인공지능을 이용한 안면 인식 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220038877A KR20220038877A (ko) 2022-03-29
KR102441102B1 true KR102441102B1 (ko) 2022-09-07

Family

ID=80997230

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200121216A KR102441102B1 (ko) 2020-09-21 2020-09-21 인공지능을 이용한 안면 인식 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102441102B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230168845A (ko) 2022-06-08 2023-12-15 이미진 안경구독서비스장치 및 그 장치의 구동방법
CN115661901A (zh) * 2022-11-07 2023-01-31 济南海博科技有限公司 基于大数据的人脸识别系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090093223A (ko) * 2008-02-29 2009-09-02 홍익대학교 산학협력단 얼굴 인식 시스템의 성능 향상을 위한 동적 마스크와 인페인팅을 이용한 안경제거
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
KR20140042024A (ko) * 2012-09-27 2014-04-07 한국전자통신연구원 영상기반 사람 검출 방법 및 장치
KR101796027B1 (ko) 2015-04-02 2017-11-10 동국대학교 산학협력단 얼굴 영상 기반 성별 인식 방법 및 장치
KR101998112B1 (ko) * 2017-08-09 2019-07-10 한국과학기술연구원 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치

Also Published As

Publication number Publication date
KR20220038877A (ko) 2022-03-29

Similar Documents

Publication Publication Date Title
KR101998112B1 (ko) 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
US11594074B2 (en) Continuously evolving and interactive Disguised Face Identification (DFI) with facial key points using ScatterNet Hybrid Deep Learning (SHDL) network
US20040013286A1 (en) Object recognition system
CN109508700A (zh) 一种人脸识别方法、系统及存储介质
JP2007508609A (ja) 画像認識
Das et al. A new efficient and adaptive sclera recognition system
KR102441102B1 (ko) 인공지능을 이용한 안면 인식 방법 및 시스템
Suma et al. Real time face recognition of human faces by using LBPH and Viola Jones algorithm
JP2006085685A (ja) 顔を識別するシステムおよび方法
Hossain et al. Next generation identity verification based on face-gait Biometrics
Mary et al. Human identification using periocular biometrics
Mohammed et al. Conceptual analysis of Iris Recognition Systems
Mattar Principal components analysis based iris recognition and identification system
Hambali et al. Performance Evaluation of Principal Component Analysis and Independent Component Analysis Algorithms for Facial Recognition
JP3841482B2 (ja) 顔画像認識装置
Adebayo et al. Combating Terrorism with Biometric Authentication Using Face Recognition
Liashenko et al. Investigation of the influence of image quality on the work of biometric authentication methods
Zhao et al. Co-lda: A semi-supervised approach to audio-visual person recognition
Agarwal et al. A comparative study of facial, retinal, iris and sclera recognition techniques
Athinarayanan et al. Effective image processing techniques based iris attendance system
Suma et al. A Multi-Biometric Iris Recognition System using Convolution Neural Network
Fagertun et al. A face recognition algorithm based on multiple individual discriminative models
Srivika et al. Biometric Verification using Periocular Features based on Convolutional Neural Network
Muneeswari et al. An Efficient Ear Biometric Authentication System
Yuan et al. Face Authentication from Masked Face Images Using Deep Learning on Periocular Biometrics

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
AMND Amendment
S601 Decision to reject again after remand of revocation
AMND Amendment
GRNO Decision to grant (after opposition)
X701 Decision to grant (after re-examination)
GRNT Written decision to grant