KR102313187B1 - 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템 - Google Patents

학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템 Download PDF

Info

Publication number
KR102313187B1
KR102313187B1 KR1020190167821A KR20190167821A KR102313187B1 KR 102313187 B1 KR102313187 B1 KR 102313187B1 KR 1020190167821 A KR1020190167821 A KR 1020190167821A KR 20190167821 A KR20190167821 A KR 20190167821A KR 102313187 B1 KR102313187 B1 KR 102313187B1
Authority
KR
South Korea
Prior art keywords
image
face image
person
face
access management
Prior art date
Application number
KR1020190167821A
Other languages
English (en)
Other versions
KR20210076519A (ko
Inventor
김학철
정성훈
한혁
진성일
Original Assignee
주식회사 리얼타임테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 리얼타임테크 filed Critical 주식회사 리얼타임테크
Priority to KR1020190167821A priority Critical patent/KR102313187B1/ko
Publication of KR20210076519A publication Critical patent/KR20210076519A/ko
Application granted granted Critical
Publication of KR102313187B1 publication Critical patent/KR102313187B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/38—Individual registration on entry or exit not involving the use of a pass with central registration
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C2209/00—Indexing scheme relating to groups G07C9/00 - G07C9/38
    • G07C2209/02—Access control comprising means for the enrolment of users

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 얼굴 인식을 통해 출입관리를 수행하는 출입관리시스템에 있어서, 출입자가 포함된 촬영 영상에서 추출된 얼굴 이미지를 근거로 해당 출입자에 대한 얼굴 이미지를 다양한 방식으로 자동 확장하여 얼굴인식 학습모델을 위한 학습용 데이터로 이용함으로써, 얼굴 인식 성능을 보다 향상시킬 수 있도록 해 주는 기술에 관한 것이다.
본 발명에 따른 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템은, 출입관리장치가 영상촬영장치로부터 수신된 촬영영상에 존재하는 인물을 추적하는 방식으로 동일 인물에 대한 연속적인 촬영영상을 수집하고, 촬영영상의 연속적인 각 프레임 이미지에 존재하는 동일 인물에 대한 각 얼굴 이미지를 추출하여 원본 얼굴이미지로 저장하는 촬영영상 수집부와, 촬영영상 수집부에서 저장한 원본 얼굴이미지를 기설정된 증식 조건을 적용하여 해당 원본 얼굴이미지에 대한 증식 얼굴이미지를 추가로 생성함과 더불어, 기 등록된 출입자의 온라인 계정정보를 기반으로 온라인상에 공개된 출입자의 공개 얼굴이미지를 수집하여 학습용 데이터로 저장하는 학습용 데이터 생성부, 데이터 저장소에 누적 저장된 학습용 데이터 및 기 저장된 원본 얼굴이미지와 등록 얼굴이미지를 얼굴인식 알고리즘에 적용하여 얼굴 이미지에 대응되는 출입자를 분류하는 학습모델을 생성하고 이를 근거로 학습모델을 갱신하는 학습모델 생성부, 출입자의 온라인 계정정보를 포함하는 개인정보와 및 정면 얼굴이미지를 포함하는 등록얼굴이미지를 포함하는 출입자 등록정보를 근거로 출입자 등록처리를 수행하고, 영상촬영장치로부터 수신된 촬영영상의 원본 얼굴이미지를 기 등록된 학습모델에 적용하여 원본 얼굴이미지에 대응되는 출입자를 판단하고, 해당 출입자에 대한 출입시간을 포함하는 출입관리정보를 생성하여 해당 출입자에 대응되게 저장하는 출입자 관리부 및, 출입자 등록정보와 최근 갱신된 학습모델정보, 학습용 데이터 및 원본 얼굴이미지, 출입자별 출입관리정보를 포함하는 정보를 저장하는 데이터 저장소를 포함하여 구성되는 것을 특징으로 한다.

Description

학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템{System for management entrance and exit based on face recognition using data augmentation}
본 발명은 얼굴 인식을 통해 출입관리를 수행하는 출입관리시스템에 있어서, 출입자가 포함된 촬영 영상에서 추출된 얼굴 이미지를 근거로 해당 출입자에 대한 얼굴 이미지를 다양한 방식으로 자동 확장하여 얼굴인식 학습모델을 위한 학습용 데이터로 이용함으로써, 얼굴 인식 성능을 보다 향상시킬 수 있도록 해 주는 기술에 관한 것이다.
최근 들어, 얼굴 인식 기술은 출입문 통제 장치를 비롯한 다양한 분야에서 활용되고 있는데, 지문이나 홍채 인식 등과 같은 다른 생체 인식 기술에 비해 능동적인 장점이 있어 더욱 증가하는 추세에 있다.
지문이나 홍채 인식의 경우 사용자가 인증을 받기 위해서는 지문 인식 센서에 손가락을 접촉시키거나 홍채 인식 센서에 눈을 근접시키는 행동을 취해야 하는 번거로움이 있었다.
하지만, 얼굴 인식 기술은 사용자의 얼굴이 카메라 영상에 잡히면, 얼굴 인식을 진행할 수 있기 때문에 인증을 위해 사용자가 부자연스러운 동작을 취할 필요가 없을 뿐 아니라 사용자가 인지하지 못하는 동안에도 사용자의 얼굴을 인식하여 인증할 수 있는 장점이 있다.
특히, 출입이 허용된 사용자들의 얼굴인식을 이용하여 출입 관리를 수행하는 출입관리시스템이 도입되고 있다.
얼굴인식을 이용한 출입자 인식방법은 출입관리시스템의 카메라에서 촬영된 촬영영상에 포함된 인물의 얼굴 이미지를 추출하여 인물별로 분류한 후 이를 학습용 데이터로서 얼굴인식 알고리즘에 적용하여 얼굴 분류를 위한 학습 모델을 생성하고, 이후부터는 촬영영상에서 추출된 출입자의 얼굴 이미지를 기 생성된 학습 모델에 입력함으로써 출입자를 분류하는 방식으로서, 정확도가 높고 인식 속도가 빠르다는 장점이 있다.
이때, 상기한 출입자 분류를 위한 학습모델의 얼굴 인식 성능은 학습에 사용되는 데이터 양에 의하여 결정된다.
즉, 종래 학습 모델을 기반으로 얼굴 인식을 수행하는 출입 관리시스템은 카메라에 의해 촬영되는 출입자의 건수에 의존적인 것이다.
따라서, 학습 모델을 기반으로 하는 출입관리 시스템의 얼굴 인식 성능을 향상시키기 위해서는 실제로 출입하는 출입자에 대한 보다 충분한 양의 학습용 데이터를 획득할 필요가 있다.
1. 국내등록특허 제10-1363017호 (발명의 명칭 : 얼굴영상 촬영 및 분류 시스템과 방법) 2. 국내등록특허 제10-2039277호 (발명의 명칭 : 보행자 얼굴 인식 시스템 및 그 방법)
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 출입자가 포함된 촬영 영상에서 추출된 얼굴 이미지를 근거로 기 설정된 증식방식으로 가공하여 증식 얼굴이미지를 추가 생성함과 더불어, 추출된 얼굴 이미지에 대응되는 출입자의 온라인 계정을 이용하여 온라인상에 공개된 출입자의 공개 얼굴이미지를 수집하고, 증식 얼굴이미지와 공개 얼굴이미지를 해당 출입자에 대한 학습용 데이터로 적용하여 출입자 분류를 위한 학습모델을 주기적으로 갱신함으로써, 얼굴 인식 성능을 보다 향상시킬 수 있도록 해 주는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템을 제공함에 그 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 출입 대상 장소 주변에 위치하는 영상촬영장치로부터 제공되는 촬영영상을 수신하고, 수신된 촬영영상에 포함된 인물의 얼굴이미지를 근거로 기 등록된 출입자를 판단하여 출입자에 대한 출입정보를 생성하여 관리하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템에 있어서, 상기 출입관리장치는 영상촬영장치로부터 수신된 촬영영상에 존재하는 인물을 추적하는 방식으로 동일 인물에 대한 연속적인 촬영영상을 수집하고, 촬영영상의 연속적인 각 프레임 이미지에 존재하는 동일 인물에 대한 각 얼굴 이미지를 추출하여 원본 얼굴이미지로 저장하는 촬영영상 수집부와, 촬영영상 수집부에서 저장한 원본 얼굴이미지를 기설정된 증식 조건을 적용하여 해당 원본 얼굴이미지에 대한 증식 얼굴이미지를 추가로 생성함과 더불어, 기 등록된 출입자의 온라인 계정정보를 기반으로 온라인상에 공개된 출입자의 공개 얼굴이미지를 수집하여 학습용 데이터로 저장하는 학습용 데이터 생성부, 데이터 저장소에 누적 저장된 학습용 데이터 및 기 저장된 원본 얼굴이미지와 등록 얼굴이미지를 얼굴인식 알고리즘에 적용하여 얼굴 이미지에 대응되는 출입자를 분류하는 학습모델을 생성하고 이를 근거로 학습모델을 갱신하는 학습모델 생성부, 출입자의 온라인 계정정보를 포함하는 개인정보와 및 정면 얼굴이미지를 포함하는 등록얼굴이미지를 포함하는 출입자 등록정보를 근거로 출입자 등록처리를 수행하고, 영상촬영장치로부터 수신된 촬영영상의 원본 얼굴이미지를 기 등록된 학습모델에 적용하여 원본 얼굴이미지에 대응되는 출입자를 판단하고, 해당 출입자에 대한 출입시간을 포함하는 출입관리정보를 생성하여 해당 출입자에 대응되게 저장하는 출입자 관리부 및, 출입자 등록정보와 최근 갱신된 학습모델정보, 학습용 데이터 및 원본 얼굴이미지, 출입자별 출입관리정보를 포함하는 정보를 저장하는 데이터 저장소를 포함하여 구성되는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템이 제공된다.
또한, 상기 증식 조건은 원본 얼굴이미지에서 특징점을 변화시키는 조건과, 원본 얼굴 이미지에서 해상도 또는 조명의 위치나 밝기를 변화시키는 조건 및, 원본 얼굴 이미지에 얼굴의 일부를 가리는 악세서리를 추가하는 조건을 포함하는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템이 제공된다.
또한, 출입 대상 장소에 설치되어 출입자의 출입 여부를 감지하고, 출입감지정보를 상기 출입관리장치로 전송하는 출입감지센서를 추가로 구비하여 구성되고, 상기 촬영영상 수집부는 상기 출입감지센서로부터 출입감지정보가 수신되는 때까지 동일 인물에 대한 연속적인 촬영영상을 수집하는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템이 제공된다.
또한, 상기 촬영영상 수집부는 출입감지정보가 수신되지 않은 상태에서 해당 인물이 촬영영상에서 사라지는 경우, 해당 인물을 미등록 출입자로 판단하고 해당 인물에 대해 저장된 촬영영상을 포함하는 정보를 제거하는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템이 제공된다.
본 발명에 의하면, 출입자가 포함된 촬영 영상에서 추출된 얼굴 이미지를 근거로 기 설정된 증식 방식 및 온라인상에 공개 이미지를 통해 출입자의 얼굴 이미지를 자동 확장하고, 확장된 얼굴이미지들을 얼굴 인식 알고리즘에 추가적으로 적용하여 출입자 분류를 위한 학습모델을 주기적으로 갱신함으로써, 출입자 관리를 위한 얼굴 인식 성능을 보다 향상시킬 수 있다.
도1은 본 발명의 제1 실시예에 따른 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템의 개략적인 구성을 도시한 도면.
도2는 도1에 도시된 출입관리장치(300)의 내부구성을 기능적으로 분리하여 나타낸 도면.
도3은 도2에 도시된 자가증식블럭(321)의 구성을 기능적으로 분리하여 예시한 도면.
도4는 도2에 도시된 데이터 저장소(350)의 내부구성을 데이터 테이블별로 분리하여 나타낸 도면.
도5는 도1에 도시된 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템의 동작을 설명하기 위한 도면.
본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도1은 본 발명의 제1 실시예에 따른 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템의 개략적인 구성을 도시한 도면이다.
도1을 참조하면, 본 발명에 따른 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템은 출입감지장치(100)와 영상촬영장치(200) 및, 출입관리장치(300)를 포함한다. 여기서, 상기 출입감지장치(100)와 영상촬영장치(200)는 출입 관리 대상 장소에 설치된다.
출입감지장치(100)는 출입 관리 대상 장소 즉, 출입문측에 설치되어 출입자의 출입여부를 감지하고, 출입시 출입감지정보를 출입관리장치(300)로 전송한다.
영상촬영장치(200)는 출입 관리 대상 장소 즉, 출입문 주변에 설치되어 출입문 주변의 영상을 촬영하고, 그 촬영영상을 출입관리장치(300)로 전송한다. 이때, 영상촬영장치(200)는 출입문과 일정 거리 이격된 위치에서 출입문까지의 영역이 촬영되도록 촬영범위가 설정된다.
출입관리장치(300)는 영상촬영장치(200)로부터 제공되는 촬영영상을 수신하고, 수신된 촬영영상에 포함된 인물의 얼굴이미지를 근거로 기 등록된 출입자를 판단하여 출입자에 대한 출입정보를 생성하여 관리한다.
도2는 도1에 도시된 출입관리장치(300)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.
도2를 참조하면, 출입관리장치(300)는 촬영영상 수집부(310)와, 학습용 데이터 생성부(320), 학습모델 생성부(330), 출입자 관리부(340) 및, 데이터 저장소(350)를 포함한다.
촬영영상 수집부(310)는 영상촬영장치(200)로부터 수신된 촬영영상에 존재하는 인물을 추적하는 방식으로 동일 인물에 대한 연속적인 촬영영상을 수집하고, 촬영영상의 연속적인 각 프레임 이미지에 존재하는 동일 인물에 대한 각 얼굴 이미지를 추출하여 원본 얼굴이미지로 데이터 저장소(350)에 저장한다.
또한, 촬영영상 수집부(310)는 영상촬영장치(200)로부터 수신되는 촬영영상에서 인물을 인지하고, 인지한 사람에 대해 인물 코드를 부여하며, 인물 코드가 부여된 사람에 대해 해당 인물 인식 이후의 연속된 프레임 이미지에서 동일 인물을 추적하여 저장함으로써, 연속된 다수의 프레임 이미지별 동일 인물에 대한 원본 얼굴 이미지를 각각 추출하여 저장한다. 이때, 촬영영상 수집부(310)는 하나의 촬영영상에서 다수의 인물이 인지되는 경우, 인지된 각 인물에 대해 서로 다른 인물코드를 부여하고, 각 인물코드별로 해당 인물에 대한 원본 얼굴 이미지를 추출하여 데이터 저장부(350)에 각각 저장할 수 있다.
또한, 촬영영상 수집부(310)는 상기 출입감지센서(100)로부터 출입감지정보가 수신되는 때까지 동일 인물에 대한 연속적인 촬영영상을 수집한다. 이때, 촬영영상 수집부(310)는 출입감지정보가 수신되지 않은 상태에서 해당 인물이 촬영영상에서 사라지는 경우, 해당 인물을 미등록 출입자로 판단하고 해당 인물코드에 대해 데이터 저장소(350)에 저장된 촬영영상을 포함하는 정보를 제거한다.
학습용 데이터 생성부(320)는 상기 촬영영상 수집부(310)에서 데이터 저장소(350)에 저장한 원본 얼굴이미지를 호출하고, 호출된 원본 얼굴이미지에 기설정된 증식 조건을 적용하여 해당 원본 얼굴이미지에 대한 증식 얼굴이미지를 추가로 생성함과 더불어, 데이터 저장소(350)에 출입자 등록시 저장된 출입자의 온라인 계정정보를 기반으로 온라인상에서 검색된 공개 이미지를 추출하고, 추출된 공개 이미지에서 해당 출입자의 공개 얼굴이미지를 수집하여 학습용 데이터로 데이터 저장소(350)에 저장한다.
이러한 학습용 데이터 생성부(320)는 촬영영상 수집부(310)에서 추출한 원본 얼굴이미지에 대한 증식 얼굴이미지를 생성하는 자가증식블럭(321)과, 기 등록된 출입자 온라인 계정정보를 근거로 온라인 상에 공개된 해당 인물의 공개 얼굴이미지를 수집하는 공개이미지 수집블럭(322)을 포함한다.
자가증식블럭(321)은 도3에 도시된 바와 같이 하나의 원본 얼굴이미지에 대해, 다양한 얼굴 표정 조건을 적용하여 가공하는 제1 증식모듈(321A)과, 원본 얼굴이미지에 대해 해상도 조건을 적용하여 가공하는 제2 증식모듈(321B) 및, 원본 얼굴이미지에 대해 얼굴에 사용되는 악세서리를 적용하여 가공하는 제3 증식모듈(321C)을 포함한다.
제1 증식모듈(321A)은 놀란표정과, 화난표정, 우울한 표정, 슬픈 표정 등의 각 표정 특성에 대응되도록 얼굴 특징점에 해당하는 눈썹, 눈, 입 등의 형상을 변경 적용한다. 이때, 제1 증식모듈(321A)은 헤어스타일을 변경하는 조건을 추가로 적용할 수 있다. 이는 출입자가 출입 대상 장소를 출입시 얼굴의 표정이나 해당 인물이 머리를 자르거나 퍼머를 하는 등의 헤어스타일을 변경시키는 경우를 고려한 것으로, 인물의 원본 얼굴이미지에서 특징점이 변화되는 조건을 적용하여 증식 얼굴이미지를 생성하는 것이다.
제2 증식모듈(321B)은 해상도를 조정하거나 조명의 위치나 조명의 강도를 변경 적용한다. 이는 영상촬영장치(200)의 문제로 인해 원본 촬영영상의 해상도가 변경되거나 출입 장소의 조명 환경이 변경되는 등의 주변 환경이 변화되는 조건을 적용하여 증식 얼굴이미지를 생성하는 것이다.
제3 증식모듈(321C)은 얼굴에 사용되는 모자나 마스크, 목도리 등의 악세서리를 원본 얼굴이미지에 부가한다. 이때, 모자, 마스크, 목도리 등은 표준화된 디자인으로 미리 저장되고, 적어도 하나 이상을 원본 얼굴이미지에 부가하여 학습용 데이터를 생성할 수 있다. 이는 출입시 인물이 얼굴에 악세서리를 착용하여 원본 얼굴이미지의 일정 부분이 가려지는 조건을 적용하여 증식 얼굴이미지를 생성하는 것이다.
공개이미지 수집블럭(322)은 데이터 저장소(350)에 등록된 출입자의 이메일 주소나 SNS 계정 정보 등을 포함하는 인물 개인정보를 이용하여 온라인상에 공개된 해당 출입자의 인물 이미지를 검색하고, 검색된 인물 이미지에서 해당 출입자의 공개얼굴 이미지를 추출하여 데이터 저장소(350)에 저장한다.
학습모델 생성부(330)는 데이터 저장소(350)에 현재까지 누적 저장된 학습용 데이터와 원본 얼굴이미지 및, 기 등록된 등록 얼굴이미지를 얼굴인식 알고리즘에 적용하여 얼굴 이미지에 대응되는 출입자를 분류하는 학습모델을 생성하고 이를 근거로 데이터 저장소(350)에 저장된 이전 학습모델을 갱신한다. 여기서, 얼굴인식 알고리즘은 다수의 학습 데이터를 이용하여 인물을 분류하는 각종 형태의 공지의 알고리즘이 적용될 수 있다.
즉, 학습모델 생성부(330)는 시스템 초기 상태에서는 기 등록된 출입자 등록 얼굴이미지(예컨대, 정면 얼굴 이미지를 포함한 일정 개수의 얼굴 이미지)를 얼굴인식 알고리즘에 적용하여 학습모델을 생성한다. 그리고, 학습용 데이터가 누적 저장된 이후부터는 기 설정된 갱신 조건을 만족하는 때에 현재까지 누적 저장된 학습용 데이터를 포함하는 출입자 얼굴 이미지를 이용하여 학습모델을 새롭게 생성하는 것이다.
따라서, 본 발명에서는 시간이 경과할수록 기 등록된 출입자에 대해 누적되는 학습용 데이터를 포함하여 얼굴인식 알고리즘에 적용되는 학습 데이터가 증가됨으로써, 출입자 분류를 위한 학습모델의 신뢰도가 보다 향상된다.
출입자 관리부(340)는 출입자의 온라인 계정정보를 포함하는 개인정보와 출입자의 정면 얼굴이미지를 포함하는 등록얼굴이미지를 포함하는 출입자 등록정보를 데이터 저장소(350)에 저장함으로써, 일련의 출입자 등록처리를 수행한다.
또한, 출입자 관리부(340)는 상기 영상촬영장치(200)로부터 수신된 촬영영상의 원본 얼굴이미지를 현재 데이터 저장소(350)에 저장된 학습모델에 적용하여 원본 얼굴이미지에 대응되는 출입자를 판단하고, 해당 출입자에 대한 출입날짜 및 출입시간을 포함하는 출입관리정보를 생성하여 해당 출입자에 대응되도록 데이터 저장소(350)에 저장한다. 이때, 출입관리정보는 영상촬영장치(200)로부터 수신된 촬영영상에서 해당 출입자가 사라지는 시점과 근접하게 출입감지센서(100)로부터 수신되는 출입감지신호를 근거로 결정될 수 있다.
데이터 저장소(350)는 도4에 도시된 바와 같이 촬영영상을 저장하는 촬영영상 저장부(351)와, 출입자별 등록얼굴 이미지와 원본얼굴 이미지가 저장되는 얼굴이미지 저장부(352), 출입자별 출입관리정보가 저장되는 출입정보 저장부(353), 출입자별 온라인 검색을 위한 계정정보와 연락처를 포함하는 출입자 개인정보가 저장되는 개인정보 저장부(354), 학습용 데이터 생성부(320)에 의해 생성된 학습용 데이터가 저장되는 학습용 데이터 저장부(355) 및, 얼굴인식 알고리즘에 의해 생성되는 학습모델 정보가 저장되는 학습모델 저장부(356)를 포함한다.
이어 도5에 도시된 흐름도를 참조하여 본 발명에 따른 학습용 데이터 확장을 지원하는 얼굴인식 기반의 출입관리시스템의 동작을 설명한다.
도5를 참조하면, 출입관리장치(300)는 출입자 등록정보를 수집하여 데이터 저장소(350)에 저장 등록한다(ST100). 이때, 각 출입자에 대해서는 출입자 식별코드가 할당되고, 출입자 등록정보는 출입자 개인정보와 얼굴 이미지를 포함한다. 그리고, 출입자 개인정보는 출입자가 온라인상에서 활동하는 이메일을 포함한 각종 온라인 계정정보를 포함하고, 얼굴 이미지는 출입자의 정면 이미지를 포함한다.
또한, 출입관리장치(300)는 데이터 저장소(350)에 기 등록된 출입자 등록정보를 근거로 학습모델을 생성하고, 이를 데이터 저장소(350)에 저장한다(ST200). 즉, 출입자 등록정보들을 얼굴인식 알고리즘에 학습 데이터로 적용하여 출입자 등록정보에 기반한 초기 학습모델정보를 생성한다.
상기한 상태에서, 출입관리장치(300)는 영상촬영장치(200)로부터 촬영영상을 연속적으로 수집하고, 수집된 촬영영상에서 인물에 대한 얼굴이미지를 추출하여 저장한다(ST300). 이때, 출입관리장치(300)는 촬영영상에서 인물을 검색하고, 검색된 인물에 인물코드를 부여하여 연속된 다수의 프레임 이미지들로 이루어지는 촬영영상을 저장하되, 해당 인물이 촬영영상에서 사라지거나 출입감지장치(100)로부터 출입감지정보가 수신되는 때까지 해당 인물이 포함되는 일정 시간 동안의 촬영영상 을 저장한다. 그리고, 출입관리장치(300)는 인물코드별 일정 시간동안 수집된 연속되는 촬영영상에서 각 프레임 이미지별 해당 인물 이미지를 각각 추출하고, 추출된 각 인물 이미지에서 해당 인물에 대한 얼굴 이미지를 추출하여 저장한다. 이때, 얼굴 이미지는 영상 프레임 수신과 더불어 실시간으로 추출하여 저장한다.
또한, 출입관리장치(300)는 추출된 얼굴 이미지를 현재 데이터 저장소(350)에 등록된 학습모델에 적용하여 해당 얼굴 이미지에 대응되는 출입자를 결정하고, 해당 출입자에 대한 출입정보를 생성하여 저장한다(ST400). 이때, 출입관리장치(300)는 데이터 저장소(350)에 저장된 해당 얼굴 이미지 및 이에 대응되는 촬영영상에 대한 인물코드를 출입자 식별코드로 변경한다.
또한, 출입관리장치(300)는 상기 ST300 단계에서 추출된 얼굴 이미지를 데이터 저장소(350)에서 호출하고, 호출된 얼굴 이미지에 대한 증식 얼굴이미지를 생성함과 더불어, 온라인 계정을 통해 공개된 출원인 공개얼굴이미지를 수집하여 해당 출입자에 대한 학습용 데이터로서 저장한다(ST500).
이후, 출입관리장치(300)는 현재 상태가 기 설정된 학습 모델 갱신조건을 만족하는지를 판단한다(ST600). 예컨대, 출입관리장치(300)는 이전 학습모델 생성일로부터 일정 기간이 경과하였거나, 또는 이전 학습모델 생성일 이후 누적 저장된 학습용 데이터의 개수가 일정 개수 이상인 조건을 만족하는지를 판단한다.
출입관리장치(300)는 상기 ST600 단계에서 현재 상태가 기 설정된 학습 모델 갱신조건을 만족하는 경우, 데이터 저장소(350)에 누적 저장된 학습용 데이터와 출입자 등록 얼굴 이미지 및, 원본 얼굴 이미지를 얼굴 인식 알고리즘에 적용하여 새로운 학습모델을 생성하고, 이를 이용하여 데이터 저장소(350)에 저장된 이전 학습모델을 갱신한다(ST700).
이후 출입관리장치(300)는 최근 갱신된 학습모델을 이용하여 상기한 ST300 단계 이하의 동작 즉, 출입자 얼굴이미지에 대한 출입자 분류처리를 수행하며, 이러한 동작은 기 설정된 갱신조건을 만족하는 주기로 반복하여 수행된다.
100 : 출입감지장치, 200 : 영상촬영장치,
300 : 출입관리장치,
210 : 촬영영상 수집부, 220 : 학습용 데이터 생성부,
230 : 학습모델 생성부, 240 : 출입자 관리부,
250 : 데이터 저장소.

Claims (4)

  1. 출입 대상 장소 주변에 위치하는 영상촬영장치로부터 제공되는 촬영영상을 수신하고, 수신된 촬영영상에 포함된 인물의 얼굴이미지를 근거로 기 등록된 출입자를 판단하여 출입자에 대한 출입정보를 생성하여 관리하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템에 있어서,
    상기 출입관리시스템는 영상촬영장치로부터 수신된 촬영영상에 존재하는 인물을 추적하는 방식으로 동일 인물에 대한 연속적인 촬영영상을 수집하고, 촬영영상의 연속적인 각 프레임 이미지에 존재하는 동일 인물에 대한 각 얼굴 이미지를 추출하여 원본 얼굴이미지로 저장하는 촬영영상 수집부와,
    촬영영상 수집부에서 저장한 원본 얼굴이미지를 기설정된 증식 조건을 적용하여 해당 원본 얼굴이미지에 대한 증식 얼굴이미지를 추가로 생성함과 더불어, 기 등록된 출입자의 온라인 계정정보를 기반으로 온라인상에 공개된 출입자의 공개 얼굴이미지를 수집하여 학습용 데이터로 저장하는 학습용 데이터 생성부,
    데이터 저장소에 누적 저장된 학습용 데이터 및 기 저장된 원본 얼굴이미지와 등록 얼굴이미지를 얼굴인식 알고리즘에 적용하여 얼굴 이미지에 대응되는 출입자를 분류하는 학습모델을 생성하고 이를 근거로 학습모델을 갱신하는 학습모델 생성부,
    출입자의 온라인 계정정보를 포함하는 개인정보와 및 정면 얼굴이미지를 포함하는 등록얼굴이미지를 포함하는 출입자 등록정보를 근거로 출입자 등록처리를 수행하고, 영상촬영장치로부터 수신된 촬영영상의 원본 얼굴이미지를 기 등록된 학습모델에 적용하여 원본 얼굴이미지에 대응되는 출입자를 판단하고, 해당 출입자에 대한 출입시간을 포함하는 출입관리정보를 생성하여 해당 출입자에 대응되게 저장하는 출입자 관리부 및,
    출입자 등록정보와 최근 갱신된 학습모델정보, 학습용 데이터 및 원본 얼굴이미지, 출입자별 출입관리정보를 포함하는 정보를 저장하는 데이터 저장소를 포함하여 구성되는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템.
  2. 제1항에 있어서,
    상기 증식 조건은 원본 얼굴이미지에서 특징점을 변화시키는 조건과, 원본 얼굴 이미지에서 해상도 또는 조명의 위치나 밝기를 변화시키는 조건 및, 원본 얼굴 이미지에 얼굴의 일부를 가리는 악세서리를 추가하는 조건을 포함하는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템.
  3. 제1항에 있어서,
    출입 대상 장소에 설치되어 출입자의 출입 여부를 감지하고, 출입감지정보를 상기 출입관리시스템로 전송하는 출입감지센서를 추가로 구비하여 구성되고,
    상기 촬영영상 수집부는 상기 출입감지센서로부터 출입감지정보가 수신되는 때까지 동일 인물에 대한 연속적인 촬영영상을 수집하는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템.
  4. 제3항에 있어서,
    상기 촬영영상 수집부는 출입감지정보가 수신되지 않은 상태에서 해당 인물이 촬영영상에서 사라지는 경우, 해당 인물을 미등록 출입자로 판단하고 해당 인물에 대해 저장된 촬영영상을 포함하는 정보를 제거하는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템.

KR1020190167821A 2019-12-16 2019-12-16 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템 KR102313187B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190167821A KR102313187B1 (ko) 2019-12-16 2019-12-16 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190167821A KR102313187B1 (ko) 2019-12-16 2019-12-16 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템

Publications (2)

Publication Number Publication Date
KR20210076519A KR20210076519A (ko) 2021-06-24
KR102313187B1 true KR102313187B1 (ko) 2021-10-15

Family

ID=76607133

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190167821A KR102313187B1 (ko) 2019-12-16 2019-12-16 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템

Country Status (1)

Country Link
KR (1) KR102313187B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102404925B1 (ko) 2021-12-14 2022-06-02 한예주 학습자의 온라인 교육 참여 확인을 위한 ai 멀티포커싱 시스템 및 이의 실행 방법
CN115471944A (zh) * 2022-08-08 2022-12-13 国网河北省电力有限公司建设公司 仓库门禁锁控制方法、装置、系统及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100438841B1 (ko) 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
KR101985711B1 (ko) 2019-03-13 2019-06-04 (주)정도기술 증강현실 ｃｃｔｖ 시스템 및 그 제어방법
JP2019192191A (ja) 2018-04-20 2019-10-31 美和ロック株式会社 住宅管理装置、住宅管理方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101363017B1 (ko) 2007-08-23 2014-02-12 삼성전자주식회사 얼굴영상 촬영 및 분류 시스템과 방법
KR102359558B1 (ko) * 2017-03-28 2022-02-09 삼성전자주식회사 얼굴 인증 방법 및 장치
KR20190076745A (ko) * 2017-12-22 2019-07-02 (주) 인하씨엔티 기계학습 러닝을 통한 출입자 관제 방법
KR102039277B1 (ko) 2018-12-07 2019-10-31 장승현 보행자 얼굴 인식 시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100438841B1 (ko) 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
JP2019192191A (ja) 2018-04-20 2019-10-31 美和ロック株式会社 住宅管理装置、住宅管理方法およびプログラム
KR101985711B1 (ko) 2019-03-13 2019-06-04 (주)정도기술 증강현실 ｃｃｔｖ 시스템 및 그 제어방법

Also Published As

Publication number Publication date
KR20210076519A (ko) 2021-06-24

Similar Documents

Publication Publication Date Title
US10275672B2 (en) Method and apparatus for authenticating liveness face, and computer program product thereof
US20150086076A1 (en) Face Recognition Performance Using Additional Image Features
WO2019067223A1 (en) AUTOMATIC AUTHENTICATION FOR ACCESS CONTROL USING FACIAL RECOGNITION
KR20050085583A (ko) 표정 불변 얼굴 인식
KR102313187B1 (ko) 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템
KR20110090731A (ko) 위조 영상 판별 장치 및 그 방법
US11663853B2 (en) Iris authentication device, iris authentication method, and recording medium
US11756338B2 (en) Authentication device, authentication method, and recording medium
KR20210063710A (ko) 카메라에 연결되는 고속 얼굴 인식 장치
JP2967012B2 (ja) 個人認識装置
JP2005084824A (ja) 顔画像照合装置、顔画像照合方法及び通行制御装置
CN110866418B (zh) 图像底库生成方法、装置、设备、系统及存储介质
WO2006057475A1 (en) Face detection and authentication apparatus and method
KR100702226B1 (ko) 얼굴 검출 및 인증 장치 및 그 방법
Mandol et al. Real time liveness detection and face recognition with OpenCV and deep learning
JP2004310287A (ja) 人物認識装置および通行制御装置
KR102535244B1 (ko) 음성인식 및 안면 일부 랜드마크를 이용한 신원확인 시스템 및 그 방법
KR20220087908A (ko) 마스크 착용 얼굴 인식 기능을 갖는 출입관리방법
KR20140060081A (ko) 원거리 얼굴인식 기반 스피드 게이트 통제 방법 및 장치
Bhat et al. Methodologies in face recognition for surveillance
KR20000032853A (ko) 3차원 마스킹법에 의한 형상인식시스템 및 그 방법
KR100702225B1 (ko) 얼굴 검출 및 인증 장치 및 그 방법
Taleb et al. Parking access system based on face recognition
JP2005078589A (ja) 人物認識装置および通行制御装置
KR20220147993A (ko) 얼굴정면 및 측면 랜드마크를 이용한 신원확인 시스템 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right