KR20210076519A - System for management entrance and exit based on face recognition using data augmentation - Google Patents

System for management entrance and exit based on face recognition using data augmentation Download PDF

Info

Publication number
KR20210076519A
KR20210076519A KR1020190167821A KR20190167821A KR20210076519A KR 20210076519 A KR20210076519 A KR 20210076519A KR 1020190167821 A KR1020190167821 A KR 1020190167821A KR 20190167821 A KR20190167821 A KR 20190167821A KR 20210076519 A KR20210076519 A KR 20210076519A
Authority
KR
South Korea
Prior art keywords
image
person
face image
access
face
Prior art date
Application number
KR1020190167821A
Other languages
Korean (ko)
Other versions
KR102313187B1 (en
Inventor
김학철
정성훈
한혁
진성일
Original Assignee
주식회사 리얼타임테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 리얼타임테크 filed Critical 주식회사 리얼타임테크
Priority to KR1020190167821A priority Critical patent/KR102313187B1/en
Publication of KR20210076519A publication Critical patent/KR20210076519A/en
Application granted granted Critical
Publication of KR102313187B1 publication Critical patent/KR102313187B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/38—Individual registration on entry or exit not involving the use of a pass with central registration
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C2209/00—Indexing scheme relating to groups G07C9/00 - G07C9/38
    • G07C2209/02—Access control comprising means for the enrolment of users

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

In an entrance management system for performing entrance management through facial recognition, the present invention relates to a technology that can further improve the performance of facial recognition by automatically expanding a facial image of a person in question in various ways based on the facial image extracted from a photographed image including the person entering and using the same as learning data for a facial recognition learning model. The facial recognition-based entrance management system that supports the expansion of learning data according to the present invention comprises: a photographed image collection part; a data generation part for learning; a learning model generation part; an entering person management part; and a data storage place.

Description

학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템{System for management entrance and exit based on face recognition using data augmentation}System for management entrance and exit based on face recognition using data augmentation

본 발명은 얼굴 인식을 통해 출입관리를 수행하는 출입관리시스템에 있어서, 출입자가 포함된 촬영 영상에서 추출된 얼굴 이미지를 근거로 해당 출입자에 대한 얼굴 이미지를 다양한 방식으로 자동 확장하여 얼굴인식 학습모델을 위한 학습용 데이터로 이용함으로써, 얼굴 인식 성능을 보다 향상시킬 수 있도록 해 주는 기술에 관한 것이다. The present invention is an access management system for performing access management through face recognition, based on a face image extracted from a photographed image including a person, by automatically expanding the face image of the corresponding person in various ways to develop a face recognition learning model. It relates to a technology that can further improve face recognition performance by using it as learning data for

최근 들어, 얼굴 인식 기술은 출입문 통제 장치를 비롯한 다양한 분야에서 활용되고 있는데, 지문이나 홍채 인식 등과 같은 다른 생체 인식 기술에 비해 능동적인 장점이 있어 더욱 증가하는 추세에 있다. Recently, face recognition technology has been used in various fields, including door control devices, and has an active advantage compared to other biometric recognition technologies such as fingerprint or iris recognition, and thus has a tendency to further increase.

지문이나 홍채 인식의 경우 사용자가 인증을 받기 위해서는 지문 인식 센서에 손가락을 접촉시키거나 홍채 인식 센서에 눈을 근접시키는 행동을 취해야 하는 번거로움이 있었다.In the case of fingerprint or iris recognition, in order for a user to obtain authentication, it is inconvenient to take an action to bring a finger into contact with the fingerprint recognition sensor or bring an eye closer to the iris recognition sensor.

하지만, 얼굴 인식 기술은 사용자의 얼굴이 카메라 영상에 잡히면, 얼굴 인식을 진행할 수 있기 때문에 인증을 위해 사용자가 부자연스러운 동작을 취할 필요가 없을 뿐 아니라 사용자가 인지하지 못하는 동안에도 사용자의 얼굴을 인식하여 인증할 수 있는 장점이 있다.However, because the face recognition technology can perform face recognition when the user's face is captured in the camera image, there is no need for the user to take an unnatural action for authentication, and it recognizes the user's face even when the user is not aware of it. There are advantages to being authenticated.

특히, 출입이 허용된 사용자들의 얼굴인식을 이용하여 출입 관리를 수행하는 출입관리시스템이 도입되고 있다. In particular, an access management system that performs access management using the facial recognition of users allowed to enter has been introduced.

얼굴인식을 이용한 출입자 인식방법은 출입관리시스템의 카메라에서 촬영된 촬영영상에 포함된 인물의 얼굴 이미지를 추출하여 인물별로 분류한 후 이를 학습용 데이터로서 얼굴인식 알고리즘에 적용하여 얼굴 분류를 위한 학습 모델을 생성하고, 이후부터는 촬영영상에서 추출된 출입자의 얼굴 이미지를 기 생성된 학습 모델에 입력함으로써 출입자를 분류하는 방식으로서, 정확도가 높고 인식 속도가 빠르다는 장점이 있다.The occupant recognition method using face recognition extracts the face image of a person included in the photographed image taken by the camera of the access management system, classifies it by person, and applies it to the face recognition algorithm as learning data to develop a learning model for face classification. It is a method of classifying the occupants by generating the occupants and then inputting the entrants' face images extracted from the captured images into a pre-generated learning model, which has the advantage of high accuracy and fast recognition speed.

이때, 상기한 출입자 분류를 위한 학습모델의 얼굴 인식 성능은 학습에 사용되는 데이터 양에 의하여 결정된다.In this case, the face recognition performance of the learning model for entrant classification is determined by the amount of data used for learning.

즉, 종래 학습 모델을 기반으로 얼굴 인식을 수행하는 출입 관리시스템은 카메라에 의해 촬영되는 출입자의 건수에 의존적인 것이다.That is, the access management system that performs face recognition based on the conventional learning model is dependent on the number of people photographed by the camera.

따라서, 학습 모델을 기반으로 하는 출입관리 시스템의 얼굴 인식 성능을 향상시키기 위해서는 실제로 출입하는 출입자에 대한 보다 충분한 양의 학습용 데이터를 획득할 필요가 있다. Therefore, in order to improve the face recognition performance of the access management system based on the learning model, it is necessary to acquire a more sufficient amount of data for learning about the people who actually enter and exit.

1. 국내등록특허 제10-1363017호 (발명의 명칭 : 얼굴영상 촬영 및 분류 시스템과 방법)1. Domestic Registered Patent No. 10-1363017 (Title of the invention: face image shooting and classification system and method) 2. 국내등록특허 제10-2039277호 (발명의 명칭 : 보행자 얼굴 인식 시스템 및 그 방법)2. Domestic Registered Patent No. 10-2039277 (Title of Invention: Pedestrian Face Recognition System and Method)

이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 출입자가 포함된 촬영 영상에서 추출된 얼굴 이미지를 근거로 기 설정된 증식방식으로 가공하여 증식 얼굴이미지를 추가 생성함과 더불어, 추출된 얼굴 이미지에 대응되는 출입자의 온라인 계정을 이용하여 온라인상에 공개된 출입자의 공개 얼굴이미지를 수집하고, 증식 얼굴이미지와 공개 얼굴이미지를 해당 출입자에 대한 학습용 데이터로 적용하여 출입자 분류를 위한 학습모델을 주기적으로 갱신함으로써, 얼굴 인식 성능을 보다 향상시킬 수 있도록 해 주는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템을 제공함에 그 기술적 목적이 있다.Accordingly, the present invention was created in consideration of the above circumstances, and additionally generates a multiplied face image by processing it in a preset proliferation method based on a face image extracted from a photographed image including a person entering and exiting, and the extracted face image By using the online account of the corresponding visitor to collect the public face image of the person who is revealed online, and applying the augmented face image and the public face image as learning data for the person concerned, the learning model for the classification of the person is periodically applied. It has a technical purpose to provide a face recognition-based access management system that supports the expansion of learning data that can further improve face recognition performance by updating it.

상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 출입 대상 장소 주변에 위치하는 영상촬영장치로부터 제공되는 촬영영상을 수신하고, 수신된 촬영영상에 포함된 인물의 얼굴이미지를 근거로 기 등록된 출입자를 판단하여 출입자에 대한 출입정보를 생성하여 관리하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템에 있어서, 상기 출입관리장치는 영상촬영장치로부터 수신된 촬영영상에 존재하는 인물을 추적하는 방식으로 동일 인물에 대한 연속적인 촬영영상을 수집하고, 촬영영상의 연속적인 각 프레임 이미지에 존재하는 동일 인물에 대한 각 얼굴 이미지를 추출하여 원본 얼굴이미지로 저장하는 촬영영상 수집부와, 촬영영상 수집부에서 저장한 원본 얼굴이미지를 기설정된 증식 조건을 적용하여 해당 원본 얼굴이미지에 대한 증식 얼굴이미지를 추가로 생성함과 더불어, 기 등록된 출입자의 온라인 계정정보를 기반으로 온라인상에 공개된 출입자의 공개 얼굴이미지를 수집하여 학습용 데이터로 저장하는 학습용 데이터 생성부, 데이터 저장소에 누적 저장된 학습용 데이터 및 기 저장된 원본 얼굴이미지와 등록 얼굴이미지를 얼굴인식 알고리즘에 적용하여 얼굴 이미지에 대응되는 출입자를 분류하는 학습모델을 생성하고 이를 근거로 학습모델을 갱신하는 학습모델 생성부, 출입자의 온라인 계정정보를 포함하는 개인정보와 및 정면 얼굴이미지를 포함하는 등록얼굴이미지를 포함하는 출입자 등록정보를 근거로 출입자 등록처리를 수행하고, 영상촬영장치로부터 수신된 촬영영상의 원본 얼굴이미지를 기 등록된 학습모델에 적용하여 원본 얼굴이미지에 대응되는 출입자를 판단하고, 해당 출입자에 대한 출입시간을 포함하는 출입관리정보를 생성하여 해당 출입자에 대응되게 저장하는 출입자 관리부 및, 출입자 등록정보와 최근 갱신된 학습모델정보, 학습용 데이터 및 원본 얼굴이미지, 출입자별 출입관리정보를 포함하는 정보를 저장하는 데이터 저장소를 포함하여 구성되는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템이 제공된다.According to one aspect of the present invention for achieving the above object, a photographed image provided from an image photographing device located around an access target place is received, and a previously registered image is received based on a face image of a person included in the received photographed image. In the face recognition-based access management system that supports the expansion of learning data that determines the occupants and generates and manages access information for the occupants, the access management device is configured to track a person present in a captured image received from an image capturing device. A photographed image collection unit that collects consecutive photographed images of the same person in this way, extracts each face image of the same person existing in each successive frame image of the photographed image, and stores it as an original face image; By applying the preset growth condition to the original face image stored in the department, the augmented face image for the original face image is additionally created, and based on the online account information of the previously registered visitor, the Learning data generation unit that collects public face images and stores them as learning data, learning data accumulated in the data storage and pre-stored original face images and registered face images are applied to face recognition algorithm to classify the entrants corresponding to the face images A learning model generating unit that creates a model and updates the learning model based on it, personal information including online account information of the visitor and visitor registration information including a registered face image including a front face image , and applying the original face image of the captured image received from the video recording device to the pre-registered learning model to determine the occupant corresponding to the original face image, and generate access management information including the access time for the occupant. and a data storage for storing information including an access management unit to store corresponding access to the corresponding person, and information including access control information for each person, including access registration information, recently updated learning model information, learning data, original face image, and access management information for each person. Provides a face recognition-based access management system that supports the expansion of learning data characterized by do.

또한, 상기 증식 조건은 원본 얼굴이미지에서 특징점을 변화시키는 조건과, 원본 얼굴 이미지에서 해상도 또는 조명의 위치나 밝기를 변화시키는 조건 및, 원본 얼굴 이미지에 얼굴의 일부를 가리는 악세서리를 추가하는 조건을 포함하는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템이 제공된다.In addition, the growth conditions include a condition for changing feature points in the original face image, a condition for changing the resolution or lighting position or brightness in the original face image, and a condition for adding an accessory that covers a part of the face to the original face image. There is provided an access management system based on face recognition that supports the expansion of learning data, characterized in that

또한, 출입 대상 장소에 설치되어 출입자의 출입 여부를 감지하고, 출입감지정보를 상기 출입관리장치로 전송하는 출입감지센서를 추가로 구비하여 구성되고, 상기 촬영영상 수집부는 상기 출입감지센서로부터 출입감지정보가 수신되는 때까지 동일 인물에 대한 연속적인 촬영영상을 수집하는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템이 제공된다.In addition, it is installed at the entrance target place to detect whether a person enters or not, and is configured to additionally include an entrance detection sensor that transmits entrance and exit detection information to the access management device, wherein the captured image collection unit detects entry and exit from the entrance detection sensor There is provided an access management system based on face recognition that supports the expansion of learning data, characterized in that continuous shooting images of the same person are collected until information is received.

또한, 상기 촬영영상 수집부는 출입감지정보가 수신되지 않은 상태에서 해당 인물이 촬영영상에서 사라지는 경우, 해당 인물을 미등록 출입자로 판단하고 해당 인물에 대해 저장된 촬영영상을 포함하는 정보를 제거하는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템이 제공된다.In addition, when the person disappears from the photographed image in a state in which the access detection information is not received, the photographed image collection unit determines the person as an unregistered person and removes information including the photographed image stored for the person A face recognition-based access management system that supports the expansion of learning data is provided.

본 발명에 의하면, 출입자가 포함된 촬영 영상에서 추출된 얼굴 이미지를 근거로 기 설정된 증식 방식 및 온라인상에 공개 이미지를 통해 출입자의 얼굴 이미지를 자동 확장하고, 확장된 얼굴이미지들을 얼굴 인식 알고리즘에 추가적으로 적용하여 출입자 분류를 위한 학습모델을 주기적으로 갱신함으로써, 출입자 관리를 위한 얼굴 인식 성능을 보다 향상시킬 수 있다. According to the present invention, the face image of the visitor is automatically expanded through a preset proliferation method and an online public image based on the face image extracted from the photographed image including the visitor, and the extended face images are added to the face recognition algorithm. By applying and periodically updating the learning model for occupant classification, face recognition performance for entrant management can be further improved.

도1은 본 발명의 제1 실시예에 따른 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템의 개략적인 구성을 도시한 도면.
도2는 도1에 도시된 출입관리장치(300)의 내부구성을 기능적으로 분리하여 나타낸 도면.
도3은 도2에 도시된 자가증식블럭(321)의 구성을 기능적으로 분리하여 예시한 도면.
도4는 도2에 도시된 데이터 저장소(350)의 내부구성을 데이터 테이블별로 분리하여 나타낸 도면.
도5는 도1에 도시된 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템의 동작을 설명하기 위한 도면.1 is a view showing a schematic configuration of a face recognition-based access management system supporting the expansion of learning data according to a first embodiment of the present invention.
FIG. 2 is a view showing the functionally separated internal configuration of the access control device 300 shown in FIG. 1 .
Figure 3 is a diagram illustrating a functionally separated configuration of the self-proliferation block 321 shown in Figure 2;
4 is a view showing the internal configuration of the data storage 350 shown in FIG. 2 separated by data tables;
FIG. 5 is a view for explaining the operation of an access management system based on face recognition that supports the expansion of the learning data shown in FIG. 1. FIG.

본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The configuration shown in the embodiments and drawings described in the present invention is only a preferred embodiment of the present invention, and does not express all the technical ideas of the present invention, so the scope of the present invention is the embodiment and drawings described in the text should not be construed as being limited by That is, since the embodiment may have various changes and may have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, it should not be understood that the scope of the present invention is limited thereby.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Terms defined in a commonly used dictionary should be interpreted as being consistent with the meaning of the context of the related art, and cannot be interpreted as having an ideal or excessively formal meaning not explicitly defined in the present invention.

도1은 본 발명의 제1 실시예에 따른 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템의 개략적인 구성을 도시한 도면이다.1 is a diagram illustrating a schematic configuration of an access management system based on face recognition supporting the expansion of learning data according to a first embodiment of the present invention.

도1을 참조하면, 본 발명에 따른 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템은 출입감지장치(100)와 영상촬영장치(200) 및, 출입관리장치(300)를 포함한다. 여기서, 상기 출입감지장치(100)와 영상촬영장치(200)는 출입 관리 대상 장소에 설치된다.Referring to FIG. 1 , the face recognition-based access management system supporting the expansion of learning data according to the present invention includes an access detection device 100 , an image capturing device 200 , and an access management device 300 . Here, the access detection device 100 and the image photographing device 200 are installed in an access management target place.

출입감지장치(100)는 출입 관리 대상 장소 즉, 출입문측에 설치되어 출입자의 출입여부를 감지하고, 출입시 출입감지정보를 출입관리장치(300)로 전송한다. The access detection device 100 is installed at the access management target place, that is, on the door side, detects whether a person enters or not, and transmits the access detection information to the access management device 300 upon entry.

영상촬영장치(200)는 출입 관리 대상 장소 즉, 출입문 주변에 설치되어 출입문 주변의 영상을 촬영하고, 그 촬영영상을 출입관리장치(300)로 전송한다. 이때, 영상촬영장치(200)는 출입문과 일정 거리 이격된 위치에서 출입문까지의 영역이 촬영되도록 촬영범위가 설정된다. The image photographing apparatus 200 is installed around the access control target place, that is, the door, and takes an image around the door, and transmits the photographed image to the access management apparatus 300 . At this time, the image photographing apparatus 200 sets the photographing range so that the area from the entrance and the predetermined distance to the entrance is photographed.

출입관리장치(300)는 영상촬영장치(200)로부터 제공되는 촬영영상을 수신하고, 수신된 촬영영상에 포함된 인물의 얼굴이미지를 근거로 기 등록된 출입자를 판단하여 출입자에 대한 출입정보를 생성하여 관리한다.The access management device 300 receives the photographed image provided from the image photographing apparatus 200, determines the registered occupants based on the face image of a person included in the received captured image, and generates access information for the entrants. to manage

도2는 도1에 도시된 출입관리장치(300)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.FIG. 2 is a block diagram showing the functionally separated internal configuration of the access control device 300 shown in FIG. 1 .

도2를 참조하면, 출입관리장치(300)는 촬영영상 수집부(310)와, 학습용 데이터 생성부(320), 학습모델 생성부(330), 출입자 관리부(340) 및, 데이터 저장소(350)를 포함한다.Referring to FIG. 2 , the access control device 300 includes a captured image collection unit 310 , a learning data generation unit 320 , a learning model generation unit 330 , an access management unit 340 , and a data storage 350 . includes

촬영영상 수집부(310)는 영상촬영장치(200)로부터 수신된 촬영영상에 존재하는 인물을 추적하는 방식으로 동일 인물에 대한 연속적인 촬영영상을 수집하고, 촬영영상의 연속적인 각 프레임 이미지에 존재하는 동일 인물에 대한 각 얼굴 이미지를 추출하여 원본 얼굴이미지로 데이터 저장소(350)에 저장한다. The photographed image collecting unit 310 collects consecutive photographed images of the same person in a manner that tracks the person present in the photographed image received from the image photographing device 200, and exists in each successive frame image of the photographed image Each face image for the same person is extracted and stored in the data storage 350 as an original face image.

또한, 촬영영상 수집부(310)는 영상촬영장치(200)로부터 수신되는 촬영영상에서 인물을 인지하고, 인지한 사람에 대해 인물 코드를 부여하며, 인물 코드가 부여된 사람에 대해 해당 인물 인식 이후의 연속된 프레임 이미지에서 동일 인물을 추적하여 저장함으로써, 연속된 다수의 프레임 이미지별 동일 인물에 대한 원본 얼굴 이미지를 각각 추출하여 저장한다. 이때, 촬영영상 수집부(310)는 하나의 촬영영상에서 다수의 인물이 인지되는 경우, 인지된 각 인물에 대해 서로 다른 인물코드를 부여하고, 각 인물코드별로 해당 인물에 대한 원본 얼굴 이미지를 추출하여 데이터 저장부(350)에 각각 저장할 수 있다.In addition, the photographed image collection unit 310 recognizes a person in the photographed image received from the image photographing device 200, gives a person code to the recognized person, and after recognizing the person to whom the person code is assigned By tracking and storing the same person in consecutive frame images of , the original face image of the same person is extracted and stored for each consecutive multiple frame images. At this time, when a plurality of persons are recognized in one photographed image, the photographed image collection unit 310 assigns a different person code to each recognized person, and extracts the original face image of the person for each person code. Thus, the data may be stored in the data storage unit 350, respectively.

또한, 촬영영상 수집부(310)는 상기 출입감지센서(100)로부터 출입감지정보가 수신되는 때까지 동일 인물에 대한 연속적인 촬영영상을 수집한다. 이때, 촬영영상 수집부(310)는 출입감지정보가 수신되지 않은 상태에서 해당 인물이 촬영영상에서 사라지는 경우, 해당 인물을 미등록 출입자로 판단하고 해당 인물코드에 대해 데이터 저장소(350)에 저장된 촬영영상을 포함하는 정보를 제거한다. In addition, the photographed image collection unit 310 collects consecutive photographed images of the same person until the entrance detection information is received from the entrance detection sensor 100 . At this time, the captured image collecting unit 310 determines that the person is an unregistered visitor when the person disappears from the photographed image in a state in which access detection information is not received, and the photographed image stored in the data storage 350 for the person code Remove information containing

학습용 데이터 생성부(320)는 상기 촬영영상 수집부(310)에서 데이터 저장소(350)에 저장한 원본 얼굴이미지를 호출하고, 호출된 원본 얼굴이미지에 기설정된 증식 조건을 적용하여 해당 원본 얼굴이미지에 대한 증식 얼굴이미지를 추가로 생성함과 더불어, 데이터 저장소(350)에 출입자 등록시 저장된 출입자의 온라인 계정정보를 기반으로 온라인상에서 검색된 공개 이미지를 추출하고, 추출된 공개 이미지에서 해당 출입자의 공개 얼굴이미지를 수집하여 학습용 데이터로 데이터 저장소(350)에 저장한다. The training data generating unit 320 calls the original face image stored in the data storage 350 by the captured image collecting unit 310, and applies a preset growth condition to the called original face image to the original face image. In addition to additionally generating a multiplied face image for a person, a public image searched online is extracted based on the online account information of the visitor stored at the time of registration of the visitor in the data storage 350, and the public face image of the corresponding visitor is extracted from the extracted public image. It is collected and stored in the data storage 350 as data for learning.

이러한 학습용 데이터 생성부(320)는 촬영영상 수집부(310)에서 추출한 원본 얼굴이미지에 대한 증식 얼굴이미지를 생성하는 자가증식블럭(321)과, 기 등록된 출입자 온라인 계정정보를 근거로 온라인 상에 공개된 해당 인물의 공개 얼굴이미지를 수집하는 공개이미지 수집블럭(322)을 포함한다. The learning data generation unit 320 includes a self-proliferation block 321 for generating a multiplication face image for the original face image extracted from the photographed image collection unit 310, and online based on previously registered visitor online account information. and a public image collection block 322 for collecting public face images of the publicly disclosed person.

자가증식블럭(321)은 도3에 도시된 바와 같이 하나의 원본 얼굴이미지에 대해, 다양한 얼굴 표정 조건을 적용하여 가공하는 제1 증식모듈(321A)과, 원본 얼굴이미지에 대해 해상도 조건을 적용하여 가공하는 제2 증식모듈(321B) 및, 원본 얼굴이미지에 대해 얼굴에 사용되는 악세서리를 적용하여 가공하는 제3 증식모듈(321C)을 포함한다. As shown in FIG. 3, the self-proliferation block 321 includes a first multiplication module 321A that processes by applying various facial expression conditions to one original face image, and by applying a resolution condition to the original face image. It includes a second proliferation module 321B for processing, and a third proliferation module 321C for processing by applying accessories used for the face to the original face image.

제1 증식모듈(321A)은 놀란표정과, 화난표정, 우울한 표정, 슬픈 표정 등의 각 표정 특성에 대응되도록 얼굴 특징점에 해당하는 눈썹, 눈, 입 등의 형상을 변경 적용한다. 이때, 제1 증식모듈(321A)은 헤어스타일을 변경하는 조건을 추가로 적용할 수 있다. 이는 출입자가 출입 대상 장소를 출입시 얼굴의 표정이나 해당 인물이 머리를 자르거나 퍼머를 하는 등의 헤어스타일을 변경시키는 경우를 고려한 것으로, 인물의 원본 얼굴이미지에서 특징점이 변화되는 조건을 적용하여 증식 얼굴이미지를 생성하는 것이다. The first proliferation module 321A changes and applies shapes of eyebrows, eyes, and mouths corresponding to facial feature points so as to correspond to each expression characteristic such as a surprised expression, an angry expression, a depressed expression, and a sad expression. In this case, the first proliferation module 321A may additionally apply a condition for changing a hairstyle. This takes into account the case where the person changes the facial expression or the person's hair style such as cutting or perming when entering the target place, and it is multiplied by applying the condition that the characteristic point is changed in the person's original facial image. It creates a face image.

제2 증식모듈(321B)은 해상도를 조정하거나 조명의 위치나 조명의 강도를 변경 적용한다. 이는 영상촬영장치(200)의 문제로 인해 원본 촬영영상의 해상도가 변경되거나 출입 장소의 조명 환경이 변경되는 등의 주변 환경이 변화되는 조건을 적용하여 증식 얼굴이미지를 생성하는 것이다. The second multiplication module 321B adjusts the resolution or changes the position of the lighting or the intensity of the lighting. This is to generate a multiplied face image by applying a condition in which the surrounding environment changes, such as a change in the resolution of the original captured image or a change in the lighting environment of the entry/exit place due to a problem of the image capturing apparatus 200 .

제3 증식모듈(321C)은 얼굴에 사용되는 모자나 마스크, 목도리 등의 악세서리를 원본 얼굴이미지에 부가한다. 이때, 모자, 마스크, 목도리 등은 표준화된 디자인으로 미리 저장되고, 적어도 하나 이상을 원본 얼굴이미지에 부가하여 학습용 데이터를 생성할 수 있다. 이는 출입시 인물이 얼굴에 악세서리를 착용하여 원본 얼굴이미지의 일정 부분이 가려지는 조건을 적용하여 증식 얼굴이미지를 생성하는 것이다. The third proliferation module 321C adds accessories such as a hat, mask, and scarf used for the face to the original face image. In this case, the hat, mask, scarf, etc. may be stored in advance as a standardized design, and at least one or more may be added to the original face image to generate learning data. This is to create a multiplied face image by applying the condition that a certain part of the original face image is covered by the person wearing an accessory on the face when entering and exiting.

공개이미지 수집블럭(322)은 데이터 저장소(350)에 등록된 출입자의 이메일 주소나 SNS 계정 정보 등을 포함하는 인물 개인정보를 이용하여 온라인상에 공개된 해당 출입자의 인물 이미지를 검색하고, 검색된 인물 이미지에서 해당 출입자의 공개얼굴 이미지를 추출하여 데이터 저장소(350)에 저장한다. The public image collection block 322 uses the person's personal information including the person's e-mail address or SNS account information registered in the data storage 350 to search for the person image of the person who is publicly available online, and the searched person The public face image of the corresponding person is extracted from the image and stored in the data storage 350 .

학습모델 생성부(330)는 데이터 저장소(350)에 현재까지 누적 저장된 학습용 데이터와 원본 얼굴이미지 및, 기 등록된 등록 얼굴이미지를 얼굴인식 알고리즘에 적용하여 얼굴 이미지에 대응되는 출입자를 분류하는 학습모델을 생성하고 이를 근거로 데이터 저장소(350)에 저장된 이전 학습모델을 갱신한다. 여기서, 얼굴인식 알고리즘은 다수의 학습 데이터를 이용하여 인물을 분류하는 각종 형태의 공지의 알고리즘이 적용될 수 있다. The learning model generator 330 applies the learning data accumulated up to now in the data storage 350, the original face image, and the pre-registered registered face image to the face recognition algorithm to classify the entrants corresponding to the face image. and updates the previous learning model stored in the data storage 350 based on this. Here, as the face recognition algorithm, various types of well-known algorithms for classifying a person using a plurality of learning data may be applied.

즉, 학습모델 생성부(330)는 시스템 초기 상태에서는 기 등록된 출입자 등록 얼굴이미지(예컨대, 정면 얼굴 이미지를 포함한 일정 개수의 얼굴 이미지)를 얼굴인식 알고리즘에 적용하여 학습모델을 생성한다. 그리고, 학습용 데이터가 누적 저장된 이후부터는 기 설정된 갱신 조건을 만족하는 때에 현재까지 누적 저장된 학습용 데이터를 포함하는 출입자 얼굴 이미지를 이용하여 학습모델을 새롭게 생성하는 것이다. That is, the learning model generating unit 330 generates a learning model by applying the pre-registered occupant registration face images (eg, a predetermined number of face images including front face images) to the face recognition algorithm in the initial state of the system. Then, after the learning data is accumulated and stored, when a preset update condition is satisfied, the learning model is newly created using the face image of the occupant including the accumulated learning data until now.

따라서, 본 발명에서는 시간이 경과할수록 기 등록된 출입자에 대해 누적되는 학습용 데이터를 포함하여 얼굴인식 알고리즘에 적용되는 학습 데이터가 증가됨으로써, 출입자 분류를 위한 학습모델의 신뢰도가 보다 향상된다. Accordingly, in the present invention, as time elapses, the learning data applied to the face recognition algorithm, including the learning data accumulated for the previously registered entrants, increases, so that the reliability of the learning model for occupant classification is further improved.

출입자 관리부(340)는 출입자의 온라인 계정정보를 포함하는 개인정보와 출입자의 정면 얼굴이미지를 포함하는 등록얼굴이미지를 포함하는 출입자 등록정보를 데이터 저장소(350)에 저장함으로써, 일련의 출입자 등록처리를 수행한다.The visitor management unit 340 stores personal information including the online account information of the visitor and the visitor registration information including the registered face image including the front face image of the visitor in the data storage 350, thereby performing a series of visitor registration processing. carry out

또한, 출입자 관리부(340)는 상기 영상촬영장치(200)로부터 수신된 촬영영상의 원본 얼굴이미지를 현재 데이터 저장소(350)에 저장된 학습모델에 적용하여 원본 얼굴이미지에 대응되는 출입자를 판단하고, 해당 출입자에 대한 출입날짜 및 출입시간을 포함하는 출입관리정보를 생성하여 해당 출입자에 대응되도록 데이터 저장소(350)에 저장한다. 이때, 출입관리정보는 영상촬영장치(200)로부터 수신된 촬영영상에서 해당 출입자가 사라지는 시점과 근접하게 출입감지센서(100)로부터 수신되는 출입감지신호를 근거로 결정될 수 있다. In addition, the occupant manager 340 applies the original face image of the captured image received from the image capturing device 200 to the learning model stored in the current data storage 350 to determine the occupant corresponding to the original face image, and the corresponding Access management information including the access date and access time for the entrant is generated and stored in the data storage 350 to correspond to the entrant. In this case, the access management information may be determined based on an access detection signal received from the access detection sensor 100 close to the point in time when the corresponding person disappears from the photographed image received from the image photographing apparatus 200 .

데이터 저장소(350)는 도4에 도시된 바와 같이 촬영영상을 저장하는 촬영영상 저장부(351)와, 출입자별 등록얼굴 이미지와 원본얼굴 이미지가 저장되는 얼굴이미지 저장부(352), 출입자별 출입관리정보가 저장되는 출입정보 저장부(353), 출입자별 온라인 검색을 위한 계정정보와 연락처를 포함하는 출입자 개인정보가 저장되는 개인정보 저장부(354), 학습용 데이터 생성부(320)에 의해 생성된 학습용 데이터가 저장되는 학습용 데이터 저장부(355) 및, 얼굴인식 알고리즘에 의해 생성되는 학습모델 정보가 저장되는 학습모델 저장부(356)를 포함한다.As shown in FIG. 4, the data storage 350 includes a photographed image storage unit 351 for storing photographed images, a face image storage unit 352 for storing registered face images and original face images for each visitor, and entry and exit by each person. Generated by the access information storage unit 353 for storing management information, the personal information storage unit 354 for storing personal information of the visitors including account information and contact information for online search for each visitor, and the learning data generation unit 320 . It includes a learning data storage unit 355 for storing the obtained learning data, and a learning model storage unit 356 for storing learning model information generated by a face recognition algorithm.

이어 도5에 도시된 흐름도를 참조하여 본 발명에 따른 학습용 데이터 확장을 지원하는 얼굴인식 기반의 출입관리시스템의 동작을 설명한다.Next, with reference to the flowchart shown in FIG. 5, the operation of the face recognition-based access management system supporting the expansion of the learning data according to the present invention will be described.

도5를 참조하면, 출입관리장치(300)는 출입자 등록정보를 수집하여 데이터 저장소(350)에 저장 등록한다(ST100). 이때, 각 출입자에 대해서는 출입자 식별코드가 할당되고, 출입자 등록정보는 출입자 개인정보와 얼굴 이미지를 포함한다. 그리고, 출입자 개인정보는 출입자가 온라인상에서 활동하는 이메일을 포함한 각종 온라인 계정정보를 포함하고, 얼굴 이미지는 출입자의 정면 이미지를 포함한다. Referring to FIG. 5 , the access control device 300 collects accessor registration information and stores and registers it in the data storage 350 (ST100). At this time, an occupant identification code is assigned to each entrant, and entrant registration information includes entrant personal information and a face image. In addition, the personal information of the visitor includes various online account information including the e-mail that the visitor is active online, and the face image includes the front image of the visitor.

또한, 출입관리장치(300)는 데이터 저장소(350)에 기 등록된 출입자 등록정보를 근거로 학습모델을 생성하고, 이를 데이터 저장소(350)에 저장한다(ST200). 즉, 출입자 등록정보들을 얼굴인식 알고리즘에 학습 데이터로 적용하여 출입자 등록정보에 기반한 초기 학습모델정보를 생성한다.Also, the access control device 300 generates a learning model based on the occupant registration information previously registered in the data storage 350 and stores it in the data storage 350 (ST200). That is, by applying the visitor registration information as learning data to the face recognition algorithm, initial learning model information based on the visitor registration information is generated.

상기한 상태에서, 출입관리장치(300)는 영상촬영장치(200)로부터 촬영영상을 연속적으로 수집하고, 수집된 촬영영상에서 인물에 대한 얼굴이미지를 추출하여 저장한다(ST300). 이때, 출입관리장치(300)는 촬영영상에서 인물을 검색하고, 검색된 인물에 인물코드를 부여하여 연속된 다수의 프레임 이미지들로 이루어지는 촬영영상을 저장하되, 해당 인물이 촬영영상에서 사라지거나 출입감지장치(100)로부터 출입감지정보가 수신되는 때까지 해당 인물이 포함되는 일정 시간 동안의 촬영영상 을 저장한다. 그리고, 출입관리장치(300)는 인물코드별 일정 시간동안 수집된 연속되는 촬영영상에서 각 프레임 이미지별 해당 인물 이미지를 각각 추출하고, 추출된 각 인물 이미지에서 해당 인물에 대한 얼굴 이미지를 추출하여 저장한다. 이때, 얼굴 이미지는 영상 프레임 수신과 더불어 실시간으로 추출하여 저장한다. In the above state, the access control device 300 continuously collects captured images from the image capturing apparatus 200, extracts and stores a face image of a person from the collected captured images (ST300). At this time, the access control device 300 searches for a person in the photographed image, and stores the photographed image consisting of a plurality of consecutive frame images by assigning a person code to the searched person, but the person disappears from the photographed image or access is detected Until the access detection information is received from the device 100, the captured image for a certain period of time including the person is stored. In addition, the access control device 300 extracts a corresponding person image for each frame image from consecutive captured images collected for a certain period of time for each person code, and extracts and stores a face image of the person from each extracted person image do. At this time, the face image is extracted and stored in real time along with the image frame reception.

또한, 출입관리장치(300)는 추출된 얼굴 이미지를 현재 데이터 저장소(350)에 등록된 학습모델에 적용하여 해당 얼굴 이미지에 대응되는 출입자를 결정하고, 해당 출입자에 대한 출입정보를 생성하여 저장한다(ST400). 이때, 출입관리장치(300)는 데이터 저장소(350)에 저장된 해당 얼굴 이미지 및 이에 대응되는 촬영영상에 대한 인물코드를 출입자 식별코드로 변경한다. In addition, the access management device 300 applies the extracted face image to the learning model registered in the current data storage 350 to determine the occupant corresponding to the face image, and generates and stores access information for the entrant. (ST400). At this time, the access management device 300 changes the person code for the corresponding face image and the corresponding captured image stored in the data storage 350 into an occupant identification code.

또한, 출입관리장치(300)는 상기 ST300 단계에서 추출된 얼굴 이미지를 데이터 저장소(350)에서 호출하고, 호출된 얼굴 이미지에 대한 증식 얼굴이미지를 생성함과 더불어, 온라인 계정을 통해 공개된 출원인 공개얼굴이미지를 수집하여 해당 출입자에 대한 학습용 데이터로서 저장한다(ST500). In addition, the access control device 300 calls the face image extracted in step ST300 from the data storage 350, generates a multiplied face image for the called face image, and discloses the applicant published through the online account. The face image is collected and stored as learning data for the corresponding person (ST500).

이후, 출입관리장치(300)는 현재 상태가 기 설정된 학습 모델 갱신조건을 만족하는지를 판단한다(ST600). 예컨대, 출입관리장치(300)는 이전 학습모델 생성일로부터 일정 기간이 경과하였거나, 또는 이전 학습모델 생성일 이후 누적 저장된 학습용 데이터의 개수가 일정 개수 이상인 조건을 만족하는지를 판단한다.Thereafter, the access control device 300 determines whether the current state satisfies a preset learning model update condition (ST600). For example, the access control apparatus 300 determines whether a certain period of time has elapsed from the previous learning model creation date, or whether the number of learning data accumulated and stored since the previous learning model creation date satisfies a predetermined number or more.

출입관리장치(300)는 상기 ST600 단계에서 현재 상태가 기 설정된 학습 모델 갱신조건을 만족하는 경우, 데이터 저장소(350)에 누적 저장된 학습용 데이터와 출입자 등록 얼굴 이미지 및, 원본 얼굴 이미지를 얼굴 인식 알고리즘에 적용하여 새로운 학습모델을 생성하고, 이를 이용하여 데이터 저장소(350)에 저장된 이전 학습모델을 갱신한다(ST700).When the current state satisfies the preset learning model update condition in step ST600, the access management device 300 applies the learning data accumulated and stored in the data storage 350, the occupant registration face image, and the original face image to the face recognition algorithm. A new learning model is generated by applying it, and the previous learning model stored in the data storage 350 is updated using this (ST700).

이후 출입관리장치(300)는 최근 갱신된 학습모델을 이용하여 상기한 ST300 단계 이하의 동작 즉, 출입자 얼굴이미지에 대한 출입자 분류처리를 수행하며, 이러한 동작은 기 설정된 갱신조건을 만족하는 주기로 반복하여 수행된다.Thereafter, the access management device 300 performs the operation below the ST300 step, that is, the occupant classification processing for the occupant's face image, using the recently updated learning model, and this operation is repeated at a cycle that satisfies the preset update condition. is carried out

100 : 출입감지장치, 200 : 영상촬영장치,
300 : 출입관리장치,
210 : 촬영영상 수집부, 220 : 학습용 데이터 생성부,
230 : 학습모델 생성부, 240 : 출입자 관리부,
250 : 데이터 저장소.100: access detection device, 200: video recording device,
300: access control device,
210: captured image collection unit, 220: learning data generation unit,
230: learning model generation unit, 240: access management unit,
250 : data storage.

Claims (4)

출입 대상 장소 주변에 위치하는 영상촬영장치로부터 제공되는 촬영영상을 수신하고, 수신된 촬영영상에 포함된 인물의 얼굴이미지를 근거로 기 등록된 출입자를 판단하여 출입자에 대한 출입정보를 생성하여 관리하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템에 있어서,
상기 출입관리장치는 영상촬영장치로부터 수신된 촬영영상에 존재하는 인물을 추적하는 방식으로 동일 인물에 대한 연속적인 촬영영상을 수집하고, 촬영영상의 연속적인 각 프레임 이미지에 존재하는 동일 인물에 대한 각 얼굴 이미지를 추출하여 원본 얼굴이미지로 저장하는 촬영영상 수집부와,
촬영영상 수집부에서 저장한 원본 얼굴이미지를 기설정된 증식 조건을 적용하여 해당 원본 얼굴이미지에 대한 증식 얼굴이미지를 추가로 생성함과 더불어, 기 등록된 출입자의 온라인 계정정보를 기반으로 온라인상에 공개된 출입자의 공개 얼굴이미지를 수집하여 학습용 데이터로 저장하는 학습용 데이터 생성부,
데이터 저장소에 누적 저장된 학습용 데이터 및 기 저장된 원본 얼굴이미지와 등록 얼굴이미지를 얼굴인식 알고리즘에 적용하여 얼굴 이미지에 대응되는 출입자를 분류하는 학습모델을 생성하고 이를 근거로 학습모델을 갱신하는 학습모델 생성부,
출입자의 온라인 계정정보를 포함하는 개인정보와 및 정면 얼굴이미지를 포함하는 등록얼굴이미지를 포함하는 출입자 등록정보를 근거로 출입자 등록처리를 수행하고, 영상촬영장치로부터 수신된 촬영영상의 원본 얼굴이미지를 기 등록된 학습모델에 적용하여 원본 얼굴이미지에 대응되는 출입자를 판단하고, 해당 출입자에 대한 출입시간을 포함하는 출입관리정보를 생성하여 해당 출입자에 대응되게 저장하는 출입자 관리부 및,
출입자 등록정보와 최근 갱신된 학습모델정보, 학습용 데이터 및 원본 얼굴이미지, 출입자별 출입관리정보를 포함하는 정보를 저장하는 데이터 저장소를 포함하여 구성되는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템.
Receives a photographed image provided from a video recording device located near the entry and exit target area, determines previously registered entrants based on the face image of a person included in the received captured image, and generates and manages access information for entrants. In the face recognition-based access management system that supports the expansion of learning data,
The access control device collects consecutive photographed images of the same person in a manner that tracks the person present in the photographed image received from the image photographing device, and collects images of the same person in each successive frame image of the photographed image. A photographed image collection unit that extracts a face image and stores it as an original face image;
The original face image stored in the photographed image collection unit is applied to the preset growth condition to additionally generate the augmented face image for the original face image, and also disclosed online based on the online account information of the registered visitor. A learning data generating unit that collects public face images of people who have been entered and stores them as learning data;
A learning model generator that creates a learning model that classifies the entrants corresponding to the face image by applying the learning data accumulated in the data storage and the pre-stored original face image and registered face image to the face recognition algorithm, and updates the learning model based on this ,
Based on the personal information including the online account information of the visitor and the resident registration information including the registered face image including the front face image, the resident registration process is performed, and the original face image of the captured image received from the video recording device is stored. an access management unit that determines the person corresponding to the original face image by applying the previously registered learning model, generates access management information including the access time for the corresponding person, and stores the information corresponding to the corresponding person;
Face recognition base supporting learning data expansion, characterized in that it comprises a data storage for storing information including visitor registration information, recently updated learning model information, learning data and original face image, and access management information for each visitor of access management system.
 제1항에 있어서,
상기 증식 조건은 원본 얼굴이미지에서 특징점을 변화시키는 조건과, 원본 얼굴 이미지에서 해상도 또는 조명의 위치나 밝기를 변화시키는 조건 및, 원본 얼굴 이미지에 얼굴의 일부를 가리는 악세서리를 추가하는 조건을 포함하는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템.
According to claim 1,
The proliferation conditions include a condition for changing a feature point in the original face image, a condition for changing the resolution or lighting position or brightness in the original face image, and a condition for adding an accessory that covers a part of the face to the original face image A face recognition-based access management system that supports the expansion of learning data.
 제1항에 있어서,
출입 대상 장소에 설치되어 출입자의 출입 여부를 감지하고, 출입감지정보를 상기 출입관리장치로 전송하는 출입감지센서를 추가로 구비하여 구성되고,
상기 촬영영상 수집부는 상기 출입감지센서로부터 출입감지정보가 수신되는 때까지 동일 인물에 대한 연속적인 촬영영상을 수집하는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템.
According to claim 1,
It is installed at the access target place and is configured by additionally providing an access detection sensor that detects whether a person enters or not, and transmits access detection information to the access management device
The photographed image collection unit collects consecutive photographed images of the same person until access detection information is received from the entrance detection sensor.
 제3항에 있어서,
상기 촬영영상 수집부는 출입감지정보가 수신되지 않은 상태에서 해당 인물이 촬영영상에서 사라지는 경우, 해당 인물을 미등록 출입자로 판단하고 해당 인물에 대해 저장된 촬영영상을 포함하는 정보를 제거하는 것을 특징으로 하는 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템.

4. The method of claim 3,
The photographed image collection unit determines that the person is an unregistered visitor when the person disappears from the photographed image in a state in which access detection information is not received, and removes information including the photographed image stored for the person A face recognition-based access management system that supports data expansion.
KR1020190167821A 2019-12-16 2019-12-16 System for management entrance and exit based on face recognition using data augmentation KR102313187B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190167821A KR102313187B1 (en) 2019-12-16 2019-12-16 System for management entrance and exit based on face recognition using data augmentation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190167821A KR102313187B1 (en) 2019-12-16 2019-12-16 System for management entrance and exit based on face recognition using data augmentation

Publications (2)

Publication Number Publication Date
KR20210076519A true KR20210076519A (en) 2021-06-24
KR102313187B1 KR102313187B1 (en) 2021-10-15

Family

ID=76607133

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190167821A KR102313187B1 (en) 2019-12-16 2019-12-16 System for management entrance and exit based on face recognition using data augmentation

Country Status (1)

Country Link
KR (1) KR102313187B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102404925B1 (en) 2021-12-14 2022-06-02 한예주 Ai multi-focusing for online education participation confirmation of learner and method performing thereof
CN115471944A (en) * 2022-08-08 2022-12-13 国网河北省电力有限公司建设公司 Warehouse access lock control method, device and system and readable storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100438841B1 (en) * 2002-04-23 2004-07-05 삼성전자주식회사 Method for verifying users and updating the data base, and face verification system using thereof
KR101363017B1 (en) 2007-08-23 2014-02-12 삼성전자주식회사 System and methed for taking pictures and classifying the pictures taken
KR20180109634A (en) * 2017-03-28 2018-10-08 삼성전자주식회사 Face verifying method and apparatus
KR101985711B1 (en) * 2019-03-13 2019-06-04 (주)정도기술 Augmented reality CCTV system, and control method for the same
KR20190076745A (en) * 2017-12-22 2019-07-02 (주) 인하씨엔티 Method for controlling gate using machine learning
JP2019192191A (en) * 2018-04-20 2019-10-31 美和ロック株式会社 Housing management device, housing management method, and program
KR102039277B1 (en) 2018-12-07 2019-10-31 장승현 Pedestrian face recognition system and method thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100438841B1 (en) * 2002-04-23 2004-07-05 삼성전자주식회사 Method for verifying users and updating the data base, and face verification system using thereof
KR101363017B1 (en) 2007-08-23 2014-02-12 삼성전자주식회사 System and methed for taking pictures and classifying the pictures taken
KR20180109634A (en) * 2017-03-28 2018-10-08 삼성전자주식회사 Face verifying method and apparatus
KR20190076745A (en) * 2017-12-22 2019-07-02 (주) 인하씨엔티 Method for controlling gate using machine learning
JP2019192191A (en) * 2018-04-20 2019-10-31 美和ロック株式会社 Housing management device, housing management method, and program
KR102039277B1 (en) 2018-12-07 2019-10-31 장승현 Pedestrian face recognition system and method thereof
KR101985711B1 (en) * 2019-03-13 2019-06-04 (주)정도기술 Augmented reality CCTV system, and control method for the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102404925B1 (en) 2021-12-14 2022-06-02 한예주 Ai multi-focusing for online education participation confirmation of learner and method performing thereof
CN115471944A (en) * 2022-08-08 2022-12-13 国网河北省电力有限公司建设公司 Warehouse access lock control method, device and system and readable storage medium

Also Published As

Publication number Publication date
KR102313187B1 (en) 2021-10-15

Similar Documents

Publication Publication Date Title
US10579785B2 (en) Automatic authentification for MES system using facial recognition
US10275672B2 (en) Method and apparatus for authenticating liveness face, and computer program product thereof
JP3469031B2 (en) Face image registration apparatus and method
JP4863423B2 (en) IDENTIFICATION SYSTEM AND METHOD USING IRIS AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING IDENTIFICATION PROGRAM FOR PERFORMING THE METHOD
US20150086076A1 (en) Face Recognition Performance Using Additional Image Features
KR20050085583A (en) Expression invariant face recognition
JP2006293644A (en) Information processing device and information processing method
US11663853B2 (en) Iris authentication device, iris authentication method, and recording medium
US11756338B2 (en) Authentication device, authentication method, and recording medium
JPH11316836A (en) Person identifying
JPWO2020136795A1 (en) Information processing equipment, information processing methods, and programs
KR20210063710A (en) Fast Face Recognition Apparatus connected to a Camera
KR102313187B1 (en) System for management entrance and exit based on face recognition using data augmentation
JP2005084824A (en) Face image collation apparatus and face image collation method and passage controller
JP2008009689A (en) Face registering device, face authentication device, and face registration method
CN110866418B (en) Image base generation method, device, equipment, system and storage medium
WO2006057475A1 (en) Face detection and authentication apparatus and method
KR100702226B1 (en) Apparatus and method for detecting and authenticating facial data
Mandol et al. Real time liveness detection and face recognition with OpenCV and deep learning
KR20220087908A (en) Method for management entrance and exit having a face recognition while wearing mask
KR20140060081A (en) Apparatus and method for speed gate based on face recognition at a distance
KR20000032853A (en) System and method for face recognition with three-dimensional masking method
CN112183202B (en) Identity authentication method and device based on tooth structural features
JP2005063172A (en) Face verifying apparatus and passage controller
KR100702225B1 (en) Apparatus and method for detecting and authenticating facial data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right