KR102636568B1 - 안티-테일게이팅 워크스루 자동출입통제 방법, 및 시스템 - Google Patents

안티-테일게이팅 워크스루 자동출입통제 방법, 및 시스템 Download PDF

Info

Publication number
KR102636568B1
KR102636568B1 KR1020210174857A KR20210174857A KR102636568B1 KR 102636568 B1 KR102636568 B1 KR 102636568B1 KR 1020210174857 A KR1020210174857 A KR 1020210174857A KR 20210174857 A KR20210174857 A KR 20210174857A KR 102636568 B1 KR102636568 B1 KR 102636568B1
Authority
KR
South Korea
Prior art keywords
area
user
identification information
access control
recognition
Prior art date
Application number
KR1020210174857A
Other languages
English (en)
Other versions
KR20230086333A (ko
Inventor
박준석
전석호
소진욱
Original Assignee
(주)넥스리얼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)넥스리얼 filed Critical (주)넥스리얼
Priority to KR1020210174857A priority Critical patent/KR102636568B1/ko
Publication of KR20230086333A publication Critical patent/KR20230086333A/ko
Application granted granted Critical
Publication of KR102636568B1 publication Critical patent/KR102636568B1/ko

Links

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/38Individual registration on entry or exit not involving the use of a pass with central registration
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/22Electrical actuation
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/22Status alarms responsive to presence or absence of persons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 안티-테일게이팅 워크스루 자동출입통제 방법, 및 시스템에 관한 것으로서, 무인 환경에서 운영 가능한 워크스루(Walk-Through, 無정지보행) 기반의 자동출입통제를 구현하면서, 딥러닝 기반의 탑뷰 영상에 기반하여 안티-테일게이팅(Anti-Tailgating, 뒤따라 들어가기 방지) 기능을 제공하고, 워크스루시의 얼굴영상을 인식하여 출입통제를 수행할 수 있는, 안티-테일게이팅 워크스루 자동출입통제 방법, 및 시스템에 관한 것이다.
이 발명을 지원한 과학기술정보통신부 정보통신진흥기금 인공지능식별추적시스템구축 사업의 세부 사항은 다음과 같음.
[부처명] 과학기술정보통신부
[지원사업명] 2021년 인공지능식별추적시스템 구축 실증 및 검증 트랙 1
[지원과제명] 움직이는 사람의 신원 자동식별 및 이상행동 탐지와 추적을 위한 심층신경망 기반 인공지능 시스템 구축 및 실증
[지원기관] 정보통신산업진흥원
[기여율] 50%
[참여기관] (주)넥스리얼
[지원기간] 2021.01.01. ~ 2021.12.31.

Description

안티-테일게이팅 워크스루 자동출입통제 방법, 및 시스템 {Method, System for Walk-Through Automatic In/Out Control Using Deep Learning}
본 발명은 안티-테일게이팅 워크스루 자동출입통제 방법, 및 시스템에 관한 것으로서, 무인 환경에서 운영 가능한 워크스루(Walk-Through, 無정지보행) 기반의 자동출입통제를 구현하면서, 딥러닝 기반의 탑뷰 영상에 기반하여 안티-테일게이팅(Anti-Tailgating, 뒤따라 들어가기 방지) 기능을 제공하고, 워크스루시의 얼굴영상을 인식하여 출입통제를 수행할 수 있는, 안티-테일게이팅 워크스루 자동출입통제 방법, 및 시스템에 관한 것이다.
1인1통과 출입보안 정책을 수행하기 위한 출입통제시스템은 Interlocking Door 또는 Man-in-the-Trap Door 컨셉에서의 공간을 활용할 수 있다.
이러한 공간의 대표적인 예시로 데이터센터 서버실 출입문에 사용되는 회전형 Interlocking Door와 공항 출입국심사에 사용되는 자동출입국심사대용 스피드게이트(입구와 출구 양측에 도어가 설치되고, 그 사이 사람이 체류할 수 있는 공간을 가진 게이트)가 될 수 있다.
본원 발명의 출원인이 출원한 선행문헌 1(한국등록특허 제10-1961891호, 자동출입심사대에 진입하는 사람 및 물건 중 사람을 자동 계수하는 방법 및 장치)는 자동출입심사대에 진입하는 사람 및 물건 중 사람을 자동 계수하는 방법을 개시하고 있다.
선행문헌 1은 3D 카메라에서 수신한 3차원 깊이 영상으로부터, 사람의 형상을 가진 객체와 관련된 제1 데이터를 획득하는 단계, 열화상 카메라에서 수신한 열화상 영상으로부터, 사람의 체온과 소정 범위 안에서 유사한 온도 범위에 있는 객체와 관련된 제2 데이터를 획득하는 단계, 상기 제1 데이터와 상기 제2 데이터를 융합하여 상기 사람 및 물건 중 상기 사람만을 식별하는 단계, 상기 식별된 사람이 자동출입심사대에 진입하였는지 여부를 판단하는 단계, 상기 자동출입심사대에 진입한 상기 사람의 수를 계수하는 단계 및 상기 계수 결과에 따라 상기 사람의 상기 자동출입심사대의 통과 여부를 결정하는 단계를 개시하고 있다.
그러나, 이와 같은 선행문헌 1은 높은 비용의 카메라 시스템을 구축해야 하고, 또한 안티-테일게이팅 기능을 제공하지 못한다는 문제점이 있다.
본 발명은 무인 환경에서 운영 가능한 워크스루(Walk-Through, 無정지보행) 기반의 자동출입통제를 구현하면서, 딥러닝 기반의 탑뷰 영상에 기반하여 안티-테일게이팅(Anti-Tailgating, 뒤따라 들어가기 방지) 기능을 제공하고, 워크스루시의 얼굴영상을 인식하여 출입통제를 수행할 수 있는, 안티-테일게이팅 워크스루 자동출입통제 방법, 및 시스템을 제공하는 것을 목적으로 한다.
상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 안티-테일게이팅 워크스루 자동출입통제 시스템으로서, 진입구역과 진출구역 사이의 통제구역을 구획하는 게이트부재; 사용자의 눈높이에서 촬영된 사용자의 진입구역에서의 진입영상을 획득할 수 있는 제1카메라장치; 상기 진입구역과 진출구역 사이의 통제구역 사이에서 천장 구조물에 지지되어 천장에서 바닥을 바라보는 형태의 탑뷰영상을 획득할 수 있는 1 이상의 제2카메라장치; 및 1 이상의 메모리 및 1 이상의 프로세서를 포함하고, 상기 제1카메라장치 및 상기 제2카메라장치로부터 수신된 영상에 기초하여 워크스루 자동출입통제 기능을 수행하는 컴퓨팅 시스템;을 포함하고, 상기 컴퓨팅시스템은, 사용자가 진입구역에 위치할 때, 상기 진입영상으로부터 사용자의 안면영상을 획득하고, 상기 안면영상에 기초하여 해당 사용자가 통과권한을 갖는 사용자인지 여부를 판별하는 안면인식단계; 상기 안면인식단계에서 해당 사용자가 통과권한을 갖는다고 판단하는 경우, 해당 사용자 객체에 대해서 인식식별정보를 부여하는 식별정보부여단계; 상기 1 이상의 제2카메라장치로부터 수신된 1 이상의 탑뷰영상에서 탐지되는 사용자객체를 상기 통제구역 내에서 2차원적으로 트랙킹하되, 상기 인식식별정보가 부여된 해당 사용자객체에 대해서는 해당 인식식별정보를 부여하여 트랙킹을 수행하는 통제구역트랙킹단계; 및 상기 통제구역트랙킹단계에서 트랙킹되는 사용자객체의 인식식별정보 부여 여부, 및 사용자객체의 상기 통제구역에서의 움직임에 기초하여 알람정보를 생성하는 알람정보생성단계;를 수행하는 자동출입통제 시스템을 제공한다.
본 발명의 몇 실시예에서는, 상기 자동출입통제 시스템는, 상기 통제구역의 각각의 부분영역을 촬영하는 복수의 제2카메라를 포함하고, 각각의 탑뷰영상에 대한 통제구역트랙킹단계는 각각의 로컬분석모듈에 의하여 수행되고, 각각의 로컬분석모듈은, 각각 상응하는 탑뷰영상에서 탐지된 사용자객체에 대하여 트래킹식별정보를 필수적으로 부여하고, 상기 인식식별정보를 선택적으로 부여하여, 탑뷰영상에서 각각의 사용자객체의 위치를 트래킹을 수행하는 로컬트랙킹단계; 해당 사용자객체가 해당 탑뷰영상의 외부로 진출하거나 혹은 해당 탑뷰영상에서 기설정된 경계 외부로 진출하는 경우에 핸드오버 정보를 생성하고, 해당 사용자객체가 진출하는 영역에 상응하는 탑뷰영상에 대하여 상기 로컬분석단계를 수행하는 다른 로컬분석모듈에 상기 핸드오버 정보를 전송하는 핸드오버전송단계;를 수행할 수 있다.
본 발명의 몇 실시예에서는, 상기 통제구역 중에 상기 복수의 제2카메라가 촬영하지 못하는 음영구역이 존재하고, 상기 핸드오버 정보는 상기 탑뷰영상의 외부로 진출하거나 혹은 탑뷰영상 내부에서 기설정된 경계 외부로 진출하는 사용자객체의 이미지 특징정보, 및 트래킹식별정보를 필수적으로 포함하고, 선택적으로 인식식별정보를 포함하고, 상기 로컬트랙킹단계는, 상기 탑뷰영상에서 인식된 사용자객체의 특징정보와 상기 핸드오버 정보에 포함된 이미지 특징정보를 비교하여, 매칭이 되는 경우에 해당 사용자 객체의 트래킹식별정보를 부여할 수 있다.
본 발명의 몇 실시예에서는, 상기 알람정보생성단계는, 상기 통제구역트랙킹단계에서, 인식식별정보가 부여되지 않은 사용자객체가 상기 진출구역으로 이동하는 것으로 판단하는 경우에, 비인식객체진출에 대한 알람정보를 생성하고, 상기 비인식객체진출에 대한 알람정보를 생성한 후에, 상기 통제구역트랙킹단계에서, 인식식별정보가 부여되지 않은 사용자객체가 다시 상기 진입구역으로 이동하는 지 여부를 판단하여 비인식객체되돌림에 대한 알람정보를 생성할 수 있다.
본 발명의 몇 실시예에서는, 상기 알람정보생성단계는, 상기 통제구역트랙킹단계에서, 동일한 시간 구간에서 2 이상의 사용자객체가 존재하는 경우에는 다객체통과에 대한 알람정보를 생성하고, 상기 통제구역트랙킹단계에서, 검출된 사용자객체에 인식식별정보가 존재하지 않는 경우에는 비인식객체에 대한 알람정보를 생성할 수 있다.
본 발명의 몇 실시예에서는, 상기 자동출입통제 시스템은, 사용자의 눈높이에서 촬영된 사용자의 진출구역에서의 진입영상을 획득할 수 있는 제3카메라장치;를 더 포함하고, 상기 컴퓨팅시스템은, 상기 제3카메라장치에서 촬영된 진출구역에서 진입하여 통제구역을 지나 진입구역으로 이동하는 사용자객체에 대해서도, 상기 안면인식단계, 식별정보부여단계, 통제구역트랙킹단계, 및 알람정보생성단계를 수행할 수 있다.
본 발명의 몇 실시예에서는, 상기 컴퓨팅시스템은 상기 제1카메라장치와 결합된 제1컴퓨팅장치 및 상기 제2카메라장치와 결합된 제2컴퓨팅장치를 포함하고, 상기 안면인식단계, 식별정보부여단계, 통제구역트랙킹단계, 알람정보생성단계는 상기 제1컴퓨팅장치 및 제2컴퓨팅장치 중 어느 하나에서 분산적으로 수행되거나, 혹은 상기 컴퓨팅시스템은 상기 제1카메라장치와 결합된 제1컴퓨팅장치 및 상기 제2카메라장치와 결합된 제2컴퓨팅장치, 및 상기 제1카메라장치 혹은 상기 제2카메라장치와 별도로 존재하는 제3컴퓨팅장치를 포함하고, 상기 안면인식단계, 식별정보부여단계, 통제구역트랙킹단계, 알람정보생성단계는 상기 제1컴퓨팅장치, 제2컴퓨팅장치, 및 제3컴퓨팅장치 중 어느 하나에서 분산적으로 수행될 수 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는 안티-테일게이팅 워크스루 자동출입통제 시스템에서 수행되는 자동출입통제방법으로서, 상기 자동출입통제 시스템은, 진입구역과 진출구역 사이의 통제구역을 구획하는 게이트부재; 사용자의 눈높이에서 촬영된 사용자의 진입구역에서의 진입영상을 획득할 수 있는 제1카메라장치; 상기 진입구역과 진출구역 사이의 통제구역 사이에서 천장 구조물에 지지되어 천장에서 바닥을 바라보는 형태의 탑뷰영상을 획득할 수 있는 1 이상의 제2카메라장치; 및 1 이상의 메모리 및 1 이상의 프로세서를 포함하고, 상기 제1카메라장치 및 상기 제2카메라장치로부터 수신된 영상에 기초하여 워크스루 자동출입통제 기능을 수행하는 컴퓨팅 시스템;을 포함하고, 상기 자동출입통제방법은, 상기 컴퓨팅 시스템에 의하여, 사용자가 진입구역에 위치할 때, 상기 진입영상으로부터 사용자의 안면영상을 획득하고, 상기 안면영상에 기초하여 해당 사용자가 통과권한을 갖는 사용자인지 여부를 판별하는 안면인식단계; 상기 컴퓨팅 시스템에 의하여, 상기 안면인식단계에서 해당 사용자가 통과권한을 갖는다고 판단하는 경우, 해당 사용자 객체에 대해서 인식식별정보를 부여하는 식별정보부여단계; 상기 컴퓨팅 시스템에 의하여, 상기 1 이상의 제2카메라장치로부터 수신된 1 이상의 탑뷰영상에서 탐지되는 사용자객체를 상기 통제구역 내에서 2차원적으로 트랙킹하되, 상기 인식식별정보가 부여된 해당 사용자객체에 대해서는 해당 인식식별정보를 부여하여 트랙킹을 수행하는 통제구역트랙킹단계; 및 상기 컴퓨팅 시스템에 의하여, 상기 통제구역트랙킹단계에서 트랙킹되는 사용자객체의 인식식별정보 부여 여부, 및 사용자객체의 상기 통제구역에서의 움직임에 기초하여 알람정보를 생성하는 알람정보생성단계;를 포함하는, 자동출입통제방법을 제공한다.
본 발명의 일 실시예에서는, 무인 환경에서 운영 가능한 워크스루(Walk-Through, 無정지보행) 기반의 자동출입통제를 구현하는 효과를 발휘할 수 있따.
본 발명의 일 실시예에서는, 딥러닝 기반의 탑뷰 영상에 기반하여 안티-테일게이팅(Anti-Tailgating, 뒤따라 들어가기 방지) 기능을 제공하고, 워크스루시의 얼굴영상을 인식하여 출입통제를 수행할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 데이터센터 서버실 출입문에 사용되는 회전형 Interlocking Door와 공항 출입국심사에 사용되는 자동출입국심사대용 스피드게이트(입구와 출구 양측에 도어가 설치되고, 그 사이 사람이 체류할 수 있는 공간을 가진 게이트)에서 안티-테일게이팅 기능을 구현하면서 자동출입통제를 수행할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는 일반적인 출입통제시스템의 보안위험요소인 Tailgating(뒤따라 들어가기) 행위를 탐지하거나 차단함으로써 보안 또는 통제구역 안으로 비인가된 사람의 출입을 탐지하거나 차단할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는 1인 1통과 출입방식으로 인해 해당 구역 내에 정확히 몇 사람이 머물고 있는지 재실인원을 실시간 파악할 수 있으며, 얼굴인식 기술을 함께 적용하여 재실인원의 신원도 정확히 알 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 복수 인원에 대해서도 워크스루 기반의 Top-View감지와 동적얼굴인식을 적용하여 분당 출입통제 구역을 통과하는 인원의 수의 증가로 혼잡상황(예 : 출퇴근 또는 점심시간의 건물 1층 스피드게이트)이 발생될 때 대기열을 크게 감소시킬 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 물리적인 도어(Door)가 아닌 가상의 도어(Door)를 구성하기 위해 1개 이상의 Top-View 2인감지 CCTV(카메라)를 이용하여 CCTV 영상 내에 진출입 지점(라인)을 설정한 후 사람의 출입을 감지하고 알람을 발생시키는 방식으로 출입문형 보행통로 또는 게이트형 보행통로 구조물과 함께 구성할 경우 물리적 도어를 제거한 Interlocking 게이트 시스템 또는 공간을 만들 수 있으며, 고가의 회전형 또는 게이트형 Interlocking Door나 Man-in-the-Trap Door 시스템을 저렴한 비용으로 대체할 수 있는 효과를 발휘할 수 있다.
도 1은 본 발명의 실시예들에 따른 워크스루 자동출입통제 시스템의 전체적인 물리적 구성에 대하여 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 컴퓨팅 시스템에서 수행되는 자동출입통제 방법의 세부 단계들을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 객체 인식단계에서의 과정을 도시한다.
도 4는 본 발명의 일 실시예에 따른 통제구역트랙킹단계에 대해서 도시한다.
도 5는 본 발명의 일 실시예에 따른 사용자객체의 이동에 따른 자동출입통제 시스템에서의 동작을 도시한다.
도 6은 본 발명의 일 실시예에 따른 테일게이팅을 하는 사용자객체의 검출과정을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 알람정보생성단계에서 알람이 생성되는 경우를 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 컴퓨팅시스템의 구성에 대하여 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 복수의 사용자객체들에 대한 자동출입통제 과정에 대하여 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 실시예들에 따른 워크스루 자동출입통제 시스템의 전체적인 물리적 구성에 대하여 개략적으로 도시한다.
본 발명의 안티-테일게이팅 워크스루 자동출입통제 시스템은 진입구역과 진출구역 사이의 통제구역을 구획하는 게이트부재(100); 사용자의 눈높이에서 촬영된 사용자의 진입구역에서의 진입영상을 획득할 수 있는 제1카메라장치(200); 상기 진입구역과 진출구역 사이의 통제구역 사이에서 천장 구조물에 지지되어 천장에서 바닥을 바라보는 형태의 탑뷰영상을 획득할 수 있는 1 이상의 제2카메라장치(300); 및 1 이상의 메모리 및 1 이상의 프로세서를 포함하고, 상기 제1카메라장치(200) 및 상기 제2카메라장치(300)로부터 수신된 영상에 기초하여 워크스루 자동출입통제 기능을 수행하는 컴퓨팅 시스템;을 포함한다.
본 발명의 일 실시예에서는, 상기 자동출입통제 시스템은 사용자의 눈높이에서 촬영된 사용자의 진출구역에서의 진입영상을 획득할 수 있는 제3카메라장치(400);를 더 포함할 수 있다.
상기 제2카메라는 게이트부재(100)에 설치된 'ㄷ' 형태의 카메라지지부재에 의하여 배치되며, 천장에서 바닥면을 바라보는 탑뷰영상을 촬영할 수 있다.
도 1의 (A), (B), 및 (C)는 제1카메라의 위치의 변화에 따른 구성에 해당한다. 어느 경우에도 제1카메라장치(200)는 제1방향(도 1에서는 하측에서 진입) 으로 진입하는 사용자객체의 안면영상을 촬영할 수 있다.
제3카메라장치(400)는 상기 제1방향의 반대방향에 해당하는 제2방향(도 1에서는 상측에서 진입)으로 진입하는 사용자객체의 안면영상을 촬영할 수 있다. 이와 같은 제3카메라장치(400)는 방향으로 허가된 사용자객체들의 출입통제를 수행하기 위하여 사용된다.
제3카메라장치(400)는 본 발명의 실시예에 따라 생략될 수 있고, 이하에서는, 제1카메라장치(200) 및 제2카메라장치(300)가 설치된 제1방향으로 사용자객체의 출입을 통제하는 시스템을 중심으로 세부 동작들을 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 컴퓨팅 시스템에서 수행되는 자동출입통제 방법의 세부 단계들을 개략적으로 도시한다.
본 발명의 실시예들에 따른 워크스루 자동출입통제 방법은 1 이상의 메모리 및 1 이상의 프로세서를 포함하고, 상기 제1카메라장치(200) 및 상기 제2카메라장치(300)로부터 수신된 영상에 기초하여 워크스루 자동출입통제 기능을 수행하는 컴퓨팅 시스템;에 의하여 수행된다.
도 2에 도시된 바와 같이 사용자객체의 워크스루시의 영역은 진입구역->통제구역->진출구역으로 나누어질 수 있고, 사용자객체의 이동방향이 반대로 되는 경우에는 진입구역과 진출구역이 서로 반대로 될 수 있다.
단계 S100에서는, 사용자가 진입구역에 위치할 때, 상기 진입영상으로부터 사용자의 안면영상을 획득하고, 상기 안면영상에 기초하여 해당 사용자가 통과권한을 갖는 사용자인지 여부를 판별하는 안면인식단계가 수행된다.
안면인식단계는 본인확인을 위한 얼굴인식 기술은 전통적인 HOG 검출기를 이용한 얼굴객체 검출과 특징 추출기(예 : SIFT 또는 BRIEF 기반 Descriptor)을 이용하거나, 딥러닝 방식의 얼굴 검출기 (예 : YOLO 계열) 또는 얼굴 추적기를 이용한 얼굴객체 검출 및 추출과 딥러닝 방식의 얼굴 인식기(예 : FaceNet)를 결합하여 구성할 수 있다.
상기 통과권한은 안면이 인식되었다는 것 자체로 부여되거나, 인식된 안면정보가 기설정된 허용사용자의 안면정보와 매칭이 되는 지 여부를 판단하여 부여된다.
단계 S200에서는, 상기 안면인식단계에서 해당 사용자가 통과권한을 갖는다고 판단하는 경우, 해당 사용자 객체에 대해서 인식식별정보를 부여하는 식별정보부여단계가 수행된다.
단계 S300에서는, 상기 1 이상의 제2카메라장치(300)로부터 수신된 1 이상의 탑뷰영상에서 탐지되는 사용자객체를 상기 통제구역 내에서 2차원적으로 트랙킹하되, 상기 인식식별정보가 부여된 해당 사용자객체에 대해서는 해당 인식식별정보를 부여하여 트랙킹을 수행하는 통제구역트랙킹단계;가 수행된다.
본 발명에서는 제2카메라장치(300)와 같이 Top-View 카메라 영상을 이용한 사람객체 탐지추적을 수행함으로써, 안티테일게이팅을 정확하게 수행할 수 있다. 제2카메라장치(300)는 광학(RGB), 깊이(3D Depth), 열상(Thermal) 중 하나 또는 둘 이상의 센서를 조합한 멀티모달 센서 카메라 영상을 사용할 수도 있다.
단계 S100, S200, 및 S300은 서로 연동하여 동작할 수 있다. 도 2에 도시된 바와 같이, 진입구역에 가장 가깝게 배치된 제2카메라장치(300)의 경우, 통제구역의 일부와 진입구역의 일부를 촬영한다. 이와 같은 제2카메라장치(300)로부터 수집된 탑뷰영상에서는 사용자객체의 윗부분(예를들어, 머리) 이미지, 깊이, 혹은 열상(히트맵)에 대하여 객체트랙킹을 수행한다.
이때, 단계 S100, S200에서 진입구역을 지나는 사용자객체의 안면인식이 되어 통과권한이 있다고 판단되는 경우에는 단계, 해당 사용자객체에 대하여 단계 S200에서 인식식별정보가 부여된다.
한편, 단계 S300에서는 기본적으로 탑뷰영상에서 2차원적으로 객체를 트랙킹한다. 이 경우, 객체트랙킹에서 일반적으로 사용되는 트랙킹식별정보가 기본적으로 부여되나, 단계 S100, S200에서 해당 객체에 대하여, 인식식별정보가 부여되는 경우에는 단계 S300에서 트랙킹하는 해당 사용자객체에 대하여 추가적으로 인식식별정보를 부여한다.
바람직하게는, 단계 S100에서 제1카메라장치(200)에 의하여 촬영된 영상으로부터 객체의 제1위치정보를 검출하고, 단계 S300에서 트랙킹되는 사용자객체의 제2위치정보에 기초하여, 두 영상에서의 통과권한이 부여된 사용자객체의 동일성을 판단하여, 단계 S200에서 인식식별정보가 부여된 사용자객체에 대하여, 단계 S300에서도 인식식별정보를 부여하여 객체를 트랙킹한다.
단계 S400에서는, 상기 통제구역트랙킹단계에서 트랙킹되는 사용자객체의 인식식별정보 부여 여부, 및 사용자객체의 상기 통제구역에서의 움직임에 기초하여 알람정보를 생성하는 알람정보생성단계;가 수행된다.
상기 알람정보는 예를들어, 통과권한이 없는 사용자객체가 진출구역으로 이동하는 경우뿐만 아니라, 통과권한이 있는 사용자객체가 진출구역으로 이동하여 계수를 하는 경우를 포함한다.
이와 같은 알람정보생성단계의 바람직한 실시예들에 대하여는 후술하기로 한다.
전술한 바와 같이, 상기 자동출입통제 시스템은, 사용자의 눈높이에서 촬영된 사용자의 진출구역에서의 진입영상을 획득할 수 있는 제3카메라장치(400);를 더 포함하고, 상기 컴퓨팅시스템은, 상기 제3카메라장치(400)에서 촬영된 진출구역에서 진입하여 통제구역을 지나 진입구역으로 이동하는 사용자객체에 대해서도, 상기 안면인식단계(S100), 식별정보부여단계(S200), 통제구역트랙킹단계(S300), 및 알람정보생성단계(S400)를 수행할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 객체 인식단계에서의 과정을 도시한다.
도 3에 도시된 바와 같이, 탑뷰영상을 통하여 사용자객체를 탑뷰에서 트래킹한다. 이때, 단계 S100 및 S200에서 사용자객체의 안면이 인식되어 인식식별정보가 부여되는 경우, 위치정보를 고려하여, 해당 단계 S300에서도 해당 인식식별정보를 사용자객체에 부여하여 트래킹을 수행한다.
본 발명의 일 실시예에서는, 진입구역에서의 진입영상에 의하여 안면인식이 수행되고, 해당 사용자객체에 대하여 인식식별정보가 부여되는 경우, 탑뷰영상에서 상기 진입구역에 존재하는 사용자객체가 안면인식을 수행한 사용자객체로 판단하여, 해당 사용자객체에 대해 인식식별정보를 부여한 후에, 이를 트랙킹한다. 이와 같이 인식식별정보가 부여된 사용자객체가 단계 S300에서 트래킹된 결과, 통제구역을 지나 진출구역으로 이동하는 경우에는, 통과권한이 있는 적법한 사용자객체가 통과함으로 인식하여 단계 S400이 수행되고, 통과인원에 대한 계수가 수행될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 통제구역트랙킹단계에 대해서 도시한다.
상기 자동출입통제 시스템는, 상기 통제구역의 각각의 부분영역을 촬영하는 복수의 제2카메라장치(300)를 포함한다.
이와 같은 제2카메라장치(300)의 탑뷰영상은 통제구역 전체를 커버하지 못하고 음영구역이 존재할 수 있다.
본 발명의 바람직한 실시예에서는, 도 4에서와 같이 각각의 탑뷰영상에 대한 통제구역트랙킹단계는 각각의 로컬분석모듈에 의하여 수행된다.
각각의 로컬분석모듈은, 각각 상응하는 탑뷰영상에서 탐지된 사용자객체에 대하여 트래킹식별정보를 필수적으로 부여하고, 상기 인식식별정보를 선택적으로 부여하여, 탑뷰영상에서 각각의 사용자객체의 위치를 트래킹을 수행하는 로컬트랙킹단계(S310); 해당 사용자객체가 해당 탑뷰영상의 외부로 진출하거나 혹은 해당 탑뷰영상에서 기설정된 경계 외부로 진출하는 경우에 핸드오버 정보를 생성하고, 해당 사용자객체가 진출하는 영역에 상응하는 탑뷰영상에 대하여 상기 로컬분석단계를 수행하는 다른 로컬분석모듈에 상기 핸드오버 정보를 전송하는 핸드오버전송단계(S320);를 수행한다.
이와 같은 방식에 의하여, 게이트부재(100)가 길게 형성되어 있어 통제구역이 매우 긴 경우에도, 각각의 사용자객체들을 정확하게 트랙킹할 수 있다.
더욱 바람직하게는, 상기 통제구역 중에 상기 복수의 제2카메라가 촬영하지 못하는 음영구역이 존재한다. 도 4의 (B)는 이러한 형태의 통제구역 및 제2카메라장치(300)의 배치의 일 예를 도시한다.
이 경우, 상기 핸드오버 정보는 상기 탑뷰영상의 외부로 진출하거나 혹은 탑뷰영상 내부에서 기설정된 경계 외부로 진출하는 사용자객체의 이미지 특징정보, 및 트래킹식별정보를 필수적으로 포함하고, 선택적으로 인식식별정보를 포함한다.
이 경우, 상기 로컬트랙킹단계는, 상기 탑뷰영상에서 인식된 사용자객체의 특징정보와 상기 핸드오버 정보에 포함된 이미지 특징정보를 비교하여, 매칭이 되는 경우에 해당 사용자 객체의 트래킹식별정보를 부여한다.
도 5는 본 발명의 일 실시예에 따른 사용자객체의 이동에 따른 자동출입통제 시스템에서의 동작을 도시한다.
도 5의 (A)에서는, 사용자객체가 진입구역에 위치할때의 상태이다. 이 구간에서 단계 S100, 및 S200에서 사용자객체의 안면인식이 수행되고, 인식식별정보가 부여된다.
이후 도 5의 (B)에서와 같이 사용자객체가 통제구역으로 진입하여 진출구역으로 이동한다. 이때 단계 S300에 통제구역에서 탑뷰영상에 기초하여 사용자객체가 트랙킹된다.
이후, 도 5의 (C)에서와 같이, 해당 사용자객체가 진출구역으로 이동함으로써, 단계 S300에서 해당 사용자객체가 인식식별정보를 보유한 상태로 진출구역으로 이동함을 확인하고, 이는 적법한 사용자객체의 통과로 인식하여 계수를 수행하여, 알람정보를 생성한다.
도 6은 본 발명의 일 실시예에 따른 테일게이팅을 하는 사용자객체의 검출과정을 개략적으로 도시한다.
본 발명의 일 실시예에서는, 상기 알람정보생성단계는, 상기 통제구역트랙킹단계에서, 인식식별정보가 부여되지 않은 사용자객체가 상기 진출구역으로 이동하는 것으로 판단하는 경우에, 비인식객체진출에 대한 알람정보를 생성한다.
예를들어 도 6의 객체2는 객체1에 대하여 테일게이팅을 하는 상태이다. 이 경우, 도 6의 (A)에서와 같이 객체 2에 대해서는 안면인식이 수행되지는 않는다.
그러나, 도 6의 (B)에서와 같이 제2카메라장치(300)는 탑뷰영상을 촬영하기 때문에, 도 6의 (B)에서와 같이 객체1과 객체2가 분리되어 이동하는 경우나 혹은 객체1과 객체2가 서로 앞뒤로 붙어서 가는 경우로서 테일게이팅을 하는 경우에도 객체 1 및 객체 2에 대해서 트랙킹을 수행할 수 있따.
이후, 도 6의 (C)에서와 같이 객체 1의 경우 인식식별정보가 부여된 객체의 적법한 통과로 판단한 적법통과알람정보(혹은 계수알람정보)의 생성을 수행하나, 객체 2의 경우에는 인식식별정보가 부여되지 않았기 때문에, 적법한 통과로 판단하지 않고 알람정보를 생성한다. 이와 같은 부적법한 사용자객체의 알람정보가 생성되면 게이트시스템에서 청각 혹은 시각적인 경고 및 안내가 제공될 수 있다.
더욱 바람직하게는, 상기 비인식객체진출에 대한 알람정보를 생성한 후에, 상기 통제구역트랙킹단계에서, 인식식별정보가 부여되지 않은 사용자객체가 다시 상기 진입구역으로 이동하는 지 여부를 판단하여 비인식객체되돌림에 대한 알람정보를 생성할 수도 있다.
즉, 안면인식이 되지 않은 사용자객체가 진출구역으로 이동하는 경우에, 청각적인 알람이 발생하고, 해당 사용자객체는 다시 진입구역으로 이동하여야 한다. 이 경우에도, 단계 S300에서는 해당 사용자객체를 트랙킹하여 다시 진입구역으로 돌아가는 지 여부를 판단하여, 비인식객체되돌림에 대한 알람정보를 생성한다.
따라서, 최종적으로 무단으로 출입을 한 사용자객체만을 도출해낼 수 있다.
도 7은 본 발명의 일 실시예에 따른 알람정보생성단계에서 알람이 생성되는 경우를 개략적으로 도시한다.
본 발명의 일 실시예에서는, 통제구역에서 안면인식이 수행된 1인의 사용자객체만이 통과할 수 있도록 설정될 수 있다.
이 경우, 상기 알람정보생성단계는, 상기 통제구역트랙킹단계에서, 동일한 시간 구간에서 2 이상의 사용자객체가 존재하는 경우에는 다객체통과에 대한 알람정보를 생성하여, 이를 사용자객체에 주의 혹은 경고를 줄 수 있다.
또한, 상기 통제구역트랙킹단계에서, 검출된 사용자객체에 인식식별정보가 존재하지 않는 경우에는 비인식객체에 대한 알람정보를 생성한다. 즉 1인이 통과하더라도, 해당 1인이 안면인식이 되지 않은 경우에는 비인식객체에 대한 알림정보를 생성하여 사용자에게 경고 혹은 주의를 줄 수 있다.
도 8은 본 발명의 일 실시예에 따른 컴퓨팅시스템의 구성에 대하여 개략적으로 도시한다.
도 8에 도시된 바와 같이, 제1카메라장치(200), 제2카메라장치(300), 및 제3카메라장치(400)는 촬영된 영상을 컴퓨팅시스템으로 전송한다. 상기 컴퓨팅시스템은 복수의 물리적인 컴퓨팅장치로 구성될 수 있다.
예를들어, 제1카메라장치(200), 제2카메라장치(300), 및 제3카메라장치(400) 중 1 이상은 별도의 연산처리장치를 구비하고 있고, 단계 S100, S200, S300, S400 중의 일부를 수행할 수도 있다.
혹은, 각각의 카메라장치에서 수집된 영상은 물리적으로 단일의 컴퓨팅장치로 전달되고, 단일의 컴퓨팅장치에서 단계 S100, S200, S300, 및 S400이 수행될 수도 있다.
즉, 본 발명의 일 실시예에서는, 상기 컴퓨팅시스템은 상기 제1카메라장치(200)와 결합된 제1컴퓨팅장치 및 상기 제2카메라장치(300)와 결합된 제2컴퓨팅장치를 포함하고, 상기 안면인식단계, 식별정보부여단계, 통제구역트랙킹단계, 알람정보생성단계는 상기 제1컴퓨팅장치 및 제2컴퓨팅장치 중 어느 하나에서 분산적으로 수행될 수 있다.
혹은, 본 발명의 다른 실시예에서는, 상기 컴퓨팅시스템은 상기 제1카메라장치(200)와 결합된 제1컴퓨팅장치 및 상기 제2카메라장치(300)와 결합된 제2컴퓨팅장치, 및 상기 제1카메라장치(200) 혹은 상기 제2카메라장치(300)와 별도로 존재하는 제3컴퓨팅장치를 포함하고, 상기 안면인식단계, 식별정보부여단계, 통제구역트랙킹단계, 알람정보생성단계는 상기 제1컴퓨팅장치, 제2컴퓨팅장치, 및 제3컴퓨팅장치 중 어느 하나에서 분산적으로 수행될 수 있다.
도 9는 본 발명의 일 실시예에 따른 복수의 사용자객체들에 대한 자동출입통제 과정에 대하여 개략적으로 도시한다.
본 발명에서는 상기 자동출입통제 시스템은 복수의 사용자객체의 통과가 허용되도록 설정될 수 있고, 이 경우, 제1카메라장치(200)에 의하여 획득된 영상으로부터 복수의 사용자객체의 안면인식을 수행하고, 이에 따라 인식된 복수의 사용자객체 각각에 대하여 인식식별정보를 부여하고, 단계 S300에서는 인식식별정보를 해당 사용자객체 각각에 부여하여 트랙킹을 하고, 이들의 적법한 통과를 허용(적법하게 통과하였음에 대한 알람정보를 생성)할 수도 있다.
이 경우, 진입영상에서 안면인식이 수행된 사용자객체의 위치 정보를 각각 도출하고, 이에 매칭되는 위치를 갖는 탑뷰영상에서 검출된 사용자객체에 대해 인식식별정보를 부여한다.
이는 본원 발명에서는 탑뷰영상을 기반으로 객체를 트랙킹하기 때문에, 복수의 인원이 동시에 통제구역에 진입하거나 진입구역에서 복수의 사용자객체가 나란히 선 상태에서 안면인식을 하고 진입하는 경우를 모두 구현하면서, 안면인식을 하지 않고, 테일게이팅을 하는 사용자객체를 판단함으로써, 다수의 출입자가 있는 경우에 게이트에서의 사용자들의 빠른 이동을 가능하게 할 수 있다.
도 10은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다. 본 발명의 실시예들에서의 컴퓨팅 시스템 혹은 컴퓨팅 시스템을 구성하는 서브 컴퓨팅 시스템은 도 10에 도시된 컴퓨팅장치의 구성 전체 혹은 일부를 포함할 수 있다.
도 10에 도시된 바와 같이, 컴퓨팅장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)의 내부 구성은 도 1에 도시된 컴퓨팅시스템이 포함할 수 있고, 혹은 컴퓨팅장치(11000)은 도 1에 도시된 컴퓨팅 시스템의 일 실시예에 해당할 수 있다.
메모리(11200)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그 밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.
이러한 도 10의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)는 도 10에 도시된 일부 컴포넌트가 생략되거나, 도 10에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 10에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(11600)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 컴퓨팅장치(11000)에 설치될 수 있다. 일 예로, 파일 배포 시스템은 컴퓨팅장치(11000)의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

  1. 안티-테일게이팅 워크스루 자동출입통제 시스템으로서,
    진입구역과 진출구역 사이의 통제구역을 구획하는 게이트부재;
    사용자의 눈높이에서 촬영된 사용자의 진입구역에서의 진입영상을 획득할 수 있는 제1카메라장치;
    상기 진입구역과 진출구역 사이의 통제구역 사이에서 천장 구조물에 지지되어 천장에서 바닥을 바라보는 형태의 탑뷰영상을 획득할 수 있는 1 이상의 제2카메라장치; 및
    1 이상의 메모리 및 1 이상의 프로세서를 포함하고, 상기 제1카메라장치 및 상기 제2카메라장치로부터 수신된 영상에 기초하여 워크스루 자동출입통제 기능을 수행하는 컴퓨팅 시스템;을 포함하고,
    상기 컴퓨팅시스템은,
    사용자가 진입구역에 위치할 때, 상기 진입영상으로부터 사용자의 안면영상을 획득하고, 상기 안면영상에 기초하여 해당 사용자가 통과권한을 갖는 사용자인지 여부를 판별하는 안면인식단계;
    상기 안면인식단계에서 해당 사용자가 통과권한을 갖는다고 판단하는 경우, 해당 사용자 객체에 대해서 인식식별정보를 부여하는 식별정보부여단계;
    상기 1 이상의 제2카메라장치로부터 수신된 1 이상의 탑뷰영상에서 탐지되는 사용자객체를 상기 통제구역 내에서 2차원적으로 트랙킹하되, 상기 인식식별정보가 부여된 해당 사용자객체에 대해서는 해당 인식식별정보를 부여하여 트랙킹을 수행하는 통제구역트랙킹단계; 및
    상기 통제구역트랙킹단계에서 트랙킹되는 사용자객체의 인식식별정보 부여 여부, 및 사용자객체의 상기 통제구역에서의 움직임에 기초하여 알람정보를 생성하는 알람정보생성단계;를 수행하고,
    상기 컴퓨팅시스템은 상기 제1카메라장치와 결합된 제1컴퓨팅장치 및 상기 제2카메라장치와 결합된 제2컴퓨팅장치를 포함하고, 상기 안면인식단계, 식별정보부여단계, 통제구역트랙킹단계, 알람정보생성단계는 상기 제1컴퓨팅장치 및 제2컴퓨팅장치 중 어느 하나에서 분산적으로 수행되거나, 혹은
    상기 컴퓨팅시스템은 상기 제1카메라장치와 결합된 제1컴퓨팅장치 및 상기 제2카메라장치와 결합된 제2컴퓨팅장치, 및 상기 제1카메라장치 혹은 상기 제2카메라장치와 별도로 존재하는 제3컴퓨팅장치를 포함하고, 상기 안면인식단계, 식별정보부여단계, 통제구역트랙킹단계, 알람정보생성단계는 상기 제1컴퓨팅장치, 제2컴퓨팅장치, 및 제3컴퓨팅장치 중 어느 하나에서 분산적으로 수행되는, 자동출입통제 시스템.
  2. 청구항 1에 있어서,
    상기 자동출입통제 시스템는,
    상기 통제구역의 각각의 부분영역을 촬영하는 복수의 제2카메라를 포함하고,
    각각의 탑뷰영상에 대한 통제구역트랙킹단계는 각각의 로컬분석모듈에 의하여 수행되고,
    각각의 로컬분석모듈은,
    각각 상응하는 탑뷰영상에서 탐지된 사용자객체에 대하여 트래킹식별정보를 필수적으로 부여하고, 상기 인식식별정보를 선택적으로 부여하여, 탑뷰영상에서 각각의 사용자객체의 위치를 트래킹을 수행하는 로컬트랙킹단계;
    해당 사용자객체가 해당 탑뷰영상의 외부로 진출하거나 혹은 해당 탑뷰영상에서 기설정된 경계 외부로 진출하는 경우에 핸드오버 정보를 생성하고, 해당 사용자객체가 진출하는 영역에 상응하는 탑뷰영상에 대하여 상기 로컬트랙킹단계를 수행하는 다른 로컬분석모듈에 상기 핸드오버 정보를 전송하는 핸드오버전송단계;를 수행하는, 자동출입통제 시스템.
  3. 청구항 2에 있어서,
    상기 통제구역 중에 상기 복수의 제2카메라가 촬영하지 못하는 음영구역이 존재하고,
    상기 핸드오버 정보는 상기 탑뷰영상의 외부로 진출하거나 혹은 탑뷰영상 내부에서 기설정된 경계 외부로 진출하는 사용자객체의 이미지 특징정보, 및 트래킹식별정보를 필수적으로 포함하고, 선택적으로 인식식별정보를 포함하고,
    상기 로컬트랙킹단계는, 상기 탑뷰영상에서 인식된 사용자객체의 특징정보와 상기 핸드오버 정보에 포함된 이미지 특징정보를 비교하여, 매칭이 되는 경우에 해당 사용자 객체의 트래킹식별정보를 부여하는, 자동출입통제 시스템.
  4. 청구항 1에 있어서,
    상기 알람정보생성단계는,
    상기 통제구역트랙킹단계에서, 인식식별정보가 부여되지 않은 사용자객체가 상기 진출구역으로 이동하는 것으로 판단하는 경우에, 비인식객체진출에 대한 알람정보를 생성하는, 자동출입통제 시스템.
  5. 청구항 1에 있어서,
    상기 알람정보생성단계는,
    상기 통제구역트랙킹단계에서, 동일한 시간 구간에서 2 이상의 사용자객체가 존재하는 경우에는 다객체통과에 대한 알람정보를 생성하고,
    상기 통제구역트랙킹단계에서, 검출된 사용자객체에 인식식별정보가 존재하지 않는 경우에는 비인식객체에 대한 알람정보를 생성하는, 자동출입통제 시스템.
  6. 청구항 1에 있어서,
    상기 자동출입통제 시스템은,
    사용자의 눈높이에서 촬영된 사용자의 진출구역에서의 진입영상을 획득할 수 있는 제3카메라장치;를 더 포함하고,
    상기 컴퓨팅시스템은,
    상기 제3카메라장치에서 촬영된 진출구역에서 진입하여 통제구역을 지나 진입구역으로 이동하는 사용자객체에 대해서도, 상기 안면인식단계, 식별정보부여단계, 통제구역트랙킹단계, 및 알람정보생성단계를 수행하는, 자동출입통제 시스템.
  7. 삭제
  8. 안티-테일게이팅 워크스루 자동출입통제 시스템에서 수행되는 자동출입통제방법으로서,
    상기 자동출입통제 시스템은,
    진입구역과 진출구역 사이의 통제구역을 구획하는 게이트부재;
    사용자의 눈높이에서 촬영된 사용자의 진입구역에서의 진입영상을 획득할 수 있는 제1카메라장치;
    상기 진입구역과 진출구역 사이의 통제구역 사이에서 천장 구조물에 지지되어 천장에서 바닥을 바라보는 형태의 탑뷰영상을 획득할 수 있는 1 이상의 제2카메라장치; 및
    1 이상의 메모리 및 1 이상의 프로세서를 포함하고, 상기 제1카메라장치 및 상기 제2카메라장치로부터 수신된 영상에 기초하여 워크스루 자동출입통제 기능을 수행하는 컴퓨팅 시스템;을 포함하고,
    상기 자동출입통제방법은,
    상기 컴퓨팅 시스템에 의하여, 사용자가 진입구역에 위치할 때, 상기 진입영상으로부터 사용자의 안면영상을 획득하고, 상기 안면영상에 기초하여 해당 사용자가 통과권한을 갖는 사용자인지 여부를 판별하는 안면인식단계;
    상기 컴퓨팅 시스템에 의하여, 상기 안면인식단계에서 해당 사용자가 통과권한을 갖는다고 판단하는 경우, 해당 사용자 객체에 대해서 인식식별정보를 부여하는 식별정보부여단계;
    상기 컴퓨팅 시스템에 의하여, 상기 1 이상의 제2카메라장치로부터 수신된 1 이상의 탑뷰영상에서 탐지되는 사용자객체를 상기 통제구역 내에서 2차원적으로 트랙킹하되, 상기 인식식별정보가 부여된 해당 사용자객체에 대해서는 해당 인식식별정보를 부여하여 트랙킹을 수행하는 통제구역트랙킹단계; 및
    상기 컴퓨팅 시스템에 의하여, 상기 통제구역트랙킹단계에서 트랙킹되는 사용자객체의 인식식별정보 부여 여부, 및 사용자객체의 상기 통제구역에서의 움직임에 기초하여 알람정보를 생성하는 알람정보생성단계;를 포함하고,
    상기 컴퓨팅시스템은 상기 제1카메라장치와 결합된 제1컴퓨팅장치 및 상기 제2카메라장치와 결합된 제2컴퓨팅장치를 포함하고, 상기 안면인식단계, 식별정보부여단계, 통제구역트랙킹단계, 알람정보생성단계는 상기 제1컴퓨팅장치 및 제2컴퓨팅장치 중 어느 하나에서 분산적으로 수행되거나, 혹은
    상기 컴퓨팅시스템은 상기 제1카메라장치와 결합된 제1컴퓨팅장치 및 상기 제2카메라장치와 결합된 제2컴퓨팅장치, 및 상기 제1카메라장치 혹은 상기 제2카메라장치와 별도로 존재하는 제3컴퓨팅장치를 포함하고, 상기 안면인식단계, 식별정보부여단계, 통제구역트랙킹단계, 알람정보생성단계는 상기 제1컴퓨팅장치, 제2컴퓨팅장치, 및 제3컴퓨팅장치 중 어느 하나에서 분산적으로 수행되는, 자동출입통제방법.
KR1020210174857A 2021-12-08 2021-12-08 안티-테일게이팅 워크스루 자동출입통제 방법, 및 시스템 KR102636568B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210174857A KR102636568B1 (ko) 2021-12-08 2021-12-08 안티-테일게이팅 워크스루 자동출입통제 방법, 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210174857A KR102636568B1 (ko) 2021-12-08 2021-12-08 안티-테일게이팅 워크스루 자동출입통제 방법, 및 시스템

Publications (2)

Publication Number Publication Date
KR20230086333A KR20230086333A (ko) 2023-06-15
KR102636568B1 true KR102636568B1 (ko) 2024-02-14

Family

ID=86763924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210174857A KR102636568B1 (ko) 2021-12-08 2021-12-08 안티-테일게이팅 워크스루 자동출입통제 방법, 및 시스템

Country Status (1)

Country Link
KR (1) KR102636568B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117264A (ja) * 2006-11-07 2008-05-22 Chuo Electronics Co Ltd 不正通過者検出装置及びこれを利用した不正通過者録画システム
KR101567005B1 (ko) * 2015-04-15 2015-11-11 (주) 혜인에스앤에스 뒤따름 방지 기능을 갖는 출입통제 방법 및 시스템
KR102333143B1 (ko) * 2021-03-15 2021-12-02 다인스 주식회사 무인 계수 서비스 제공 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117264A (ja) * 2006-11-07 2008-05-22 Chuo Electronics Co Ltd 不正通過者検出装置及びこれを利用した不正通過者録画システム
KR101567005B1 (ko) * 2015-04-15 2015-11-11 (주) 혜인에스앤에스 뒤따름 방지 기능을 갖는 출입통제 방법 및 시스템
KR102333143B1 (ko) * 2021-03-15 2021-12-02 다인스 주식회사 무인 계수 서비스 제공 시스템

Also Published As

Publication number Publication date
KR20230086333A (ko) 2023-06-15

Similar Documents

Publication Publication Date Title
Seer et al. Kinects and human kinetics: A new approach for studying pedestrian behavior
JP2019508801A (ja) なりすまし防止顔認識のための生体検知
Kopaczewski et al. A method for counting people attending large public events
JP7432867B2 (ja) 照合装置、照合システム、及び、照合方法
KR102376479B1 (ko) 인공지능 기반 객체 자동 인식을 위한 cctv 제어 방법, 장치 및 시스템
CN108701211A (zh) 用于实时地检测、跟踪、估计和识别占用的基于深度感测的系统
Nikouei et al. I-safe: Instant suspicious activity identification at the edge using fuzzy decision making
JP2019219721A (ja) 入退室認証システムおよび入退室認証方法
KR102636568B1 (ko) 안티-테일게이팅 워크스루 자동출입통제 방법, 및 시스템
Zhang et al. A virtual proctor with biometric authentication for facilitating distance education
Mun et al. Design for visitor authentication based on face recognition technology using CCTV
Van Vinh et al. Smart home security system using biometric recognition
KR102426837B1 (ko) 인공지능 기반 약제 관리 방법, 장치 및 시스템
KR102347338B1 (ko) 위험 객체의 이동 경로 정보를 획득하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체
Puvaneswari et al. Smart home security system using facial recognition
Litoriya et al. Integrated and deep learning–based social surveillance system: a novel approach
US20200349359A1 (en) Dynamic workstation assignment
KR102510116B1 (ko) 영상 내 범죄 행위 인식 및 위험 객체의 이동 경로를 추적하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체
Hossain et al. A multi-modal gait based human identity recognition system based on surveillance videos
Ohno et al. Privacy-preserving pedestrian tracking with path image inpainting and 3D point cloud features
Barello et al. Multimodal person detection system
US20140333763A1 (en) Method and system for controlling access using a smart optical sensor
KR20240011290A (ko) 복수의 인원의 동시 출입을 통제할 수 있는 스마트 출입 관리 시스템, 스마트 출입 관리 방법 및 기록 매체에 저장된 프로그램
Wang et al. Visual bubble: Protecting privacy in wearable cameras
Aqsa IOT-BASED HUMAN IDENTIFICATION AND MONITORING SYSTEM USING CLOUD AND MACHINE LEARNING

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant