KR20230114650A - 영상기반 지능형 무인시설 출입 관리장치 및 그 방법 - Google Patents

영상기반 지능형 무인시설 출입 관리장치 및 그 방법 Download PDF

Info

Publication number
KR20230114650A
KR20230114650A KR1020220011078A KR20220011078A KR20230114650A KR 20230114650 A KR20230114650 A KR 20230114650A KR 1020220011078 A KR1020220011078 A KR 1020220011078A KR 20220011078 A KR20220011078 A KR 20220011078A KR 20230114650 A KR20230114650 A KR 20230114650A
Authority
KR
South Korea
Prior art keywords
image
person
gate
access
camera
Prior art date
Application number
KR1020220011078A
Other languages
English (en)
Inventor
김영준
윤창걸
박준범
Original Assignee
한국전력공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사 filed Critical 한국전력공사
Priority to KR1020220011078A priority Critical patent/KR20230114650A/ko
Publication of KR20230114650A publication Critical patent/KR20230114650A/ko

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00309Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated with bidirectional data transmission between data carrier and locks
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/38Individual registration on entry or exit not involving the use of a pass with central registration
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

본 발명은 영상기반 지능형 무인시설 출입 관리장치 및 그 방법에 관한 것으로, 영상을 이용하여 출입자의 얼굴을 인식함으로써 등록여부를 판단하여 게이트를 제어하고, 영상으로부터 복수의 사람을 인식하는 경우 미등록자가 포함되는지 여부에 따라 출입을 제한하며, 실내 공간 내에서의 움직임을 추적하여 잔여인원을 관리함으로써, 미등록자의 출입을 제한하고 게이트에서의 얼굴인식과 실내 공간에 대한 사람인식을 이중으로 진행하여 무단출입을 검출할 수 있으며, 실내 공간 내에서의 동선 파악을 통해 실내 인원을 관리 할 수 있어 무인시설에 대한 보안을 강화하고 출입을 쉽게 관리할 수 있다.

Description

영상기반 지능형 무인시설 출입 관리장치 및 그 방법{INTEGRITY ENTRANCE MANAGEMENT APPARATUS USING IMAGE AND METHOD FOR UNMANNED SPACE}
본 발명은 무인시설에서 영상을 이용하여 출입자의 등록여부를 확인하여 등록되지 않은 사람의 출입을 제한하고, 출입자의 동선을 감시하여 시설 내부의 잔여 인원을 관리하는 영상기반 지능형 무인시설 출입 관리장치 및 그 방법에 관한 것이다.
영상인식기술이 발전함에 따라 지문이나 홍채를 이용한 출입관리는 물론 얼굴을 인식하여 등록자에 한하여 게이트가 열리도록 하고 출입을 기록하는 시스템이 널리 사용되고 있다.
얼굴 인식을 통해 미리 등록된 대상에 한하여 게이트가 열리도록 구성됨에 따라 불특정 다수의 접근을 제한할 수 있어 시설에 대한 보안설비 및 관리가 용이하다는 장점이 있다.
무인시설의 경우 출입자를 확인하는 경비원이 존재하지 않으므로, 영상을 이용하여 출입을 관리할 수 있다.
대한민국 등록특허 제10-2266824호는 열영상을 활용한 비대면 무인 출입자 열영상 체온측정 시스템과 이를 활용한 비대면 무인 자동입소 방법에 대하여 설명하고 있다.
영상을 이용하여 자동으로 사람을 인식하여 출입을 제어하는 경우 별도의 인력을 투입하지 않더라도 출입관리가 가능한 이점이 있다.
그러나 등록된 사람의 출입을 위하여 게이트가 열려있는 동안, 미등록자가 무단으로 출입하는 경우가 발생할 수 있다.
무인시설의 경우 미등록자가 출입하더라도 이를 확인할 수 없으므로 보안상의 문제는 물론, 안전사고가 발생하는 문제가 있다. 또한, 미등록자의 출입을 기록할 수 없으므로, 시설 내부에 존재하는 인원을 관리할 수 없는 문제가 있다,
영상을 이용한 영상을 이용하여 관리자가 직접 영상을 통해 확인하는 경우에는, 개인정보 유출 등의 문제가 있다.
대한민국 등록특허 제10-2266824 호
본 발명은 상기와 같은 필요성에 의해 창출된 것으로서, 영상을 이용하여 출입자의 얼굴을 인식함으로써 등록여부를 판단하여 게이트를 제어하고, 한 번에 복수의 사람을 인식하는 경우 미등록자가 포함되는지 여부에 따라 출입을 제한하여 관리하며, 실내 공간 내에서의 움직임을 추적하여 잔여인원을 관리하는 영상기반 지능형 무인시설 출입 관리장치 및 그 방법을 제공하는 데 그 목적이 있다.
상기한 목적을 달성하기 위하여 본 발명에 따른 영상기반 지능형 무인시설 출입 관리장치는, 게이트에 설치되어 출입자의 영상을 촬영하는 제 1 카메라; 실내 공간에 설치되어 상기 실내 공간에 대한 영상을 촬영하는 제 2 카메라; 상기 제 1 카메라 및 상기 제 2 카메라로부터 촬영된 영상으로부터 사람을 감지하고, 감지된 사람의 얼굴을 인식하여 상기 출입자가 등록자인지 판단하여 인식결과를 생성하는 영상인식부; 및 상기 영상인식부의 인식결과에 대응하여 등록자에 대하여 상기 게이트가 개방되도록 제어하고 미등록자의 출입을 제한하며, 상기 제 1 카메라의 영상을 통해 감지되는 상기 출입자의 수와 상기 제 2 카메라의 영상을 통해 인식된 사람의 수를 비교하여 무단출입을 검출하여 경고하는 제어부; 를 포함한다.
상기 영상인식부는 상기 제 1 카메라의 영상에 포함되는 복수의 사람에 대하여 각각 얼굴을 인식하여 상기 인식결과를 생성하고, 상기 제어부는 상기 인식결과를 바탕으로 상기 복수의 사람이 모두 등록자인 경우 상기 게이트가 개방되도록 하고, 상기 복수의 사람 중 미등록자가 포함된 경우 출입을 제한하는 것을 특징으로 한다.
상기 제어부는 상기 복수의 사람 중 미등록자가 포함된 경우, 별도의 출입 허가를 절차를 수행하여 출입이 허가되면 상기 게이트가 개방되도록 하고, 상기 미등록자에 대한 출입이 허가되지 않거나 또는 상기 복수의 사람이 모두 미등록자인 경우 출입을 금지하고 경고를 출력하는 것을 특징으로 한다.
상기 제어부는 상기 게이트가 개방되는 시점을 기준으로, 상기 제 1 카메라의 영상을 통해 감지되는 상기 출입자의 수와, 상기 제 2 카메라의 영상을 통해 감지되는 상기 게이트를 통과하는 사람의 수를 비교하여 일치하지 않는 경우 무단 침입으로 판단하여 경고를 생성하는 것을 특징으로 한다.
상기 영상인식부를 통해 감지된 사람의 움직임을 추적하여 동선을 판단하는 위치추적부; 를 더 포함하고, 상기 위치추적부는 상기 실내 공간에 설정된 가상의 기준선을 기준으로, 상기 기준선을 통과하는 사람의 모션 벡터를 추출하여 방향성을 판단하여 진입자와 퇴소자를 구분하는 것을 특징으로 한다.
상기 위치추적부는 상기 실내 공간 내에 설정된 기준선을 중심으로, 상기 기준선을 통과하여 상기 게이트를 향해 이동하는 사람을 상기 퇴소자로 판단하고, 상기 게이트로부터 상기 기준선을 통과하여 상기 실내 공간으로 이동하는 사람을 상기 진입자로 판단하는 것을 특징으로 한다.
상기 제어부는 상기 진입자와 상기 퇴소자의 수를 각각 카운트하여 상기 실내 공간 내에 잔류하는 인원의 수를 판단하는 것을 특징으로 한다.
상기 제어부는 상기 진입자와 상기 퇴소자의 수를 바탕으로 잔류인원이 0명인 경우 무장을 설정하여, 상기 실내 공간에 대한 침입을 감시하도록 보안시스템을 제어하는 것을 특징으로 한다.
상기 위치추적부는, 상기 실내 공간에 설정된 접근 금지 영역에 대한 접근을 감지하고, 상기 제어부는 상기 위치추적부에 의한 접근 감지 시, 경고를 생성하여 출력하고 보안시스템을 통해 접근을 차단하는 것을 특징으로 한다.
상기 제 1 카메라 및 상기 제 2 카메라의 영상을 일정 형식의 영상데이터로 변환하는 영상처리부를 더 포함하고, 상기 영상처리부는 상기 제어부로부터 비식별처리에 대한 제어명령이 인가되면, 상기 제 1 카메라의 영상 및 상기 제 2 카메라의 영상에 대하여 상기 등록자의 얼굴영역을 모자이크 또는 블러 처리하여 얼굴을 식별할 수 없도록 변경된 영상데이터를 생성하는 것을 특징으로 한다.
본 발명의 영상기반 지능형 무인시설 출입 관리장치의 동작방법은 게이트에 설치된 제 1 카메라가 출입자의 영상을 촬영하는 단계; 실내 공간에 설치된 제 2 카메라가 상기 실내 공간에 대한 영상을 촬영하는 단계; 상기 제 1 카메라의 영상으로부터 상기 출입자의 얼굴을 인식하여 등록자 인지 여부를 판단하여 인식결과를 생성하는 단계; 상기 출입자가 등록자인 경우 게이트를 개방하여 출입을 허용하고, 미등록자의 출입을 제한하도록 상기 게이트를 제어하는 단계; 상기 제 2 카메라의 영상으로부터 상기 게이트를 통과하는 사람을 감지하는 단계; 상기 출입자의 수와 상기 게이트를 통과하는 사람의 수를 비교하여 무단출입을 검출하는 단계; 및 상기 무단출입이 검출되면, 경고를 생성하여 출력하는 단계; 를 포함한다.
상기 인식결과를 생성하는 단계; 상기 제 1 카메라의 영상으로부터 복수의 사람이 감지되는 경우, 상기 복수의 사람에 대하여 얼굴을 개별 인식하는 단계; 상기 영상의 얼굴영역을 분석하여 매칭되는 데이터가 존재하는 경우 등록자로 판단하고, 매칭되는 데이터가 존재하지 않는 경우 미등록자로 판단하여 얼굴인식에 대한 상기 인식결과를 생성하는 단계; 및 상기 게이트의 디스플레이에 상기 등록자와 상기 미등록자를 구분하여 표시하는 단계; 를 더 포함한다.
상기 게이트를 제어하는 단계는, 상기 인식결과를 바탕으로 상기 복수의 사람이 모두 등록자인 경우 상기 게이트가 개방하는 단계; 상기 복수의 사람이 모두 미등록자인 경우 출입을 제한하고, 경고를 출력하는 단계; 상기 복수의 사람 중 상기 복수의 사람 중 미등록자가 포함된 경우, 기 등록된 담당자에게 출입 허가를 요청하는 단계; 및 상기 미등록자에 대한 출입이 허가되면 상기 게이트를 개방하고, 상기 미등록자에 대한 출입이 허가되지 않으면 출입을 제한하고 경고를 출력하는 단계; 를 더 포함한다.
상기 무단출입을 검출하는 단계는, 상기 게이트가 개방되는 시점을 기준으로, 상기 제 1 카메라의 영상을 통해 감지되는 상기 출입자의 수와, 상기 제 2 카메라의 영상을 통해 감지되는 상기 게이트를 통과하는 사람의 수를 비교하여 일치하지 않는 경우 무단 침입으로 판단하는 것을 특징으로 한다.
상기 인식결과를 바탕으로, 상기 등록자에 대하여 비식별 처리를 설정하는 단계; 및 상기 제 1 카메라의 영상 및 상기 제 2 카메라의 영상에 대하여 상기 등록자의 얼굴영역을 모자이크 또는 블러 처리하여 얼굴을 식별할 수 없도록 변경하는 단계; 를 더 포함한다.
상기 제 2 카메라의 영상으로부터 상기 실내 공간에 존재하는 사람을 감지하는 단계; 및 상기 실내 공간에 설정된 가상의 기준선을 기준으로, 상기 기준선을 통과하는 사람의 모션 벡터를 추출하여 방향성을 판단하는 단계; 를 더 포함한다.
상기 실내 공간에 설정된 접근 금지 영역에 대한 접근을 감지하는 단계; 및 상기 접근 금지 영역에 대한 접근 감지 시, 경고를 생성하여 출력하고 보안시스템을 통해 접근을 차단하는 단계;를 더 포함한다.
상기 기준선을 중심으로, 상기 기준선을 통과하여 상기 게이트를 향해 이동하는 사람을 퇴소자로 판단하고, 상기 게이트로부터 상기 기준선을 통과하여 상기 실내 공간으로 이동하는 사람을 진입자로 판단하는 것을 특징으로 한다.
상기 진입자의 수와 퇴소자의 수를 카운트 하는 단계; 상기 진입자의 수와 상기 퇴소자의 수를 비교하여 상기 실내 공간에 존재하는 잔류인원을 확인하는 단계; 및 상기 잔류인원이 0이 되면 자동으로 무장을 설정하여, 외부로부터의 침입을 감지하도록 보안을 강화하는 단계;를 더 포함한다.
일 측면에 따르면, 본 발명의 영상기반 지능형 무인시설 출입 관리장치 및 그 방법은 등록된 사람에 대한 출입을 허용하되, 등록정보가 일치하는지 확인하고 복수의 사람을 각각 인식하여 미등록자가 포함된 경우 별도의 출입허가를 받도록 함으로써 미등록자의 출입을 제한하여 보안을 강화하고 출입자를 쉽게 관리할 수 있다.
본 발명은 게이트에서의 얼굴인식과 실내 공간에 대한 사람인식을 이중으로 진행하여, 게이트를 통과한 사람에 대하여 실내 공간 내에서의 움직임을 감지하고, 진출입자의 수를 통해 잔여인원을 확인하여 출입이 허가되지 않은 사람의 출입을 검출하고, 실내 공간 내에서 특정 영역에 대한 접근을 제한하여 실내 공간에 대하여 관리 할 수 있다.
본 발명은 일 측면에 따르면, 영상을 기반으로 얼굴을 인식하여 등록여부를 확인하되, 얼굴인식을 통해 등록자가 확인된 경우, 영상을 비식별 처리하여 개인정보를 보호할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 구성이 도시된 도이다.
도 2 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 제어 구성이 간략하게 도시된 블록도이다.
도 3 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 영상을 이용한 사람인식을 설명하는 데 참조되는 도이다.
도 4 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 얼굴인식을 설명하는데 참조되는 도이다.
도 5 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 얼굴인식을 통한 게이트 제어를 설명하는 데 참조되는 도이다.
도 6 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 동선 감시를 설명하는 데 참조되는 도이다.
도 7 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 등록자에 대한 비식별 처리 영상이 도시된 예시도이다.
도 8 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 출입 관리방법이 도시된 순서도이다.
도 9 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 동선 감시방법이 도시된 순서도이다.
이하, 첨부된 도면들을 참조하여 본 발명을 설명하도록 한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 구성이 도시된 도이다.
도 1에 도시된 바와 같이, 영상기반 지능형 무인시설 출입 관리장치는, 복수의 카메라(121, 122)를 포함하고 영상을 이용하여 출입을 제어하고 실내 공간(A)에 잔류하는 인원을 관리하는 관리장치(100)를 포함한다.
또한, 관리장치(100)는 관리장치(100)로부터 수신되는 데이터에 대응하여 실제 게이트를 구동하고 실내 공간(A)에 대한 침입을 감지하는 보안시스템(200)과 연동하여 동작한다.
관리장치(100)는 게이트(10)에 설치되는 제 1 카메라(121), 실내 공간(A)에 설치되는 제 2 카메라(122)를 포함하여 제 1 카메라(121) 및 제 2 카메라(122)를 통해 촬영되는 영상을 분석하여, 사람 및 얼굴을 인식하고 게이트의 개폐를 제어한다.
관리장치(100)는 제 1 카메라(121) 및 제 2 카메라(122)로부터 촬영되는 영상을 분석하여 사람을 인식하고, 인식된 사람(51 내지 53)의 얼굴을 인식하며, 인식된 사람이 기 등록자인지 여부를 판단하여 게이트(10)의 개폐를 제어한다.
관리장치(100)는 제 1 카메라(121)를 통해 접근하는 사람(50)을 감지하고, 감지된 사람이 일정거리 내에 접근하면 영상으로부터 사람의 얼굴을 인식한다.
관리장치(100)는 얼굴인식을 통해, 데이터베이스로부터 인식된 얼굴과 매치되는 데이터를 검색하여, 출입권한을 갖는 등록자인지 여부를 확인한다. 출입관리장치는 등록자인 경우 출입 가능하도록 게이트(10)를 오픈하고, 미등록자인 경우 게이트(10)를 닫힌상태로 유지하고 출입불가에 대한 경고를 출력한다.
관리장치(100)는 제 2 카메라(122)를 통해 실내 공간(A)을 촬영하며 실내 공간에 위치하는 적어도 하나의 사람(50)을 인식한다.
관리장치(100)는 게이트(10)를 통해 실내 공간(A)에 진입한 사람(51 내지 53)에 대하여, 움직임을 추적하여 동선을 판단한다. 관리장치는 감지되는 사람의 동선을 바탕으로 내부로 진입하는지 게이트를 통해 외부로 나가는지 판단한다.
또한, 관리장치(100)는 실내 공간(A)에 적어도 하나의 영역을 설정하여, 해당 영역에 위치하는 사람을 인식하여 그 움직임을 추적함으로써, 접근 금지 영역에 접근하는 사람을 감지하여 경고를 출력할 수 있다. 출입 관리장치는 접근 금지 영역에 접근하는 사람이 감지되면 기 등록된 연락처를 기반으로 담당자(관리자)에게 통보한다.
관리장치(100)는 게이트(10)를 통해 진입하는 인원의 수를 카운트하고, 게이트(10)를 통해 외부로 나가는 인원의 수를 각각 카운트하여, 실내 공간(A) 내의 잔여인원을 카운트하여 모든 인원이 나간 경우 보안감시상태로 전환할 수 있다.
보안시스템(200)은 수신되는 제어부(110)의 제어명령에 대응하여 게이트(10)가 열리거나 닫히도록 구동을 제어한다. 또한, 보안시스템(200)은 관리장치(100)에 의해 무장이 설정되면, 등록자 여부에 관계없이 게이트(10)를 잠금설정하여 모든 출입을 제한할 수 있다. 또한, 보안시스템(200)은 무장 설정 시, 게이트(10) 또는 창문에 차단막을 자동으로 설치할 수 있다.
실내 공간(A)의 내부 및 외부에 대하여 침입자를 감지하고 경찰서 등의 관련 기관으로 자동으로 신고하도록 구성된다. 보안시스템(200)은 화재 등을 감지하여 차단벽을 활성화하고, 스프링클러가 자동으로 작동하도록 한다.
도 2 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 제어 구성이 간략하게 도시된 블록도이다.
도 2에 도시된 바와 같이, 관리장치(100)는 카메라부(120), 영상처리부(130), 영상인식부(140), 위치추적부(150), 데이터부(180), 통신부(170), 입출력부(190), 감지부(160) 및 제어부(110)를 포함한다.
영상처리부(130), 영상인식부(140), 위치추적부(150) 및 제어부(110)는 각각 적어도 하나의 마이크로 프로세서로 구성될 수 있다.
통신부(170)는 복수의 통신모듈을 포함하여, 제어부(110)의 제어명령에 따라 유선 또는 무선으로 통신한다.
통신부(170)는 제 1 카메라(121) 및 제 2 카메라(122)와 유선 또는 무선으로 연결되어, 제 1 카메라(121) 및 제 2 카메라(122)로 제어명령을 전송하고, 촬영된 영상을 수신한다.
통신부(170)는 경고 발생 시, 기 등록된 담당자에게 경고 또는 상태정보를 전송한다. 통신부(170)는 메시지, 이메일, 전화 중 적어도 하나의 방법으로 담당자에게 경고 또는 상태정보를 전송할 수 있다.
통신부(170)는 데이터베이스(DB)와 연결되어 데이터를 송수신하고, 보안시스템(200)과 연결되어 제어명령을 전송하여 게이트(10)가 개폐되도록 한다. 또한, 통신부(170)는 외부의 서버와 연결되어 주변 정보를 수신할 수 있다.
경우에 따라 통신부(170)는 외부의 분석서버(미도시)와 연결되어, 영상 데이터에 대한 딥러닝 기반 학습모델을 바탕으로, 영상 분석을 요청할 수 있다.
데이터부(180)는 카메라부(120)로부터 수신되는 영상 데이터를 저장한다.
데이터부(180)는 등록자에 대한 이름, 연락처 및 소속 등의 데이터, 등록자에 대한 인식결과, 등록자의 출입과 관련하여 진입시간과 진출시간을 기록하고, 실내 공간(A)에 설정된 특정 영역에 대한 접근 여부에 대한 데이터를 저장한다.
데이터부(180)는 영상을 분석하기 위한 데이터, 얼굴을 인식하기 위한 얼굴인식 데이터, 영상으로부터 사람을 인식하기 위한 데이터, 얼굴인식용 프로그램 또는 알고리즘 데이터, 실내 공간(A)에 설정된 영역정보, 기준선 정보, 및 설정데이터를 저장한다.
데이터부(180)는 롬(ROM), 램(RAM), 비휘발성 메모리, 플래시메모리, SSD, HDD 등 적어도 하나의 저장장치를 포함한다.
입출력부(190)는 버튼, 스위치 및 터치패드 중 적어도 하나의 입력수단을 포함하고, 디스플레이, 램프 및 스피커 중 적어도 하나의 출력수단을 포함한다.
입출력부(190)는 카메라부(120)를 통해 촬영되는 영상, 또는 비식별 처리된 영상을 출력한다. 입출력부(190)는 영상을 이용한 사람인식 또는 얼굴인식과 관련하여 진행상황과 인식결과를 실시간으로 출력할 수 있다.
입출력부(190)는 실내 공간(A)에 소정의 영역을 설정하거나, 게이트(10)를 통해 진입하는 사람에 대하여 진출입을 판단하기 위한 기준선을 설정할 수 있다.
또한, 입출력부(190)는 제어부(110)의 제어명령에 대응하여, 안내 또는 경고를 출력한다. 예를 들어 입출력부(190)는 얼굴인식 결과, 등록여부, 출입불가에 대한 경고를 출력할 수 있다. 입출력부(190)는 안내메시지, 경고메시지, 경고음, 경고등 및 음성안내 중 적어도 하나를 조합하여 경고를 출력할 수 있다.
감지부(160)는 복수의 센서를 포함한다. 감지부(160)는 초음파, 레이저, 적외선 등을 이용한 접근금지 또는 거리측정을 수행하고, 실내 공간(A)에서의 온도 및 습도를 감지하며, 또한, 화재를 감지한다.
카메라부(120)는 복수의 카메라(171, 172)를 포함하여 영상을 촬영한다. 카메라부(120)는 게이트(10)에 설치되는 제 1 카메라(121)와, 실내 공간(A)에 설치되는 제 2 카메라(122)를 포함한다. 제 2 카메라(122)는 CCTV 카메라인 것을 예로 하여 설명한다.
제 1 카메라(121)는 게이트(10)에 설치되며 실내 공간(A)의 반대 측을 향해 설치되어 영상을 촬영한다. 제 1 카메라(121)는 실내 공간(A) 또는 게이트(10)로 접근하는 사람을 영상으로 촬영한다.
제 1 카메라(121)에는 촬영된 영상이 표시되는 디스플레이(미도시)가 설치된다. 디스플레이에는 제 1 카메라(121)의 실시간 영상이 표시되고, 얼굴인식 결과와 게이트 개폐여부에 대한 안내 또는 경고가 표시된다.
제 2 카메라(122)는 실내 공간(A)의 천장에 게이트(10)로부터 일정 거리 떨어진 위치에 게이트(10)를 향해 설치되어 영상을 촬영한다. 제 2 카메라(122)는 실내 공간(A)내의 바닥면에 설정된 기준선(12)의 상부에 설치될 수 있다. 경우에 따라 제 2 카메라(122)는 기준선(12)으로부터 내측 방향 천장에 설치되어 기준선(12)으로 포함한 영상을 촬영할 수 있다.
또한, 제 2 카메라(122)는 180 내지 360도 회전하는 회전구동부가 구비되어, 게이트(10) 뿐 아니라 실내 공간(A)을 일정시간 단위로 회전하면서 영상을 촬영할 수 있다.
카메라부(120)는 촬영된 영상을 제어부(110)로 인가하고, 영상데이터를 데이터부(180)에 저장한다.
영상처리부(130)는 카메라의 영상신호를 일정 포맷의 영상데이터로 변환한다. 영상처리부(130)는 영상일 필터링하고, 노이즈를 제거할 수 있다.
영상처리부(130)는 제어부(110)의 제어명령에 대응하여 등록자의 영상을 비식별 처리한다. 영상처리부(130)는 얼굴인식이 완료된 등록자의 이미지 중 얼굴에 대하여 모자이크 처리하여 영상을 변환하거나, 얼굴부분에 이미지 블러 등 선명도를 저하 시켜 등록자의 얼굴을 식별할 수 없도록 영상을 변환한다.
영상인식부(140)는 영상처리부(130)에 의해 전처리된 데이터를 분석하여 사람의 형상을 검출하여 사람을 인식하고, 떠한 영상으로부터 영상을 검출하여 얼굴 인식을 수행한다. 영상인식부(140)는 등록자에 대한 얼굴인식 데이터를 바탕으로 특징점을 추출하여 영상의 데이터와 매칭되는 등록자 정보를 탐색한다.
영상인식부(140)는 딥러닝 기반으로 영상에서 얼굴을 검출하고, 얼굴의 특징점을 추출하여 등록자 데이터와 매칭할 수 있다. 영상처리부(130)는 영상을 일정 크기 단위로 분할하여 기 저장된 데이터와 비교하고, 또는 딥러닝 기반 학습을 통해 영상으로부터 소정의 패턴이나, 기준 데이터와 사이한 지점에 대한 영역을 검출한다.
또한, 영상인식부(140)는 통신부(170)를 통해 영상데이터를 외부의 분석서버로 전송하여 영상데이터에 대한 분석결과를 수신할 수 있다.
위치추적부(150)는 사람 인식결과를 바탕으로 인식된 사람의 위치를 산출하고 인식된 사람의 움직임에 대하여 그 위치를 추적한다.
위치추적부(150)는 기준선(12)을 기준으로, 기준선을 통화난 사람의 모션 벡터를 추출하여 방향성을 판단한다.
위치추적부(150)는 기준선(12)을 기준으로 게이트(10)로 향해 이동하는 사람과, 게이트(10)로부터 기준선(12)을 넘어 실내 공간(A)의 내측으로 이동하는 사람을 구분하여, 퇴소자와 재실자를 구분한다.
제어부(110)는 사람인식 및 얼굴인식 결과를 수신하여 게이트의 오픈 여부를 결정한다. 제어부(110)는 1명의 얼굴인식된 사람이 등록자인지 판단하여 게이트(10)가 열리도록 통신부(170)를 통해 보안시스템(200)으로 데이터는 전송한다.
제어부(110)는 사람인식을 통해 복수의 사람이 인식된 상태에서 얼굴인식결과 미등록자가 포함된 경우, 별도의 진입 허가를 받도록 한다. 제어부(110)는 기 등록된 담당자와 연결하여 진입 허가가 있는 경우 게이트(10)를 오픈하고, 진입 허가가 없는 경우 게이트(10)를 닫은 상태로 유지하면서 경고를 생성하여 입출력부(190)를 출력하도록 한다.
제어부(110)는 위치추적부(150)의 판단결과를 바탕으로 실내 공간(A)내에 잔류하는 인원을 카운트 한다.
제어부(110)는 기준선(12)을 중심으로 퇴소자와 진입자를 구분하여 각각 카운트 한다. 제어부(110)는 일정 시간 경과 후 모든 인원이 퇴소하도록 안내를 출력한다.
또한, 제어부(110)는 게이트(10) 오픈 시, 제 1 카메라(121)를 통해 얼굴인식이 완료된(등록자) 인원과, 게이트(10)를 통해 진입하는 인원이 차이가 있는 경우 경고를 생성하여 출력하도록 한다.
제어부(110)는 실내 공간(A)에 접근 금지 영역이 설정된 경우, 접근 금지 영역으로의 움직임을 감지하여 경고를 생성하여 출력하고, 필요에 따라 보안시스템(200)을 통해 보안 요원이 출동하거나 접근 금지 영역에 차단막 등의 보안시설이 작동하도록 할 수 있다.
제어부(110)는 출입자 기록을 생성하여 데이터부(180)에 저장한다. 제어부(110)는 얼굴인식된 등록자의 개인정보, 진입시간, 퇴소시간, 실내 공간(A)에서의 움직임, 예를 들어 접근 금지 영역에 대한 접근 여부를 포함하는 출입자 기록을 저장한다.
또한, 제어부(110)는 데이터부(180)에 저장된 데이터는 일정시간 간격으로 외부의 데이터베이스(미도시)에 이동하여 저장되도록 할 수 있다.
제어부(110)는 영상인식부(140)의 얼굴인식결과를 바탕으로, 매칭되는 등록자의 정보가 화면에 표시되도록 하고, 얼굴인식 결과가 게이트 개폐 여부에 대한 데이터를 입출력부(190)를 통해 출력한다. 제어부(110)는 경고 또는 안내를 메시지, 경고음, 경고등 중 적어도 하나의 조합으로 출력되도록 입출력부(190)를 제어한다.
도 3 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 영상을 이용한 사람인식을 설명하는 데 참조되는 도이다.
도 3의 (a)에 도시된 바와 같이, 제 1 카메라(121) 및 제 2 카메라(122)는 영상을 촬영하고, 영상인식부(140)는 영상처리부(130)에 의해 전처리된 영상(210)으로부터 사람(211)을 인식한다.
영상인식부(140)는 사람의 형상을 검출하고, 제어부(110)는 도 3의 (a)에 도시된 바와 같이, 인식된 사람별로 인식됨을 알리는 박스가 표시되도록 한다.
영상인식부(140)는 사람을 검출하고, 위치추적부(150)는 각각 인식된 사람의 위치를 산출하고 그 움직임을 추출한다.
제어부(110)는 영상인식부(140)는 사람인식과 위치추적부(150)의 인식된 사람의 움직임을 결합하여, 실내 공간(A)으로 접근하는지 또는 실내 공간(S) 내에서의 움직임에 대한 정보를 입출력부(190)를 통해 출력한다.
제어부(110)는 도 3의 (b)에 도시된 바와 같이, 진입자의 수(222)와 퇴소자(예정자)의 수(223)가 화면에 영상(220)과 함께 표시되도록 한다.
또한, 제어부(110)는 영상인식부(140)에 의해 얼굴인식이 완료되면 해당 등록자의 얼굴인식 결과를 도 3의 (c)에 도시된 바와 같이, 화면에 영상(230)과 함께 표시한다. 제어부(110)는 얼굴인식이 완료된 등록자에 대하여, 이름과 소속이 표시되도록 한다.
도 4 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 얼굴인식을 설명하는데 참조되는 도이다.
도 4의 (a)에 도시된 바와 같이, 영상인식부(140)는 영상을 기반으로 영상에 촬영된 사람(251)을 검출한 후, 검출된 사람에 대하여 얼굴의 형상을 검출하여 얼굴인식을 수행한다.
영상처리부(130)는 영상을 일정 크기 단위로 분할하여 얼굴의 특징점을 추출하고, 등록자 데이터와 비교하여 매칭되는 등록자를 추출할 수 있다. 영상처리부(130)는 딥러닝 기반 학습을 통해 영상으로부터 소정의 패턴이나, 기준 데이터와 사이한 지점에 대한 영역을 검출하여 얼굴을 인식할 수 있다.
제어부(110)는 영상인식부(140) 및 위치추적부(150)의 데이터를 기반으로, 얼굴인식 결과 등록자로 판단되는 경우, 인식완료 및 게이트(10)의 오픈에 대한 안내를 생성하여 입출력부(190)를 통해 출력되도록 한다.
제어부(110)는 등록자인 경우 해당 영상의 어느 일측에 '등록'에 대한 안내(252)가 표시되도록 한다.
도 4의 (b)에 도시된 바와 같이, 영상에 복수의 사람이 포함된 경우, 영상인식부(140)는 복수의 사람(261 내지 263)을 각각 개별 인식하고, 각 사람의 얼굴을 인식한다.
영상인식부(140)는 얼굴인식결과를 바탕으로, 등록자와 미등록자를 구분한다.
제어부(110)는 등록자와 미등록자를 구분하여 각각 정보(262, 263, 264)를 표시한다.
또한, 제어부(110)는 영상인식부(140) 및 위치추적부(150)의 데이터를 기반으로, 권한이 없는 사람의 출입시도, 무단출입자가 감지되는 경우, 접근 금지 영역으로의 접근이 감지되는 경우, 침입감지에 대하여 경고를 생성하여 입출력부(190)를 통해 출력한다.
도 5 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 얼굴인식을 통한 게이트 제어를 설명하는 데 참조되는 도이다.
도 5의 (a)에 도시된 바와 같이, 제 1 카메라(121)는 게이트(10)에 접근한 사람을 영상으로 촬영하고, 촬영된 영상은 디스플레이의 화면(270)에 표시된다. 복수의 사람이 영상에 포함되는 경우, 영상인식부(140)는 복수의 사람을 감지하여 각각 얼굴인식을 수행한다.
영상인식부(140)는 각 사람의 얼굴을 인식하고, 제어부(110)는 인식결과를 화면(270)의 하단에 표시한다.
얼굴인식결과에 따라, 등록자 정보(272)에는 등록자의 인식된 얼굴 이미지, 소속, 이름, 및 인식결과가 표시된다.
한편, 복수의 사람 중에 미등록자가 포함된 경우, 미등록자 정보(273)가 화면의 하단, 등록자 정보(272)와 함께 표시된다. 미등록자 정보에는 미등록자의 얼굴 이미지와 인식결과가 표시된다.
또한, 복수의 사람이 검출된 상황에서 미등록자가 포함된 경우, 제어부(110)는 출입불가안내(274)를 화면에 출력하고, 게이트(10)를 오픈하지 않도록 한다.
제어부(110)는 미등록자가 포함된 경우, 기 설정된 연락처를 통해 담당자에게 별도의 출입 허가를 받도록 한다. 담당자에 의해 출입이 허가되면 게이트(10)를 오픈하도록 한다.
또한, 카메라를 통한 영상 촬영 시, 열화상 카메라를 더 포함하여 열화상 영상과 영상을 매칭하여 사람수를 확인하고, 그 위치에 따라 사람을 구분할 수 있다.
도면은 등록자와 미등록자에 대한 화면표시 기능을 설명하기 위해 참조된 것으로, 개인정보 보호를 위하여 등록여부와 관계없이 비식별처리하여 변환된 영상을 표시하였으나, 후술하는 바와 같이 등록자에 한하여 비식별 처리를 수행함을 명시한다.
도 5의 (b)에 도시된 바와 같이, 제 1 카메라(121)에 의해 영상이 촬영되면 영상을 디스플레이에 화면(280)으로 표시된다. 영상인식부(140)는 영상을 통해 복수의 사람을 감지하고, 영상인식부(140)는 감지된 사람의 얼굴을 인식한다.
영상으로부터 감지된 사람이 모두 등록자인 경우, 제어부(110)는 화면(280)의 하단에 등록자 정보(281)를 표시한다. 얼굴인식결과에 따라, 등록자 정보(281)에는 등록자의 인식된 얼굴 이미지, 소속, 이름, 및 인식결과가 표시된다.
또한, 인식된 사람이 모두 등록자인 경우 제어부(110)는 게이트(10)가 오픈되도록 보안시스템(200)으로 제어명령을 인가하고, 게이트의 오픈에 대한, 오픈안내(282)를 화면에 표시한다.
도 6 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 동선 감시를 설명하는 데 참조되는 도이다.
도 6에 도시된 바와 같이, 제 2 카메라(122)는 실내 공간(A)을 촬영한다. 제 2 카메라(122)는 게이트(10)와 기준선(12)을 포함하는 영역을 촬영한다. 경우에 따라 별도의 영역이 설정되면, 설정된 영역을 촬영할 수 있다.
제 2 카메라(122)는 실내 공간(A) 내에 설정된 가상의 기준선(12)을 중심으로 영상을 촬영한다. 또한, 제 2 카메라(122)는 게이트(10)를 통한 출입을 감지할 수 있도록 배치된다.
영상인식부(140)는 제 2 카메라(122)를 통해 촬영된 영상을 분석하여, 사람을 인식한다.
영상인식부(140)는 제 2 카메라(122)의 영상을 분석하여 게이트(10)를 통해 진입하는 사람을 인식한다.
제어부(110)는 게이트(10)의 오픈 시점을 기준으로, 제 1 카메라(121)의 영상을 통해 인식된 사람과, 제 2 카메라(122)의 영상을 통해 게이트(10)를 통해 진입한 사람을 비교하여, 그 수가 동일한지 확인한다.
제어부(110)는 제 1 카메라(121)의 영상을 통해 인식된 사람의 수와, 제 2 카메라(122)의 영상을 통해 인식된 사람의 수가 불일치하는 경우, 불법침입으로 판단하여 경고를 생성한다. 경고는 입출력부(190)를 통해 출력되도록 한다.
예를 들어 제어부(110)는 게이트(10)의 오픈 시점을 기준으로, 게이트 오픈전에 제 1 카메라(121)를 통해 세명의 등록자를 확인하고, 게이트가 오픈된 상태에서, 제 2 카메라(122)를 통해 네명의 진입이 감지되면, 인원 불일치에 따라 미등록자의 불법침입으로 판단한다.
위치추적부(150)는 영상인식부(140)를 통해 인식된 사람의 위치를 산출하고, 움직임을 감지하여 동선을 추적한다. 위치추적부(150)는 인식된 사람들의 이동방향을 기준선(12)을 중심으로 판단한다.
위치추적부(150)는 기준선(12)을 중심으로, 기준선(12)을 통과하여 게이트(10)를 향해 제 1 방향(A1)으로 이동하는 사람들(58)과, 기준선(12)을 통과하여 실내 공간(A)의 내측, 즉 게이트(10)의 반대편을 향해 제 2 방향(A2)로 이동하는 사람들(59)을 구분한다.
제어부(110)는 영상인식부(140)에 의해 감지되는 사람(들)에 대하여, 위치추적부(150)의 판단결과를 바탕으로, 게이트(10)를 통해 실내 공간 내부로 진입하는, 제 2 방향(A2)으로 이동하는 사람들을 진입자로 판단하여 카운트 한다. 제어부(110)는 제 1 방향(A1)으로 이동하는 사람들(58)을 퇴소자로 판단하여 게이트(10)를 통해 외부로 나가는 퇴소자를 카운트한다.
제어부(110)는 진입자와 퇴소자의 수를 바탕으로 실내 공간(A)에 잔류하고 있는 잔류인원을 산출한다.
제어부(110)는 잔류인원이 0이 되고 일정 시간이 경과하면, 보안시스템(200)으로 무장명령을 인가하고, 그에 따라 보안시스템(200)은 등록 여부에 관계없이 외부로부터의 진입을 차단하고 침입감지를 수행한다.
또한, 제어부(110)는 실내 공간(A) 내에, 별도의 출입금지 영역이 설정된 경우, 영상인식부(140) 및 위치추적부(150)를 통해 출입 금지 영역으로 접근하는 사람이 감지되면, 접근 금지에 대한 경고를 생성하여 입출력부(190)를 통해 출력한다.
제어부(110)는 경고가 출력된 후에도, 접근하는 계속 접근하는 경우 경보를 발생시키고 보안시스템(200)을 통해 차단막이 동작하도록 할 수 있다. 경우에 따라 외부로부터 보안인원이 출동하도록 설정할 수 있다.
도 7 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 등록자에 대한 비식별처리 영상이 도시된 예시도이다.
도 7에 도시된 바와 같이, 제어부(110)는 영상인식부(140)로부터 얼굴인식이 완료된 등록자에 대하여, 개인정보를 보호하기 위하여 영상처리부(130)를 통해 비식별처리를 수행한다.
제어부(110)는 등록자의 경우 얼굴인식을 통해 출입권한을 확인하였고, 비식별처리 후에도 동선은 추적할 수 있으므로, 비식별처리를 통해 개인정보를 보호할 수 있도록 한다.
영상처리부(130)는 제어부(110)의 제어명령에 대응하여, 얼굴인식이 완료된 등록자(291)에 대하여, 영상으로부터 얼굴영역(292)을 비식별 처리한다. 영상처리부(130)는 등록자의 영상에서 얼굴영역을 모자이크 하거나, 블러 처리하여 식별하기 어렵도록 변경하고 변경된 영상을 저장한다.
한편, 영상처리부(130)는 미등록자는 얼굴영상이 그대로 표시되도록 하고, 미등록자 중 출입이 허가된 사람 또한, 얼굴영상이 표시되도록 한다.
또한, 영상처리부(130)는 비식별 처리된 얼굴영역에 테두리를 설정하고 테두리 색상을 상이하게 설정하고 그룹별로 구분 가능하도록 설정할 수 있다.
도 8 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 출입 관리방법이 도시된 순서도이다.
도 8에 도시된 바와 같이, 관리장치(100)는 제 1 카메라(121)를 통해 게이트(10)의 주변 영상을 촬영하고, 영상인식부(140)는 영상으로부터 사람을 검출하여 게이트(10)에 접근 하는 사람을 감지한다(S310). 또한, 감지부(160)를 센서를 통해 사람의 접근을 감지할 수 있다
영상인식부(140)는 영상으로부터 감지되는 사람이 일정 거리 내로 접근하면, 얼굴을 인식한다(S320). 영상인식부(140)는 영상으로부터 얼굴 영역을 검출하고, 얼굴 영역을 분석하여 특징을 추출한 후, 기 등록된 사람의 이미지 데이터 및 특징데이터와 비교하여 매칭되는 등록자가 존재하는지 판단한다(S330).
영상인식부(140)는 매칭되는 데이터가 존재하는 경우 등록자로 판단하고, 매칭되는 데이터가 존재하지 않는 경우 미등록자로 구분하여 인식결과를 생성한다.
제어부(110)는 인식결과를 바탕으로, 매칭된 등록자에 대한 정보를 화면에 표시한다. 또한, 제어부(110)는 얼굴인식에 따른 등록자 여부를 표시하고, 등록자에 대한 소속, 이름, 이미지, 인식결과가 화면에 표시되도록 한다.
영상에 복수의 사람이 촬영된 경우, 영상인식부(140)는 복수의 사람 각각에 대하여 얼굴인식을 수행하여 인식결과를 생성한다.
제어부(110)는 인식결과를 바탕으로, 영상에 촬영된 복수의 사람 중 미등록자가 포함되어 있는지 여부를 판단한다(S340).
제어부(110)는 감지된 사람이 모두 등록자인 경우, 게이트를 개방한다(S380). 제어부(110)는 보안시스템(200)으로 제어명령을 인가하고, 보안시스템(200)은 제어명령에 대응하여 게이트에 연결되는 구동부를 동작시켜 게이트(10)가 오픈되도록 한다.
한편, 제어부(110)는 미등록자가 포함된 경우 복수의 사람이 모두 미등록자인지 여부를 확인한다(S350).
제어부(110)는 복수의 사람 중 일부가 미등록자인 경우, 기 등록된 연락처를 통해 담당자에게 미등록자의 진입시도에 대한 알림을 생성하여 전송한다. 제어부(110)는 통신부(170)를 통해, SMS, MMS, LMS 등의 문자메시지, 음성메시지, 대화형 어플리케이션의 인스턴트 메시지 중 적어도 하나의 형태로 알림을 전송한다. 경우에 따라 전화연결을 시도할 수 있다.
제어부(110)는 담당자에 의해 출입이 허용되는지 여부를 판단한다(S370). 제어부(110)는 별도의 출입허용에 따른 명령이 입력되거나 수신되는 경우 미등록자에 대한 출입이 허용된 것으로 판단한다.
제어부(110)는 출입이 허용된 경우, 게이트(10)가 개방되도록 한다(S380).
제어부(110)는 복수의 사람이 모두 미등록자인 경우, 또는 일부 미등록자에 대하여 출입이 허용되지 않은 경우에 대하여, 게이트(10)를 개방하지 않고(S390), 미등록자에 대하여 경고를 생성하여 입출력부(190)를 통해 출력한다(S400).
게이트(10) 개방 후, 제 2 카메라(122)는 게이트(10)에 대한 영상을 촬영한다.
영상인식부(140)는 제 2 카메라(122)를 통해 촬영된 영상을 분석하여, 영상에 포함된 사람을 감지한다(S410). 영상인식부(140)는 게이트(10)로부터 일정 영역 내에 설정된 영역을 기준으로 사람을 인식할 수 있다.
영상인식부(140)는 게이트(10)를 통해 실내 공간(A)의 내부로 진입하는 진입자를 감지한다.
제어부(110)는 게이트(10)의 오픈전 제1 카메라(121)를 통해 감지된 사람의 수와 제 2 카메라(122)를 통해 촬영된 영상을 기반으로 게이트(10)를 통해 진입하는 사람의 수를 비교하여, 일치하는지 판단한다(S420).
제어부(110)는 보안시스템(200)에 무장을 해제하고(S430), 진입자에 대한 입소 완료로 처리한다(S440).
한편, 제어부(110)는 출입자와 인식된 사람수가 상이한 경우 무단출입에 대한 경고를 생성하여 출력하고(S450), 기 등록된 담당자에게 무단출입에 대한 알림을 전송한다(S460). 또한 제어부(110)는 무단출입에 대하여 보안시스템(200)으로 제어명령을 전송하여, 출입을 제한하도록 하고, 인접한 시설로부터 보안요원이 출동하도록 설정한다.
도 9 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 동선 감시방법이 도시된 순서도이다.
도 9에 도시된 바와 같이, 제 1 카메라(121)는 게이트(10)에 설치되어 영상을 촬영한다. 영상인식부(140)는 제 1 카메라(121)의 영상을 바탕으로 게이트(10)를 통해 출입하는 사람을 감지하고, 감지된 사람의 얼굴을 인식하여 등록자에 대한 인식결과를 생성한다(S520).
또한, 제 2 카메라(122)는 게이트(10)를 포함한 실내 공간(A)을 촬영한다.
영상인식부(140)는 제 2 카메라(122)의 영상을 분석하여 촬영된 영상에 포함된 사람을 인식한다(S530). 또한 영상인식부(140)는 영상으로부터 기 설정된 영역을 인식한다.
위치추적부(150)는 영상인식부(140)를 통해 인식된 사람에 대하여 움직임을 추적하여 실내 공간(A)내에 설정된 특정영역, 예를 들어 접근 금지 영역에 사람이 접근하는지 여부를 판단한다(S540). 위치추적부(150)는 특정영역에 인접한 사람이 특정영역을 향해 이동하는지, 다른 지점을 목표로 이동하는지 분석하여 특정영역에 대한 접근을 판단한다.
제어부(110)는 위치추적부(150)의 판단결과에 대응하여, 특정영역에 접근하는 사람이 존재하는 경우 경고를 생성하여 출력하고, 담당자에게 경고를 전송한다(S560). 또한, 제어부(110)는 보안시스템(200)을 통해 접근을 차단하거나 외부의 보안인원이 출동하도록 설정할 수 있다.
위치추적부(150)는 게이트(10)를 통해 진입하여 기준선(12)을 통과하는 사람에 대하여 진입자로 판단한다. 제어부(110)는 진입자의 수를 카운트 한다.
제어부(110)는 인식된 사람에 대하여, 게이트(10)로부터 일정거리 떨어진 위치에 설정된 기준선(12)을 중심으로, 기준선(12)을 통과하여 게이트(10)를 향해 이동하는 사람이 감지되면 퇴소자로 판단하여 그 수를 카운트한다(S570).
제어부(110)는 진입자의 수와 퇴소자의 수를 비교하여 실내 공간(A)에 대한 잔류인원을 카운트하고, 전원 퇴소했는지 여부를 판단한다(S580).
제어부(110)는 전원 퇴소하기 까지, 영상인식부(140) 및 위치추적부(150)를 통해 내부 인원의 동선을 파악하고, 특정 영역으로 접근하지 않도록 한다.
제어부(110)는 전원 퇴소 시, 자동으로 무장을 설정한다(S590). 제어부(110)는 무장 설정에 따른 제어명령을 보안시스템(200)으로 전송하고, 보안시스템(200)은 보안을 강화하여 등록자에 관계없이 출입을 제한하고, 무단출입에 대하여 감시한다.
따라서 본 발명은 영상을 이용하여 복수의 사람이 감지되는 경우 복수의 사람에 대하여 각각 얼굴을 인식하여 출입자를 판단하여 미등록자의 출입을 제한하며, 게이트의 출입자와 실내 공간에 진입하는 사람을 비교하여 무단출입을 검출함으로써, 무인시설에 대한 출입을 관리하고, 전원퇴소 시 자동으로 무장을 설정하여 침입을 감지하도록 한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.
10: 게이트 12: 기준선
100: 관리장치 110: 제어부
120: 카메라부 121: 제 1 카메라
122: 제 2 카메라 130: 영상처리부
140: 영상인식부 150: 위치추적부
160: 감지부 170: 통신부
180: 데이터부 190: 입출력부
200: 보안시스템

Claims (19)

  1. 게이트에 설치되어 출입자의 영상을 촬영하는 제 1 카메라;
    실내 공간에 설치되어 상기 실내 공간에 대한 영상을 촬영하는 제 2 카메라;
    상기 제 1 카메라 및 상기 제 2 카메라로부터 촬영된 영상으로부터 사람을 감지하고, 감지된 사람의 얼굴을 인식하여 상기 출입자가 등록자인지 판단하여 인식결과를 생성하는 영상인식부; 및
    상기 영상인식부의 인식결과에 대응하여 등록자에 대하여 상기 게이트가 개방되도록 제어하고 미등록자의 출입을 제한하며, 상기 제 1 카메라의 영상을 통해 감지되는 상기 출입자의 수와 상기 제 2 카메라의 영상을 통해 인식된 사람의 수를 비교하여 무단출입을 검출하여 경고하는 제어부; 를 포함하는 출입 관리장치.
  2. 제 1 항에 있어서,
    상기 영상인식부는 상기 제 1 카메라의 영상에 포함되는 복수의 사람에 대하여 각각 얼굴을 인식하여 상기 인식결과를 생성하고,
    상기 제어부는 상기 인식결과를 바탕으로 상기 복수의 사람이 모두 등록자인 경우 상기 게이트가 개방되도록 하고,
    상기 복수의 사람 중 미등록자가 포함된 경우 출입을 제한하는 것을 특징으로 하는 출입 관리장치.
  3. 제 2 항에 있어서,
    상기 제어부는 상기 복수의 사람 중 미등록자가 포함된 경우, 별도의 출입 허가를 절차를 수행하여 출입이 허가되면 상기 게이트가 개방되도록 하고,
    상기 미등록자에 대한 출입이 허가되지 않거나 또는 상기 복수의 사람이 모두 미등록자인 경우 출입을 금지하고 경고를 출력하는 것을 특징으로 하는 출입 관리장치.
  4. 제 1 항에 있어서,
    상기 제어부는 상기 게이트가 개방되는 시점을 기준으로, 상기 제 1 카메라의 영상을 통해 감지되는 상기 출입자의 수와, 상기 제 2 카메라의 영상을 통해 감지되는 상기 게이트를 통과하는 사람의 수를 비교하여 일치하지 않는 경우 무단 침입으로 판단하여 경고를 생성하는 것을 특징으로 하는 출입 관리장치.
  5. 제 1 항에 있어서,
    상기 영상인식부를 통해 감지된 사람의 움직임을 추적하여 동선을 판단하는 위치추적부; 를 더 포함하고,
    상기 위치추적부는 상기 실내 공간에 설정된 가상의 기준선을 기준으로, 상기 기준선을 통과하는 사람의 모션 벡터를 추출하여 방향성을 판단하여 진입자와 퇴소자를 구분하는 것을 특징으로 하는 출입 관리장치.
  6. 제 5 항에 있어서,
    상기 위치추적부는 상기 실내 공간 내에 설정된 기준선을 중심으로, 상기 기준선을 통과하여 상기 게이트를 향해 이동하는 사람을 상기 퇴소자로 판단하고, 상기 게이트로부터 상기 기준선을 통과하여 상기 실내 공간으로 이동하는 사람을 상기 진입자로 판단하는 것을 특징으로 하는 출입 관리장치.
  7. 제 5 항에 있어서,
    상기 제어부는 상기 진입자와 상기 퇴소자의 수를 각각 카운트하여 상기 실내 공간 내에 잔류하는 인원의 수를 판단하는 것을 특징으로 하는 출입 관리장치.
  8. 제 5 항에 있어서,
    상기 제어부는 상기 진입자와 상기 퇴소자의 수를 바탕으로 잔류인원이 0명인 경우 무장을 설정하여, 상기 실내 공간에 대한 침입을 감시하도록 보안시스템을 제어하는 것을 특징으로 하는 출입 관리장치.
  9. 제 5 항에 있어서,
    상기 위치추적부는, 상기 실내 공간에 설정된 접근 금지 영역에 대한 접근을 감지하고,
    상기 제어부는 상기 위치추적부에 의한 접근 감지 시, 경고를 생성하여 출력하고 보안시스템을 통해 접근을 차단하는 것을 특징으로 하는 출입 관리 장치.
  10. 제 6 항에 있어서,
    상기 제 1 카메라 및 상기 제 2 카메라의 영상을 일정 형식의 영상데이터로 변환하는 영상처리부; 를 더 포함하고,
    상기 영상처리부는 상기 제어부로부터 비식별처리에 대한 제어명령이 인가되면, 상기 제 1 카메라의 영상 및 상기 제 2 카메라의 영상에 대하여 상기 등록자의 얼굴영역을 모자이크 또는 블러 처리하여 얼굴을 식별할 수 없도록 변경된 영상데이터를 생성하는 것을 특징으로 하는 출입 관리장치.
  11. 게이트에 설치된 제 1 카메라가 출입자의 영상을 촬영하는 단계;
    실내 공간에 설치된 제 2 카메라가 상기 실내 공간에 대한 영상을 촬영하는 단계;
    상기 제 1 카메라의 영상으로부터 상기 출입자의 얼굴을 인식하여 등록자 인지 여부를 판단하여 인식결과를 생성하는 단계;
    상기 출입자가 등록자인 경우 게이트를 개방하여 출입을 허용하고, 미등록자의 출입을 제한하도록 상기 게이트를 제어하는 단계;
    상기 제 2 카메라의 영상으로부터 상기 게이트를 통과하는 사람을 감지하는 단계;
    상기 출입자의 수와 상기 게이트를 통과하는 사람의 수를 비교하여 무단출입을 검출하는 단계; 및
    상기 무단출입이 검출되면, 경고를 생성하여 출력하는 단계; 를 포함하는 출입 관리장치의 동작방법.
  12. 제 11 항에 있어서,
    상기 인식결과를 생성하는 단계;
    상기 제 1 카메라의 영상으로부터 복수의 사람이 감지되는 경우, 상기 복수의 사람에 대하여 얼굴을 개별 인식하는 단계;
    상기 영상의 얼굴영역을 분석하여 매칭되는 데이터가 존재하는 경우 등록자로 판단하고, 매칭되는 데이터가 존재하지 않는 경우 미등록자로 판단하여 얼굴인식에 대한 상기 인식결과를 생성하는 단계; 및
    상기 게이트의 디스플레이에 상기 등록자와 상기 미등록자를 구분하여 표시하는 단계; 를 더 포함하는 출입 관리장치의 동작방법.
  13. 제 12 항에 있어서,
    상기 게이트를 제어하는 단계는,
    상기 인식결과를 바탕으로 상기 복수의 사람이 모두 등록자인 경우 상기 게이트가 개방하는 단계;
    상기 복수의 사람이 모두 미등록자인 경우 출입을 제한하고, 경고를 출력하는 단계;
    상기 복수의 사람 중 상기 복수의 사람 중 미등록자가 포함된 경우, 기 등록된 담당자에게 출입 허가를 요청하는 단계; 및
    상기 미등록자에 대한 출입이 허가되면 상기 게이트를 개방하고, 상기 미등록자에 대한 출입이 허가되지 않으면 출입을 제한하고 경고를 출력하는 단계; 를 더 포함하는 출입 관리장치의 동작방법.
  14. 제 11 항에 있어서,
    상기 무단출입을 검출하는 단계는,
    상기 게이트가 개방되는 시점을 기준으로, 상기 제 1 카메라의 영상을 통해 감지되는 상기 출입자의 수와, 상기 제 2 카메라의 영상을 통해 감지되는 상기 게이트를 통과하는 사람의 수를 비교하여 일치하지 않는 경우 무단 침입으로 판단하는 것을 특징으로 하는 출입 관리장치의 동작방법.
  15. 제 11 항에 있어서,
    상기 인식결과를 바탕으로, 상기 등록자에 대하여 비식별처리를 설정하는 단계; 및
    상기 제 1 카메라의 영상 및 상기 제 2 카메라의 영상에 대하여 상기 등록자의 얼굴영역을 모자이크 또는 블러 처리하여 얼굴을 식별할 수 없도록 변경하는 단계; 를 더 포함하는 출입 관리장치의 동작방법.
  16. 제 11 항에 있어서,
    상기 제 2 카메라의 영상으로부터 상기 실내 공간에 존재하는 사람을 감지하는 단계; 및
    상기 실내 공간에 설정된 가상의 기준선을 기준으로, 상기 기준선을 통과하는 사람의 모션 벡터를 추출하여 방향성을 판단하는 단계; 를 더 포함하는 출입 관리장치의 동작방법.
  17. 제 16 항에 있어서,
    상기 실내 공간에 설정된 접근 금지 영역에 대한 접근을 감지하는 단계; 및
    상기 접근 금지 영역에 대한 접근 감지 시, 경고를 생성하여 출력하고 보안시스템을 통해 접근을 차단하는 단계; 를 더 포함하는 출입 관리 장치의 동작방법.
  18. 제 16 항에 있어서,
    상기 기준선을 중심으로, 상기 기준선을 통과하여 상기 게이트를 향해 이동하는 사람을 퇴소자로 판단하고, 상기 게이트로부터 상기 기준선을 통과하여 상기 실내 공간으로 이동하는 사람을 진입자로 판단하는 것을 특징으로 하는 출입 관리장치의 동작방법.
  19. 제 18 항에 있어서,
    상기 진입자의 수와 퇴소자의 수를 카운트 하는 단계;
    상기 진입자의 수와 상기 퇴소자의 수를 비교하여 상기 실내 공간에 존재하는 잔류인원을 확인하는 단계; 및
    상기 잔류인원이 0이 되면 자동으로 무장을 설정하여, 외부로부터의 침입을 감지하도록 보안을 강화하는 단계; 를 더 포함하는 출입 관리장치의 동작방법.
KR1020220011078A 2022-01-25 2022-01-25 영상기반 지능형 무인시설 출입 관리장치 및 그 방법 KR20230114650A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220011078A KR20230114650A (ko) 2022-01-25 2022-01-25 영상기반 지능형 무인시설 출입 관리장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220011078A KR20230114650A (ko) 2022-01-25 2022-01-25 영상기반 지능형 무인시설 출입 관리장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20230114650A true KR20230114650A (ko) 2023-08-01

Family

ID=87561747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220011078A KR20230114650A (ko) 2022-01-25 2022-01-25 영상기반 지능형 무인시설 출입 관리장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20230114650A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102266824B1 (ko) 2020-07-28 2021-06-18 주식회사 엠투에스 열영상을 활용한 비대면 무인 출입자 열영상 체온측정 시스템과 이를 활용한 비대면 무인 자동입소 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102266824B1 (ko) 2020-07-28 2021-06-18 주식회사 엠투에스 열영상을 활용한 비대면 무인 출입자 열영상 체온측정 시스템과 이를 활용한 비대면 무인 자동입소 방법

Similar Documents

Publication Publication Date Title
US20070268145A1 (en) Automated tailgating detection via fusion of video and access control
CA2481250C (en) Tailgating and reverse entry detection, alarm, recording and prevention using machine vision
US9679425B2 (en) Control and monitoring system and method for access to a restricted area
KR101387628B1 (ko) 출입 통제 통합 영상 저장 장치
KR101610657B1 (ko) 출입통제 데이터를 기반으로 하는 3차원 공간정보 출입통제 및 방역 시스템 및 방법
EP2075400B1 (en) Video monitoring system
KR101838858B1 (ko) 생체인식 기능을 이용한 출입통제 시스템 및 이를 이용한 출입구 제어방법
KR101218296B1 (ko) 출입관리시스템 및 방법
JP4728662B2 (ja) 入退場管理システム
JP5212839B2 (ja) 監視システム、及び監視方法
JP4357521B2 (ja) 不正通過者検出装置及びこれを利用した不正通過者録画システム
KR101858396B1 (ko) 지능형 침입 탐지 시스템
US20060225352A1 (en) Method and device for pass-through control and/or singling-out of persons
US20120169880A1 (en) Method and system for video-based gesture recognition to assist in access control
JP7075702B2 (ja) 入退室認証システムおよび入退室認証方法
JP2007303239A (ja) 認証装置、認証装置の制御方法、および認証装置の制御プログラム
KR101492799B1 (ko) 감시영역 입퇴실자 추적을 통한 출입 통제 기능을 가지는 출입 통제 통합 영상 저장 시스템 및 그 방법
KR101567005B1 (ko) 뒤따름 방지 기능을 갖는 출입통제 방법 및 시스템
JP2010211514A (ja) 侵入者監視システム
JP5170731B2 (ja) 通行監視システム
JP4617286B2 (ja) 不正通過者検出装置及びこれを利用した不正通過者録画システム
KR20180085337A (ko) 무단침입감지센서를 구비한 보안용 게이트 시스템
JP4493521B2 (ja) 出入管理装置
KR20190072323A (ko) 영상 감시 시스템 및 영상 감시방법
KR20190022602A (ko) 무단침입감지센서를 구비한 보안용 게이트 시스템