KR102906096B1 - Integrity entrance management apparatus using image and method for unmanned space - Google Patents

Integrity entrance management apparatus using image and method for unmanned space

Info

Publication number
KR102906096B1
KR102906096B1 KR1020220011078A KR20220011078A KR102906096B1 KR 102906096 B1 KR102906096 B1 KR 102906096B1 KR 1020220011078 A KR1020220011078 A KR 1020220011078A KR 20220011078 A KR20220011078 A KR 20220011078A KR 102906096 B1 KR102906096 B1 KR 102906096B1
Authority
KR
South Korea
Prior art keywords
person
image
gate
camera
people
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020220011078A
Other languages
Korean (ko)
Other versions
KR20230114650A (en
Inventor
김영준
윤창걸
박준범
Original Assignee
한국전력공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사 filed Critical 한국전력공사
Priority to KR1020220011078A priority Critical patent/KR102906096B1/en
Publication of KR20230114650A publication Critical patent/KR20230114650A/en
Application granted granted Critical
Publication of KR102906096B1 publication Critical patent/KR102906096B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00309—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated with bidirectional data transmission between data carrier and locks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/38—Individual registration on entry or exit not involving the use of a pass with central registration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

본 발명은 영상기반 지능형 무인시설 출입 관리장치 및 그 방법에 관한 것으로, 영상을 이용하여 출입자의 얼굴을 인식함으로써 등록여부를 판단하여 게이트를 제어하고, 영상으로부터 복수의 사람을 인식하는 경우 미등록자가 포함되는지 여부에 따라 출입을 제한하며, 실내 공간 내에서의 움직임을 추적하여 잔여인원을 관리함으로써, 미등록자의 출입을 제한하고 게이트에서의 얼굴인식과 실내 공간에 대한 사람인식을 이중으로 진행하여 무단출입을 검출할 수 있으며, 실내 공간 내에서의 동선 파악을 통해 실내 인원을 관리 할 수 있어 무인시설에 대한 보안을 강화하고 출입을 쉽게 관리할 수 있다.The present invention relates to a video-based intelligent unmanned facility access control device and method, which uses video to recognize the face of an entrant to determine whether or not he or she is registered and controls the gate, and when multiple people are recognized from the video, access is restricted depending on whether or not an unregistered person is included, and by tracking movements within an indoor space to manage the remaining number of people, access of unregistered people is restricted, and unauthorized entry can be detected by performing dual recognition of faces at the gate and recognition of people within an indoor space, and by identifying the movement path within the indoor space, the number of people within the indoor space can be managed, thereby strengthening the security of an unmanned facility and making it easy to manage access.

Description

영상기반 지능형 무인시설 출입 관리장치 및 그 방법{INTEGRITY ENTRANCE MANAGEMENT APPARATUS USING IMAGE AND METHOD FOR UNMANNED SPACE} Image-based intelligent unmanned facility access control device and method thereof {INTEGRITY ENTRANCE MANAGEMENT APPARATUS USING IMAGE AND METHOD FOR UNMANNED SPACE}

본 발명은 무인시설에서 영상을 이용하여 출입자의 등록여부를 확인하여 등록되지 않은 사람의 출입을 제한하고, 출입자의 동선을 감시하여 시설 내부의 잔여 인원을 관리하는 영상기반 지능형 무인시설 출입 관리장치 및 그 방법에 관한 것이다. The present invention relates to a video-based intelligent unmanned facility access control device and method thereof, which uses video to confirm whether an entrant is registered in an unmanned facility, restricts the entry of unregistered persons, and monitors the movement of entrants to manage the remaining personnel inside the facility.

영상인식기술이 발전함에 따라 지문이나 홍채를 이용한 출입관리는 물론 얼굴을 인식하여 등록자에 한하여 게이트가 열리도록 하고 출입을 기록하는 시스템이 널리 사용되고 있다. As image recognition technology advances, systems that use fingerprints or irises for access control, as well as facial recognition to open gates only for registered users and record entry and exit, are becoming widely used.

얼굴 인식을 통해 미리 등록된 대상에 한하여 게이트가 열리도록 구성됨에 따라 불특정 다수의 접근을 제한할 수 있어 시설에 대한 보안설비 및 관리가 용이하다는 장점이 있다. Since the gate is configured to open only for pre-registered individuals through facial recognition, it has the advantage of restricting access to unspecified numbers of people, making it easy to secure and manage the facility.

무인시설의 경우 출입자를 확인하는 경비원이 존재하지 않으므로, 영상을 이용하여 출입을 관리할 수 있다. In the case of unmanned facilities, there are no security guards checking entrants, so entry and exit can be controlled using video.

대한민국 등록특허 제10-2266824호는 열영상을 활용한 비대면 무인 출입자 열영상 체온측정 시스템과 이를 활용한 비대면 무인 자동입소 방법에 대하여 설명하고 있다. Korean Patent No. 10-2266824 describes a non-face-to-face unmanned thermal imaging body temperature measurement system using thermal imaging and a non-face-to-face unmanned automatic entry method using the same.

영상을 이용하여 자동으로 사람을 인식하여 출입을 제어하는 경우 별도의 인력을 투입하지 않더라도 출입관리가 가능한 이점이 있다. When access is controlled by automatically recognizing people using video, there is an advantage in that access control is possible without having to deploy separate personnel.

그러나 등록된 사람의 출입을 위하여 게이트가 열려있는 동안, 미등록자가 무단으로 출입하는 경우가 발생할 수 있다. However, while the gate is open for the entry of registered persons, there may be cases where unregistered persons enter without authorization.

무인시설의 경우 미등록자가 출입하더라도 이를 확인할 수 없으므로 보안상의 문제는 물론, 안전사고가 발생하는 문제가 있다. 또한, 미등록자의 출입을 기록할 수 없으므로, 시설 내부에 존재하는 인원을 관리할 수 없는 문제가 있다, Unmanned facilities pose security and safety risks, as unregistered individuals cannot be identified. Furthermore, the inability to record unregistered entry and exit creates a barrier to managing personnel within the facility.

영상을 이용한 영상을 이용하여 관리자가 직접 영상을 통해 확인하는 경우에는, 개인정보 유출 등의 문제가 있다. If the administrator directly checks the video using video, there are problems such as personal information leakage.

대한민국 등록특허 제10-2266824 호Republic of Korea Patent No. 10-2266824

본 발명은 상기와 같은 필요성에 의해 창출된 것으로서, 영상을 이용하여 출입자의 얼굴을 인식함으로써 등록여부를 판단하여 게이트를 제어하고, 한 번에 복수의 사람을 인식하는 경우 미등록자가 포함되는지 여부에 따라 출입을 제한하여 관리하며, 실내 공간 내에서의 움직임을 추적하여 잔여인원을 관리하는 영상기반 지능형 무인시설 출입 관리장치 및 그 방법을 제공하는 데 그 목적이 있다. The present invention was created due to the above-mentioned necessity, and its purpose is to provide a video-based intelligent unmanned facility access control device and method that recognizes the face of an entrant using video to determine whether or not he or she is registered and controls the gate, manages access by restricting whether or not an unregistered person is included when recognizing multiple people at once, and manages the remaining number of people by tracking movement within an indoor space.

상기한 목적을 달성하기 위하여 본 발명에 따른 영상기반 지능형 무인시설 출입 관리장치는, 게이트에 설치되어 출입자의 영상을 촬영하는 제 1 카메라; 실내 공간에 설치되어 상기 실내 공간에 대한 영상을 촬영하는 제 2 카메라; 상기 제 1 카메라 및 상기 제 2 카메라로부터 촬영된 영상으로부터 사람을 감지하고, 감지된 사람의 얼굴을 인식하여 상기 출입자가 등록자인지 판단하여 인식결과를 생성하는 영상인식부; 및 상기 영상인식부의 인식결과에 대응하여 등록자에 대하여 상기 게이트가 개방되도록 제어하고 미등록자의 출입을 제한하며, 상기 제 1 카메라의 영상을 통해 감지되는 상기 출입자의 수와 상기 제 2 카메라의 영상을 통해 인식된 사람의 수를 비교하여 무단출입을 검출하여 경고하는 제어부; 를 포함한다. In order to achieve the above object, the image-based intelligent unmanned facility access control device according to the present invention includes: a first camera installed at a gate to capture images of entrants; a second camera installed in an indoor space to capture images of the indoor space; an image recognition unit that detects a person from images captured by the first camera and the second camera, recognizes the face of the detected person, determines whether the entrant is a registered person, and generates a recognition result; and a control unit that controls the gate to open for registered persons in response to the recognition result of the image recognition unit, restricts entry of unregistered persons, and detects and issues a warning for unauthorized entry by comparing the number of entrants detected through the image of the first camera with the number of persons recognized through the image of the second camera.

상기 영상인식부는 상기 제 1 카메라의 영상에 포함되는 복수의 사람에 대하여 각각 얼굴을 인식하여 상기 인식결과를 생성하고, 상기 제어부는 상기 인식결과를 바탕으로 상기 복수의 사람이 모두 등록자인 경우 상기 게이트가 개방되도록 하고, 상기 복수의 사람 중 미등록자가 포함된 경우 출입을 제한하는 것을 특징으로 한다. The above image recognition unit recognizes the faces of each of a plurality of people included in the image of the first camera and generates the recognition result, and the control unit opens the gate if all of the plurality of people are registered based on the recognition result, and restricts entry if an unregistered person is included among the plurality of people.

상기 제어부는 상기 복수의 사람 중 미등록자가 포함된 경우, 별도의 출입 허가를 절차를 수행하여 출입이 허가되면 상기 게이트가 개방되도록 하고, 상기 미등록자에 대한 출입이 허가되지 않거나 또는 상기 복수의 사람이 모두 미등록자인 경우 출입을 금지하고 경고를 출력하는 것을 특징으로 한다. The control unit is characterized in that, if an unregistered person is included among the plurality of people, a separate entry permission procedure is performed, and if entry is permitted, the gate is opened, and if entry is not permitted for the unregistered person or if all of the plurality of people are unregistered, entry is prohibited and a warning is output.

상기 제어부는 상기 게이트가 개방되는 시점을 기준으로, 상기 제 1 카메라의 영상을 통해 감지되는 상기 출입자의 수와, 상기 제 2 카메라의 영상을 통해 감지되는 상기 게이트를 통과하는 사람의 수를 비교하여 일치하지 않는 경우 무단 침입으로 판단하여 경고를 생성하는 것을 특징으로 한다. The control unit is characterized in that, based on the time when the gate is opened, the number of people entering and exiting detected through the image of the first camera is compared with the number of people passing through the gate detected through the image of the second camera, and if they do not match, it determines that there is an unauthorized intrusion and generates a warning.

상기 영상인식부를 통해 감지된 사람의 움직임을 추적하여 동선을 판단하는 위치추적부; 를 더 포함하고, 상기 위치추적부는 상기 실내 공간에 설정된 가상의 기준선을 기준으로, 상기 기준선을 통과하는 사람의 모션 벡터를 추출하여 방향성을 판단하여 진입자와 퇴소자를 구분하는 것을 특징으로 한다. The present invention further includes a location tracking unit that tracks the movement of a person detected through the image recognition unit to determine a movement line; wherein the location tracking unit is characterized in that it extracts a motion vector of a person passing through a virtual reference line set in the indoor space and determines a direction to distinguish between entrants and evacuators.

상기 위치추적부는 상기 실내 공간 내에 설정된 기준선을 중심으로, 상기 기준선을 통과하여 상기 게이트를 향해 이동하는 사람을 상기 퇴소자로 판단하고, 상기 게이트로부터 상기 기준선을 통과하여 상기 실내 공간으로 이동하는 사람을 상기 진입자로 판단하는 것을 특징으로 한다. The above location tracking unit is characterized in that it determines a person who passes through a reference line set within the indoor space and moves toward the gate as the exiting person, and determines a person who passes through the reference line from the gate and moves into the indoor space as the entering person.

상기 제어부는 상기 진입자와 상기 퇴소자의 수를 각각 카운트하여 상기 실내 공간 내에 잔류하는 인원의 수를 판단하는 것을 특징으로 한다. The above control unit is characterized in that it counts the number of entrants and evacuees respectively to determine the number of people remaining in the indoor space.

상기 제어부는 상기 진입자와 상기 퇴소자의 수를 바탕으로 잔류인원이 0명인 경우 무장을 설정하여, 상기 실내 공간에 대한 침입을 감시하도록 보안시스템을 제어하는 것을 특징으로 한다. The above control unit is characterized in that it controls the security system to monitor for intrusion into the indoor space by setting arming when the number of remaining people is 0 based on the number of entrants and evacuators.

상기 위치추적부는, 상기 실내 공간에 설정된 접근 금지 영역에 대한 접근을 감지하고, 상기 제어부는 상기 위치추적부에 의한 접근 감지 시, 경고를 생성하여 출력하고 보안시스템을 통해 접근을 차단하는 것을 특징으로 한다. The above location tracking unit detects access to a restricted access area set in the indoor space, and the control unit generates and outputs a warning when access is detected by the location tracking unit and blocks access through a security system.

상기 제 1 카메라 및 상기 제 2 카메라의 영상을 일정 형식의 영상데이터로 변환하는 영상처리부를 더 포함하고, 상기 영상처리부는 상기 제어부로부터 비식별처리에 대한 제어명령이 인가되면, 상기 제 1 카메라의 영상 및 상기 제 2 카메라의 영상에 대하여 상기 등록자의 얼굴영역을 모자이크 또는 블러 처리하여 얼굴을 식별할 수 없도록 변경된 영상데이터를 생성하는 것을 특징으로 한다. The present invention further includes an image processing unit that converts images of the first camera and the second camera into image data of a certain format, and when a control command for anonymization processing is received from the control unit, the image processing unit generates image data in which the face of the registrant is changed to be unidentifiable by mosaic-processing or blurring the face area of the image of the first camera and the image of the second camera.

본 발명의 영상기반 지능형 무인시설 출입 관리장치의 동작방법은 게이트에 설치된 제 1 카메라가 출입자의 영상을 촬영하는 단계; 실내 공간에 설치된 제 2 카메라가 상기 실내 공간에 대한 영상을 촬영하는 단계; 상기 제 1 카메라의 영상으로부터 상기 출입자의 얼굴을 인식하여 등록자 인지 여부를 판단하여 인식결과를 생성하는 단계; 상기 출입자가 등록자인 경우 게이트를 개방하여 출입을 허용하고, 미등록자의 출입을 제한하도록 상기 게이트를 제어하는 단계; 상기 제 2 카메라의 영상으로부터 상기 게이트를 통과하는 사람을 감지하는 단계; 상기 출입자의 수와 상기 게이트를 통과하는 사람의 수를 비교하여 무단출입을 검출하는 단계; 및 상기 무단출입이 검출되면, 경고를 생성하여 출력하는 단계; 를 포함한다. The operating method of the video-based intelligent unmanned facility access control device of the present invention comprises the steps of: a first camera installed at a gate taking an image of an entrant; a second camera installed in an indoor space taking an image of the indoor space; a step of recognizing the face of the entrant from the image of the first camera to determine whether the entrant is a registered person and generating a recognition result; a step of controlling the gate to allow entry by opening the gate if the entrant is a registered person and to restrict entry of unregistered persons; a step of detecting a person passing through the gate from the image of the second camera; a step of detecting unauthorized entry by comparing the number of entrants with the number of people passing through the gate; and a step of generating and outputting a warning if unauthorized entry is detected.

상기 인식결과를 생성하는 단계; 상기 제 1 카메라의 영상으로부터 복수의 사람이 감지되는 경우, 상기 복수의 사람에 대하여 얼굴을 개별 인식하는 단계; 상기 영상의 얼굴영역을 분석하여 매칭되는 데이터가 존재하는 경우 등록자로 판단하고, 매칭되는 데이터가 존재하지 않는 경우 미등록자로 판단하여 얼굴인식에 대한 상기 인식결과를 생성하는 단계; 및 상기 게이트의 디스플레이에 상기 등록자와 상기 미등록자를 구분하여 표시하는 단계; 를 더 포함한다. The method further includes: a step of generating the recognition result; a step of individually recognizing faces of multiple people when multiple people are detected from the image of the first camera; a step of analyzing the face area of the image and determining the person as a registered person if there is matching data, and determining the person as an unregistered person if there is no matching data, thereby generating the recognition result for face recognition; and a step of distinguishingly displaying the registered person and the unregistered person on the display of the gate.

상기 게이트를 제어하는 단계는, 상기 인식결과를 바탕으로 상기 복수의 사람이 모두 등록자인 경우 상기 게이트가 개방하는 단계; 상기 복수의 사람이 모두 미등록자인 경우 출입을 제한하고, 경고를 출력하는 단계; 상기 복수의 사람 중 상기 복수의 사람 중 미등록자가 포함된 경우, 기 등록된 담당자에게 출입 허가를 요청하는 단계; 및 상기 미등록자에 대한 출입이 허가되면 상기 게이트를 개방하고, 상기 미등록자에 대한 출입이 허가되지 않으면 출입을 제한하고 경고를 출력하는 단계; 를 더 포함한다. The step of controlling the gate further includes a step of opening the gate if all of the plurality of people are registered based on the recognition result; a step of restricting entry and outputting a warning if all of the plurality of people are unregistered; a step of requesting entry permission from a registered person in charge if an unregistered person is included among the plurality of people; and a step of opening the gate if entry is permitted for the unregistered person, and restricting entry and outputting a warning if entry is not permitted for the unregistered person.

상기 무단출입을 검출하는 단계는, 상기 게이트가 개방되는 시점을 기준으로, 상기 제 1 카메라의 영상을 통해 감지되는 상기 출입자의 수와, 상기 제 2 카메라의 영상을 통해 감지되는 상기 게이트를 통과하는 사람의 수를 비교하여 일치하지 않는 경우 무단 침입으로 판단하는 것을 특징으로 한다. The step of detecting the unauthorized entry is characterized in that, based on the time when the gate is opened, the number of people entering and exiting detected through the image of the first camera is compared with the number of people passing through the gate detected through the image of the second camera, and if they do not match, it is determined that there is unauthorized entry.

상기 인식결과를 바탕으로, 상기 등록자에 대하여 비식별 처리를 설정하는 단계; 및 상기 제 1 카메라의 영상 및 상기 제 2 카메라의 영상에 대하여 상기 등록자의 얼굴영역을 모자이크 또는 블러 처리하여 얼굴을 식별할 수 없도록 변경하는 단계; 를 더 포함한다. Based on the recognition result, the method further includes a step of setting anonymization processing for the registrant; and a step of changing the face area of the registrant to a mosaic or blur processing so that the face cannot be identified in the image of the first camera and the image of the second camera.

상기 제 2 카메라의 영상으로부터 상기 실내 공간에 존재하는 사람을 감지하는 단계; 및 상기 실내 공간에 설정된 가상의 기준선을 기준으로, 상기 기준선을 통과하는 사람의 모션 벡터를 추출하여 방향성을 판단하는 단계; 를 더 포함한다. The method further includes a step of detecting a person present in the indoor space from an image of the second camera; and a step of extracting a motion vector of a person passing through a virtual reference line set in the indoor space and determining a directionality based on the reference line.

상기 실내 공간에 설정된 접근 금지 영역에 대한 접근을 감지하는 단계; 및 상기 접근 금지 영역에 대한 접근 감지 시, 경고를 생성하여 출력하고 보안시스템을 통해 접근을 차단하는 단계;를 더 포함한다. The method further includes a step of detecting access to a restricted area set in the indoor space; and a step of generating and outputting a warning and blocking access through a security system when access to the restricted area is detected.

상기 기준선을 중심으로, 상기 기준선을 통과하여 상기 게이트를 향해 이동하는 사람을 퇴소자로 판단하고, 상기 게이트로부터 상기 기준선을 통과하여 상기 실내 공간으로 이동하는 사람을 진입자로 판단하는 것을 특징으로 한다. It is characterized in that, with the above reference line as the center, a person who passes through the reference line and moves toward the gate is judged as an exiter, and a person who passes through the reference line from the gate and moves into the indoor space is judged as an entrant.

상기 진입자의 수와 퇴소자의 수를 카운트 하는 단계; 상기 진입자의 수와 상기 퇴소자의 수를 비교하여 상기 실내 공간에 존재하는 잔류인원을 확인하는 단계; 및 상기 잔류인원이 0이 되면 자동으로 무장을 설정하여, 외부로부터의 침입을 감지하도록 보안을 강화하는 단계;를 더 포함한다. The method further includes: a step of counting the number of entrants and the number of exiters; a step of comparing the number of entrants and the number of exiters to determine the number of people remaining in the indoor space; and a step of automatically setting up arming when the number of people remaining becomes 0, thereby strengthening security to detect an intrusion from the outside.

일 측면에 따르면, 본 발명의 영상기반 지능형 무인시설 출입 관리장치 및 그 방법은 등록된 사람에 대한 출입을 허용하되, 등록정보가 일치하는지 확인하고 복수의 사람을 각각 인식하여 미등록자가 포함된 경우 별도의 출입허가를 받도록 함으로써 미등록자의 출입을 제한하여 보안을 강화하고 출입자를 쉽게 관리할 수 있다. According to one aspect, the video-based intelligent unmanned facility access control device and method of the present invention allows access to registered persons, but checks whether the registration information matches, recognizes each of multiple persons, and obtains separate access permission if an unregistered person is included, thereby restricting access of unregistered persons, thereby strengthening security and making it easy to manage entrants.

본 발명은 게이트에서의 얼굴인식과 실내 공간에 대한 사람인식을 이중으로 진행하여, 게이트를 통과한 사람에 대하여 실내 공간 내에서의 움직임을 감지하고, 진출입자의 수를 통해 잔여인원을 확인하여 출입이 허가되지 않은 사람의 출입을 검출하고, 실내 공간 내에서 특정 영역에 대한 접근을 제한하여 실내 공간에 대하여 관리 할 수 있다. The present invention performs face recognition at the gate and human recognition in the indoor space in a dual manner, detecting movement within the indoor space of a person who has passed through the gate, checking the number of people entering and exiting to detect the entry of a person who is not permitted to enter, and managing the indoor space by restricting access to a specific area within the indoor space.

본 발명은 일 측면에 따르면, 영상을 기반으로 얼굴을 인식하여 등록여부를 확인하되, 얼굴인식을 통해 등록자가 확인된 경우, 영상을 비식별 처리하여 개인정보를 보호할 수 있다. According to one aspect of the present invention, a face is recognized based on an image to confirm registration, and if a registrant is confirmed through facial recognition, the image can be anonymized to protect personal information.

도 1 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 구성이 도시된 도이다.
도 2 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 제어 구성이 간략하게 도시된 블록도이다.
도 3 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 영상을 이용한 사람인식을 설명하는 데 참조되는 도이다.
도 4 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 얼굴인식을 설명하는데 참조되는 도이다.
도 5 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 얼굴인식을 통한 게이트 제어를 설명하는 데 참조되는 도이다.
도 6 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 동선 감시를 설명하는 데 참조되는 도이다.
도 7 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 등록자에 대한 비식별 처리 영상이 도시된 예시도이다.
도 8 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 출입 관리방법이 도시된 순서도이다.
도 9 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 동선 감시방법이 도시된 순서도이다. FIG. 1 is a diagram illustrating the configuration of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.
FIG. 2 is a block diagram briefly illustrating the control configuration of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.
FIG. 3 is a diagram for reference in explaining human recognition using video of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.
FIG. 4 is a diagram for reference in explaining facial recognition of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.
FIG. 5 is a diagram for reference in explaining gate control through face recognition of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.
FIG. 6 is a diagram for reference in explaining the route monitoring of a video-based intelligent unmanned facility access control device according to one embodiment of the present invention.
FIG. 7 is an exemplary diagram showing an anonymized image of a registered person of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.
FIG. 8 is a flowchart illustrating an access control method of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.
FIG. 9 is a flowchart illustrating a method for monitoring movement of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명을 설명하도록 한다.Hereinafter, the present invention will be described with reference to the attached drawings.

이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In this process, the thickness of lines and the sizes of components depicted in the drawings may be exaggerated for clarity and convenience. Furthermore, the terms described below are defined based on their functions within the present invention and may vary depending on the intent or custom of the user or operator. Therefore, the definitions of these terms should be based on the overall content of this specification.

도 1 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 구성이 도시된 도이다. FIG. 1 is a diagram illustrating the configuration of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.

도 1에 도시된 바와 같이, 영상기반 지능형 무인시설 출입 관리장치는, 복수의 카메라(121, 122)를 포함하고 영상을 이용하여 출입을 제어하고 실내 공간(A)에 잔류하는 인원을 관리하는 관리장치(100)를 포함한다. As illustrated in Fig. 1, the video-based intelligent unmanned facility access control device includes a management device (100) that includes multiple cameras (121, 122) and controls access using video and manages personnel remaining in an indoor space (A).

또한, 관리장치(100)는 관리장치(100)로부터 수신되는 데이터에 대응하여 실제 게이트를 구동하고 실내 공간(A)에 대한 침입을 감지하는 보안시스템(200)과 연동하여 동작한다. In addition, the management device (100) operates in conjunction with a security system (200) that operates an actual gate in response to data received from the management device (100) and detects intrusion into the indoor space (A).

관리장치(100)는 게이트(10)에 설치되는 제 1 카메라(121), 실내 공간(A)에 설치되는 제 2 카메라(122)를 포함하여 제 1 카메라(121) 및 제 2 카메라(122)를 통해 촬영되는 영상을 분석하여, 사람 및 얼굴을 인식하고 게이트의 개폐를 제어한다. The management device (100) analyzes images captured through the first camera (121) and the second camera (122), including the first camera (121) installed in the gate (10) and the second camera (122) installed in the indoor space (A), recognizes people and faces, and controls the opening and closing of the gate.

관리장치(100)는 제 1 카메라(121) 및 제 2 카메라(122)로부터 촬영되는 영상을 분석하여 사람을 인식하고, 인식된 사람(51 내지 53)의 얼굴을 인식하며, 인식된 사람이 기 등록자인지 여부를 판단하여 게이트(10)의 개폐를 제어한다. The management device (100) analyzes images captured from the first camera (121) and the second camera (122) to recognize a person, recognizes the face of the recognized person (51 to 53), and determines whether the recognized person is a registered person to control the opening and closing of the gate (10).

관리장치(100)는 제 1 카메라(121)를 통해 접근하는 사람(50)을 감지하고, 감지된 사람이 일정거리 내에 접근하면 영상으로부터 사람의 얼굴을 인식한다. The management device (100) detects an approaching person (50) through the first camera (121), and when the detected person approaches within a certain distance, recognizes the person's face from the image.

관리장치(100)는 얼굴인식을 통해, 데이터베이스로부터 인식된 얼굴과 매치되는 데이터를 검색하여, 출입권한을 갖는 등록자인지 여부를 확인한다. 출입관리장치는 등록자인 경우 출입 가능하도록 게이트(10)를 오픈하고, 미등록자인 경우 게이트(10)를 닫힌상태로 유지하고 출입불가에 대한 경고를 출력한다. The management device (100) uses facial recognition to search for data matching the face recognized from the database and confirms whether the person is a registered user with access rights. If the person is a registered user, the access control device opens the gate (10) to allow access. If the person is not registered, the access control device keeps the gate (10) closed and outputs a warning that access is not permitted.

관리장치(100)는 제 2 카메라(122)를 통해 실내 공간(A)을 촬영하며 실내 공간에 위치하는 적어도 하나의 사람(50)을 인식한다. The management device (100) photographs the indoor space (A) through the second camera (122) and recognizes at least one person (50) located in the indoor space.

관리장치(100)는 게이트(10)를 통해 실내 공간(A)에 진입한 사람(51 내지 53)에 대하여, 움직임을 추적하여 동선을 판단한다. 관리장치는 감지되는 사람의 동선을 바탕으로 내부로 진입하는지 게이트를 통해 외부로 나가는지 판단한다. The management device (100) tracks the movement of a person (51 to 53) who has entered the indoor space (A) through the gate (10) and determines the movement path. Based on the movement path of the detected person, the management device determines whether the person is entering the interior or exiting through the gate.

또한, 관리장치(100)는 실내 공간(A)에 적어도 하나의 영역을 설정하여, 해당 영역에 위치하는 사람을 인식하여 그 움직임을 추적함으로써, 접근 금지 영역에 접근하는 사람을 감지하여 경고를 출력할 수 있다. 출입 관리장치는 접근 금지 영역에 접근하는 사람이 감지되면 기 등록된 연락처를 기반으로 담당자(관리자)에게 통보한다. In addition, the management device (100) can set at least one area in the indoor space (A), recognize a person in that area, track their movements, detect a person approaching a restricted area, and output a warning. When a person approaching a restricted area is detected, the access control device notifies the person in charge (manager) based on the registered contact information.

관리장치(100)는 게이트(10)를 통해 진입하는 인원의 수를 카운트하고, 게이트(10)를 통해 외부로 나가는 인원의 수를 각각 카운트하여, 실내 공간(A) 내의 잔여인원을 카운트하여 모든 인원이 나간 경우 보안감시상태로 전환할 수 있다. The management device (100) counts the number of people entering through the gate (10) and the number of people leaving through the gate (10), and counts the number of people remaining in the indoor space (A) and can switch to a security surveillance state when all people have left.

보안시스템(200)은 수신되는 제어부(110)의 제어명령에 대응하여 게이트(10)가 열리거나 닫히도록 구동을 제어한다. 또한, 보안시스템(200)은 관리장치(100)에 의해 무장이 설정되면, 등록자 여부에 관계없이 게이트(10)를 잠금설정하여 모든 출입을 제한할 수 있다. 또한, 보안시스템(200)은 무장 설정 시, 게이트(10) 또는 창문에 차단막을 자동으로 설치할 수 있다. The security system (200) controls the operation of the gate (10) to open or close in response to a control command received from the control unit (110). In addition, when the security system (200) is armed by the management device (100), it can lock the gate (10) to restrict all access, regardless of whether or not a person is registered. In addition, when the security system (200) is armed, it can automatically install a barrier on the gate (10) or window.

실내 공간(A)의 내부 및 외부에 대하여 침입자를 감지하고 경찰서 등의 관련 기관으로 자동으로 신고하도록 구성된다. 보안시스템(200)은 화재 등을 감지하여 차단벽을 활성화하고, 스프링클러가 자동으로 작동하도록 한다.It is configured to detect intruders inside and outside of an indoor space (A) and automatically report them to a relevant agency such as a police station. The security system (200) detects fire, etc., activates a barrier, and automatically operates a sprinkler.

도 2 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 제어 구성이 간략하게 도시된 블록도이다. FIG. 2 is a block diagram briefly illustrating the control configuration of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.

도 2에 도시된 바와 같이, 관리장치(100)는 카메라부(120), 영상처리부(130), 영상인식부(140), 위치추적부(150), 데이터부(180), 통신부(170), 입출력부(190), 감지부(160) 및 제어부(110)를 포함한다. As shown in FIG. 2, the management device (100) includes a camera unit (120), an image processing unit (130), an image recognition unit (140), a location tracking unit (150), a data unit (180), a communication unit (170), an input/output unit (190), a detection unit (160), and a control unit (110).

영상처리부(130), 영상인식부(140), 위치추적부(150) 및 제어부(110)는 각각 적어도 하나의 마이크로 프로세서로 구성될 수 있다. The image processing unit (130), image recognition unit (140), location tracking unit (150), and control unit (110) may each be composed of at least one microprocessor.

통신부(170)는 복수의 통신모듈을 포함하여, 제어부(110)의 제어명령에 따라 유선 또는 무선으로 통신한다. The communication unit (170) includes a plurality of communication modules and communicates wired or wirelessly according to the control command of the control unit (110).

통신부(170)는 제 1 카메라(121) 및 제 2 카메라(122)와 유선 또는 무선으로 연결되어, 제 1 카메라(121) 및 제 2 카메라(122)로 제어명령을 전송하고, 촬영된 영상을 수신한다. The communication unit (170) is connected to the first camera (121) and the second camera (122) by wire or wirelessly, transmits control commands to the first camera (121) and the second camera (122), and receives captured images.

통신부(170)는 경고 발생 시, 기 등록된 담당자에게 경고 또는 상태정보를 전송한다. 통신부(170)는 메시지, 이메일, 전화 중 적어도 하나의 방법으로 담당자에게 경고 또는 상태정보를 전송할 수 있다. When an alert occurs, the communication unit (170) transmits an alert or status information to a registered person in charge. The communication unit (170) may transmit the alert or status information to the person in charge via at least one of a message, email, or telephone.

통신부(170)는 데이터베이스(DB)와 연결되어 데이터를 송수신하고, 보안시스템(200)과 연결되어 제어명령을 전송하여 게이트(10)가 개폐되도록 한다. 또한, 통신부(170)는 외부의 서버와 연결되어 주변 정보를 수신할 수 있다. The communication unit (170) is connected to a database (DB) to transmit and receive data, and is connected to a security system (200) to transmit control commands to open and close the gate (10). In addition, the communication unit (170) can be connected to an external server to receive surrounding information.

경우에 따라 통신부(170)는 외부의 분석서버(미도시)와 연결되어, 영상 데이터에 대한 딥러닝 기반 학습모델을 바탕으로, 영상 분석을 요청할 수 있다. In some cases, the communication unit (170) may be connected to an external analysis server (not shown) and request image analysis based on a deep learning-based learning model for image data.

데이터부(180)는 카메라부(120)로부터 수신되는 영상 데이터를 저장한다. The data section (180) stores image data received from the camera section (120).

데이터부(180)는 등록자에 대한 이름, 연락처 및 소속 등의 데이터, 등록자에 대한 인식결과, 등록자의 출입과 관련하여 진입시간과 진출시간을 기록하고, 실내 공간(A)에 설정된 특정 영역에 대한 접근 여부에 대한 데이터를 저장한다. The data section (180) records data such as the name, contact information, and affiliation of the registrant, the recognition result of the registrant, the entry and exit times related to the entry and exit of the registrant, and stores data on whether or not access is made to a specific area set in the indoor space (A).

데이터부(180)는 영상을 분석하기 위한 데이터, 얼굴을 인식하기 위한 얼굴인식 데이터, 영상으로부터 사람을 인식하기 위한 데이터, 얼굴인식용 프로그램 또는 알고리즘 데이터, 실내 공간(A)에 설정된 영역정보, 기준선 정보, 및 설정데이터를 저장한다. The data section (180) stores data for analyzing images, facial recognition data for recognizing faces, data for recognizing people from images, facial recognition program or algorithm data, area information set in an indoor space (A), baseline information, and setting data.

데이터부(180)는 롬(ROM), 램(RAM), 비휘발성 메모리, 플래시메모리, SSD, HDD 등 적어도 하나의 저장장치를 포함한다. The data unit (180) includes at least one storage device such as ROM, RAM, non-volatile memory, flash memory, SSD, or HDD.

입출력부(190)는 버튼, 스위치 및 터치패드 중 적어도 하나의 입력수단을 포함하고, 디스플레이, 램프 및 스피커 중 적어도 하나의 출력수단을 포함한다. The input/output unit (190) includes at least one input means among buttons, switches, and touchpads, and includes at least one output means among displays, lamps, and speakers.

입출력부(190)는 카메라부(120)를 통해 촬영되는 영상, 또는 비식별 처리된 영상을 출력한다. 입출력부(190)는 영상을 이용한 사람인식 또는 얼굴인식과 관련하여 진행상황과 인식결과를 실시간으로 출력할 수 있다. The input/output unit (190) outputs images captured by the camera unit (120) or images that have been anonymized. The input/output unit (190) can output the progress and recognition results in real time in relation to human recognition or face recognition using images.

입출력부(190)는 실내 공간(A)에 소정의 영역을 설정하거나, 게이트(10)를 통해 진입하는 사람에 대하여 진출입을 판단하기 위한 기준선을 설정할 수 있다. The input/output unit (190) can set a predetermined area in the indoor space (A) or set a reference line for determining entry/exit for a person entering through the gate (10).

또한, 입출력부(190)는 제어부(110)의 제어명령에 대응하여, 안내 또는 경고를 출력한다. 예를 들어 입출력부(190)는 얼굴인식 결과, 등록여부, 출입불가에 대한 경고를 출력할 수 있다. 입출력부(190)는 안내메시지, 경고메시지, 경고음, 경고등 및 음성안내 중 적어도 하나를 조합하여 경고를 출력할 수 있다. In addition, the input/output unit (190) outputs guidance or warnings in response to control commands from the control unit (110). For example, the input/output unit (190) can output warnings regarding facial recognition results, registration status, and entry prohibition. The input/output unit (190) can output warnings by combining at least one of a guidance message, a warning message, a warning sound, a warning light, and voice guidance.

감지부(160)는 복수의 센서를 포함한다. 감지부(160)는 초음파, 레이저, 적외선 등을 이용한 접근금지 또는 거리측정을 수행하고, 실내 공간(A)에서의 온도 및 습도를 감지하며, 또한, 화재를 감지한다. The detection unit (160) includes a plurality of sensors. The detection unit (160) performs access prohibition or distance measurement using ultrasonic waves, lasers, infrared rays, etc., detects temperature and humidity in an indoor space (A), and also detects fire.

카메라부(120)는 복수의 카메라(171, 172)를 포함하여 영상을 촬영한다. 카메라부(120)는 게이트(10)에 설치되는 제 1 카메라(121)와, 실내 공간(A)에 설치되는 제 2 카메라(122)를 포함한다. 제 2 카메라(122)는 CCTV 카메라인 것을 예로 하여 설명한다.The camera unit (120) captures images by including multiple cameras (171, 172). The camera unit (120) includes a first camera (121) installed at the gate (10) and a second camera (122) installed in an indoor space (A). The second camera (122) is described as a CCTV camera as an example.

제 1 카메라(121)는 게이트(10)에 설치되며 실내 공간(A)의 반대 측을 향해 설치되어 영상을 촬영한다. 제 1 카메라(121)는 실내 공간(A) 또는 게이트(10)로 접근하는 사람을 영상으로 촬영한다. The first camera (121) is installed at the gate (10) and faces the opposite side of the indoor space (A) to capture images. The first camera (121) captures images of people approaching the indoor space (A) or the gate (10).

제 1 카메라(121)에는 촬영된 영상이 표시되는 디스플레이(미도시)가 설치된다. 디스플레이에는 제 1 카메라(121)의 실시간 영상이 표시되고, 얼굴인식 결과와 게이트 개폐여부에 대한 안내 또는 경고가 표시된다. A display (not shown) is installed on the first camera (121) to display the captured image. The display displays real-time images from the first camera (121), and also displays guidance or warnings regarding the results of facial recognition and whether the gate is open or closed.

제 2 카메라(122)는 실내 공간(A)의 천장에 게이트(10)로부터 일정 거리 떨어진 위치에 게이트(10)를 향해 설치되어 영상을 촬영한다. 제 2 카메라(122)는 실내 공간(A)내의 바닥면에 설정된 기준선(12)의 상부에 설치될 수 있다. 경우에 따라 제 2 카메라(122)는 기준선(12)으로부터 내측 방향 천장에 설치되어 기준선(12)으로 포함한 영상을 촬영할 수 있다. The second camera (122) is installed on the ceiling of the indoor space (A) at a certain distance from the gate (10) and shoots images facing the gate (10). The second camera (122) may be installed above a reference line (12) set on the floor surface within the indoor space (A). In some cases, the second camera (122) may be installed on the ceiling inward from the reference line (12) and shoot images including the reference line (12).

또한, 제 2 카메라(122)는 180 내지 360도 회전하는 회전구동부가 구비되어, 게이트(10) 뿐 아니라 실내 공간(A)을 일정시간 단위로 회전하면서 영상을 촬영할 수 있다. In addition, the second camera (122) is equipped with a rotation drive unit that rotates 180 to 360 degrees, so that it can capture images while rotating not only the gate (10) but also the indoor space (A) at regular intervals.

카메라부(120)는 촬영된 영상을 제어부(110)로 인가하고, 영상데이터를 데이터부(180)에 저장한다.The camera unit (120) transmits the captured image to the control unit (110) and stores the image data in the data unit (180).

영상처리부(130)는 카메라의 영상신호를 일정 포맷의 영상데이터로 변환한다. 영상처리부(130)는 영상일 필터링하고, 노이즈를 제거할 수 있다. The image processing unit (130) converts the camera's image signal into image data of a certain format. The image processing unit (130) can filter the image and remove noise.

영상처리부(130)는 제어부(110)의 제어명령에 대응하여 등록자의 영상을 비식별 처리한다. 영상처리부(130)는 얼굴인식이 완료된 등록자의 이미지 중 얼굴에 대하여 모자이크 처리하여 영상을 변환하거나, 얼굴부분에 이미지 블러 등 선명도를 저하 시켜 등록자의 얼굴을 식별할 수 없도록 영상을 변환한다. The image processing unit (130) de-identifies the image of the registrant in response to the control command of the control unit (110). The image processing unit (130) converts the image by mosaic-processing the face of the registrant's image for which facial recognition has been completed, or reduces the clarity of the face portion, such as by blurring the image, so that the registrant's face cannot be identified.

영상인식부(140)는 영상처리부(130)에 의해 전처리된 데이터를 분석하여 사람의 형상을 검출하여 사람을 인식하고, 떠한 영상으로부터 영상을 검출하여 얼굴 인식을 수행한다. 영상인식부(140)는 등록자에 대한 얼굴인식 데이터를 바탕으로 특징점을 추출하여 영상의 데이터와 매칭되는 등록자 정보를 탐색한다. The image recognition unit (140) analyzes the data preprocessed by the image processing unit (130) to detect the shape of a person and recognizes the person, and performs facial recognition by detecting an image from another image. The image recognition unit (140) extracts feature points based on the facial recognition data of the registrant and searches for registrant information that matches the data in the image.

영상인식부(140)는 딥러닝 기반으로 영상에서 얼굴을 검출하고, 얼굴의 특징점을 추출하여 등록자 데이터와 매칭할 수 있다. 영상처리부(130)는 영상을 일정 크기 단위로 분할하여 기 저장된 데이터와 비교하고, 또는 딥러닝 기반 학습을 통해 영상으로부터 소정의 패턴이나, 기준 데이터와 사이한 지점에 대한 영역을 검출한다. The image recognition unit (140) can detect faces in images based on deep learning, extract facial features, and match them with registrant data. The image processing unit (130) divides the image into units of a certain size and compares them with previously stored data, or detects a region for a predetermined pattern or a point between the image and reference data through deep learning-based learning.

또한, 영상인식부(140)는 통신부(170)를 통해 영상데이터를 외부의 분석서버로 전송하여 영상데이터에 대한 분석결과를 수신할 수 있다. In addition, the image recognition unit (140) can transmit image data to an external analysis server through the communication unit (170) and receive analysis results for the image data.

위치추적부(150)는 사람 인식결과를 바탕으로 인식된 사람의 위치를 산출하고 인식된 사람의 움직임에 대하여 그 위치를 추적한다. The location tracking unit (150) calculates the location of the recognized person based on the person recognition results and tracks the location of the recognized person's movements.

위치추적부(150)는 기준선(12)을 기준으로, 기준선을 통화난 사람의 모션 벡터를 추출하여 방향성을 판단한다. The location tracking unit (150) extracts the motion vector of the person who crossed the baseline (12) and determines the direction.

위치추적부(150)는 기준선(12)을 기준으로 게이트(10)로 향해 이동하는 사람과, 게이트(10)로부터 기준선(12)을 넘어 실내 공간(A)의 내측으로 이동하는 사람을 구분하여, 퇴소자와 재실자를 구분한다. The location tracking unit (150) distinguishes between a person moving toward the gate (10) based on the reference line (12) and a person moving from the gate (10) beyond the reference line (12) to the inside of the indoor space (A), thereby distinguishing between a person leaving and a person staying in the room.

제어부(110)는 사람인식 및 얼굴인식 결과를 수신하여 게이트의 오픈 여부를 결정한다. 제어부(110)는 1명의 얼굴인식된 사람이 등록자인지 판단하여 게이트(10)가 열리도록 통신부(170)를 통해 보안시스템(200)으로 데이터는 전송한다. The control unit (110) receives the results of human and facial recognition and determines whether to open the gate. The control unit (110) determines whether a single person whose face is recognized is a registered person and transmits data to the security system (200) via the communication unit (170) so that the gate (10) is opened.

제어부(110)는 사람인식을 통해 복수의 사람이 인식된 상태에서 얼굴인식결과 미등록자가 포함된 경우, 별도의 진입 허가를 받도록 한다. 제어부(110)는 기 등록된 담당자와 연결하여 진입 허가가 있는 경우 게이트(10)를 오픈하고, 진입 허가가 없는 경우 게이트(10)를 닫은 상태로 유지하면서 경고를 생성하여 입출력부(190)를 출력하도록 한다. The control unit (110) obtains separate entry permission when multiple people are recognized through human recognition and the facial recognition result includes an unregistered person. The control unit (110) connects with a registered person in charge, and if entry permission is granted, the gate (10) is opened. If entry permission is not granted, the gate (10) is kept closed, a warning is generated, and the input/output unit (190) outputs the warning.

제어부(110)는 위치추적부(150)의 판단결과를 바탕으로 실내 공간(A)내에 잔류하는 인원을 카운트 한다. The control unit (110) counts the number of people remaining in the indoor space (A) based on the judgment result of the location tracking unit (150).

제어부(110)는 기준선(12)을 중심으로 퇴소자와 진입자를 구분하여 각각 카운트 한다. 제어부(110)는 일정 시간 경과 후 모든 인원이 퇴소하도록 안내를 출력한다. The control unit (110) counts the number of people leaving and entering based on the reference line (12). The control unit (110) outputs a guide for all people to leave after a certain period of time.

또한, 제어부(110)는 게이트(10) 오픈 시, 제 1 카메라(121)를 통해 얼굴인식이 완료된(등록자) 인원과, 게이트(10)를 통해 진입하는 인원이 차이가 있는 경우 경고를 생성하여 출력하도록 한다. In addition, when the gate (10) is opened, the control unit (110) generates and outputs a warning if there is a difference between the number of people whose face has been recognized (registered) through the first camera (121) and the number of people entering through the gate (10).

제어부(110)는 실내 공간(A)에 접근 금지 영역이 설정된 경우, 접근 금지 영역으로의 움직임을 감지하여 경고를 생성하여 출력하고, 필요에 따라 보안시스템(200)을 통해 보안 요원이 출동하거나 접근 금지 영역에 차단막 등의 보안시설이 작동하도록 할 수 있다.When a restricted access area is set in an indoor space (A), the control unit (110) detects movement into the restricted access area and generates and outputs a warning, and, if necessary, can dispatch security personnel through the security system (200) or operate security facilities such as barriers in the restricted access area.

제어부(110)는 출입자 기록을 생성하여 데이터부(180)에 저장한다. 제어부(110)는 얼굴인식된 등록자의 개인정보, 진입시간, 퇴소시간, 실내 공간(A)에서의 움직임, 예를 들어 접근 금지 영역에 대한 접근 여부를 포함하는 출입자 기록을 저장한다. The control unit (110) creates an entry/exit record and stores it in the data unit (180). The control unit (110) stores an entry/exit record that includes the personal information of the facially recognized registrant, entry time, exit time, movement in the indoor space (A), and, for example, whether or not access to a restricted area was made.

또한, 제어부(110)는 데이터부(180)에 저장된 데이터는 일정시간 간격으로 외부의 데이터베이스(미도시)에 이동하여 저장되도록 할 수 있다. In addition, the control unit (110) can move the data stored in the data unit (180) to an external database (not shown) and store it at regular time intervals.

제어부(110)는 영상인식부(140)의 얼굴인식결과를 바탕으로, 매칭되는 등록자의 정보가 화면에 표시되도록 하고, 얼굴인식 결과가 게이트 개폐 여부에 대한 데이터를 입출력부(190)를 통해 출력한다. 제어부(110)는 경고 또는 안내를 메시지, 경고음, 경고등 중 적어도 하나의 조합으로 출력되도록 입출력부(190)를 제어한다. The control unit (110) displays the information of the matching registrant on the screen based on the facial recognition result of the image recognition unit (140), and outputs data on whether the gate is open or closed based on the facial recognition result through the input/output unit (190). The control unit (110) controls the input/output unit (190) so that a warning or guidance is output as a combination of at least one of a message, a warning sound, and a warning light.

도 3 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 영상을 이용한 사람인식을 설명하는 데 참조되는 도이다. FIG. 3 is a diagram for reference in explaining human recognition using video of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.

도 3의 (a)에 도시된 바와 같이, 제 1 카메라(121) 및 제 2 카메라(122)는 영상을 촬영하고, 영상인식부(140)는 영상처리부(130)에 의해 전처리된 영상(210)으로부터 사람(211)을 인식한다. As shown in (a) of FIG. 3, the first camera (121) and the second camera (122) capture images, and the image recognition unit (140) recognizes a person (211) from an image (210) preprocessed by the image processing unit (130).

영상인식부(140)는 사람의 형상을 검출하고, 제어부(110)는 도 3의 (a)에 도시된 바와 같이, 인식된 사람별로 인식됨을 알리는 박스가 표시되도록 한다. The image recognition unit (140) detects the shape of a person, and the control unit (110) displays a box indicating recognition for each recognized person, as shown in (a) of FIG. 3.

영상인식부(140)는 사람을 검출하고, 위치추적부(150)는 각각 인식된 사람의 위치를 산출하고 그 움직임을 추출한다. The image recognition unit (140) detects a person, and the location tracking unit (150) calculates the location of each recognized person and extracts their movement.

제어부(110)는 영상인식부(140)는 사람인식과 위치추적부(150)의 인식된 사람의 움직임을 결합하여, 실내 공간(A)으로 접근하는지 또는 실내 공간(S) 내에서의 움직임에 대한 정보를 입출력부(190)를 통해 출력한다. The control unit (110) combines the movement of a person recognized by the image recognition unit (140) and the location tracking unit (150) to output information about whether the person is approaching the indoor space (A) or moving within the indoor space (S) through the input/output unit (190).

제어부(110)는 도 3의 (b)에 도시된 바와 같이, 진입자의 수(222)와 퇴소자(예정자)의 수(223)가 화면에 영상(220)과 함께 표시되도록 한다. The control unit (110) displays the number of entrants (222) and the number of exiters (scheduled exiters) (223) on the screen along with an image (220), as shown in (b) of FIG. 3.

또한, 제어부(110)는 영상인식부(140)에 의해 얼굴인식이 완료되면 해당 등록자의 얼굴인식 결과를 도 3의 (c)에 도시된 바와 같이, 화면에 영상(230)과 함께 표시한다. 제어부(110)는 얼굴인식이 완료된 등록자에 대하여, 이름과 소속이 표시되도록 한다. In addition, when the face recognition is completed by the image recognition unit (140), the control unit (110) displays the face recognition result of the registrant on the screen along with the image (230), as shown in (c) of FIG. 3. The control unit (110) displays the name and affiliation of the registrant for whom the face recognition is completed.

도 4 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 얼굴인식을 설명하는데 참조되는 도이다. FIG. 4 is a diagram for reference in explaining facial recognition of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.

도 4의 (a)에 도시된 바와 같이, 영상인식부(140)는 영상을 기반으로 영상에 촬영된 사람(251)을 검출한 후, 검출된 사람에 대하여 얼굴의 형상을 검출하여 얼굴인식을 수행한다. As shown in (a) of Fig. 4, the image recognition unit (140) detects a person (251) captured in the image based on the image, and then performs face recognition by detecting the shape of the face of the detected person.

영상처리부(130)는 영상을 일정 크기 단위로 분할하여 얼굴의 특징점을 추출하고, 등록자 데이터와 비교하여 매칭되는 등록자를 추출할 수 있다. 영상처리부(130)는 딥러닝 기반 학습을 통해 영상으로부터 소정의 패턴이나, 기준 데이터와 사이한 지점에 대한 영역을 검출하여 얼굴을 인식할 수 있다. The image processing unit (130) can extract facial features by dividing the image into units of a certain size, and extract matching registrants by comparing them with registrant data. The image processing unit (130) can recognize faces by detecting a predetermined pattern or an area between reference data and the image through deep learning-based learning.

제어부(110)는 영상인식부(140) 및 위치추적부(150)의 데이터를 기반으로, 얼굴인식 결과 등록자로 판단되는 경우, 인식완료 및 게이트(10)의 오픈에 대한 안내를 생성하여 입출력부(190)를 통해 출력되도록 한다. The control unit (110) generates a guide for recognition completion and opening of the gate (10) based on data from the image recognition unit (140) and the location tracking unit (150), if the face recognition result determines that the person is a registered person, and outputs the guidance through the input/output unit (190).

제어부(110)는 등록자인 경우 해당 영상의 어느 일측에 '등록'에 대한 안내(252)가 표시되도록 한다. In the case of a registrant, the control unit (110) displays a guide (252) for ‘registration’ on one side of the corresponding video.

도 4의 (b)에 도시된 바와 같이, 영상에 복수의 사람이 포함된 경우, 영상인식부(140)는 복수의 사람(261 내지 263)을 각각 개별 인식하고, 각 사람의 얼굴을 인식한다. As shown in (b) of Fig. 4, when multiple people are included in the image, the image recognition unit (140) individually recognizes each of the multiple people (261 to 263) and recognizes the face of each person.

영상인식부(140)는 얼굴인식결과를 바탕으로, 등록자와 미등록자를 구분한다. The image recognition unit (140) distinguishes between registered and unregistered persons based on the facial recognition results.

제어부(110)는 등록자와 미등록자를 구분하여 각각 정보(262, 263, 264)를 표시한다. The control unit (110) distinguishes between registered and unregistered persons and displays information (262, 263, 264) for each.

또한, 제어부(110)는 영상인식부(140) 및 위치추적부(150)의 데이터를 기반으로, 권한이 없는 사람의 출입시도, 무단출입자가 감지되는 경우, 접근 금지 영역으로의 접근이 감지되는 경우, 침입감지에 대하여 경고를 생성하여 입출력부(190)를 통해 출력한다. In addition, the control unit (110) generates a warning regarding intrusion detection based on data from the image recognition unit (140) and the location tracking unit (150) when an unauthorized person attempts to enter or an unauthorized person is detected, or when access to a restricted area is detected, and outputs the warning through the input/output unit (190).

도 5 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 얼굴인식을 통한 게이트 제어를 설명하는 데 참조되는 도이다. FIG. 5 is a diagram for reference in explaining gate control through face recognition of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.

도 5의 (a)에 도시된 바와 같이, 제 1 카메라(121)는 게이트(10)에 접근한 사람을 영상으로 촬영하고, 촬영된 영상은 디스플레이의 화면(270)에 표시된다. 복수의 사람이 영상에 포함되는 경우, 영상인식부(140)는 복수의 사람을 감지하여 각각 얼굴인식을 수행한다. As illustrated in (a) of Fig. 5, the first camera (121) captures a video of a person approaching the gate (10), and the captured video is displayed on the display screen (270). When multiple people are included in the video, the video recognition unit (140) detects multiple people and performs facial recognition on each of them.

영상인식부(140)는 각 사람의 얼굴을 인식하고, 제어부(110)는 인식결과를 화면(270)의 하단에 표시한다. The image recognition unit (140) recognizes each person's face, and the control unit (110) displays the recognition result at the bottom of the screen (270).

얼굴인식결과에 따라, 등록자 정보(272)에는 등록자의 인식된 얼굴 이미지, 소속, 이름, 및 인식결과가 표시된다. According to the facial recognition result, the registrant information (272) displays the registrant's recognized facial image, affiliation, name, and recognition result.

한편, 복수의 사람 중에 미등록자가 포함된 경우, 미등록자 정보(273)가 화면의 하단, 등록자 정보(272)와 함께 표시된다. 미등록자 정보에는 미등록자의 얼굴 이미지와 인식결과가 표시된다. Meanwhile, if an unregistered person is included among multiple people, the unregistered person information (273) is displayed at the bottom of the screen along with the registered person information (272). The unregistered person information displays the unregistered person's face image and recognition result.

또한, 복수의 사람이 검출된 상황에서 미등록자가 포함된 경우, 제어부(110)는 출입불가안내(274)를 화면에 출력하고, 게이트(10)를 오픈하지 않도록 한다. In addition, in a situation where multiple people are detected and an unregistered person is included, the control unit (110) displays a no entry notice (274) on the screen and does not open the gate (10).

제어부(110)는 미등록자가 포함된 경우, 기 설정된 연락처를 통해 담당자에게 별도의 출입 허가를 받도록 한다. 담당자에 의해 출입이 허가되면 게이트(10)를 오픈하도록 한다. If an unregistered person is included, the control unit (110) obtains separate entry permission from the person in charge through a preset contact number. If entry is granted by the person in charge, the gate (10) is opened.

또한, 카메라를 통한 영상 촬영 시, 열화상 카메라를 더 포함하여 열화상 영상과 영상을 매칭하여 사람수를 확인하고, 그 위치에 따라 사람을 구분할 수 있다. Additionally, when shooting video through a camera, a thermal imaging camera can be included to match the thermal imaging video with the video to check the number of people and distinguish people based on their location.

도면은 등록자와 미등록자에 대한 화면표시 기능을 설명하기 위해 참조된 것으로, 개인정보 보호를 위하여 등록여부와 관계없이 비식별처리하여 변환된 영상을 표시하였으나, 후술하는 바와 같이 등록자에 한하여 비식별 처리를 수행함을 명시한다. The drawing is referenced to explain the screen display function for registrants and unregistered persons. In order to protect personal information, anonymized images are displayed regardless of whether or not they are registered. However, as described below, it is stated that anonymization is performed only for registrants.

도 5의 (b)에 도시된 바와 같이, 제 1 카메라(121)에 의해 영상이 촬영되면 영상을 디스플레이에 화면(280)으로 표시된다. 영상인식부(140)는 영상을 통해 복수의 사람을 감지하고, 영상인식부(140)는 감지된 사람의 얼굴을 인식한다. As illustrated in (b) of Fig. 5, when an image is captured by the first camera (121), the image is displayed on a screen (280) on the display. The image recognition unit (140) detects multiple people through the image, and the image recognition unit (140) recognizes the faces of the detected people.

영상으로부터 감지된 사람이 모두 등록자인 경우, 제어부(110)는 화면(280)의 하단에 등록자 정보(281)를 표시한다. 얼굴인식결과에 따라, 등록자 정보(281)에는 등록자의 인식된 얼굴 이미지, 소속, 이름, 및 인식결과가 표시된다. If all the people detected from the video are registrants, the control unit (110) displays registrant information (281) at the bottom of the screen (280). Depending on the facial recognition result, the registrant information (281) displays the registrant's recognized facial image, affiliation, name, and recognition result.

또한, 인식된 사람이 모두 등록자인 경우 제어부(110)는 게이트(10)가 오픈되도록 보안시스템(200)으로 제어명령을 인가하고, 게이트의 오픈에 대한, 오픈안내(282)를 화면에 표시한다. In addition, if all recognized persons are registered, the control unit (110) authorizes a control command to the security system (200) to open the gate (10), and displays an opening guide (282) on the screen regarding the opening of the gate.

도 6 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 동선 감시를 설명하는 데 참조되는 도이다. FIG. 6 is a diagram for reference in explaining the route monitoring of a video-based intelligent unmanned facility access control device according to one embodiment of the present invention.

도 6에 도시된 바와 같이, 제 2 카메라(122)는 실내 공간(A)을 촬영한다. 제 2 카메라(122)는 게이트(10)와 기준선(12)을 포함하는 영역을 촬영한다. 경우에 따라 별도의 영역이 설정되면, 설정된 영역을 촬영할 수 있다. As illustrated in Fig. 6, the second camera (122) photographs an indoor space (A). The second camera (122) photographs an area including the gate (10) and the reference line (12). In some cases, if a separate area is set, the set area can be photographed.

제 2 카메라(122)는 실내 공간(A) 내에 설정된 가상의 기준선(12)을 중심으로 영상을 촬영한다. 또한, 제 2 카메라(122)는 게이트(10)를 통한 출입을 감지할 수 있도록 배치된다. The second camera (122) captures images centered on a virtual reference line (12) set within the indoor space (A). In addition, the second camera (122) is positioned so as to detect entry and exit through the gate (10).

영상인식부(140)는 제 2 카메라(122)를 통해 촬영된 영상을 분석하여, 사람을 인식한다. The image recognition unit (140) analyzes the image captured through the second camera (122) and recognizes a person.

영상인식부(140)는 제 2 카메라(122)의 영상을 분석하여 게이트(10)를 통해 진입하는 사람을 인식한다. The image recognition unit (140) analyzes the image of the second camera (122) to recognize a person entering through the gate (10).

제어부(110)는 게이트(10)의 오픈 시점을 기준으로, 제 1 카메라(121)의 영상을 통해 인식된 사람과, 제 2 카메라(122)의 영상을 통해 게이트(10)를 통해 진입한 사람을 비교하여, 그 수가 동일한지 확인한다. The control unit (110) compares the number of people recognized through the image of the first camera (121) with the number of people who entered through the gate (10) through the image of the second camera (122) based on the opening time of the gate (10), and checks whether the number is the same.

제어부(110)는 제 1 카메라(121)의 영상을 통해 인식된 사람의 수와, 제 2 카메라(122)의 영상을 통해 인식된 사람의 수가 불일치하는 경우, 불법침입으로 판단하여 경고를 생성한다. 경고는 입출력부(190)를 통해 출력되도록 한다. If the number of people recognized through the image of the first camera (121) and the number of people recognized through the image of the second camera (122) do not match, the control unit (110) determines that there has been an illegal intrusion and generates a warning. The warning is output through the input/output unit (190).

예를 들어 제어부(110)는 게이트(10)의 오픈 시점을 기준으로, 게이트 오픈전에 제 1 카메라(121)를 통해 세명의 등록자를 확인하고, 게이트가 오픈된 상태에서, 제 2 카메라(122)를 통해 네명의 진입이 감지되면, 인원 불일치에 따라 미등록자의 불법침입으로 판단한다. For example, the control unit (110) checks three registered persons through the first camera (121) before the gate opens based on the opening time of the gate (10), and when the gate is open, if four persons are detected entering through the second camera (122), it determines that there is an illegal intrusion by an unregistered person based on the discrepancy in the number of persons.

위치추적부(150)는 영상인식부(140)를 통해 인식된 사람의 위치를 산출하고, 움직임을 감지하여 동선을 추적한다. 위치추적부(150)는 인식된 사람들의 이동방향을 기준선(12)을 중심으로 판단한다. The location tracking unit (150) calculates the location of a person recognized through the image recognition unit (140) and detects movement to track the movement line. The location tracking unit (150) determines the movement direction of the recognized person based on the reference line (12).

위치추적부(150)는 기준선(12)을 중심으로, 기준선(12)을 통과하여 게이트(10)를 향해 제 1 방향(A1)으로 이동하는 사람들(58)과, 기준선(12)을 통과하여 실내 공간(A)의 내측, 즉 게이트(10)의 반대편을 향해 제 2 방향(A2)로 이동하는 사람들(59)을 구분한다. The location tracking unit (150) distinguishes between people (58) who pass through the reference line (12) and move in a first direction (A1) toward the gate (10) with the reference line (12) as the center, and people (59) who pass through the reference line (12) and move in a second direction (A2) toward the inside of the indoor space (A), i.e., the opposite side of the gate (10).

제어부(110)는 영상인식부(140)에 의해 감지되는 사람(들)에 대하여, 위치추적부(150)의 판단결과를 바탕으로, 게이트(10)를 통해 실내 공간 내부로 진입하는, 제 2 방향(A2)으로 이동하는 사람들을 진입자로 판단하여 카운트 한다. 제어부(110)는 제 1 방향(A1)으로 이동하는 사람들(58)을 퇴소자로 판단하여 게이트(10)를 통해 외부로 나가는 퇴소자를 카운트한다. The control unit (110) determines, based on the judgment result of the location tracking unit (150), that among the people detected by the image recognition unit (140), people moving in the second direction (A2) entering the indoor space through the gate (10) are entrants and counts them. The control unit (110) determines that people (58) moving in the first direction (A1) are exiting the facility and counts those exiting the facility through the gate (10).

제어부(110)는 진입자와 퇴소자의 수를 바탕으로 실내 공간(A)에 잔류하고 있는 잔류인원을 산출한다. The control unit (110) calculates the number of people remaining in the indoor space (A) based on the number of entrants and exiters.

제어부(110)는 잔류인원이 0이 되고 일정 시간이 경과하면, 보안시스템(200)으로 무장명령을 인가하고, 그에 따라 보안시스템(200)은 등록 여부에 관계없이 외부로부터의 진입을 차단하고 침입감지를 수행한다.When the number of remaining personnel becomes 0 and a certain amount of time has passed, the control unit (110) issues an arming command to the security system (200), and accordingly, the security system (200) blocks entry from the outside and performs intrusion detection regardless of whether or not it is registered.

또한, 제어부(110)는 실내 공간(A) 내에, 별도의 출입금지 영역이 설정된 경우, 영상인식부(140) 및 위치추적부(150)를 통해 출입 금지 영역으로 접근하는 사람이 감지되면, 접근 금지에 대한 경고를 생성하여 입출력부(190)를 통해 출력한다. In addition, when a separate no-entry zone is set within the indoor space (A), the control unit (110) generates a warning for access prohibition and outputs it through the input/output unit (190) when a person approaching the no-entry zone is detected through the image recognition unit (140) and the location tracking unit (150).

제어부(110)는 경고가 출력된 후에도, 접근하는 계속 접근하는 경우 경보를 발생시키고 보안시스템(200)을 통해 차단막이 동작하도록 할 수 있다. 경우에 따라 외부로부터 보안인원이 출동하도록 설정할 수 있다.The control unit (110) can generate an alarm and operate the barrier through the security system (200) if the approaching person continues to approach even after the warning is output. In some cases, it can be set to dispatch security personnel from outside.

도 7 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 등록자에 대한 비식별처리 영상이 도시된 예시도이다. FIG. 7 is an exemplary diagram showing an anonymized image of a registrant of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.

도 7에 도시된 바와 같이, 제어부(110)는 영상인식부(140)로부터 얼굴인식이 완료된 등록자에 대하여, 개인정보를 보호하기 위하여 영상처리부(130)를 통해 비식별처리를 수행한다. As shown in Fig. 7, the control unit (110) performs anonymization processing through the image processing unit (130) for the registrant whose face has been recognized by the image recognition unit (140) in order to protect personal information.

제어부(110)는 등록자의 경우 얼굴인식을 통해 출입권한을 확인하였고, 비식별처리 후에도 동선은 추적할 수 있으므로, 비식별처리를 통해 개인정보를 보호할 수 있도록 한다. The control unit (110) verifies the entry rights of the registered person through facial recognition, and the movement path can be tracked even after anonymization, so that personal information can be protected through anonymization.

영상처리부(130)는 제어부(110)의 제어명령에 대응하여, 얼굴인식이 완료된 등록자(291)에 대하여, 영상으로부터 얼굴영역(292)을 비식별 처리한다. 영상처리부(130)는 등록자의 영상에서 얼굴영역을 모자이크 하거나, 블러 처리하여 식별하기 어렵도록 변경하고 변경된 영상을 저장한다. The image processing unit (130) responds to the control command of the control unit (110) by de-identifying the face area (292) from the image of the registrant (291) whose face has been recognized. The image processing unit (130) changes the face area in the image of the registrant by mosaicking or blurring it to make it difficult to identify, and stores the changed image.

한편, 영상처리부(130)는 미등록자는 얼굴영상이 그대로 표시되도록 하고, 미등록자 중 출입이 허가된 사람 또한, 얼굴영상이 표시되도록 한다. Meanwhile, the image processing unit (130) displays the facial images of unregistered persons as they are, and also displays the facial images of unregistered persons who are permitted to enter.

또한, 영상처리부(130)는 비식별 처리된 얼굴영역에 테두리를 설정하고 테두리 색상을 상이하게 설정하고 그룹별로 구분 가능하도록 설정할 수 있다. Additionally, the image processing unit (130) can set a border on the anonymized face area, set the border color differently, and set it so that it can be distinguished by group.

도 8 은 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 출입 관리방법이 도시된 순서도이다. FIG. 8 is a flowchart illustrating an access control method of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.

도 8에 도시된 바와 같이, 관리장치(100)는 제 1 카메라(121)를 통해 게이트(10)의 주변 영상을 촬영하고, 영상인식부(140)는 영상으로부터 사람을 검출하여 게이트(10)에 접근 하는 사람을 감지한다(S310). 또한, 감지부(160)를 센서를 통해 사람의 접근을 감지할 수 있다As illustrated in Fig. 8, the management device (100) captures an image of the surroundings of the gate (10) through the first camera (121), and the image recognition unit (140) detects a person from the image and detects a person approaching the gate (10) (S310). In addition, the detection unit (160) can detect the approach of a person through a sensor.

영상인식부(140)는 영상으로부터 감지되는 사람이 일정 거리 내로 접근하면, 얼굴을 인식한다(S320). 영상인식부(140)는 영상으로부터 얼굴 영역을 검출하고, 얼굴 영역을 분석하여 특징을 추출한 후, 기 등록된 사람의 이미지 데이터 및 특징데이터와 비교하여 매칭되는 등록자가 존재하는지 판단한다(S330). The image recognition unit (140) recognizes a face when a person detected in the image approaches within a certain distance (S320). The image recognition unit (140) detects a facial area from the image, analyzes the facial area to extract features, and then compares the facial area with the image data and feature data of a previously registered person to determine whether a matching registered person exists (S330).

영상인식부(140)는 매칭되는 데이터가 존재하는 경우 등록자로 판단하고, 매칭되는 데이터가 존재하지 않는 경우 미등록자로 구분하여 인식결과를 생성한다. The image recognition unit (140) determines the user as a registered user if matching data exists, and classifies the user as an unregistered user if matching data does not exist, and generates a recognition result.

제어부(110)는 인식결과를 바탕으로, 매칭된 등록자에 대한 정보를 화면에 표시한다. 또한, 제어부(110)는 얼굴인식에 따른 등록자 여부를 표시하고, 등록자에 대한 소속, 이름, 이미지, 인식결과가 화면에 표시되도록 한다. The control unit (110) displays information about the matched registrant on the screen based on the recognition results. In addition, the control unit (110) indicates whether the registrant is a registered person based on facial recognition, and displays the registrant's affiliation, name, image, and recognition results on the screen.

영상에 복수의 사람이 촬영된 경우, 영상인식부(140)는 복수의 사람 각각에 대하여 얼굴인식을 수행하여 인식결과를 생성한다. When multiple people are captured in the video, the video recognition unit (140) performs facial recognition on each of the multiple people to generate a recognition result.

제어부(110)는 인식결과를 바탕으로, 영상에 촬영된 복수의 사람 중 미등록자가 포함되어 있는지 여부를 판단한다(S340). Based on the recognition result, the control unit (110) determines whether an unregistered person is included among the multiple people captured in the video (S340).

제어부(110)는 감지된 사람이 모두 등록자인 경우, 게이트를 개방한다(S380). 제어부(110)는 보안시스템(200)으로 제어명령을 인가하고, 보안시스템(200)은 제어명령에 대응하여 게이트에 연결되는 구동부를 동작시켜 게이트(10)가 오픈되도록 한다.The control unit (110) opens the gate if all detected persons are registered (S380). The control unit (110) sends a control command to the security system (200), and the security system (200) operates the driving unit connected to the gate in response to the control command, thereby opening the gate (10).

한편, 제어부(110)는 미등록자가 포함된 경우 복수의 사람이 모두 미등록자인지 여부를 확인한다(S350). Meanwhile, the control unit (110) checks whether all of the multiple people are unregistered when an unregistered person is included (S350).

제어부(110)는 복수의 사람 중 일부가 미등록자인 경우, 기 등록된 연락처를 통해 담당자에게 미등록자의 진입시도에 대한 알림을 생성하여 전송한다. 제어부(110)는 통신부(170)를 통해, SMS, MMS, LMS 등의 문자메시지, 음성메시지, 대화형 어플리케이션의 인스턴트 메시지 중 적어도 하나의 형태로 알림을 전송한다. 경우에 따라 전화연결을 시도할 수 있다. If some of the multiple users are unregistered, the control unit (110) generates and sends a notification to the person in charge via a registered contact number regarding the unregistered user's attempted entry. The control unit (110) transmits the notification via the communication unit (170) in the form of at least one of a text message (e.g., SMS, MMS, LMS), a voice message, or an instant message via an interactive application. In some cases, a phone call may be attempted.

제어부(110)는 담당자에 의해 출입이 허용되는지 여부를 판단한다(S370). 제어부(110)는 별도의 출입허용에 따른 명령이 입력되거나 수신되는 경우 미등록자에 대한 출입이 허용된 것으로 판단한다. The control unit (110) determines whether entry is permitted by the person in charge (S370). If a separate command for entry permission is input or received, the control unit (110) determines that entry is permitted for an unregistered person.

제어부(110)는 출입이 허용된 경우, 게이트(10)가 개방되도록 한다(S380). The control unit (110) opens the gate (10) when entry is permitted (S380).

제어부(110)는 복수의 사람이 모두 미등록자인 경우, 또는 일부 미등록자에 대하여 출입이 허용되지 않은 경우에 대하여, 게이트(10)를 개방하지 않고(S390), 미등록자에 대하여 경고를 생성하여 입출력부(190)를 통해 출력한다(S400). If a plurality of people are all unregistered, or if entry is not permitted for some unregistered people, the control unit (110) does not open the gate (10) (S390), and generates a warning for the unregistered people and outputs it through the input/output unit (190) (S400).

게이트(10) 개방 후, 제 2 카메라(122)는 게이트(10)에 대한 영상을 촬영한다. After the gate (10) is opened, the second camera (122) captures an image of the gate (10).

영상인식부(140)는 제 2 카메라(122)를 통해 촬영된 영상을 분석하여, 영상에 포함된 사람을 감지한다(S410). 영상인식부(140)는 게이트(10)로부터 일정 영역 내에 설정된 영역을 기준으로 사람을 인식할 수 있다. The image recognition unit (140) analyzes the image captured by the second camera (122) and detects a person included in the image (S410). The image recognition unit (140) can recognize a person based on an area set within a certain area from the gate (10).

영상인식부(140)는 게이트(10)를 통해 실내 공간(A)의 내부로 진입하는 진입자를 감지한다. The image recognition unit (140) detects an entrant entering the interior of the indoor space (A) through the gate (10).

제어부(110)는 게이트(10)의 오픈전 제1 카메라(121)를 통해 감지된 사람의 수와 제 2 카메라(122)를 통해 촬영된 영상을 기반으로 게이트(10)를 통해 진입하는 사람의 수를 비교하여, 일치하는지 판단한다(S420). The control unit (110) compares the number of people detected through the first camera (121) before the gate (10) opens and the number of people entering through the gate (10) based on the image captured through the second camera (122), and determines whether they match (S420).

제어부(110)는 보안시스템(200)에 무장을 해제하고(S430), 진입자에 대한 입소 완료로 처리한다(S440). The control unit (110) disarms the security system (200) (S430) and processes the entry of the entrant as complete (S440).

한편, 제어부(110)는 출입자와 인식된 사람수가 상이한 경우 무단출입에 대한 경고를 생성하여 출력하고(S450), 기 등록된 담당자에게 무단출입에 대한 알림을 전송한다(S460). 또한 제어부(110)는 무단출입에 대하여 보안시스템(200)으로 제어명령을 전송하여, 출입을 제한하도록 하고, 인접한 시설로부터 보안요원이 출동하도록 설정한다. Meanwhile, the control unit (110) generates and outputs a warning about unauthorized entry when the number of entrants and the number of recognized persons are different (S450) and sends a notification about unauthorized entry to a registered person in charge (S460). In addition, the control unit (110) sends a control command to the security system (200) in response to unauthorized entry, restricts entry, and sets up the dispatch of security personnel from an adjacent facility.

도 9 는 본 발명의 일 실시예에 따른 영상기반 지능형 무인시설 출입 관리장치의 동선 감시방법이 도시된 순서도이다. FIG. 9 is a flowchart illustrating a method for monitoring movement of an image-based intelligent unmanned facility access control device according to one embodiment of the present invention.

도 9에 도시된 바와 같이, 제 1 카메라(121)는 게이트(10)에 설치되어 영상을 촬영한다. 영상인식부(140)는 제 1 카메라(121)의 영상을 바탕으로 게이트(10)를 통해 출입하는 사람을 감지하고, 감지된 사람의 얼굴을 인식하여 등록자에 대한 인식결과를 생성한다(S520). As illustrated in Fig. 9, the first camera (121) is installed at the gate (10) to capture images. The image recognition unit (140) detects a person entering or exiting through the gate (10) based on the image of the first camera (121), recognizes the face of the detected person, and generates a recognition result for the registrant (S520).

또한, 제 2 카메라(122)는 게이트(10)를 포함한 실내 공간(A)을 촬영한다. Additionally, the second camera (122) photographs the indoor space (A) including the gate (10).

영상인식부(140)는 제 2 카메라(122)의 영상을 분석하여 촬영된 영상에 포함된 사람을 인식한다(S530). 또한 영상인식부(140)는 영상으로부터 기 설정된 영역을 인식한다.The image recognition unit (140) analyzes the image of the second camera (122) and recognizes a person included in the captured image (S530). In addition, the image recognition unit (140) recognizes a preset area from the image.

위치추적부(150)는 영상인식부(140)를 통해 인식된 사람에 대하여 움직임을 추적하여 실내 공간(A)내에 설정된 특정영역, 예를 들어 접근 금지 영역에 사람이 접근하는지 여부를 판단한다(S540). 위치추적부(150)는 특정영역에 인접한 사람이 특정영역을 향해 이동하는지, 다른 지점을 목표로 이동하는지 분석하여 특정영역에 대한 접근을 판단한다. The location tracking unit (150) tracks the movement of a person recognized by the image recognition unit (140) and determines whether the person approaches a specific area, for example, a restricted area, set within an indoor space (A) (S540). The location tracking unit (150) determines whether a person approaches a specific area by analyzing whether the person adjacent to the specific area is moving toward the specific area or moving toward another location.

제어부(110)는 위치추적부(150)의 판단결과에 대응하여, 특정영역에 접근하는 사람이 존재하는 경우 경고를 생성하여 출력하고, 담당자에게 경고를 전송한다(S560). 또한, 제어부(110)는 보안시스템(200)을 통해 접근을 차단하거나 외부의 보안인원이 출동하도록 설정할 수 있다.The control unit (110) generates and outputs a warning when a person approaches a specific area in response to the judgment result of the location tracking unit (150), and transmits the warning to the person in charge (S560). In addition, the control unit (110) can block access through the security system (200) or set up the dispatch of external security personnel.

위치추적부(150)는 게이트(10)를 통해 진입하여 기준선(12)을 통과하는 사람에 대하여 진입자로 판단한다. 제어부(110)는 진입자의 수를 카운트 한다. The location tracking unit (150) determines a person who enters through the gate (10) and passes the reference line (12) as an entrant. The control unit (110) counts the number of entrants.

제어부(110)는 인식된 사람에 대하여, 게이트(10)로부터 일정거리 떨어진 위치에 설정된 기준선(12)을 중심으로, 기준선(12)을 통과하여 게이트(10)를 향해 이동하는 사람이 감지되면 퇴소자로 판단하여 그 수를 카운트한다(S570).The control unit (110) determines that a person has left the facility and counts the number of people who have passed the reference line (12) set at a certain distance from the gate (10) and are moving toward the gate (10) when the reference line (12) is set at a certain distance from the gate (10).

제어부(110)는 진입자의 수와 퇴소자의 수를 비교하여 실내 공간(A)에 대한 잔류인원을 카운트하고, 전원 퇴소했는지 여부를 판단한다(S580).The control unit (110) compares the number of entrants and the number of evacuees to count the number of people remaining in the indoor space (A) and determines whether all evacuees have evacuated (S580).

제어부(110)는 전원 퇴소하기 까지, 영상인식부(140) 및 위치추적부(150)를 통해 내부 인원의 동선을 파악하고, 특정 영역으로 접근하지 않도록 한다. The control unit (110) identifies the movement of internal personnel through the image recognition unit (140) and location tracking unit (150) until all personnel leave the premises, and prevents them from approaching specific areas.

제어부(110)는 전원 퇴소 시, 자동으로 무장을 설정한다(S590). 제어부(110)는 무장 설정에 따른 제어명령을 보안시스템(200)으로 전송하고, 보안시스템(200)은 보안을 강화하여 등록자에 관계없이 출입을 제한하고, 무단출입에 대하여 감시한다. The control unit (110) automatically sets the arming when the power is turned off (S590). The control unit (110) transmits a control command according to the arming setting to the security system (200), and the security system (200) strengthens security, restricts entry regardless of the registered user, and monitors for unauthorized entry.

따라서 본 발명은 영상을 이용하여 복수의 사람이 감지되는 경우 복수의 사람에 대하여 각각 얼굴을 인식하여 출입자를 판단하여 미등록자의 출입을 제한하며, 게이트의 출입자와 실내 공간에 진입하는 사람을 비교하여 무단출입을 검출함으로써, 무인시설에 대한 출입을 관리하고, 전원퇴소 시 자동으로 무장을 설정하여 침입을 감지하도록 한다. Accordingly, the present invention recognizes the faces of multiple people when multiple people are detected using video, determines the entrant, restricts the entry of unregistered persons, compares the entrants at the gate with the people entering the indoor space to detect unauthorized entry, thereby managing entry to an unmanned facility, and automatically sets arming when all people leave to detect intrusion.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.While the present invention has been described with reference to the embodiments illustrated in the drawings, these are merely exemplary, and those skilled in the art will understand that various modifications and equivalent embodiments are possible. Therefore, the true technical protection scope of the present invention should be defined by the following claims.

10: 게이트 12: 기준선
100: 관리장치 110: 제어부
120: 카메라부 121: 제 1 카메라
122: 제 2 카메라 130: 영상처리부
140: 영상인식부 150: 위치추적부
160: 감지부 170: 통신부
180: 데이터부 190: 입출력부
200: 보안시스템 10: Gate 12: Baseline
100: Management device 110: Control unit
120: Camera section 121: First camera
122: Second camera 130: Image processing unit
140: Image recognition unit 150: Location tracking unit
160: Detection unit 170: Communication unit
180: Data section 190: Input/output section
200: Security System

Claims (19)

게이트에 설치되어 출입자의 영상을 촬영하는 제 1 카메라;
실내 공간에 설치되어 상기 실내 공간에 대한 영상을 촬영하는 제 2 카메라;
상기 제 1 카메라 및 상기 제 2 카메라로부터 촬영된 영상으로부터 사람을 감지하고, 감지된 사람의 얼굴을 인식하여 상기 출입자가 등록자인지 판단하여 인식결과를 생성하는 영상인식부; 및
상기 영상인식부의 인식결과에 대응하여 등록자에 대하여 상기 게이트가 개방되도록 제어하고 미등록자의 출입을 제한하며, 상기 제 1 카메라의 영상을 통해 감지되는 상기 출입자의 수와 상기 제 2 카메라의 영상을 통해 인식된 사람의 수를 비교하여 무단출입을 검출하여 경고하는 제어부; 를 포함하고,
상기 영상인식부는 상기 제 1 카메라의 영상에 포함되는 복수의 사람에 대하여 각각 얼굴을 인식하여 상기 인식결과를 생성하고,
상기 제어부는 상기 복수의 사람 중 미등록자가 포함된 경우, 별도의 출입 허가를 절차를 수행하여 출입이 허가되면 상기 게이트가 개방되도록 하는 것을 특징으로 하는 출입 관리장치. The first camera is installed at the gate and records images of people entering and exiting;
A second camera installed in an indoor space to capture images of the indoor space;
An image recognition unit that detects a person from images captured by the first camera and the second camera, recognizes the face of the detected person, determines whether the person entering is a registered person, and generates a recognition result; and
A control unit that controls the gate to open for registered persons in response to the recognition result of the image recognition unit, restricts entry of unregistered persons, and detects and issues a warning for unauthorized entry by comparing the number of persons detected through the image of the first camera with the number of persons recognized through the image of the second camera;
The above image recognition unit recognizes the faces of each of the plurality of people included in the image of the first camera and generates the recognition results.
An access control device characterized in that the control unit performs a separate entry permission procedure when an unregistered person is included among the plurality of people, and when entry is permitted, the gate is opened. 제 1 항에 있어서,
상기 제어부는 상기 인식결과를 바탕으로 상기 복수의 사람이 모두 등록자인 경우 상기 게이트가 개방되도록 하고,
상기 복수의 사람 중 미등록자가 포함된 경우 출입을 제한하는 것을 특징으로 하는 출입 관리장치. In the first paragraph,
The above control unit opens the gate if all of the above multiple people are registered based on the above recognition result.
An access control device characterized in that entry is restricted when an unregistered person is included among the above-mentioned plurality of people. 제 2 항에 있어서,
상기 제어부는 상기 미등록자에 대한 출입이 허가되지 않거나 또는 상기 복수의 사람이 모두 미등록자인 경우 출입을 금지하고 경고를 출력하는 것을 특징으로 하는 출입 관리장치. In the second paragraph,
An access control device characterized in that the control unit prohibits entry and outputs a warning when entry is not permitted for the unregistered person or when all of the plurality of persons are unregistered. 제 1 항에 있어서,
상기 제어부는 상기 게이트가 개방되는 시점을 기준으로, 상기 제 1 카메라의 영상을 통해 감지되는 상기 출입자의 수와, 상기 제 2 카메라의 영상을 통해 감지되는 상기 게이트를 통과하는 사람의 수를 비교하여 일치하지 않는 경우 무단 침입으로 판단하여 경고를 생성하는 것을 특징으로 하는 출입 관리장치. In the first paragraph,
An access control device characterized in that the control unit compares the number of entrants detected through the image of the first camera with the number of people passing through the gate detected through the image of the second camera based on the time when the gate is opened, and if they do not match, determines that there is unauthorized intrusion and generates a warning. 제 1 항에 있어서,
상기 영상인식부를 통해 감지된 사람의 움직임을 추적하여 동선을 판단하는 위치추적부; 를 더 포함하고,
상기 위치추적부는 상기 실내 공간에 설정된 가상의 기준선을 기준으로, 상기 기준선을 통과하는 사람의 모션 벡터를 추출하여 방향성을 판단하여 진입자와 퇴소자를 구분하는 것을 특징으로 하는 출입 관리장치. In the first paragraph,
It further includes a location tracking unit that tracks the movement of a person detected through the above image recognition unit and determines the movement line;
An access control device characterized in that the above location tracking unit extracts a motion vector of a person passing through a virtual reference line set in the indoor space and determines the direction to distinguish between entrants and evacuators. 제 5 항에 있어서,
상기 위치추적부는 상기 실내 공간 내에 설정된 기준선을 중심으로, 상기 기준선을 통과하여 상기 게이트를 향해 이동하는 사람을 상기 퇴소자로 판단하고, 상기 게이트로부터 상기 기준선을 통과하여 상기 실내 공간으로 이동하는 사람을 상기 진입자로 판단하는 것을 특징으로 하는 출입 관리장치. In paragraph 5,
An access control device characterized in that the location tracking unit determines a person moving toward the gate through a reference line set within the indoor space as the exiting person, and determines a person moving from the gate through the reference line to the indoor space as the entrant. 제 5 항에 있어서,
상기 제어부는 상기 진입자와 상기 퇴소자의 수를 각각 카운트하여 상기 실내 공간 내에 잔류하는 인원의 수를 판단하는 것을 특징으로 하는 출입 관리장치. In paragraph 5,
An access control device characterized in that the control unit counts the number of entrants and evacuators respectively to determine the number of people remaining in the indoor space. 제 5 항에 있어서,
상기 제어부는 상기 진입자와 상기 퇴소자의 수를 바탕으로 잔류인원이 0명인 경우 무장을 설정하여, 상기 실내 공간에 대한 침입을 감시하도록 보안시스템을 제어하는 것을 특징으로 하는 출입 관리장치. In paragraph 5,
An access control device characterized in that the control unit controls the security system to monitor intrusion into the indoor space by setting arming when the number of remaining people is 0 based on the number of entrants and evacuators. 제 5 항에 있어서,
상기 위치추적부는, 상기 실내 공간에 설정된 접근 금지 영역에 대한 접근을 감지하고,
상기 제어부는 상기 위치추적부에 의한 접근 감지 시, 경고를 생성하여 출력하고 보안시스템을 통해 접근을 차단하는 것을 특징으로 하는 출입 관리 장치. In paragraph 5,
The above location tracking unit detects access to a restricted area set in the indoor space,
An access control device characterized in that the control unit generates and outputs a warning when access is detected by the location tracking unit and blocks access through a security system. 제 6 항에 있어서,
상기 제 1 카메라 및 상기 제 2 카메라의 영상을 일정 형식의 영상데이터로 변환하는 영상처리부; 를 더 포함하고,
상기 영상처리부는 상기 제어부로부터 비식별처리에 대한 제어명령이 인가되면, 상기 제 1 카메라의 영상 및 상기 제 2 카메라의 영상에 대하여 상기 등록자의 얼굴영역을 모자이크 또는 블러 처리하여 얼굴을 식별할 수 없도록 변경된 영상데이터를 생성하는 것을 특징으로 하는 출입 관리장치. In paragraph 6,
Further comprising an image processing unit that converts images of the first camera and the second camera into image data of a certain format;
An access control device characterized in that, when a control command for anonymization processing is approved from the control unit, the image processing unit generates image data in which the face area of the registrant is mosaic-processed or blurred in the image of the first camera and the image of the second camera so that the face cannot be identified. 게이트에 설치된 제 1 카메라가 출입자의 영상을 촬영하는 단계;
실내 공간에 설치된 제 2 카메라가 상기 실내 공간에 대한 영상을 촬영하는 단계;
상기 제 1 카메라의 영상으로부터 상기 출입자의 얼굴을 인식하여 등록자 인지 여부를 판단하여 인식결과를 생성하는 단계;
상기 출입자가 등록자인 경우 게이트를 개방하여 출입을 허용하고, 미등록자의 출입을 제한하도록 상기 게이트를 제어하는 단계;
상기 제 2 카메라의 영상으로부터 상기 게이트를 통과하는 사람을 감지하는 단계;
상기 출입자의 수와 상기 게이트를 통과하는 사람의 수를 비교하여 무단출입을 검출하는 단계; 및
상기 무단출입이 검출되면, 경고를 생성하여 출력하는 단계; 를 포함하고,
상기 인식결과를 생성하는 단계는,
상기 제 1 카메라의 영상으로부터 복수의 사람이 감지되는 경우, 상기 복수의 사람에 대하여 얼굴을 개별 인식하는 단계;를 포함하고,
상기 게이트를 제어하는 단계는,
상기 복수의 사람 중 상기 복수의 사람 중 미등록자가 포함된 경우, 별도의 출입 허가를 절차를 수행하는 단계; 및
상기 미등록자에 대한 출입이 허가되면 상기 게이트를 개방하는 단계; 를 포함하는 출입 관리장치의 동작방법. Step 1: The first camera installed at the gate records the video of the person entering and exiting;
A step of a second camera installed in an indoor space taking a video of the indoor space;
A step of recognizing the face of the entrant from the image of the first camera, determining whether the entrant is a registered person, and generating a recognition result;
A step of controlling the gate to open the gate and allow entry if the person entering is a registered person and to restrict entry of unregistered persons;
A step of detecting a person passing through the gate from the image of the second camera;
A step of detecting unauthorized entry by comparing the number of people entering and exiting with the number of people passing through the gate; and
A step of generating and outputting a warning when the above unauthorized entry is detected;
The step of generating the above recognition result is:
Including a step of individually recognizing faces of the plurality of people when a plurality of people are detected from the image of the first camera;
The step of controlling the above gate is:
If an unregistered person is included among the above multiple people, a step of performing a separate entry permit procedure; and
A method of operating an access control device, comprising: a step of opening the gate when entry is permitted for the unregistered person; 제 11 항에 있어서,
상기 인식결과를 생성하는 단계는,
상기 영상의 얼굴영역을 분석하여 매칭되는 데이터가 존재하는 경우 등록자로 판단하고, 매칭되는 데이터가 존재하지 않는 경우 미등록자로 판단하여 얼굴인식에 대한 상기 인식결과를 생성하는 단계; 및
상기 게이트의 디스플레이에 상기 등록자와 상기 미등록자를 구분하여 표시하는 단계; 를 더 포함하는 출입 관리장치의 동작방법. In paragraph 11,
The step of generating the above recognition result is:
A step of generating the recognition result for face recognition by analyzing the face area of the above image, determining the person as a registered person if there is matching data, and determining the person as an unregistered person if there is no matching data; and
A method of operating an access control device, further comprising: a step of displaying the registered person and the unregistered person on the display of the gate; 제 12 항에 있어서,
상기 게이트를 제어하는 단계는,
상기 인식결과를 바탕으로 상기 복수의 사람이 모두 등록자인 경우 상기 게이트가 개방하는 단계;
상기 복수의 사람이 모두 미등록자인 경우 출입을 제한하고, 경고를 출력하는 단계; 및
상기 미등록자에 대한 출입이 허가되지 않으면 출입을 제한하고 경고를 출력하는 단계; 를 더 포함하는 출입 관리장치의 동작방법. In paragraph 12,
The step of controlling the above gate is:
A step of opening the gate when all of the plurality of people are registered based on the above recognition results;
A step of restricting entry and issuing a warning if all of the above-mentioned multiple people are unregistered; and
A method of operating an access control device, further comprising: a step of restricting access and outputting a warning if access is not permitted for the above unregistered person; 제 11 항에 있어서,
상기 무단출입을 검출하는 단계는,
상기 게이트가 개방되는 시점을 기준으로, 상기 제 1 카메라의 영상을 통해 감지되는 상기 출입자의 수와, 상기 제 2 카메라의 영상을 통해 감지되는 상기 게이트를 통과하는 사람의 수를 비교하여 일치하지 않는 경우 무단 침입으로 판단하는 것을 특징으로 하는 출입 관리장치의 동작방법. In paragraph 11,
The step of detecting the above unauthorized entry is:
An operating method of an access control device characterized in that, based on the time when the gate is opened, the number of entrants detected through the image of the first camera and the number of people passing through the gate detected through the image of the second camera are compared, and if they do not match, it is determined that there is unauthorized intrusion. 제 11 항에 있어서,
상기 인식결과를 바탕으로, 상기 등록자에 대하여 비식별처리를 설정하는 단계; 및
상기 제 1 카메라의 영상 및 상기 제 2 카메라의 영상에 대하여 상기 등록자의 얼굴영역을 모자이크 또는 블러 처리하여 얼굴을 식별할 수 없도록 변경하는 단계; 를 더 포함하는 출입 관리장치의 동작방법. In paragraph 11,
A step of setting anonymization for the registrant based on the above recognition result; and
A method of operating an access control device, further comprising: a step of changing the face area of the registrant in the image of the first camera and the image of the second camera to be mosaic-processed or blurred so that the face cannot be identified; 제 11 항에 있어서,
상기 제 2 카메라의 영상으로부터 상기 실내 공간에 존재하는 사람을 감지하는 단계; 및
상기 실내 공간에 설정된 가상의 기준선을 기준으로, 상기 기준선을 통과하는 사람의 모션 벡터를 추출하여 방향성을 판단하는 단계; 를 더 포함하는 출입 관리장치의 동작방법. In paragraph 11,
A step of detecting a person present in the indoor space from the image of the second camera; and
An operating method of an access control device further comprising: a step of extracting a motion vector of a person passing through a virtual reference line set in the indoor space and determining a directionality; 제 16 항에 있어서,
상기 실내 공간에 설정된 접근 금지 영역에 대한 접근을 감지하는 단계; 및
상기 접근 금지 영역에 대한 접근 감지 시, 경고를 생성하여 출력하고 보안시스템을 통해 접근을 차단하는 단계; 를 더 포함하는 출입 관리 장치의 동작방법. In paragraph 16,
A step of detecting access to a restricted area set in the above indoor space; and
An operating method of an access control device further comprising: a step of generating and outputting a warning when detecting access to the above-mentioned access-restricted area and blocking access through a security system; 제 16 항에 있어서,
상기 기준선을 중심으로, 상기 기준선을 통과하여 상기 게이트를 향해 이동하는 사람을 퇴소자로 판단하고, 상기 게이트로부터 상기 기준선을 통과하여 상기 실내 공간으로 이동하는 사람을 진입자로 판단하는 것을 특징으로 하는 출입 관리장치의 동작방법.In paragraph 16,
An operating method of an access control device characterized in that a person moving toward the gate by passing through the reference line is determined to be an exiter, and a person moving from the gate to the indoor space by passing through the reference line is determined to be an entrant. 제 18 항에 있어서,
상기 진입자의 수와 퇴소자의 수를 카운트 하는 단계;
상기 진입자의 수와 상기 퇴소자의 수를 비교하여 상기 실내 공간에 존재하는 잔류인원을 확인하는 단계; 및
상기 잔류인원이 0이 되면 자동으로 무장을 설정하여, 외부로부터의 침입을 감지하도록 보안을 강화하는 단계; 를 더 포함하는 출입 관리장치의 동작방법.
In paragraph 18,
A step of counting the number of entrants and exiters;
A step of comparing the number of entrants and the number of exiters to determine the number of remaining people in the indoor space; and
A method of operating an access control device, further comprising: a step of automatically setting up arming when the number of remaining personnel becomes 0, thereby strengthening security to detect intrusion from outside;
KR1020220011078A 2022-01-25 2022-01-25 Integrity entrance management apparatus using image and method for unmanned space Active KR102906096B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220011078A KR102906096B1 (en) 2022-01-25 2022-01-25 Integrity entrance management apparatus using image and method for unmanned space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220011078A KR102906096B1 (en) 2022-01-25 2022-01-25 Integrity entrance management apparatus using image and method for unmanned space

Publications (2)

Publication Number Publication Date
KR20230114650A KR20230114650A (en) 2023-08-01
KR102906096B1 true KR102906096B1 (en) 2025-12-31

Family

ID=87561747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220011078A Active KR102906096B1 (en) 2022-01-25 2022-01-25 Integrity entrance management apparatus using image and method for unmanned space

Country Status (1)

Country Link
KR (1) KR102906096B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025171272A1 (en) * 2024-02-09 2025-08-14 Musco Corporation System and methods for monitoring facility population and activity
KR102851413B1 (en) * 2025-02-09 2025-08-28 주식회사 투윈스컴 The Integrated Safety and Health Management Method Using Smart Devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026205A (en) * 2005-07-19 2007-02-01 Mitsubishi Electric Corp Entrance / exit management device
KR102333143B1 (en) * 2021-03-15 2021-12-02 다인스 주식회사 System for providing people counting service

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101218296B1 (en) * 2011-04-22 2013-01-03 주식회사 유니온커뮤니티 Management System for Entrance and Method thereof
KR101421962B1 (en) * 2012-11-09 2014-07-23 (주)데이타비전 Entrance-Exit Control Device Using Image of Entry and Method for Managing the Entry
KR102167730B1 (en) * 2019-04-22 2020-10-20 주식회사 로민 Apparatus and method for masking a video
KR102266824B1 (en) 2020-07-28 2021-06-18 주식회사 엠투에스 Non-facing unattended access temperature measurement system using thermal imaging and non-facing unmanned automatic entrance method using the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026205A (en) * 2005-07-19 2007-02-01 Mitsubishi Electric Corp Entrance / exit management device
KR102333143B1 (en) * 2021-03-15 2021-12-02 다인스 주식회사 System for providing people counting service

Also Published As

Publication number Publication date
KR20230114650A (en) 2023-08-01

Similar Documents

Publication Publication Date Title
JP2017536587A (en) Monitoring and control systems and access and access to prohibited areas
CA2481250C (en) Tailgating and reverse entry detection, alarm, recording and prevention using machine vision
EP2075400B1 (en) Video monitoring system
JP5212839B2 (en) Monitoring system and monitoring method
US20070268145A1 (en) Automated tailgating detection via fusion of video and access control
KR101387628B1 (en) Entrance control integrated video recorder
JP7075702B2 (en) Entry / exit authentication system and entry / exit authentication method
KR101838858B1 (en) Access control System based on biometric and Controlling method thereof
KR100943757B1 (en) Access management system and method
KR101858396B1 (en) Intelligent intrusion detection system
US20120169880A1 (en) Method and system for video-based gesture recognition to assist in access control
KR102906096B1 (en) Integrity entrance management apparatus using image and method for unmanned space
KR101492799B1 (en) Entrance control integrated video recording system and method thereof
JP2007303239A (en) Authentication apparatus, method of controlling authentication apparatus, and control program of authentication apparatus
JP2010211514A (en) Intruder monitoring device
JP2006236183A (en) Entrance / exit management system
JP4357521B2 (en) Unauthorized passing person detection device and unauthorized passing person recording system using the same
KR102658852B1 (en) Access control system based on facial recognition
KR101421962B1 (en) Entrance-Exit Control Device Using Image of Entry and Method for Managing the Entry
KR20220132854A (en) A system and method for managing a gate
KR102611113B1 (en) System and method for interlocking doors in a double door system
KR20020079083A (en) security system using data of face photographing and method of security thereof
US12300050B2 (en) Access control solution for a passage device
KR102318946B1 (en) Vehicle number forgery prevention system
JP4493521B2 (en) Access control device

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

D22 Grant of ip right intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D22-EXM-PE0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

Q13 Ip right document published

Free format text: ST27 STATUS EVENT CODE: A-4-4-Q10-Q13-NAP-PG1601 (AS PROVIDED BY THE NATIONAL OFFICE)