KR101381524B1 - Visitor management system using image - Google Patents
Visitor management system using image Download PDFInfo
- Publication number
- KR101381524B1 KR101381524B1 KR1020140025226A KR20140025226A KR101381524B1 KR 101381524 B1 KR101381524 B1 KR 101381524B1 KR 1020140025226 A KR1020140025226 A KR 1020140025226A KR 20140025226 A KR20140025226 A KR 20140025226A KR 101381524 B1 KR101381524 B1 KR 101381524B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- reader
- door
- objects
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 20
- 238000012544 monitoring process Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000021178 picnic Nutrition 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Lock And Its Accessories (AREA)
Abstract
본 발명은 출입자가 출입전, 제 1 리더기 인식과 동시, 출입후, 퇴출전, 개폐기에 의한 출입문 개방과 동시 또는 제 2 리더기 인식과 동시, 퇴출후 각각에 대하여 영상데이터를 생성하고 상기 생성된 영상데이터로부터 출입자의 객체수를 분석하여 출입자를 관리하는 영상을 이용한 출입자 관리 시스템에 관한 것이다.
본 발명은 관리자가 직접 현장에서 출입자를 관리하지 않고 영상데이터에서 추출된 객체수를 이용하여 출입자를 관리하는 매우 뛰어난 효과가 있다.The present invention generates the image data for each person before and after the entrance and exit, the first reader recognition, the entrance and exit, before the exit, the door opening by the switchgear or the second reader recognition, and after the exit. The present invention relates to an accessor management system using an image for managing an accessor by analyzing an object number of an accessor from data.
The present invention has a very excellent effect of the administrator to manage the accessor using the number of objects extracted from the image data without directly managing the accessor in the field.
Description
본 발명은 영상을 이용한 출입자 관리 시스템에 관한 것으로서, 더욱 상세하게는 출입자가 출입전, 제 1 리더기 인식과 동시, 출입후, 퇴출전, 개폐기에 의한 출입문 개방과 동시 또는 제 2 리더기 인식과 동시, 퇴출후 각각에 대하여 영상데이터를 생성하고 상기 생성된 영상데이터로부터 출입자의 객체수를 분석하여 출입자를 관리하는 영상을 이용한 출입자 관리 시스템에 관한 것이다.
The present invention relates to an access management system using an image, and more particularly, the accessor is before and after, at the same time as the recognition of the first reader, after entering and exiting, at the same time as opening and closing the door by the switch, or simultaneously with the recognition of the second reader. The present invention relates to an accessor management system using an image for generating image data for each exit and analyzing the number of objects of the accessor from the generated image data to manage the accessor.
도 1은 출입문 개폐장치를 이용한 출입자 관리 시스템 예시도로서, 외부 즉, 도 1에 도시된 (a)와 같이 출입자가 진입하기 위하여 출입문에 도어락(10)과 리더기(20)가 구성되고 내부 즉, 도 1에 도시된 (b)와 같이 출입자가 퇴출하기 위하여 출입문에 도어락(10)과 개폐기(30)로 구성된다.FIG. 1 is an exemplary view illustrating an access management system using a door opening and closing device, wherein a
이와 같이, 상기 출입자 관리 시스템은 출입자의 입출입을 관리하기 위해서 리더기(20)에서 인식되어 수집된 개인정보를 이용하여 출입자를 관리하고 있었다.As described above, the person managing system manages the person using the personal information recognized and collected by the
그러나, 현실적으로 상기 개인정보를 제공하는 인식자(예를 들어 RFID 태그)를 소지한 출입자와 함께 다른 출입자의 진입이 빈번하게 이루어지고 있는 실정이고 이와 같이 상기 다른 출입자를 관리하기에 어려운 문제점이 있었다.However, in reality, the entry of other accessors is frequently made together with the accessor having the recognizer (for example, an RFID tag) providing the personal information, and thus there is a problem that it is difficult to manage the other accessors.
또한, 종래의 기술로서 대한민국 공개특허공보 제10-2012-0119724호인 출입관리시스템 및 방법은 공간에 입장하고자 하는 출입자로부터 인증정보를 제공받아 출입인증 과정을 수행하는 제 1 단계와, 상기 출입인증이 성공한 경우, 도어락을 제어하여 출입문을 개방하였다가 다시 닫는 제 2 단계와, 상기 출입문 안쪽에 설치된 카메라를 이용하여 상기 출입문 안쪽 영역을 촬영하고 상기 촬영된 영상에 대해 분석하여 상기 제 2 단계 중에 상기 출입문을 통해 상기 공간에 입장한 모든 출입자의 수를 카운팅하는 제 3 단계, 및 상기 카운팅된 수가 1보다 큰 경우, 상기 영상을 저장매체 또는 외부 서버에 저장하는 경보이벤트를 생성하는 제 4 단계로 이루어지는 방법적인 기술이 있었다.In addition, the access control system and method of the Republic of Korea Patent Publication No. 10-2012-0119724 as a conventional technology is the first step of performing the access authentication process by receiving authentication information from the person who wants to enter the space, and the access authentication is In the case of success, the second step of controlling the door lock to open and close the door again, photographing the inside area of the door using a camera installed inside the door and analyzing the photographed image to analyze the captured image A third step of counting the number of all persons entering the space through the second step; and a fourth step of generating an alarm event for storing the image in a storage medium or an external server when the counted number is greater than one. There was a skill.
또한, 특정 공간의 출입문 외측에 설치되고, 인증수단 및 인증처리부를 포함하여 상기 공간에 입장하고자 하는 출입자로부터 인증정보를 제공받아 출입인증 과정을 수행하는 단말기와, 상기 출입인증이 성공한 경우 상기 단말기의 제어에 따라 상기 출입문을 개방하였다가 다시 닫는 도어락, 및 상기 출입문 안쪽에 설치되어 상기 출입문 안쪽 공간을 촬영한 영상을 생성하는 카메라를 포함하고, 상기 단말기는, 상기 카메라로부터 상기 영상을 수신하는 영상수신부, 상기 영상으로부터 출입자에 해당하는 객체를 인식하고 상기 객체의 이동을 추적하는 객체인식부 상기 객체인식부의 객체인식 및 추적에 기초하여 상기 출입문 개방 중에 상기 출입문을 통해 상기 공간에 입장한 모든 출입자의 수를 카운팅하는 출입자계수부, 및 상기 카운팅된 출입자의 수가 1보다 큰 경우 상기 영상을 내부 저장매체 또는 외부의 서버에 저장하는 경보이벤트를 생성하는 경보생성부를 포함하는 시스템적인 측면의 기술이 있었다.In addition, a terminal which is installed outside the door of a specific space, including an authentication means and an authentication processing unit for receiving the authentication information from the person who wants to enter the space, and performs the access authentication process, and if the access authentication is successful, A door lock that opens and closes the door according to control, and a camera installed inside the door to generate an image of the inside of the door, wherein the terminal comprises: an image receiver configured to receive the image from the camera; An object recognition unit for recognizing an object corresponding to an accessor from the image and tracking the movement of the object, based on object recognition and tracking of the object recognition unit, the number of all persons entering the space through the door during the door opening; Passenger counting unit for counting, and the counted If the number is greater than 1, there has been a system aspect of the technology including an alarm generation unit for generating an alarm event for storing the image in an internal storage medium or an external server.
그러나, 현실적으로 종래의 기술과 같이 하나의 인증으로 한 명이 출입하는 것은 특별한 절차가 필요하고 특히 하나의 인증을 통해 2명 이상이 출입시 경보음을 발생하여 확인하는 것은 일일이 관리자에 의해서 확인하여야 하는 불편한 문제점이 있으며 특히 하나의 인증을 통해 출입문이 개방되어 폐쇄되기 전에 인증되지 않은 자가 쉽게 진입하기 때문에 관리하기 어려운 문제점이 있었다.
However, in reality, it is inconvenient that one person entering and exiting with one authentication requires a special procedure, and in particular, it is inconvenient to check and generate alarm sound when two or more persons enter and exit through one authentication. There is a problem, especially because an unauthenticated person easily enters a door before the door is opened and closed through one authentication.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 출입자가 출입전, 제 1 리더기 인식과 동시, 출입후, 퇴출전, 개폐기에 의한 출입문 개방과 동시 또는 제 2 리더기 인식과 동시, 퇴출후 각각에 대하여 영상데이터를 생성하고 상기 생성된 영상데이터로부터 출입자의 객체수를 분석하여 출입자를 관리하는데 그 목적이 있다.
Accordingly, the present invention has been made in order to solve the above-described problems, the object of the present invention is the entrance and exit of the first reader, and at the same time, after the entrance, exit, before the exit, the door opening by the switch at the same time or the second reader Simultaneously with the recognition, the object of the present invention is to generate image data for each of the exits and to analyze the number of objects of the persons from the generated image data to manage the persons.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 영상을 이용한 출입자 관리 시스템은 제 1 개인정보를 포함하는 인식자를 이용하여 진입시 출입문을 개방하기 위한 제 1 승인신호를 생성하고 상기 제 1 개인정보를 수집하는 제 1 리더기와; 상기 제 1 승인신호가 생성되기 이전에 촬영한 제 1 영상데이터를 생성하고 상기 제 1 승인신호가 생성됨과 동시에 촬영한 제 2 영상데이터를 생성하며 퇴출시 출입문을 개방하기 위한 제 2 승인신호가 생성된 이후에 촬영한 제 3 영상데이터를 생성하는 제 1 카메라와; 상기 제 2 승인신호를 생성하는 개폐기와; 상기 제 2 승인신호가 생성되기 이전에 촬영한 제 4 영상데이터를 생성하고 상기 제 2 승인신호가 생성됨과 동시에 촬영한 제 5 영상데이터를 생성하며 제 1 승인신호가 생성된 이후에 촬영한 제 6 영상데이터를 생성하는 제 2 카메라; 및 상기 제 1, 6 영상데이터로부터 객체수를 추출하고 추출된 객체수와 상기 제 1 개인정보와 상기 제 2 영상데이터가 결합된 제 1 데이터를 생성하고, 상기 3, 4 영상데이터로부터 객체수를 추출하고 추출된 객체수와 상기 제 1 개인정보 및 제 5 영상데이터가 결합된 제 2 데이터를 생성하며 상기 제 1 데이터와 제 2 데이터에 포함된 객체수가 서로 다른 경우에 경보메시지를 생성하고 제 1 개인정보에 따른 제 2 영상데이터와 제 5 영상데이터를 모니터링되게 추출하는 제어장치로 이루어진 것을 해결 수단으로 한다.
According to an embodiment of the present invention for achieving the above object, the accessor management system using the image generates a first approval signal for opening the door at the time of entry using the identifier containing the first personal information and the first individual A first reader for collecting information; Generating first image data photographed before the first approval signal is generated, generating second image data photographed at the same time as the first approval signal is generated, and generating a second approval signal for opening the door when exiting. A first camera for generating third image data photographed after the shooting; A switch for generating the second approval signal; Generating the fourth image data photographed before the second approval signal is generated, generating the fifth image data photographed simultaneously with the generation of the second approval signal, and the sixth photographed after the first approval signal is generated; A second camera generating image data; And extracting the number of objects from the first and sixth image data, generating first data in which the extracted number of objects and the first personal information and the second image data are combined, and counting the number of objects from the third and fourth image data. Extract and generate second data in which the extracted number of objects and the first personal information and the fifth image data are combined; and generate an alarm message when the number of objects included in the first data and the second data is different. The solution means comprises a control device for extracting the second image data and the fifth image data according to the personal information to be monitored.
이상 설명한 바와 같이, 본 발명은 관리자가 직접 현장에서 출입자를 관리하지 않고 영상데이터에서 추출된 객체수를 이용하여 출입자를 관리하는 매우 뛰어난 효과가 있다.
As described above, the present invention has a very excellent effect of the administrator to manage the accessor using the number of objects extracted from the image data without directly managing the accessor in the field.
도 1은 종래의 출입문 개폐장치를 이용한 출입자 관리 시스템 예시도
도 2는 본 발명의 일 실시예에 따른 영상을 이용한 출입자 관리 시스템 구성도
도 3 또는 도 4는 본 발명의 일 실시예에 따른 출입문을 진입 또는 퇴출시 영상데이터가 생성되는 예시도1 is a view illustrating an access management system using a conventional door opening and closing device
2 is a block diagram of the access management system using the image according to an embodiment of the present invention
3 or 4 is an exemplary view that the image data is generated when entering or leaving the door according to an embodiment of the present invention
본 발명의 최적 실시예와 함께 첨부된 도면을 참조하여 그 구성 및 작용을 설명한다.The configuration and operation thereof will be described with reference to the accompanying drawings in conjunction with the preferred embodiment of the present invention.
도 2는 본 발명의 일실시예에 따른 영상을 이용한 출입자 관리 시스템 구성도로서, 상기 영상을 이용한 출입자 관리 시스템은 제 1 리더기(100)와 제 1 카메라(200)와 개폐기(300)와 제 2 카메라(400) 및 제어장치(500)로 이루어진다.FIG. 2 is a block diagram illustrating an access management system using an image according to an embodiment of the present invention. The access management system using the image includes a
상기 개폐기(300)를 대신하여 제 2 리더기(310)가 더 구비되는 것도 바람직하다.It is also preferable that the
더욱 상세하게, 상기 제 1 리더기(100)는 제 1 개인정보를 포함하는 인식자를 이용하여 진입시 출입문을 개방하기 위한 제 1 승인신호를 생성하고 상기 제 1 개인정보를 수집한다.In more detail, the
즉, 상기 제 1 리더기(100)는 마그네틱 카드, 스마트 카드, RFID 카드 등을 이용하는 것과 출입자의 지문, 홍채 등을 이용하는 것 이외에 다양한 수단과 방법에 의해서 출입문을 개방하기 위한 제 1 승인신호를 생성하고 출입자가 출입을 위한 인증과정에서 예컨대 제 1 개인정보를 포함하는 태그와 같은 것을 이용하여 출입자의 제 1 개인정보를 수집한다.That is, the
또한, 상기 제 1 승인신호는 출입하는 출입자를 위해서 진입시 출입문이 개방되도록 하는 신호이다.In addition, the first approval signal is a signal to open the door when entering for the entrance and exit.
상기 제 1 카메라(200)는 상기 제 1 승인신호가 생성되기 이전에 촬영한 제 1 영상데이터를 생성하고 상기 제 1 승인신호가 생성됨과 동시에 촬영한 제 2 영상데이터를 생성하며 퇴출시 출입문을 개방하기 위한 제 2 승인신호가 생성된 이후에 촬영한 제 3 영상데이터를 생성한다.The
즉, 상기 제 1 카메라(200)는 제 1 영상데이터, 제 2 영상데이터 및 제 3 영상데이터를 생성하는바, 우선 상기 제 1 영상데이터는 제 1 승인신호가 생성되기 이전에 촬영한 것임으로 도 3에 도시된 (a)와 같이 상기 제 1 승인신호에 의해서 출입문이 개방되지 않은 상태에서 출입자 또는 출입자와 함께 진입하고자 하는 한 명 이상의 다른 출입자들이 촬영된 영상데이터이다.That is, the
상기 제 2 영상데이터는 제 1 승인신호가 생성됨과 동시에 촬영한 것임으로 도 3에 도시된 (b)와 같이 출입자가 출입문에 근접해 있다는 것은 곧 제 1 리더기(100)와 제 1 카메라(200)에 근접하기 때문에 제 1 승인신호를 요청한 출입자만이 촬영될 것이고 간혹 제 1 승인신호를 요청한 출입자 주변으로 함께 진입하고자 하는 또 다른 출입자들이 촬영된 영상데이터이다.As the second image data is taken at the same time as the first approval signal is generated, it is determined that the accessor is close to the door as shown in (b) of FIG. 3, so as to the
상기 제 3 영상데이터는 퇴출시 출입문을 개방하기 위한 제 2 승인신호가 생성된 이후에 촬영한 것임으로 도 3에 도시된 (c)와 같이 내부에 진입한 출입자가 퇴출시 개폐기(300)를 누르게 됨에 따라 생성된 제 2 승인신호에 의해서 출입문이 개방되면 퇴출하는 출입자가 촬영된 영상데이터이다.The third image data is photographed after the second approval signal for opening the door at the time of exiting is generated, and thus the person entering the inside presses the
상기 개폐기(300)는 상기 제 2 승인신호를 생성한다.The
상기 제 2 승인신호는 퇴출하는 출입자를 위해서 퇴출시 출입문이 개방되도록 하는 신호이다.The second acknowledgment signal is a signal for opening the door when leaving the room for the exiting person.
또한, 상기 개폐기(300)는 자동 또는 수동으로 구성되는바, 우선 자동 개폐기(300)는 출입자가 출입문 앞에 오면 출입자를 감지하여 출입문이 개방되는 센서로 구성하는 것이 바람직하며 수동 개폐기(300)는 출입자가 직접 손으로 누르면 출입문이 개방되는 버튼형태로 구성하는 것이 바람직하다.In addition, the
한편, 상기 개폐기(300)를 대신하여 제 2 승인신호를 생성하고 제 2 개인정보를 수집하는 제 2 리더기(310)가 구비되는 것도 바람직하다.On the other hand, it is also preferable that the
상기 제 2 리더기(310)는 상기 설명한 제 1 리더기(100)와 동일 또는 유사한 구성이고 제 1 리더기(100)와 비교시 작용에 있어서 차이점이 있다.The
즉, 상기 제 1 리더기(100)는 진입하는 출입자에 대한 제 1 승인정보를 생성하여 출입문을 개방하고 제 1 개인정보를 수집하지만, 상기 제 2 리더기(310)는 퇴출하는 출입자에 대한 제 2 승인정보를 생성하여 출입문을 개방하고 제 2 개인정보를 수집한다.That is, the
상기 제 2 카메라(400)는 상기 제 2 승인신호가 생성되기 이전에 촬영한 제 4 영상데이터를 생성하고 상기 제 2 승인신호가 생성됨과 동시에 촬영한 제 5 영상데이터를 생성하며 상기 제 1 승인신호가 생성된 이후에 촬영한 제 6 영상데이터를 생성한다.The
즉, 상기 제 2 카메라(400)는 제 4 영상데이터, 제 5 영상데이터 및 제 6 영상데이터를 생성하는바, 우선 상기 제 4 영상데이터는 제 2 승인신호가 생성되기 이전에 촬영한 것임으로 도 3에 도시된 (d)와 같이 제 2 승인신호에 의해서 출입문이 개방되지 않은 상태에서 출입자 또는 출입자와 함께 퇴출하고자 하는 한 명 이상의 다른 출입자들이 촬영된 영상데이터이다.That is, the
상기 제 5 영상데이터는 제 2 승인신호가 생성됨과 동시에 촬영한 것임으로 도 3에 도시된 (e)와 같이 출입자가 출입문에 근접해 있다는 것은 곧 개폐기(300)와 제 2 카메라(400)에 근접하기 때문에 제 2 승인신호를 요청한 출입자만 촬영될 것이고 간혹 제 2 승인신호를 요청한 출입자 주변으로 함께 진입하고자 하는 또 다른 출입자들이 촬영된 영상데이터이다.As the fifth image data is taken at the same time as the second approval signal is generated, it is close to the
상기 제 6 영상데이터는 진입시 출입문을 개방하기 위한 제 1 승인신호가 생성된 이후에 촬영한 것임으로 도 3에 도시된 (f)와 같이 외부에서 내부로 진입하는 출입자가 진입시 제 1 리더기(100)를 통하여 제 1 승인신호를 생성되어 출입문이 개방되면 진입한 출입자가 촬영된 영상데이터이다.The sixth image data is photographed after the first approval signal for opening the door at the time of entry is generated. As shown in (f) of FIG. 3, the
한편, 상기 제 1, 2 카메라(200, 400)는 어안렌즈가 바람직하며, 상기 어안렌즈는 사각(寫角) 180°정도로 넓은 범위로 인하여 출입문에서 제 1 리더기(100), 개폐기(300)에 의한 제 1, 2 승인신호에 의해서 출입문이 개방되어 진입, 퇴출하는 출입자들을 용이하게 촬영된다.On the other hand, the first and
아울러, 상기 제 1, 2 카메라(200, 400)는 촬영되지 않는 사각지대를 대비하여 상하좌우로 구동되는 것이 바람직하다. 즉, 상기 어안렌즈를 통하여 촬영시 보편적으로 사각지대 없이 촬영이 가능하지만 실내에 구비된 장애물로 인하여 사각지대가 발생할 수 있음으로 상하좌우로 구동되게 구성하는 것이 바람직하다.In addition, the first and
상기 제어장치(500)는 상기 제 1, 6 영상데이터로부터 객체수를 추출하고 추출된 객체수와 상기 제 1 개인정보와 상기 제 2 영상데이터가 결합된 제 1 데이터를 생성하고, 상기 3, 4 영상데이터로부터 객체수를 추출하고 추출된 객체수와 상기 제 1 개인정보와 제 5 영상데이터가 결합된 제 2 데이터를 생성함에 따라 상기 제 1 데이터와 제 2 데이터에 포함된 객체수가 서로 다른 경우에 경보메시지를 생성하고 제 1 개인정보에 따른 제 2 영상데이터와 제 5 영상데이터를 모니터링되게 추출한다.The
즉, 제 1 영상데이터로부터 3명의 객체수가 추출되었다면 출입자가 3명임을 의미함에 따라 제 6 영상데이터도 출입문 통과시 3명의 객체수가 추출될 것이고 제 1 개인정보를 통해 출입문이 개방되었다고 분석할 수 있다.That is, if the number of three objects is extracted from the first image data, it means that the number of accessors is three, so the sixth image data can also be analyzed that three objects are extracted when passing through the door and that the door is opened through the first personal information. .
따라서, 퇴출시 제 1 개인정보를 통해 출입문이 개방되어 나가는 객체수도 3명이 추출되어야하므로 제 3, 4 영상데이터도 3명의 객체수가 추출되어야 정상적으로 진입 및 퇴출된 것이고 객체수가 서로 다른 경우는 비정상적인 진입 및 퇴출임으로 이에 대해서 경보메시지가 생성되는 것이다.Therefore, the number of objects whose doors are opened through the first personal information must also be extracted when exiting. Therefore, the third and fourth image data must also be extracted when the number of objects of three persons is extracted. This is an exit message, and an alarm message is generated.
예컨대, 인솔자를 포함하여 전산실에 출입한 출입자가 3명 촬영되고 이후 퇴출시 출입자 2명이 촬영되며 소정 시간 후 1명이 촬영되었다면 마지막에 퇴출한 1명은 전산실 내부에서 소정 시간 동안 정보를 유출하기 위한 행동을 했을 수 있다는 것은 매우 위험한 것이기 때문에 출입자의 객체수를 확인하여 비정상적인 경우에 관리자가 소지한 단말기로 경보메시지를 전송함에 따라 출입자를 관리할 수 있는 것이다.For example, if 3 persons who entered the computer room including the leader are photographed and 2 persons are photographed after leaving the room, and 1 person is photographed after a certain time, the last person who leaves the room is responsible for leaking information inside the computer room for a predetermined time. Since it is very dangerous, it is possible to manage the accessor by checking the number of accessor objects and sending an alarm message to the terminal possessed by the administrator in case of abnormality.
상기 제 1 개인정보에 따른 제 2 영상데이터와 제 5 영상데이터를 모니터링되게 추출하는 이유는 진입시 제 1 개인정보를 생성하여 출입문을 개방한 출입자의 얼굴, 소지품 등을 영상으로 확인하기 위한 것이며 퇴출시 출입문을 개방한 출입자를 확인하기 위한 것이다.The reason for extracting the second image data and the fifth image data according to the first personal information to be monitored is to check the face, belongings, etc. of the person who opened the door by creating the first personal information upon entry and when leaving This is to identify who has opened the door.
따라서, 제 1 개인정보는 출입자 고유의 인식자임으로 상기 인식자를 빌려서 출입하는 또 다른 출입자의 얼굴, 소지품 등을 영상으로 확인하기 위하여 추출되는 것이다.Therefore, the first personal information is extracted to identify the face, belongings and the like of another person who borrows the person and enters the person because the person is a unique person.
또한, 상기 제어장치(500)는 제 6 영상데이터로부터 둘 이상의 객체가 추출되면 경보메시지를 생성한다.In addition, the
예컨대, 보안을 요구하는 공간은 통상적으로 출입자 각각에 대해서 인식자를 개별적으로 소지하고 출입문 통과시 각각 개별적으로 인증과정을 거치는 것이 통상적이기 때문에 하나의 인증과정에서 둘 이상의 출입자가 제 6 영상데이터에서 추출되면 인증과정 없이 진입하는 출입자가 있다는 것임으로 경보메시지를 생성하여 관리자가 소지한 단말기로 전송되도록 하는 것이다.For example, a space that requires security typically has a recognizer for each person who passes through the authentication process, and when the door passes, the authentication process is performed separately. Therefore, when more than one person is extracted from the sixth image data in one authentication process, Since there is an accessor who enters without authentication process, an alarm message is generated and sent to the terminal possessed by the administrator.
아울러, 상기 제어장치(500)는 제 2 리더기(310)가 더 포함된 경우에 제 1 리더기(100)를 통해 추출된 제 1 개인정보와 제 2 리더기(310)를 통해 추출된 제 2 개인정보가 일치하는 경우에 제 6 영상데이터로부터 추출된 객체수와 제 3 영상데이터로부터 추출된 객체수가 일치하지 않는 경우에 경보메시지를 생성한다.In addition, the
즉, 상기 제 1 개인정보와 제 2 개인정보가 일치한다는 것은 동일한 인식자를 통하여 출입문이 개방되었다는 것을 의미함으로 제 6 영상데이터로부터 추출된 객체수는 제 1 개인정보를 갖는 인식자를 이용하여 출입된 모든 객체수이고 또한 제 3 영상데이터로부터 추출된 객체수는 제 2 개인정보(제 1 개인정보와 일치하는 개인정보)를 갖는 인식자를 이용하여 퇴출된 모든 객체수가 일치하지 않는다는 것은 결국 출입자보다 퇴출자가 적다는 것을 의미하는 것이기 때문에 아직 퇴출하지 않은 출입자가 있다는 것이다.That is, the coincidence of the first personal information with the second personal information means that the door is opened through the same recognizer, so that the number of objects extracted from the sixth image data is determined by using the identifier having the first personal information. The number of objects, and the number of objects extracted from the third image data is less than the number of exiters than the entrances, because the number of objects that are evicted using the identifier having the second personal information (personal information that matches the first personal information) does not match. It means that there are people who have not yet left.
더욱이, 상기 제어장치(500)는 임의의 한 공간과 다른 임의의 한 공간이 출입문으로 구성된 경우에 상기 제 1 데이터와 제 2 데이터에 포함된 객체수가 서로 다른 경우에 경보메시지를 생성한다.Further, the
예컨대, 임의의 한 공간에 출입자에 대한 객체수가 3명으로 추출되면 상기 다른 임의의 한 공간으로 이동시에도 출입자에 대한 객체수가 3명이어야 하지만 임의의 한 공간에서 객체수가 2명으로 추출되면 추출되지 않은 1명은 없어진 것이다.For example, if the number of objects for an occupant is extracted to three people in any one space, the number of objects for an occupant should be three even when moving to the other arbitrary space. One is missing.
이러한 경우는 유아, 저학년에서 관찰학습, 소풍 등을 갈 때 적용될 수 있는데 결국 상기한 바와 같이 객체수가 3명으로 일치하지 않고 2명이 되었다는 것은 1명의 미아가 발생하였다는 것을 의미할 수 있고 이러한 미아 발생을 초기에 방지할 수 있는 작용을 한다.This case can be applied to observation learning and picnics in early childhood and lower grades. Eventually, as mentioned above, if the number of objects does not coincide with 3, it may mean that 1 lost child occurred. It acts to prevent the early stage.
상기 제어장치(500)는 상기 제 1 내지 제 6 영상데이터 중 어느 한 영상데이터가 임의로 설정된 시간간격으로 다수 개 촬영되어 저장됨과 동시에 모니터상에 출력되며 상기 임의로 설정된 시간간격으로 다수 개 촬영되는 제 1 내지 6 영상데이터 중 어느 한 영상데이터가 제 1, 2 개인정보별로 저장된다.The
예컨대, 상기 제 1 내지 제 6 영상데이터가 사진 촬영된 이미지라하고 임의로 설정된 시간은 1초라 한다면 1초 간격으로 사진이 다수 개 촬영될 것이고 이와 같이 촬영된 다수개의 사진이 한 모니터상에 출력되는 것이다.For example, if the first to sixth image data is a photographed image and a predetermined time is 1 second, a plurality of photographs are taken at an interval of one second, and the plurality of photographed photographs are output on one monitor. .
특히, 제 1, 2 개인정보별로 저장하면 개인정보가 출력되면서 상기와 같이 1초 간격으로 출력된 사진이 출력됨에 따라 누가 출입하고 누가 동행했는지 추후에 식별할 수 있는 자료로 구축한 것이다.Particularly, when the first and second personal information are stored, the personal information is output, and as the photographs are output at the intervals of 1 second as described above, it is constructed as a material that can later identify who went in and who accompanied.
이상 설명한 제 1 내지 제 6 영상데이터는 동영상 또는 사진이 바람직하며, 특히 제 1 내지 제 6 영상데이터가 저장되는 용량을 고려할 때 사진인 것이 더욱 바람직하다.The first to sixth image data described above is preferably a moving picture or a picture, and more preferably a picture in consideration of the capacity for storing the first to sixth image data.
한편, 상기 임의의 한 공간과 다른 임의의 한 공간을 연결하는 출입문은 제 1 리더기(100), 제 1 카메라(200), 개폐기(300), 제 2 카메라(400) 및 제어장치(500)로 구성됨에 따라 구현되는 것이 바람직하지만 제 1 리더기(100), 제 1 카메라(200), 제 2 리더기(310), 제 2 카메라(400) 및 제어장치(500)로 구성됨에 따라 구현되는 것도 바람직하다.On the other hand, the door that connects the arbitrary one space and the other arbitrary space to the
또한, 입구와 출구가 구분된 경우에 입구측 문의 진입하는 쪽에 상기 제 1 리더기(100)와 제 1 카메라(200)가 구성되고 출구측 문의 퇴출하는 쪽에 계폐기(300)와 제 2 카메라(400)가 구성되는 것이 바람직하고 입구와 출구가 구분된 경우에 입구측 문의 진입하는 쪽에 상기 제 1 리더기(100)와 제 1 카메라(200)가 구성되고 출구측 문의 퇴출하는 쪽에 제 2 리더기(310)와 제 2 카메라(400)로 구성하는 것이 바람직하다.In addition, when the inlet and the outlet are separated, the
즉, 출입자가 진입하여 퇴출하는 과정에서 서로 문이 다른 경우에 상기 제 1 내지 제 6 영상데이터를 수집하기 위해서 제 1 리더기(100), 제 1 카메라(200), 개폐기(300), 제 2 카메라(400) 및 제 2 리더기(310)의 배치를 상기한 바와 같이 구현한 것이다.That is, the
한편, 상기 제 1 카메라(200)는 제 1 리더기(100) 내부에 포함되고 상기 제 2 카메라(400)는 제 2 리더기(310) 내부에 포함되게 구성된 것이 바람직하다.Meanwhile, the
이는 제 1 카메라(200)와 제 1 리더기(100), 제 2 카메라(400)와 제 2 카메라(400)와 제 2 리더기(310)를 분리하여 구성하면 설계 또는 시공상 시간과 경비가 많이 소요되기 때문에 이를 분리하여 설계하지 아니하고 일체화되게 구성한 것이다.This is the
아울러, 상기 경보메시지는 관리자의 단말기에 전송되는 것이 바람직하다.In addition, the alarm message is preferably transmitted to the terminal of the administrator.
도면과 상세한 설명에서 최적 실시예들이 개시되고, 이상에서 사용된 특정한 용어는 단지 본 발명을 설명하기 위한 목적에서 사용된 것일 뿐, 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것이 아니다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are intended to cover further limitations anddisclamping the scope of the present invention as defined by the appended claims. It is not.
그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하고, 본 발명의 진정한 기술적 보호 범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
Therefore, it is intended that the present invention covers the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents.
100 : 제 1 리더기 200 : 제 1 카메라
300 : 개폐기 310 : 제 2 리더기
400 : 제 2 카메라 500 : 제어장치100: first reader 200: first camera
300: switch 310: second reader
400: second camera 500: controller
Claims (10)
상기 제 1 승인신호가 생성되기 이전에 촬영한 제 1 영상데이터를 생성하고 상기 제 1 승인신호가 생성됨과 동시에 촬영한 제 2 영상데이터를 생성하며 퇴출시 출입문을 개방하기 위한 제 2 승인신호가 생성된 이후에 촬영한 제 3 영상데이터를 생성하는 제 1 카메라와;
상기 제 2 승인신호를 생성하는 개폐기와;
상기 제 2 승인신호가 생성되기 이전에 촬영한 제 4 영상데이터를 생성하고 상기 제 2 승인신호가 생성됨과 동시에 촬영한 제 5 영상데이터를 생성하며 제 1 승인신호가 생성된 이후에 촬영한 제 6 영상데이터를 생성하는 제 2 카메라; 및
상기 제 1, 6 영상데이터로부터 객체수를 추출하고 추출된 객체수와 상기 제 1 개인정보와 상기 제 2 영상데이터가 결합된 제 1 데이터를 생성하고, 상기 3, 4 영상데이터로부터 객체수를 추출하고 추출된 객체수와 상기 제 1 개인정보 및 제 5 영상데이터가 결합된 제 2 데이터를 생성하며 상기 제 1 데이터와 제 2 데이터에 포함된 객체수가 서로 다른 경우에 경보메시지를 생성하고 제 1 개인정보에 따른 제 2 영상데이터와 제 5 영상데이터를 모니터링되게 추출하는 제어장치로 이루어진 것을 특징으로 하는 영상을 이용한 출입자 관리 시스템.
A first reader configured to generate a first approval signal for opening the door at the time of entry using a recognizer including first personal information and to collect the first personal information;
Generating first image data photographed before the first approval signal is generated, generating second image data photographed at the same time as the first approval signal is generated, and generating a second approval signal for opening the door when exiting. A first camera for generating third image data photographed after the shooting;
A switch for generating the second approval signal;
Generating the fourth image data photographed before the second approval signal is generated, generating the fifth image data photographed simultaneously with the generation of the second approval signal, and the sixth photographed after the first approval signal is generated; A second camera generating image data; And
The number of objects is extracted from the first and sixth image data, and the number of extracted objects, first data combined with the first personal information and the second image data are generated, and the number of objects is extracted from the third and fourth image data. And generate second data in which the number of extracted objects, the first personal information and the fifth image data are combined, and generate an alarm message when the number of objects included in the first data and the second data are different from each other. A visitor management system using an image comprising a control device for monitoring the second image data and the fifth image data according to the information to be monitored.
상기 개폐기를 대신하여 퇴출시 제 2 승인신호를 생성하며 제 2 개인정보를 수집하는 제 2 리더기를 더 구비된 것을 특징으로 하는 영상을 이용한 출입자 관리 시스템.
The method according to claim 1,
And a second reader configured to generate a second approval signal and collect second personal information when leaving the switch instead of the switch.
상기 제 6 영상데이터로부터 추출된 출입자 객체수가 둘 이상이면 경보메시지를 생성하는 것을 특징으로 하는 영상을 이용한 출입자 관리 시스템.
The method of claim 2, wherein the control device
And an alarm message if the number of accessor objects extracted from the sixth image data is two or more.
상기 제 1 리더기를 통해 추출된 제 1 개인정보와 제 2 리더기를 통해 추출된 제 2 개인정보가 일치하는 경우에 제 6 영상데이터로부터 추출된 객체수와 제 3 영상데이터로부터 추출된 객체수가 일치하지 않는 경우에 경보메시지를 생성하는 것을 특징으로 하는 영상을 이용한 출입자 관리 시스템.
The method of claim 2, wherein the control device
When the first personal information extracted through the first reader and the second personal information extracted through the second reader coincide, the number of objects extracted from the sixth image data does not match the number of objects extracted from the third image data. If not, the access management system using the image, characterized in that for generating an alarm message.
임의의 한 공간과 다른 임의의 한 공간이 출입문으로 구성된 경우에 상기 제 1 데이터와 제 2 데이터에 포함된 객체수가 서로 다른 경우에 경보메시지를 생성하는 것을 특징으로 하는 영상을 이용한 출입자 관리 시스템.
The method according to claim 1 or 2, wherein the control device
And an alarm message when the number of objects included in the first data and the second data is different when any one space and another random space are configured as doors.
임의의 한 공간과 다른 임의의 한 공간이 출입문으로 구성된 경우에 상기 제 1 데이터와 제 2 데이터에 포함된 객체수가 서로 다른 경우에 경보메시지를 생성하는 것을 특징으로 하는 영상을 이용한 출입자 관리 시스템.
The method of claim 2,
And an alarm message when the number of objects included in the first data and the second data is different when any one space and another random space are configured as doors.
상기 제 1 내지 제 6 영상데이터 중 어느 한 영상데이터가 임의로 설정된 시간간격으로 다수개 촬영되어 저장됨과 동시에 모니터상에 출력되며 상기 임의로 설정된 시간간격으로 다수개 촬영되는 제 1 내지 6 영상데이터 중 어느 한 영상데이터가 제 1, 2 개인정보별로 저장되는 것을 특징으로 하는 영상을 이용한 출입자 관리 시스템.
The method according to claim 1 or 2, wherein the control device
Any one of the first to sixth image data among the first to sixth image data is photographed and stored at a randomly set time interval and is output on the monitor and the plurality of first to sixth image data to be photographed at the arbitrarily set time interval. A visitor management system using an image, characterized in that the image data is stored for each of the first and second personal information.
입구와 출구가 구분된 경우에 입구측 문의 진입하는 쪽에 상기 제 1 리더기와 제 1 카메라가 구성되고 출구측 문의 퇴출하는 쪽에 계폐기와 제 2 카메라가 구성된 것을 특징으로 하는 영상을 이용한 출입자 관리 시스템.
The method according to claim 1,
And the first reader and the first camera are configured to enter the entrance door when the entrance and the exit are separated, and the attenuator and the second camera are configured to exit the exit door.
입구와 출구가 구분된 경우에 입구축 문의 진입하는 쪽에 상기 제 1 리더기와 제 1 카메라가 구성되고 출구측 문의 퇴출하는 쪽에 제 2 리더기와 제 2 카메라가 구성된 것을 특징으로 하는 영상을 이용한 출입자 관리 시스템.
The method of claim 2 wherein the control device
In case the entrance and the exit are separated, the first reader and the first camera is configured on the entry side of the entrance shaft door, and the second reader and the second camera are configured on the exit side of the exit door. .
상기 제 1 카메라는 제 1 리더기 내부에 포함되고 상기 제 2 카메라는 제 2 리더기 내부에 포함되게 구성된 것을 특징으로 하는 영상을 이용한 출입자 관리 시스템.The method of claim 2,
And the first camera is included in the first reader and the second camera is included in the second reader.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140025226A KR101381524B1 (en) | 2014-03-03 | 2014-03-03 | Visitor management system using image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140025226A KR101381524B1 (en) | 2014-03-03 | 2014-03-03 | Visitor management system using image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101381524B1 true KR101381524B1 (en) | 2014-04-04 |
Family
ID=50656574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140025226A Active KR101381524B1 (en) | 2014-03-03 | 2014-03-03 | Visitor management system using image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101381524B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101567005B1 (en) * | 2015-04-15 | 2015-11-11 | (주) 혜인에스앤에스 | A method and system for controlling the exit and entry having a function of protecting accompanied a trespasser |
| KR20200018990A (en) * | 2018-08-13 | 2020-02-21 | 주식회사 에스원 | Entering and Leaving Management System by Face Certification at office and Method thereof |
| KR20200023944A (en) | 2018-08-27 | 2020-03-06 | 김원호 | Inner door system with visitor monitoring function |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005301861A (en) * | 2004-04-15 | 2005-10-27 | Mitsubishi Electric Corp | Access control system |
| KR100965428B1 (en) * | 2009-12-22 | 2010-06-24 | (주)코스텍시스템 | The system and operating method using two different positioned intelligent cameras for automatic verification of authenticated person's entrance |
| KR101218296B1 (en) * | 2011-04-22 | 2013-01-03 | 주식회사 유니온커뮤니티 | Management System for Entrance and Method thereof |
| KR101355206B1 (en) * | 2012-03-12 | 2014-01-28 | (주)유인프라웨이 | A count system of coming and going using image analysis and method thereof |
-
2014
- 2014-03-03 KR KR1020140025226A patent/KR101381524B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005301861A (en) * | 2004-04-15 | 2005-10-27 | Mitsubishi Electric Corp | Access control system |
| KR100965428B1 (en) * | 2009-12-22 | 2010-06-24 | (주)코스텍시스템 | The system and operating method using two different positioned intelligent cameras for automatic verification of authenticated person's entrance |
| KR101218296B1 (en) * | 2011-04-22 | 2013-01-03 | 주식회사 유니온커뮤니티 | Management System for Entrance and Method thereof |
| KR101355206B1 (en) * | 2012-03-12 | 2014-01-28 | (주)유인프라웨이 | A count system of coming and going using image analysis and method thereof |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101567005B1 (en) * | 2015-04-15 | 2015-11-11 | (주) 혜인에스앤에스 | A method and system for controlling the exit and entry having a function of protecting accompanied a trespasser |
| KR20200018990A (en) * | 2018-08-13 | 2020-02-21 | 주식회사 에스원 | Entering and Leaving Management System by Face Certification at office and Method thereof |
| KR102153880B1 (en) * | 2018-08-13 | 2020-09-10 | 주식회사 에스원 | Entering and Leaving Management System by Face Certification at office and Method thereof |
| KR20200023944A (en) | 2018-08-27 | 2020-03-06 | 김원호 | Inner door system with visitor monitoring function |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7504942B2 (en) | Local verification systems and methods for security monitoring | |
| KR101218296B1 (en) | Management System for Entrance and Method thereof | |
| KR101536816B1 (en) | Security system and method for controlling entrance/exit using blocking aisle | |
| JP4751442B2 (en) | Video surveillance system | |
| CN109658554B (en) | Intelligent residential district security protection system based on big data | |
| WO2002058404A1 (en) | Access control method and apparatus for members and guests | |
| CN101556717A (en) | ATM intelligent security system and monitoring method | |
| JP6095731B2 (en) | Electronic tag security device | |
| US20140071293A1 (en) | Method and device for authintication of live human faces using infra red images | |
| JP2011039959A (en) | Monitoring system | |
| KR100965428B1 (en) | The system and operating method using two different positioned intelligent cameras for automatic verification of authenticated person's entrance | |
| JP5349080B2 (en) | Admission management system, admission management device, and admission management method | |
| CN110599657A (en) | Access control monitoring system and method based on image recognition technology | |
| KR20170013597A (en) | Method and Apparatus for Strengthening of Security | |
| KR101381524B1 (en) | Visitor management system using image | |
| KR101421962B1 (en) | Entrance-Exit Control Device Using Image of Entry and Method for Managing the Entry | |
| JP2017025621A (en) | Entrance / exit management system | |
| KR102906096B1 (en) | Integrity entrance management apparatus using image and method for unmanned space | |
| JPH11185087A (en) | Entering/leaving person control system | |
| KR20220010218A (en) | Visiter Monitering System for Infectious Disease and Method Thereof | |
| JP2010182056A (en) | Password input device and password verification system | |
| CN113393607A (en) | Intelligent electric power security method and system | |
| CN209044724U (en) | A kind of gate inhibition's net connection safety management system | |
| JP5547876B2 (en) | Entrance / exit management system | |
| JP2012027668A (en) | Entry and exit management system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20140303 |
|
| PA0201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20140306 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20140303 Patent event code: PA03021R01I Comment text: Patent Application |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20140326 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20140328 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20140328 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20170328 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170328 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180123 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180123 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190305 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190305 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200324 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210311 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220317 Start annual number: 9 End annual number: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240312 Start annual number: 11 End annual number: 11 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250116 Start annual number: 12 End annual number: 12 |