KR102441599B1 - 재실 인원 통제 장치 - Google Patents

재실 인원 통제 장치 Download PDF

Info

Publication number
KR102441599B1
KR102441599B1 KR1020200065271A KR20200065271A KR102441599B1 KR 102441599 B1 KR102441599 B1 KR 102441599B1 KR 1020200065271 A KR1020200065271 A KR 1020200065271A KR 20200065271 A KR20200065271 A KR 20200065271A KR 102441599 B1 KR102441599 B1 KR 102441599B1
Authority
KR
South Korea
Prior art keywords
counter
entrance
camera
occupancy
occupants
Prior art date
Application number
KR1020200065271A
Other languages
English (en)
Other versions
KR20210147679A (ko
Inventor
박동욱
이병윤
Original Assignee
주식회사 아이티엑스에이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이티엑스에이아이 filed Critical 주식회사 아이티엑스에이아이
Priority to KR1020200065271A priority Critical patent/KR102441599B1/ko
Priority to US17/326,362 priority patent/US20210374426A1/en
Publication of KR20210147679A publication Critical patent/KR20210147679A/ko
Application granted granted Critical
Publication of KR102441599B1 publication Critical patent/KR102441599B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C2209/00—Indexing scheme relating to groups G07C9/00 - G07C9/38
    • G07C2209/08—With time considerations, e.g. temporary activation, valid time window or time limitations
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/10—Movable barriers with registering means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Selective Calling Equipment (AREA)

Abstract

재실 인원을 카운트하는 기술이 개시된다. 재실 인원 통제 장치는 출입자를 식별하는 출입 통제 장치나 보안 시스템의 일부일 수 있다. 입실자를 카운트한 값과 퇴실자를 카운트한 값의 차이로부터 재실 인원수를 계산하여 이 값이 기준치를 넘으면 입실을 통제한다. 카운터별로 분수 형태의 카운트당 에러율이 산출되어 현재 카운터값이 실시간으로 보정될 수 있다. 재실 인원수가 기준값을 넘으면 입구가 차단되고, 또 다른 기준값 이하로 회복되면 입구 차단이 해제될 수 있다. 카운터의 카운트당 에러율은 장치 별, 시간대별로 산출될 수 있다.

Description

재실 인원 통제 장치{Occupancy Control Apparatus}
재실 인원을 카운트하는 기술이 개시된다. 재실 인원 통제 장치는 출입자를 식별하는 출입 통제 장치나 보안 시스템의 일부일 수 있다.
출입자를 카운트하여 조명을 제어하거나 실내 환경을 제어하는 기술이 알려져 있다. 인공 지능 기술의 발달로 인하여 카메라를 이용하여 출입자를 식별하고 카운트하는 것이 상당히 신뢰성 있게 가능해지고 있다. 보안 분야에 종사해온 발명자들은 이러한 기술을 이용하여 전염병의 확산에 대한 우려로 인하여 재실 인원을 효과적으로 통제할 수 있는 기술을 제안하고자 한다.
제안된 발명은 재실 인원수를 효율적으로 통제할 수 있는 자동화된 기술을 제공하는 것을 목적으로 한다.
나아가 제안된 발명은 재실 인원을 정확히 카운트하는 것을 목적으로 한다.
제안된 발명의 일 양상에 따르면, 입실자를 카운트한 값과 퇴실자를 카운트한 값의 차이로부터 재실 인원수를 계산하여 이 값이 기준치를 넘으면 입실을 통제한다.
또 다른 양상에 따르면, 카운터별로 분수 형태의 카운트당 에러율이 산출되어 현재 카운터값이 실시간으로 보정될 수 있다.
또 다른 양상에 따르면, 재실 인원수가 기준값을 넘으면 입구가 차단될 수 있다.
또 다른 양상에 따르면, 재실 인원수가 또 다른 기준값 이하로 회복되면 입구 차단이 해제될 수 있다.
또 다른 양상에 따르면, 카운터의 카운트당 에러율은 장치 별, 시간대별로 산출될 수 있다.
또 다른 양상에 따르면, 카운터는 카메라 영상에서 사람 객체를 검출하여 카운트하는 프로그램 명령어들로 구현될 수 있다.
또 다른 양상에 따르면, 입구와 출구가 적어도 일부가 중첩된 공간일 수 있고,입실 카운터와 퇴실 카운터는 동일한 카메라 영상을 입력받아 처리할 수 있다.
또 다른 양상에 따르면, 카운터는 사람 객체검출 및 추적기(Human Detector and Tracker) )를 통해 사람 객체를 식별하고 식별된 사람 객체를 추적하여 가상 트립 와이어(virtual trip wire)를 해당 방향으로 통과하는 객체를 카운트함으로써 사람 객체를 카운트할 수 있다.
또 다른 양상에 따르면, 입구를 차단한 상태에서 카메라를 통해 입실을 시도하는 사람을 식별하여 등록된 사람이면 차단을 해제하여 입실을 허용할 수 있다.
또 다른 양상에 따르면, 입구가 차단 해제된 상태에서 대기표를 판독한 결과에 따라 차단을 해제하여 선별적으로 입실을 허용할 수 있다.
재실 인원수가 일정 수를 넘으면 격리 거리를 유지하기 어렵다. 제안된 발명에 따라, 재실 인원수의 효율적이고 자동화된 통제가 가능하다. 나아가 카운트당 카운터 값이 보정되므로 실시간으로 에러를 극복하여 정확하게 재실자수를 유지할 수 있다.
도 1은 제안된 발명이 적용되는 재실 통제 시스템의 일 실시예의 구성을 도시한다.
도 2는 일 실시예에 따른 재실 인원 통제 장치의 구성을 도시한 블록도이다.
도 3은 이러한 양상에 따른 입실 카운터 또는 퇴실 카운터의 구성을 도시한 블록도이다.
도 4는 도 2의 출입구 차단 제어부의 일 실시예의 구성을 도시한 블록도이다.
도 5는 출입구 차단 제어부의 제어 방법의 일 실시예의 구성을 도시한 흐름도이다.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시예 내에서 또는 타 실시예의 구성 요소들과 다양한 조합이 가능한 것으로 이해된다. 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 명세서 및 청구범위에 사용된 용어는 기재 내용 혹은 제안된 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 제안된 발명이 적용되는 재실 통제 시스템의 일 실시예의 구성을 도시한다. 도시된 예에서, 재실 인원 통제 장치는 매장 내부에 설치된다. 재실 인원 통제 장치가 설치되는 공간은 매장 뿐 아니라 사무실, 공공 건물, 나아가 실외의 통제된 공간일 수도 있다. 도시된 실시예에서, 입실 카운터(50)와 퇴실 카운터(70)는 천정에 설치된 돔형 카메라와 소프트웨어로 구현된다. 입구와 출구는 입실 및 퇴실을 카운트하는 관심 공간 경계에 있을 수도 있지만 경계에서 공간 외부로 이격되어 있을 수도 있다. 이 경우 카메라는 관심 공간 경계에서 외부로 떨어진 곳에 설치될 수도 있다. 카메라는 돔형 카메라 뿐 아니라 보안용 카메라, 일반 카메라나 스테레오 카메라 혹은 열화상 카메라와 같은 특수 카메라일 수도 있다. 이 입실자, 퇴실자를 카운트하는 소프트웨어는 카메라 내부에 설치되어 실행될 수도 있고, 카메라에 연결된 통제 단말(10)에 설치되어 실행될 수도 있고, 통제 단말(10)이 연결된 서버(30)에 설치되어 실행될 수도 있다. 하나의 공간에 대해 입구 및 출구 별로 입실 카운터(50)와 퇴실 카운터(70)는 각각 복수일 수 있다. 도시된 실시예에서, 입구와 출구는 매장에서 분리되어 있지만 이에 한정되는 것은 아니며, 입구와 출구는 공간적으로 일부 혹은 전부가 겹치는 공간일 수 있다. 즉 동일한 현관에 입구와 출구가 인접하여 배치되는 경우도 있고, 하나의 출입구를 통해 입실 및 퇴실이 모두 허용될 수도 있다. 이러한 경우 입실 카운터(50)와 퇴실 카운터(70)는 동일한 하나의 카메라 혹은 복수의 카메라를 사용하고 이들 카메라로부터 입력된 영상을 처리하여 입실자 및 퇴실자를 카운트하는 소프트웨어가 별도로 있거나 혹은 동일한 소프트웨어이지만 설정을 달리하여 개별적으로 실행되는 타스크(task) 혹은 프로세스로 구현될 수 있다.
입실 카운터(50)인 카메라는 입구 카운팅 라인(entrance counting line)(51)을 통과하는 사람, 예를 들면 얼굴을 인식하여 카운트한다. 퇴실 카운터(70)인 카메라는 출구 카운팅 라인(exit counting line)(71)을 통과하는 사람, 예를 들면 얼굴을 인식하여 카운트한다. 그러나 이에 한정되는 것은 아니며 사람 객체 자체를 인식하도록 학습된 인공 지능 엔진을 사용할 수도 있다. 사람 객체를 인식하고 추적하여 그 이동 경로로부터 입실 혹은 퇴실 여부를 판단할 수 있다.
도 2는 일 실시예에 따른 재실 인원 통제 장치의 구성을 도시한 블록도이다. 도시된 바와 같이, 일 실시예에 따른 재실 인원 통제 장치는 입실 카운터(211)와, 퇴실 카운터(213)와, 재실 인원 통제부(230)를 포함한다. 입실 카운터(211)는 입구에 설치되어 입실자를 카운트한다. 도 1에 도시된 바와 같이 도시된 실시예에서 입실 카운터(211)는 카메라로 구현된다. 도시된 실시예에서 카메라는 보안 카메라로, 입구 카운팅 라인(entrance counting line)(51)을 통과하는 사람들의 영상에서 얼굴을 인식하여 식별하고, 카운트한다. 그러나 이에 한정되는 것은 아니며, 단순한 광학 방식 카운터나, 사람만 카운트할 수 있는 인체 감지 센서를 채택할 수도 있다.
퇴실 카운터(213)는 출구에 설치되어 입실자를 카운트한다. 도 1에 도시된 바와 같이 도시된 실시예에서 퇴실 카운터(213)는 카메라로 구현된다. 도시된 실시예에서 카메라는 보안 카메라로, 출구 카운팅 라인(71)을 통과하는 사람들의 영상에서 얼굴을 인식하여 식별하고, 카운트한다. 그러나 이에 한정되는 것은 아니며, 단순한 광학 방식 카운터나, 사람만 카운트할 수 있는 인체 감지 센서를 채택할 수도 있다.
인공 지능 기술의 발달로 지나가는 사람의 얼굴 영역을 추출하고 추출된 얼굴 영역 영상에서 얼굴을 인식하는 기술이 높은 신뢰도로 구현 가능해졌다. 시스템 관리자는 알려진 다수의 얼굴 영역 추출 알고리즘과 얼굴인식 알고리즘 중 해당 공간이나 카메라 설치 장소에 적합한 알고리즘을 선택하여 설정할 수 있다.
재실 인원 통제부(230)는 예를 들면 도 1의 통제 단말(10)과 같은 셋탑 형태의 단말 장치에 컴퓨터 프로그램 명령어로 구현될 수 있다. 도면에서 재실 인원 통제부(230)에 포함된 각각의 블록들은 해당 기능을 수행하는 컴퓨터 프로그램 명령어 세트로 구현될 수 있다. 그러나 이러한 블록의 전부 혹은 일부는 카메라의 내부 혹은 카메라나 통제 단말과 연결된 서버에 구현될 수도 있다.
일 양상에 따라, 재실 인원 통제부(230)는 재실 인원 산출부(237)와, 통제 지시 송출부(233)를 포함한다. 재실 인원 산출부(237는 입실 카운터(211)와 퇴실 카운터값(213)의 차이로부터 재실 인원수를 계산한다. 현재 입실 카운터(211) 값에서 퇴실 카운터 값(213)을 뺀 값을 현재 재실 인원수로 볼 수 있다. 통제 지시 송출부(233)는 계산된 재실 인원수를 설정된 제1 기준값와 비교하여 제1 기준값 이상이면 입실 통제 지시를 송출한다. 제1 기준값은 공간의 수용 능력 혹은 재실자 별 이격 거리를 반영한 공간 혹은 적정 활동 공간을 반영하여 결정될 수 있다. 입실 통제 지시는 예를 들면 출입을 통제하는 경비들이 확인하도록 입구 통제실로 전송되어 표시될 수 있다.
추가적인 양상에 따르면, 재실 인원 통제부(230)는 카운터값 보정부(231)를 더 포함할 수 있다. 카운터값 보정부(231)는 입실 카운터 및 퇴실 카운터의 출력 값에 각각 분수 형태의 카운터별 카운트당 에러율을 반영하여 보정한다. 예를 들어 입실 카운터 및 퇴실 카운터의 카운트당 에러율은 정밀 측정용 입실자 카운팅 시스템을 사용하여 측정할 수 있다. 정밀 측정용 입실자 카운팅 시스템은 예를 들어 상이한 각도에 설치된 2개 혹은 3개의 카메라로 구현할 수 있다. 복수의 카메라로부터 촬영된, 공간적으로 동기화된 복수의 영상을 사용하면 카운팅 신뢰도를 높일 수 있으나 비용의 상승을 초래한다. 해당 입구에 설치된 이동식 정밀 측정용 입실자 카운팅 시스템을 사용하여 측정한 값과 해당 입구에 설치된 입실 카운터(211)가 측정한 값을 비교하여 카운터의 에러를 산출할 수 있다. 이러한 카운터의 에러는 장소별로, 계절별로, 요일별로 상이할 수 있다.
나아가 이러한 카운터의 에러는 카메라에서 파악된 밀집된 인원 수 및 카메라를 중심으로 배치된 사람들의 배치 형태에 따라 에러율을 예측할 수 있다. 이러한 출입자 배치에 따른 카운터의 에러는 정밀 측정용 입실자 카운팅 시스템과 함께 설치된 입실 혹은 퇴실 카운터를 이용하여 누적된 데이터를 학습함으로써 예측될 수 있다. 카운터의 에러를 카운트 수로 나누어 카운팅 에러 확률 내지 양수 혹은 음수의 분수 형태의 카운트당 에러를 산출할 수 있다. 입실 카운터(211) 및 퇴실 카운터(213)의 카운트 값이 변할 때마다 이 카운트당 에러를 가산함으로써 실시간으로 에러가 반영된 카운트 값 보정치를 산출할 수 있다. 카운터의 카운트당 에러는 통신부(270)를 통해 서버로부터 수신하거나 갱신할 수 있다.
추가적인 양상에 따르면, 재실 인원 통제부(230)는 카운터 에러율 산출부(239)를 더 포함할 수 있다. 카운터 에러율 산출부(239)는 기준 시간에 산출된 재실 인원수로부터 입실 카운터(211) 및 퇴실 카운터(213)의 분수 형태의 카운터 별 카운트당 에러율을 산출한다.
쇼핑몰의 경우 매장이 문닫는 시간에서 일정 시간이 지나면 재실 인원이 0으로 된다. 또 빌딩 공간의 경우 심야에 머무는 사람들의 수는 알려져 있다. 이와 같이 공간에 따라 재실 인원이 고정되는 기준 시간을 설정하면 재실 인원수의 누적된 에러를 알 수 있다. 기준 시간이 되면 카운터 에러율 산출부(239)는 현재 입실 카운터(211) 및 퇴실 카운터(213) 값을 수신하여 재실 인원수를 파악하고, 입실 카운터(211) 및 퇴실 카운터(213)를 리셋하도록 지시한다.
카메라를 이용하여 출입자를 카운트할 때 얼굴이 가려져서 카운트가 누락되는 경우가 흔히 발생하며, 더 많은 수로 카운트하는 경우는 잘 발생하지 않는다. 입실 카운터(211)가 누락한 카운트 수와, 퇴실 카운트(213)가 누락한 카운트 수는 누적되어 기준 시간의 재실 인원에 반영된다. 매장의 특성을 반영하여 누적된 카운트 에러를 입실 카운터(211)가 누락한 카운트 수와, 퇴실 카운트(213)가 누락한 카운트 수로 비율에 따라 나누어 분배함으로써 입실 카운터(211)의 카운트 에러와, 퇴실 카운트(213)의 카운트 에러를 산출할 수 있다. 카운터의 에러를 카운트 수로 나누어 카운팅 에러 확률 내지 양수 혹은 음수의 분수 형태의 카운트당 에러를 산출할 수 있다. 입실 카운터(211) 및 퇴실 카운터(213)의 카운트 값이 변할 때마다 이 카운트당 에러를 가산함으로써 실시간으로 에러가 반영된 카운트 값 보정치를 산출할 수 있다.
예를 들어 쇼핑 매장의 경우 계산대를 통과하는 과정에서 걸러지기 때문에 입실 카운터(211)의 카운트 에러에 비해 퇴실 카운트(213)의 카운트 에러는 훨씬 적은 값을 가진다. 이 비율은 시스템 운영 경험을 가진 관리자가 경험적으로 설정할 수 있다.
또 다른 양상에 따르면, 카운터의 카운트당 에러율은 장치 별, 시간대별로 산출될 수 있다. 입실 카운터(211)의 카운트 에러와 퇴실 카운트(213)의 카운트 에러의 비율은 카운터가 설치된 장소별, 시간대별로 달리 설정할 수도 있다. 이에 의해 카운터가 설치된 장소별, 시간대별로 카운터별 카운트당 에러율을 산출할 수 있다.
또 다른 양상에 따르면, 재실 인원수가 기준값을 넘으면 입구가 차단될 수 있다. 재실 인원 통제 장치는 출입구 차단 제어부(250)를 더 포함할 수 있다. 출입구 차단 제어부(250)는 재실 인원 경고부의 통제 지시를 수신하면 입구를 차단한다. 예를 들면 출입구 차단 제어부(250)는 입구에 설치된 차단기를 구동하는 구동기일 수 있다.
또 다른 양상에 따르면, 재실 인원수가 또 다른 기준값 이하로 회복되면 입구 차단이 해제될 수 있다. 재실 인원 통제 장치는 해제 지시 송출부(235)를 더 포함할 수 있다. 해제 지시 송출부(235)는 계산된 재실 인원수를 설정된 제2 기준값와 비교하여 제2 기준값 이하이면 출입구 차단 제어부(250)로 통제 해제 지시를 송출한다. 제2 기준값은 제1 기준값과 동일한 값일 수도 있고, 출입 통제의 편의성이나 에러를 고려하여 일정치 만큼 적은 값으로 설정될 수도 있다.
또 다른 양상에 따르면, 카운터는 계산 요소(computing element)에서 실행되어 카메라 영상에서 사람 객체를 검출하여 카운트하는 프로그램 명령어들로 구현될 수 있다. 계산요소는 단일의 마이크로프로세서, 혹은 인공지능 전용 프로세서를 포함하는 범용 마이크로프로세서 등 하나 혹은 복수의 프로세서와 그에 부수된 회로를 포함할 수 있다. 예를 들어 카운터(300)는 도 2에서 재실인원 통제부(230)를 구현하는 프로세서 혹은 계산요소에 함께 구현될 수 있다. 도 3은 이러한 양상에 따른 입실 카운터 또는 퇴실 카운터의 구성을 도시한 블록도이다. 도시된 바와 같이, 일 실시예에 따른 카운터(300)는 카메라(320)로부터 출력된 영상을 입력 받아 객체를 검출하여 카운트한다.
일 양상에 따르면, 입실 카운터는 카메라(320)와, 입실 카운팅 프로세스(330)를 포함하여 구현될 수 있다. 카메라(320)는 네트워크를 통해 카운터(300)와 연결될 수 있다. 입실 카운팅 프로세스(330)는 계산 요소에서 실행되는 프로그램 명령어들로 구현되고 카메라(320)로부터 출력된 영상을 입력 받아 객체를 검출하여 카운트한다.
유사하게, 퇴실 카운터는 카메라(320)와, 퇴실 카운팅 프로세스(350)를 포함하여 구현될 수 있다. 카메라(320)는 네트워크를 통해 카운터(300)와 연결될 수 있다. 퇴실 카운팅 프로세스(350)는 계산 요소에서 실행되는 프로그램 명령어들로 구현되고 카메라(320)로부터 출력된 영상을 입력 받아 객체를 검출하여 카운트한다.
전술한 바와 같이, 도시된 실시예에서 입구와 출구 공간이 중첩된 경우로 입실 카운터와 퇴실 카운터는 동일한 카메라로부터 출력된 영상을 처리하고 있다.
일 양상에 따라, 입실 카운팅 프로세스와 퇴실 카운팅 프로세스를 구현하는 프로그램 명령어들은 일부에 있어서 동일한 프로그램 명령어들을 공용할 수 있다. 도시된 실시예에서, 입실 카운팅 프로세스와 퇴실 카운팅 프로세스는 사람 객체검출 및 추적부(Human Detector and Tracker)를 공용하고 있다. 그러나 이에 한정되는 것은 아니며, 입실 카운터와 퇴실 카운터가 별개의 공간에 설치되는 경우 별개의 카메라를 사용해야 하고 따라서 별도로 사람 객체검출 및 추적부를 구비해야 하며, 그렇지 않더라도 개별적으로 사람 객체검출 및 추적부를 포함할 수도 있다. 입실 카운팅 프로세스와 퇴실 카운팅 프로세스는 유사한 영상 처리를 하므로 동일한 프로그램을 사용할 수 있다. 사람 객체검출 및 추적부(Human Detector and Tracker)는 동영상에서 사람 객체를 검출하고 동일한 객체의 움직임을 추적하는 기술로 최근 인공 지능 분야에서 많이 알려지고 발전한 분야이므로 상세한 설명은 생략한다.
추가적인 양상에 따라 카운팅 프로세스는 사람 객체검출 및 추적기를 통해 사람 객체를 식별하고 식별된 사람 객체를 추적하여 가상 트립 와이어(virtual trip wire)를 해당 방향으로 통과하는 객체를 카운트한다. 이러한 양상에 따라, 입실 카운팅 프로세스는 사람 객체 검출 및 추적부(310)의 출력을 입력 받아 설정된 가상 트립 와이어(virtual trip wire)를 입실 방향으로 통과하는 객체를 카운트한다. 가상 트립 와이어(virtual trip wire) 기술은 최근 무효로 된 미국특허 제6,696,945에 개시된 보안 분야에서 잘 알려진 기술이다. 예를 들어 도 1에서 입구에 설정된 입구 카운팅 라인(51)을 가상 트립 와이어로 설정할 수 있다. 일 실시예에서, 사람 객체 검출 및 추적부(310)는 검출된 사람 객체의 중심 좌표를 객체별로 출력한다. 입실자 카운트부(331)는 설정된 가상 트립 와이어인 입구 카운팅 라인(51)을 해당 객체가 입실 방향으로 통과하는지 판단한다. 이미지 좌표계에서 지표면 좌표계로 변환하여 입실 여부를 판단하는 기술은 호모그래피(Homography)기술이 알려져 있다. 이를 통해 이미지 좌표계에서 설정된 가상 트립 와이어 경계를 지표면 좌표계에서의 경계로 변환하고, 이미지 좌표계에서 출력된 객체 좌표를 지표면 좌표계의 객체 좌표로 변환하여 선분으로 표시되는 그 경계의 통과 여부를 판단할 수 있다. 또 다른 예로, 영역을 설정하여 그 영역으로 진입하거나 진출하는 객체를 카운트하는 방식으로 구현할 수도 있다. 이러한 도형 형태의 영역 설정을 통한 보안 기술 역시 이 분야에서 알려진 기술이다.
도면에서 설정부(370)는 카운터(300)의 기능에 관련된 파라메터나 환경을 설정한다. 사용자는 스마트폰이나 컴퓨터와 같은 단말을 통해 카운터(300)로 접속하고 관련 정보를 설정할 수 있다. 예를 들어 사용자는 입실자 카운트부(331)의 가상 트립와이어나 퇴실자 카운트부(351)의 가상 트립와이어를 카메라 화면 상에서 설정할 수 있다. 퇴실 카운팅 프로세스(350)의 구성은 입실 카운팅 프로세스(330)의 구성과 대응되는 것이므로 상세한 설명은 생략한다.
도 4는 도 2의 출입구 차단 제어부(250)의 일 실시예의 구성을 도시한 블록도이다. 도 2와 유사하거나 대응되는 구성요소들은 동일한 도면 부호로 참조된다. 도 5는 출입구 차단 제어부(250)의 제어 방법의 일 실시예의 구성을 도시한 흐름도이다. 도 4에 도시된 바와 같이, 일 실시예에 따른 출입구 차단 제어부(250)는 도어 잠금 제어부(251)를 포함한다. 도어 잠금 제어부(251)는 재실인원 통제부(230)에서 입구 차단 지시를 수신하면 입구를 차단하고, 입구 차단 해제 지시를 수신하면 차단을 해제한다. 입구의 차단/해제 상태는 출입구 차단 제어부(250) 내에서 상태 플래그로 관리될 수 있다. 일 양상에 따라 일 실시예에 따른 출입구 차단 제어부(250)는 등록자 식별부(253)를 더 포함할 수 있다. 등록자 식별부(253)는 입구를 차단한 상태에서 카메라를 통해 입실을 시도하는 사람을 식별하여 등록된 사람이면 차단을 해제하여 입실을 허용할 수 있다. 예를 들어 도어 잠금 제어부(251)는 유선으로 도어 잠금 장치에 연결될 수 있다. 또 다른 예로, 도어 잠금 제어부(251)는 통신부(2700를 통해 도어 잠금 장치를 제어할 수 있다.
도 5를 참조하면, 등록자 식별부(253)는 하나의 독립적으로 실행되는 태스크 혹은 프로세스로 구현될 수 있다. 먼저 등록자 식별부(253)는 상태 플래그를 체크하여 차단 상태인지 확인한다(단계 510). 차단 상태이면 사람 객체 검출 및 추적부(310)에서 출력되는 사람 객체의 이동 궤적 정보를 분석하여 입실을 시도하는 사람 객체를 검출한다. 입실을 시도하는 사람 객체가 검출되면 카메라(320)에서 입력되는 영상에서 적어도 하나의 영상 프레임을 캡쳐하여 그 얼굴을 인식하여 식별한다. 식별하여 등록된 사람이면(단계 535), 입구 차단을 일시적으로 해제하여 그 사람이 입실할 수 있도록 허용한다(단계 537).
일 실시예에 따른 출입구 차단 제어부(250)는 대기표 발행처리부(255)를 더 포함할 수 있다. 대기표 발행 처리부(255)는 예를 들면 테블릿을 통해 휴대폰 번호를 입력 받고 대기표를 발행한다. 대기표는 순번을 포함하고, 예를 들면 QR 코드로 표현될 수 있다.
일 양상에 따라 일 실시예에 따른 출입구 차단 제어부(250)는 대기자 입실 처리부(257)를 더 포함할 수 있다. 대기자 입실 처리부(257)는 입구가 차단 해제된 상태에서 대기표를 판독한 결과에 따라 차단을 해제하여 선별적으로 입실을 허용할 수 있다. 또 다른 예로, 대기표 발행처리부(255) 및또는 대기자 입실 처리부(257)는 출입구 차단 제어부(250)와 별도의 시스템, 예를 들면 네트워크를 통해 연결된 별도의 서버나 시스템에서 처리될 수도 있다. 예를 들어 다수의 출입구 차단 제어부(250)를 대상으로 서비스를 제공하는 클라우드 서비스 서버로 구현될 수도 있다.
도 5를 참조하면, 대기자 입실 처리부(257)는 하나의 독립적으로 실행되는 태스크 혹은 프로세스로 구현될 수 있다. 먼저 대기자 입실 처리부(257)는 상태 플래그를 체크하여 차단 상태인지 확인한다(단계 510). 차단 상태가 아니고 해제 상태이면 재실 인원 통제부(230)에서 출력되는 재실 인원과 수용 인원간의 차이, 즉 허용 가능한 최대 인원 수를 계산하여 입실 허용 가능한 대기번호를 결정한다(단계 551). 이후에 입실 허용 가능한 대기번호 대상자의 연락처를 대기표 관리 데이터베이스(258)에서 추출하여 알림 메시지를 발송한다(단계 553).
이후에 대기표 리더(413)에서 대기표가 감지되는지 체크한다(단계 555). 대기표 리딩 이벤트가 발생하면 대기자 입실 처리부(257)는, 예를 들면 QR 코드 형태의 대기표로부터 읽어 들인 대기번호가 입실 허용된 대기번호인지 확인하고 그에 따라 입구 차단을 해제하거나 차단 상태를 유지한다(단계 557). 대기표 대상자에게 알람 메시지를 발송한 후 일정한 기준 시간이 경과하면 한 주기의 프로세스의 실행을 종료한다(단계 559).
이상에서 본 발명을 첨부된 도면을 참조하는 실시예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형예들을 포괄하도록 의도되었다.
10 : 통제 단말 30 : 서버
50 : 입실 카운터 51 : 입구 카운팅 라인
70 : 퇴실 카운터 71 : 출구 카운팅 라인
211 : 입실 카운터 213 : 퇴실 카운터
230 : 재실 인원 통제부 231 : 카운터값 보정부
233 : 통제 지시 송출부 235 : 해제 지시 송출부
237 : 재실 인원 산출부 239 : 카운터 에러율 산출부
250 : 출입구 차단 제어부
251 : 도어 잠금 제어부 253 : 등록자 식별부
255 : 대기표 발행 처리부 257 : 대기자 입실 처리부
258 : 대기표 관리 데이터베이스
270 : 통신부
300 : 카운터 310 : 사람 객체 검출 및 추적부
320 : 카메라
330 : 입실 카운팅 프로세스 331 : 입실자 카운트부
350 : 퇴실 카운팅 프로세스 351 : 퇴실자 카운트부
370 : 설정부 390 : 통신부

Claims (18)

  1. 제1 카메라를 포함하는 입실 카운터와;
    제2 카메라를 포함하는 퇴실 카운터와;
    입실 카운터와 퇴실 카운터값의 차이로부터 재실 인원수를 계산하는 재실 인원 산출부와, 계산된 재실 인원수를 설정된 제1 기준값와 비교하여 제1 기준값 이상이면 입실 통제 지시를 송출하는 통제 지시 송출부를 포함하는 재실 인원 통제부;를 포함하며,
    상기 재실 인원 통제부는 입실 카운터 및 퇴실 카운터의 출력 값에 각각 분수 형태의 카운터별 카운트당 에러율을 반영하여 보정하는 카운터값 보정부;를 더 포함하고,
    상기 카운터값 보정부는 입실 카운터 및 퇴실 카운터의 카운트 값이 변할 때마다, 카운트당 에러를 입실 카운터가 누락한 카운트 수와 퇴실 카운터가 누락한 카운트 수로 나누어 분배하는 것을 특징으로 하는, 재실 인원 통제 장치.
  2. 삭제
  3. 청구항 1에 있어서, 상기 재실 인원 통제부는 :
    기준 시간에 산출된 재실 인원수로부터 입실 카운터 및 퇴실 카운터의 분수형태의 카운터별 카운트당 에러율을 산출하는 카운터 에러율 산출부를 더 포함하는 재실 인원 통제 장치.
  4. 청구항 3에 있어서, 상기 카운터 에러율 산출부는 카운터가 설치된 장소별, 시간대별로 카운터별 에러율을 산출하는 재실 인원 통제 장치.
  5. 청구항 1에 있어서, 상기 재실 인원 통제 장치는 : 재실 인원 경고부의 통제 지시를 수신하면 입구를 차단하는 출입구 차단 제어부;
    를 더 포함하는 재실 인원 통제 장치.
  6. 청구항 5에 있어서, 상기 재실 인원 통제부는 :
    계산된 재실 인원수를 설정된 제2 기준값와 비교하여 제2 기준값 이하이면 출입구 차단 제어부로 통제 해제 지시를 송출하는 해제 지시 송출부
    를 더 포함하는 재실 인원 통제 장치.
  7. 청구항 1에 있어서,
    입실 카운터는 제1 카메라와, 계산 요소에서 실행되는 프로그램 명령어들로 구현되고 상기 제1 카메라로부터 출력된 영상을 입력 받아 객체를 검출하여 카운트하는 제1 카운팅 프로세스를 포함하고,
    퇴실 카운터는 제2 카메라와, 상기 계산 요소에서 실행되는 프로그램 명령어들로 구현되고 상기 제2 카메라로부터 출력된 영상을 입력받아 사람 객체를 검출하여 카운트하는 제2 카운팅 프로세스를 포함하는 재실 인원 통제 장치.
  8. 청구항 7에 있어서, 상기 제1 카메라와 제2 카메라는 동일한 카메라인 재실 인원 통제 장치.
  9. 청구항 7에 있어서, 제1 카운팅 프로세스와 제2 카운팅 프로세스는 사람 객체검출 및 추적기(Human Detector and Tracker) )를 통해 사람 객체를 식별하고 식별된 사람 객체를 추적하여 가상 트립 와이어(virtual trip wire)를 해당 방향으로 통과하는 객체를 카운트하는 재실 인원 통제 장치.
  10. 청구항 5에 있어서, 출입구 차단 제어부는 :
    입구를 차단한 상태에서 카메라를 통해 입구로 진입을 시도하는 사람을 식별하여 등록된 사람이면 차단을 해제하여 입실을 허용하는 등록자 식별부;를 더 포함하는 재실 인원 통제 장치.
  11. 청구항 5에 있어서, 출입구 차단 제어부는 :
    입구가 차단 해제된 상태에서 대기표를 판독한 결과에 따라 차단을 해제하여 선별적으로 입실을 허용하는 대기자 입실 처리부;를 더 포함하는 재실 인원 통제 장치.
  12. 계산 요소에서 실행되는 프로그램 명령어들로 구현되는 재실인원 통제 방법에 있어서, 상기 방법이 :
    제1 카메라를 포함하는 입실 카운터와 제2 카메라를 포함하는 퇴실 카운터값의 차이로부터 재실 인원수를 계산하는 재실 인원 산출 명령어 세트와;
    계산된 재실 인원수를 설정된 제1 기준값와 비교하여 제1 기준값 이상이면 입실 통제 지시를 송출하는 통제 지시 송출 세트와;
    입실 카운터 및 퇴실 카운터로부터 출력된 값에 각각 분수 형태의 카운터별 카운트당 에러율을 반영하여 보정하는 카운터값 보정 명령어 세트와;
    입실 카운터 및 퇴실 카운터의 카운트 값이 변할 때마다, 카운트당 에러를 입실 카운터가 누락한 카운트 수와 퇴실 카운터가 누락한 카운트 수로 나누어 분배하는 카운터값 분배 명령어 세트;
    를 포함하는 재실 인원 통제 방법.
  13. 삭제
  14. 청구항 12에 있어서, 상기 재실 인원 통제 방법은 :
    기준 시간에 산출된 재실 인원수로부터 입실 카운터 및 퇴실 카운터의 분수형태의 카운터별 카운트당 에러율을 산출하는 카운터 에러율 산출 명령어 세트를 더 포함하는 재실 인원 통제 방법.
  15. 청구항 12에 있어서, 상기 재실 인원 통제 방법은 :
    계산된 재실 인원수를 설정된 제2 기준값와 비교하여 제2 기준값 이하이면 통제 해제 지시를 송출하는 해제 지시 송출 명령어 세트
    를 더 포함하는 재실 인원 통제 방법.
  16. 청구항 12에 있어서, 상기 방법이 :
    제1 카메라 영상에서 사람 객체를 식별하고 식별된 사람 객체를 추적하여 가상 트립 와이어(virtual trip wire)를 입실 방향으로 통과하는 객체를 카운트하여 입실 카운터 값을 산출하는 입실 카운트 명령어 세트;
    제2 카메라 영상에서 사람 객체를 식별하고 식별된 사람 객체를 추적하여 가상 트립 와이어(virtual trip wire)를 퇴실 방향으로 통과하는 객체를 카운트하여 입실 카운터 값을 산출하는 퇴실 카운트 명령어 세트;
    를 더 포함하는 재실 인원 통제 방법.
  17. 청구항 12에 있어서, 상기 방법이 :
    입구가 차단된 상태에서 카메라를 통해 입구로 진입을 시도하는 사람을 식별하여 등록된 사람이면 차단을 해제하여 입실을 허용하는 등록자 식별 명령어 세트;를 더 포함하는 재실 인원 통제 방법.
  18. 청구항 12에 있어서, 상기 방법이 :
    입구가 차단 해제된 상태에서 대기표를 판독한 결과에 따라 차단을 해제하여 선별적으로 입실을 허용하는 대기자 입실 처리 명령어 세트;를 더 포함하는 재실 인원 통제 방법.


KR1020200065271A 2020-05-29 2020-05-29 재실 인원 통제 장치 KR102441599B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200065271A KR102441599B1 (ko) 2020-05-29 2020-05-29 재실 인원 통제 장치
US17/326,362 US20210374426A1 (en) 2020-05-29 2021-05-21 Occupancy control apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200065271A KR102441599B1 (ko) 2020-05-29 2020-05-29 재실 인원 통제 장치

Publications (2)

Publication Number Publication Date
KR20210147679A KR20210147679A (ko) 2021-12-07
KR102441599B1 true KR102441599B1 (ko) 2022-09-07

Family

ID=78706367

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200065271A KR102441599B1 (ko) 2020-05-29 2020-05-29 재실 인원 통제 장치

Country Status (2)

Country Link
US (1) US20210374426A1 (ko)
KR (1) KR102441599B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019090087A1 (en) * 2017-11-03 2019-05-09 Sensormatic Electronics, LLC Methods and system for controlling access to enterprise resources based on tracking
EP4139836A4 (en) * 2020-04-24 2023-08-02 Alarm.com Incorporated ENHANCED PROPERTY ACCESS WITH VIDEO ANALYTICS
EP4131188A1 (de) * 2021-08-06 2023-02-08 dormakaba Deutschland GmbH Schleuse; system, umfassend eine schleuse; verfahren zur steuerung eines personenflusses und/oder zur personenkontrolle; computerprogrammprodukt
US12118796B2 (en) 2022-01-20 2024-10-15 Sensormatic Electronics, LLC Systems and methods for object detection in an environment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060067456A1 (en) * 2004-09-27 2006-03-30 Point Grey Research Inc. People counting systems and methods

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3411945B2 (ja) * 1995-03-29 2003-06-03 富士通株式会社 レジャー施設管理装置
JP2002298177A (ja) * 2001-03-30 2002-10-11 Toshiba Corp ゲートシステム
US6696945B1 (en) * 2001-10-09 2004-02-24 Diamondback Vision, Inc. Video tripwire
KR100860233B1 (ko) * 2007-01-29 2008-09-25 주식회사 비알네트콤 좌석관리시스템 및 그 운영방법
KR101871991B1 (ko) * 2015-06-25 2018-08-24 재단법인 한국기계전기전자시험연구원 재실자 유무 판단 시스템 및 방법
JP6848896B2 (ja) * 2018-01-31 2021-03-24 京セラドキュメントソリューションズ株式会社 居室者監視システム
US20210287469A1 (en) * 2020-03-11 2021-09-16 Alcatraz AI, Inc. System and method for provisioning a facial recognition-based system for controlling access to a building

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060067456A1 (en) * 2004-09-27 2006-03-30 Point Grey Research Inc. People counting systems and methods

Also Published As

Publication number Publication date
US20210374426A1 (en) 2021-12-02
KR20210147679A (ko) 2021-12-07

Similar Documents

Publication Publication Date Title
KR102441599B1 (ko) 재실 인원 통제 장치
Snidaro et al. Video security for ambient intelligence
US10552713B2 (en) Image analysis system, image analysis method, and storage medium
US7796780B2 (en) Target detection and tracking from overhead video streams
CN111931599B (zh) 高空抛物检测方法、设备及存储介质
EP1866883A1 (en) Nuisance alarm filter
KR20130097868A (ko) 카메라 기반 지능형 주차관제 방법 및 시스템
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
US11308792B2 (en) Security systems integration
CN113490970A (zh) 精确数字安全系统、方法和程序
JP7108938B2 (ja) 情報処理装置、情報処理システム、及び、通過管理方法
KR20200092608A (ko) 공동현관 및 지하 주차장 출입문의 출입 인증 시스템 및 이를 이용한 출입 인증 방법
KR20220000226A (ko) 엣지 컴퓨팅 기반 지능형 보안 감시 서비스 제공 시스템
WO2017136121A1 (en) Access control system with curtain antenna system
KR20160109516A (ko) 구조 대상 파악 시스템 및 방법
KR20200139987A (ko) Ess 침입자 및 화재 감지 장치 및 방법
KR20190072323A (ko) 영상 감시 시스템 및 영상 감시방법
KR20220000216A (ko) 딥러닝 분산 처리 기반 지능형 보안 감시 서비스 제공 장치
US11640671B2 (en) Monitoring system and method for identifying an object of interest after the object of interest has undergone a change in appearance
JP5881361B2 (ja) 警備システム
KR20220000209A (ko) 딥러닝 분산 처리 기반 지능형 보안 감시 장치의 동작 프로그램이 기록된 기록매체
KR20220000221A (ko) 엣지 컴퓨팅 기반 지능형 보안 감시 카메라 장치
US12118731B2 (en) Static privacy masking
WO2019156599A1 (en) System and method of people's movement control
KR102043923B1 (ko) 휴대용 iot센서 기반 보안방범 관제시스템 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant