KR101557376B1 - 사람 계수 방법 및 그를 위한 장치 - Google Patents

사람 계수 방법 및 그를 위한 장치 Download PDF

Info

Publication number
KR101557376B1
KR101557376B1 KR1020140021381A KR20140021381A KR101557376B1 KR 101557376 B1 KR101557376 B1 KR 101557376B1 KR 1020140021381 A KR1020140021381 A KR 1020140021381A KR 20140021381 A KR20140021381 A KR 20140021381A KR 101557376 B1 KR101557376 B1 KR 101557376B1
Authority
KR
South Korea
Prior art keywords
head
search area
contour
candidates
candidate
Prior art date
Application number
KR1020140021381A
Other languages
English (en)
Other versions
KR20150100056A (ko
Inventor
양승지
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020140021381A priority Critical patent/KR101557376B1/ko
Priority to PCT/KR2014/009926 priority patent/WO2015126031A1/ko
Priority to CN201480074551.0A priority patent/CN105940430B/zh
Priority to US15/108,784 priority patent/US9971941B2/en
Publication of KR20150100056A publication Critical patent/KR20150100056A/ko
Application granted granted Critical
Publication of KR101557376B1 publication Critical patent/KR101557376B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Abstract

사람 계수 방법 및 그를 위한 장치를 개시한다.
영상 프레임 내의 전경 윤곽이 기준선을 통과하는 시점에서만 원형 윤곽인 머리 후보를 검출하고, 탐색 영역을 통과하는 머리 후보를 계수하여 보다 정확하고 오류 발생이 적은 머리 검출을 기반으로 사람을 계수할 수 있는 방법 및 그를 위한 장치를 제공한다.

Description

사람 계수 방법 및 그를 위한 장치{Method for Counting People and Apparatus Therefor}
본 실시예는 사람 계수 방법 및 그를 위한 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
종래의 사람 계수 기술은 객체의 움직임 정보를 이용하여 영상의 전경과 배경을 분리하고, 분리된 전경에서 사람으로 판단되는 객체를 추적하여 추적된 객체의 수와 방향성을 판단하는 방식이었다. 이러한 종래 방식은 비교적 통행량이 적거나 배경이 단순한 경우에 안정적으로 동작한다. 하지만, 다수의 사람이 통행하는 복잡한 환경 또는 넓은 지역을 감시하는 시스템에서는 많은 변수들이 작용해서 정확도가 감소되는 문제가 있다.
더불어, 전술한 종래 기술의 문제점을 설명하면 다음과 같다. (1) 그림자 또는 가려짐(Occlusion) 등으로 전경 객체의 분리가 부정확하여 계수 시 에러가 발생한다. (2) 다수의 사람이 지나가는 경우 객체 분리가 어려워서 관심 영역(또는 선)의 통과 여부 확인이 어려워 계수에 실패한다. (3) 다수의 사람이 지나가는 경우 객체의 수가 많아져 처리 속도가 크게 느려진다. (4) 카메라 렌즈에 의한 원근 왜곡(Perspective Distortion)이 발생하며, 발생한 원근 왜곡이 카메라 및 주변 환경에 따라 크게 바뀌기 때문에 회귀(Regression)에 의한 객체 수 추정이 어렵다.
본 실시예는 영상 프레임 내의 전경 윤곽이 기준선을 통과하는 시점에서만 원형 윤곽인 머리 후보를 검출하고, 탐색 영역을 통과하는 머리 후보를 계수하여 보다 정확하고 오류 발생이 적은 머리 검출을 기반으로 사람을 계수할 수 있는 방법 및 그를 위한 장치를 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 영상 분석 장치가 사람을 계수하는 방법에 있어서, 입력된 현재 프레임으로부터 전경 윤곽을 검출하는 전경 윤곽 검출 과정; 카메라가 촬영하는 영역의 중심점과 수직되는 지점에 가상의 기준선을 설정하고, 상기 기준선의 주변에 탐색 영역을 설정하며, 상기 전경 윤곽이 상기 기준선을 통과하는 시점에만 사람의 머리로 인식되는 원형 윤곽을 검출하는 머리 검출 과정; 상기 원형 윤곽의 머리 후보들이 상기 탐색 영역을 통과할 때까지 이후 프레임에서 상기 머리 후보 각각을 추적하는 머리 추적 과정; 및 상기 머리 후보 각각이 상기 탐색 영역을 통과하는 순간에 계수를 수행하는 계수 과정을 포함하는 것을 특징으로 하는 사람 계수 방법을 제공한다.
또한, 본 실시에의 다른 측면에 의하면, 입력된 현재 프레임으로부터 전경 윤곽을 검출하는 전경 윤곽 검출부; 카메라가 촬영하는 영역의 중심점과 수직되는 지점에 가상의 기준선을 설정하고, 상기 기준선의 주변에 탐색 영역을 설정하며, 상기 전경 윤곽이 상기 기준선을 통과하는 시점에만 사람의 머리로 인식되는 원형 윤곽을 검출하는 머리 검출부; 상기 원형 윤곽의 머리 후보들이 상기 탐색 영역을 통과할 때까지 이후 프레임에서 상기 머리 후보 각각을 추적하는 머리 추적부; 및 상기 머리 후보 각각이 상기 탐색 영역을 통과하는 순간에 계수를 수행하는 계수부를 포함하는 것을 특징으로 하는 영상 분석 장치를 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 프레임 내의 전경 윤곽이 기준선을 통과하는 시점에서만 원형 윤곽인 머리 후보를 검출하고, 탐색 영역을 통과하는 머리 후보를 계수하여 보다 정확하고 오류 발생이 적은 머리 검출을 기반으로 사람을 계수할 수 있는 효과가 있다.
본 실시예에 의하면, 카메라로부터 획득한 영상을 분석하여 사람의 수를 보다 정확하게 계수하여 침입 또는 이상 상황 탐지 등의 영상 보안 분야에 적용할 수 있을 뿐만 아니라 BI(Business Intelligence) 분야에 적용하여 백화점 등 소매점에서 매장 내 유동 인구나 혼잡도 등을 빠르고 정확하게 분석할 수 있는 효과가 있다.
본 실시예에 의하면, 사람의 머리가 가장 잘 검출되는 영역(카메라가 촬영하는 영역의 중심점과 수직되는 지점)에서만 머리 후보를 검출한 후 추적하여, 잘못된 머리 검출 결과로 인한 계수 에러를 최소화할 수 있는 효과가 있다. 또한, 본 실시예에 의하면, 영상의 일부 탐색 영역에서만 검출된 머리를 추적하여 처리 속도를 빠르게 할 수 있는 효과가 있다. 또한, 백화점 등 다수의 사람이 이동하는 환경에서의 사람의 정확한 계수가 가능한 효과가 있다.
도 1a는 본 실시예에 따른 머리 검출 기반의 사람 계수 방법을 나타낸 도면이다.
도 1b는 본 실시예에 따른 머리 검출 기반의 영상 분석 장치를 개략적으로 나타낸 블럭 구성도이다.
도 2는 본 실시예에 따른 적분 영상 기반의 적응형 이진화 의사 코드를 나타낸 도면이다.
도 3은 본 실시예에 따른 전경 윤곽 추출 예시를 나타낸 도면이다.
도 4는 본 실시예에 따른 머리 검출 예시를 나타낸 도면이다.
도 5는 본 실시예에 따른 머리 검출 및 추적 기준점 설정을 나타낸 도면이다.
도 6은 본 실시예에 따른 FMT 영역 결정을 나타낸 도면이다.
도 7a 및 도 7b는 본 실시예에 따른 연속된 프레임에서의 머리 검출 및 검출 예시를 나타낸 도면이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 실시예에 따른 사람 계수 방법은 복잡한 상황에서 발생하는 변수들로 인해 발생하는 문제점을 해소하기 위한 머리 검출 기반의 사람 계수 알고리즘을 제공한다. 본 실시예에 따른 사람 계수 방법은 크게 세 가지 특징을 가진다. (1) 원형 윤곽인 머리 후보가 가장 잘 확보되는 부분(즉, 카메라가 촬영하는 영역의 중심점과 수직되는 지점)에 가상의 기준선을 설정하고, 기준선 주변에 탐색 영역을 설정한다. (2) 전경 윤곽이 기준선을 통과하는 시점에서만 원형 윤곽인 머리 후보 검출을 수행한다. (3) 검출된 머리 후보들이 탐색 영역을 통과할 때까지 머리 후보와 현재 프레임과의 매칭을 수행하여 머리 후보를 추적하며, 탐색 영역을 통과하는 순간 방향성을 판단하여 머리 후보를 계수한다. 단, 기존 객체 추적과 달리 복잡 상황에서 추적에 의한 에러를 줄이기 위해 객체의 병합-분리 등의 과정은 수행하지 않는다.
도 1a는 본 실시예에 따른 머리 검출 기반의 사람 계수 방법을 나타낸다. 사람 계수 방법은 입력 프레임에서 전경 윤곽을 추출(S110)하고, 추출된 윤곽을 기반으로 원형 윤곽을 검출(S120)하고, 검출된 머리 후보를 추적(S130)하여 일정 방향으로 일정 크기 이상 이동할 경우 계수(S140)하는 과정을 포함한다.
이러한, 도 1a에 도시된 사람 계수 방법은 도 1b에 도시된 바와 같이, 별도의 장치로도 구현될 수 있다. 도 1b에 도시된 영상 분석 장치(100)는 전경 윤곽 검출부(110), 머리 검출부(120), 머리 추적부(130) 및 계수부(140)를 포함한다. 영상 분석 장치(100)에 포함된 구성요소는 소프트웨어적인 모듈 또는 하드웨어적인 모듈로 구현될 수 있다.
영상 분석 장치(100)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다.
영상 분석 장치(100)가 하드웨어적인 모듈로 구현되는 경우, 영상 분석 장치(100)는 스마트폰(Smart Phone), 태블릿(Tablet), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 개인 휴대 단말기(PDA: Personal Digital Assistant), 게임 콘솔, 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), TV, 미디어 플레이어 등과 같은 사용자 단말기일 수 있다. 영상 분석 장치(100)는 응용 서버, 서비스 서버 등의 서버일 수 있다. 영상 분석 장치(100)는 각기 (ⅰ) 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, (ⅱ) 각종 프로그램과 데이터를 저장하기 위한 메모리, (ⅲ) 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다. 적어도 일 실시예에 따르면, 메모리는 램(Random Access Memory: RAM), 롬(Read Only Memory: ROM), 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 명세서에 기재된 동작과 기능을 하나 이상 선택적으로 수행하도록 프로그램될 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 전체 또는 부분적으로 특정한 구성의 주문형반도체(Application Specific Integrated Circuit: ASIC) 등의 하드웨어로써 구현될 수 있다.
전경 윤곽 검출부(110)는 입력된 현재 프레임으로부터 전경 윤곽을 검출한다. 전경 윤곽 검출부(110)는 카메라로부터 영상에 대한 프레임을 수신한다. 전경 윤곽 검출부(110)의 동작에 대해 구체적으로 설명하면, 전경 윤곽 검출부(110)는 배경만 존재하는 최초 프레임에서 배경 윤곽을 추출한다. 전경 윤곽 검출부(110)는 현재 프레임의 전체 윤곽을 추출한 후 전체 윤곽에서 배경 윤곽을 제거하여 전경 윤곽을 획득한다. 전경 윤곽 검출부(110)는 프레임의 적분 영상(Integral Image) 기반의 적응형 이진화(Adaptive Thresholding)을 이용하여 전경 윤곽을 추출한다.
머리 검출부(120)는 카메라가 촬영하는 영역의 중심점과 수직되는 지점에 가상의 기준선을 설정한다. 머리 검출부(120)는 기준선의 주변에 탐색 영역을 설정한다. 머리 검출부(120)는 전경 윤곽이 기준선을 통과하는 시점에만 사람의 머리로 인식되는 원형 윤곽을 검출한다. 머리 검출부(120)는 전경 윤곽을 기반으로 원형 허프 변환(Circular Hough Transform)을 수행하여 원형 윤곽을 추출한다. 머리 검출부(120)는 기 설정된 최소치 내지 최대치 사이의 원형 윤곽의 크기를 사전 정보(Prior Information)로 이용하여 원형 허프 변환을 수행한다.
머리 추적부(130)는 원형 윤곽의 머리 후보들이 탐색 영역을 통과할 때까지 이후 프레임에서 머리 후보 각각을 추적한다. 머리 추적부(130)는 머리 후보가 검출되는 경우, 머리 후보 각각이 추적 리스트 상에 존재하는 머리 후보와 공간적으로 중복되는지의 여부를 확인한다. 확인 결과, 공간적으로 비중복되는 경우, 머리 추적부(130)는 비중복되는 머리 후보를 추적 리스트에 새롭게 삽입한다.
머리 추적부(130)는 추적 리스트 상에 존재하는 모든 머리 후보에 대해 FMT(Fast Template Matching) 방식을 적용하여 현재 프레임과 유사도가 높은 지점을 산출한다. 머리 추적부(130)는 현재 프레임과 유사도가 높은 지점을 머리 후보 각각의 새로운 중심 위치로 결정한다.
머리 추적부(130)는 추적 리스트 상에 존재하는 임의의 머리 후보에 대해 현재 프레임과의 매칭을 수행하기 위한 탐색 영역을 결정한다. 이하, 머리 추적부(130)가 탐색 영역을 결정하는 동작에 대해 설명한다. 머리 추적부(130)는 Ru(머리 후보 각각을 중심으로 탐색 영역의 상측 영역)와 Rd(머리 후보 각각을 중심으로 탐색 영역의 하측 영역)에 근거하여 Rh(탐색 영역 높이)를 산출한다. 머리 추적부(130)는 Rh(탐색 영역 높이)와 동일한 값으로 Rw(탐색 영역 폭)을 설정한다. 머리 추적부(130)는 Rh(탐색 영역 높이) 및 Rw(탐색 영역 폭)에 근거하여 탐색 영역을 결정한다.
머리 추적부(130)가 Rh(탐색 영역 높이)를 산출하는 과정에 대해 설명하면, 머리 추적부(130)는 wα(제 1 가중치), wβ(제 2 가중치), S(t)(추적 리스트의 (t)번째 머리 후보의 평균 이동속도), Δy(t)(머리 후보 각각을 중심으로 상측 및 하측 이동 방향)에 근거하여 Rh(탐색 영역 높이)를 산출한다. 머리 추적부(130)가 S(t)(추적 리스트의 (t)번째 머리 후보의 평균 이동속도)를 산출하는 과정에 대해 설명하면, 머리 추적부(130)는 N(총 궤적의 개수), (xn, yn)((n)번째 궤적의 머리 후보 중심의 x 좌표값 및 y 좌표값)에 근거하여 S(t)(추적 리스트의 (t)번째 머리 후보의 평균 이동속도)를 산출한다.
머리 추적부(130)가 Δy(t)(머리 후보를 중심으로 상측 및 하측 이동 방향)을 산출하는 과정에 대해 설명하면, 머리 추적부(130)는 N(총 궤적의 개수), yn((n)번째 궤적의 머리 후보 중심의 y 좌표값)에 근거하여 Δy(t)(머리 후보를 중심으로 상측 및 하측 이동 방향)를 산출한다. 머리 추적부(130)가 Rd(머리 후보 각각을 중심으로 탐색 영역의 하측 영역)을 산출하는 과정에 대해 설명하면, 머리 추적부(130)는 wβ(제 2 가중치), S(t)(추적 리스트의 (t)번째 머리 후보의 평균 이동속도) 및 Ru(머리 후보 각각을 중심으로 탐색 영역의 상측 영역)에 근거하여 Rd(머리 후보 각각을 중심으로 탐색 영역의 하측 영역)을 산출한다.
계수부(140)는 머리 후보 각각이 탐색 영역을 통과하는 순간에 계수를 수행한다. 계수부(140)는 머리 후보 각각이 탐색 영역을 통과하는 순간에 원형 윤곽의 방향성을 판단하여 계수를 수행한다.
1. 전경 윤곽 검출
전경 윤곽 검출 과정(S110)은 원형 윤곽인 머리 후보를 검출하기 위한 전 과정이다. 전경 윤곽 검출 과정(S110)에서는 입력된 현재 프레임 내의 전체 객체 윤곽을 추출한다. 전경 윤곽 검출 과정(S110)에서는 전체 객체 윤곽에서 배경 윤곽을 제외하고 전경 윤곽을 획득한다. 전경 윤곽 검출 과정(S110)에서는 전경 윤곽을 획득하기 위해 배경만 존재하는 초기 프레임을 참조 프레임(Reference Frame)으로 이용한다. 전경 윤곽 검출 과정(S110)에서는 움직임 특징의 사용을 배제하고 처리 속도를 고속화하기 위해 GMM(Gaussian Mixture Model) 등 움직임 차분의 확률 정보를 모델링하는 일반적인 전경 및 배경분리(Background Subtraction) 기술은 사용하지 않는다.
전경 윤곽 검출 과정(S110)에서는 움직임 여부와 무관하게 전경 객체의 윤곽을 보다 안정적으로 추출한다. 전경 윤곽 검출 과정(S110)에서는 적분영상(Integral Image) 기반의 적응형 이진화(Adaptive Thresholding)를 이용한다. 전경 윤곽 검출 과정(S110)에서는 사람의 머리가 배경보다 어둡다는 가정 하에 동작된다. 다시 말해, 전경 윤곽 검출 과정(S110)에서는 일반적으로 어두운 성분을 가지는 사람 머리의 특징을 이용하는 것이다. 적응형 이진화는 중심 화소와 주변 화소의 평균치와 비교하며 적분영상을 활용하는 기술이다.
도 2는 적응형 이진화 과정의 의사코드(Pseudo-Code)를 나타낸다. 적응형 이진화 과정에서는 일반적인 방식과 달리 영상을 이진화하지 않고, 주변과의 차이가 극명한 부분은 원래 픽셀을 남기고 나머지 부분만 제거하는 방식을 적용하였다. 전경 윤곽 검출 과정(S110)에서는 적응형 이진화 과정이 적용된 영상으로부터 윤곽을 추출하는 방법을 이용한다. 전경 윤곽 검출 과정(S110)에서는 현재(ith) 프레임의 윤곽(E(i))에 배경 윤곽(Eb)에 차분하여 전경 윤곽(Ef(i) = E(i) - Eb)을 산출한다. 도 3은 전경 윤곽 추출의 예시이다.
2. 윤곽 특징 기반 머리 검출
머리 검출 과정(S120)에서는 전경 윤곽 검출 과정(S110)에서 검출된 전경 윤곽을 기반으로 원형 허프 변환(Circular Hough Transform)을 수행하여 머리 후보의 원형 윤곽을 추출한다. 머리 검출 과정(S120)에서는 고정 카메라에서의 사람 계수를 목적으로 한다. 비록 카메라의 렌즈에 의해 주변 영역에 왜곡이 발생되지만, 사람의 크기는 대체로 일정한 특성을 가지고 있다. 사람 크기는 즉, 머리 후보의 크기로 결정된다. 머리 후보의 크기는 중요한 사전 정보(Prior Information)이다. 만약, 머리 후보의 크기(Shead)의 범위가 최소치(Shead_min) 내지 최대치(Shead_max) 사이인 경우, 머리 검출 과정(S120)에서는 원형 허프 변환을 이용하여 검출할 원형 윤곽 크기 또한 해당 범위에서 제한할 수 있다.
도 4는 본 실시예에 따른 머리 검출의 예시를 나타낸 도면이다. 도 4에 도시된 바와 같이, 총 16명의 그라운드 트루스(Ground Truth)에서 '5 번'의 오검출(도 4에 도시된 해칭 영역)이 머리 후보를 제외한 사람 신체의 일부에서 발생되었다. 또한, '2 번'의 미검출(도 4에 도시된 점선 영역)이 발생하였다. 오검출은 카메라의 왜곡에 의해 신체 일부에서 원형에 가까운 윤곽 정보가 추출되어 발생된 경우가 많다. 미검출된 경우는 어두운 옷을 착용한 사람의 경우 머리 영역과의 대비(Contrast)가 감소하여 원형 윤곽을 추출하는데 실패했기 때문이다.
3. 이동속도 기반 머리 추적
전술한 바와 같이 발생 가능한 머리 오검출 및 미검출 에러를 최소화하기 위해, 머리 추적 과정(S130)에서는 카메라의 중심과 수직인 바닥면에서만 머리 후보로 인식되는 원형 윤곽을 검출한다. 머리 추적 과정(S130)에서는 검출된 원형 윤곽을 이후 프레임에서 지속적으로 추적한다.
도 5는 본 실시예에 따른 가상의 추적 기준선(Ytrack)에서 검출된 머리 후보를 이후 프레임들에서 추적하는 방식을 나타낸다. 머리 추적 과정(S130)에서 기준선을 지나는 머리 후보(원형 윤곽)가 검출되면, 머리 후보 각각이 추적되고 있는 추적 리스트 상에 존재하는 머리 후보와 공간적으로 중복되는지 검사한다. 검사 결과, 추적 리스트 상에 존재하는 머리 후보와 비중복되는 머리 후보가 발견되는 경우, 머리 추적 과정(S130)에서 비중복 머리 후보를 추적 리스트에 새롭게 삽입한다. 이후, 머리 추적 과정(S130)에서는 추적 리스트 상에 존재하는 모든 머리 후보들에 대하여 FMT(Fast Template Matching) 방식을 적용하여 현재 프레임과 유사도가 높은 지점을 머리 후보 각각의 새로운 중심 위치로 결정한다.
도 6은 추적 리스트에 포함된 임의의 머리에 대해 현재 프레임에서 매칭을 수행하기 위한 영역을 결정하는 방법을 나타낸다. FMT 영역은 Rw × Rh 영역으로 표현된다. Rw는 탐색 영역의 여분(Margin)에 대한 폭을 의미한다. Rh 탐색 영역의 여분에 대한 높이를 의미한다. Rh = Ru + Rd이다. Ru 머리 후보를 중심으로 탐색 영역의 상측 영역을 의미한다. Rd 머리 후보를 중심으로 탐색 영역의 하측 영역을 의미한다. Rw는 Rh와 동일한 값으로 설정될 수 있다. 만약, Rw가 Rh와 다른 값으로 설정되는 경우, Rh = Rl + Rr이다. 이때, Rl 머리 후보를 중심으로 탐색 영역의 좌측 영역을 의미한다. Rr 머리 후보를 중심으로 탐색 영역의 우측 영역을 의미한다.
머리 추적 과정(S130)에서는 Ru와 Rd를 추적 리스트에 저장된 궤적을 기반으로 [수학식 1] 내지 [수학식 4]을 이용하여 산출한다.
Figure 112014017943047-pat00001
S(t)는 추적 리스트의 (t)번째 머리 후보의 평균 이동속도(이동화소수 / 프레임 0(즉, 프레임 개수))를 의미한다. N은 총 궤적의 개수를 의미하며, 총 N개의 궤적은 저장부에 저장되어 있다. (xn, yn)은 (n)번째 궤적의 머리 후보 중심의 x 좌표값 및 y 좌표값을 의미한다.
Figure 112014017943047-pat00002
Δy(t)는 N개의 궤적의 평균 방향으로 상측 이동 방향 및 하측 이동 방향을 의미한다. N은 총 궤적의 개수를 의미하며, 총 N개의 궤적은 저장부에 저장되어 있다. yn은 (n)번째 궤적의 머리 후보 중심의 y 좌표값을 의미한다.
[수학식 1]를 이용하여 산출된 S(t)와 [수학식 2]를 이용하여 산출된 Δy(t)을 기반으로 (t)번째 머리 후보를 중심으로 탐색 영역의 상측 영역인 Ru(t)는 [수학식 3]을 이용하여 산출한다.
Figure 112014017943047-pat00003
Ru(t)는 [수학식 1]를 이용하여 산출된 S(t)와 [수학식 2]를 이용하여 산출된 Δy(t)을 기반으로 (t)번째 머리 후보의 탐색 영역의 상측 영역을 의미한다. wα(제 1 가중치)는 0.5 ≤ wα ≤ 1의 범위를 갖는 실수값이며 평균 이동궤적의 방향과 같은 방향에 가중치를 주기 위한 값을 의미한다. wβ(제 2 가중치)는 wβ ≥ 1의 범위를 갖는 실수값으로 평균 이동궤적 대비 탐색 영역의 여분에 대한 가중치 값을 의미한다. S(t)는 추적 리스트의 (t)번째 머리 후보의 평균 이동속도(이동화소수 / 프레임 0(즉, 프레임 개수))를 의미한다. Δy(t)는 N개의 궤적의 평균 방향으로 상측 이동 방향 및 하측 이동 방향을 의미한다.
[수학식 3]에서 결정된 Ru(t) 값에 따라 Rd(t)는 [수학식 4]로 얻을 수 있다.
Figure 112014017943047-pat00004
Rd(t)는 [수학식 1]를 이용하여 산출된 S(t)와 [수학식 3]을 이용하여 산출된 Ru(t)을 기반으로 (t)번째 머리 후보를 중심으로 탐색 영역의 하측 영역을 의미한다. S(t)는 추적 리스트의 (t)번째 머리 후보의 평균 이동속도(이동화소수/프레임0)를 의미한다. Ru(t)는 S(t)와 Δy(t)을 기반으로 (t)번째 머리 후보를 중심으로 탐색 영역의 상측 영역을 의미한다.
도 7a 및 도 7b는 머리 검출 및 추적의 예시를 나타낸다. Ytrack = 150이며 추적 기준선과 교차하는 경우에만 머리 후보(원형 윤곽) 검출을 수행한다. 도 7에 도시된 바와 같이, '1320 번째 프레임'과 '1324 번째 프레임' 등 머리 후보가 추적 기준점과 교차했음에도 불구하고 머리 후보(원형 윤곽) 검출에 실패한 프레임이 다수 발생했다. 하지만, 이전 프레임에서 성공적으로 추출된 머리 후보(원형 윤곽)를 추적하여 '1334 번째 프레임'과 '1336 번째 프레임'에서 최종적으로 진출한 2명을 계수하였다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 실시예는 영상 보안 분야 또는 BI(Business Intelligence) 분야에 적용되어, 보다 정확하고 오류 발생이 적은 머리 검출을 기반으로 사람을 계수할 수 있는 효과를 발생하는 유용한 발명이다.
110: 전경 윤곽 검출부 120: 머리 검출부
130: 머리 추적부 140: 계수부

Claims (17)

  1. 영상 분석 장치가 사람을 계수하는 방법에 있어서,
    입력된 현재 프레임으로부터 전경 윤곽을 검출하는 전경 윤곽 검출 과정;
    카메라가 촬영하는 영역의 중심점과 수직되는 지점에 가상의 기준선을 설정하고, 상기 기준선의 주변에 탐색 영역을 설정하며, 상기 전경 윤곽이 상기 기준선을 통과하는 시점에만 사람의 머리로 인식되는 원형 윤곽을 검출하는 머리 검출 과정;
    상기 원형 윤곽의 머리 후보들이 상기 탐색 영역을 통과할 때까지 이후 프레임에서 상기 머리 후보 각각을 추적하는 머리 추적 과정; 및
    상기 머리 후보 각각이 상기 탐색 영역을 통과하는 순간에 계수를 수행하는 계수 과정
    을 포함하되, 상기 머리 추적 과정은 상기 머리 후보 각각을 중심으로 탐색 영역의 상측 영역(Ru)과 상기 머리 후보 각각을 중심으로 탐색 영역의 하측 영역(Rd)에 근거하여 탐색 영역 높이(Rh)를 산출하고, 상기 탐색 영역 높이(Rh)와 동일한 값으로 탐색 영역 폭(Rw)을 설정하며, 상기 탐색 영역 높이(Rh) 및 상기 탐색 영역 폭(Rw)에 근거하여 상기 탐색 영역을 결정하는 것을 특징으로 하는 사람 계수 방법.
  2. 제 1 항에 있어서,
    상기 머리 추적 과정은,
    상기 머리 후보가 검출되는 경우, 상기 머리 후보 각각이 추적 리스트 상에 존재하는 머리 후보와 공간적으로 중복되는지의 여부를 확인하고, 확인 결과, 공간적으로 비중복되는 경우, 비중복되는 머리 후보를 추적 리스트에 새롭게 삽입하는 것을 특징으로 하는 사람 계수 방법.
  3. 제 1 항에 있어서,
    상기 머리 추적 과정은,
    추적 리스트 상에 존재하는 모든 머리 후보에 대해 FMT(Fast Template Matching) 방식을 적용하여 상기 현재 프레임과 기 설정된 임계치 이상의 유사도를 갖는 지점을 상기 머리 후보 각각의 새로운 중심 위치로 결정하는 것을 특징으로 하는 사람 계수 방법.
  4. 제 1 항에 있어서,
    상기 머리 추적 과정은,
    추적 리스트 상에 존재하는 임의의 머리 후보에 대해 상기 현재 프레임과의 매칭을 수행하기 위한 상기 탐색 영역을 결정하는 것을 특징으로 하는 사람 계수 방법.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 머리 추적 과정은,
    제 1 가중치(wα), 제 2 가중치(wβ), 추적 리스트의 (t)번째 머리 후보의 평균 이동속도(S(t)), 상기 머리 후보 각각을 중심으로 상측 및 하측 이동 방향(Δy(t))에 근거하여 상기 탐색 영역 높이(Rh)를 산출하는 것을 특징으로 하는 사람 계수 방법.
  7. 제 6 항에 있어서,
    상기 머리 추적 과정은,
    총 궤적의 개수(N), (n)번째 궤적의 머리 후보 중심의 x 좌표값 및 y 좌표값(xn, yn)에 근거하여 상기 추적 리스트의 (t)번째 머리 후보의 평균 이동속도(S(t))를 산출하는 것을 특징으로 하는 사람 계수 방법.
  8. 제 6 항에 있어서,
    상기 머리 추적 과정은,
    총 궤적의 개수(N), (n)번째 궤적의 머리 후보 중심의 y 좌표값(yn)에 근거하여 상기 머리 후보를 중심으로 상측 및 하측 이동 방향(Δy(t))를 산출하는 것을 특징으로 하는 사람 계수 방법.
  9. 제 1 항에 있어서,
    상기 머리 추적 과정은,
    제 2 가중치(wβ), 추적 리스트의 (t)번째 머리 후보의 평균 이동속도(S(t)) 및 상기 머리 후보 각각을 중심으로 탐색 영역의 상측 영역(Ru)에 근거하여 상기 머리 후보 각각을 중심으로 탐색 영역의 하측 영역(Rd)을 산출하는 것을 특징으로 하는 사람 계수 방법.
  10. 제 9 항에 있어서,
    상기 머리 추적 과정은,
    총 궤적의 개수(N), (n)번째 궤적의 머리 후보 중심의 x 좌표값 및 y 좌표값(xn, yn)에 근거하여 상기 추적 리스트의 (t)번째 머리 후보의 평균 이동속도(S(t))를 산출하는 것을 특징으로 하는 사람 계수 방법.
  11. 제 9 항에 있어서,
    상기 머리 추적 과정은,
    제 1 가중치(wα), 제 2 가중치(wβ), 추적 리스트의 (t)번째 머리 후보의 평균 이동속도(S(t)), 머리 후보를 중심으로 상측 및 하측 이동 방향(Δy(t))에 근거하여 상기 탐색 영역 높이(Rh)를 산출하는 것을 특징으로 하는 사람 계수 방법.
  12. 제 1 항에 있어서,
    상기 전경 윤곽 검출 과정은,
    배경만 존재하는 최초 프레임에서 배경 윤곽을 추출하고, 상기 현재 프레임의 전체 윤곽을 추출한 후 상기 전체 윤곽에서 상기 배경 윤곽을 제거하여 상기 전경 윤곽을 획득하는 것을 특징으로 하는 사람 계수 방법.
  13. 제 12 항에 있어서,
    상기 전경 윤곽 검출 과정은,
    상기 현재 프레임의 적분 영상(Integral Image) 기반의 적응형 이진화(Adaptive Thresholding)을 이용하여 상기 전경 윤곽을 추출하는 것을 특징으로 하는 사람 계수 방법.
  14. 제 1 항에 있어서,
    상기 머리 검출 과정은,
    상기 전경 윤곽을 기반으로 원형 허프 변환(Circular Hough Transform)을 수행하여 상기 원형 윤곽을 추출하는 것을 특징으로 하는 사람 계수 방법.
  15. 제 14 항에 있어서,
    상기 머리 검출 과정은,
    기 설정된 최소치 내지 최대치 사이의 원형 윤곽의 크기를 사전 정보(Prior Information)로 이용하여 상기 원형 허프 변환을 수행하는 것을 특징으로 하는 사람 계수 방법.
  16. 제 1 항에 있어서,
    상기 계수 과정은,
    상기 머리 후보 각각이 상기 탐색 영역을 통과하는 순간에 상기 원형 윤곽의 방향성을 판단하여 계수를 수행하는 것을 특징으로 하는 사람 계수 방법.
  17. 입력된 현재 프레임으로부터 전경 윤곽을 검출하는 전경 윤곽 검출부;
    카메라가 촬영하는 영역의 중심점과 수직되는 지점에 가상의 기준선을 설정하고, 상기 기준선의 주변에 탐색 영역을 설정하며, 상기 전경 윤곽이 상기 기준선을 통과하는 시점에만 사람의 머리로 인식되는 원형 윤곽을 검출하는 머리 검출부;
    상기 원형 윤곽의 머리 후보들이 상기 탐색 영역을 통과할 때까지 이후 프레임에서 상기 머리 후보 각각을 추적하는 머리 추적부; 및
    상기 머리 후보 각각이 상기 탐색 영역을 통과하는 순간에 계수를 수행하는 계수부
    를 포함하되, 상기 머리 추적부는 상기 머리 후보 각각을 중심으로 탐색 영역의 상측 영역(Ru)과 상기 머리 후보 각각을 중심으로 탐색 영역의 하측 영역(Rd)에 근거하여 탐색 영역 높이(Rh)를 산출하고, 상기 탐색 영역 높이(Rh)와 동일한 값으로 탐색 영역 폭(Rw)을 설정하며, 상기 탐색 영역 높이(Rh) 및 상기 탐색 영역 폭(Rw)에 근거하여 상기 탐색 영역을 결정하는 것을 특징으로 하는 영상 분석 장치.
KR1020140021381A 2014-02-24 2014-02-24 사람 계수 방법 및 그를 위한 장치 KR101557376B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140021381A KR101557376B1 (ko) 2014-02-24 2014-02-24 사람 계수 방법 및 그를 위한 장치
PCT/KR2014/009926 WO2015126031A1 (ko) 2014-02-24 2014-10-22 사람 계수 방법 및 그를 위한 장치
CN201480074551.0A CN105940430B (zh) 2014-02-24 2014-10-22 人员计数方法及其装置
US15/108,784 US9971941B2 (en) 2014-02-24 2014-10-22 Person counting method and device for same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140021381A KR101557376B1 (ko) 2014-02-24 2014-02-24 사람 계수 방법 및 그를 위한 장치

Publications (2)

Publication Number Publication Date
KR20150100056A KR20150100056A (ko) 2015-09-02
KR101557376B1 true KR101557376B1 (ko) 2015-10-05

Family

ID=53878504

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140021381A KR101557376B1 (ko) 2014-02-24 2014-02-24 사람 계수 방법 및 그를 위한 장치

Country Status (4)

Country Link
US (1) US9971941B2 (ko)
KR (1) KR101557376B1 (ko)
CN (1) CN105940430B (ko)
WO (1) WO2015126031A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102486499B1 (ko) 2022-07-21 2023-01-10 한국해양과학기술원 이미지 기반 인공지능 객체인식을 이용한 갯벌 서식굴 탐사시스템 및 이를 이용한 갯벌 생태환경 공간정보 구축방법
KR102486498B1 (ko) 2022-07-21 2023-01-10 한국해양과학기술원 이미지 기반 인공지능 객체인식을 이용한 갯벌 서식굴 탐지 및 생태환경 공간정보 구축시스템 및 방법

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160259980A1 (en) * 2015-03-03 2016-09-08 Umm Al-Qura University Systems and methodologies for performing intelligent perception based real-time counting
KR20160118783A (ko) * 2015-04-03 2016-10-12 한화테크윈 주식회사 사람 계수 방법 및 장치
WO2017172611A1 (en) * 2016-03-28 2017-10-05 General Dynamics Mission Systems, Inc. System and methods for automatic solar panel recognition and defect detection using infrared imaging
US10650249B2 (en) * 2016-10-25 2020-05-12 Shenzhen University Method and device for counting pedestrians based on identification of head top of human body
CN106504270B (zh) * 2016-11-08 2019-12-20 浙江大华技术股份有限公司 一种视频中目标物体的展示方法及装置
CN106548487B (zh) * 2016-11-25 2019-09-03 浙江光跃环保科技股份有限公司 用于检测和跟踪移动物体的方法和装置
CN108537093B (zh) * 2017-03-02 2020-07-03 深圳市中兴微电子技术有限公司 一种视频人数的统计方法和装置
JP6910208B2 (ja) 2017-05-30 2021-07-28 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN109389016B (zh) * 2017-08-10 2023-04-07 株式会社日立制作所 一种人头计数的方法及系统
RU2696548C1 (ru) 2018-08-29 2019-08-02 Александр Владимирович Абрамов Способ построения системы видеонаблюдения для поиска и отслеживания объектов
US11048948B2 (en) * 2019-06-10 2021-06-29 City University Of Hong Kong System and method for counting objects
CN110472552A (zh) * 2019-08-09 2019-11-19 杭州义顺科技有限公司 基于图像物体检测技术的利用摄像头的视频实物计数方法
CN110717408B (zh) * 2019-09-20 2022-04-12 台州智必安科技有限责任公司 一种基于tof相机的人流计数方法
CN111104554B (zh) * 2019-12-23 2022-08-16 南京甄视智能科技有限公司 基于轮廓检测和头肩检测的自动门控制方法与系统
KR102335158B1 (ko) * 2020-03-11 2021-12-02 경성대학교 산학협력단 열화상 카메라를 이용한 사람 객체별 체온 감지 및 추적 방법
JP2022020352A (ja) * 2020-07-20 2022-02-01 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US11587325B2 (en) 2020-09-03 2023-02-21 Industrial Technology Research Institute System, method and storage medium for detecting people entering and leaving a field

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198566A (ja) * 2009-02-27 2010-09-09 Nec Corp 人数計測装置、方法及びプログラム
JP2010262527A (ja) 2009-05-08 2010-11-18 Nabtesco Corp 通行者計数装置、通行者計数方法および通行者計数プログラム
US20130070969A1 (en) 2010-02-10 2013-03-21 Hangzhou Hikvision Digital Technology Co., Ltd. Method and system for people flow statistics

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100519782B1 (ko) * 2004-03-04 2005-10-07 삼성전자주식회사 스테레오 카메라를 이용한 사람 검출 방법 및 장치
WO2008131201A1 (en) * 2007-04-19 2008-10-30 Global Rainmakers, Inc. Method and system for biometric recognition
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
US8411963B2 (en) 2008-08-08 2013-04-02 The Nielsen Company (U.S.), Llc Methods and apparatus to count persons in a monitored environment
CN102334142A (zh) * 2009-02-24 2012-01-25 三菱电机株式会社 人物追踪装置以及人物追踪程序
ES2396500T3 (es) 2010-11-18 2013-02-22 Axis Ab Contador de objetos y método para contar objetos
WO2013003860A1 (en) * 2011-06-30 2013-01-03 Yale University Subject sensing in an environment
EP2600611A1 (de) * 2011-11-29 2013-06-05 Xovis AG Verfahren und Vorrichtung zur überwachung eines Überwachungsbereichs
TWI448977B (zh) * 2011-12-08 2014-08-11 Ind Tech Res Inst 基於視訊分析的物件計數方法與裝置
CN103077380B (zh) * 2013-01-07 2016-06-29 信帧电子技术(北京)有限公司 一种基于视频的人数统计方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198566A (ja) * 2009-02-27 2010-09-09 Nec Corp 人数計測装置、方法及びプログラム
JP2010262527A (ja) 2009-05-08 2010-11-18 Nabtesco Corp 通行者計数装置、通行者計数方法および通行者計数プログラム
US20130070969A1 (en) 2010-02-10 2013-03-21 Hangzhou Hikvision Digital Technology Co., Ltd. Method and system for people flow statistics

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102486499B1 (ko) 2022-07-21 2023-01-10 한국해양과학기술원 이미지 기반 인공지능 객체인식을 이용한 갯벌 서식굴 탐사시스템 및 이를 이용한 갯벌 생태환경 공간정보 구축방법
KR102486498B1 (ko) 2022-07-21 2023-01-10 한국해양과학기술원 이미지 기반 인공지능 객체인식을 이용한 갯벌 서식굴 탐지 및 생태환경 공간정보 구축시스템 및 방법

Also Published As

Publication number Publication date
KR20150100056A (ko) 2015-09-02
CN105940430A (zh) 2016-09-14
CN105940430B (zh) 2019-09-17
WO2015126031A1 (ko) 2015-08-27
US20160321507A1 (en) 2016-11-03
US9971941B2 (en) 2018-05-15

Similar Documents

Publication Publication Date Title
KR101557376B1 (ko) 사람 계수 방법 및 그를 위한 장치
US9811721B2 (en) Three-dimensional hand tracking using depth sequences
Yang et al. Robust superpixel tracking
CN105938622B (zh) 检测运动图像中的物体的方法和装置
Wang et al. Automatic adaptation of a generic pedestrian detector to a specific traffic scene
US9292745B2 (en) Object detection apparatus and method therefor
US9530221B2 (en) Context aware moving object detection
Holte et al. Fusion of range and intensity information for view invariant gesture recognition
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
US20210056715A1 (en) Object tracking method, object tracking device, electronic device and storage medium
US9082000B2 (en) Image processing device and image processing method
Borges Pedestrian detection based on blob motion statistics
TWI415032B (zh) Object tracking method
Vignesh et al. Abnormal event detection on BMTT-PETS 2017 surveillance challenge
KR101406334B1 (ko) 신뢰도와 지연된 결정을 활용한 다중 객체 추적 시스템 및 방법
Martínez et al. A motion descriptor based on statistics of optical flow orientations for action classification in video-surveillance
Chen et al. Object tracking over a multiple-camera network
CN107665495B (zh) 对象跟踪方法及对象跟踪装置
KR101313879B1 (ko) 기울기 히스토그램을 이용한 사람 검출 추적 시스템 및 방법
Eiselein et al. Enhancing human detection using crowd density measures and an adaptive correction filter
Lee et al. Recognizing human-vehicle interactions from aerial video without training
KR101958927B1 (ko) 통행량을 기반으로 한 적응적 사람 계수 방법 및 장치
Lee et al. Robust Sign Recognition System at Subway Stations Using Verification Knowledge
KR101342018B1 (ko) 대표 특징을 이용한 실시간 객체 인식 및 추적 방법과 그 장치
Vinicius et al. Blob motion statistics for pedestrian detection

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 4