KR101467360B1 - 이동 방향별 보행자 계수 방법 및 장치 - Google Patents

이동 방향별 보행자 계수 방법 및 장치 Download PDF

Info

Publication number
KR101467360B1
KR101467360B1 KR20130078389A KR20130078389A KR101467360B1 KR 101467360 B1 KR101467360 B1 KR 101467360B1 KR 20130078389 A KR20130078389 A KR 20130078389A KR 20130078389 A KR20130078389 A KR 20130078389A KR 101467360 B1 KR101467360 B1 KR 101467360B1
Authority
KR
South Korea
Prior art keywords
foreground
pedestrians
image frame
counting
pedestrian
Prior art date
Application number
KR20130078389A
Other languages
English (en)
Inventor
김문현
김규진
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR20130078389A priority Critical patent/KR101467360B1/ko
Application granted granted Critical
Publication of KR101467360B1 publication Critical patent/KR101467360B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 이동 방향별 보행자 계수 장치는 입력 이미지 프레임으로부터 추출된 전경 영역들의 모션 벡터들을 이동 방향을 기준으로 한 적어도 하나의 방향 군집으로 군집화하고, 각 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 적어도 하나의 방향별 전경 영역 집합들로 분할하는 방향 분할 모듈, 적어도 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분에 기초하여 전체 보행자들을 계수하는 보행자 계수 모듈 및 입력 이미지 프레임 내의 전체 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수하는 방향별 보행자 계수 모듈을 포함할 수 있다.

Description

이동 방향별 보행자 계수 방법 및 장치{METHOD AND APPARATUS FOR COUNTING PEDESTRIANS BY MOVING DIRECTIONS}
본 발명은 영상 감시에 관한 것으로, 더욱 상세하게는, 영상 내의 보행자 행동 감시에 관한 것이다.
대규모 CCTV 시스템의 경우에 수십 개에서 수백 개에 이르는 영상들을 관리요원들이 모니터링하여야 하므로 대단히 많은 인원이 소요되면서도 감시 요원의 집중력 저하나 피로, 부주의, 임의적인 판단에 따라 중요한 상황을 놓치는 경우가 종종 있을 뿐 아니라, 엄청난 시간의 영상을 저장하는 문제에서도 곤란한 점이 많다.
따라서 공공 장소를 감시하기 위해 CCTV 카메라로 공공 장소를 촬영하고 자동으로 영상을 분석하여 불특정 다수의 물체들을 추출하고 움직임을 분석하여, 비정상적인 움직임이 감지될 경우에 자동으로 관리자에게 경고하거나 그 밖의 연계된 자동화 시스템에 정보를 전달하는 지능형 영상 감시 시스템에 대한 요구가 점점 커지고 있다.
종래의 지능형 영상 감시 시스템들은 먼저 영상으로부터 식별한 전경 영역들을 미리 제공된 보행자 형태 모델에 기초하여 분할하여 개별 보행자들을 추출하고 계수하는 방식이다.
이러한 방식은 특정한 장소를 특정한 시야(viewpoint)에서 바라보았을 때에 얻어지는 보행자 형태 모델에 의존하므로, 카메라의 방향과 화각, 초점거리 등이 매우 제한적이다. 또한 흔히 일어나는 혼잡한 상황에서 보행자가 다른 보행자에 가리는 "폐색(occlusion)"이 일어나면 가려진 개별 보행자의 식별이 실패할 가능성이 매우 크다.
이러한 종래의 시스템들은 전경 영역의 추출과 모델 분석, 유사도 판정, 추적 등의 세부 알고리즘을 거치면서 대단히 많은 연산 자원을 필요로 함에도 불구하고 정확도는 충분하지 않다.
예를 들어, 광장이나 공원, 기차역, 운동장 등 군중들이 밀집하는 곳을 감시하는 경우에, 종래의 지능형 영상 감시 시스템들로써 군중 속에서 나타나는 비정상적인 움직임을 정확히 추출하는 것은 쉽지 않다.
본 발명이 해결하고자 하는 과제는 개별 보행자들을 모델링하지 않아 폐색에 영향을 받지 않으면서 개별 보행자의 이동 방향을 추적할 수 있는 이동 방향별 보행자 계수 방법 및 장치를 제공하는 데에 있다.
본 발명의 일 측면에 따른 이동 방향별 보행자 계수 장치는,
입력 이미지 프레임으로부터 추출된 전경 영역들의 모션 벡터들을 이동 방향을 기준으로 한 적어도 하나의 방향 군집으로 군집화하고, 각 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 적어도 하나의 방향별 전경 영역 집합들로 분할하는 방향 분할 모듈;
적어도 상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분에 기초하여 전체 보행자들을 계수하는 보행자 계수 모듈; 및
상기 입력 이미지 프레임 내의 전체 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수하는 방향별 보행자 계수 모듈을 포함할 수 있다.
일 실시예에 따라, 상기 방향 분할 모듈은
상기 이미지 프레임으로부터 배경을 추출하고, 추출된 배경을 기초로 상기 이미지 프레임으로부터 전경 영역을 추출하는 전경 영역 추출부;
추출된 전경 영역들의 모션 벡터들을 추출하는 모션 벡터 추출부;
추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 가우시안 혼합 모델을 이용하여 근사시킬 수 있는 가우시안 성분들을 산출하고, 산출된 가우시안 성분들을 군집의 개수가 미정인 군집화 알고리즘들을 이용하여 적어도 하나의 방향 군집들로 군집화하는 모션 벡터 방향 군집화부; 및
동일한 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 각각 집결하여, 전체 전경 영역들을 모션 벡터 방향 군집의 개수와 동일한 개수의 방향별 전경 영역 집합들로 분할하는 전경 영역 분할부를 포함할 수 있다.
일 실시예에 따라, 상기 전경 영역 추출부는 가우시안 혼합 모델링 기법에 기초하여 전경 영역을 추출하도록 동작할 수 있다.
일 실시예에 따라, 상기 전경 영역 추출부는 팽창 또는 침식을 포함하는 화상 변형을 반복하여 전경 영역의 노이즈를 제거하도록 동작할 수 있다.
일 실시예에 따라, 상기 모션 벡터 추출부는 루카스-카나데 알고리즘, 혼-슁크 알고리즘, CLG(Combined Local-Global) 알고리즘 중 어느 하나를 통해 연산된 광학적 흐름(optical flow) 벡터들로서 모션 벡터들을 추출하도록 동작할 수 있다.
일 실시예에 따라, 상기 모션 벡터 방향 군집화부는 EM(Expectation-Maximization) 알고리즘을 통해 가우시안 성분들을 산출하도록 동작할 수 있다.
일 실시예에 따라, 상기 모션 벡터 방향 군집화부의 군집화 알고리즘은 SLC(Sequential Leader Clustering) 알고리즘일 수 있다.
일 실시예에 따라, 상기 전경 영역 분할부는 동일한 방향 군집에 속하는 적어도 하나의 가우시안 성분에 상응하는 모션 벡터 방향 각도 값들을 가지는 전경 영역 픽셀들을 집결하도록 동작할 수 있다.
일 실시예에 따라, 상기 보행자 계수 모듈은
상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분 및 통계적 특징 벡터들을 모두 이용하여, 또는
상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분 및 통계적 특징 벡터들 중에서 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분에 기초하여 보행자들을 계수하도록 동작할 수 있다.
일 실시예에 따라, 상기 보행자 계수 모듈은
학습용 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분과, 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 주지의 학습 기법에 따라 학습 모델을 구축하고, 상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분 및 통계적 특징 벡터들 중에서 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분을 상기 학습 모델에 인가하여 상기 입력 이미지 프레임 내의 보행자들을 계수하도록 동작할 수 있다.
일 실시예에 따라, 상기 보행자 계수 모듈은
이미지 프레임의 전경 영역으로부터 특징점 추출 알고리즘들을 이용하여 특징점들을 추출하는 특징점 추출부;
전경 영역들과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들 중에서 주성분 분석을 통해 적어도 하나의 통계적 특징 주성분을 선정하는 주성분 분석부; 및
학습용 이미지 프레임 내의 추출된 특징점들의 특징점 개수 성분, 통계적 특징 성분들 중에서 선정된 통계적 특징 주성분 및 상기 학습용 이미지 프레임 내의 보행자 수에 기초하여 학습된 학습 모델을 구축하고, 상기 입력 이미지 프레임으로부터 추출된 특징점 개수 성분 및 선정된 통계적 특징 주성분을 상기 학습 모델에 인가하여, 상기 입력 이미지 프레임 내의 보행자들을 계수하는 보행자 계수부를 포함할 수 있다.
일 실시예에 따라, 상기 특징점 추출 알고리즘은 SURF, SIFT, 해리스 코너 검출기, 포스트너 검출기, 카나데-루카스-토마시 알고리즘 중에서 선택될 수 있다.
일 실시예에 따라, 상기 통계적 특징 성분은 전경 영역의 면적, 전경 영역의 외곽선 길이, 전경 영역의 텍스처의 균질성, 대비도, 에너지 또는 엔트로피 속성을 포함할 수 있다.
일 실시예에 따라, 상기 방향별 보행자 계수 모듈은,
상기 산출된 전경 영역의 전체 면적에 대비한 방향별 전경 영역 집합들 각각의 면적의 비율에 상기 입력 이미지 프레임 내의 전체 보행자 수를 승산하여, 방향별 보행자를 계수하도록 동작할 수 있다.
본 발명의 다른 측면에 따른 기록 매체는 컴퓨터를 일 실시예에 따른 이동 방향별 보행자 계수 장치로 동작시키도록 구현된 프로그램이 수록된 컴퓨터로 독출가능한 기록 매체일 수 있다.
본 발명의 또 다른 측면에 따른 이동 방향별 보행자 계수 방법은,
이미지 프레임으로부터 전경 영역들을 추출하는 단계;
상기 전경 영역들의 모션 벡터들을 추출하는 단계;
추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 적어도 하나의 방향 군집들로 군집화하는 단계;
각 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 적어도 하나의 방향별 전경 영역 집합들로 분할하는 단계;
적어도 상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분에 기초하여 전체 보행자들을 계수하는 단계; 및
상기 입력 이미지 프레임 내의 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수하는 단계를 포함할 수 있다.
일 실시예에 따라, 상기 전경 영역은 가우시안 혼합 모델링 기법에 기초하여 추출될 수 있다.
일 실시예에 따라, 상기 모션 벡터는 루카스-카나데 알고리즘, 혼-슁크 알고리즘, CLG(Combined Local-Global) 알고리즘 중 어느 하나를 통해 연산된 광학적 흐름 벡터들로서 추출될 수 있다.
일 실시예에 따라, 상기 군집화하는 단계는,
추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 가우시안 혼합 모델을 이용하여 근사시킬 수 있는 가우시안 성분들을 산출하는 단계; 및
산출된 가우시안 성분들을 군집의 개수가 미정인 군집화 알고리즘들을 이용하여 적어도 하나의 방향 군집들로 군집화하는 단계를 포함할 수 있다.
일 실시예에 따라, 상기 가우시안 성분들은 EM 알고리즘을 통해 산출될 수 있다.
일 실시예에 따라, 상기 군집화 알고리즘은 SLC 알고리즘일 수 있다.
일 실시예에 따라, 상기 방향별 전경 영역 집합들은 동일한 방향 군집에 속하는 적어도 하나의 가우시안 성분에 상응하는 모션 벡터 방향 각도 값들을 가지는 전경 영역 픽셀들을 집결하여 형성될 수 있다.
일 실시예에 따라, 상기 특징점 추출 알고리즘은 SURF, SIFT, 해리스 코너 검출기, 포스트너 검출기, 카나데-루카스-토마시 알고리즘 중 선택될 수 있다.
일 실시예에 따라, 상기 전체 보행자들을 계수하는 단계는
상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분 및 통계적 특징 벡터들 중에서 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분에 기초하여 보행자들을 계수하는 단계를 포함할 수 있다.
일 실시예에 따라, 상기 전체 보행자들을 계수하는 단계는
학습용 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분과, 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 주지의 학습 기법에 따라 학습 모델을 구축하는 단계;
상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분 및 통계적 특징 벡터들 중에서 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분을 상기 학습 모델에 입력하는 단계; 및
상기 학습 모델로부터 상기 입력 이미지 프레임 내의 보행자들의 수를 획득하는 단계를 포함할 수 있다.
일 실시예에 따라, 상기 통계적 특징 성분은 전경 영역의 면적, 전경 영역의 외곽선 길이, 전경 영역의 텍스처의 균질성, 대비도, 에너지 또는 엔트로피 속성을 포함할 수 있다.
일 실시예에 따라, 상기 방향별 보행자들을 계수하는 단계는
상기 산출된 전경 영역의 전체 면적에 대비한 방향별 전경 영역 집합들 각각의 면적의 비율에 상기 입력 이미지 프레임 내의 전체 보행자 수를 승산하여, 방향별 보행자를 계수하는 단계를 포함할 수 있다.
본 발명의 또 다른 측면에 따른 기록 매체는 컴퓨터에서 일 실시예에 따른 이동 방향별 보행자 계수 방법을 수행하는 프로그램이 수록된 컴퓨터로 독출가능한 기록 매체일 수 있다.
본 발명의 이동 방향별 보행자 계수 방법 및 장치에 따르면, 전경 영역에 대한 모션 벡터 기법과 주요 성분 분석이 적용된 특징값 추출 기법을 함께 이용하여 이동 방향별 보행자를 계수할 수 있다.
본 발명의 이동 방향별 보행자 계수 방법 및 장치에 따르면, 각 보행자들의 움직임이 식별되어, 일부 보행자들의 갑작스러운 방향 또는 속도 변경, 배회자, 혼잡 상황, 특정 장소에 대한 보행자들의 비정상적인 회피 움직임 등이 비정상적 움직임으로서 식별될 수 있다.
도 1은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치를 예시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 방향 분할 모듈에서, 원본, 추출된 모션 벡터들, 모션 벡터들의 방향 각도 값들의 히스토그램 및 가우시안 혼합 모델(GMM) 표현 다이어그램을 예시한 도면들이다.
도 3은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 방향 분할 모듈에서, 원본, 전경 영역, 추출된 모션 벡터들 및 이동 방향별로 분류된 전경들을 예시한 예제들이다.
도 4는 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 추출된 특징점들을 예시한 예제이다.
도 5는 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 추출된 특징점들의 개수와 수작업으로 계수한 보행자 수의 관계를 예시한 그래프이다.
도 6은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 전경 영역의 면적과 보행자 수 사이의 관계를 예시한 그래프이다.
도 7은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 전경 영역의 경계선 길이와 보행자 수 사이의 관계를 예시한 그래프이다.
도 8은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 추정된 보행자 수와 방향 분할 모듈에서 분류된 이동 방향별 전경 영역들에 기초하여 방향별 보행자 계수 모듈에서 판정한 이동 방향별 보행자들을 예시한 예제들이다.
도 9는 예제 동영상들에 대해 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치를 통해 추정된 보행자 수와 수작업으로 계수된 보행자 수를 비교한 그래프들이다.
도 10은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 방법을 예시한 순서도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치를 예시한 블록도이다.
도 1을 참조하면, 이동 방향별 보행자 계수 장치(10)는 방향 분할 모듈(20), 보행자 계수 모듈(30) 및 방향별 보행자 계수 모듈(40)을 포함한다.
방향 분할 모듈(20)은 이미지 프레임으로부터 추출된 전경 영역들의 모션 벡터들을 이동 방향을 기준으로 한 적어도 하나의 방향 군집으로 군집화(clustering)하고, 각 방향 군집들에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 방향별 전경 영역 집합들(partitions)로 분할한다.
구체적으로, 방향 분할 모듈(20)은 예를 들어 연속하는 영상들에서 변하지 않는 부분을 배경(background)으로 보고 이를 제거하는 차영상 기법, 소정 시간 동안의 영상 프레임들의 누적이나 학습을 통한 배경 모델링 기법 또는 가우시안 혼합 모델과 같은 적응적 배경 모델링 기법 등의 다양한 주지된 배경 모델링 기법을 이용하여 배경을 추출한 다음, 추출된 배경을 기초로 이미지 프레임으로부터 전경 영역을 추출할 수 있다.
나아가, 방향 분할 모듈(20)은 추출된 전경 영역들의 모션 벡터들을 예를 들어 루카스-카나데(Lucas and Kanade) 알고리즘, 혼-슁크(Horn-Schunck) 알고리즘, 또는 국부-전역 결합(Combined Local-Global) 알고리즘과 같은 주지의 광학적 흐름 알고리즘들(optical flow algorithms)을 이용하여 추출한다.
이어서, 방향 분할 모듈(20)은 추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 적어도 하나의 방향 군집들로 군집화할 수 있다.
실시예에 따라, 방향 분할 모듈(20)은 이동 방향 성분들을 가우시안 혼합 모델을 이용하여 근사시킬 수 있는 가우시안 성분들을 산출할 수 있다.
실시예에 따라, 방향 분할 모듈(20)은 산출된 가우시안 성분들을 예를 들어 군집의 개수가 미정인 상태로 개시되는 자가 조직 맵(Self-Organizing Map) 알고리즘이나 순차 승자 군집화(SLC, Sequential Leader Clustering) 알고리즘과 같은 주지의 군집화 알고리즘들을 이용하여 군집화할 수 있다.
마지막으로, 방향 분할 모듈(20)은 동일한 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 각각 집결하여, 전체 전경 영역들을 방향 군집의 개수와 동일한 개수의 방향별 전경 영역 집합들로 분할한다.
실시예에 따라, 방향 분할 모듈(20)은 동일한 방향 군집에 속하는 가우시안 성분들에 상응하는 모션 벡터들을 가지는 전경 영역 픽셀들을 각각 집결하여 방향별 전경 영역 집합들을 생성할 수 있다.
다음으로, 보행자 계수 모듈(30)은 입력되는 이미지 프레임 내의 전경 영역들의 특징점 개수 성분에 기초하여 보행자들을 계수한다.
특히, 보행자 계수 모듈(30)은 학습용 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분과, 주성분 분석 알고리즘(PCA, Principal Components Analysis)에 의해 통계적 특징 벡터들(statistical feature vectors) 중에서 선정되는 적어도 하나의 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 주지의 학습 기법에 따라 학습 모델을 구축하고, 구축된 학습 모델에 입력 이미지 프레임 내의 전경 영역들의 특징점 개수 성분 및 통계적 특징 주성분을 인가하여 보행자들을 계수한다.
좀더 구체적으로, 보행자 계수 모듈(30)은 방향 분할 모듈(20)에서 추출된 전경 영역으로부터 예를 들어 SURF(Speeded Up Robust Feature Algorithm), SIFT(Scale Invariant Feature Transforms), 해리스 코너 검출기(Harris corner detector), 포스트너 검출기(Forstner detector), 카나데-루카스-토마시 알고리즘(KLT, Kanade-Lucas-Tomasi)과 같은 주지의 특징점 추출 알고리즘들을 이용하여 특징점들을 추출한다.
이어서, 보행자 계수 모듈(30)은 전경 영역들과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들 중에서 주성분 분석(PCA)을 통해 선정된 적어도 하나의 통계적 특징 주성분을 산출한다.
통계적 특징 성분들은 예를 들어, 전경 영역들의 픽셀 개수 성분, 전경 영역들의 에지 픽셀 개수 성분, 전경 영역들의 텍스처 속성들, 즉 균질성(Homogeneity), 대비도(Contrast), 에너지(Energy) 및 엔트로피(Entropy)을 포함할 수 있다.
보행자 계수 모듈(30)은 추출된 특징점들의 특징점 개수 성분, 통계적 특징 성분들 중에서 선정된 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 예를 들어 인공 신경망(Neural Network)와 같은 주지의 학습 기법에 따라 학습시켜, 학습 모델을 구축한다.
이어서, 보행자 계수 모듈(30)은 입력된 이미지 프레임으로부터 추출된 특징점 개수 성분과 선정된 통계적 특징 주성분을 구축된 학습 모델에 적용하여, 이미지 프레임 전체의 보행자들을 계수한다.
방향별 보행자 계수 모듈(40)은 이미지 프레임 내에서 추정된 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수한다.
구체적으로, 방향별 보행자 계수 모듈(40)은 전경 영역을 방향별로 분할하고, 전체 전경 영역 중 각 방향별로 분할된 방향별 전경 영역들의 각각의 비율에 따라, 산출된 전체 보행자 중에서 각 방향별 전경 영역 내에 보행자가 몇 명이 있을지 추정한다.
좀더 구체적으로, 방향 분할 모듈(20)에서 산출된 전경 영역 전체 면적에 대비한 방향별 전경 영역 집합 면적의 비율에 보행자 계수 모듈(30)에서 추정된 전체 이미지 프레임 내의 보행자 수를 승산하여, 방향별 보행자들의 수를 산출한다.
다시 말해, 기존의 보행자 계수 방법들은 보행자들에 상응하는 객체들을 실제로 추출한 다음 그 객체들을 계수함으로써 보행자들의 수를 산출하는 방식인 반면에, 본 발명의 이동 방향별 보행자 계수 장치(10)는 개별 보행자에 상응하는 객체를 산출하는 대신에 전경 영역의 특징점들의 개수 및 통계적 속성에 기초하여 학습시킨 학습 모델로써 전체 보행자의 수를 산출한다.
아래에서 좀더 구체적으로 각 모듈들(20, 30, 40)의 동작을 설명한다.
먼저, 방향 분할 모듈(20)은 전경 영역 추출부(21), 모션 벡터 연산부(22), 모션 벡터 방향 군집화부(23) 및 전경 영역 분할부(24)를 포함할 수 있다.
방향 분할 모듈(20)의 전경 영역 추출부(21)는 예를 들어 차영상 기법, 배경 모델링 기법 또는 가우시안 혼합 모델과 같은 적응적 배경 모델링 기법 등의 다양한 주지된 배경 모델링 기법을 이용하여 배경을 추출하고, 추출된 배경을 기초로 이미지 프레임으로부터 전경 영역을 추출할 수 있다.
추출된 전경 영역에는 보행자 영역을 포함하여 다양한 잡음(noise), 홀(hole) 등이 포함될 수 있는데, 이 경우에 팽창(dilation), 침식(erosion)과 같은 화상 변형을 반복하면 노이즈를 제거하고 좀더 정확하게 보행자 영역을 전경 영역으로서 추출할 수 있다.
모션 벡터 연산부(22)는 추출된 전경 영역들의 모션 벡터들을 예를 들어 루카스-카나데 알고리즘, 혼-슁크 알고리즘, 또는 국부-전역 결합(CLG) 알고리즘과 같은 주지의 광학적 흐름 알고리즘들을 이용하여 추출한다.
실시예에 따라, 모션 벡터 연산부(22)는 바람직하게는 국부-전역 결합 알고리즘(CLG)을 이용함으로써, 루카스-카나데 알고리즘의 국부적인 성능 장점과 혼-슁크 알고리즘의 전역 성능 장점을 모두 얻을 수 있다.
이미지 프레임을 직교 좌표 x, y와 시간 t의 함수로서 f(x, y, t)라고 표현할 경우에, CLG 알고리즘은 시간 t에서 다음 수학식 1의 함수를 최소화하는 광학적 흐름 필드(optical flow field) (u(x,y), v(x,y))T를 연산할 수 있다.
Figure 112013060331405-pat00001
w는 w=(u(x,y), v(x,y), 1)T인 벡터 필드(vector field)이고, u(x,y)는 x축 방향의 속도, v(x,y)는 y 축 방향의 속도이다. 수학식 1의 적분 기호 안의 두 번째 항은 광학적 흐름의 평활화 제약 조건(smoothness constraint)으로서, ∇u는 x축 방향 속도의 공간적 경사도(spatial gradient), ∇v는 y축 방향 속도의 공간적 경사도이며, ∇3f는 그레이 스케일로 표현된 이미지 프레임의 시공간적 경사도(spatio-temporal gradient)이다. λ는 평활화 가설(smoothness assumption)의 상대적 중요성을 의미하는 가중치이다.
Figure 112013060331405-pat00002
는 다음 수학식 2에 의해 주어지는 행렬로서, "모션 텐서(motion tensor)" 또는 "구조 텐서(structure tensor)"라 불리는 행렬이다.
Figure 112013060331405-pat00003
수학식 1의 E(u,v)는 다음 수학식 3로 주어지는 오일러-라그랑제 등식(Euler-Lagrange Equations)의 해를 구함으로써 최소화된다.
Figure 112013060331405-pat00004
여기서, h는 직사각형 픽셀 그리드의 크기이고, ui와 vi는 각각 어떤 픽셀 i에서 u와 v의 근사치이다. Jmni는 픽셀 i의 구조 텐서 J의 (n, m) 성분들이고, R(i)는 픽셀 i의 주변 픽셀들의 집합이다.
모션 벡터 연산부(22)의 동작에 관한 수학식 1, 2 및 3에서 사용된 기호들은 원칙적으로 수학식 1, 2 및 3에서만 적용되며, 수학식 1, 2 및 3의 일부 기호가 다른 구성 요소들에서 일어나는 연산들의 기호와 동일한 외형을 가질 수 있지만 그렇더라도 각각의 수학적 의미는 수학식 1, 2 및 3에 관하여 정의된 바에 따른다는 점에 유의한다.
모션 벡터 방향 군집화부(23)는 추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 가우시안 혼합 모델을 이용하여 근사시킬 수 있는 가우시안 성분들을 산출하고, 산출된 가우시안 성분들을 예를 들어 군집의 개수가 미정인, 자가 조직 맵 알고리즘이나 순차 승자 군집화 알고리즘과 같은 주지의 군집화 알고리즘들을 이용하여 적어도 하나의 방향 군집들로 군집화할 수 있다.
구체적으로, 이미지 프레임 내의 각 픽셀들 (x,y)의 광학적 흐름을 v(x,y)라 하면, 광학적 흐름 벡터는 다음 수학식 4와 같이 극좌표계 형식으로 표현될 수 있다.
Figure 112013060331405-pat00005
방향 각도 성분 φ의 분포는 가우시안 혼합 모델을 이용하여 가우시안 성분들의 가중 혼합으로 근사화될 수 있는데, 방향 각도 성분 φ의 근사 가우시안 확률 분포는 실수 공간에서 다음 수학식 5와 같이 표현될 수 있다.
Figure 112013060331405-pat00006
여기서 p(φ|θm)는 m 번째 가우시안 기저 함수이고, αm은 혼합 계수(mixing coefficient)이며, θm은 m번째 성분의 파라미터 집합이고, M은 가우시안 기저 함수의 전체 개수이며, Ω는 가우시안 혼합 모델링에 필요한 모든 파라미터들의 전체 집합 {θ1, θ2, ..., θM, α1, α2, ..., αM }이다.
수학식 5는 이미지 프레임 내의 전체 모션 벡터들 중에 방향 각도 φ을 가지는 모션 벡터들의 확률 분포를 M 개의 가우시안 기저 함수들의 가중 혼합으로써 근사적으로 표현하는 것을 의미한다.
이때, p(φ|Ω)은 확률 값이므로, αm은 다음 수학식 6의 조건을 만족하여야 한다.
Figure 112013060331405-pat00007
또한, m 번째 가우시안 성분 p(φ|θm)은 다음 수학식 7과 같은 평균 μm과 분산 σm을 가지는 정규 확률 분포 함수이다.
Figure 112013060331405-pat00008
Ω≡{θ1, θ2, ..., θM, α1, α2, ..., αM }을 추정하기 위해 EM(Expectation-Maximization) 알고리즘이 이용될 수 있다. M은 예를 들어 8로 주어질 수 있는데, 이 경우, 8 개의 평균 μ과 8 개의 가중치 α의 쌍이 특정된다.
이러한 모션 벡터들의 군집화를 설명하기 위해 도 2를 참조하면, 도 2는 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 방향 분할 모듈이 모션 벡터들을 군집화하는 과정을 설명하기 위해 예시한 도면으로서, 좌상부터 시계방향으로 각각, 원본 이미지 프레임, 원본으로부터 추출된 모션 벡터들, 모션 벡터들의 방향 각도 값들의 빈도수를 0 도에서 360 도까지의 스케일 상에 분포시킨 히스토그램 및 8 개의 평균-가중치 쌍에 관한 가우시안 혼합 모델 표현 다이어그램이다.
모션 벡터 방향 군집화부(23)는, 실시예에 따라 광학적 흐름 알고리즘으로부터 산출되는 많은 수의 모션 벡터들의 방향 각도 값들 자체를 군집화할 수도 있지만, 연산량을 줄이기 위해, 바람직하게는, 모션 벡터들의 방향 각도들에 대해 근사적으로 산출된 M 개의 가우시안 성분들을 군집화한다. 따라서, 모션 벡터 방향 군집화부(23)는 매우 적은 연산량으로 보행자들의 이동 방향을 M 개 이하의 이동 방향 기준들을 가지고 개략적으로 분류할 수 있다.
보행자들의 이동 방향이 몇 개의 군집으로 군집화될 수 있을지 사전에 알지 못하므로, 모션 벡터 방향 군집화부(23)는 군집의 개수를 사전에 정하지 않고 군집화하는 자가 조직 맵 알고리즘이나 순차 승자 군집화 알고리즘과 같은 주지의 군집화 알고리즘들을 이용하여 적어도 하나의 방향 군집으로 군집화할 수 있다.
예를 들어, 순차 승자 군집화 알고리즘을 이용하는 경우에, 최초에 첫 번째 가우시안 성분이 최초 군집을 이루고, 이어서 입력되는 다음 가우시안 성분들의 각각은 기존의 군집들의 중심과 사이의 거리 함수 값이 문턱값 이하이면 그러한 거리 함수 값이 최소인 기존의 군집에 추가되고, 그렇지 않으면 새로운 군집을 생성하는 방식으로, M 개 가우시안 성분들의 군집화가 매우 신속하게 수행된다.
마지막으로, 전경 영역 분할부(24)는 동일한 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 각각 집결하여, 전체 전경 영역들을 모션 벡터 방향 군집의 개수와 동일한 개수의 방향별 전경 영역 집합들로 분할한다.
좀더 구체적으로, 전경 영역 분할부(24)는 동일한 방향 군집에 속하는 적어도 하나의 가우시안 성분에 상응하는 모션 벡터 방향 각도 값들을 가지는 전경 영역 픽셀들을 집결한다. 따라서, 각 방향 군집마다 집결된 전경 영역 픽셀들은 방향 군집 Ci의 수와 동일한 개수의 방향별 전경 영역 집합 Ri을 구성한다.
이러한 방향별 전경 영역 집합을 설명하기 위해 도 3을 참조하면, 도 3은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 방향 분할 모듈에서, 원본, 전경 영역, 추출된 모션 벡터들 및 이동 방향별로 분류된 전경들을 예시한 예제들이다.
도 3에서, 좌상부터 시계방향으로 각각, 원본 이미지 프레임, 원본에서 추출된 전경 영역 픽셀들, 모션 벡터들 및 분할된 방향별 전경 영역 집합들이 예시되어 있다.
특히 도 3의 우하 도면에서, 전체 전경 영역은 이미지의 한 가운데에서 우상 방향으로 움직이는 사람에 관한 전경 영역 집합과, 이미지 우반부에서 좌측으로 움직이는 세 사람에 관한 전경 영역 집합으로 분할된다.
이렇게 하여, 방향 분할 모듈(20)은 이미지 프레임으로부터 추출된 전경 영역들의 모션 벡터들을 이동 방향을 기준으로 한 적어도 하나의 방향 군집으로 군집화하고, 각 방향 군집들에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 방향별 전경 영역 집합들로 분할한다.
이어서, 보행자 계수 모듈(30)은 특징점 추출부(31), 주성분 분석부(32) 및 보행자 계수부(33)를 포함할 수 있다.
보행자 계수 모듈(30)은 학습용 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분과, 주성분 분석 알고리즘에 의해 통계적 특징 벡터들 중에서 선정되는 적어도 하나의 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 주지의 학습 기법에 따라 학습 모델을 구축하고, 입력되는 전체 이미지 프레임 내의 보행자들을 학습된 학습 모델에 의해 계수한다.
좀더 구체적으로, 보행자 계수 모듈(30)의 특징점 추출부(31)는 방향 분할 모듈(20)에서 추출된 전경 영역으로부터 예를 들어 SURF, SIFT, 해리스 코너 검출기, 포스트너 검출기, 카나데-루카스-토마시 알고리즘과 같은 주지의 특징점 추출 알고리즘들을 이용하여 특징점들을 추출한다.
도 4는 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 추출된 특징점들을 예시한 예제이다.
도 4를 참조하면, SURF 알고리즘에 의한 특징점들은 주로 보행자들의 얼굴, 팔다리의 끝 부분에서 추출되는 것을 알 수 있다.
보행자 한 명당 3~5 개의 특징점들이 추출되므로, 보행자의 수가 많으면 특징점들의 수도 늘어나게 된다.
도 5는 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 추출된 특징점들의 개수와 수작업으로 계수한 보행자 수의 관계를 예시한 그래프이다.
도 5를 참조하면, SURF 알고리즘에 의해 추출된 특징점들의 수와 수작업으로 계수된 보행자의 수 사이의 관계는 상당히 밀접한 것을 알 수 있다. 다만, 보행자 수가 적은 이미지에서는 특징점들의 수와 보행자들의 수 사이의 관계가 다소 적어질 수 있지만, 이는 후속하는 학습 모듈에서 학습에 의해 보완될 수 있다.
이어서, 주성분 분석부(32)는 전경 영역들과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들 중에서 주성분 분석(PCA)을 통해 적어도 하나의 통계적 특징 주성분을 선정한다.
통계적 특징 성분들은 예를 들어, 전경 영역들의 픽셀 개수 성분, 전경 영역들의 에지 픽셀 개수 성분, 전경 영역들의 텍스처 속성들, 즉 균질성(Homogeneity), 대비(Contrast), 에너지(Energy) 및 엔트로피(Entropy)을 포함할 수 있다.
먼저, 도 3에서 알 수 있듯이, 전경 영역은 대체로 보행자들에 상응하는 픽셀들을 포함하기 때문에, 전경 영역의 면적, 즉 픽셀들의 수는 실제 보행자의 수나 각 보행자의 몸집과 상당한 관련성이 있을 것이고, 전경 영역의 경계선의 길이, 즉 에지 픽셀들의 수는 실제 보행자들의 수와 인체의 윤곽선 길이와 상당한 관련성이 있을 것임을 예상할 수 있다.
실제로, 도 6 및 7을 참조하면, 도 6은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 전경 영역의 면적과 보행자 수 사이의 관계를 예시한 그래프이고, 도 7은 전경 영역의 경계선 길이와 보행자 수 사이의 관계를 예시한 그래프이다.
도 6 및 도 7은 2009년 제11회 IEEE PETS(Performance Evaluation of Tracking and Surveillance) 워크샵에서 배포된 샘플 데이터셋(PETS 2009)을 이용하여 얻은 상관 관계들을 나타낸다.
또한, 전경 영역의 텍스처 속성들(texture properties)은 2차 결합 조건부 확률 밀도 함수들(2nd-order joint conditional probability density functions)에 기반하는 GLDM(Gray Level Dependence Matrix)에 기초하여 획득될 수 있다.
특히, Haralick에 의해 제안된 네 가지 확산 지표들(spread indicators)인 균질성, 대비도, 에너지 및 엔트로피를 1 픽셀 거리 및 0도, 45도, 90도 및 135도의 네 방향 각도에 관하여 각각 정의함으로써, 총 16 가지 텍스처 속성들이 획득될 수 있다.
이렇게 보행자 계수 모듈(30)은 전경 영역들의 픽셀 개수 성분, 에지 픽셀 개수 성분 및 16 가지 텍스처 속성들을 포함하여 총 18 종류의 통계적 특징 성분들을 이용할 수 있다.
보행자 계수 모듈(30)은 이 18 가지의 통계적 특징 성분들을 모두 이용하는 대신에, 주성분 분석 기법을 통해 원데이터, 즉 여기서는 보행자 수에 상대적으로 큰 영향을 주는, 즉 상대적으로 강한 상관성을 가지는 적어도 하나의 특징 주성분을 선정한다.
실제 이미지 프레임을 입력하기에 앞서, 보행자 계수 모듈(30)의 보행자 계수부(33)는 추출된 특징점들의 특징점 개수 성분, 통계적 특징 성분들 중에서 선정된 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 예를 들어 인공 신경망와 같은 주지의 학습 기법에 따라 학습시켜, 학습 모델을 구축할 수 있다.
예를 들어 2 개의 입력 유닛과 50 개의 은닉 유닛들과 1 개의 출력 유닛을 가진 인공 신경망을 이용하여 학습 모델을 구축할 수 있다. 이러한 학습 모델은 2 개의 입력 유닛에 PES 2009 데이터 셋의 특징점 개수 성분과 선정된 통계적 특징 주성분, 예를 들어 전경 영역 픽셀 개수 성분을 입력받고, 주어진 보행자 수에 따라 학습될 수 있다.
이어서, 보행자 계수 모듈(30)의 보행자 계수부(33)는 입력된 이미지 프레임으로부터 추출된 특징점 개수 성분과 통계적 특징 주성분을 구축된 학습 모델에 인가하여, 전체 이미지 프레임 내의 보행자들을 계수한다.
다음으로, 방향별 보행자 계수 모듈(40)은 전체 이미지 프레임 내의 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수한다.
구체적으로, 방향별 보행자 계수 모듈(40)은 다음 수학식 8과 같이 방향 분할 모듈(20)에서 산출된 전경 영역 전체 면적에 대비한 방향별 전경 영역 집합 면적의 비율에 보행자 계수 모듈(30)에서 계수된 전체 이미지 프레임 내의 보행자 수를 승산하여, 방향별 보행자를 계수한다.
Figure 112013060331405-pat00009
여기서, F(j)는 j 번째 프레임의 전경 영역 전체의 픽셀 수이고, Ri(j)는 j 번째 프레임의 i 번째 방향별 전경 영역 집합의 픽셀 수이다.
Figure 112013060331405-pat00010
는 j 번째 프레임에 대해 보행자 계수 모듈(30)이 추정적으로 계수한 보행자 수이고,
Figure 112013060331405-pat00011
는 j 번째 프레임에서 추정된 i 번째 방향별 보행자 수이다.
도 8은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 계수된 보행자 수와 방향 분할 모듈에서 분류된 이동 방향별 전경 영역들에 기초하여 방향별 보행자 계수 모듈에서 판정한 이동 방향별 보행자들을 예시한 예제들이다.
도 8을 참조하면, 다양한 배경과 상황에서 획득된 이미지 프레임들에서 서로 다른 방향으로 이동하는 보행자들에 대해, 전경 영역들이 서로 다른 이동 방향별로 서로 다른 색상이나 명암으로 표현되고 또한 계수되어 있다.
예를 들어, 좌측 하단의 예제에서, 수직선을 기준으로 시계 방향인 방향 각도 27도로 대표되는 이동 방향으로 1 명, -86도로 대표되는 이동 방향으로 2명, 176도로 대표되는 이동 방향으로 3명이 계수된다.
예를 들어, 우측 하단의 예제에서, 방향 각도 86도로 대표되는 이동 방향으로 1 명, 173도로 대표되는 이동 방향으로 2명, -51도로 대표되는 이동 방향으로 2명, 6도로 대표되는 이동 방향으로 28명이 계수된다.
도 9는 예제 동영상들에 대해 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치를 통해 계수된 보행자 수와 수작업으로 계수된 보행자 수를 비교한 그래프들이다.
각 그래프에서, 수작업으로 계수된 보행자 수는 시간축 상에서 상대적으로 덜 변동하는 선으로 표시되고 본 발명에 따라 계수된 보행자 수는 상대적으로 자주 변동하는 선으로 표시되어 있다. 전체적으로 본 발명에 따라 계수된 보행자 수는 실제 보행자 수를 상당히 양호하게 추종하고 있음을 알 수 있다.
도 10은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 방법을 예시한 순서도이다.
본 발명의 이동 방향별 보행자 계수 방법은 단계(S101)에서 이미지 프레임으로부터 전경 영역들을 추출하는 단계로부터 시작할 수 있다.
예를 들어 차영상 기법, 배경 모델링 기법 또는 가우시안 혼합 모델과 같은 적응적 배경 모델링 기법 등의 다양한 주지된 배경 모델링 기법을 이용하여 배경이 추출되면, 추출된 배경을 기초로 이미지 프레임으로부터 전경 영역을 추출할 수 있다.
이어서, 단계(S102)에서, 추출된 전경 영역들의 모션 벡터들을 예를 들어 루카스-카나데 알고리즘, 혼-슁크 알고리즘, 또는 국부-전역 결합 알고리즘과 같은 주지의 광학적 흐름 알고리즘들을 이용하여 추출한다.
단계(S103)에서, 추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 적어도 하나의 방향 군집들로 군집화할 수 있다.
실시예에 따라, 이동 방향 성분들을 가우시안 혼합 모델을 이용하여 근사시킬 수 있는 가우시안 성분들을 산출하고, 산출된 가우시안 성분들을 군집의 개수가 미정인 상태로 개시되는 자가 조직 맵 알고리즘이나 순차 승자 군집화 알고리즘과 같은 주지의 군집화 알고리즘들을 이용하여 모션 벡터들을 적어도 하나의 방향 군집으로 군집화할 수 있다.
단계(S104)에서, 동일한 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 각각 집결하여, 전체 전경 영역들을 방향 군집의 개수와 동일한 개수의 방향별 전경 영역 집합들로 분할한다.
실시예에 따라, 방향별 전경 영역 집합들은 동일한 방향 군집에 속하는 가우시안 성분들에 상응하는 모션 벡터들을 가지는 전경 영역 픽셀들을 각각 집결시켜 생성될 수 있다.
단계(S105)에서, 특징점 개수 성분 및 통계적 특징 주성분에 기초한 학습 모델로써 이미지 프레임의 전체 보행자들을 계수한다.
구체적으로는, 특징점 개수 성분 및 통계적 특징 주성분에 기초하여 보행자를 계수하도록 구축된 학습 모델에 이미지 프레임을 인가하여, 이미지 프레임 전체의 보행자들을 계수한다.
학습 모델은 학습용 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분과, 주성분 분석 알고리즘에 의해 통계적 특징 벡터들 중에서 선정되는 적어도 하나의 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 구축될 수 있다.
구축된 학습 모델에 이미지 프레임을 입력하였을 때에 학습 모델로부터 출력되는 보행자 수가 입력 이미지 프레임 전체에서 계수된 보행자 수라고 할 수 있다.
구체적으로, 특징점들은 전경 영역으로부터 예를 들어 SURF, SIFT, 해리스 코너 검출기, 포스트너 검출기, 카나데-루카스-토마시 알고리즘과 같은 주지의 특징점 추출 알고리즘들을 이용하여 추출될 수 있다.
이어서, 전경 영역들과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들 중에서 주성분 분석(PCA)을 통해 선정된 적어도 하나의 통계적 특징 주성분이 산출될 수 있다.
통계적 특징 성분들은 예를 들어, 전경 영역들의 픽셀 개수 성분, 전경 영역들의 에지 픽셀 개수 성분, 전경 영역들의 텍스처 속성들, 즉 균질성, 대비도, 에너지 및 엔트로피를 포함할 수 있고, 픽셀 거리 및 각도 별로 여러 벌의 텍스처 속성들이 이용될 수 있다.
단계(S106)에서, 이미지 프레임의 전체 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수한다.
구체적으로 전경 영역을 방향별로 분할하고, 전체 전경 영역 중 각 방향별로 분할된 방향별 전경 영역들의 각각의 비율에 따라, 산출된 전체 보행자 중에서 각 방향별 전경 영역 내에 보행자가 몇 명이 있을지 추정할 수 있다.
좀더 구체적으로, 방향별 보행자는 산출된 전경 영역 전체 면적에 대비한 방향별 전경 영역 집합 면적의 비율에 보행자 계수 모듈(30)에서 계수된 전체 이미지 프레임 내의 보행자 수를 승산하여 계수될 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다.
또한, 본 발명에 따른 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
10 이동 방향별 보행자 계수 장치
20 방향 분할 모듈
21 전경 영역 추출부
22 모션 벡터 연산부
23 모션 벡터 방향 군집화부
24 전경 영역 분할부
30 보행자 계수 모듈
31 특징점 추출부
32 주성분 분석부
33 보행자 계수부
40 방향별 보행자 계수 모듈

Claims (28)

  1. 삭제
  2. 입력 이미지 프레임으로부터 추출된 전경 영역들의 모션 벡터들을 이동 방향을 기준으로 한 적어도 하나의 방향 군집으로 군집화하고, 각 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 적어도 하나의 방향별 전경 영역 집합들로 분할하는 방향 분할 모듈;
    적어도 상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분에 기초하여 전체 보행자들을 계수하는 보행자 계수 모듈; 및
    상기 입력 이미지 프레임 내의 전체 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수하는 방향별 보행자 계수 모듈을 포함하고,
    상기 방향 분할 모듈은
    상기 이미지 프레임으로부터 배경을 추출하고, 추출된 배경을 기초로 상기 이미지 프레임으로부터 전경 영역을 추출하는 전경 영역 추출부;
    추출된 전경 영역들의 모션 벡터들을 추출하는 모션 벡터 추출부;
    추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 가우시안 혼합 모델을 이용하여 근사시킬 수 있는 가우시안 성분들을 산출하고, 산출된 가우시안 성분들을 군집의 개수가 미정인 군집화 알고리즘들을 이용하여 적어도 하나의 방향 군집들로 군집화하는 모션 벡터 방향 군집화부; 및
    동일한 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 각각 집결하여, 전체 전경 영역들을 모션 벡터 방향 군집의 개수와 동일한 개수의 방향별 전경 영역 집합들로 분할하는 전경 영역 분할부를 포함하는 것을 특징으로 하는 이동 방향별 보행자 계수 장치.
  3. 청구항 2에 있어서, 상기 전경 영역 추출부는 가우시안 혼합 모델링 기법에 기초하여 전경 영역을 추출하도록 동작하는 것을 특징으로 하는 이동 방향별 보행자 계수 장치.
  4. 청구항 3에 있어서, 상기 전경 영역 추출부는 팽창 또는 침식을 포함하는 화상 변형을 반복하여 전경 영역의 노이즈를 제거하도록 동작하는 것을 특징으로 하는 이동 방향별 보행자 계수 장치.
  5. 청구항 2에 있어서, 상기 모션 벡터 추출부는 루카스-카나데 알고리즘, 혼-슁크 알고리즘, CLG(Combined Local-Global) 알고리즘 중 어느 하나를 통해 연산된 광학적 흐름(optical flow) 벡터들로서 모션 벡터들을 추출하도록 동작하는 것을 특징으로 하는 이동 방향별 보행자 계수 장치.
  6. 청구항 2에 있어서, 상기 모션 벡터 방향 군집화부는 EM(Expectation-Maximization) 알고리즘을 통해 가우시안 성분들을 산출하도록 동작하는 것을 특징으로 하는 이동 방향별 보행자 계수 장치.
  7. 청구항 2에 있어서, 상기 모션 벡터 방향 군집화부의 군집화 알고리즘은 SLC(Sequential Leader Clustering) 알고리즘인 것을 특징으로 하는 이동 방향별 보행자 계수 장치.
  8. 청구항 2에 있어서, 상기 전경 영역 분할부는 동일한 방향 군집에 속하는 적어도 하나의 가우시안 성분에 상응하는 모션 벡터 방향 각도 값들을 가지는 전경 영역 픽셀들을 집결하도록 동작하는 것을 특징으로 하는 이동 방향별 보행자 계수 장치.
  9. 삭제
  10. 입력 이미지 프레임으로부터 추출된 전경 영역들의 모션 벡터들을 이동 방향을 기준으로 한 적어도 하나의 방향 군집으로 군집화하고, 각 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 적어도 하나의 방향별 전경 영역 집합들로 분할하는 방향 분할 모듈;
    적어도 상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분에 기초하여 전체 보행자들을 계수하는 보행자 계수 모듈; 및
    상기 입력 이미지 프레임 내의 전체 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수하는 방향별 보행자 계수 모듈을 포함하고,
    상기 보행자 계수 모듈은
    학습용 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분과, 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 주지의 학습 기법에 따라 학습 모델을 구축하고, 상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분 및 통계적 특징 벡터들 중에서 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분을 상기 학습 모델에 인가하여 상기 입력 이미지 프레임 내의 보행자들을 계수하도록 동작하는 것을 특징으로 하는 이동 방향별 보행자 계수 장치.
  11. 입력 이미지 프레임으로부터 추출된 전경 영역들의 모션 벡터들을 이동 방향을 기준으로 한 적어도 하나의 방향 군집으로 군집화하고, 각 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 적어도 하나의 방향별 전경 영역 집합들로 분할하는 방향 분할 모듈;
    적어도 상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분에 기초하여 전체 보행자들을 계수하는 보행자 계수 모듈; 및
    상기 입력 이미지 프레임 내의 전체 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수하는 방향별 보행자 계수 모듈을 포함하고,
    상기 보행자 계수 모듈은
    이미지 프레임의 전경 영역으로부터 특징점 추출 알고리즘들을 이용하여 특징점들을 추출하는 특징점 추출부;
    전경 영역들과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들 중에서 주성분 분석을 통해 적어도 하나의 통계적 특징 주성분을 선정하는 주성분 분석부; 및
    학습용 이미지 프레임 내의 추출된 특징점들의 특징점 개수 성분, 통계적 특징 성분들 중에서 선정된 통계적 특징 주성분 및 상기 학습용 이미지 프레임 내의 보행자 수에 기초하여 학습된 학습 모델을 구축하고, 상기 입력 이미지 프레임으로부터 추출된 특징점 개수 성분 및 선정된 통계적 특징 주성분을 상기 학습 모델에 인가하여, 상기 입력 이미지 프레임 내의 보행자들을 계수하는 보행자 계수부를 포함하는 것을 특징으로 하는 이동 방향별 보행자 계수 장치.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 입력 이미지 프레임으로부터 전경 영역들을 추출하는 단계;
    상기 전경 영역들의 모션 벡터들을 추출하는 단계;
    추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 적어도 하나의 방향 군집들로 군집화하는 단계;
    각 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 적어도 하나의 방향별 전경 영역 집합들로 분할하는 단계;
    적어도 상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분에 기초하여 전체 보행자들을 계수하는 단계; 및
    상기 입력 이미지 프레임 내의 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수하는 단계를 포함하고,
    상기 군집화하는 단계는,
    추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 가우시안 혼합 모델을 이용하여 근사시킬 수 있는 가우시안 성분들을 산출하는 단계; 및
    산출된 가우시안 성분들을 군집의 개수가 미정인 군집화 알고리즘들을 이용하여 적어도 하나의 방향 군집들로 군집화하는 단계를 포함하는 것을 특징으로 하는 이동 방향별 보행자 계수 방법.
  20. 청구항 19에 있어서, 상기 가우시안 성분들은 EM 알고리즘을 통해 산출되는 것을 특징으로 하는 이동 방향별 보행자 계수 방법.
  21. 청구항 19에 있어서, 상기 군집화 알고리즘은 SLC 알고리즘인 것을 특징으로 하는 이동 방향별 보행자 계수 방법.
  22. 청구항 19에 있어서, 상기 방향별 전경 영역 집합들은 동일한 방향 군집에 속하는 적어도 하나의 가우시안 성분에 상응하는 모션 벡터 방향 각도 값들을 가지는 전경 영역 픽셀들을 집결하여 형성되는 것을 특징으로 하는 이동 방향별 보행자 계수 방법.
  23. 삭제
  24. 입력 이미지 프레임으로부터 전경 영역들을 추출하는 단계;
    상기 전경 영역들의 모션 벡터들을 추출하는 단계;
    추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 적어도 하나의 방향 군집들로 군집화하는 단계;
    각 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 적어도 하나의 방향별 전경 영역 집합들로 분할하는 단계;
    적어도 상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분에 기초하여 전체 보행자들을 계수하는 단계; 및
    상기 입력 이미지 프레임 내의 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수하는 단계를 포함하고,
    상기 전체 보행자들을 계수하는 단계는
    상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분 및 통계적 특징 벡터들 중에서 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분에 기초하여 보행자들을 계수하는 단계를 포함하는 것을 특징으로 하는 이동 방향별 보행자 계수 방법.
  25. 입력 이미지 프레임으로부터 전경 영역들을 추출하는 단계;
    상기 전경 영역들의 모션 벡터들을 추출하는 단계;
    추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 적어도 하나의 방향 군집들로 군집화하는 단계;
    각 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 적어도 하나의 방향별 전경 영역 집합들로 분할하는 단계;
    적어도 상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분에 기초하여 전체 보행자들을 계수하는 단계; 및
    상기 입력 이미지 프레임 내의 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수하는 단계를 포함하고,
    상기 전체 보행자들을 계수하는 단계는
    학습용 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분과, 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 주지의 학습 기법에 따라 학습 모델을 구축하는 단계;
    상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분 및 통계적 특징 벡터들 중에서 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분을 상기 학습 모델에 입력하는 단계; 및
    상기 학습 모델로부터 상기 입력 이미지 프레임 내의 보행자들의 수를 획득하는 단계를 포함하는 것을 특징으로 하는 이동 방향별 보행자 계수 방법.
  26. 청구항 24 또는 청구항 25에 있어서, 상기 통계적 특징 성분은 전경 영역의 면적, 전경 영역의 외곽선 길이, 전경 영역의 텍스처의 균질성, 대비도, 에너지 또는 엔트로피 속성을 포함하는 것을 특징으로 하는 이동 방향별 보행자 계수 방법.
  27. 삭제
  28. 컴퓨터에서 청구항 19, 20, 21, 22, 24 또는 25 중 어느 한 청구항에 따른 이동 방향별 보행자 계수 방법을 수행하는 프로그램이 수록된 컴퓨터로 독출가능한 기록 매체.
KR20130078389A 2013-07-04 2013-07-04 이동 방향별 보행자 계수 방법 및 장치 KR101467360B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130078389A KR101467360B1 (ko) 2013-07-04 2013-07-04 이동 방향별 보행자 계수 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130078389A KR101467360B1 (ko) 2013-07-04 2013-07-04 이동 방향별 보행자 계수 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020140095846A Division KR101529620B1 (ko) 2014-07-28 2014-07-28 이동 방향별 보행자 계수 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101467360B1 true KR101467360B1 (ko) 2014-12-03

Family

ID=52677086

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130078389A KR101467360B1 (ko) 2013-07-04 2013-07-04 이동 방향별 보행자 계수 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101467360B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097987A1 (ko) * 2020-11-06 2022-05-12 서강대학교 산학협력단 신경망을 기반으로 한 미행 검출 방법 및 이를 이용한 미행 검출 시스템
KR20220074335A (ko) 2020-11-27 2022-06-03 동의대학교 산학협력단 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012084140A (ja) * 2010-09-30 2012-04-26 Toshiba Corp 映像解析方法およびシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012084140A (ja) * 2010-09-30 2012-04-26 Toshiba Corp 映像解析方法およびシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김규진, 안태기, 신정렬, 송민지, "야외환경에서의 보행자 계수 방법 연구", 한국철도학회 2011년도 정기총회 및 추계학술대회, pp.1973-1978, 2011년 10월. *
김규진, 안태기, 신정렬, 송민지, "야외환경에서의 보행자 계수 방법 연구", 한국철도학회 2011년도 정기총회 및 추계학술대회, pp.1973-1978, 2011년 10월.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097987A1 (ko) * 2020-11-06 2022-05-12 서강대학교 산학협력단 신경망을 기반으로 한 미행 검출 방법 및 이를 이용한 미행 검출 시스템
KR20220074335A (ko) 2020-11-27 2022-06-03 동의대학교 산학협력단 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법

Similar Documents

Publication Publication Date Title
CN106407946B (zh) 跨线计数方法和深度神经网络训练方法、装置和电子设备
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
Pennisi et al. Online real-time crowd behavior detection in video sequences
US8340357B2 (en) Moving object detection method and moving object detection apparatus
Saxena et al. Crowd behavior recognition for video surveillance
CN110378259A (zh) 一种面向监控视频的多目标行为识别方法及系统
EP1801757A1 (en) Abnormal action detector and abnormal action detecting method
JP7292492B2 (ja) オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム
US10289884B2 (en) Image analyzer, image analysis method, computer program product, and image analysis system
TW200915196A (en) Method for detecting water regions in video
KR101529620B1 (ko) 이동 방향별 보행자 계수 방법 및 장치
CN106570874A (zh) 一种结合图像局部约束与对象全局约束的图像标记方法
Favaretto et al. Detecting crowd features in video sequences
KR101472674B1 (ko) 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치
Hu et al. A novel approach for crowd video monitoring of subway platforms
WO2009039350A1 (en) System and method for estimating characteristics of persons or things
Khan et al. A Computer Vision Tool Set for Innovative Elder Pedestrians Aware Crowd Management Support Systems.
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
Yen et al. Abnormal event detection using HOSF
CN110503017A (zh) 基于图像处理的智慧节能室内人数检测系统与方法
US20170053172A1 (en) Image processing apparatus, and image processing method
KR101467307B1 (ko) 인공 신경망 모델을 이용한 보행자 계수 방법 및 장치
KR101467360B1 (ko) 이동 방향별 보행자 계수 방법 및 장치
Ryan Crowd monitoring using computer vision
CN104123569A (zh) 一种基于有监督学习的视频人数信息统计方法

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180917

Year of fee payment: 5