KR101155273B1 - 적응적 배경 기반의 터널 감시장치 및 방법 - Google Patents

적응적 배경 기반의 터널 감시장치 및 방법 Download PDF

Info

Publication number
KR101155273B1
KR101155273B1 KR1020100064620A KR20100064620A KR101155273B1 KR 101155273 B1 KR101155273 B1 KR 101155273B1 KR 1020100064620 A KR1020100064620 A KR 1020100064620A KR 20100064620 A KR20100064620 A KR 20100064620A KR 101155273 B1 KR101155273 B1 KR 101155273B1
Authority
KR
South Korea
Prior art keywords
image frame
object region
image
tunnel
background image
Prior art date
Application number
KR1020100064620A
Other languages
English (en)
Other versions
KR20120004007A (ko
Inventor
백준기
김태경
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020100064620A priority Critical patent/KR101155273B1/ko
Publication of KR20120004007A publication Critical patent/KR20120004007A/ko
Application granted granted Critical
Publication of KR101155273B1 publication Critical patent/KR101155273B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

적응적 배경 기반의 터널 감시장치 및 방법이 개시된다. 배경영상 생성부는 터널 내부에서의 촬영에 의해 얻어진 입력영상을 구성하는 복수의 영상프레임으로부터 움직임을 검출하여 반복적으로 갱신함으로써 각각의 영상프레임에 대응하는 배경영상을 생성한다. 객체영역 검출부는 복수의 영상프레임 중에서 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임에 대하여 생성된 배경영상과 현재 영상프레임 사이의 차분을 기초로 현재 영상프레임으로부터 객체영역을 검출한다. 객체영역 판별부는 사전에 저장된 견본패턴 및 객체영역의 매칭에 의해 산출된 매칭률이 사전에 설정된 유사도보다 크면 객체영역이 견본패턴에 대응하는 객체에 해당하는 것으로 결정하여 제어신호를 출력한다. 알림신호 출력부는 제어신호가 입력되면 이상 상황임을 나타내는 알림신호를 생성하여 출력한다. 본 발명에 따르면, 터널 내부를 촬영하여 얻어진 입력영상으로부터 적응적으로 배경영상을 생성하여 객체영역을 검출하고, 사전에 저장된 견본패턴과의 패턴 매칭을 통해 객체영역이 사람에 해당되는지 여부를 판별하여 이상상황에 해당하는 경우에는 이를 알리기 위한 신호를 출력함으로써 터널 내의 무인감시에 활용할 수 있다.

Description

적응적 배경 기반의 터널 감시장치 및 방법{Apparatus and method for tunnel monitoring based on adaptive background}
본 발명은 적응적 배경 기반의 터널 감시장치 및 방법에 관한 것으로, 보다 상세하게는, 터널 내부를 촬영한 복수의 영상프레임으로부터 적응적으로 배경을 생성하고, 그를 기초로 객체를 검출함으로써 터널 내부의 각종 상황을 감시하는 장치 및 방법에 관한 것이다.
최근 테러 및 안전사고 등에 대한 경각심이 높아지면서 감시 카메라와 컴퓨터 비전 기술을 이용한 객체 추적, 이상행위 분석 및 상황 인지 등에 관한 연구가 활발하게 이루어지고 있다. 대부분의 객체 추적 시스템은 영상 내의 객체 위치를 파악하고 객체 영역을 검출하여 원하는 대상 객체를 파악하는 과정으로 이루어진다. 과거의 연구들은 주로 객체 추적을 용이하게 하는 것에 초점을 맞추어 왔으며, 현재도 많은 연구가 진행되고 있다.
지능형 터널 감시시스템은 터널 내에서 발생하는 모든 상황들을 실시간으로 관리 및 감독하기 위해 기존의 모니터링 시스템의 문제점을 해결함과 동시에 관리자에게 필요한 정보를 효율적으로 처리할 수 있는 시스템을 말한다. 특히 터널 내의 예측하지 못한 상황에 미리 대응함으로써 향후 발생할 수 있는 대형사고 및 재난에 대한 빠른 대처 방안으로 활용될 수 있다.
이러한 감시시스템에서 사용되는 객체 추적은 차분방법, 배경참조, 확률분포 및 움직임 등을 이용하여 배경과 객체를 분리하거나 미리 학습된 배경으로부터 객체를 분리한다. 또한 연속된 영상프레임들을 일정 영상프레임까지 미리 저장해 두었다가 산술논리 연산을 이용하여 배경을 학습하는 경우, 영상 내에서 작은 블록 단위로 나눠서 처리하는 경우 및 이전 영상과 현재 영상 간의 차이를 이용하여 움직임을 찾는 경우 등 다양한 방법들이 있다. 그런데 영상으로부터 검출되는 객체에는 정형 및 비정형 객체가 있으며, 객체 검출시에 영상의 해석을 필요로 한다.
정형 객체는 형태의 변화가 없으므로 객체의 위치와 영역을 검출한 후 영역에서 객체 특징점을 추출하는 방법이 대부분이다. 그러나 특징점만을 고려할 경우 연속된 영상 내에 지속적인 특징점의 분포와 매 순간의 이전 데이터 값을 업데이트하지 않는다면 부정확한 추적 결과를 얻게 된다. 비정형 객체의 경우에도 객체 검출 및 이전 데이터 간의 비교에 따라 정형 객체의 검출 결과와 동일한 결과를 얻게 된다. 이를 해결하기 위한 방법으로 배경영상을 생성하는 다양한 방법이 제안되었다.
배경 생성 방법으로는 크게 두 가지가 있는데, 하나는 일정한 범위까지 복수의 영상프레임을 누적하여 평균 또는 분포를 구하는 방법이고, 다른 하나는 배경으로 판단된 영상을 선택하여 영상프레임의 입력 순간마다 환경 변화를 검출하여 변화하지 않는 부분만을 고려한 배경 업데이트 방법이다. 평균 방법은 배경 영상을 쉽게 생성할 수 있으나, 객체 움직임의 주변 영역에 고스트(ghost) 현상이 발생한다는 문제가 있으며, 분포에 의한 방법은 배경과 객체 분포 값들이 모두 입력으로 들어온 경우를 조건으로 한다. 이러한 경우 배경 생성을 목적으로 하지만 객체의 분포가 많을 경우에는 오히려 반대의 결과가 얻어질 수도 있다. 또한 배경 업데이트 방법은 매 순간마다 입력된 영상프레임 간의 비교 분석을 통해 변화가 없거나 임의의 설정값에 따른 조건을 만족하는 경우에 대해 배경 영상을 업데이트함으로써 평균 및 분포에 의한 방법에 비해 효과적인 결과를 얻을 수 있다.
본 발명이 이루고자 하는 기술적 과제는, 터널이라는 특수한 환경 내에서 효과적으로 배경 영상을 생성하고, 또한 객체를 검출 및 인식하여 터널 내에서 발생하는 상황을 파악할 수 있는 적응적 배경 기반의 터널 감시장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 터널이라는 특수한 환경 내에서 효과적으로 배경 영상을 생성하고, 또한 객체를 검출 및 인식하여 터널 내에서 발생하는 상황을 파악할 수 있는 적응적 배경 기반의 터널 감시방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 적응적 배경 기반의 터널 감시장치는, 터널 내부에서의 촬영에 의해 얻어진 입력영상을 구성하는 복수의 영상프레임으로부터 움직임을 검출하여 반복적으로 갱신함으로써 상기 각각의 영상프레임에 대응하는 배경영상을 생성하는 배경영상 생성부; 상기 복수의 영상프레임 중에서 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임에 대하여 생성된 배경영상과 상기 현재 영상프레임 사이의 차분을 기초로 상기 현재 영상프레임으로부터 객체영역을 검출하는 객체영역 검출부; 사전에 저장된 견본패턴 및 상기 객체영역의 매칭에 의해 산출된 매칭률이 사전에 설정된 유사도보다 크면 상기 객체영역이 상기 견본패턴에 대응하는 객체에 해당하는 것으로 결정하여 제어신호를 출력하는 객체영역 판별부; 및 상기 제어신호가 입력되면 이상 상황임을 나타내는 알림신호를 생성하여 출력하는 알림신호 출력부;를 구비한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 적응적 배경 기반의 터널 감시방법은, 터널 내부에서의 촬영에 의해 얻어진 입력영상을 구성하는 복수의 영상프레임으로부터 움직임을 검출하여 반복적으로 갱신함으로써 상기 각각의 영상프레임에 대응하는 배경영상을 생성하는 배경영상 생성단계; 상기 복수의 영상프레임 중에서 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임에 대하여 생성된 배경영상과 상기 현재 영상프레임 사이의 차분을 기초로 상기 현재 영상프레임으로부터 객체영역을 검출하는 객체영역 검출단계; 사전에 저장된 견본패턴 및 상기 객체영역의 매칭에 의해 산출된 매칭률이 사전에 설정된 유사도보다 크면 상기 객체영역이 상기 견본패턴에 대응하는 객체에 해당하는 것으로 결정하여 제어신호를 출력하는 객체영역 판별단계; 및 상기 제어신호가 입력되면 이상 상황임을 나타내는 알림신호를 생성하여 출력하는 알림신호 출력단계;를 갖는다.
본 발명에 따른 적응적 배경 기반의 터널 감시장치 및 방법에 의하면, 터널 내부를 촬영하여 얻어진 입력영상으로부터 적응적으로 배경영상을 생성하여 객체영역을 검출하고, 사전에 저장된 견본패턴과의 패턴 매칭을 통해 객체영역이 사람에 해당되는지 여부를 판별하여 이상상황에 해당하는 경우에는 이를 알리기 위한 신호를 출력함으로써 터널 내의 무인감시에 활용할 수 있다. 또한 이상상황이 아닌 경우에도 터널 내의 차량 속도 및 지체 여부를 화면으로 출력하여 표시함으로써 관리자가 실시간으로 터널 내의 상황을 용이하게 알 수 있도록 한다.
도 1은 본 발명에 따른 적응적 배경 기반의 터널 감시장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 밝기 변화 분석에서 많이 사용되는 히스토그램 방법을 사용하여 영상의 밝기 변화를 관측한 결과를 나타낸 도면,
도 3은 영상의 밝기값에 대해 설정된 임계값을 기초로 입력영상으로부터 얻어진 이진영상을 나타낸 도면,
도 4는 실외 영상 및 터널 영상에 대하여 각각 인접한 영상프레임 간의 차분을 구한 결과를 나타낸 도면,
도 5는 객체영역이 사람에 해당하는지 여부를 판별하기 위해 사전에 저장된 9개의 견본패턴을 나타낸 도면,
도 6은 본 발명에 따른 적응적 배경 기반의 터널 감시방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 7은 본 발명이 컴퓨터 프로그램으로 구현된 전체 시스템이 표시되는 화면을 나타낸 도면,
도 8은 입력 영상프레임 및 생성된 배경영상을 나타낸 도면,
도 9는 터널 내에서 검출된 차량의 속도측정 결과가 화면에 출력된 예를 나타낸 도면,
도 10은 차량지체 구간이 검출된 결과를 나타낸 도면,
도 11은 차량의 역주행을 검출하기 위한 일 예를 나타낸 도면, 그리고,
도 12는 패턴 매칭에 의해 사람이 검출된 결과를 나타낸 도면이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 적응적 배경 기반의 터널 감시장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 적응적 배경 기반의 터널 감시장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 터널 감시장치는, 배경영상 생성부(110), 객체영역 검출부(120), 객체영역 판별부(130), 알림신호 출력부(140), 역주행 판별부(150) 및 상황 보고부(160)를 구비한다.
배경영상 생성부(110)는 터널 내부에서의 촬영에 의해 얻어진 입력영상을 구성하는 복수의 영상프레임으로부터 움직임을 검출하여 반복적으로 갱신함으로써 각각의 영상프레임에 대응하는 배경영상을 생성한다.
본 발명에 따른 터널 감시장치는 터널 내에서 발생하는 상황을 관리 및 감독하기 위해 구현된 것으로, 터널 내부를 지속적으로 촬영한 영상을 분석하여 상황을 파악하고 이상 상황이 발생하였을 경우에 빠르게 대처하는 것을 목적으로 한다. 따라서 입력영상은 연속하는 복수의 영상프레임으로 이루어지며, 배경영상 생성부(110)는 지속적으로 입력되는 각각의 영상프레임에 대응하여 배경영상을 생성하게 된다.
즉, 가장 최근에 입력된 영상프레임을 현재 영상프레임이라 할 때, 현재 영상프레임에 대응하는 배경영상은 현재 영상프레임에 앞서 입력된 이전 영상프레임과 현재 영상프레임 사이의 변화를 분석하여 얻어진 결과에 의해 이전 영상프레임에 대응하여 생성된 배경영상을 업데이트함으로써 생성된다. 이하에서는 먼저 인접한 영상프레임 사이의 변화를 분석하는 방법에 대하여 설명한다.
영상의 특성을 분석하기 위한 한 가지 방법인 밝기 분석은 특정한 영상 내에서 연속하는 세 개의 영상프레임 It -1(x,y), It(x,y) 및 It + 1(x,y)를 비교 분석함으로써 수행된다. 여기서 It - 1(x,y)는 이전 영상프레임, It(x,y)는 현재 영상프레임, 그리고 It + 1(x,y)는 이후 영상 프레임이다. 도 2는 밝기 변화 분석에서 많이 사용되는 히스토그램 방법을 사용하여 영상의 밝기 변화를 관측한 결과를 나타낸 도면이다. 도 2의 (a) 및 (b)는 각각 실외에서 촬영된 영상 및 해당 영상 내의 밝기 분포를 나타낸 도면이고, (c) 및 (d)는 각각 터널 내에서 촬영된 영상 및 해당 영상의 밝기 분포를 나타낸 도면이다.
도 2의 (b) 및 (d)를 비교하여 보면, 터널 내부 환경은 실외 환경에 비해 밝기의 분포 변화가 고르지 않다는 것을 확인할 수 있다. 따라서 터널 내에서 촬영된 영상에서는 밝기값을 기준으로 하여 임의의 임계값을 설정함으로써 다음의 수학식 1과 같이 배경과 객체를 구분하는 것이 용이하지 않다.
Figure 112010043475828-pat00001
여기서, D(x,y)는 입력영상의 밝기값을 기초로 얻어진 이진영상, I(x,y)는 입력영상, 그리고 T는 설정된 임계값이다.
도 3은 영상의 밝기값에 대해 설정된 임계값을 기초로 입력영상으로부터 얻어진 이진영상을 나타낸 도면이다. 도 3의 (a) 및 (b)는 각각 도 2의 (a) 및 (c)에 나타난 영상의 밝기정보만을 포함한 영상이고, (c) 내지 (h)는 두 가지 입력영상에 대하여 임계값을 변화시켜 얻어진 이진영상이다. 도 3을 참조하면, 실외에서 촬영된 영상과 터널 내에서 촬영된 영상은 서로 다른 밝기 분포를 가지므로 동일한 임계값을 적용하여 얻어진 결과도 서로 다르다는 것을 확인할 수 있다.
영상 내의 움직임 변화를 분석하기 위해서는 인접한 영상프레임 간의 차이를 분석하는 방법을 사용한다. 실외에서 촬영된 영상의 경우에는 배경에 해당하는 영역의 밝기값을 고정하고 다음의 수학식 2와 같이 움직임에 대한 변화만 관측한다.
Figure 112010043475828-pat00002
여기서, Dt(x,y)는 인접한 영상프레임 간의 차분, It(x,y)는 현재 영상프레임, 그리고 It - 1(x,y)는 이전 영상프레임이다.
도 4는 실외 영상 및 터널 영상에 대하여 각각 인접한 영상프레임 간의 차분을 구한 결과를 나타낸 도면이다. 도 4의 (a)는 실외 영상을 구성하는 복수의 연속하는 영상프레임, (b)는 (a)의 인접한 영상프레임 간의 차분을 지속적으로 검출한 결과, (c)는 터널 영상을 구성하는 복수의 연속하는 영상 프레임, 그리고 (d)는 (c)의 인접한 영상프레임 간의 차분을 지속적으로 검출한 결과이다.
도 4의 (b)를 참조하면, 실외에서 촬영된 영상의 경우는 조도 변화가 일정하거나 많은 양의 빛이 포함되어 있으므로 영상프레임 간의 차분 검출 결과가 일정하다. 그러나 도 4의 (d)를 참조하면, 터널 내부의 경우는 실외에 비해 조도 변화가 큰 영역이 잘 나타나지 않으므로 연속하는 영상프레임 사이에서 차분 값이 검출되지 않는 결과가 발생하기도 한다. 따라서 영상 내에서의 지속적인 움직임 변화를 검출하기 어렵다.
그러나 밝기값의 차이 분포보다 영상 내에서 특정 위치에 해당하는 값의 변화를 분석함으로써 배경 부분과 객체 부분을 구분할 수 있다. 이를 위한 방법으로 많이 사용되는 것이 광류(optical flow) 해석이다. 광류는 명도 유형(brightness pattern)을 서서히 변화시킴으로써 발생하는 영상에서의 명백한 움직임의 속도 분포를 나타내는 것으로서 현재 영상프레임 내에서의 움직임 벡터로 표현할 수 있다. 이는 움직임 벡터를 검출하는 방법과 유사한 방법이지만 움직임 방향을 각 화소마다 측정할 수 있고 전역 탐색(full search) 방법에 비해 빠른 검출 속도를 보인다는 장점이 있다.
광류 해석을 위한 조건은 다음의 수학식 3 및 수학식 4에 의해 표현된다.
Figure 112010043475828-pat00003
Figure 112010043475828-pat00004
위 수학식 3 및 수학식 4는 연속하는 영상프레임 내의 밝기가 동일하다는 것을 의미한다. 이때 영상프레임 내의 움직임은 다음의 수학식 5와 같이 정의된다.
Figure 112010043475828-pat00005
여기서, (ux, uy)는 영상프레임 내의 임의의 지점이고, w는 영상프레임에 설정된 영역의 크기를 나타낸다.
배경영상 생성부(110)는 위 수학식 3 내지 수학식 5에 의하여 광류 흐름에 의해 현재 영상프레임을 구성하는 각 화소의 움직임을 분석함으로써 적응적으로 현재 영상프레임에 대응하는 배경영상을 생성할 수 있다. 구체적으로, 배경영상은 현재 영상프레임의 각 화소에 대하여 움직임 분석 결과에 따른 유클리디안 거리(Euclidean distance)를 계산함으로써 배경과 객체의 움직임을 분석하고, 계산된 움직임이 사전에 설정된 기준크기보다 작은 경우에는 현재 영상프레임을 배경영상의 업데이트에 사용할 것을 결정한다.
현재 영상프레임에 대응하는 배경영상은 다음의 수학식 6에 의해 생성된다.
Figure 112010043475828-pat00006
여기서, Bt(x,y)는 현재 영상프레임에 대응하는 배경영상, Bt - 1(x,y)는 이전 영상프레임에 대응하는 배경영상, 그리고 α는 이전에 생성된 배경영상 Bt -1(x,y)과 현재 영상프레임 It(x,y) 간의 밝기 변화를 고려하여 결정되는 파라미터로서, 0과 1 사이의 값으로 설정된다.
다음으로 객체영역 검출부(120)는 배경영상 생성부(110)에 의해 이전 영상프레임에 대응하여 생성된 배경영상과 현재 영상프레임 간의 차분에 의해 현재 영상프레임으로부터 객체영역을 검출한다. 즉, 객체영역의 검출은 다음의 수학식 7과 같이 사전에 설정된 기준값에 의해 수행된다.
Figure 112010043475828-pat00007
여기서, DIt(x,y)는 현재 영상프레임으로부터 검출된 객체영역이고, T는 객체영역 검출을 위해 설정되는 기준값이다.
수학식 7의 기준값 T는 객체영역의 크기에 민감하므로 정확한 값을 추정하기 어렵다. 따라서 영상의 차분으로 얻어진 결과로부터 단일 객체가 여러 개의 블록 단위로 나누어진 부분 및 다중 객체를 판단하기 위해 모폴로지 팽창 연산자를 사용하여 분할된 영역을 하나의 영역으로 계산한다. 이때 잡음도 일부 제거되는 효과를 얻을 수 있다. 모폴로지 연산을 수행한 결과는 이진 형태로 나타나며, 설정된 객체영역의 크기에 따라 단일 객체 또는 다중 객체를 검출할 수 있다.
객체영역 판별부(130)는 사전에 저장된 견본패턴 및 객체영역의 매칭에 의해 산출된 매칭률이 사전에 설정된 유사도보다 크면 객체영역을 견본패턴에 대응하는 객체로 결정하여 제어신호를 출력한다.
현재 영상프레임으로부터 검출된 객체영역은 터널 내에 일반적으로 존재할 것으로 판단되는 차량일 수도 있고, 그밖에 사람 등의 다른 객체일 수도 있다. 터널 감시 시스템에 있어서 터널 내에서 이동하는 차량이 검출되는 것은 일반적인 상황으로 판단되지만, 사람이 검출되는 것은 특수한 상황에 해당하기 때문에 검출된 객체영역이 어떠한 객체에 해당하는지 판별하여야 한다.
현재 영상프레임으로부터 검출된 객체영역이 차량인지 사람인지를 구별하기 위해서는 다양한 형태의 견본패턴을 사전에 저장하고, 현재 영상프레임으로부터 검출된 객체영역과의 패턴 매칭 방법을 사용한다. 일 예로서, 도 5는 객체영역이 사람에 해당하는지 여부를 판별하기 위해 사전에 저장된 9개의 견본패턴을 나타낸 도면이다. 저장된 견본패턴의 수가 증가함에 따라 인식률도 향상되지만, 데이터 연산량이 증가하게 되므로 적절한 수의 견본패턴을 생성하는 것이 바람직하다.
패턴 매칭은 다음의 수학식 8과 같이 객체영역과 견본패턴 사이의 매칭률과 사전에 설정된 유사도를 대비함으로써 수행된다.
Figure 112010043475828-pat00008
여기서, xi는 검출된 객체영역을 구성하는 각 화소,
Figure 112010043475828-pat00009
는 저장된 견본패턴을 구성하는 각 화소, 그리고 ρ는 유사도이다.
수학식 8에 의해 산출된 객체영역과 견본패턴 사이의 매칭률이 사전에 설정된 유사도보다 크면 객체영역은 견본패턴이 나타내는 객체, 즉 사람에 해당하는 것으로 결정된다.
위와 같은 객체영역의 판별 과정은 현재 영상프레임으로부터 검출된 객체영역이 복수 개인 경우에도 적용 가능하며, 견본패턴은 사람이 아닌 차량의 형상을 가지도록 생성될 수도 있다. 즉, 복수의 객체영역이 검출된 경우, 각각의 객체영역에 대하여 견본패턴들과의 패턴 매칭 과정을 반복적으로 수행함으로써 각각의 객체영역이 차량에 해당하는지 사람에 해당하는지 여부를 판별할 수 있다.
검출된 객체영역이 사람에 해당하는 것으로 판단되는 경우는 일반적인 상황이 아니므로, 객체영역 판별부(130)는 이를 터널 관리자 등 터널 상황을 감시하는 책임자에게 알리기 위해 제어신호를 출력하고, 알림신호 출력부(140)는 객체영역 판별부(130)로부터 제어신호가 입력되면 이상 상황임을 나타내는 알림신호를 생성하여 출력한다. 알림신호는 경보와 같은 음향의 형태일 수도 있고, 관리자의 컴퓨터 화면에 출력되는 텍스트와 같은 시각적 신호일 수도 있다.
한편, 본 발명에 따른 터널 감시장치는 터널 내에 사람으로 판단되는 객체가 출현하는 것과 같은 이상상황 외에 차량의 역주행과 같은 이상상황을 관리자에게 알리는 기능을 수행할 수도 있다. 이를 위해 구비되는 역주행 판별부(150)는 객체영역으로부터 추출된 특징점을 기초로 이전 영상프레임에서 객체영역과 동일한 객체에 해당하는 것으로 결정된 객체영역과의 이동궤적을 산출하고, 이동궤적의 방향성이 사전에 설정된 기준방향과 일치하지 않으면 제어신호를 출력하여 알림신호 출력부(140)가 알림신호를 출력하도록 한다.
영상프레임 내에서의 객체의 이동궤적 정보는 이전 궤적과 현재 궤적으로 표현되며, 이동궤적 간의 거리에 따라 유사 이동궤적에 대해 판단할 경우 연속하는 영상프레임 상에서 동일한 객체를 추적할 수 있고, 궤적의 벡터값을 계산하여 방향성 성분에 따른 객체 검출도 가능하다.
연속하는 복수의 영상프레임 내에서 이전 영상프레임에서의 특정 객체와 동일한 객체의 이동 궤적을 현재 영상프레임에서 결정하기 위해서는 다음의 수학식 8을 이용하여 이전 영상프레임에서의 객체의 이동궤적과의 거리가 최소인 이동궤적을 현재 영상프레임으로부터 선택할 수 있다.
Figure 112010043475828-pat00010
여기서, SN은 현재 영상프레임에서 선택되는 이동 궤적이고, D1 내지 DN은 이전 영상프레임에서의 객체의 이동 궤적과 현재 영상프레임에서의 N개의 이동 궤적 간의 거리이다.
구체적으로, 역주행 판별부(150)는 입력영상을 구성하는 복수의 영상프레임에 대해 차량의 역주행 여부를 판별하기 위한 방향성을 가지는 직선을 생성하며, 이때 직선의 방향은 각 차선에서 차량의 이동방향과 일치하도록 설정된다. 다음으로 현재 영상프레임으로부터 추출된, 차량에 해당하는 것으로 판별된 객체영역의 이동궤적이 생성된 직선의 방향성과 일치하지 않으면 해당 차량은 역주행하고 있는 것으로 판단하게 된다.
이는 이상상황에 해당하므로 역주행 판별부(150)는 객체영역 판별부(130)가 객체영역이 사람에 해당하는 것으로 판별된 경우에 제어신호를 출력하였던 것과 동일하게 알림신호 출력부(140)로 제어신호를 출력한다. 알림신호 출력부(140)는 제어신호가 객체영역 판별부(130)로부터 출력된 것인지 역주행 판별부(150)로부터 출력된 것인지 여부에 따라 서로 다른 내용의 알림신호를 출력하여 관리자가 상황을 정확하게 파악할 수 있도록 한다.
본 발명에 따른 터널 감시장치는 위와 같은 이상상황 발생시뿐만 아니라 평상시에도 터널 내에서 이동하는 차량들의 속도 정보를 관리자에게 알리는 기능을 수행할 수 있다.
상황 보고부(160)는 객체영역의 이동궤적을 기초로 객체의 이동속도를 산출하여 화면을 통해 출력함으로써 관리자가 터널 내부의 상황을 실시간으로 확인할 수 있도록 한다. 또한 터널 내부에서 차량 지체 상황이 발생하는 경우에도 이를 판단하여 화면에 출력할 수 있다.
차량 지체 여부를 판단하기 위해 상황 보고부(160)는 입력영상을 구성하는 복수의 영상프레임에 기준선을 설정하고, 현재 영상프레임으로부터 기준선의 밝기정보를 검출한다. 밝기정보의 검출 결과 이전 영상프레임과 현재 영상프레임 사이의 밝기정보의 변화량이 사전에 설정된 기준범위에 속하면 지체상황임을 나타내는 표시를 출력한다. 이때 차량 지체인 것으로 판단되는 밝기정보의 변화량은 30~90%로 설정될 수 있다. 만약 밝기정보의 변화량이 90% 이상이라면 단순한 영상프레임 자체의 밝기 변화인 것으로 판단되며, 밝기정보의 변화량이 30% 미만이라면 밝기 변화가 없는 것으로 판단된다.
도 6은 본 발명에 따른 적응적 배경 기반의 터널 감시방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 6을 참조하면, 배경영상 생성부(110)는 터널 내부에서의 촬영에 의해 얻어진 입력영상을 구성하는 복수의 영상프레임으로부터 움직임을 검출하여 반복적으로 갱신함으로써 각각의 영상프레임에 대응하는 배경영상을 생성한다(S610). 객체영역 검출부(120)는 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임에 대하여 생성된 배경영상과 현재 영상프레임 사이의 차분을 기초로 현재 영상프레임으로부터 객체영역을 검출한다(S620).
객체영역 판별부(130)는 사전에 저장된 견본패턴 및 객체영역의 매칭에 의해 매칭률을 산출하고(S630), 견본패턴이 사람의 형상일 때 산출된 매칭률이 사전에 설정된 유사도보다 크면(S640) 객체영역이 견본패턴에 대응하는 객체에 해당하는 것으로 결정하여 제어신호를 출력한다.
견본패턴과 객체영역의 매칭률이 유사도보다 작아서 객체영역이 차량에 해당하는 것으로 판단되면 객체영역으로부터 추출된 특징점의 궤적이 현재 영상프레임까지의 복수의 영상프레임에 걸쳐 추적되고(S650), 상황 보고부(160)는 터널 내부에서 차량의 주행방향 및 속도 측정결과를 화면에 출력하여 관리자에게 제공한다(S660). 역주행 판별부(150)는 사전에 설정된 기준방향과 차량의 이동방향을 대비하여 해당 차량이 역주행하는 것으로 판별되면(S670) 제어신호를 출력한다.
알림신호 출력부(140)는 객체영역 판별부(130) 또는 역주행 판별부(150)로부터 제어신호가 출력되면 이상상황에 해당하는 것을 나타내는 알림신호를 출력한다(S680).
이하에서는 본 발명에 따른 터널 감시장치를 실제 시스템으로 구현하여 실험한 결과를 설명한다. 실험에 사용된 영상프레임의 크기는 320×240이며, 컬러(비트맵) 영상이다. 입력된 컬러 영상은 배경영상 생성, 객체영역 판별 및 객체 추적을 위해 그레이스케일 영상으로 변환된다. 도 7에는 본 발명이 컴퓨터 프로그램으로 구현된 전체 시스템이 표시되는 화면을 나타내었다.
도 8은 입력 영상프레임 및 생성된 배경영상을 나타낸 도면이다. 도 8에 나타난 영상은 입력영상의 200번째 영상프레임으로, 차량 등의 객체가 배제된 배경부분만 추출되어 배경영상으로 만들어진 것을 확인할 수 있다. 다음으로 도 9는 터널 내에서 검출된 차량의 속도측정 결과가 화면에 출력된 예를 나타낸 도면으로, (a)와 같은 입력 영상프레임에 차량의 이동방향에 수직하는 두 개의 직선이 서로 이격되어 표시되어 있고, 두 개의 직선을 통과하는 차량의 속도가 측정된다. 입력 영상프레임은 (b)와 같이 그레이스케일 영상으로 변환된 후 (c)와 같이 배경영상이 생성된다. 차량의 속도측정 결과는 (d)와 같이 화면에 출력되어 관리자가 확인할 수 있도록 한다.
도 10은 차량지체 구간이 검출된 결과를 나타낸 도면이다. 도 10의 (a)와 같은 입력 영상프레임에 지체 구간을 검출하기 위한 관심영역이 설정될 수 있으며, 앞에서 설명한 것과 마찬가지로 입력 영상프레은 (b)와 같이 그레이스케일 영상으로 변환된 후 (c)와 같은 배경영상이 얻어진다. 도 10의 (d)에는 "Bumper to Bumper"와 같은 표시가 화면에 출력되어 차량 지체가 발생하였음을 나타내는 예가 도시되어 있다.
도 11은 차량의 역주행을 검출하기 위한 일 예를 나타낸 도면으로, (a) 내지 (c)는 입력 영상프레임이 그레이스케일 영상으로 변환된 후 배경영상이 생성된 결과를 나타내며, 알림신호 출력부(140)는 (d)와 같이 화면에 시각적 신호로써 차량의 역주행이 발생하였음을 표시하여 관리자에게 이상상황을 알릴 수 있다. 도 12는 패턴 매칭에 의해 사람이 검출된 결과를 나타낸 도면으로, (a) 내지 (c)와 같이 입력 영상프레임으로부터 배경영상이 생성되고 객체영역을 검출하여 도 5와 같이 사전에 저장된 견본패턴과의 패턴 매칭을 통해 객체영역이 사람에 해당하는 것으로 판별되면 이를 화면에 출력하여 이상상황임을 알리게 된다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
110 - 배경영상 생성부
120 - 객체영역 검출부
130 - 객체영역 판별부
140 - 알림신호 출력부
150 - 역주행 판별부
160 - 상황 보고부

Claims (11)

  1. 터널 내부에서의 촬영에 의해 얻어진 입력영상을 구성하는 복수의 영상프레임에 대하여 순차적으로 광류 해석 기법에 의해 상기 영상프레임의 각 화소의 움직임을 검출하고, 상기 움직임의 크기가 사전에 설정된 기준크기보다 작은 화소가 배경영상에 포함되도록 반복적으로 갱신함으로써 상기 각각의 영상프레임에 대응하는 배경영상을 생성하는 배경영상 생성부;
    상기 복수의 영상프레임 중에서 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임에 대하여 생성된 배경영상과 상기 현재 영상프레임 사이의 차분을 기초로 상기 현재 영상프레임으로부터 객체영역을 검출하는 객체영역 검출부;
    사전에 저장된 견본패턴 및 상기 객체영역의 매칭에 의해 산출된 매칭률이 사전에 설정된 유사도보다 크면 상기 객체영역이 상기 견본패턴에 대응하는 객체에 해당하는 것으로 결정하여 제어신호를 출력하는 객체영역 판별부; 및
    상기 제어신호가 입력되면 이상 상황임을 나타내는 알림신호를 생성하여 출력하는 알림신호 출력부;를 포함하는 것을 특징으로 하는 터널 감시장치.
  2. 제 1항에 있어서,
    상기 객체영역이 차량에 해당하는 것으로 결정된 경우에 상기 객체영역으로부터 추출된 특징점을 기초로 상기 이전 영상프레임에서 상기 객체영역과 동일한 객체에 해당하는 것으로 결정된 객체영역과의 이동궤적을 산출하고, 상기 이동궤적의 방향성이 사전에 설정된 기준방향과 일치하지 않으면 상기 제어신호를 출력하는 역주행 판별부를 더 포함하는 것을 특징으로 하는 터널 감시장치.
  3. 제 2항에 있어서,
    상기 객체영역의 이동궤적을 기초로 상기 객체의 이동속도를 산출하여 화면을 통해 출력하는 상황 보고부를 더 포함하는 것을 특징으로 하는 터널 감시장치.
  4. 제 3항에 있어서,
    상기 상황 보고부는 상기 복수의 영상프레임 상에 사전에 설정된 기준선의 밝기정보를 검출하여 상기 이전 영상프레임과 상기 현재 영상프레임 사이의 밝기정보의 변화량이 사전에 설정된 기준범위에 속하면 지체상황임을 나타내는 표시를 출력하는 것을 특징으로 하는 터널 감시장치.
  5. 제 1항 내지 제 4항 중 어느 한 항에 있어서,
    상기 배경영상 생성부는 상기 현재 영상프레임에서 나타나는 광류 흐름에 의해 상기 현재 영상프레임의 움직임을 검출하여 하기 수학식에 의해 상기 배경영상을 생성하는 것을 특징으로 하는 터널 감시장치:
    Figure 112010043475828-pat00011

    여기서, Bt(x,y)는 상기 현재 영상프레임에 대응하여 생성되는 배경영상, Bt -1(x,y)는 상기 이전 영상프레임에 대응하여 생성된 배경영상, It(x,y)는 상기 현재 영상프레임, 그리고 α는 0과 1 사이의 값으로 설정되는 파라미터이다.
  6. 터널 내부에서의 촬영에 의해 얻어진 입력영상을 구성하는 복수의 영상프레임에 대하여 순차적으로 광류 해석 기법에 의해 상기 영상프레임의 각 화소의 움직임을 검출하고, 상기 움직임의 크기가 사전에 설정된 기준크기보다 작은 화소가 배경영상에 포함되도록 반복적으로 갱신함으로써 상기 각각의 영상프레임에 대응하는 배경영상을 생성하는 배경영상 생성단계;
    상기 복수의 영상프레임 중에서 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임에 대하여 생성된 배경영상과 상기 현재 영상프레임 사이의 차분을 기초로 상기 현재 영상프레임으로부터 객체영역을 검출하는 객체영역 검출단계;
    사전에 저장된 견본패턴 및 상기 객체영역의 매칭에 의해 산출된 매칭률이 사전에 설정된 유사도보다 크면 상기 객체영역이 상기 견본패턴에 대응하는 객체에 해당하는 것으로 결정하여 제어신호를 출력하는 객체영역 판별단계; 및
    상기 제어신호가 입력되면 이상 상황임을 나타내는 알림신호를 생성하여 출력하는 알림신호 출력단계;를 포함하는 것을 특징으로 하는 터널 감시방법.
  7. 제 6항에 있어서,
    상기 객체영역이 차량에 해당하는 것으로 결정된 경우에 상기 객체영역으로부터 추출된 특징점을 기초로 상기 이전 영상프레임에서 상기 객체영역과 동일한 객체에 해당하는 것으로 결정된 객체영역과의 이동궤적을 산출하고, 상기 이동궤적의 방향성이 사전에 설정된 기준방향과 일치하지 않으면 상기 제어신호를 출력하는 역주행 판별단계를 더 포함하는 것을 특징으로 하는 터널 감시방법.
  8. 제 7항에 있어서,
    상기 객체영역의 이동궤적을 기초로 상기 객체의 이동속도를 산출하여 화면을 통해 출력하는 상황 보고단계를 더 포함하는 것을 특징으로 하는 터널 감시방법.
  9. 제 8항에 있어서,
    상기 상황 보고단계에서, 상기 복수의 영상프레임 상에 사전에 설정된 기준선의 밝기정보를 검출하여 상기 이전 영상프레임과 상기 현재 영상프레임 사이의 밝기정보의 변화량이 사전에 설정된 기준범위에 속하면 지체상황임을 나타내는 표시를 출력하는 것을 특징으로 하는 터널 감시방법.
  10. 제 6항 내지 제 9항 중 어느 한 항에 있어서,
    상기 배경영상 생성단계에서, 상기 현재 영상프레임에서 나타나는 광류 흐름에 의해 상기 현재 영상프레임의 움직임을 검출하여 하기 수학식에 의해 상기 배경영상을 생성하는 것을 특징으로 하는 터널 감시방법:
    Figure 112010043475828-pat00012

    여기서, Bt(x,y)는 상기 현재 영상프레임에 대응하여 생성되는 배경영상, Bt -1(x,y)는 상기 이전 영상프레임에 대응하여 생성된 배경영상, It(x,y)는 상기 현재 영상프레임, 그리고 α는 0과 1 사이의 값으로 설정되는 파라미터이다.
  11. 제 6항 내지 제 9항 중 어느 한 항에 기재된 터널 감시방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020100064620A 2010-07-06 2010-07-06 적응적 배경 기반의 터널 감시장치 및 방법 KR101155273B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100064620A KR101155273B1 (ko) 2010-07-06 2010-07-06 적응적 배경 기반의 터널 감시장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100064620A KR101155273B1 (ko) 2010-07-06 2010-07-06 적응적 배경 기반의 터널 감시장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120004007A KR20120004007A (ko) 2012-01-12
KR101155273B1 true KR101155273B1 (ko) 2012-06-18

Family

ID=45610708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100064620A KR101155273B1 (ko) 2010-07-06 2010-07-06 적응적 배경 기반의 터널 감시장치 및 방법

Country Status (1)

Country Link
KR (1) KR101155273B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101646000B1 (ko) * 2014-11-11 2016-08-08 한국과학기술연구원 지정된 사물 및 영역에 대한 감시시스템 및 감시방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040107962A (ko) * 2003-06-16 2004-12-23 주식회사 팬택 이동물체 검출 시스템 및 방법
KR20080103311A (ko) * 2007-05-23 2008-11-27 삼성전자주식회사 감시 카메라 시스템에서 움직임을 검출하기 위한 실시간움직임 영역 분할 방법 및 장치
KR20090091539A (ko) * 2008-02-25 2009-08-28 동서대학교산학협력단 위험 동작 발생 감시 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040107962A (ko) * 2003-06-16 2004-12-23 주식회사 팬택 이동물체 검출 시스템 및 방법
KR20080103311A (ko) * 2007-05-23 2008-11-27 삼성전자주식회사 감시 카메라 시스템에서 움직임을 검출하기 위한 실시간움직임 영역 분할 방법 및 장치
KR20090091539A (ko) * 2008-02-25 2009-08-28 동서대학교산학협력단 위험 동작 발생 감시 시스템

Also Published As

Publication number Publication date
KR20120004007A (ko) 2012-01-12

Similar Documents

Publication Publication Date Title
CN102073851B (zh) 一种城市交通事故自动识别方法和系统
JP5218906B2 (ja) 煙検出装置及び煙検出方法
JP2022166067A (ja) 情報処理システム、情報処理方法及びプログラム
JP4705090B2 (ja) 煙感知装置及びその方法
US8301577B2 (en) Intelligent monitoring system for establishing reliable background information in a complex image environment
EP1995691A2 (en) Method and apparatus for segmenting a motion area
JP2015514278A (ja) マルチキュー・オブジェクトの検出および分析のための方法、システム、製品、およびコンピュータ・プログラム（マルチキュー・オブジェクトの検出および分析）
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
KR101720781B1 (ko) 객체에 대한 이상 행동 예측 장치 및 이를 이용한 이상 행동 예측 방법
CN112530170A (zh) 一种车辆行驶状态检测方法、装置、电子设备及存储介质
KR101472674B1 (ko) 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치
JP6333975B2 (ja) 車両周辺監視装置
JP3920535B2 (ja) 車両検出方法及び車両検出装置
EP2000998B1 (en) Flame detecting method and device
JP7125843B2 (ja) 障害検知システム
Monteiro et al. Wrongway drivers detection based on optical flow
JP5697587B2 (ja) 車両火災検出装置
JP5780979B2 (ja) 車両状態検出装置、車両挙動検出装置及び車両状態検出方法
CN111383248A (zh) 一种行人闯红灯判断方法、装置和电子设备
KR101155273B1 (ko) 적응적 배경 기반의 터널 감시장치 및 방법
JP5917303B2 (ja) 移動体検出装置、移動体検出システム、および、移動体検出方法
Płaczek A real time vehicle detection algorithm for vision-based sensors
Liu et al. Crowd gathering detection based on the foreground stillness model
Kaviani et al. Automatic accident detection using topic models
CN110084146B (zh) 基于遮挡感知自监督学习的行人检测方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150417

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190807

Year of fee payment: 8