KR100278989B1 - 폐쇄회로모니터링장치및방법 - Google Patents

폐쇄회로모니터링장치및방법 Download PDF

Info

Publication number
KR100278989B1
KR100278989B1 KR1019980010688A KR19980010688A KR100278989B1 KR 100278989 B1 KR100278989 B1 KR 100278989B1 KR 1019980010688 A KR1019980010688 A KR 1019980010688A KR 19980010688 A KR19980010688 A KR 19980010688A KR 100278989 B1 KR100278989 B1 KR 100278989B1
Authority
KR
South Korea
Prior art keywords
subject
zoom
movement
image
image signal
Prior art date
Application number
KR1019980010688A
Other languages
English (en)
Other versions
KR19990076050A (ko
Inventor
소황영
Original Assignee
김영환
현대반도체주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김영환, 현대반도체주식회사 filed Critical 김영환
Priority to KR1019980010688A priority Critical patent/KR100278989B1/ko
Publication of KR19990076050A publication Critical patent/KR19990076050A/ko
Application granted granted Critical
Publication of KR100278989B1 publication Critical patent/KR100278989B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

본 발명은 폐쇄회로 모니터링 장치에 관한 것으로, 영상 처리부와 줌 인 처리부, 디지탈 필터, 움직임 연산부, 중앙처리장치를 포함하여 이루어진다. 영상 처리부는 피사체의 영상신호를 디지탈 영상신호로 변환한다. 줌 인 처리부는 영상 처리부에서 출력되는 영상 신호 가운데 소정의 줌 인 제어신호에 의해 결정되는 줌 인 영역의 영상신호를 전체화면의 영상 신호로서 출력한다. 디지탈 필터는 줌 인 처리부에서 출력되는 영상 신호에서 피사체의 움직임을 검출한다. 움직임 연산부는 디지탈 필터에서 검출되는 이웃한 두 개의 프레임에서의 피사체의 윤곽을 비교하여 피사체의 이동정보를 발생시킨다. 중앙처리장치는 움직임 연산부를 통하여 입력되는 피사체의 움직임 방향의 정보에 따라 줌 인 제어신호를 발생시킨다. 이와 같은 본 발명은 피사체의 움직임이 검출되는 동안의 영상신호를 별도의 저장수단에 저장하기 전에 피사체를 중심으로 하는 특정 부분을 확대하여 디스플레이 장치에 출력하고, 이와 같이 확대된 화면의 영상신호를 저장함으로써 피사체의 정체와 움직임을 충분히 파악할 수 있도록 한다.

Description

폐쇄회로 모니터링 장치 및 방법
본 발명은 폐쇄회로 모니터링 장치 및 방법에 관한 것으로, 특히 피사체의 움직임이 검출되지 않는 동안에는 영상 신호를 저장하지 않고, 피사체의 움직임이 검출되는 동안에만 영상신호를 저장하도록 하는 폐쇄회로 모니터링 장치 및 방법에 관한 것이다.
폐쇄회로 모니터링 장치는 은행이나 군사시설 등, 장시간의 감시체계가 필요한 장소에서 적은 인원으로 넓은 지역을 실시간으로 모니터링할 수 있는 매우 편리한 장치이다. 모니터링 장치는 필요한 곳마다 카메라를 설치하고, 각각의 카메라를 통하여 입력되는 영상신호를 모니터 등의 디스플레이 장치를 통하여 확인하도록 이루어진다. 또한 디스플레이되는 영상신호를 비디오 레코더와 같은 별도의 저장장치에 기록하여 보관하기도 한다.
이와 같은 폐쇄회로 모니터링 장치를 운용함에 있어서, 카메라에 피사체의 움직임이 검출되는 경우와 피사체의 움직임이 전혀 검출되지 않는 경우가 있다. 피사체의 움직임이 검출되지 않는 동안에는 동일한 장면이 계속 유지되므로, 이 동안에는 입력되는 영상신호를 디스플레이할 뿐 비디오 레코더와 같은 기록장치를 통해 입력된 영상신호를 저장하지는 않는다. 즉, 피사체의 움직임이 검출되는 동안에만 영상신호를 저장하여 저장장치의 불필요한 가동을 억제하는 것이다.
도 1은 종래의 폐쇄회로 모니터링 장치를 나타낸 블록도이다. 도 1에서 카메라(11)에 입력되는 영상신호가 영상 처리부(12)에서 디지탈 신호로 변환된 다음 디스플레이 장치(13)를 통해 출력된다. 디지탈 필터(15)에서는 영상 처리부(12)에서 출력되는 영상 신호를 분석하여 피사체의 움직임이 발생하였는지를 검출하여 CPU(16)에 알린다. 피사체의 움직임이 발생한 경우 CPU(16)에서는 소정의 제어신호를 발생시켜서 저장수단인 레코더(14)를 가동시킨다.
그러나 움직임이 검출된 피사체의 크기가 매우 작은 경우에는 피사체의 정체를 충분히 확인할 수 없다. 따라서 영상신호를 디스플레이 장치를 통하여 확인하거나 저장수단에 저장한다 하더라도 이를 활용할 수 있는 여지가 적기 때문에 모니터링 장치의 운용함으로써 얻고자 하는 목적을 충분히 달성할 수 없다.
따라서 본 발명은 피사체의 움직임이 검출되는 동안의 영상신호를 별도의 저장수단에 저장하기 전에 피사체를 중심으로 하는 특정 부분을 확대하여 디스플레이 장치에 출력하고, 이와 같이 확대된 화면의 영상신호를 저장함으로써 피사체의 정체와 움직임을 충분히 파악할 수 있는 폐쇄회로 모니터링 장치를 제공하는데 그 목적이 있다.
도 1은 종래의 폐쇄회로 모니터링 장치를 나타낸 블록도.
도 2는 본 발명에 따른 폐쇄회로 모니터링 장치를 나타낸 블록도.
도 3은 도 2에 나타낸 폐쇄회로 모니터링 장치의 움직임 연산부의 구성을 나타낸 블록도.
도 4는 디지탈 필터와 움직임 연산부에서 이루어지는 피사체의 움직임 검출원리를 나타낸 도면.
도 5는 움직임이 검출된 피사체의 줌 인 영상 출력방법을 나타낸 도면.
도 6은 본 발명에 따른 폐쇄회로 모니터링 방법을 나타낸 순서도.
* 도면의 주요 부분에 대한 부호의 설명 *
11, 21 : 카메라 12, 22 : 영상 처리부
13, 23 : 디스플레이 장치 14, 24 : 레코더
15, 25 : 디지탈 필터 16, 26 : CPU
27 : 줌 인 처리부 28 : 움직임 연산부
31, 32 : 메모리 33 : 비교기
51 : 전체화면 52 : 피사체
53 : 줌 인 영역
본 발명은 영상 처리부와 줌 인 처리부, 디지탈 필터, 움직임 연산부, 중앙처리장치를 포함하여 이루어진다. 영상 처리부는 피사체의 영상신호를 디지탈 영상신호로 변환한다. 줌 인 처리부는 영상 처리부에서 출력되는 영상 신호 가운데 소정의 줌 인 제어신호에 의해 결정되는 줌 인 영역의 영상신호를 전체화면의 영상 신호로서 출력한다. 디지탈 필터는 줌 인 처리부에서 출력되는 영상 신호에서 피사체의 움직임을 검출한다. 움직임 연산부는 디지탈 필터에서 검출되는 이웃한 두 개의 프레임에서의 피사체의 윤곽을 비교하여 피사체의 이동정보를 발생시킨다. 중앙처리장치는 움직임 연산부를 통하여 입력되는 피사체의 움직임 방향의 정보에 따라 줌 인 제어신호를 발생시킨다.
이와 같이 이루어지는 본 발명의 바람직한 실시예를 도 2 내지 도 7을 참조하여 설명하면 다음과 같다.
먼저 도 2는 본 발명에 따른 폐쇄회로 모니터링 장치를 나타낸 블록도이다. 도 2에서 카메라(21)를 통하여 입력되는 영상신호는 영상 처리부(22)에서 디지탈 형태의 영상신호로 변환된다. 영상 처리부(27)에서 출력되는 영상 신호는 줌 인 처리부(27)를 통하여 디스플레이 장치(23)와 저장매체인 레코더(24)에 전달된다. 디스플레이 장치(23)에서는 입력되는 영상신호를 그대로 출력하지만, 레코더(24)에서 이루어지는 영상신호의 저장은 CPU(26)에서 출력되는 소정의 제어신호에 따라 제한적으로 이루어진다.
레코더(24)에서 이루이지는 영상신호의 저장을 제한하는 CPU(26)의 동작을 구체적으로 살펴보면 다음과 같다. CPU(26)는 카메라(21)에 입력되는 영상신호를 분석하여 피사체의 움직임이 발생하는 경우에만 레코더(24)를 동작시켜서 영상신호가 저장되도록 하고, 피사체의 움직임이 발생하지 않는 동안에는 레코더(24)를 동작시키지 않는다.
또한 피사체의 움직임이 발생하면 위에 언급한 줌 인 처리부(27)를 제어하여 움직임의 주체인 피사체를 중심으로 하는 일정 영역, 즉 줌 인 영역을 결정하여 그 부분을 전체화면 크기로 확대한다. 뿐만 아니라 피사체의 움직임이 발생하면 움직임의 주체인 피사체의 이동 방향에 따라 카메라(21)의 앵글을 조정하여 피사체를 추적할 수 있도록 한다.
이와 같이 CPU(26)가 줌 인 제어신호 및 레코더 제어신호를 발생시키는 기준이 되는 피사체의 움직임은 디지탈 필터(25)와 움직임 연산부(28)를 통하여 검출된다. 디지탈 필터(25)는 영상신호를 분석하여 프레임 내에서의 피사체의 위치를 검출한다. 피사체가 이동하는 경우에는 매 프레임마다 피사체의 위치정보가 변화한다. 따라서 움직임 연산부(28)에서는 이웃한 두 개의 프레임에서 피사체의 위치정보의 변화를 계산하여 CPU(26)에 전달하고, CPU(26)에서는 위치정보의 변화를 통해 카메라(21) 앵글의 제어정도와 줌 인 영역의 크기를 결정한다. 레코더의 구동 여부는 피사체의 이동방향 및 이동거리와는 관련이 없고, 다만 피사체의 움직임이 발생하는 것만으로 결정된다.
피사체의 움직임이 발생하였는지를 검출하는 방법은 다양하다. 그 가운데 디지탈 필터를 이용하여 피사체의 위치정보를 얻고, 순차적으로 진행되는 매 프레임에서의 피사체의 위치정보가 변화하는 것을 통해 피사체가 움직이는 것을 알 수 있다. 또한 이웃한 두 개의 프레임에서의 피사체의 위치정보의 차이를 통해 피사체의 움직임 정보(이동방향 및 이동거리)를 얻고, 이 움직임 정보에 따라 카메라(21)의 앵글을 제어한다.
이와 같이 피사체의 위치와 움직임, 이동방향 및 이동 거리를 검출하는 동작이 디지탈 필터(25)와 움직임 연산부(28)에서 이루어진다.
도 3은 도 2에 나타낸 폐쇄회로 모니터링 장치의 움직임 연산부(28)의 구성을 나타낸 블록도이다. 움직임 연산부(28)는 두 개의 메모리(31)(32)와 비교기(33)로 구성된다. 두 개의 메모리(31)(32)에는 이웃한 두 개의 프레임에서의 피사체의 위치정보가 저장된다. 이 두 개의 메모리(31)(32)에 저장된 피사체의 위치정보는 비교기(33)에서 상호 비교되어 그 차분이 출력 데이타로서 CPU로 출력된다. 만약 피사체의 움직임이 발생했다면 그 차분이 0보다 큰 값을 가질 것이고, 움직임이 전혀 발생하지 않았다면 위치정보의 차분은 0이 될 것이다. 또한 이 위치정보의 차분은 피사체의 움직임(방향, 거리)에 따라 그 값이 변화할 것이므로, CPU에서는 이를 통하여 제어신호의 값을 결정한다.
도 4는 디지탈 필터와 움직임 연산부에서 이루어지는 피사체의 움직임 검출원리를 나타낸 도면이다. 도 4(a)는 피사체와 그 주변의 명암에 대한 화상신호이다. 도 4(b)는 이 명암 신호를 디지탈화하기 위한 신호로서 명암이 급격히 변화하는 곳에서는 매우 큰 진폭의 신호가 발생하고, 명암의 변화가 원만한 곳에서는 상대적으로 작은 진폭의 신호가 발생한다. 도 4(b)의 신호 가운데 일정 레벨 이상의 신호만을 필터링한 다음(도 4(c)), 필터링된 부분을 양자화하여 도 4(d)와 같은 디지탈 신호로 변환한다. 도 4(d)의 각 단위 블록은 단위 픽셀에 대응하는 단위 레지스터의 값을 의미한다.
도 4(c)와 도 4(d)는 이웃한 두 개의 프레임 가운데 첫 번째 프레임(시간적으로 앞서는)을 나타낸 것이며, 도 4(e)와 도 4(f)에 나타낸 두 번째 프레임 역시 피사체와 주변의 명암의 차이를 검출하여 디지탈 신호로 변환한 것이다. 다만 도 4(e)와 도 4(f)에 나타낸 두 번째 프레임의 경우에는 그 위치에 다소 변화가 발생한 것을 알 수 있다. 즉 동일하거나 아니면 대동 소이한 것임에는 틀림없으나 그 위치가 다른 것인데, 이는 곧 피사체의 움직임이 발생한 것을 의미한다.
도 4(d)의 값과 도 4(f)의 값이 도 3의 두 개의 메모리(31)(32)에 각각 저장되며, 이 값들이 곧 피사체의 위치정보로 사용된다. 또한 이 값들의 차분(동일 어드레스의 값끼리의 차분)이 도 3의 비교기(33)를 통해 출력된다.
도 5는 움직임이 검출된 피사체의 줌 인 영상 출력방법을 나타낸 도면이다. 도 5(a)에서 참조번호 51로 나타낸 부분은 전체 프레임이며, 참조번호 52로 나타낸 부분이 움직임의 주체가 되는 피사체이다. CPU는 피사체(52)의 움직임이 발생하면 도 5(b)에 나타낸 것처럼 시작 포인트와 종료 포인트로 그 크기가 결정되는 줌 인 영역을 전체 프레임 크기로 확대하도록 줌 인 처리부를 제어한다. 도 5(b)의 줌 인 영역이 전체 프레임 크기로 확대된 것이 도 5(c)이다.
도 6은 본 발명에 따른 폐쇄회로 모니터링 방법을 나타낸 순서도이다. 먼저 초기화상태에서 이웃한 두 개의 프레임의 영상신호에서 동일 피사체의 각각의 위치 변화를 검출하고, 두 개의 프레임에서의 피사체의 위치변화를 통하여 피사체의 움직임을 검출한다(S1∼S3).
다음으로 피사체의 위치변화가 검출되면 피사체를 중심으로 하는 줌 인 영역을 설정하고(S4), 줌 인 영역을 전체 화면으로서 촬영하도록 카메라를 제어한다(S5∼S6). 다음으로 피사체의 위치변화가 발생하는 동안 카메라를 통하여 입력되는 영상신호를 저장한다(S7).
만약 영상신호를 저장하는 도중에 피사체의 위치변화가 중지되면 영상신호의 저장을 중지하고 초기화 상태로 복귀한다.
따라서 본 발명은 피사체의 움직임이 검출되는 동안의 영상신호를 별도의 저장수단에 저장하기 전에 피사체를 중심으로 하는 특정 부분을 확대하여 디스플레이 장치에 출력하고, 이와 같이 확대된 화면의 영상신호를 저장함으로써 피사체의 정체와 움직임을 충분히 파악할 수 있도록 한다.

Claims (5)

  1. 카메라를 이용하여 피사체의 움직임을 검출하고, 피사체의 움직임이 검출될 때의 영상신호를 저장하는 폐쇄회로 모니터링 장치에 있어서,
    카메라를 통하여 입력되는 피사체의 영상신호를 디지탈 영상신호로 변환하는 영상 처리부와;
    상기 영상 처리부에서 출력되는 영상 신호 가운데 소정의 줌 인 제어신호에 의해 결정되는 줌 인 영역의 영상신호를 전체화면의 영상 신호로서 출력하는 줌 인 처리부와;
    상기 줌 인 처리부에서 출력되는 영상 신호에서 피사체의 움직임을 검출하는 디지탈 필터와;
    상기 디지탈 필터에서 검출되는 이웃한 두 개의 프레임에서의 상기 피사체의 위치를 비교하여 피사체의 이동정보를 발생시키는 움직임 연산부와;
    상기 움직임 연산부를 통하여 입력되는 상기 피사체의 움직임 방향의 정보에 따라 상기 줌 인 제어신호를 발생시킴으로써 상기 줌 인 영역을 결정하고, 상기 피사체의 움직임을 추적하도록 상기 피사체의 움직임 방향에 따라 상기 카메라의 방향을 제어하는 중앙처리장치를 포함하는 폐쇄회로 모니터링 장치.
  2. 청구항 1에 있어서, 상기 움직임 연산부를 통하여 피사체의 움직임이 검출되면 상기 줌 인 처리부에서 출력되는 영상신호를 소정의 저장매체에 저장하는 것이 특징인 폐쇄회로 모니터링 장치.
  3. 청구항 1에 있어서, 상기 움직임 연산부는 이웃한 두 개의 프레임의 영상신호를 각각 저장하는 메모리와, 상기 메모리에 저장된 상기 이웃한 두 개의 프레임의 영상신호를 상호 비교하여 그 차분신호를 발생시키는 비교기로 구성되는 것이 특징인 폐쇄회로 모니터링 장치.
  4. 폐쇄회로 모니터링 방법에 있어서,
    이웃한 두 개의 프레임의 영상신호에서 동일 피사체의 각각의 위치를 검출하고, 상기 두 개의 프레임에서의 상기 피사체의 위치변화를 통하여 피사체의 움직임을 검출하는 단계와;
    피사체의 위치변화가 검출되면 상기 피사체를 중심으로 하는 줌 인 영역을 설정하고, 상기 줌 인 영역을 전체 화면으로서 촬영하도록 상기 카메라를 제어하는 단계와;
    상기 피사체의 위치변화가 발생하는 동안 상기 카메라를 통하여 입력되는 영상신호를 저장하는 단계를 포함하는 폐쇄회로 모니터링 방법.
  5. 청구항 4에 있어서, 상기 피사체의 위치변화를 검출하는 단계에서 상기 피사체의 위치변화가 중지되면 상기 영상신호를 저장하는 단계가 종료되는 것이 특징인 폐쇄회로 모니터링 방법.
KR1019980010688A 1998-03-27 1998-03-27 폐쇄회로모니터링장치및방법 KR100278989B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019980010688A KR100278989B1 (ko) 1998-03-27 1998-03-27 폐쇄회로모니터링장치및방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980010688A KR100278989B1 (ko) 1998-03-27 1998-03-27 폐쇄회로모니터링장치및방법

Publications (2)

Publication Number Publication Date
KR19990076050A KR19990076050A (ko) 1999-10-15
KR100278989B1 true KR100278989B1 (ko) 2001-01-15

Family

ID=65860874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980010688A KR100278989B1 (ko) 1998-03-27 1998-03-27 폐쇄회로모니터링장치및방법

Country Status (1)

Country Link
KR (1) KR100278989B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100535338B1 (ko) * 2003-03-07 2005-12-08 주식회사 엠아이 고속 검색이 가능한 디지털 감시 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100450579B1 (ko) * 2001-11-07 2004-10-01 선인텔레콤(주) 피사체 식별이 가능한 움직임 감지 시스템 및 그 방법
KR100739995B1 (ko) * 2006-07-31 2007-07-16 주식회사 대우일렉트로닉스 자동 검색 기능을 구비한 cctv 시스템 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930019033A (ko) * 1992-02-28 1993-09-22 강진구 감시용 카메라 시스템
KR970009416A (ko) * 1995-07-18 1997-02-24 김광호 움직임 추정방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930019033A (ko) * 1992-02-28 1993-09-22 강진구 감시용 카메라 시스템
KR970009416A (ko) * 1995-07-18 1997-02-24 김광호 움직임 추정방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100535338B1 (ko) * 2003-03-07 2005-12-08 주식회사 엠아이 고속 검색이 가능한 디지털 감시 장치 및 방법

Also Published As

Publication number Publication date
KR19990076050A (ko) 1999-10-15

Similar Documents

Publication Publication Date Title
JP4140591B2 (ja) 撮像システム及び撮像方法
US7256817B2 (en) Following device
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
JP2003284053A (ja) 監視カメラシステムおよび監視カメラ制御装置
US7528881B2 (en) Multiple object processing in wide-angle video camera
KR100248955B1 (ko) 자동감시장치
KR20160048428A (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
KR100278989B1 (ko) 폐쇄회로모니터링장치및방법
KR200396567Y1 (ko) 광역감시와 지역감시 자동전환 촬영 기능을 갖는감시카메라
JP4855662B2 (ja) カメラシステム、カメラ制御方法、及びプログラム
JP6766009B2 (ja) 監視装置、監視方法、コンピュータプログラム、及び記憶媒体
JP2005117343A (ja) 監視システム
KR20000004436A (ko) 씨씨티브이 시스템의 움직임 추적 감시 방법
KR100307658B1 (ko) 폐쇄회로 텔레비전 분할 감시 시스템
JP2007036782A (ja) 移動物体検出装置
KR20060133265A (ko) 프라이버시 마스크 표시 제어 방법 및 장치
JPH08265740A (ja) カメラ監視装置
JPH10336632A (ja) 監視装置
KR200199344Y1 (ko) 지능형 디지털 비디오 레코더 시스템
JP3702520B2 (ja) ビデオカメラシステム及びその自動追尾方法
KR20060100966A (ko) 광역감시와 지역감시 자동전환 촬영 기능을 갖는감시카메라
JPH09219854A (ja) 撮像記録装置
JP2002247424A (ja) 監視カメラ装置
JPH09172629A (ja) 防犯監視装置
KR20070038656A (ko) 디지털 비디오 레코더에서의 협동 감시 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120924

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20130916

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20140917

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20150923

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20160926

Year of fee payment: 17

LAPS Lapse due to unpaid annual fee