KR100759930B1 - Zoom-Appended Stereo Vision Equipment - Google Patents

Zoom-Appended Stereo Vision Equipment Download PDF

Info

Publication number
KR100759930B1
KR100759930B1 KR1020050037611A KR20050037611A KR100759930B1 KR 100759930 B1 KR100759930 B1 KR 100759930B1 KR 1020050037611 A KR1020050037611 A KR 1020050037611A KR 20050037611 A KR20050037611 A KR 20050037611A KR 100759930 B1 KR100759930 B1 KR 100759930B1
Authority
KR
South Korea
Prior art keywords
image
zoom
stereo
image acquisition
acquisition unit
Prior art date
Application number
KR1020050037611A
Other languages
Korean (ko)
Other versions
KR20060115209A (en
Inventor
정문호
유범재
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020050037611A priority Critical patent/KR100759930B1/en
Publication of KR20060115209A publication Critical patent/KR20060115209A/en
Application granted granted Critical
Publication of KR100759930B1 publication Critical patent/KR100759930B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 전자기기, 영상음향기기, 3차원 영상기기 등에 사용되는 스테레오 줌 시각처리 장치에 관한 것으로써, 특히 시각에 기반을 둔 지능형 응용장치(지능형 서비스 로봇, HRI(Human-Robot Interface), HCI(Human-Computer Interface))에 적합하도록 스테레오 영상 및 다양한 스케일의 영상(줌 영상)을 제공하는 시각처리 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to stereo zoom visual processing devices used in electronic devices, video sound devices, 3D video devices, and the like. (Human-Computer Interface) to provide a stereo image and a visual processing device for providing an image (zoom image) of various scales.

본 발명에 의하면, 촬영 렌즈로부터 동기화 된 두 개 혹은 세 개 이상의 영상을 취득하는 스테레오 영상 취득수단과; 촬영 렌즈의 초점 거리 변화를 통해 다양한 형태의 스케일 영상을 취득하는 줌 영상 취득수단; 상기 스테레오 영상 취득수단과 줌 영상 취득수단으로부터의 영상신호를 신호 처리하는 영상 처리수단; 및 상기 영상 처리수단으로부터 영상 혹은 영상처리 결과를 송신하거나 외부로부터의 제어신호 등을 수신하는 통신 인터페이스 수단을 포함하는 스테레오 줌 시각처리 장치를 제시한다.According to the present invention, stereo image acquisition means for acquiring two or three or more images synchronized from a photographing lens; Zoom image acquisition means for acquiring various types of scale images by changing a focal length of the photographing lens; Image processing means for signal-processing the video signals from the stereo image acquisition means and the zoom image acquisition means; And a communication interface means for transmitting an image or an image processing result from the image processing means or receiving a control signal from the outside.

스테레오 영상, 줌 카메라, 초점거리, 지능형 서비스 로봇, HRI, HCI Stereo Imaging, Zoom Camera, Focal Length, Intelligent Service Robot, HRI, HCI

Description

스테레오 줌 시각처리 장치{Zoom-Appended Stereo Vision Equipment}Stereo zoom vision processing unit {Zoom-Appended Stereo Vision Equipment}

도 1은 본 발명에 따른 스테레오 줌 시각처리 장치의 사시도 이다.1 is a perspective view of a stereo zoom visual processing apparatus according to the present invention.

도 2는 본 발명에 따른 스테레오 줌 시각처리장치의 블록 구성도 이다. 2 is a block diagram of a stereo zoom visual processing apparatus according to the present invention.

< 도면의 주요부분에 대한 부호의 설명 ><Description of Symbols for Major Parts of Drawings>

1: 스테레오 영상 취득부 2: 줌 영상 취득부1: Stereo image acquisition unit 2: Zoom image acquisition unit

3: 영상 처리부 4: 통신 인터페이스부3: image processing unit 4: communication interface unit

본 발명은 전자기기, 영상음향기기, 3차원 영상기기 등에 사용되는 스테레오 줌 시각처리 장치에 관한 것이다. 보다 상세하게는 시각에 기반을 둔 지능형 응용장치(지능형 서비스 로봇, HRI(Human-Robot Interface), HCI(Human-Computer Interface))에 적합하도록 스테레오 영상 및 다양한 스케일의 영상(줌 영상)을 제공하는 시각처리 장치에 관한 것이다.The present invention relates to a stereo zoom visual processing device used in electronic devices, video sound equipment, three-dimensional imaging equipment. More specifically, it provides stereo images and various scale images (zoom images) for vision-based intelligent applications (intelligent service robots, human-robot interface (HRI), human-computer interface (HCI)). A visual processing device.

종래의 시각처리 장치에는 범블비 스테레오(Bumblebee Stereo) 카메라와 스테레오 카메라가 널리 사용된다.In the conventional visual processing apparatus, a Bumblebee Stereo camera and a stereo camera are widely used.

상기 범블비 스테레오(Bumblebee Stereo) 카메라(Point Grey Research Inc.) 는 미리 교정(calibration)된 두개의 카메라 및 영상처리 장치로 이루어져 있으며, 정류 (rectification)된 두개의 영상을 생성한다.The Bumblebee Stereo camera (Point Gray Research Inc.) is composed of two pre-calibrated cameras and an image processing device, and generates two rectified images.

또한, 상기 스테레오 카메라(Videre Design)는 스테레오 카메라의 렌즈 교환이 가능해 다양한 스케일의 영상을 얻을 수 있으나, 그때마다 카메라 보정(Calibration)을 해야 한다.In addition, the stereo camera (Videre Design) is possible to exchange the lens of the stereo camera to obtain images of various scales, each time the camera must be calibrated (Calibration).

이러한 종래의 스테레오 카메라를 이용한 시각처리 장치는 오프라인(OFF-LINE)에서 카메라 보정(calibration)을 수행하고, 온라인(ON-LINE)에서 카메라의 구해진 보정 파라미터를 이용하여 거리영상(depth map)을 생성하거나 혹은 생성을 지원한다.A conventional visual processing apparatus using a stereo camera performs camera calibration in an offline state and generates a depth map using the obtained correction parameters of the camera in an online state. Or create support.

즉, 온라인(ON-LINE)에서는 주요 카메라의 보정 파라미터의 하나인 초점거리(focal length)를 고정적으로 사용할 수밖에 없다. 그로 인해 다양한 스케일의 영상정보를 얻기 어려우며, 이것은 시각 정보를 이용하는 여러 가지 응용장치(지능형 서비스 로봇, HRI, HCI)에 제한 요소로 작용한다.That is, in ON-LINE, the focal length, which is one of the correction parameters of the main cameras, has to be fixed. As a result, it is difficult to obtain image information of various scales, which is a limiting factor for various application devices (intelligent service robots, HRI, HCI) using visual information.

다시 말해, 종래의 스테레오 시각처리 장치는 기본적으로 초점거리가 고정됨으로써 시각정보처리 과정에서 특정 영역의 고해상도 영상정보가 필요한 경우에 제한을 받게 된다.In other words, the stereoscopic vision processing apparatus of the related art is basically limited in the case where high resolution image information of a specific region is required in the visual information processing process by fixing a focal length.

특히, 로봇이 인간과 상호작용을 할 경우 혹은 로봇이 인간에게 지능형 서비스를 제공하는 경우 특정영역의 고해상도 영상정보는 더욱더 중요해진다. In particular, when a robot interacts with a human or when the robot provides an intelligent service to a human, high resolution image information of a specific area becomes more important.

따라서, 기존의 스테레오 시각장치를 사용할 경우 생기는 고정된 초점거리를 사용해야 한다는 문제점을 극복하기 위해 줌 카메라를 부가하여 다양한 스케일의 영상을 취득할 필요성이 제기되었다.Therefore, in order to overcome the problem of using a fixed focal length caused by using a conventional stereo vision device, a need has been made to acquire images of various scales by adding a zoom camera.

이에, 본 발명은 상기한 문제점을 해결하기 위한 것으로서 본 발명은 줌 카메라를 부가한 스테레오 시각처리 장치를 이용하여 스테레오 영상 및 다양한 스케일의 영상을 취득 가능하도록 하는데 그 목적이 있다.Accordingly, an object of the present invention is to solve the above problems, and an object of the present invention is to enable a stereo image and various scale images to be acquired using a stereo vision processing apparatus with a zoom camera.

상기한 본 발명의 목적을 달성하기 위한 기술적 사상으로서 본 발명은As the technical idea for achieving the above object of the present invention

촬영 렌즈로부터 동기화 된 두 개 혹은 세 개 이상의 영상을 취득하는 스테레오 영상 취득수단과;Stereo image acquisition means for acquiring two or three or more images synchronized from the photographing lens;

촬영 렌즈의 초점 거리 변화를 통해 다양한 형태의 스케일 영상을 취득하는 줌 영상 취득수단;Zoom image acquisition means for acquiring various types of scale images by changing a focal length of the photographing lens;

상기 스테레오 영상 취득수단과 줌 영상 취득수단으로부터의 영상신호를 신호 처리하는 영상 처리수단; 및Image processing means for signal-processing the video signals from the stereo image acquisition means and the zoom image acquisition means; And

상기 영상 처리수단으로부터 영상 혹은 영상처리 결과를 송신하거나 외부로부터의 제어신호 등을 수신하는 통신 인터페이스 수단을 포함하는 스테레오 줌 시각처리 장치를 제공한다.Provided is a stereo zoom visual processing apparatus including communication interface means for transmitting an image or an image processing result from the image processing means or receiving a control signal from the outside.

이하, 본 발명의 실시 예에 대한 구성 및 그 작용을 첨부한 도면을 참조하면 서 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings, the configuration and operation of the embodiment of the present invention will be described in detail.

도 1은 본 발명에 따른 스테레오 줌 시각처리 장치의 사시도 이다. 도 2는 본 발명에 따른 스테레오 줌 시각처리장치의 블록 구성도 이다.1 is a perspective view of a stereo zoom visual processing apparatus according to the present invention. 2 is a block diagram of a stereo zoom visual processing apparatus according to the present invention.

도 1 및 도 2를 살펴보면, 본 발명의 스테레오 줌 시각처리 장치로서 스테레오 영상 취득부(1), 줌 영상 취득부(2), 영상 처리부(3) 및 통신 인터페이스부(4)로 구성되어 있다.1 and 2, the stereo zoom visual processing apparatus of the present invention includes a stereo image acquisition unit 1, a zoom image acquisition unit 2, an image processing unit 3, and a communication interface unit 4.

본 발명은 도 1에 도시된 바와 같이, 일반적으로 양안(Binocular)인 경우가 많고, 삼안(Trinocular) 이상의 다안(多眼)인 경우가 있다.As shown in FIG. 1, the present invention is generally binocular, and may be trinocular or more.

특히, 상기 스테레오 영상 취득부(1)는 촬영렌즈로부터 동기화 된 두 개(혹은 세 개 이상)의 영상을 취득하며, 상기 동기화 된 영상은 3차원 거리영상을 계산하는데 이용된다.In particular, the stereo image acquisition unit 1 acquires two (or three or more) images synchronized from the photographing lens, and the synchronized images are used to calculate a 3D distance image.

상기 줌 영상 취득부(2)는 촬영렌즈로부터 초점거리의 변화를 통해 다양한 스케일의 영상을 취득하며, 상기 영상 처리부(3)는 스테레오 영상 취득부(1) 및 줌 영상 취득부(2)로부터의 영상신호를 처리한다. 이 경우 스테레오 영상취득부와 별개로 구비된 줌 영상 취득부는 스테레오 영상 취득부가 영상을 취득하는 것에 대응하여, 줌 영상 취득 부가 갖은촬영 렌즈의 초점 거리의 변화에 따라 줌 영상을 취득하게 된다. 또한, 스테레오 영상 취득부에서 동기화된 영상으로부터 3차원 거리 영상을 계산하고, 줌 영상 취득부에 의해 얻은 영상 정보를 스테레오 영상 취득부에 의해 얻은 영상의 특정한 부분에 제공하여 영상처리한다. 따라서 실시간으로 스테레오 영상을 활용하는 경우, 스테레오 영상 취득부의 초점 거리가 고정됨으로써 먼 곳에 있는 부분에 대해서 많은 영상 정보를 얻을 수 없는 문제점이 있었으나, 줌 영상 취득부에서 얻은 줌 영상은 이러한 특정한 부분을 확대하여 많은 영상 정보를 제공한다. The zoom image acquisition unit 2 acquires images of various scales by changing the focal length from the photographing lens, and the image processing unit 3 is obtained from the stereo image acquisition unit 1 and the zoom image acquisition unit 2. Process the video signal. In this case, the zoom image acquisition unit provided separately from the stereo image acquisition unit acquires the zoom image in accordance with the change in the focal length of the photographing lens with the zoom image acquisition unit in response to the stereo image acquisition unit acquiring the image. In addition, a three-dimensional distance image is calculated from the image synchronized by the stereo image acquisition unit, and the image information obtained by the zoom image acquisition unit is provided to a specific portion of the image obtained by the stereo image acquisition unit for image processing. Therefore, when using a stereo image in real time, there is a problem that a large amount of image information can not be obtained for the distant part by fixing the focal length of the stereo image acquisition unit, the zoom image obtained by the zoom image acquisition unit enlarges this specific portion It provides a lot of video information.

상기 통신 인터페이스(4)는 영상 처리부(3)로부터 영상 혹은 영상처리 결과를 송신하거나 외부로부터의 제어신호 등을 수신하는 기능을 가지고 있다.The communication interface 4 has a function of transmitting an image or an image processing result from the image processing unit 3 or receiving a control signal from the outside.

이 때, 상기 통신 인터페이스부(4)와 연결된 다른 영상처리 장치에서는 스테레오 영상 취득부(1)로부터의 스테레오 영상 및 줌 영상 취득부(2)로부터 취득할 수 있는 다양한 스케일의 영상을 이용해 다양한 시각기능 알고리즘((로봇 비젼(Robot Vision), 컴퓨터 비젼(Computer Vision), 영상처리(Image Processing))를 구현할 수 있다.In this case, the other image processing apparatus connected to the communication interface unit 4 uses various stereoscopic functions by using stereo images from the stereo image acquisition unit 1 and images of various scales that can be acquired from the zoom image acquisition unit 2. Algorithms (robot vision, computer vision, image processing) can be implemented.

즉, 로봇 비젼은 영상 정보를 이용하여 로봇 및 자동화 기기 등이 이용할 수 있는 정보를 생성하는 분야에 적용될 수 있으며, 상기 컴퓨터 비젼은 로봇 비젼과 혼용해서도 많이 사용되나 일반적으로 영상 정보를 이용하여 인식, 자동화 등을 수행하게 된다. That is, the robot vision can be applied to a field for generating information that can be used by robots and automation devices using image information, and the computer vision is often used in combination with the robot vision, but is generally recognized using image information. , Automation and so on.

　또한, 상기 영상처리는 넓은 의미에서 영상정보로부터 특징치를 추출하는 저수준 영상처리 과정(low level processing)과 이것을 이용하는 고수준 영상처리 과정(high level processing)으로 나누어진다. 이 때, 상기 고수준 영상처리는 로봇 비젼과 컴퓨터 비젼을 포함한다.　좁은 의미로는 저수준 영상처리 과정을 말한다. In addition, the image processing is divided into a low level processing process for extracting feature values from the image information in a broad sense, and a high level processing process using the same. In this case, the high level image processing includes a robot vision and a computer vision. In a narrow sense, it refers to low-level image processing.

이상에서와 같이 본 발명에 의하면, 기존의 스테레오 시각장치는 온라인(ON-LINE)에서 고정된 초점거리를 사용할 수밖에 없기 때문에 다른 스케일의 영상 정보를 얻을 수 없었으나, 본 발명에 의한 스테레오 줌 시각처리장치에서는 줌 영상 취득 장치를 이용해 다양한 스케일의 영상 정보를 취득 가능케 할 수 있다.As described above, according to the present invention, since the conventional stereo vision device has no choice but to use a fixed focal length on-line, image information of different scales cannot be obtained, but the stereo zoom visual processing according to the present invention is performed. The device may acquire image information of various scales using a zoom image acquisition device.

특히, 본 발명에서는 지능형 서비스 로봇 환경이나 얼굴/물건 찾기, 물건집기 등의 HRI(Human-Robot Interface), HCI(Human-Computer Interface) 장치에 적용함으로써 스테레오 영상 및 다양한 스케일의 고해상도 영상 정보를 이용할 수 있어 보다 더 활용도 및 유용성을 높일 수 있다. Particularly, in the present invention, stereo images and high-resolution image information of various scales can be used by applying them to a human-robot interface (HRI) or a human-computer interface (HCI) device such as an intelligent service robot environment, a face / object searcher, and a picker. More usability and usability.

Claims (4)

초점이 고정된 촬영 렌즈로부터 동기화된 적어도 두 개의 영상을 취득하는 스테레오 영상 취득부;A stereo image acquisition unit for acquiring at least two images synchronized from a photographing lens having a fixed focus; 상기 스테레오 영상 취득부가 영상을 취득하는 것에 대응하여 줌 영상 취득 부가 갖은 촬영 렌즈의 초점 거리의 변화에 따라 줌 영상을 취득하는 줌 영상 취득부;A zoom image acquisition unit for acquiring a zoom image according to a change in a focal length of a photographing lens provided with a zoom image acquisition unit in response to the stereo image acquisition unit acquiring an image; 상기 스테레오 영상 취득부에서 동기화된 영상으로부터 3차원 거리 영상을 계산하고, 상기 줌 영상 취득부로부터 얻은 영상 정보를 상기 스테레오 영상 취득부로부터 얻은 영상의 줌 영상에 해당하는 부분에 적용하여 영상처리하는 영상처리부; 및 An image processed by calculating a 3D distance image from the image synchronized by the stereo image acquisition unit, and applying the image information obtained from the zoom image acquisition unit to a portion corresponding to the zoom image of the image obtained from the stereo image acquisition unit Processing unit; And 상기 영상 처리부로부터 영상 혹은 영상처리 결과를 송신하거나 외부로부터 외부 신호을 수신하는 통신 인터페이스부을 포함하는 것을 특징으로 하는 스테레오 줌 시각처리 장치. And a communication interface for transmitting an image or an image processing result from the image processing unit or receiving an external signal from the outside. 삭제delete 삭제delete 삭제delete
KR1020050037611A 2005-05-04 2005-05-04 Zoom-Appended Stereo Vision Equipment KR100759930B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050037611A KR100759930B1 (en) 2005-05-04 2005-05-04 Zoom-Appended Stereo Vision Equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050037611A KR100759930B1 (en) 2005-05-04 2005-05-04 Zoom-Appended Stereo Vision Equipment

Publications (2)

Publication Number Publication Date
KR20060115209A KR20060115209A (en) 2006-11-08
KR100759930B1 true KR100759930B1 (en) 2007-09-18

Family

ID=37652721

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050037611A KR100759930B1 (en) 2005-05-04 2005-05-04 Zoom-Appended Stereo Vision Equipment

Country Status (1)

Country Link
KR (1) KR100759930B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101007347B1 (en) * 2009-06-18 2011-01-13 주식회사 세일티앤엔 System and method for obtaining images around view
KR102561947B1 (en) * 2021-10-13 2023-08-01 삼성전기주식회사 Multi-stereo camera apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118475A (en) 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
KR100389794B1 (en) 2000-09-16 2003-07-04 주식회사 후후 Dual lens stereo camera
KR100399047B1 (en) 2000-12-01 2003-09-26 한국전자통신연구원 The Apparatus and Method for Vergence Control of Crossing Axis Stereo Camera
JP2005070077A (en) 2003-08-21 2005-03-17 Fuji Photo Film Co Ltd Digital camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118475A (en) 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
KR100389794B1 (en) 2000-09-16 2003-07-04 주식회사 후후 Dual lens stereo camera
KR100399047B1 (en) 2000-12-01 2003-09-26 한국전자통신연구원 The Apparatus and Method for Vergence Control of Crossing Axis Stereo Camera
JP2005070077A (en) 2003-08-21 2005-03-17 Fuji Photo Film Co Ltd Digital camera

Also Published As

Publication number Publication date
KR20060115209A (en) 2006-11-08

Similar Documents

Publication Publication Date Title
US10048461B2 (en) Method and apparatus for performing temperature compensation for camera
US6570566B1 (en) Image processing apparatus, image processing method, and program providing medium
US20150334309A1 (en) Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
US9832362B2 (en) Image-capturing apparatus
US9230330B2 (en) Three dimensional sensing method and three dimensional sensing apparatus
CN108833795B (en) Focusing method and device of image acquisition equipment
CN112214106B (en) High-precision anti-interference VR system and operation method
JP2015119395A (en) Information processor, information processing method, and program
JP2023526239A (en) Method and system for imaging a scene, such as a medical scene, and tracking objects in the scene
US20150304625A1 (en) Image processing device, method, and recording medium
US8749652B2 (en) Imaging module having plural optical units in which each of at least two optical units include a polarization filter and at least one optical unit includes no polarization filter and image processing method and apparatus thereof
US9667853B2 (en) Image-capturing apparatus
CN111061363A (en) Virtual reality system
US20150281552A1 (en) Image-capturing apparatus
KR100759930B1 (en) Zoom-Appended Stereo Vision Equipment
US20160275657A1 (en) Imaging apparatus, image processing apparatus and method of processing image
EP2106128B1 (en) Compound eye photographing apparatus, control method therefor, and program
JP2014192745A (en) Imaging apparatus, information processing apparatus, control method and program thereof
JP2017103695A (en) Image processing apparatus, image processing method, and program of them
JP2013105002A (en) 3d video photography control system, 3d video photography control method, and program
JP2006340017A (en) Device and method for stereoscopic video image display
JP2006197036A (en) Device and method for stereoscopic image display
CN110677597B (en) Image processing method and device
CN109328459B (en) Intelligent terminal, 3D imaging method thereof and 3D imaging system
JP2017028606A (en) Imaging apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120910

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130830

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141219

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150911

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160912

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170912

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180912

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190809

Year of fee payment: 13