KR100931391B1 - 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈 및 방법 - Google Patents

공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈 및 방법 Download PDF

Info

Publication number
KR100931391B1
KR100931391B1 KR1020070109716A KR20070109716A KR100931391B1 KR 100931391 B1 KR100931391 B1 KR 100931391B1 KR 1020070109716 A KR1020070109716 A KR 1020070109716A KR 20070109716 A KR20070109716 A KR 20070109716A KR 100931391 B1 KR100931391 B1 KR 100931391B1
Authority
KR
South Korea
Prior art keywords
setting unit
spatial model
setting
ubiquitous environment
environment simulation
Prior art date
Application number
KR1020070109716A
Other languages
English (en)
Other versions
KR20090043911A (ko
Inventor
최진원
조위덕
이창열
Original Assignee
아주대학교산학협력단
버츄얼빌더스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단, 버츄얼빌더스 주식회사 filed Critical 아주대학교산학협력단
Priority to KR1020070109716A priority Critical patent/KR100931391B1/ko
Publication of KR20090043911A publication Critical patent/KR20090043911A/ko
Application granted granted Critical
Publication of KR100931391B1 publication Critical patent/KR100931391B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

본 발명은 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈 및 방법에 관한 것으로, 본 발명에 따르면, 사용자로부터 명령을 입력받아 특정 신호로 변환하는 사용자 인터페이스 수단과, 상기 사용자 인터페이스 수단을 통해 입력된 명령에 따라 공간모델을 설정하는 공간 설정부와, 상기 사용자 인터페이스 수단을 통해 입력된 명령에 따라 상황을 설정하는 상황 설정부를 포함하여, U-space를 보다 실감있게 시뮬레이션 할 수 있고, 가상 사용자 모델을 효율적으로 개발할 수 있다.
유비쿼터스, 공간, 모델

Description

공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈 및 방법{The module of ubiquitous environment simulation using based on spatial model and method thereof}
본 발명은 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈 및 방법에 관한 것으로, 특히 USS(Ubiquitous smart space)상에서 사용자와 서비스 기기간의 관계 및 구성되는 커뮤니티(Community)를 가시화시키는 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈 및 방법에 관한 것이다.
최근에는 특정 공간의 정보를 관리하는 데 있어서, 공간모델 기반의 유비쿼터스 환경 시뮬레이션 도구는 u-space의 의미적인 위치를 semantic location model을 기반으로 재현한다.
사용자가 실제로 특정 공간에 존재하는 것과 같이 시뮬레이션을 함으로서, 직접 공간상에서 발생하는 문제점 등을 확인할 수 있으므로 보다 용이한 모니터링을 할 수 있다.
본 발명은 아바타를 사용하고, 아바타 재현 기술을 통해 U-space를 보다 실감있게 시뮬레이션 할 수 있는 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈 및 방법을 제공하는 데 있다.
본 발명은 가상 사용자 모델을 효율적으로 개발할 수 있는 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈 및 방법을 제공하는 데 있다.
이러한 목적을 이루기 위한 본 발명의 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈은 사용자로부터 명령을 입력받아 특정 신호로 변환하는 사용자 인터페이스 수단과, 상기 사용자 인터페이스 수단을 통해 입력된 명령에 따라 공간모델을 설정하는 공간 설정부와, 상기 사용자 인터페이스 수단을 통해 입력된 명령에 따라 상황을 설정하는 상황 설정부를 포함한다.
상기 공간 설정부는 특정 객체를 선택하여 공간모델상의 특정 위치에 상기 선택한 객체를 위치시키는 객체 설정부와, 카메라 및 조명을 선택하여 그 방향을 설정하는 촬상 설정부와, 공간 모델의 화면 전환 및 가시화를 설정하는 화면 설정부를 포함한다.
상기 상황 설정부는 커뮤니티의 상태를 문자 및 그림으로 연결하여 가시화시 키는 커뮤니티 설정부와, 상기 커뮤니티를 구성하는 멤버의 상태를 문자 및 그림으로 연결하여 가시화시키는 멤버 정보 설정부를 포함한다.
본 발명의 공간모델 기반의 유비쿼터스 환경 시뮬레이션 방법은 사용자로부터 명령을 입력받아 특정 신호로 변환하는 단계와, 상기 사용자 인터페이스 수단을 통해 입력된 명령에 따라 공간모델을 설정하는 단계와, 상기 사용자 인터페이스 수단을 통해 입력된 명령에 따라 상황을 설정하는 단계를 포함한다.
상기 공간모델을 설정하는 단계는 특정 객체를 선택하여 공간모델상의 특정 위치에 상기 선택한 객체를 위치시키는 단계와, 카메라 및 조명을 선택하여 그 방향을 설정하는 단계와, 공간 모델의 화면 전환 및 가시화를 설정하는 단계를 포함한다.
상기 상황을 설정하는 단계는 커뮤니티의 상태를 문자 및 그림으로 연결하여 가시화시키는 단계와, 상기 커뮤니티를 구성하는 멤버의 상태를 문자 및 그림으로 연결하여 가시화시키는 단계를 포함한다.
본 발명의 공간모델 기반의 유비쿼터스 환경 시뮬레이션 방법은 U-space를 보다 실감있게 시뮬레이션 할 수 있고, 가상 사용자 모델을 효율적으로 개발할 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 공간모델 기반의 유비쿼터스 환경 시뮬레이션 방법에 관하여 상세히 설명한다.
도 1은 본 발명의 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈을 보인 블록도이다. 도시된 바와 같이, 본 발명의 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈은 사용자 인터페이스 수단(100), 공간 설정부(110) 및 상황 설정부(120)를 포함한다.
상기 사용자 인터페이스 수단(100)은 사용자로부터 명령을 입력받아서 시뮬레이션 모듈이 인식할 수 있는 신호로 변환한다. 즉, 화면의 버튼이나 키보드 등을 수단으로 사용자 인터페이스 수단(100)을 통해 입력받은 명령들은 시뮬레이션 모듈이 직접적으로 인식할 수 있는 신호가 아니므로, 사용자 인터페이스 수단(100)은 이를 시뮬레이션 모듈이 인식할 수 있는 명령으로 변환한다.
공간 설정부(110)는 공간모델을 설정하는 것으로, 객체를 설정하거나 촬상부를 설정하거나 화면을 설정한다.
도 2는 도 1의 공간 설정부의 상세한 구성을 보인 블록도이다. 도시된 바와 같이 공간 설정부는 객체 설정부(200), 촬상 설정부(210) 및 화면 설정부(220)를 포함한다.
객체 설정부(200)는 특정 객체를 선택하여 공간모델상의 특정 위치에 상기 선택한 객체를 위치시킨다. 상기 객체 설정부(200)는 객체 선택부(204)와 객체 위치 설정부(202)를 포함한다.
상기 객체 선택부(204)는 관련 시설물 즉, 램프나 전화기 혹은 라디오 턴 테이블 등과 같이 특정 공간에 위치할 수 있는 객체들을 선택한다. 객체 선택부(204) 는 선택될 수 있는 복수의 객체들을 디스플레이부(130)를 통해 제공하며, 상기 제공한 객체들 중에서 상기 사용자 인터페이스 수단(100)을 통해 입력된 명령에 따라서 객체를 선택한다.
상기 객체 위치 설정부(202)는 상기 객체 선택부(204)가 선택한 객체의 공간모델상에서 의 위치를 설정한다. 본 발명의 공간모델은 3차원으로 구성되어 있으므로, 객체 위치 설정부(202)는 사용자 인터페이스 수단(100)을 통해 입력받은 명령에 따라서 (x,y,z)인 좌표로 구성된 객체의 위치를 설정한다. 사용자 인터페이스 수단(100)을 통해 입력되는 명령은 3개의 좌표를 포함한다. 상기 좌표는 사용자로부터 그 좌표값들을 입력받거나 혹은 공간모델상에서 사용자 인터페이스 수단(100)에 의하여 선택된 특정 위치가 자동적으로 계산되어 좌표값이 될 수 있다.
상기 촬상 설정부(210)는 카메라 및 조명을 선택하여 그 방향을 설정한다. 상기 촬상 설정부(210)는 촬상 선택부(212)와 방향 설정부(214)를 포함한다.
상기 촬상 선택부(212)는 공간모델상에 존재하는 복수의 카메라 및 조명 중 특정 카메라 및 조명을 선택한다. 즉, 촬상 선택부(212)는 선택될 수 있는 복수의 카메라 및 조명들을 디스플레이부(130)를 통해 제공하며, 상기 제공된 카메라 및 조명들 중에서 상기 사용자 인터페이스 수단(100)을 통해 입력된 명령에 따라서 특정 카메라 및 조명을 선택한다.
상기 방향 설정부(214)는 상기 촬상 선택부(212)에서 선택된 카메라 및 조명의 방향을 설정한다. 상기 방향 설정부(214)는 사용자 인터페이스 수단(100)을 통해 입력된 방향을 지시하는 명령에 따라서 카메라 및 조명의 방향을 설정한다. 본 발명의 공간모델은 3차원으로 구성되므로, 상기 객체 위치 설정부(202)와 유사하게 상기 방향 설정부(214) 역시 사용자 인터페이스 수단(100)을 통해 입력받은 명령에 따라서 (x,y,z)인 좌표로 구성된, 카메라 및 조명의 방향을 설정한다.
상기 화면 설정부(220)는 공간모델의 화면 전환 및 가시화를 설정한다. 화면 설정부(220)는 공간모델의 회전이라든지 확대 혹은 축소 등을 사용자 인터페이스 수단(100)을 통해 입력받은 명령에 따라서 설정한다. 또한, 공간모델의 내부가 더 상세하게 가시될 수 있도록 벽의 높이를 조절하든지 등에 대한 기능도 수행한다. 도 3a는 공간모델을 나타내는 도면이고, 3b는 화면 설정부에 의하여 공간모델의 회전이 발생한 도면이다.
상기 상황 설정부(120)는 커뮤니티의 상태와 멤버의 상태를 가시화시킨다.
도 4는 도 1의 상황 설정부의 상세한 구성을 보인 블록도이다. 도시된 바와 같이, 상기 상황 설정부는 커뮤니티 설정부(400) 및 멤버 정보 설정부(410)를 포함한다.
상기 커뮤니티 설정부(400)는 커뮤니티의 상태를 문자 및 그림으로 연결하여 가시화시킨다. 커뮤니티의 상태는 커뮤니티 상위의 심볼의 형태 및 색상으로 그 정보를 표시한다. 커뮤니티는 공간모델상에서 하나의 상황이 될 수 있다. 즉, 수면을 이루기 위한 환경 또는 외부에서 집에 들어올때의 환경이 될 수 있다. 상기 커뮤니티의 상위의 심볼의 형태는 풍선(balloon)이 될 수 있고, 그림자(shadow)가 될 수 있다. 그리고 공간모델상에서 복수의 커뮤니티의 존재가 가능하므로, 각 커뮤니티의 구별을 위하여 커뮤니티를 표시하는 심볼의 색상을 상이하게 한다.
멤버 정보 설정부(410)는 커뮤니티를 구성하는 멤버의 상태를 문자 및 그림으로 연결하여 가시화시킨다. 멤버의 상태는 멤버 상위의 심볼의 형태 및 색상으로 그 정보를 표시한다. 멤버는 커뮤니티를 위한 하나의 구성으로, 커뮤니티가 수면을 이루기 위한 환경이면 멤버는 최적 수면을 위한 조도 및 라디오 등의 소리의 크기 등이 될 수 있다. 상기한 바와 같이 멤버는 커뮤니티를 위한 하나의 구성이므로, 맴버의 심볼의 형태는 커뮤니티의 심볼의 형태와 동일하고, 심볼의 색상 역시 동일하다. 다만, 사용자 인터페이스 수단(100)을 통해 입력받은 명령에 따라서 상이한 커뮤니티에 속하는 동일한 멤버의 심볼의 색상이 동일할 수 있다.
도 5는 공간모델상에서 커뮤니티와 멤버 정보를 표시한 실시예의 도면이다. 도시된 바와 같이, 커뮤니티와 멤버 정보의 심볼은 풍선이고 그 색상이 동일하다.
한편, 상기에서는 본 발명의 특정의 바람직한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 마련되는 본 발명의 정신이나 분야를 이탈하지 않는 한도 내에서 본 발명이 다양하게 개조 및 변화될 수 있다는 것을 당 업계에서 통상의 지식을 가진 자는 용이하게 알 수 있다.
도 1은 본 발명의 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈을 보인 블록도.
도 2는 도 1의 공간 설정부의 상세한 구성을 보인 블록도.
도 3a는 공간모델을 나타내는 도면
도 3b는 화면 설정부에 의하여 공간모델의 회전이 발생한 도면.
도 4는 도 1의 상황 설정부의 상세한 구성을 보인 블록도.
도 5는 공간모델상에서 커뮤니티와 멤버 정보를 표시한 실시예의 도면.

Claims (10)

  1. 사용자로부터 명령을 입력받아 특정 신호로 변환하는 사용자 인터페이스 수단; 상기 사용자 인터페이스 수단을 통해 입력된 명령에 따라 공간모델을 설정하는 공간 설정부; 및 상기 사용자 인터페이스 수단을 통해 입력된 명령에 따라 상황을 설정하는 상황 설정부;를 포함하는 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈에 있어서,
    상기 상황 설정부는;
    커뮤니티의 상태를 문자 및 그림으로 연결하여 가시화시키는 커뮤니티 설정부; 및
    상기 커뮤니티를 구성하는 멤버의 상태를 문자 및 그림으로 연결하여 가시화시키는 멤버 정보 설정부;를 포함하는 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈.
  2. 제 1항에 있어서, 상기 공간 설정부는;
    특정 객체를 선택하여 공간모델상의 특정 위치에 상기 선택한 객체를 위치시키는 객체 설정부;
    카메라 및 조명을 선택하여 그 방향을 설정하는 촬상 설정부; 및
    공간 모델의 화면 전환 및 가시화를 설정하는 화면 설정부;를 포함하는 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈.
  3. 제 2항에 있어서, 상기 객체 설정부는;
    상기 사용자 인터페이스 수단을 통해 입력된 명령에 따라, 특정 공간에 위치 할 수 있는 객체들을 선택하는 객체 선택부; 및
    상기 객체 선택부가 선택한 객체의 상기 공간모델상의 위치를 설정하는 객체 위치 설정부;를 포함하는 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈.
  4. 제 2항에 있어서, 상기 촬상 설정부는;
    상기 공간모델상에 존재하는 복수의 카메라 및 조명 중에서 특정 카메라 및 조명을 선택하는 촬상 선택부; 및
    상기 선택된 카메라 및 조명의 방향을 설정하는 방향 설정부;를 포함하는 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈.
  5. 삭제
  6. 제 1항에 있어서,
    상기 커뮤니티의 심볼의 형태는 풍선 또는 구인것을 특징으로 하는 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈.
  7. 제 6항에 있어서,
    상기 멤버의 심볼의 형태 및 색상은 상기 커뮤니티의 심볼의 형태 및 색상과 동일한 것을 특징으로 하는 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈.
  8. 사용자로부터 명령을 입력받은 사용자 인터페이스 수단을 통해 특정 신호로 변환하는 단계;
    상기 사용자 인터페이스 수단을 통해 입력된 명령에 따라 공간모델을 설정하는 단계; 및
    상기 사용자 인터페이스 수단을 통해 입력된 명령에 따라 상황을 설정하는 단계;를 포함하는 공간모델 기반의 유비쿼터스 환경 시뮬레이션 방법.
  9. 제 8항에 있어서, 상기 공간모델을 설정하는 단계는;
    특정 객체를 선택하여 공간모델상의 특정 위치에 상기 선택한 객체를 위치시키는 단계;
    카메라 및 조명을 선택하여 그 방향을 설정하는 단계; 및
    공간 모델의 화면 전환 및 가시화를 설정하는 단계;를 포함하는 공간모델 기반의 유비쿼터스 환경 시뮬레이션 방법.
  10. 제 8항에 있어서, 상기 상황을 설정하는 단계는;
    커뮤니티의 상태를 문자 및 그림으로 연결하여 가시화시키는 단계; 및
    상기 커뮤니티를 구성하는 멤버의 상태를 문자 및 그림으로 연결하여 가시화시키는 단계를 포함하는 공간모델 기반의 유비쿼터스 환경 시뮬레이션 방법.
KR1020070109716A 2007-10-30 2007-10-30 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈 및 방법 KR100931391B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070109716A KR100931391B1 (ko) 2007-10-30 2007-10-30 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070109716A KR100931391B1 (ko) 2007-10-30 2007-10-30 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈 및 방법

Publications (2)

Publication Number Publication Date
KR20090043911A KR20090043911A (ko) 2009-05-07
KR100931391B1 true KR100931391B1 (ko) 2009-12-11

Family

ID=40854558

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070109716A KR100931391B1 (ko) 2007-10-30 2007-10-30 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈 및 방법

Country Status (1)

Country Link
KR (1) KR100931391B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101145820B1 (ko) * 2010-04-08 2012-05-16 버츄얼빌더스 주식회사 공간분석 방법 및 그 시스템
US20200065123A1 (en) * 2017-01-04 2020-02-27 Intel Corporation Simulation of internet of things systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100283617B1 (ko) * 1998-12-03 2001-04-02 정선종 삼차원가상공간구축시스템
KR20030004868A (ko) * 2001-07-07 2003-01-15 (주) 고미드 3차원 인트라넷 시스템
KR20050048208A (ko) * 2003-11-19 2005-05-24 (주)아이토닉 3차원 온라인 게임을 이용한 블로그 시스템 및 방법
KR20050061857A (ko) * 2003-12-18 2005-06-23 한국전자통신연구원 공간정보를 이용한 3차원 공간모델링 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100283617B1 (ko) * 1998-12-03 2001-04-02 정선종 삼차원가상공간구축시스템
KR20030004868A (ko) * 2001-07-07 2003-01-15 (주) 고미드 3차원 인트라넷 시스템
KR20050048208A (ko) * 2003-11-19 2005-05-24 (주)아이토닉 3차원 온라인 게임을 이용한 블로그 시스템 및 방법
KR20050061857A (ko) * 2003-12-18 2005-06-23 한국전자통신연구원 공간정보를 이용한 3차원 공간모델링 장치 및 그 방법

Also Published As

Publication number Publication date
KR20090043911A (ko) 2009-05-07

Similar Documents

Publication Publication Date Title
ES2821299T3 (es) Control remoto de fuente de luz
KR20170105445A (ko) 디바이스 관리를 포함하는 디스플레이 장치들의 구성 및 동작
US7667668B2 (en) Fractional video touch panels
EP3154029A1 (en) Image processing device, image processing method, and image processng program
US20200342671A1 (en) Information processing apparatus, information processing method, and program
US11082670B2 (en) Information processing apparatus, information processing method, and program
KR20220063205A (ko) 인터넷 연결 설치를 위한 증강 현실
JPWO2019069575A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN106383640A (zh) 一种投影方法
WO2016078009A1 (zh) 一种楼盘展示系统
CN113034680A (zh) 一种基于桌面真三维的组态图显示方法
KR100931391B1 (ko) 공간모델 기반의 유비쿼터스 환경 시뮬레이션 모듈 및 방법
JP2009031407A (ja) 表示装置
TWM559476U (zh) 具有虛擬實境及混合實境購屋體驗的系統裝置
US20220084299A1 (en) Mobile device and mobile device control method
CN103489158B (zh) 增强视频的装置和方法
KR100742664B1 (ko) 인터랙티브 영상의 디스플레이 시스템 및 방법
CN214541301U (zh) 一种厂宣模拟沙盘装置
KR102328714B1 (ko) 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템 및 이를 이용한 복합 현실 구동 방법
US11487413B2 (en) Mobile device and control method for mobile device
TWI420833B (zh) 控制系統及其控制畫面的產生方法
KR102604824B1 (ko) 증강 현실을 포함하는 체험 시스템
CN117412450B (zh) 氛围灯设备及其灯效配色方法和相应的装置、介质
US11556308B2 (en) Information processing system, information processing apparatus including circuitry to store position information of users present in a space and control environment effect production, information processing method, and room
CN208283898U (zh) 投影操控台及投影控制系统

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120910

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131004

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140918

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151020

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181002

Year of fee payment: 10