KR100839331B1 - 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV프레임워크 기반의 통합 홈 엔터테인먼트 시스템 및 그제어방법 및 그 제어방법을 기록한 기록매체 - Google Patents

원격 컨텐츠 공유 서비스를 지원하는 UPnP AV프레임워크 기반의 통합 홈 엔터테인먼트 시스템 및 그제어방법 및 그 제어방법을 기록한 기록매체 Download PDF

Info

Publication number
KR100839331B1
KR100839331B1 KR1020070026446A KR20070026446A KR100839331B1 KR 100839331 B1 KR100839331 B1 KR 100839331B1 KR 1020070026446 A KR1020070026446 A KR 1020070026446A KR 20070026446 A KR20070026446 A KR 20070026446A KR 100839331 B1 KR100839331 B1 KR 100839331B1
Authority
KR
South Korea
Prior art keywords
remote
server
client
control
content sharing
Prior art date
Application number
KR1020070026446A
Other languages
English (en)
Inventor
김상욱
이현주
김상옥
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020070026446A priority Critical patent/KR100839331B1/ko
Application granted granted Critical
Publication of KR100839331B1 publication Critical patent/KR100839331B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2807Exchanging configuration information on appliance services in a home automation network
    • H04L12/2812Exchanging configuration information on appliance services in a home automation network describing content present in a home automation network, e.g. audio video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2823Reporting information sensed by appliance or service execution status of appliance services in a home automation network

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer And Data Communications (AREA)

Abstract

본 발명은 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템 및 그 제어방법 및 그 제어방법을 기록한 기록매체를 제공하기 위한 것으로, 원격지에 존재하는 장치에게 서버의 UI를 제공하고, 홈 네트워크에 존재하며, 프로그램 목록을 관리하고 연결 정책을 관리하며 RFB 프로토콜 기반의 VNC 서버 기능을 수행하는 원격 UI 서버와; 상기 원격 UI 서버를 검색하고 원격지에서 상기 원격 UI 서버에 UI 공유를 요청하고, 컨트롤 포인트 기능과 VNC 클라이언트 기능을 수행하는 원격 UI 클라이언트;를 포함하여 구성함으로서, 통합 홈 엔터테인먼트 시스템에서 원격 제어 기능을 제공할 수 있게 되는 것이다.
UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템, 미디어 서버, 미디어 렌더러, 컨트롤 포인트, 원격 제어

Description

원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템 및 그 제어방법 및 그 제어방법을 기록한 기록매체{The integrated home entertainment system for supporting remote control service and its control method and recording medium}
도 1은 종래 UPnP AV 시스템의 블록구성도이다.
도 2는 본 발명의 일 실시예에 의한 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템의 블록구성도이다.
도 3은 도 2에서 원격 UI 서버와 원격 UI 클라이언트의 구성을 개략적으로 보인 상세블록도이다.
도 4는 본 발명의 일 실시예에 의한 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템의 제어방법에서 원격 제어 기능을 갖는 원격 UI 클라이언트가 원격 제어하는 과정을 순차적으로 보인 흐름도이다.
도 5는 본 발명의 일 실시예에 의한 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템의 제어방법에서 원격 제어 기능을 갖는 원격 UI 서버가 원격 제어되는 과정을 순차적으로 보인 흐름도이 다.
* 도면의 주요 부분에 대한 부호의 설명 *
10 : 컨트롤 포인트
20 : 미디어 서버
30 : 미디어 렌더러
100 : 원격 UI 서버
110 : 프로그램 목록 관리부
120 : 연결 정책 관리부
130 : VNC 서버부
200 : 원격 UI 클라이언트
210 : 컨트롤 포인트부
220 : VNC 클라이언트부
본 발명은 범용 플러그 앤 플레이(Universal Plug and Play, UPnP) 기반의 통합 홈 엔터테인먼트 시스템을 구성하는 통합 장치에 관한 것으로, 특히 통합 홈 엔터테인먼트 시스템에서 원격 제어 기능을 제공하기에 적당하도록 한 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템 및 그 제어방법 및 그 제어방법을 기록한 기록매체에 관한 것이다.
일반적으로 범용 플러그 앤 플레이(UPnP) 기술은 개인용 컴퓨터, 주변 장치, 지능형 가전제품, 무선 장비 등과 같은 장치들을 네트워크에 접속시켰을 때, 인터넷과 웹 프로토콜을 사용하여 다른 장치들을 자동으로 인식할 수 있도록 해주는 기술 표준으로서, 홈 네트워킹 기기간의 제어를 위한 미들웨어로서 널리 사용되고 있다.
통합 홈 엔터테인먼트 시스템은 다수 개의 AV 장치들로 이루어지는 동적인 네트워크를 구성하고, 각 장치별 정보를 상호 공유하고, 사용자가 이를 효과적으로 사용하거나 제어할 수 있도록 UPnP 기능을 탑재함으로써 홈 네트워크 영역내의 장치들에 대하여 AV 컨텐츠를 스트리밍 재생할 수 있게 한다.
도 1은 종래 UPnP AV 시스템의 블록구성도이다.
그래서 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템은 컨트롤 포인트(Control Point, CP)(10), 미디어 서버(Media Server, MS)(20), 미디어 렌더러(Media Renderer, MR)(30)로 구성된다.
미디어 서버(20)는 PC 또는 VCR 등과 같이 저장용 디스크가 있는 UPnP 장치로서 내부 혹은 외부에 저장된 다양한 컨텐츠들을 네트워크상에서 전송하는 기기이며, 미디어 렌더러(30)는 미디어 서버(20)로부터 컨텐츠를 전송받아서 사용자에게 전달하는 기기로서 비디오/오디오 플레이어, MP3 플레이어와 같은 재생 디바이스가 될 수 있다.
이러한 구성을 갖는 홈 엔터테인먼트 시스템에 있어서, 사용자가 컨트롤 포 인트(10)의 사용자 인터페이스(UI)를 이용하여 미디어 서버(20)의 컨텐츠를 선택하고 미디어 렌더러(30)를 선택하면, 선택된 컨텐츠는 선택된 미디어 렌더러(30)로 전달되어 재생될 수 있다.
이때 컨트롤 포인트(10)는 사용자의 명령에 따라 미디어 서버(20)와 미디어 렌더러(30)의 동작을 조정하거나 관리하는 기능을 수행한다. 사용자는 컨트롤 포인트(10)를 통해 현재 네트워크에 존재하는 장치에 대한 정보 및 각 디바이스에서 제공되는 서비스의 종류 등을 확인할 수 있다.
미디어 서버(20)는 현재 장치에 존재하는 컨텐츠 또는 접근 권한이 있는 다른 기기의 컨텐츠 리스트를 다른 장치에게 알리고, 다른 장치의 요구가 있는 경우에는 이를 해당 기기로 전송한다.
미디어 렌더러(30)는 컨텐츠를 재생할 수 있는 장치에 탑재되며, 미디어 서버(20)로부터 전송되는 컨텐츠를 재생하게 된다.
그러나 이러한 구성을 갖는 종래의 UPnP AV 프레임워크 기반의 홈 엔터테인먼트 시스템은 AV 컨텐츠 재생 서비스를 제공하고 장치에서 AV 서비스에 관련된 사항만 제어할 수 있을 뿐 각각의 장치가 갖고 있는 정보나 기능을 최대한으로 공유하고 각 장치를 직접 제어하기는 어려운 문제점이 있었다.
이에 본 발명은 상기와 같은 종래의 제반 문제점을 해결하기 위해 제안된 것으로, 본 발명의 목적은 UPnP AV 프레임워크 기반의 홈 엔터테인먼트 시스템에 있어서, 다른 기기의 정보와 기능을 최대한으로 사용할 수 있는 원격 컨텐츠 공유 서 비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템 및 그 제어방법 및 그 제어방법을 기록한 기록매체를 제공하는데 있다.
본 발명의 다른 목적은 UPnP AV 프레임워크 기반의 홈 엔터테인먼트 시스템에 있어서, 원격 장치의 사용자 인터페이스(User Interface, UI)를 공유할 수 있는 방법을 제공하는 것이다.
본 발명의 다른 목적은 UPnP AV 프레임워크 기반의 홈 엔터테인먼트 시스템에 있어서, 원격 제어를 지원하는 장치를 검색하는 방법을 제공하는 것이다.
상기와 같은 목적을 달성하기 위하여 본 발명의 일 실시예에 의한 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템은,
원격지에 존재하는 장치에게 서버의 UI를 제공하고, 홈 네트워크에 존재하며, 프로그램 목록을 관리하고 연결 정책을 관리하며 RFB 프로토콜 기반의 VNC 서버 기능을 수행하는 원격 UI 서버와; 상기 원격 UI 서버를 검색하고 원격지에서 상기 원격 UI 서버에 UI 공유를 요청하고, 컨트롤 포인트 기능과 VNC 클라이언트 기능을 수행하는 원격 UI 클라이언트;를 포함하여 이루어짐을 그 기술적 구성상의 특징으로 한다.
상기와 같은 목적을 달성하기 위하여 본 발명의 일 실시예에 의한 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템의 제어방법은,
현재 네트워크상에 존재하는 원격 UI 서버 정보를 수집하는 제 1 단계와; 상 기 제 1 단계 후 수집된 상기 원격 UI 서버의 정보를 이용하여 원격 제어를 할 원격 UI 서버를 선택하는 제 2 단계와; 상기 제 2 단계 후 선택한 상기 원격 UI 서버와 연결을 하기 위한 세션을 초기화하여 연결을 설정하는 제 3 단계와; 상기 제 3 단계 후 연결이 되었으면 상기 원격 UI 서버의 UI를 공유하게 하고 입력 이벤트를 전송하는 제 4 단계와; 상기 제 4 단계 후 원격 UI 클라이언트가 종료 메시지를 전송하면 세션을 종료하는 제 5 단계;를 포함하여 수행함을 그 기술적 구성상의 특징으로 한다.
이하, 상기와 같은 본 발명, 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템 및 그 제어방법 및 그 제어방법을 기록한 기록매체의 기술적 사상에 따른 일 실시예를 도면을 참조하여 설명하면 다음과 같다.
도 2는 본 발명의 일 실시예에 의한 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템의 블록구성도이다.
이에 도시된 바와 같이, 원격지에 존재하는 장치에게 서버의 UI를 제공하고, 홈 네트워크에 존재하며, 프로그램 목록을 관리하고 연결 정책을 관리하며 RFB(Remote Frame Buffer) 프로토콜 기반의 VNC(Virtual Network Computing) 서버 기능을 수행하는 원격(Remote) UI 서버(100)와; 상기 원격 UI 서버(100)를 검색하고 원격지에서 상기 원격 UI 서버(100)에 UI 공유를 요청하고, 컨트롤 포인트 기능과 VNC 클라이언트 기능을 수행하는 원격 UI 클라이언트(200);를 포함하여 구성된 것을 특징으로 한다.
도 3은 도 2에서 원격 UI 서버와 원격 UI 클라이언트의 구성을 개략적으로 보인 상세블록도이다.
이에 도시된 바와 같이, 상기 원격 UI 서버(100)는, 상기 원격 UI 클라이언트(200)의 요청이 있을 때 상기 원격 UI 클라이언트(200)에서 실행한 응용 프로그램의 목록과 현재 상태 정보를 전달하기 위해 저장하는 프로그램 목록 관리부(110)와; 상기 원격 UI 클라이언트(200)가 상기 원격 UI 서버(100)를 통하여 원격 제어를 실행하기 위한 연결 정책을 설정하거나 설정된 정책을 저장하는 연결 정책 관리부(120)와; 상기 원격 UI 클라이언트(200)에서 상기 원격 UI 서버(100)를 원격 접속 및 제어할 수 있도록 RFB 프로토콜을 제공하는 VNC 서버부(130);를 포함하여 구성된 것을 특징으로 한다.
상기 원격 UI 클라이언트(200)는, 원격 컨텐츠 공유 서비스를 제공하는 상기 원격 UI 서버(100)를 검색하고, 지원하는 상기 원격 UI 서버(100)에 대한 리스트를 보여주며, 원격 제어를 위해 상기 원격 UI 서버(100)와 상기 원격 UI 클라이언트(200) 간의 연결을 설정하는 컨트롤 포인트부(210)와; 상기 원격 UI 클라이언트(200)에서 상기 원격 UI 서버(100)를 원격 접속 및 제어할 수 있도록 RFB 프로토콜을 제공하는 VNC 클라이언트부(230);를 포함하여 구성된 것을 특징으로 한다.
상기 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템은, 프로그램 목록 및 현재 상태를 제공하는 상기 프로그램 목록 관리부(110)를 통해 프로그램 제어 서비스를 제공하는 것을 특징으로 한다.
상기 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템은, 상기 연결 정책 관리부(120)를 이용하여 상기 원격 UI 클라이언트(200)가 상기 원격 UI 서버(100)에 접속하여 원격 제어를 할 수 있는 세션 생성 및 관리를 통하여 원격 컨텐츠 공유 서비스를 제공하는 것을 특징으로 한다.
상기 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템은, 상기 원격 UI 클라이언트(200)가 상기 원격 UI 서버(100)를 탐색하고 상기 원격 UI 서버(100) 내의 연결 정책 관리부(120)로부터 받은 정보를 바탕으로 연결을 하는 상기 컨트롤 포인트부(210)를 사용하여 원격 컨텐츠 공유 서비스를 제공하는 것을 특징으로 한다.
또한 본 발명의 일 실시예에 의한 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템의 제어방법은, 현재 네트워크상에 존재하는 원격 UI 서버(100) 정보를 수집하는 제 1 단계와; 상기 제 1 단계 후 수집된 상기 원격 UI 서버(100)의 정보를 이용하여 원격 제어를 할 원격 UI 서버(100)를 선택하는 제 2 단계와; 상기 제 2 단계 후 선택한 상기 원격 UI 서버와 연결을 하기 위한 세션을 초기화하여 연결을 설정하는 제 3 단계와; 상기 제 3 단계 후 연결이 되었으면 상기 원격 UI 서버(100)의 UI를 공유하게 하고 입력 이벤트를 전송하는 제 4 단계와; 상기 제 4 단계 후 원격 UI 클라이언트(200)가 종료 메시지를 전송하면 세션을 종료하는 제 5 단계;를 포함하여 수행하는 것을 특징으로 한다.
상기 원격 제어는, 상기 원격 UI 서버(100)에 대한 주소 정보 및 연결 정보를 이용하여 수행하는 것을 특징으로 한다.
도 4는 본 발명의 일 실시예에 의한 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템의 제어방법에서 원격 제어 기능을 갖는 원격 UI 클라이언트가 원격 제어하는 과정을 순차적으로 보인 흐름도이다.
이에 도시된 바와 같이, 원격 UI 클라이언트(200)는 원격 제어 요청 명령이 있는지 판별하는 제 11 단계(ST11)와; 상기 제 11 단계에서 원격 제어 요청 명령이 있으면, 현재 홈 네트워크에 검색 메시지를 전달하고, 원격 UI 서버(100)가 검색되는지 판별하는 제 12 단계(ST12, ST13)와; 상기 제 12 단계에서 상기 원격 UI 서버(100)가 검색되면, 검색된 상기 원격 UI 서버(100)를 상대 장치로 선택하고, 요청 메시지를 전송한 다음 상기 상대 장치로부터 응답이 수신되는지 판별하는 제 13 단계(ST14, ST15)와; 상기 제 13 단계에서 상기 상대 장치로부터 응답이 수신되면, 상기 원격 UI 클라이언트(200)는 원격 제어를 위한 이벤트를 생성하고, 상기 상대 장치와의 원격 제어 세션을 종료시키는 제 14 단계(ST16, ST17);를 포함하여 수행하는 것을 특징으로 한다.
상기 제 13 단계는, 상기 원격 UI 서버(100)에 대한 검색시 상기 원격 UI 서버(100)의 주소 정보 및 연결 정보를 포함하여 수집하여 원격 제어에 이용하도록 하는 것을 특징으로 한다.
도 5는 본 발명의 일 실시예에 의한 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템의 제어방법에서 원격 제어 기능을 갖는 원격 UI 서버가 원격 제어되는 과정을 순차적으로 보인 흐름도이다.
이에 도시된 바와 같이, 원격 UI 서버(100)는 원격 제어 요청을 위한 초기화를 수행한 다음 원격 UI 클라이언트(200)로부터 상기 원격 UI 서버(100)에 대한 검색 메시지를 수신하는지 판별하는 제 21 단계(ST21, ST22)와; 상기 제 21 단계에서 상기 원격 UI 클라이언트(200)로부터 상기 원격 UI 서버(100)에 대한 검색 메시지를 수신하면, 상기 원격 UI 서버(100)는 상기 원격 UI 클라이언트(200)로 상기 원격 UI 서버(100)의 위치 정보 및 연결 정보를 전송하고, 상기 원격 UI 클라이언트(200)로부터 원격 제어 요청을 수신하는지 판별하는 제 22 단계(ST23, ST24)와; 상기 제 22 단계에서 상기 원격 UI 클라이언트(200)로부터 원격 제어 요청을 수신하면, 상기 원격 UI 서버(100)는 세션 생성 및 이벤트 처리를 수행한 다음 상기 원격 UI 클라이언트(200)로부터 종료 메시지를 수신하는지 판별하는 제 23 단계(ST25, ST26)와; 상기 제 23 단계에서 상기 원격 UI 클라이언트(200)로부터 종료 메시지를 수신하면, 상기 원격 UI 서버(100)는 원격 제어 세션을 종료시키는 제 24 단계(ST27);를 포함하여 수행하는 것을 특징으로 한다.
또한 본 발명의 일 실시예에 의한 기록매체는, 상기 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템의 제어방법을 수행하는 컴퓨터 판독 가능한 프로그램이 기록된 기록매체인 것을 특징으로 한다.
이와 같이 구성된 본 발명에 의한 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템 및 그 제어방법 및 그 제어방법을 기록한 기록매체의 바람직한 실시예를 첨부한 도면에 의거하여 상세히 설명하면 다음과 같다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있으며, 이에 따라 각 용어의 의미는 본 명세서 전반에 걸친 내용을 토대로 해석되어야 할 것이다.
먼저 본 발명은 통합 홈 엔터테인먼트 시스템에서 원격 제어 기능을 제공하고자 한 것이다.
전술한 기술적 과제를 달성하기 위한 본 발명의 특징은 범용 플러그 앤 플레이(UPnP) 기술을 이용한 원격 제어 시스템을 구성하는 장치에 관한 것으로서, 원격지에 존재하는 장치에게 서버의 UI를 제공하는 원격 UI 서버와 홈 네트워크에 존재하는 원격 UI 서버를 검색하고 원격지에서 원격 UI 서버에 UI 공유를 요청하는 원격 UI 클라이언트를 구성하여 원격 제어할 수 있도록 한다.
그래서 본 발명은 컨트롤 포인트로 원격의 원격 UI 서버에 접속하여 UI 공유 형태로 해당 장치를 조정하고 응용 프로그램을 실행하는 장치에서의 원격 제어 프로그램에 관한 것으로, 상기 원격 제어 프로그램은,
(a) 현재 컨트롤 포인트에서 원격 컨텐츠 공유 서비스를 요청하는 단계와,
(b) 홈 네트워크상에 존재하는 원격 UI 서버를 탐색하는 단계와,
(c) 탐색된 장치의 연결을 설정하는 단계와,
(d) 상기 원격 UI 서버로부터 UI를 공유하는 단계와,
(e) 원격 UI 클라이언트가 입력 이벤트를 발생하여 상기 원격 UI 서버를 제어하고 응용 프로그램을 실행하는 단계를 구비하여, 상기 통합 홈 엔터테인먼트 시스템에서 원격 제어가 가능하게 하는 원격 제어 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 기록된다.
도 2를 참조하면, 본 발명에 따른 UPnP AV 기반 홈 엔터테인먼트 시스템은 원격 UI 서버(100), 원격 UI 클라이언트(200) 등을 구비하며, 원격 UI 서버(100)와 원격 UI 클라이언트(200)는 UPnP 프로토콜 스택을 탑재하고 있으며, UPnP 스택을 이용하여 원격 UI 클라이언트(200)가 원격 UI 서버(100)를 검색할 수 있다. 원격 UI 서버(100)는 원격 UI 클라이언트(200)에게 자신의 로컬 UI를 공유할 수 있게 RFB(Remote Frame Buffer) 프로토콜을 사용하고, 원격 UI 클라이언트(200)는 원격 UI 서버(100)에 접속하여 원격 UI 서버(100)의 UI를 통해 원격 UI 서버(100)를 제어하는 기능을 수행한다.
원격 UI 클라이언트(200)는 UPnP AV 프레임워크의 기본 요소인 컨트롤 포인트와 통합되어 한 장치에 존재하는데, 컨트롤 포인트에서 원격 컨텐츠 공유 서비스를 위해 해당 서비스를 제공하는 원격 UI 서버(100)를 검색한다. 원격 UI 서버(100)로부터 받은 정보를 통해 홈 네트워크에 존재하는 장치들을 구분하는데 컨 트롤 포인트로 검색된 서버 중 하나를 선택하면 원격 UI 서버(100)와 원격 UI 클라이언트(200)간의 프로토콜을 통해 연결이 이루어지고, RFB를 통해 원격 UI 서버(100)의 UI가 원격 UI 클라이언트(200)로 전송되고, 원격 UI 클라이언트(200)에서 원격 UI 서버(100)로 입력 이벤트를 생성하여 원격 UI 서버(100)를 제어하게 된다.
도 3을 참조하여 본 발명의 바람직한 실시예에 따른 원격 제어 기능을 갖는 원격 UI 서버(100)와 원격 UI 클라이언트(200)의 구성 및 동작을 구체적으로 설명하면 다음과 같다.
먼저 도 2에서, 원격 UI 서버(100)는 프로그램 목록 관리부(110), 원격 제어 연결 정책 관리부(120), RFB 프로토콜을 제공하는 VNC 서버부(130)를 구비하며, 본 발명에 따른 원격 UI 서버(100)는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템에서 미디어 서버로서의 기능을 수행한다.
또한 원격 UI 클라이언트(200)는 원격 UI 서버(100)를 검색하고 이벤트를 생성하는 컨트롤 포인트부(210)와, 원격 UI 서버(100)와 RFB 프로토콜로 통신을 하는 VNC 클라이언트부(220)를 구비하며, 본 발명에 따른 원격 UI 클라이언트(200)는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템에서 컨트롤 포인트로서의 기능을 수행한다.
원격 UI 서버(100)에서 프로그램 목록 관리부(110)는 원격 UI 클라이언트(200)가 실행한 응용 프로그램의 목록과 현재 상태 관한 정보를 저장하고, 원격 UI 클라이언트(200)는 상기 정보를 요청하면 원격 UI 서버(100)는 이 정보를 전달 한다.
연결 정책 관리부(120)는 원격 UI 클라이언트(200)가 원격 UI 서버(100)를 통하여 응용 프로그램을 실행하기 위한 연결 정책을 설정하거나 설정된 정책을 저장한다.
VNC 서버부(130)는 RealVNC의 VNC(Virtual Network Computing) 기술을 바탕으로 RFB 프로토콜을 통해 실질적인 UI 공유 기능을 제공한다.
원격 UI 클라이언트(200)에서 컨트롤 포인트부(210)는 원격 컨텐츠 공유 서비스를 제공하는 원격 UI 서버(100)를 검색하고, 지원하는 원격 UI 서버(100)에 대한 리스트를 보여주며, 원격 제어를 위한 원격 UI 서버(100)와 원격 UI 클라이언트(200) 간의 연결을 설정한다.
VNC 클라이언트부(220)는 원격 UI 서버(100)의 UI를 원격 UI 클라이언트(200)의 화면에 보여주고 이벤트를 전달하여 원격 UI 서버(100)를 제어하거나 응용 프로그램을 실행한다.
이하, 도 4와 5를 참조하여 전술한 구성을 갖는 원격 제어 기능을 갖는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템의 원격 제어 과정을 구체적으로 설명한다.
도 4는 본 발명의 일 실시예에 의한 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템의 제어방법에서 원격 제어 기능을 갖는 원격 UI 클라이언트가 원격 제어하는 과정을 순차적으로 보인 흐름도이다.
이러한 도 4를 참조하면, 원격 UI 클라이언트(200)가 사용자로부터 원격 제어 명령을 입력받은 경우(ST11), 현재 홈 네트워크 내에 존재하는 원격 UI 서버(100)를 검색하기 위해 검색 메시지를 홈 네트워크에 멀티캐스팅 한다(ST12).
그런 다음, 원격 UI 클라이언트(200)는 네트워크에 존재하는 원격 UI 서버(100)를 찾으면(ST13), 원격 UI 서버(100)의 목록을 사용자에게 보여주고 사용자가 선택하면 원격 제어 메시지를 사용자가 선택한 원격 UI 서버(100)로 전송한다(ST14).
원격 UI 서버(100)로부터 응답 메시지를 받았을 경우(ST15), 원격 제어 세션이 생성되고 원격 UI 클라이언트(200)는 원격 제어를 위한 이벤트를 생성하여 원격 UI 서버(100)로 전달한다(ST16).
마지막으로 원격 제어를 종료하는 종료 메시지를 전달하면 원격 제어를 위한 세션이 종료되고(ST17), 원격 UI 클라이언트(200)의 원격 제어가 종료된다.
도 5는 본 발명의 일 실시예에 의한 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템의 제어방법에서 원격 제어 기능을 갖는 원격 UI 서버가 원격 제어되는 과정을 순차적으로 보인 흐름도이다.
이러한 도 5를 참조하면, 원격 UI 서버(100)는 원격 제어를 제공하기 위해 연결 정책을 설정하고 외부 요청을 받을 준비를 한다(ST21).
그래서 원격 UI 클라이언트(200)로부터 원격 UI 서버(100)에 대한 검색 메시지를 받으면(ST22), 자신의 위치 정보와 연결 설정 정보를 전달한다(ST23).
그리고 원격 UI 클라이언트(200)로부터 원격 제어 요청이 오면(ST24), 원격 UI 클라이언트(200)와 연결 세션을 생성하고, 원격 UI 클라이언트(200)로부터의 이벤트를 처리한다(ST25).
사용자가 원격 제어를 종료하는 종료 메시지를 전달하면(ST26), 원격 UI 서버(100)는 원격 UI 클라이언트(200)와의 원격 제어 세션을 종료한다(ST27).
이상에서 살펴본 바와 같이, 본 발명에 의한 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템 및 그 제어방법 및 그 제어방법을 기록한 기록매체는 홈 네트워크 내에서 멀티미디어 서비스만 이용하는 것이 아니라 상대방 장치의 UI를 원격지에서 공유하여 상기 장치를 완벽하게 제어할 수 있는 원격 제어 기능을 제공할 수 있게 된다.
또한 본 발명은 홈 네트워크에서 보안과 홈 자동화에도 응용가능하며 가정 내에서 사용자의 이동성을 확장해 줄뿐만 아니라 홈 네트워크 내에서 에이전트 시스템을 구축하면 외부 망으로도 확장이 가능하게 되어 홈 엔터테인먼트 시스템을 보다 확장하여 이용할 수 있는 효과도 있게 된다.
이상에서 본 발명의 바람직한 실시예에 한정하여 설명하였으나, 본 발명은 이에 한정되지 않고 다양한 변화와 변경 및 균등물을 사용할 수 있다. 따라서 본 발명은 상기 실시예를 적절히 변형하여 응용할 수 있고, 이러한 응용도 하기 특허청구범위에 기재된 기술적 사상을 바탕으로 하는 한 본 발명의 권리범위에 속하게 됨은 당연하다 할 것이다.

Claims (13)

  1. 원격지에 존재하는 장치에게 서버의 UI를 제공하고, 홈 네트워크에 존재하며, 프로그램 목록을 관리하고 연결 정책을 관리하며 RFB 프로토콜 기반의 VNC 서버 기능을 수행하는 원격 UI 서버와;
    상기 원격 UI 서버를 검색하고 원격지에서 상기 원격 UI 서버에 UI 공유를 요청하고, 컨트롤 포인트 기능과 VNC 클라이언트 기능을 수행하는 원격 UI 클라이언트를 포함하고,
    상기 원격 UI 서버는,
    상기 원격 UI 클라이언트의 요청이 있을 때 상기 원격 UI 클라이언트에서 실행한 응용 프로그램의 목록과 현재 상태 정보를 전달하기 위해 저장하는 프로그램 목록 관리부와;
    상기 원격 UI 클라이언트가 상기 원격 UI 서버를 통하여 원격 제어를 실행하기 위한 연결 정책을 설정하거나 설정된 정책을 저장하는 연결 정책 관리부와;
    상기 원격 UI 클라이언트에서 상기 원격 UI 서버를 원격 접속 및 제어할 수 있도록 RFB 프로토콜을 제공하는 VNC 서버부를 포함하며,
    상기 연결 정책 관리부를 이용하여 상기 원격 UI 클라이언트가 상기 원격 UI 서버에 접속하여 원격 제어를 할 수 있는 세션 생성 및 관리를 통하여 원격 컨텐츠 공유 서비스를 제공하는 것을 특징으로 하는 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 원격 UI 클라이언트는,
    원격 컨텐츠 공유 서비스를 제공하는 상기 원격 UI 서버를 검색하고, 지원하는 상기 원격 UI 서버에 대한 리스트를 보여주며, 원격 제어를 위해 상기 원격 UI 서버와 상기 원격 UI 클라이언트 간의 연결을 설정하는 컨트롤 포인트부와;
    상기 원격 UI 클라이언트에서 상기 원격 UI 서버를 원격 접속 및 제어할 수 있도록 RFB 프로토콜을 제공하는 VNC 클라이언트부;
    를 포함하여 구성된 것을 특징으로 하는 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템.
  4. 원격지에 존재하는 장치에게 서버의 UI를 제공하고, 홈 네트워크에 존재하며, 프로그램 목록을 관리하고 연결 정책을 관리하며 RFB 프로토콜 기반의 VNC 서버 기능을 수행하는 원격 UI 서버와;
    상기 원격 UI 서버를 검색하고 원격지에서 상기 원격 UI 서버에 UI 공유를 요청하고, 컨트롤 포인트 기능과 VNC 클라이언트 기능을 수행하는 원격 UI 클라이언트를 포함하고,
    상기 원격 UI 서버는,
    상기 원격 UI 클라이언트의 요청이 있을 때 상기 원격 UI 클라이언트에서 실행한 응용 프로그램의 목록과 현재 상태 정보를 전달하기 위해 저장하는 프로그램 목록 관리부와;
    상기 원격 UI 클라이언트가 상기 원격 UI 서버를 통하여 원격 제어를 실행하기 위한 연결 정책을 설정하거나 설정된 정책을 저장하는 연결 정책 관리부와;
    상기 원격 UI 클라이언트에서 상기 원격 UI 서버를 원격 접속 및 제어할 수 있도록 RFB 프로토콜을 제공하는 VNC 서버부를 포함하고,
    상기 원격 UI 클라이언트는,
    원격 컨텐츠 공유 서비스를 제공하는 상기 원격 UI 서버를 검색하고, 지원하는 상기 원격 UI 서버에 대한 리스트를 보여주며, 원격 제어를 위해 상기 원격 UI 서버와 상기 원격 UI 클라이언트 간의 연결을 설정하는 컨트롤 포인트부와;
    상기 원격 UI 클라이언트에서 상기 원격 UI 서버를 원격 접속 및 제어할 수 있도록 RFB 프로토콜을 제공하는 VNC 클라이언트부를 포함하며,
    상기 연결 정책 관리부를 이용하여 상기 원격 UI 클라이언트가 상기 원격 UI 서버에 접속하여 원격 제어를 할 수 있는 세션 생성 및 관리를 통하여 원격 컨텐츠 공유 서비스를 제공하는 것을 특징으로 하는 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템.
  5. 청구항 1 또는 청구항 4에 있어서,
    상기 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템은,
    프로그램 목록 및 현재 상태를 제공하는 상기 프로그램 목록 관리부를 통해 프로그램 제어 서비스를 제공하는 것을 특징으로 하는 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템.
  6. 삭제
  7. 청구항 3 또는 청구항 4에 있어서,
    상기 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템은,
    상기 원격 UI 클라이언트가 상기 원격 UI 서버를 탐색하고 상기 원격 UI 서버 내의 연결 정책 관리부로부터 받은 정보를 바탕으로 연결을 하는 상기 컨트롤 포인트부를 사용하여 원격 컨텐츠 공유 서비스를 제공하는 것을 특징으로 하는 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼 트 시스템.
  8. 현재 네트워크상에 존재하는 원격 UI 서버 정보를 수집하는 제 1 단계와;
    상기 제 1 단계 후 수집된 상기 원격 UI 서버의 정보를 이용하여 원격 제어를 할 원격 UI 서버를 선택하는 제 2 단계와;
    상기 제 2 단계 후 선택한 상기 원격 UI 서버와 연결을 하기 위한 세션을 초기화하여 연결을 설정하는 제 3 단계와;
    상기 제 3 단계 후 연결이 되었으면 상기 원격 UI 서버의 UI를 공유하게 하고 입력 이벤트를 전송하는 제 4 단계와;
    상기 제 4 단계 후 원격 UI 클라이언트가 종료 메시지를 전송하면 세션을 종료하는 제 5 단계를 포함하며,
    상기 원격 제어는,
    상기 원격 UI 서버에 대한 주소 정보 및 연결 정보를 이용하여 수행하는 것을 특징으로 하는 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템의 제어방법.
  9. 삭제
  10. 원격 UI 클라이언트는 원격 제어 요청 명령이 있는지 판별하는 제 11 단계와;
    상기 제 11 단계에서 원격 제어 요청 명령이 있으면, 현재 홈 네트워크에 검색 메시지를 전달하고, 원격 UI 서버가 검색되는지 판별하는 제 12 단계와;
    상기 제 12 단계에서 상기 원격 UI 서버가 검색되면, 검색된 상기 원격 UI 서버를 상대 장치로 선택하고, 요청 메시지를 전송한 다음 상기 상대 장치로부터 응답이 수신되는지 판별하는 제 13 단계와;
    상기 제 13 단계에서 상기 상대 장치로부터 응답이 수신되면, 상기 원격 UI 클라이언트는 원격 제어를 위한 이벤트를 생성하고, 상기 상대 장치와의 원격 제어 세션을 종료시키는 제 14 단계를 포함하며,
    상기 제 13 단계는,
    상기 원격 UI 서버에 대한 검색시 상기 원격 UI 서버의 주소 정보 및 연결 정보를 포함하여 수집하여 원격 제어에 이용하도록 하는 것을 특징으로 하는 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템의 제어방법.
  11. 삭제
  12. 삭제
  13. 청구항 8 또는 청구항 10 에 따른 상기 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV 프레임워크 기반의 통합 홈 엔터테인먼트 시스템의 제어방법을 수행하는 컴퓨터 판독 가능한 프로그램이 기록된 기록매체.
KR1020070026446A 2007-03-19 2007-03-19 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV프레임워크 기반의 통합 홈 엔터테인먼트 시스템 및 그제어방법 및 그 제어방법을 기록한 기록매체 KR100839331B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070026446A KR100839331B1 (ko) 2007-03-19 2007-03-19 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV프레임워크 기반의 통합 홈 엔터테인먼트 시스템 및 그제어방법 및 그 제어방법을 기록한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070026446A KR100839331B1 (ko) 2007-03-19 2007-03-19 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV프레임워크 기반의 통합 홈 엔터테인먼트 시스템 및 그제어방법 및 그 제어방법을 기록한 기록매체

Publications (1)

Publication Number Publication Date
KR100839331B1 true KR100839331B1 (ko) 2008-06-17

Family

ID=39771772

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070026446A KR100839331B1 (ko) 2007-03-19 2007-03-19 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV프레임워크 기반의 통합 홈 엔터테인먼트 시스템 및 그제어방법 및 그 제어방법을 기록한 기록매체

Country Status (1)

Country Link
KR (1) KR100839331B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101274566B1 (ko) 2010-10-05 2013-06-13 주식회사 케이티 UPnP 네트워크 기반의 자율 컴퓨팅 공유 방법 및 시스템
CN108320223A (zh) * 2018-04-11 2018-07-24 陈成 基于物联网远程控制的共享设备系统、方法以及共享空气净化器装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040000223A (ko) * 2002-06-24 2004-01-03 삼성전자주식회사 원격 사용자 인터페이스를 구동하는 홈 네트워크 시스템및 그 운용 방법
KR20040005464A (ko) * 2002-07-10 2004-01-16 엘지전자 주식회사 유피엔피(UPnP)를 이용한 홈 네트워크의 원격 제어시스템
KR20040035239A (ko) * 2002-10-19 2004-04-29 엘지전자 주식회사 피디에이를 이용한 에프에이브이 디바이스의 제어 시스템및 방법
KR20050102894A (ko) * 2004-04-23 2005-10-27 삼성전자주식회사 홈 미디어 센터의 원격 중계 방법 및 장치
KR20060001550A (ko) * 2004-06-30 2006-01-06 엘지전자 주식회사 인터넷을 이용한 UPnP 디바이스 제어 방법
KR20060032030A (ko) * 2004-10-11 2006-04-14 엘지전자 주식회사 네트워크를 이용한 디브이디 원격 재생 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040000223A (ko) * 2002-06-24 2004-01-03 삼성전자주식회사 원격 사용자 인터페이스를 구동하는 홈 네트워크 시스템및 그 운용 방법
KR20040005464A (ko) * 2002-07-10 2004-01-16 엘지전자 주식회사 유피엔피(UPnP)를 이용한 홈 네트워크의 원격 제어시스템
KR20040035239A (ko) * 2002-10-19 2004-04-29 엘지전자 주식회사 피디에이를 이용한 에프에이브이 디바이스의 제어 시스템및 방법
KR20050102894A (ko) * 2004-04-23 2005-10-27 삼성전자주식회사 홈 미디어 센터의 원격 중계 방법 및 장치
KR20060001550A (ko) * 2004-06-30 2006-01-06 엘지전자 주식회사 인터넷을 이용한 UPnP 디바이스 제어 방법
KR20060032030A (ko) * 2004-10-11 2006-04-14 엘지전자 주식회사 네트워크를 이용한 디브이디 원격 재생 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101274566B1 (ko) 2010-10-05 2013-06-13 주식회사 케이티 UPnP 네트워크 기반의 자율 컴퓨팅 공유 방법 및 시스템
CN108320223A (zh) * 2018-04-11 2018-07-24 陈成 基于物联网远程控制的共享设备系统、方法以及共享空气净化器装置

Similar Documents

Publication Publication Date Title
KR101809544B1 (ko) 범용 웹 애플리케이션을 이용하여 홈 네트워크 장치를 제어하는 방법 및 장치
US8060637B2 (en) Playback apparatus and playback control method
EP2047371B1 (en) Mapping universal plug and play discovered items to an smb location
JP6131248B2 (ja) 疎結合コンポーネントを使用した音声認識
JP5730914B2 (ja) Webブラウザにおける双方向通信および内容制御のシステムおよび方法
JP4772375B2 (ja) 電子機器およびコンテンツ管理方法
EP2353102B1 (en) Method and apparatus for managing state information of remote user interface
US8914464B2 (en) Information processing device, information processing method, and information processing system
US20130282792A1 (en) System and Method for a Distributed Virtual Desktop Infrastructure
KR101469540B1 (ko) 리소스 정보를 이용하여 UPnP 디바이스를 발견하는방법 및 장치
US20060089981A1 (en) Supporting device information of a combo device in a universal plug and play network
CN108632354A (zh) 物理机纳管方法、装置及云桌面管理平台
JP2005519353A (ja) 異なるネットワークの装置間の通信のインタフェースになる方法及び装置
JP4302057B2 (ja) シームレス・ユビキタスシステム及び記録媒体並びにコンピュータの処理継続方法
KR100839331B1 (ko) 원격 컨텐츠 공유 서비스를 지원하는 UPnP AV프레임워크 기반의 통합 홈 엔터테인먼트 시스템 및 그제어방법 및 그 제어방법을 기록한 기록매체
US20060129700A1 (en) Bridging a local bus with a data network
US10165082B2 (en) Method and apparatus for managing connection between plurality of devices over network
US20100250721A1 (en) Method and apparatus for reserving function of upnp device
JP5313367B2 (ja) 情報処理システム及びリモートアクセスを提供する方法
KR100724361B1 (ko) 미디어 파일 검색 시스템 및 방법
JP2008204269A (ja) サーバ装置、クライアント装置、通信方法およびプログラム
KR100743552B1 (ko) UPnP 프로토콜을 기반으로 한 스위칭 기능을 갖는 통합디바이스 및 스위칭 프로그램을 기록한 기록 매체
KR100501899B1 (ko) 범용 플러그앤플레이를 지원하기 위한 프록시 장치 및 그동작방법
KR100747295B1 (ko) 홈 네트워크에서 캐시를 이용하여 브라우징 액션의 성능을개선하는 방법
KR101726875B1 (ko) 홈 네트워크에서 위젯 패키지를 이용하여 원격 사용자 인터페이스 정보를 제공하기 위한 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130520

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130924

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160526

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190416

Year of fee payment: 12