KR20100098260A - 원격 사용자 인터페이스 디바이스를 제어하는 장치 및 방법 - Google Patents

원격 사용자 인터페이스 디바이스를 제어하는 장치 및 방법 Download PDF

Info

Publication number
KR20100098260A
KR20100098260A KR1020090035776A KR20090035776A KR20100098260A KR 20100098260 A KR20100098260 A KR 20100098260A KR 1020090035776 A KR1020090035776 A KR 1020090035776A KR 20090035776 A KR20090035776 A KR 20090035776A KR 20100098260 A KR20100098260 A KR 20100098260A
Authority
KR
South Korea
Prior art keywords
control
ruic
remote
ruis
information
Prior art date
Application number
KR1020090035776A
Other languages
English (en)
Other versions
KR101615624B1 (ko
Inventor
박호연
송재연
류영선
정보선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2010/001174 priority Critical patent/WO2010098591A2/en
Priority to CN201080018507XA priority patent/CN102415104A/zh
Priority to EP10746430.7A priority patent/EP2401871B1/en
Priority to US12/712,796 priority patent/US8441369B2/en
Publication of KR20100098260A publication Critical patent/KR20100098260A/ko
Application granted granted Critical
Publication of KR101615624B1 publication Critical patent/KR101615624B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/20—Binding and programming of remote control devices
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop

Abstract

원격 UI 디바이스를 제어하는 방법이, 제3 RUIC는 RUIS 및 RUIC를 발견하는 과정과, 발견된 RUIS 및 RUIC로부터 제어 UI를 수신하기 위한 정보를 수신하여 성능을 매칭하는 동작을 수행하여 원격 제어할 RUIS 및 RUIC를 결정하는 과정과, RUIS가 원격 UI를 발생하며, RUIC가 원격 UI 정보에서 제어 UI를 구성하여 전송하는 과정과, 제3 RUIC가 상기 RUIC에서 전송되는 제어 UI 정보를 수신하며, 수신된 제어 UI에 따라 RUIC를 원격 제어하는 과정으로 이루어지며, 제어 UI는 상기 RUIC를 제어하기 위한 명령어를 발생하기 위한 UI이다.
CUI, RUI, Remote Control, RC

Description

원격 사용자 인터페이스 디바이스를 제어하는 장치 및 방법{DEVICE AND METHOD FOR CONTROLLING REMOTE USER INTERFACE DEVICE}
본 발명은 원격지에 있는 제3의 장치에서 RUI(Remote User Interface) 디바이스를 제어하기 위한 방법 및 절차에 관한 것으로, 더욱 상세하게는 제3의 장치에서 렌더링되고 있는 Control UI를 컨트롤하여 RUI를 제공하거나, 제공받는 디바이스들을 제어하기 위한 방법에 관한 것이다.
DLNA(Digital Living Network Alliance), HAVi(Home Audio-Video Interoperability), UPnP(Universal Plug and Play) 등과 같은 많은 산업 표준 단체들에 의해 홈 네트워크 기술의 향상을 위한 연구가 활발히 진행되고 있다.
홈 네트워크에서 하나의 디바이스가 다른 디바이스의 기능을 제어하기 위해 RUI(Remote User Interface) 기술이 사용될 수 있다. 간단하게 설명하면, RUI 기술은 클라이언트-서버 아키텍쳐(client-server architecture)를 기반으로 한 것으로, RUI 클라이언트가 RUI 서버로부터 UI를 가져와서, 사용자가 RUI 클라이언트에서 UI를 통해 RUI 서버를 제어할 수 있도록 하는 기술이다.
도 1은 종래RUIS (Remote User Interface Server)(100)를 통해서 RUIC(Remote User Interface Client)(101)에게 RUI와 컨트롤 정보를 주고, 리모콘(102)으로 RUIC(101)에게 컨트롤 정보를 전송하여 RUIC(101) 디바이스를 컨트롤하는 모습을 도시한 도면이다.
상기 도 1을 참조하면, 기존의 리모콘(102)을 통해서 RUIC(101)를 컨트롤하기 위해서는 사용자는 리모콘의 어떤 키가 RUIC(100)의 어떤 기능을 컨트롤할 수 있는 지, 현재 RUIC(101)에서 렌더링되고 있는 RUI를 해당 키가 어떻게 컨트롤하는 지에 대해서 미리 알고 있어야 된다. 즉, 이미 알고 있는 기기만 제어가 가능하다. 또한, 리모콘은 RUIC(101)를 컨트롤할 수 있는 모든 경우의 수를 커버할 수 있는 버튼들을 가지고 있어야만 한다. 만약, 새로운 기능이 RUIS(100) 혹은 RUIC(101)에 들어온다면, 현재의 리모콘으로는 해당 기능을 컨트롤할 수 있는 방법이 없거나, 해당 기능을 컨트롤하기 위해서 기존에 사용하고 있는 키를 중복적으로 사용하여야 한다.또 다른 문제점으로는 획일화된 리모콘(102)의 컨트롤 UI로 사용자마다 특화된 컨트롤 UI를 제공하는 것이 불가능하다.
따라서, 본 발명이 해결하고자 하는 과제는, RUIC 디바이스, 그리고 RUIC 디바이스에서 렌더링되고 있는 다양한 RUI들을, 모바일이나 휴대장치(Portable device)와 같은 제3의 장치(RUIC)를 통해 사용자가 효과적으로 컨트롤하도록 하기 위한 방법 및 장치에 관한 것이다.
본 발명의 실시예에서는 제 3의 장치들이 RUIS 및/또는 RUIC 디바이스들을 발견(Discovery)하는 방법 및 과정, 제3 장치가 적절한 컨트롤 UI를 RUIS 및/또는 RUIC 디바이스로부터 받기 위한 성능 매칭(Capability Matching) 방법 및 과정, RUIS 및/또는 RUIC 디바이스로부터 제 3 장치(제3 RUIC)가 컨트롤 UI를 제공 받는 방법 및 과정, 실질적으로 제3 장치가 RUIC 디바이스를 컨트롤하는 방법 및 과정에 대한 정의를 한다.
본 발명의 실시예에 따른 원격 UI 디바이스를 제어하는 장치는, 컨텐츠를 제공하며, 원격 UI를 발생하는 원격 UI 서버인 RUIS와, 상기 원격 UI 정보에서 제어 UI를 구성하는 원격 UI 클라이언트인 RUIC와, 상기 제어 UI 정보를 수신하며, 상기 수신된 제어 UI에 따라 상기 RUIC를 원격 제어하는 제3 RUIC로 구성되며, 상기 제3 RUIC는 상기 RUIS 및 RUIC를 발견하고, 상기 발견된 RUIS 및 RUIC로부터 제어 UI를 수신하기 위한 정보를 수신하여 성능을 매칭하는 동작을 수행하여 원격 제어할 RUIS 및 RUIC를 결정하며, 상기 제어 UI는 상기 RUIC를 제어하기 위한 명령어를 발 생하기 위한 UI인 것을 특징으로 한다.
여기서 상기 제어 UI의 전송은 상기 RUIS가 원격 UI만 제공하며, 상기 RUIC가 제어 UI 관리기를 구비하며, 제어 UI 관리기 안에 제어 UI를 구비하고 상기 제3 RUIC에게 구비된 제어 UI를 전달할 수 있다. 또한 상기 제어 UI의 전송은 상기 RUIS가 원격 UI를 제공하고, 상기 RUIC가 제어 UI 관리기를 구비하며 상기 제어 UI 관리기가 상기 원격 UI를 분석하여 제어 UI를 만들어 상기 제3 RUIC에 전달할 수 있다. 또한 상기 제어 UI의 전송은 상기 RUIS가 제어 UI를 포함하는 원격 UI를 제공하고, 상기 RUIC가 제어 UI 관리기를 구비하며 상기 제어 UI 관리기가 상기 제어 UI를 추출하여 상기 제3 RUIC에 전달할 수 있다. 또한 상기 제어 UI의 전송은 상기 RUIS가 제어 UI url을 포함하는 원격 UI를 제공하고, 상기 RUIC가 제어 UI 관리기를 구비하며 상기 제어 UI 관리기가 상기 제어 UI url을 추출하여 상기 제3 RUIC에 전달하며, 상기 제3 RUIC가 상기 RUIS로부터 상기 제어 UI url에 해당하는 제어 UI를 수신할 수 있다.
그리고 본 발명의 다른 실시예에 따라 원격 UI 디바이스를 제어하는 장치는, 컨텐츠를 제공하며, 원격 UI를 발생하는 원격 UI 서버인 RUIS와, 상기 원격 UI 수신시 상기 RUIS와 디바이스 간의 발견 및 제어 UI를 수신하기 위한 정보를 수신하여 성능을 매칭하는 동작을 수행하여 상기 RUIS가 가지고 있는 원격 UI를 수신하는 원격 UI 클라이언트인 RUIC와, 상기 RUIC와 상기 성능 매칭 동작을 수행하며, 상기 RUIC로부터 원격 UI를 수신하는 도중, 혹은 수신한 후 상기 RUIS로부터 상기 수신된 원격 UI에 대응되는 제어 UI를 수신하며, 상기 수신된 제어 UI에 따라 상기 RUIC를 원격제어하는 제3 RUIC로 구성되며, 상기 제어 UI는 상기 RUIC를 제어하기 위한 명령어를 발생하기 위한 UI인 것을 특징으로 한다.
또한 본 발명의 실시예에 따른 원격 UI 디바이스를 제어하는 방법은, 상기 제3 RUIC는 상기 RUIS 및 RUIC를 발견하는 과정과, 상기 발견된 RUIS 및 RUIC로부터 제어 UI를 수신하기 위한 정보를 수신하여 성능을 매칭하는 동작을 수행하여 원격 제어할 RUIS 및 RUIC를 결정하는 과정과, 상기 RUIS가 원격 UI를 발생하며, 상기 RUIC가 원격 UI 정보에서 제어 UI를 구성하여 전송하는 과정과, 상기 제3 RUIC가 상기 RUIC에서 전송되는 제어 UI 정보를 수신하며, 상기 수신된 제어 UI에 따라 상기 RUIC를 원격제어하는 과정으로 이루어지며, 상기 제어 UI는 상기 RUIC를 제어하기 위한 명령어를 발생하기 위한 UI인 것을 특징으로 한다.
여기서 상기 제어 UI를 전송하는 과정은 상기 RUIS는 원격 UI만 제공하는 과정과, 상기 RUIC가 제어 UI를 구비하고 상기 원격 UI 수신시 상기 제3 RUIC에 구비된 제어 UI를 전달하는 과정으로 이루어질 수 있다. 또한 상기 제어 UI를 전송하는 과정은, 상기 RUIS가 원격 UI를 제공하는 과정과, 상기 원격 UI 수신시 상기 원격 UI를 분석하여 제어 UI를 구성하여 상기 제3 RUIC에 전달하는 과정으로 이루어질 수 있다. 또한 상기 제어 UI를 전송하는 과정은, 상기 RUIS가 제어 UI를 포함하는 원격 UI를 전송하는 과정과, 상기 RUIC가 수신되는 상기 원격 UI에 포함된 상기 제어 UI를 추출하여 상기 제3 RUIC에 전달하는 과정으로 이루어질 수 있다.
그리고 상기 제3 RUIC가 상기 RUIC를 제어하는 과정은 상기 제3 RUIC가 HTTP 메시지(예: GET, POST, PUT 등등) 내에 제어 UI 정보를 포함시켜 상기 RUIC에 전송 할 수 있다. 또한 제3 RUIC가 상기 RUIC를 제어하는 과정은, 상기 제3 RUIC가 HTTP 메시지 내에 제어 UI 정보 및 제어를 원하는 제어 타겟 정보를 포함시켜 상기 RUIS에 전송하는 과정과, 상기 RUIS가 상기 제어타겟 정보를 분석하여 타겟이 RUIS이면 상기 제어 UI 정보를 자체적으로 처리하고 결과를 상기 RUIC에 통지하며, 타겟이 RUIC 이면 상기 제어 UI 정보를 상기 RUIC에 전달하는 과정으로 이루어질 수 있다.
상술한 바와 같이 본 발명을 통해서 RUIC 디바이스, 그리고 RUIC 디바이스에서 렌더링되고 있는 RUI에 대해서, 디바이스 별로, RUI 별로, 혹은 사용자 별로, 제 3의 장치(RUIC)에서 렌더링되고 있는 특화된 컨트롤 UI를 통해서 필요한 컨트롤 기능들만 사용하여 해당 디바이스 및 RUI를 제어할 수 있다. 또한, 더 나아가 컨트롤에 대한 부가적인 정보, RUI 혹은 RUI에 포함된 컨텐츠에 대한 부가적인 정보 및 사용자에 특화된 부가 정보 제공 등과 같이 추가적인 효과까지 얻을 수가 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하 본 발명의 실시예에서, 원격 UI 서버(Remote User Interface Server, RUIS)는 클라이언트-서버 아키텍쳐 시스템에서 클라이언트에 원격 UI(remote user interface: 이하 RUI라 칭함) 및 제어정보(control information)를 전송하는 장치(divice)를 의미한다. 원격 UI 클라이언트(Remote User Interface Client: 이하 RUIC라 칭함)는 원격 UI 서버(RUIS)로부터 UI를 수신하며, 이 UI에 의해 원격 UI 클라이언트(RUIC) 및/또는 UI 클라이언트(RUIC)에서 랜더링되는 원격 UI(RUI)를 제어하는 장치를 의미한다. 제3 장치는 원격 제어 UI 장치(remote control RUIC device)로써 UI를 통해 원격 UI 클라이언트(RUIC)를 제어하며, UI는 상기 원격 UI 클라이언트(RUIC) 또는 원격 UI 서버(RUIS)로부터 제공받을 수 있다. 여기서 상기 제3 장치는 모바일 기기(예를들면 휴대전화기 등), 휴대장치(예를들면 통신 기능을 가지는 소형 표시장치들) 등이 될 수 있다. 이하의 설명에서 상기 원격 제어 UI 장치는 제3장치 또는 제3 RUIC로 혼용되어 사용될 것이다.
본 발명의 실시예는 RUIC, 그리고 RUIC에서 렌더링되고 있는 다양한 RUI들을 모바일이나 휴대장치(Portable device)와 같은 제3 장치를 통해 사용자가 효과적으로 컨트롤하도록 하기 위한 방법 및 장치를 제공한다.
이를 위하여 본 발명의 실시 예에서는 제3의 장치들이RUIS, RUIC 디바이스들을 발견(Discovery)하는 방법 및 과정, 제3 장치가 적절한 컨트롤 UI를 RUIS, RUIC 디바이스로부터 받기 위한 성능 매칭(Capability Matching) 방법 및 과정, RUIS, RUIC 디바이스로부터 제3 장치가 컨트롤 UI를 제공 받는 방법 및 과정, 실질적으로 제3의 장치가 RUIC 디바이스를 컨트롤하는 방법 및 과정을 정의한다.
본 발명의 실시 예는 상기한 바와 같이 리모콘의 한계를 넘기 위해서는 모바일이나 휴대장치(Portable device)와 같은 UI를 표시(display)할 수 있는 제3 장치(Remote UI device)를 통해 사용자에게 UI에 맞는 컨트롤 정보를 제공하거나 또는 사용자에 특화된 부가 정보(Personalized UI)를 제공하여, 제공된 컨트롤 정보를 통한 RUIC를 제어한다. 여기서 사용자에게 꼭 필요한 컨트롤 정보가 제공된다는 뜻은 여러 가지로 해석될 수 있다. RUIC에서 렌더링되고 있는 현재 RUI를 컨트롤 할 수 있는 정보들만 제3 장치에 제공될 수 있고, 각각의 제3 장치들을 사용하는 사용자에 맞는, 즉 개인화된 컨트롤 정보들이 제공될 수 있다. 또한 상기 제3 장치는 RUIS, RUIC를 만드는 디바이스 업체들이 고유하게 가지고 있는 컨트롤 정보들을 제공받을 수 있다.
도 2는 본 발명의 실시예에 따라 특화된 UI를 가진 제3 장치(200, 201)를 통해 RUIC(101)를 제어하는 방법을 도시한 도면이다.
상기 도 2를 참조하면,RUIS(100)는 RUIC(101)에게 원격으로 RUI를 전송하고, 전송된RUI(remote user interface)는 RUIC(101) 화면에 렌더링된다. 제3 장치(제3 RUIC)(200, 201)는 RUIC(101)를 컨트롤 할 수 있는 UI(CUI: control user interface)를 통해 RUIC(101)를 컨트롤하며, 이는 RUIS(100) 및/또는 RUIC(101)에서 제공 받을 수 있다. 상기 제3 장치(제3 RUIC)들(200, 201) 화면에 렌더링되는 컨트롤 정보는 각각의 제3 장치(제3 RUIC)(200,201)들을 사용하고 있는 사용자에 맞게 개인화되어서 표현된다. 또한, RUIC(101)에서 렌더링되고 있는 RUI에 필요한 컨트롤 정보만을 사용자에게 보여준다. 이러한 컨트롤 정보와 더불어 사용자에게 RUI, 컨트롤 정보, 혹은 기타 유용한 부가적인 정보들이 함께 제공될 수 있다. 사용자는 렌더링된 컨트롤 정보를 통해서 RUIC(101)혹은 RUIC(101)에서 렌더링되고 있는 RUI를 제어할 수 있다. 여기서 상기 제3 장치(제3 RUIC)(200, 201)은 상기한 바와 같이 통신 기능을 가지는 휴대단말기가 될 수 있다. 이때 상기 휴대단말기는 공중 무선망(cdma, LTE, umts 등) 또는 사설 무선망( wibro, wimax, wifi 등) 또는 근거리 무선 통신망(Bluetooth, Zigbee, Ultra-wideband) 등을 통해 통신할 수 있는 기기가 될 수 있다. 또한 상기 휴대단말기는 휴대전화기(mobile phone) 또는 통신 기능을 가지는 소형 표시장치 들이 될 수 있다.
도 3은 본 발명의 제3 RUIC(302)를 통해서 기존의 RUIC(300)를 제어하기 위한 필요한 프로토콜(304, 305) 절차(306)를 정의한 도면이다.
상기 도 3을 참조하면,RUIC(300)는 현재 사용되고 있는프로토콜(existing protocol)(303)을 통해서 RUIS(301)로부터 RUI와 컨트롤 정보를 수신한다. 그러나 제3 RUIC(302)(즉, remote control RUIC device)(302)를 통해서 RUIC(101)를 제어하기 위해서는 새로운 프로토콜들이 정의(define protocol)되어야 한다.
여기서 상기 제3 RUIC(원격제어RUIC)(302)와 RUIC(300) 및/또는 RUIS(301) 간에 정의되어야 할 새로운 프로토콜은하기 <표 1>과 같으며, 그 내용은다음과 같다.
1. discovery
2. capability matching
3. transfer CUI
4. control
상기 <표 1>을 참조하면,먼저 제3 RUIC(302)가 RUIS(301) 및 RUIC(300)를 발견하는(Device Discovery) 과정이 필요하다. 두 번째로RUIC 및 RUIS가 발견된 후에는 컨트롤 UI를 가져오기 위해 필요한 정보를 가져와서 비교하는capability matching 과정이 필요하다. 세 번째로제3 RUIC(302)가 RUIC(300)를 컨트롤할 수 있고, 컨트롤UI(control UI: CUI)까지 가져올 수 있다는 것까지 인식이 되면 제3 RUIC(302)에 컨트롤 UI를 전달하는 과정이 필요하다. 이후 제3 RUIC(302)가 컨트롤 UI를 전송받으면, 전송받은 컨트롤 UI를 렌더링한 뒤, 사용자는 렌더링된 컨트롤 UI를 통해서 실제적으로 RUIC(300)를 컨트롤하는 과정을 거친다.
도 4는 본 발명의 제3 RUIC(302)를 통한 다른 RUIC(300), RUIS(301)들을 발견(discovery))하는 방법을 설명하기 위한 도면이다.
상기 도 4를 참조하면,제3 RUIC(302)가 다른 RUIC(300), RUIS(301)들을 발견(discovery)하는 방법은 크게 2가지가 존재한다.
첫 번째로 제3 RUIC(302)는 모든 RUIC(300), RUIS(301)들을 발견(discovery)하고, 메타 데이터(metadata)를 통해서 발견된 RUIC(300)가 제3 RUIC(302)에 의해 컨트롤될 수 있는 디바이스인지 여부를 파악한다. 컨트롤될 수 있는지 여부를 판별할 수 있는 메타 데이터로는 Device Description 혹은 Capability Description이 사용될 수 있고, 제3 RUIC(302)가 판별할 수 있는 값을 가지고 있다. 제3 RUIC(302)는 발견된 RUIC(300) 혹은 RUIS(301)의 메타 데이터를 통해서 해당 RUIC(300)가 컨트롤될 수 있는 디바이스인지 여부를 파악한 뒤, 컨트롤 UI를 줄 수 있는 지를 확인하기 위한 성능 매칭(capability matching) 과정에 들어간다.
두 번째로 제3 RUIC(302)는 발견(discovery) 메시지를 보내는 단계에서부터 제3 RUIC(302)에 의해 컨트롤될 수 있는 RUIC(300), RUIS(301)만을 찾는다는 정보를 넣어서 상기 발견(discovery) 메시지를 보낸다. 예를 들면, UPnP Discovery 메시지에서 ST (Search Target) 필드 안에 제3 RUIC(302)에 의해 컨트롤될 수 있는 RUIC(300), RUIS(301) 만을 찾는다는 타겟 정보를 넣어서 보낼 수 있다. 그러면, 제3 RUIC(302)에 의해 컨트롤될 수 있는 RUIC(300), RUIS(301)들 만이 해당 요청에 대한 응답 메시지를 제3 RUIC(302)에게 전송한다. 해당 응답 메시지를 전송 받은 제3 RUIC(302)는 응답 메시지를 보낸 RUIC(300), RUIS(301)들에 대한 Device Description을 분석한 뒤, Capability Description을 분석하는Capability Matching 과정에 들어간다. 여기서 Capability Matching 과정은 위에서도 언급하였듯이 발견된 RUIC(300), RUIS(301)로부터 컨트롤 UI를 받을 수 있는지 여부를 파악하기 위한 것이다.
도 5는 본 발명의 제3 RUIC(302)에 의해 Discovery(발견)된 RUIC(300), RUIS(301)로부터 제3 RUIC(302)에게 컨트롤 UI가 전달되는 방법을 도시한 도면이다.
상기 도 5를 참조하면,제3 RUIC(302)에게 컨트롤 UI가 전달될 수 있는 방법은 크게 2 가지가 존재한다. 그 한가지 방법은 RUIS(301)이 컨트롤 UI에 관련된 정보를 RUIC(300)에 전송하고, 상기 RUIC(300)이 컨트롤 UI를 제3 RUIC(302)에 전송하는 방법이다(도 5의 1번 진행 방향). 그러나 다른 한가지 방법은 RUIS(301)이 상기 RUIC(300)을 경유시키지 않고 상기 제3 RUIC(302)에 직접 전송하는 방법이다(도 5의 2번 진행 방향).
상기 도 5에서1번 방향으로 컨트롤 UI를 전달하는 방법으로 다양한 방법으로 구현할 수 있다. 하기에서 설명될 도 6, 도 7, 도8 그리고 도9는 컨트롤 UI가 1번 방향으로 전달되는 경우를 도시한 도면이고, 도 10과 도 11은 1번 방향으로 컨트롤 UI를 가져올 수 있는 정보를 보내며, 2번 방향으로는 실제 컨트롤 UI를 가져오는 혼합된 경우를 나타내며, 마지막으로 도 12는 RUIS(301)로부터 컨트롤 UI에 관련된 모든 것을 직접 가져오는 경우를 도시한 도면이다.
도 6은 본 발명의 RUIC(300) 자체에 내장된 기본 컨트롤 UI를 제3 RUIC(300)에게 전달하는 모습을 도시한 도면이다.
상기 도 6을 참조하면, 상기 RUIC(300)는 컨트롤 UI(600)를 구비한다. 그리고RUIS(301)는 RUIC(300)에 RUI(601)만을 제공하고, RUIC(300)가 기본적으로 가지고 있는 컨트롤 UI(600)를 제3 RUIC(302)에게 제공한다. 상기 RUIC(300)가 기본적으로 가지고 있는 컨트롤 UI(600)는 RUIC(300) 고유의 컨트롤 기능을 제공하거나, 상기 RUIS(301)가 제공하는 RUI(601)를 공통적으로 컨트롤할 수 있는 기능 등을 담고 있을 수 있다.
도 7은 본 발명의 RUIS(301)로부터 전해지는RUI(601)를 RUIC(300) 안의 내장된 컨트롤 UI 관리기(control User interface manager)(710)에 의해서 분석되고, 분석된 결과를 바탕으로 컨트롤 UI(600)가 만들어지는 모습을 도시한 도면이다.
상기 도 7을 참조하면, 상기 RUIC(300)는 컨트롤 UI 관리기(control UI manager)(700)를 구비한다. 상기 컨트롤 UI 관리기(710)는RUIS(301)로부터 전달받은 RUI(601)를 자체적으로 파싱(parsing)하여 전달받은 RUI(601)를 컨트롤할 수 있는 컨트롤 UI(600)를 생성하는 역할을 한다. 즉, RUIS(301)로부터 전달된 RUI(601)는 분석(analyze) 과정을 통해 해당 RUI(601)를 컨트롤할 수 있는 컨트롤 정보들이 추출되고, 실제적으로 제3 RUIC(302)에 전달될 수 있는 컨트롤 UI(600)를 만드는 과정인 생성(make) 과정을 거친다. 이렇게 만들어진 컨트롤 UI(600)는 제3 RUIC(302)에게 전달된다.
도 8과 도 9는 RUIS(301)가 RUIC(300)에게 RUI(601)와 컨트롤 UI(600)를 함께 묶어서 보내는 경우를 나타낸 도면이다. 상기 6 및 도 7의 경우,는 RUIC(300)에게 RUI(601)를 제공할 때, 상기 RUI(601)에 대한 컨트롤을 신경 쓸 필요가 없었다. 하지만 RUIS(301)에서 자신이 보내는 RUI(601)에 대한 컨트롤 UI까지 지정해주고 싶은 경우에는 상기 도 8과 도 9에서 도시한 방식을 사용하면 된다.
도 8은 본 발명의 RUIS(301)로부터 전달된 RUI(601) 내부에 컨트롤 UI(600)를 삽입하여RUIC(300)에 전달하는 모습을 도시한 도면이다.
상기 도 8을 참조하면, RUIS(301)에서 전달되는 UI는 RUI(remote UI)(601)와 CUI(control UI)(810)를 포함하며, RUIC(300)는 컨트롤 UI 관리기(710)를 포함한다. 따라서 상기 RUIS(301)는 상기 RUIC(300)에 UI 정보를 전달할 때 컨트롤 UI(810)가 포함된 RUI(601)를 RUIC(300)에 전달한다. 그러면 상기 안의 상기 컨트롤 UI 관리기(710)는 전달된 RUI(601)로부터 컨트롤 UI(600)를 추출한 뒤, 이를제3 RUIC(302)에 컨트롤 UI(600)로전달한다. 상기 컨트롤 UI(600)의 구조는 하기 <표 2>와 같은 구조를 가질 수 있다.
Figure 112009024858167-PAT00001
도 9는 본 발명의 RUIS(301)가 RUIC(300)에게 RUI와 컨트롤 UI를 마임 형태(Multipart MIME type)로 전달하는 모습을 도시한 도면이다.
상기 도 9를 참조하면,이 방법 역시 상기 도 8과 비슷한 방식이며, 단지 도 8에서는 RUI(601) 내부에 컨트롤 UI(600)를 삽입한 반면, 도 9에서의 방식은 RUI(601)와 컨트롤 UI(600)를 하나의 마임 형태(Multipart MIME type)로 감싸서 RUIC(300)에게 전달한다.
도 10은 본 발명의 RUIS(301)로부터 전달되는RUI(601) 안에 컨트롤 UI를 받을 수 있는 URL 정보(1002)를 담아서 RUIC(300)에게 전달해 주는 모습을 도시한 도면이다.
상기 도 10을 참조하면, RUIS(301)는 RUI(601)에 컨트롤 UI url(1002)를 포함시켜 전송하며, RUIC(300)는 상기 컨트롤 UI url(1002)를 추출하기 위한 컨트롤 UI 관리기(710)를 구비한다. 이때 상기 RUIS(301)가 컨트롤 UI url(1002)를 포함하는RUI(601)을 RUIC(300)에 전송하면, 상기RUIC(300) 내부의컨트롤 UI 관리기(710)는전달받은RUI(601)로부터 컨트롤 UI에 대한 URL(1002)을 추출한 뒤, 제3 RUIC(300)에게 전송한다. 그러면 컨트롤 UI에 대한 URL(1002)를 전달받은 제3 RUIC(300)는 해당 URL(1002)을 통해서 RUIS(301)로부터 컨트롤 UI(600)를 전달받는다. 상기 컨트롤 UI url(1002)의 구조는 하기 <표 3>과 같은 구조를 가질 수 있다.
Figure 112009024858167-PAT00002
도 11은 본 발명의 RUIS(301)로부터 전달된 RUI(601) 관련 정보를 통해 제3 RUIC(300)가 RUIS(301)로부터 컨트롤 UI(600)를 가져오는 방법을 도시한 도면이다.
상기 도 11을 참조하면,RUIC(300)와 RUIS(301) 간의 Discovery 및 Capability Matching 과정을 통해 상기 RUIC(300)는RUIS(301)가 가지고 있는 RUI에 대한 정보들을 가져온다. 그리고 상기RUIC(300)가 하나의 RUI를 렌더링한 상태에서 제3 RUIC(302)와 RUIC(300) 간의 Discovery 및 Capability Matching 과정이 진행되면, 제3 RUIC(302)는 RUIC(300)로부터 현재 렌더링되고 있는 RUI에 대한 정보(1102)를 가져올 수 있다. RUI에 대한 정보(1102)를 받은 제3 RUIC(302)는 해당 정보를 통해서 RUIS(301)에게 현재 렌더링되고 있는 RUI(601)에 대한 컨트롤 UI(600)를 요청하고, 요청을 받은 RUIS(301)는 제3 RUIC(302)에게 컨트롤 UI(600)를 전송한다.
도 12는 본 발명의 RUIS(301)로부터 직접 컨트롤 UI(600)를 받는 모습을 도시한 도면이다.
상기 도 12를 참조하면, 제3 RUIC(302)는 RUIS(301)에 컨트롤 UI를 요구(request)하며, 상기 RUIS(301)은 상기 제3 RUIC(302)요구에 따른 응답(response)으로 컨트롤 UI를 상기 제3 RUIC(302)에 전달한다. 즉,제3 RUIC(302)는 RUIC(300)로부터는 어떠한 정보도 전달받지 않고, 오로지 RUIS(301)를 발견(discovery)한 뒤, 직접 컨트롤 UI(600)를 전달받는다. 상기 RUIS(301)는 연결된 RUIC(300)에 대한 정보를 가지고 있으며, 제3 RUIC(302)로부터 컨트롤 UI 요청이 들어오면, 현재 연결된 RUIC(300) 목록을 제3 RUIC(302)에게 전달하고, 제3 RUIC(302)는 목록에서 컨트롤하길 원하는 RUIC(300)를 선택한다. 선택된 RUIC(300)의 정보는 RUIS(301)에게 전달되고, RUIS(301)는 제3 RUIC(302)가 선택한 RUIC(300)를 컨트롤할 수 있는 컨트롤 UI(600)를 제3 RUIC(302)에게 전송한다.
도 13는 본 발명의 제3 RUIC(302)가 컨트롤 UI(600)를 전달받은 뒤, 실제 RUIC(300)를 컨트롤하는 방법을 도시한 도면이다.
상기 도 13을 참조하면, 상기 도 6 - 도 12와 같은 절차로 상기 RUIC(300) 또는 RUIS(301)로 컨트롤 UI를 수신한 후, 사용자의 선택에 따른 UI에 따라 상기 RUIC(300)를 제어한다. 이때 상기컨트롤 UI(600)를 전달받은 제3 RUIC(302)는 직접 RUIC(300)에게 컨트롤 정보를 전달하여 컨트롤하는 방법(상기 도 13의 경우 1번 진행 방향의 제어 방법)이있으며, 또 다른 방법으로는 RUIS(301)에게 컨트롤 정보를 전달하여, RUIC(300)를 컨트롤하는 방법(상기 도 13의 경우 2번 진행 방향의 제어 방법)도 있다.
첫 번째로 제3 RUIC(302)에서 RUIC(300)로 직접 컨트롤 정보를 전달하는 방법은 다음과 같다. 제3 RUIC(302)는 HTTP 메시지 안에 원하는 컨트롤 정보를 삽입한 뒤, RUIC(300)에게 전송한다. 제3 RUIC(302)로부터 전달받은 컨트롤 정보는 HTTP 메시지 방식이므로, RUIC(300)는 HTTP 메시지를 처리할 수 있어야 한다. 먼저제3 RUIC(302)로부터 전달된 컨트롤 정보가 RUIC(300) 고유의 성질을 컨트롤하는 것이라면 RUIC(300)는 자체 내에서 해당 컨트롤 정보를 처리해야 한다. 두 번째로 RUIS(301)로부터 전송된 Remote UI(RUI)를 컨트롤하는 것이라면, RUIC(300)는 HTTP 메시지로부터 컨트롤 정보를 추출한 뒤, 상기 RUIC(300)의 내부에 구성되는 도시하지 않은 렌더러(RUI renderer)에서 이벤트를 발생시킨다. 이후 상기 렌더러(renderer)에서는 HTTP 메시지를 통해 RUIS(301)에게 컨트롤 정보를 전달한다.
두 번째로 상기제3 RUIC(302)가 RUIC(300)가 아닌 RUIS(301)에게 컨트롤 정보를 전송하기 위한 방법은 다음과 같다. 상기 제3 RUIC(302)는 RUIS(301) 내의 컨트롤 정보가 처리될 URL을 통해서 RUIS(301)에 HTTP 메시지를 전송한다. 제3 RUIC(302)는 HTTP 메시지를 통해서 컨트롤 정보와 컨트롤하길 원하는 RUIC(300)에 대한 정보를 함께 전송한다. 컨트롤 정보와 컨트롤 타겟 정보를 받은 RUIS(301)는 전송받은 컨트롤 정보와 컨트롤 타겟 정보를 분석한다. 먼저컨트롤 타겟 정보 분석에 있어서 RUIC(300)에서 렌더링되고 있는 RUIS(301)로부터의 Remote UI(RUI)가 컨트롤될 대상이라면, RUIS(301)는 자체 내에서 컨트롤 정보를 처리하고, 컨트롤된 결과를 RUIC(300)에게 notification을 이용하여 반영하도록 한다. 두 번째로컨트롤될 대상이 RUIC(300) 자체 고유 특성이면, 컨트롤 정보를 RUIS(301) 내에서 처리하지 않고, 통지(notification)를 이용하여, 그대로 RUIC(300)에 전달한다.
도 14 내지 도 16은 본 발명의 실시 예에 따른 원격 UI 디바이스를 제어하는 방법을 설명하기 위한 도면이다.
도 14에서 설명하는 실시 예는IRCF-S(IPTV Remote Control Function - Server)(1404)가 DAE(Declarative Application Environment)(1403) 안에 포함된 경우를 가정하며, 이는 Open IPTV Forum Architecture 스펙에 적용될 수 있다.
상기 도 14를 참조하면, OITF(Open IPTV Terminal Function) 단말(1400)은 DAE(1403)를 포함하며, DAE(1403)는IRCF-S(1404)를 포함한다. 또한, Remote Device(1402)는 IRCF(1405)를 포함한다. IRCF(1405)와 IRCF-S(1404)는 서로 간에 발견할 수 있는 기능을 가지며, 일례로 UPnP Discovery 기능과 같은 발견 기능을 가질 수 있다. IRCF-S(1404)는 제어 UI를 IRCF(1405) 요청에 의해 제공할 수 있으며, IRCF(1405)는 IRCF-S(1404)로부터 제공받은 제어 UI를 자신의 화면에 렌더링한다. OITF 단말(1400)과 Remote Device(1402) 간의 발견 과정에 있어서 Remote Device(1402)에는 IRCF(1405)를 통해서 OITF 단말(1400)들을 발견하거나, OITF 단말(1400)에 의해 발견될 수 있으며, OITF 단말(1400)에서는 IRCF-S(1404) 혹은 DAE(1403) 혹은 제 3의 엔터티에 의해서 Remote Device(1402)를 발견하거나 Remote Device(1402)에 의해 발견될 수 있다. 여기서, Remote Device(1402)는 모바일 장치(Mobile Portable Device)혹은 휴대 장치(Portable Device)가 될 수 있다.
RUIS(1401)는OITF 단말(1400)의 DAE(1403)에게 제어(Control) UI(CUI) 혹은 제어 UI 정보와 원격(Remote) UI(RCUI)를 전송한다. 그러면, DAE(1403)는 RUIS(1401)로부터 전송 받은 제어 UI(CUI)를 분리하여, IRCF-S(1404)에게 전달한다.
이때, DAE(1403)가 전송하는 제어 UI(CUI)는 원격 UI(Remote UI)를 포함할 수 있다.
Remote Device(1402)는 자신의 IRCF(IPTV Remote Control Function)(1405) 기능을 통해서, HNI-ORI 인터페이스를 통해, OITF 단말(1400)을 발견한다. 그런 다음, Remote Device(1402)는 성능 매칭(Capability Matching) 과정을 거쳐, IRCF-S(1404)로부터 제어 UI(CUI)를 전달받는다. Remote Device(1402)는 전달받은 제어 UI(CUI)를 렌더링시켜서 사용자가 사용할 수 있도록 화면에 보여 준다. 화면에 나타난 제어 UI(CUI)를 통해서, 사용자는 원하는 컨트롤 버튼을 누를 수 있다. 컨트롤 버튼이 사용자에 의해 눌러지면, 해당 컨트롤 정보가 HTTP 혹은 POST 메시지를 통해서 IRCF-S(1404)로 전송된다.
상술한 도 13에서 컨트롤 정보에 대한 처리에 대해서 언급했듯이, 컨트롤 정보를 전송 받은 IRCF-S(1404)는 해당 컨트롤 정보를 받은 뒤, 컨트롤이 될 대상이 OITF 단말(1400)이면, OITF 단말(1400)을 컨트롤하고, DAE(1403) 안에서 렌더링되고 있는 원격 UI(RUI)가 대상이면, DAE(1403)로 해당 컨트롤 정보를 전송하여 대상을 컨트롤한다.
도 15에서 설명하는 실시 예는 본 발명의 IRCF-S(IPTV Remote Control Function - Server)(1404)가 OITF 단말(1400) 안에 존재하며, DAE(Declarative Application Environment)(1403) 바깥에 위치한 경우를 가정하며, 이는 Open IPTV Forum Architecture 스펙에 적용할 수 있다. 도 15에서OITF(Open IPTV Terminal Function) 단말(1400)은 DAE(1403) 및 IRCF-S(1404)를 포함하되, 도 14에서 설명한 실시 예와 달리, DAE(1403)은 IRCF-S(1404)를 포함하지 않는다. 또한, Remote Device(1402)는 IRCF(1405)를 포함한다. 여기서, Remote Device(1402)는 모바일 장치(Mobile Portable Device)혹은 휴대 장치(Portable Device)가 될 수 있다.
또한, 도 15에서 설명되는 실시 예는 상기 도 14와 같은 흐름으로 진행될 수 있다.
RUIS(1401)은 OITF 단말(1400)의 DAE(1403)에게 제어 UI(CUI)와 원격 UI(RCUI)를 전송하면, DAE(1403)는 RUIS(1401)로부터 전송 받은 제어 UI(CUI)를 분리하여, IRCF-S(1404)에게 전달한다. 한편, DAE(1403)가 IRCF-S(1404)에 전송하는 제어 UI(CUI)는 원격 UI(Remote UI)를 포함할 수 있다.
Remote Device(1402)는 자신의 IRCF(IPTV Remote Control Function)(1405) 기능을 통해서 OITF 단말(1400)을 발견한다. 그런 다음, Remote Device(1402)는 성능 매칭(Capability Matching) 과정을 거쳐, IRCF-S(1404)로부터 제어 UI(CUI)를 전달받는다. Remote Device(1402)는 전달받은 제어 UI(CUI)를 렌더링시켜서 사용자가 사용할 수 있도록 화면에 표시한다. 사용자는 표시된 제어 UI(CUI)를 통해서 컨트롤 버튼을 누를 수 있다. 컨트롤 버튼이 사용자에 의해 눌러지면, 해당 컨트롤 정보가 HTTP 메시지를 통해서 IRCF-S(1404)로 전송된다.
그러면, 컨트롤 정보를 전송받은IRCF-S(1404)는 해당 컨트롤 정보를 받은 뒤, 컨트롤이 될 대상이 OITF 단말(1400)이면, OITF 단말을 컨트롤하고, DAE(1403) 안에서 렌더링되고 있는 원격 UI(RUI)가 대상이면, DAE(1403)로 해당 컨트롤 정보를 전송하여 대상을 컨트롤한다.
여기서 DAE(1403)와 IRCF-S(1404) 간의 인터페이스는 "local script binding" 혹은 "local binding"을 통해서 이루어질 수 있다.
도 16에서 설명하는 실시 예는 OITF 단말(1400) 안의 DLNA Function(1601)을 이용하는 경우를 상정한 것이다. 이는Open IPTV Architecture 스펙에 본 발명을 적용할 수 있다.
OITF 단말(1400) 안에 도시한 DLNA(1601)는 모든 DLNA 기능을 다 포함한다. 즉, DLNA RUI Function도 DLNA Entity 안에 포함될 수 있다. DLNA RUI는 DLNA 기능을 가진 디바이스들 간에 CEA-2014A를 기반으로 원격(Remote) UI 기능을 사용할 수 있다. 먼저, RUIS(1401)는 제어 UI(CUI) 및 DAE(1403)에서 렌더링되는 원격 UI(RUI)를 DAE(1403)로 전송한다.
그러면, DAE(1403)는 제어 UI(CUI)를 OITF 단말(1400) 의 DLNA RUIS(1601)에 전달한다.
사용자는Remote Device(1402) 안의DLNA RUIC(1602) 기능을 통해서 OITF 단말(1400) 내의 DLNA RUIS(1601)를 발견할 수 있다.
DLNA RUIC(1602)는 DLNA RUIS(1601)로부터 제어 UI(CUI)를 전달받는다. 이때, DLNA RUIC(1602)가 DLNA RUIS(1601)로부터 전달 받는 제어 UI(CUI)는 원격 UI(RUI)를 포함할 수 있다.
Remote Device(1402)의 DLNA RUIC(1602)는 전달받은 제어 UI(CUI)를 사용자가 사용할 수 있게끔 렌더링한다. 이때, 렌더링된 제어 UI(CUI)를 통해서, 사용자는DLNA RUIS(1601)에게 컨트롤 정보를 전송할 수 있다. DLNA RUIS(1401)는 컨트롤 정보를 전달받으면, 컨트롤 정보와 타겟 정보에 따른 컨트롤 액션을 수행한다. 컨트롤 정보를 전송 받은 DLNA RUIS(1601)는 해당 컨트롤 정보를 받은 뒤, 컨트롤이 될 대상이 OITF 단말(1400)이면, OITF 단말을 컨트롤하고, DAE(1403) 안에서 렌더링되고 있는 원격 UI(RUI)가 대상이면, DAE(1403)로 해당 컨트롤 정보를 전송하여 대상을 컨트롤한다. DAE(1403)와 DLNA RUIS(1601) 간의 인터페이스는 "local script binding" 혹은 "local binding"을 통해서 이루어질 수 있다.
도 17은 본 발명의 실시 예에 따른 원격 UI 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.
여기서, IRCF(1405)는 도 16의 Remote Device(1402) 안에 위치한DLNA RUIC(1602) 기능이 될 수 있으며, 또한, IRCF-S(1404)는 도 16의 OITF 단말 내 DLNA RUIS(1601) 기능이 될 수 있다.
또한, 도 10을 참조하면, IRCF(1405) 및 DLNA RUIC(1602)는 제3 RUIC(302)에 대응하며, DAE(1403)는 RUIC(300)에 대응한다. 또한, IRCF-S(1404) 및 DLNA RUIS(1601)는 RUIC(300) 안의 발견 기능을 가지는 제어 UI 관리기에 대응한다. 이처럼, 본 발명의 다른 실시 예에 따르면, 제어 UI 관리기는 상기 RUIC와 동일한 디바이스(OITF 단말)에 위치하며, RUIC에 포함되지 않는 구성이 된다. 이러한 경우, 제어 UI 관리기가 IRCF-S 및 DLNA를 포함하는 원격 UI를 지원할 수 있다.
먼저, OITF 단말을 컨트롤할 수 있는 기본적인(Default) 제어 UI(CUI)는 단말 제조 업체(CE Vendor) 혹은 서비스 제공업체(Service Provider)에 의해 제공될 수 있다. OITF 단말(1403)의 IRCF-S(1404)는 이러한 기본적인 제어 UI(CUI)를 가진다. 사용자가 S1701 단계에서 자신이 가지고 있는 Remote Device, 즉 모바일 혹은 Portable 디바이스의 IRCF 기능을 동작시키면, S1703 및 S1705 단계에서 IRCF(1405)와 IRCF-S(1404) 간에는 발견(Discovery) 과정, 성능 교환 및 매칭(Capability Exchange 및 Matching) 과정이 이루어진다.
또한, IRCF(1405)는 S1707 단계에서IRCF-S(1404)로부터 기본적인(Default) 제어 UI(CUI)를 수신하고, 수신한 기본적인(Default) 제어 UI(CUI)를 렌더링한다. 즉, 수신한 기본적인(Default) 제어 UI(CUI)는 사용자가 가지고 있는 Remote Device에서 렌더링된다.
사용자는 렌더링된 기본적인(Default) 제어 UI(CUI)를 통해서, 기본적인 컨트롤 기능들을 수행할 수 있다. 그 중, 사용자가 S1711 단계에서 특정 컨텐츠를 선택하면, 선택된 컨텐츠 정보는 S1713 및 S1715 단계에서 IRCF-S를 거쳐 DAE(1400)로 전송된다. DAE(1400)는 S1717 단계에서IPTV Applications(1700)에게 사용자가 선택한 컨텐츠(DAE Application)를 요청한다. 요청을 받은 IPTV Applications(1700)은 S1719 단계에서 컨텐츠를 렌더링할 수 있도록 하는 DAE Application과 해당 DAE Application을 컨트롤할 수 있는 제어 UI(CUI)를 DAE(1400)에게 전송한다. 그러면, DAE(1400)는 전송 받은 DAE Application을 화면에 렌더링하고, S1721 단계에서 전송 받은 제어 UI(CUI)를 IRCF-S(1404)로 전달한다. 전달된 제어 UI(CUI)는 S1723 단계에서 사용자 단말의 IRCF(1405)에게 전송되며, 전송된 제어 UI(CUI)는 사용자 단말 화면에 렌더링된다. 사용자는 렌더링된 제어 UI(CUI)를 통해서 자신이 컨텐츠를 컨트롤할 수 있다.
이상과 같이 예시된 도면을 참조로 하여, 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해해야만 한다.
도 1은 종래 RUIS (Remote User Interface Server)를 통해서 RUIC(Remote User Interface Client)에게 RUI와 컨트롤 정보를 주고, 리모콘으로 RUIC에게 컨트롤 정보를 전송하여 RUIC를 컨트롤하는 모습을 도시한 도면
도 2는 본 발명의 특화된 UI를 가진 UI를 display할 수 있는 제3 RUIC를 통해 RUIC를 제어하는 것을 도시한 도면
도 3은 본 발명의 제3 RUIC를 통해서 RUIC를 제어하기 위한 필요한 프로토콜 절차를 정의한 도면
도 4는 본 발명의 제3 RUIC를 통한 다른 RUIC, RUIS들을 Discovery(발견)하는 방법을 도시한 도면
도 5는 본 발명의 제3 RUIC에 의해 Discovery(발견)된 RUIC, RUIS로부터 제3 RUIC에게 컨트롤 UI가 전달되는 방법을 도시한 도면
도 6은 본 발명의 RUIC 자체에 내장된 기본 컨트롤 UI를 제3 RUIC에게 전달하는 모습을 도시한 도면
도 7은 본 발명의 RUIS로부터 전해지는 RUI를 RUIC 안의 내장된 컨트롤 UI Manager에 의해서 분석되고, 분석된 결과를 바탕으로 컨트롤 UI가 만들어지는 모습을 도시한 도면
도 8은 본 발명의 RUIS로부터 전달된 RUI의 내부에 컨트롤 UI를 삽입하여 RUIC에 전달하는 모습을 도시한 도면.
도 9는 본 발명의 RUIS가 RUIC에게 RUI와 컨트롤 UI를 Multipart form data 형식으로 변환하여 전달하는 모습을 도시한 도면.
도 10은 본 발명의 RUIS로부터 전달되는 RUI 안에 컨트롤 UI를 받을 수 있는 URL 정보를 담아서 RUIC에게 전달해 주는 모습을 도시한 도면.
도 11은 본 발명의 RUIS로부터 전달된 RUI 관련 정보를 통해 제3 RUIC가 RUIS로부터 컨트롤 UI를 가져오는 방법을 도시한 도면.
도 12은 본 발명의 RUIS로부터 직접 컨트롤 UI를 받는 모습을 도시한 도면.
도 13은 본 발명의 제3 RUIC가 컨트롤 UI를 전달받은 뒤, 실제 RUIC를 컨트롤하는 방법을 도시한 도면.
도 14 내지 도 16은 본 발명의 실시 예에 따른 원격 UI 디바이스를 제어하는 방법을 설명하기 위한 도면.
도 17은 본 발명의 실시 예에 따른 원격 UI 디바이스를 제어하는 방법을 설명하기 위한 흐름도.

Claims (15)

  1. 원격 UI 디바이스를 제어하는 장치에 있어서,
    컨텐츠를 제공하며, 원격 UI만을 발생하거나 혹은 원격 UI와 제어 UI를 발생하는 원격 UI 서버인 RUIS와,
    제어 UI 관리기를 구비하며, 제어 UI 관리기를 통해, 상기 원격 UI 정보에서 제어 UI를 구성하는 원격 UI 클라이언트인 RUIC와,
    상기 제어 UI 정보를 수신하며, 상기 수신된 제어 UI에 따라 상기 RUIC를 원격 제어하는 제3 RUIC로 구성되며,
    상기 제3 RUIC는 상기 RUIS 및 RUIC를 발견하고, 상기 발견된 RUIS 및 RUIC로부터 제어 UI를 수신하기 위한 정보를 수신하여 성능을 매칭하는 동작을 수행하여 원격 제어할 RUIS 및 RUIC를 결정하며, 상기 제어 UI는 상기 RUIC를 제어하기 위한 명령어를 발생하기 위한 UI인 것을 특징으로 하는 상기 장치.
  2. 제1항에 있어서, 상기 RUIS는 원격 UI만 제공하며, 상기 RUIC가 제어 UI 관리기를 구비하며, 제어 UI 관리기 안에 제어 UI를 구비하고 상기 제3 RUIC에 구비된 제어 UI를 전달하는 것을 특징으로 하는 상기 장치.
  3. 제1항에 있어서, 상기 RUIS가 원격 UI를 제공하고, 상기 RUIC가 제어 UI 관리기를 구비하며 상기 제어 UI 관리기가 상기 원격 UI를 분석하여 제어 UI를 만들 어 상기 제3 RUIC에 전달하는 것을 특징으로 하는 상기 장치.
  4. 제1항에 있어서, 상기 RUIS가 제어 UI를 포함하는 원격 UI를 제공하고, 상기 RUIC가 제어 UI 관리기를 구비하며 상기 제어 UI 관리기가 상기 제어 UI를 추출하여 상기 제3 RUIC에 전달하는 것을 특징으로 하는 상기 장치.
  5. 제1항에 있어서, 상기 RUIS가 제어 UI url을 포함하는 원격 UI를 제공하고, 상기 RUIC가 제어 UI 관리기를 구비하며 상기 제어 UI 관리기가 상기 제어 UI url을 추출하여 상기 제3 RUIC에 전달하며, 상기 제3 RUIC가 상기 RUIS로부터 상기 제어 UI url에 해당하는 제어 UI를 수신하는 것을 특징으로 하는 상기 장치.
  6. 제 1항 내지 제 5항 중의 어느 한 항에 있어서, 상기 제어 UI 관리기는 상기 RUIC와 동일한 디바이스에 위치하되, 상기 RUIC에 포함되지 않는 것을 특징으로 하며,
    상기 제어 UI 관리기는 IRCF-S 및 DLNA를 포함하는 제어 UI를 지원하는 것을 특징으로 하는 상기 장치.
  7. 제 1항에 있어서,
    상기 제어 UI는 원격 UI를 포함하는 것을 특징으로 하는 상기 장치.
  8. 제 1항에 있어서,
    상기 제3 RUIC는 상기 RUIC혹은 상기 제어 UI 관리기를 발견하는 것을 특징으로 하는 상기 장치.
  9. 원격 UI 디바이스를 제어하는 장치에 있어서,
    컨텐츠를 제공하며, 원격 UI를 발생하는 원격 UI 서버인 RUIS와,
    상기 원격 UI 수신시 상기 RUIS와 디바이스 간의 발견 및 제어 UI를 수신하기 위한 정보를 수신하여 성능을 매칭하는 동작을 수행하여 상기 RUIS가 가지고 있는 원격 UI를 수신하는 원격 UI 클라이언트인 RUIC와,
    상기 RUIC와 상기 성능 매칭 동작을 수행하며, 상기 RUIC로부터 원격 UI를 수신한 후 상기 RUIS로부터 상기 수신된 원격 UI에 대응되는 제어 UI를 수신하며, 상기 수신된 제어 UI에 따라 상기 RUIC를 원격제어하는 제3 RUIC로 구성되며, 상기 제어 UI는 상기 RUIC를 제어하기 위한 명령어를 발생하기 위한 UI인 것을 특징으로 하는 상기 장치.
  10. 원격 UI 디바이스를 제어하는 방법에 있어서,
    상기 제3 RUIC는 상기 RUIS 및 RUIC를 발견하는 과정과,
    상기 발견된 RUIS 및 RUIC로부터 제어 UI를 수신하기 위한 정보를 수신하여 성능을 매칭하는 동작을 수행하여 원격 제어할 RUIS 및 RUIC를 결정하는 과정과,
    상기 RUIS가 원격 UI를 발생하며, 상기 RUIC가 원격 UI 정보에서 제어 UI를 구성하여 전송하는 과정과,
    상기 제3 RUIC가 상기 RUIC에서 전송되는 제어 UI 정보를 수신하며, 상기 수신된 제어 UI에 따라 상기 RUIC를 원격제어하는 과정으로 이루어지며,
    상기 제어 UI는 상기 RUIC를 제어하기 위한 명령어를 발생하기 위한 UI인 것을 특징으로 하는 상기 방법.
  11. 제10항에 있어서, 제어 UI를 전송하는 과정이,
    상기 RUIS는 원격 UI만 제공하는 과정과,
    상기 RUIC가 제어 UI를 구비하고 상기 원격 UI 수신시 상기 제3 RUIC에 구비된 제어 UI를 전달하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  12. 제10항에 있어서, 제어 UI를 전송하는 과정이,
    상기 RUIS가 원격 UI를 제공하는 과정과,
    상기 원격 UI 수신시 상기 원격 UI를 분석하여 제어 UI를 구성하여 상기 제3 RUIC에 전달하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  13. 제10항에 있어서, 제어 UI를 전송하는 과정이,
    상기 RUIS가 제어 UI를 포함하는 원격 UI를 전송하는 과정과,
    상기 RUIC가 수신되는 상기 원격 UI에 포함된 상기 제어 UI를 추출하여 상기 제3 RUIC에 전달하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
  14. 제10항 내지 제13항 중의 어느 한 항에 있어서, 상기 제3 RUIC가 상기 RUIC를 제어하는 과정이,
    상기 제3 RUIC가 HTTP 메시지 내에 제어 UI 정보를 포함시켜 상기 RUIC에 전송함을 특징으로 하는 상기 방법.
  15. 제10항 내지 제13항 중의 어느 한 항에 있어서, 상기 제3 RUIC가 상기 RUIC를 제어하는 과정이,
    상기 제3 RUIC가 HTTP 메시지 내에 제어 UI 정보 및 제어를 원하는 제어 타겟 정보를 포함시켜 상기 RUIS에 전송하는 과정과,
    상기 RUIS가 상기 제어타겟 정보를 분석하여 타겟이 RUIS이면 상기 제어 UI 정보를 자체적으로 처리하고 결과를 상기 RUIC에 통지하며, 타겟이 RUIC 이면 상기 제어 UI 정보를 상기 RUIC에 전달하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
KR1020090035776A 2009-02-27 2009-04-24 원격 사용자 인터페이스 디바이스를 제어하는 장치 및 방법 KR101615624B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2010/001174 WO2010098591A2 (en) 2009-02-27 2010-02-25 Remote user interface system and method
CN201080018507XA CN102415104A (zh) 2009-02-27 2010-02-25 远程用户界面系统和方法
EP10746430.7A EP2401871B1 (en) 2009-02-27 2010-02-25 Remote user interface system and method
US12/712,796 US8441369B2 (en) 2009-02-27 2010-02-25 Remote user interface system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090016935 2009-02-27
KR1020090016935 2009-02-27

Publications (2)

Publication Number Publication Date
KR20100098260A true KR20100098260A (ko) 2010-09-06
KR101615624B1 KR101615624B1 (ko) 2016-04-26

Family

ID=43005265

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090035776A KR101615624B1 (ko) 2009-02-27 2009-04-24 원격 사용자 인터페이스 디바이스를 제어하는 장치 및 방법

Country Status (5)

Country Link
US (1) US8441369B2 (ko)
EP (1) EP2401871B1 (ko)
KR (1) KR101615624B1 (ko)
CN (1) CN102415104A (ko)
WO (1) WO2010098591A2 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101612553B1 (ko) * 2009-10-09 2016-04-27 삼성전자주식회사 리모트 사용자 인터페이스 서버와 리모트 사용자 인터페이스 클라이언트간의 인터페이스를 위한 장치 및 방법
US20110238731A1 (en) * 2010-03-23 2011-09-29 Sony Corporation Method to provide an unlimited number of customized user interfaces
US20110296313A1 (en) * 2010-05-25 2011-12-01 Sony Corporation Translating input from devices to appropriate rui commands
US20120030712A1 (en) * 2010-08-02 2012-02-02 At&T Intellectual Property I, L.P. Network-integrated remote control with voice activation
EP2633647B1 (en) * 2010-10-27 2019-05-01 Telefonaktiebolaget LM Ericsson (publ) Authorizing an electronic device to control a media rendering unit
KR20120066147A (ko) * 2010-12-14 2012-06-22 삼성전자주식회사 Ｄｌｎａ 기기 표시 방법 및 장치
EP2677436B1 (en) * 2011-02-15 2015-04-01 Panasonic Corporation Information display system, information display control device, and information display device
US9602851B2 (en) * 2011-03-01 2017-03-21 Sony Corporation Method and apparatus for switching between a native application and a second application
US8990704B2 (en) * 2011-03-04 2015-03-24 Sony Corporation Remote user interface media adapter in network bridge
KR20120113642A (ko) 2011-04-05 2012-10-15 삼성전자주식회사 차량용 헤드 유닛과 모바일 장치 간 데이터 교환을 위한 장치 및 방법
CN102572104A (zh) * 2012-01-11 2012-07-11 海尔集团公司 电器设备的遥控实现方法和装置
CN102638716A (zh) * 2012-03-21 2012-08-15 华为技术有限公司 实现移动终端遥控电视的方法、装置和系统
US8682248B2 (en) * 2012-04-07 2014-03-25 Samsung Electronics Co., Ltd. Method and system for reproducing contents, and computer-readable recording medium thereof
US9183398B2 (en) * 2012-09-20 2015-11-10 Qualcomm Incorporated Content-driven screen polarization with application sessions
US9264751B2 (en) * 2013-02-15 2016-02-16 Time Warner Cable Enterprises Llc Method and system for device discovery and content management on a network
US20160062646A1 (en) * 2013-04-29 2016-03-03 Hewlett-Packard Development Company, L.P. Device for Displaying a Received User Interface
CN103607332B (zh) * 2013-11-15 2017-01-11 四川长虹电器股份有限公司 家庭网络内外用户界面设备通信的方法
CN103997668B (zh) 2014-02-25 2017-12-22 华为技术有限公司 移动设备选中显示方法及终端设备
CN103826156B (zh) * 2014-03-17 2017-09-19 华为技术有限公司 终端遥控方法、机顶盒、移动终端及网页服务器
CN105511722A (zh) * 2015-12-04 2016-04-20 广东威创视讯科技股份有限公司 显示屏控制方法和系统
KR102457459B1 (ko) 2016-01-29 2022-10-24 삼성전자주식회사 외부 장치로부터 컨텐트를 수신하기 위한 방법 및 이를 위한 전자 장치
CN106331800B (zh) * 2016-08-25 2019-12-03 深圳Tcl数字技术有限公司 控件的放大显示方法及系统
CN107402996A (zh) * 2017-07-19 2017-11-28 环球智达科技（北京）有限公司 基于云控的界面生成方法
CN111666119B (zh) * 2019-03-06 2023-11-21 华为终端有限公司 Ui组件显示的方法及电子设备
US11374779B2 (en) 2019-06-30 2022-06-28 Charter Communications Operating, Llc Wireless enabled distributed data apparatus and methods
US11182222B2 (en) 2019-07-26 2021-11-23 Charter Communications Operating, Llc Methods and apparatus for multi-processor device software development and operation

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4534333B2 (ja) * 2000-10-10 2010-09-01 ソニー株式会社 サーバ運営費徴収方法
US6914551B2 (en) * 2002-04-12 2005-07-05 Apple Computer, Inc. Apparatus and method to facilitate universal remote control
US7840631B2 (en) * 2003-05-09 2010-11-23 Good Technology, Inc. Multimedia control with one-click device selection
US20050108751A1 (en) * 2003-11-17 2005-05-19 Sony Corporation TV remote control with display
US7447740B2 (en) * 2003-12-19 2008-11-04 Microsoft Corporation Internet video conferencing on a home television
KR100497008B1 (ko) * 2004-11-08 2005-06-23 주식회사 클릭전자정보시스템 Pda를 이용한 방송장비 원격제어 시스템
CN1805570A (zh) * 2005-01-12 2006-07-19 乐金电子(中国)研究开发中心有限公司 一种基于手机的电视遥控器
EP1905205B1 (en) * 2005-07-04 2014-05-07 SK Telecom Co., Ltd. Residential gateway system for home network service
WO2008019334A2 (en) * 2006-08-04 2008-02-14 Tegic Communications, Inc. Remote control in a mobile terminal
JP4984883B2 (ja) * 2006-12-27 2012-07-25 ソニー株式会社 ネットワークシステム、ネットワーク接続用装置およびネットワーク接続方法
CN101014113B (zh) * 2007-02-06 2010-08-18 中兴通讯股份有限公司 一种应用于手机电视的电子服务指南加载方法
KR101446939B1 (ko) 2007-03-30 2014-10-06 삼성전자주식회사 원격 제어 장치 및 그 제어 방법
WO2009025499A1 (en) 2007-08-20 2009-02-26 Gwangju Institute Of Science And Technology Remote control system using natural view user interface, remote control device, and method therefor
US8831032B2 (en) * 2008-03-05 2014-09-09 Telefonaktiebolaget L M Ericsson (Publ) SIP-HTTP application correlator
CN101252754A (zh) * 2008-04-14 2008-08-27 内蒙古电子信息职业技术学院 一种具有遥控功能的手机及遥控的方法
US8196163B2 (en) * 2008-05-21 2012-06-05 Telefonaktiebolaget L M Ericsson (Publ) Controlled delivery of event information to IPTV users
US8191100B2 (en) * 2008-06-04 2012-05-29 Telefonaktiebolaget L M Ericsson (Publ) Method and terminal for providing IPTV to multiple IMS users
US8225348B2 (en) * 2008-09-12 2012-07-17 At&T Intellectual Property I, L.P. Moderated interactive media sessions

Also Published As

Publication number Publication date
US8441369B2 (en) 2013-05-14
EP2401871B1 (en) 2018-07-25
WO2010098591A3 (en) 2010-12-09
EP2401871A4 (en) 2013-12-25
US20100219976A1 (en) 2010-09-02
KR101615624B1 (ko) 2016-04-26
WO2010098591A2 (en) 2010-09-02
EP2401871A2 (en) 2012-01-04
CN102415104A (zh) 2012-04-11

Similar Documents

Publication Publication Date Title
KR20100098260A (ko) 원격 사용자 인터페이스 디바이스를 제어하는 장치 및 방법
EP2989848B1 (en) Electronic device and method of registering personal cloud apparatus in user portal server thereof
CN102484596B (zh) 在家庭网络中控制远程用户界面的方法和装置
US9736205B2 (en) Media share control apparatus, media reproducing apparatus, and method of providing user interface for media sharing thereof
JP6072132B2 (ja) モバイル端末の中継サーバー能動接続を用いた通信路の開設方法
KR101656882B1 (ko) 네트워크에서 원격 유저 인터페이스 목록을 제공하는 방법 및 장치
JP5937005B2 (ja) 近距離ネットワークにおける遠隔制御のための装置及び方法とこれをサポートするシステム
CN104601715A (zh) 一种基于二维码的文件共享方法、系统及移动终端
EP2472774A2 (en) Remote control method and system using control user interface
WO2017059703A1 (zh) 网络家电的控制方法、功能手机、网络家电及系统
Koo et al. R-URC: RF4CE-based universal remote control framework using smartphone
US9405557B2 (en) Method and apparatus for providing a remote control user interface
KR101771113B1 (ko) 원격 사용자 인터페이스 기반의 특화된 제어 사용자 인터페이스를 받아 오는 방법 및 장치
WO2014180251A1 (zh) 一种智能家居家庭网关的实现方法及装置
KR101698354B1 (ko) 홈 네트워크에서 멀티캐스트 메시지를 이용하여 복수 개의 원격 사용자 인터페이스 서버들을 제어하기 위한 장치 및 방법
CN113132997B (zh) 一种智能家居设备的通信方法、设备及系统
JP2014027586A (ja) 通信装置、情報処理方法、およびプログラム
KR20140017427A (ko) 장치의 초기 구성 방법 및 초기 구성 기능을 구비한 장치
KR20120139396A (ko) 어플리케이션을 제어하는 방법 및 그 장치
KR101636215B1 (ko) 복수의 무선 통신을 제공하는 게이트웨이 장치 및 방법
JP2012175149A (ja) 通信システム、通信装置、通信方法、およびプログラム
KR20110137635A (ko) 정보기기의 스마트폰과의 서비스 연동 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 4