KR20120009973A - 원격 사용자 인터페이스 시스템에서 원격 사용자 인터페이스 데이터 송/수신장치 및 방법 - Google Patents

원격 사용자 인터페이스 시스템에서 원격 사용자 인터페이스 데이터 송/수신장치 및 방법 Download PDF

Info

Publication number
KR20120009973A
KR20120009973A KR1020100071292A KR20100071292A KR20120009973A KR 20120009973 A KR20120009973 A KR 20120009973A KR 1020100071292 A KR1020100071292 A KR 1020100071292A KR 20100071292 A KR20100071292 A KR 20100071292A KR 20120009973 A KR20120009973 A KR 20120009973A
Authority
KR
South Korea
Prior art keywords
data
feedback
remote
effect
client
Prior art date
Application number
KR1020100071292A
Other languages
English (en)
Other versions
KR101668118B1 (ko
Inventor
류영선
소영완
송재연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100071292A priority Critical patent/KR101668118B1/ko
Priority to PCT/KR2011/005360 priority patent/WO2012011745A2/en
Priority to JP2013520652A priority patent/JP2013531323A/ja
Priority to EP11809872.2A priority patent/EP2596599A4/en
Priority to CN201180035849.7A priority patent/CN103026658B/zh
Priority to US13/190,159 priority patent/US20120023411A1/en
Publication of KR20120009973A publication Critical patent/KR20120009973A/ko
Priority to JP2015167611A priority patent/JP2015212987A/ja
Application granted granted Critical
Publication of KR101668118B1 publication Critical patent/KR101668118B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 원격 사용자 인터페이스 시스템에서 원격 사용자 인터페이스를 전송할 때 사용자의 입력에 따른 진동, 효과음 등의 피드백 효과를 제공하기 위한 장치 및 방법에 관한 것이다. 이를 위해 본 발명에서는 원격 UI 클라이언트의 웹 브라우저 모듈에서 원격 UI 요청에 응답하여 원격 UI 서버로부터 수신한 UI 데이터를 렌더링하여 출력하고, 상기 수신한 UI 데이터 내에 정의된 피드백 효과를 제공하기 위한 피드백 데이터를 처리하며, 상기 처리된 결과에 따라 상기 피드백 효과를 사용자에게 제공한다.

Description

원격 사용자 인터페이스 시스템에서 원격 사용자 인터페이스 데이터 송/수신장치 및 방법{APPARATUS AND METHOD FOR TRANSMITTING/RECEIVING REMOTE USER INTERFACE DATA IN A REMOTE USER INTERFACE SYSTEM}
본 발명은 원격 사용자 인터페이스 시스템에서 원격 사용자 인터페이스 (remote user interface, 이하 '원격 UI'라 칭함)를 제공하기 위한 장치 및 방법에 관한 것으로, 특히 원격 UI 데이터를 전송할 때 원격 UI의 전송에 따른 진동, 효과음 등 사용자의 입력에 따른 피드백 효과를 원격 사용자 인터페이스 서버에서 제공할 수 있는 장치 및 방법에 관한 것이다.
통상적으로 사용자와의 인터페이스를 지원하는 대부분의 기기(device)는 내부에 고유의 UI를 구비한다. 하지만 다수의 기기들이 네트워크로 연결되는 형태로 변화됨에 따라 원격 UI 기술의 적용이 확산되고 있다.
일반적으로 원격 UI 기술이라 함은 특정 기기가 네트워크로 연결된 원격지의 다른 기기로부터 UI를 제공받아 사용하는 기술을 의미한다. 예컨대 제1기기(device)가 제2기기(device)에 의해 제공하는 UI를 유선 또는 무선으로 연결된 네트워크를 통하여 수신하고, 상기 제1기기를 사용하고 있는 사용자에게 상기 제2기기로부터 수신한 UI를 제공하는 경우, 상기 제1기기 측에서 볼 때에 상기 UI는 원격 UI가 되는 것이다.
이러한 원격 UI 기술이 적용되는 대표적인 예로서 홈 네트워크를 들 수 있다. 즉, 디지털 TV, 냉장고, 셋탑 박스, 오디오 시스템을 포함하는 홈 네트워크에 있어서, 사용자는 디지털 TV를 통해 다른 가전 기기를 제어할 수 있는데, 이때 사용자가 다른 가전 기기를 제어하고자 하는 경우에는 해당하는 가전 기기에 적합한 UI를 이용하는 것이 편리하다.
이를 위해, 각각의 가전 기기는 자신의 UI를 제공하여 디지털 TV의 화면에 표시하고, 사용자는 화면에 표시된 UI, 즉 원격 UI를 이용하여 해당하는 가전 기기를 제어할 수 있다.
이렇게 원격 UI를 제공하는 방법으로 HTML(Hypertext Markup Language)을 이용하는 방법과, 동적 이미지 갱신(dynamic image update)을 이용하는 방법이 일반적이다.
도 1은 종래 XHTML (Extensible Hypertext Markup Language)을 기반으로 하는 원격 사용자 인터페이스 시스템 (Remote User Interface System, 이하 '원격 UI 시스템'이라 칭함)에서 원격 UI 데이터를 전송하는 과정을 일 예를 보이고 있다.
도 1에서 보이고 있는 바와 같이 XHTML (Extensible Hypertext Markup Language)을 기반으로 하는 통상적인 원격 UI 시스템은 웹 서버 (Web Server)를 포함하는 원격 사용자 인터페이스 서버 (Remote User Interface Server, 이하 'RUIS'라 칭함)와 웹 브라우저 (Web Browser)를 포함하는 원격 사용자 인터페이스 클라이언트 (Remote User Interface Client, 이하 'RUIC'라 칭함)로 구성된다. 원격 UI 시스템을 구성하는 RUIS와 RUIC는 HTTP (Hyper Text Transfer Protocol)의 통신 프로토콜을 따라 상호간의 정보를 교환한다.
도 1을 참조하여 종래 원격 UI 데이터를 제공하는 동작을 설명하면, RUIC(120)는 RUIS(110)에게 원격 UI를 요청한다. RUIS(110)는 내부의 웹 서버를 통해 XHTML 형식으로 구성된 원격 UI를 RUIC(120)에게 전송한다. RUIC(120)는 내부의 웹 브라우저를 통해 RUIS(110)로부터 수신한 XHTML 형식의 원격 UI를 파싱(parsing)하고 렌더링 (rendering)한 후 이를 사용자에게 보여준다.
한편 상기 RUIC의 웹 브라우저는 사용자의 입력, 즉 키 이벤트 등이 발생하면, 상기 발생한 이벤트를 내부적으로 처리하여 사용자에게 그 처리 결과를 보여준다. 이때 상기 처리 결과가 새로운 원격 UI를 요구하는 경우 또는 제어에 대한 요청이 존재하는 경우, 상기 RUIC의 웹 브라우저는 새로운 UI를 요청하는 HTTP request를 상기 RUIS로 전송한다.
상기 RUIS의 웹 서버는 상기 RUIC의 웹 브라우저로부터의 요청에 대응한 처리 결과에 상응하여 XHTML 형식으로 구성된 새로운 UI를 상기 RUIC의 웹 브라우저로 전송한다. 따라서 상기 RUIC의 웹 브라우저는 새로운 UI를 사용자에게 제공한다.
한편, RUIC(120)는 사용자의 입력에 대해 피드백을 제공하고자 하는 경우, RUIS(110)로부터 피드백 정보를 받아오는 것이 아니라 기기 자체에서 진동, 음향효과 등의 피드백을 제공한다. 이는 현재 표준에서 원격 UI에 대한 화면 전송 규격만을 정의하고 있을 뿐, 화면 전환이나 사용자 입력에 따른 피드백에 대해서는 정의되어 있지 않기 때문이다. 이와 같이, RUIC(120)가 자체적으로 사용자 입력에 대한 피드백 효과를 제공하기 때문에 동일한 원격 UI에 대해 RUIC별로 피드백 효과를 제공하거나 제공하지 않을 수 있고, 피드백 효과를 제공하더라도 서로 다른 피드백 효과를 제공할 수 있다. 따라서 원격 UI를 제공하는 RUIS 입장에서 보면, 원격 UI를 제작한 제작자가 원하지 않거나 원하는 의도와는 다른 형태의 피드백 효과가 사용자에게 제공될 수 있다.
본 발명이 해결하려는 과제는 원격 UI 환경에서 RUIS가 RUIC로 원격 UI를 전송할 때 사용자 입력에 따른 피드백 효과를 원격 UI와 함께 제공하는 장치 및 방법을 제공하는 것이다.
또한 본 발명이 해결하려는 과제는 원격 UI 환경에서 RUIS가 RUIC로 원격 UI를 전송할 때 동일한 사용자 입력에 대해 동일한 피드백 효과를 제공할 수 있도록 하는 장치 및 방법을 제공하는 것이다.
본 발명의 실시예에 따르면, 원격 UI 클라이언트는 원격 사용자 인터페이스 (UI: User Interface)를 요청하여, 원격 UI 서버로부터 수신한 UI 데이터를 렌더링하여 출력하고, 상기 수신한 UI 데이터에 정의된 피드백 효과를 사용자에게 제공하기 위한 피드백 처리를 요청하는 웹 브라우저 모듈 및 상기 웹 브라우저 모듈의 요청에 따라 피드백 데이터를 처리하고 상기 처리한 결과에 따라 상기 피드백 효과를 상기 사용자에게 제공하는 피드백 처리부를 포함한다.
또한 본 발명의 실시예에 따르면, 원격 사용자 인터페이스 (UI: User Interface) 클라이언트에서 원격 UI 서버로부터 수신한 UI 데이터를 처리하는 방법에 있어서, 웹 브라우저 모듈에서 원격 UI 요청에 응답하여 원격 UI 서버로부터 수신한 UI 데이터를 렌더링하여 출력하는 과정과, 상기 수신한 UI 데이터 내에 정의된 피드백 효과를 제공하기 위한 피드백 데이터를 처리하는 과정과, 상기 처리된 결과에 따라 상기 피드백 효과를 사용자에게 제공하는 과정을 포함한다.
또한 본 발명의 실시예에 따르면, 원격 UI 서버는 원격 사용자 인터페이스 (UI: User Interface) 클라이언트의 웹 브라우저 모듈로부터의 원격 UI 요청에 응답하여 사용자에게 제공하기 위한 피드백 효과가 정의되어 있는 UI 데이터를 상기 원격 UI 클라이언트로 전송하는 웹 서버 모듈을 포함한다.
또한 본 발명의 실시예에 따르면, 원격 사용자 인터페이스 (UI: User Interface) 서버에서 원격 UI 클라이언트로UI 데이터를 전송하는 방법에 있어서, 웹 서버 모듈에서 상기 원격 UI 클라이언트의 웹 브라우저 모듈로부터의 원격 UI 요청에 응답하여 사용자에게 제공하기 위한 피드백 효과가 정의되어 있는 UI 데이터를 상기 원격 UI 클라이언트로 전송하는 과정을 포함한다.
이하에서 개시되는 발명 중 대표적인 것에 의해 얻어지는 효과를 간단히 설명하면 다음과 같다.
본 발명은 원격 UI 환경에서 RUIS가 RUIC로 원격 UI를 전송할 때 사용자 입력에 따른 피드백 효과를 원격 UI와 함께 제공함으로써 원격 UI를 제공하는 의도에 맞는 피드백 효과를 사용자에게 제공할 수 있다.
또한 본 발명은 원격 UI 환경에서 RUIS가 RUIC로 원격 UI를 전송할 때 동일한 사용자 입력에 대해 동일한 피드백 효과를 제공할 수 있다.
또한 본 발명은 원격 UI 환경에서 RUIS가 RUIC로 원격 UI를 전송할 때 피드백 데이터를 함께 전송함으로써 화면 전환에 따른 체감 대기시간을 단축하는 효과를 얻을 수 있다.
도 1은 종래 XHTML을 기반으로 하는 원격 UI 시스템에서 원격 UI 데이터를 전송하는 과정에 대한 일 예를 보이고 있는 도면
도 2는 본 발명의 실시예에 따라 원격 UI 데이터와 함께 피드백 데이터를 제공하기 위한 원격 UI 시스템의 구성을 보이고 있는 도면
도 3은 본 발명의 제1 실시예에 따라 원격 UI 시스템에서 원격 UI 데이터와 함께 피드백 데이터를 제공하기 위한 시그널링을 도시한 도면
도 4는 본 발명의 제1 실시예에 따른 RUIC의 제어 흐름을 도시한 도면
도 5는 본 발명의 제2 실시예에 따라 원격 UI 시스템에서 원격 UI 페이지전체에 대한 피드백 효과를 제공하기 위한 시그널링을 도시한 도면
도 6은 본 발명의 제2 실시예에 따른 RUIC의 제어 흐름을 도시한 도면
도 7은 본 발명의 제2 실시예에 따른 RUIS의 제어 흐름을 도시한 도면
도 8은 본 발명의 제1 실시예에 따른 원격 UI가 표시된 화면의 예를 도시한 도면
도 9는 본 발명의 제2 실시예에 따라 원격 UI 시스템에서 채널 변경시 원격 UI 페이지 전체에 대한 피드백 효과를 제공하는 예를 도시한 도면
하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다. 한편 본 발명을 설명하기 위한 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다.
도 2는 본 발명의 실시 예에 따라 원격 UI 데이터와 함께 피드백 데이터를 제공하기 위한 원격 UI 시스템의 구성을 보이고 있다.
도 2를 참조하면, RUIS(210)는 RUIC(220)로부터의 요청에 응답하여 텍스트 형식의 원격 UI 데이터를 상기 RUIC(220)로 제공한다. 이때 상기 RUIS(210)는 원격 UI에 대한 사용자 입력에 따른 피드백 효과를 제공하기 위해 원격 UI에 대한 피드백 데이터를 RUIC(220)로 제공한다.
이를 위해 상기 RUIS(210)는 웹 서버(212), 피드백 데이터 생성부(214), 피드백 데이터 송신부(216)를 포함한다. 상기 웹 서버(212)는 XHTML. XML 등의 텍스트 형식의 원격 UI 데이터를 상기 RUIC(220)로 제공하기 위한 동작을 수행한다. 즉 상기 웹 서버(212)는 상기 RUIC(220)로부터의 요청에 상응하는 원격 UI 데이터를 상기 RUIC(220)로 제공한다.
피드백 데이터 생성부(214)는 피드백 효과에 대한 처리되지 않은 데이터(rawdata)를 생성한다. 또는 상기 rawdata는 바이너리 파일(binary file) 형태로 RUIS(210) 내의 저장장치에 미리 저장되어 있을 수도 있다.
피드백 데이터 송신부(216)는 피드백 데이터 생성부(214)에서 생성되었거나 저장장치에 저장되어 있는 피드백 효과에 대한 rawdata를 RUIC(220)로 전송한다.
RUIC(220)는 상기 RUIS(210)로 원격 UI 데이터를 요청하고, 상기 요청에 응답하여 상기 RUIS(210)로부터 제공되는 원격 UI 데이터를 수신하고 렌더링하여 사용자를 위한 UI를 표시한다. 그리고 상기 RUIC(220)는 상기 표시된 UI에 대응하여 사용자의 입력에 따른 피드백 효과를 사용자에게 제공한다. 이때 사용자에게 제공되는 피드백 효과는 RUIS(210)에서 제공되는 피드백 데이터에 의해 정해진다.
이를 위해 RUIC(220)는 웹 브라우저(222)와 피드백 처리부(224)와 피드백 데이터 수신부(226)를 포함한다. 상기 웹 브라우저(220)는 상기 RUIS(210)로 원격 UI 데이터를 요청하고, 상기 요청에 응답하여 상기 RUIS(210)로부터 제공되는 원격 UI 데이터를 렌더링하여 사용자 인터페이스(XHTML 페이지 등)를 표시한다. 또한 사용자의 입력을 처리한다.
피드백 처리부(224)는 RUIS(210)로부터 수신된 원격 UI에 정의되어 있는 피드백 효과를 처리하여 사용자에게 제공한다. 이때, 피드백 처리부(224)는 원격 UI에 기술되어 있는 피드백 처리 방식에 따라 RUIS(210)로부터 피드백 데이터를 수신하여 처리하거나, 미리 저장되어 있는 피드백 데이터를 읽어서 처리할 수 있다. 후자의 경우, 사전에 정의된 아이디(ID) 형태로 피드백 데이터를 전송 받아서 저장되어 있는 피드백 데이터 중 RUIS(210)로부터 수신한 피드백 데이터 아이디에 해당하는 피드백 데이터를 처리할 수 있다. 이를 위해 RUIC(220)는 피드백 데이터를 저장하기 위한 피드백 데이터 저장부(228)를 구비할 수 있다. 또한 피드백 처리부(224)는 경우에 따라 RUIS(210)와 새로운 통신 채널을 생성하고 생성된 통신 채널을 통해 RUIS(210)로부터 피드백에 대한 rawdata를 수신하여 처리할 수도 있다. 이때 rawdata의 수신은 피드백 데이터 수신부(226)에서 담당한다.
한편, 피드백 효과를 제공하기 위한 원격 UI를 구성하는 방법으로는 대상 엘리먼트(element)별로 피드백 효과를 정의하는 방법과 원격 UI 페이지 전체에 대한 피드백 효과를 정의하는 방법이 있다.
피드백 효과의 예로는 사용자 입력에 대한 피드백으로 진동을 전달하는 햅틱(Haptic) 효과와, 소리로 전달하는 사운드(sound) 효과, 이미지로 보여주는 이미지 효과, 비디오로 보여주는 비디오 효과 등이 있을 수 있으며, 본 발명에 따른 피드백 효과는 이에 한정되지 않으며 이상에서 나열하지 않는 효과도 본 발명에 적용될 수 있다. 또한 두 가지 이상의 피드백 효과를 동시에 사용자에게 제공할 수도 있다.
피드백 효과를 표시할 수 있는 대상(객체)으로는 원격 UI의 상태, 버튼, 앵커(anchor), 컨텐츠 등이 있다. 원격 UI의 상태는 원격 UI를 로딩하기 전이나 로딩 완료 후 또는 에러 상황 알림(notification) 등이 있으며, 버튼은 원격 UI를 렌더링함으로써 사용자에게 표시되는 버튼이 선택되는 경우를 말한다. 또한 앵커는 하이퍼 링크(Hypertext link)를 통해 다른 링크로 연결되는 경우를 말하며, 컨텐츠는 오디오, 비디오, 이미지, 텍스트 등의 컨텐츠를 사용자 화면에 표시하는 경우를 말한다. 이상에서 피드백 효과를 표시할 수 있는 객체에 대해 예를 들어 설명하였으나, 이외에도 다양한 대상에 대해 본 발명의 피드백 효과가 적용될 수 있다.
이하에서는 XHTML을 기반으로 하는 원격 UI 시스템에서 본 발명에 따라 피드백 효과를 제공하는 방법을 실시예별로 상세하게 설명한다.
본 발명의 제1 실시예에서는 원격 UI에 포함되는 대상 엘리먼트(또는 태그)별로 피드백을 정의한다. 이를 위해 사용자의 입력에 대한 피드백 효과를 제공하기 위한 정보를 대상 엘리먼트에 대한 속성(Attribute)의 부가 정보로 기술한다. 피드백 효과를 제공하기 위한 대상 엘리먼트는 <button>, <image>, <a>, <object> 등 사용자의 입력을 처리할 수 있는 모든 엘리먼트가 될 수 있다.
Attribute에 부가되는 정보로는 EffectType, EffectID, EffectTime 등이 있을 수 있다. EffectType은 햅틱, 사운드, 이미지 비디오 등이 있을 수 있다. EffectID는 사전에 정의된 피드백 효과에 대한 ID이다. EffectTime은 피드백 효과를 제공하는 시간에 대한 정보로, 효과가 지속되는 시간, 사용자 입력과 효과를 제공하기 시작하는 시간의 시간차 등을 나타낼 수 있다. 이러한 부가정보들은 일 실시예에 불과하며, 그 밖에도 다양한 부가정보를 추가할 수 있다. 또한 부가정보의 명칭도 변경 가능하다.
다음 표 1은 본 발명의 제1 실시예에 따라 피드백 효과를 정의한 예를 나타낸 것이다.
1) <button EffectType="haptic" EffectID="2"
2) <A href="uri" EffectType="sound" EffectID="1"
3) <image src="image.jpg" EffectType="haptic+sound" EffectID="2+1"
상기 표 1에서 1)은 <button> 엘리먼트에 대해 EffectType 속성을 “haptic”, EffectID를 “2”로 지정하였다. 이 경우 사용자가 해당 버튼을 선택하면 이에 대한 피드백 효과로 미리 지정된 진동효과 2가 제공된다. 이때 진동효과 2는 피드백 데이터 저장부에 미리 저장되어 있는 rawdata이며, 본 발명에서는 진동 패턴에 대해서는 한정하지 않는다.
2)는 <a> 엘리먼트에 대해 EffectType 속성을 “sound”, EffectID를 “1”로 지정하였다. 이 경우 사용자가 하이퍼링크를 선택할 때 효과음 1이 사용자에게 제공된 후 다음 동작인 해당 링크로의 연결이 수행된다.
3)은 두 가지 효과를 동시에 적용한 예로, <image> 엘리먼트에 대해 EffectType 속성을 “haptic+sound”, EffectID를 “2+1”로 지정하였다. 이 경우 사용자가 해당 이미지를 선택하면 진동효과 2와 효과음 1이 동시에 사용자에게 제공된다.
도 3은 본 발명의 제1 실시예에 따라 원격 UI 시스템에서 대상 엘리먼트별로 피드백 데이터를 제공하기 위한 시그널링을 도시한 것이다.
도 3을 참조하면, 300 단계에서 RUIS의 웹 서버와 RUIC의 웹 브라우저는 원격 UI 요청 및 전송에 앞서 RUIC의 피드백 효과 처리 능력을 확인하는 capability matching 과정을 수행한다. 즉, RUIS는 RUIC가 진동 효과, 효과음 등을 제공할 수 있는 디바이스인지를 확인하고, 그 확인한 결과에 따라 RUIC가 처리할 수 있는 피드백 효과를 원격 UI에 기술한다.
310 단계에서 RUIC의 웹 브라우저는 RUIS의 웹 서버로 원격 UI 데이터를 제공하여 줄 것을 요청하는 HTTP request를 전송한다.
상기 RUIS 내의 웹 서버는 312단계에서 상기 HTTP request에 상응하는 원격 UI 데이터를 상기 RUIC 내의 웹 브라우저로 전송한다. 이때 전송되는 원격 UI에는 각 엘리먼트별 피드백 효과에 대한 기술이 포함되어 있다. 상기 텍스트 형식을 기반으로 하여 작성된 원격 UI 데이터의 대표적인 예로는 XHTML을 기반으로 작성된 XHTML 페이지가 될 수 있다.
상기 RUIC의 웹 브라우저는 텍스트 형식의 원격 UI 데이터를 수신하고, 상기 수신한 원격 UI 데이터를 파싱(parsing)하고 렌더링(rendering)하여 사용자에게 UI를 제공한다.
이후 320 단계에서 사용자로부터 어떠한 입력에 의한 이벤트가 발생하면 웹 브라우저는 322 단계에서 사용자 입력에 대응하는 엘리먼트에 대해 기술된 attribute를 확인하고 피드백 처리부로 피드백 처리를 요청한다.
피드백 처리부는 324 단계에서 해당 엘리먼트에 대한 attribute를 확인하고 EffectType, EffectID, EffectTime 등의 정보에 따라 피드백 데이터 저장부에 저장된 피드백 데이터를 읽어 들이고, 326 단계에서 읽어 들인 피드백 데이터를 처리하여 피드백 효과를 사용자에게 제공한다.
도 4는 본 발명의 제1 실시예에 따른 RUIC에서 수행하는 제어 흐름을 도시한 것이다. 도 4에 도시한 단계들 중 410단계 내지 416단계에 상응하는 동작은 RUIC를 구성하는 웹 브라우저에 의해 수행되고 418단계 및 420단계에 상응하는 동작은 상기 RUIC를 구성하는 피드백 처리부에 의해 수행된다.
또한 후술될 본 발명의 실시 예를 따른 RUIC의 동작 설명에서 상기 RUIC 내의 웹 브라우저는 RUIS 내의 웹 서버와 통신을 수행하며, 상기 RUIC 내의 피드백 처리부는 RUIC 내의 웹 브라우저와 통신을 수행하는 것을 전제로 한다.
따라서 하기의 설명에서는 모든 단계에 상응하는 동작에 대한 주체로써 RUIC를 가정하여 설명하나 실질적으로는 앞에서 정의된 구성에 의해 수행되는 것으로 해석되어야 할 것이다.
도 4를 참조하면, RUIC에 의한 동작이 개시될 때 상기 RUIC는 RUIS로부터 원격 UI 데이터를 제공받아 사용자에게 UI를 제공한다 (410단계, 412단계). 이때 상기 RUIS로부터 제공되는 원격 UI 데이터는 동작 초기에 제공될 수 있는 텍스트 형식의 원격 UI 데이터를 의미한다. 상기 텍스트 형식의 원격 UI 데이터의 일 예로써 XHTML로 구성된 UI가 존재한다.
이를 위해 상기 RUIC는 410단계에서 상기 RUIS로 텍스트 형식의 UI를 요청하고, 상기 요청에 응답하여 상기 RUIS로부터 제공되는 텍스트 형식의 원격 UI 데이터를 수신한다. 그 후 상기 RUIC는 412단계에서 상기 수신한 원격 UI를 파싱 및 렌더링하고, 상기 파싱 및 렌더링된 UI를 디스플레이 수단 등을 포함하는 사용자 인터페이스를 통해 표시한다.
다음, RUIC는 414 단계에서 사용자로부터 입력에 의한 이벤트가 발생하는지를 확인하고, 사용자 입력이 있는 경우에 416 단계에서 수신한 원격 UI 데이터에 피드백 효과를 제공하기 위한 기술이 포함되어 있는지를 확인한다.
피드백 효과를 제공하기 위한 기술이 포함되어 있는 경우, RUIC는 418 단계에서 사용자 입력에 대한 피드백 데이터를 피드백 저장부로부터 읽어들여서 처리한다. 그리고 420 단계에서는 처리한 결과에 따라 사용자에게 피드백 효과를 제공한다. 수신한 원격 UI에 피드백 효과를 제공하기 위한 기술이 포함되어 있지 않은 경우에는 동작을 종료한다.
뿐만 아니라 도 4에서는 도시되고 있지 않으나 414 단계에서 발생한 사용자 입력에 따른 피드백 데이터가 피드백 데이터 저장부에 저장되어 있지 않은 경우, RUIC는 RUIS로 피드백 데이터를 요청하고 요청한 피드백 데이터를 수신하여 처리함으로써 사용자에게 피드백 효과를 제공할 수도 있다. 이러한 경우에 대해서는 이하에서 설명하는 본 발명의 제2 실시예에서 상세하게 설명한다.
한편, 본 발명의 제2 실시예에서는 원격 UI 페이지 전체에 대한 피드백을 정의한다. 즉, RUIS는 원격 UI 페이지 전체에 대한 피드백을 정의함으로써 RUIC에서 원격 UI가 로딩되기 전에 사용자에게 피드백 효과를 제공하거나, 원격 UI 내에서 에러 발생 등의 notification이 발생했을 때 이에 대한 피드백 효과를 전달한다.
이하에서는 XHTML 페이지 전체에 대한 피드백을 정의하는 것을 예로 들어 본 발명의 제2 실시예에 따른 피드백 정의 방법을 설명한다.
다음 표 2는 본 발명의 제1 실시예에 따라 피드백 효과를 정의한 예를 나타낸 것이다.
<head>
<object id=“rf” type=“application/feedback”>
<object id=“ns” type=“application/notifsocket”>

function preload_init()
{
//방법#1
var EffectType = “haptic”;
var EffectID = 2;
rf.EffectPlay(EffectType, EffetID, 0);

//방법#2
var feedbackdata = ns.getData;
rf.EffectPlay(“haptic”,0,feedbackdata);

</head>
<body onload=“preload_init()”>
</body>
상기 표 2에서는 원격 UI 페이지가 로딩되기 전에 수행되는 피드백 효과를 예로 들어 원격 UI 페이지 전체에 대해 피드백을 정의하는 방법을 설명한다.
표 2와 같이 원격 UI 페이지가 로딩되기 전에 피드백 효과를 제공하면 채널 전환 등 원격 UI 페이지 로딩이 오래 걸리는 경우 피드백 효과를 통해 사용자가 느끼는 대기시간을 단축할 수 있는 효과가 있다.
표 2에서는 원격 UI 페이지 전체에 대해 피드백 효과를 제공하는 방법으로서 ID를 이용하여 RUIC에 미리 저장된 피드백 데이터를 사용하는 방법(방법#1)과 RUIS로부터 피드백 데이터를 수신하는 방법(방법#2)을 기술하였다.
방법#1은 본 발명의 제1 실시예에서 표 1을 통해 설명한 것과 유사하다. 즉, EffectType 속성을 "haptic", EffectID를 "2"로 지정하였으므로 원격 UI 페이지를 로딩할 때 피드백 효과로 미리 지정된 진동효과 2가 사용자에게 제공된다.
방법#2에서는 RUIC가 미리 정의되어 저장된 피드백 데이터가 아닌 피드백 효과를 제공하기 위한 rawdata를 RUIS로부터 수신한다. 따라서 이 방법에 따르면 RUIS는 미리 정의되어 있지 않은 새로운 피드백 효과를 RUIC로 제공할 수 있다. 본 발명에서는 RUIS가 RUIC로 피드백 데이터를 전송하기 위한 전송수단으로는 잘 알려진 바와 같이 XMLHttpRequest를 사용할 수도 있고, Notification socket 등 별도의 통신채널(TCP/IP Connection)을 생성하고 이를 통해 피드백 데이터를 전송할 수도 있다. 그러나 본 발명에서는 어떤 전송수단을 통해 피드백 데이터를 전송할 지에 대해서는 특별히 제한을 두지 않는다.
도 5는 본 발명의 제2 실시예에 따라 원격 UI 시스템에서 원격 UI 페이지전체에 대한 피드백 효과를 제공하기 위한 시그널링을 도시한 것으로, RUIC가 피드백 데이터를 RUIS로부터 수신하여 채널 전환 등 원격 UI 페이지가 로딩되기 전에 사용자에게 피드백 효과를 제공하는 경우를 예로 들어 설명한다.
도 5를 참조하면, 500 단계에서 RUIS의 웹 서버와 RUIC의 웹 브라우저는 원격 UI 요청 및 전송에 앞서 RUIC의 피드백 효과 처리 능력을 확인하는 capability matching 과정을 수행한다. 즉, RUIS는 RUIC가 진동 효과, 효과음 등을 제공할 수 있는 디바이스인지를 확인하고, 그 확인한 결과에 따라 RUIC가 처리할 수 있는 피드백 효과를 원격 UI에 기술한다.
510 단계에서 RUIC의 웹 브라우저는 RUIS의 웹 서버로 원격 UI 데이터를 제공하여 줄 것을 요청하는 HTTP request를 전송한다.
상기 RUIS 내의 웹 서버는 512단계에서 상기 HTTP request에 상응하는 원격 UI 데이터를 상기 RUIC 내의 웹 브라우저로 전송한다. 이때 전송되는 원격 UI 데이터에는 원격 UI 페이지 전체에 대해 피드백 효과를 제공하기 위한 기술이 포함되어 있다. 또한 전송되는 원격 UI 데이터는 전체 원격 UI를 구성하기 위한 초기 XHTML 구성 파일(index.html과 같은 개념)로 원격 UI를 구성하는 모든 원격 UI 데이터 전송이 완료된 상태를 의미하지는 않는다.
상기 RUIC의 웹 브라우저는 상기 RUIS 내의 웹 서버로부터 전송된 텍스트 형식의 원격 UI 데이터를 수신하고, 상기 수신한 원격 UI 데이터를 파싱(parsing)하고 원격 UI 데이터에 피드백 효과를 위한 기술이 포함되어 있으면 520 단계에서 피드백 처리부로 피드백 처리를 요청한다.
피드백 처리부는 522 단계에서 피드백 데이터 수신부로 피드백 데이터 전송을 요청하며, 피드백 데이터 수신부는 다시 524 단계에서 RUIS의 피드백 데이터 송신부로 피드백 데이터 전송을 요청한다.
RUIC로부터 피드백 데이터 전송 요청을 받은 피드백 데이터 송신부는 526단계에서 피드백 데이터 생성부로 피드백 데이터 생성을 요청하며, 피드백 데이터 생성부는 528 단계에서 피드백 데이터를 생성하여 피드백 데이터 송신부로 전달한다. 피드백 데이터 송신부는 다시 530 단계에서 피드백 데이터 생성부로부터 수신된 피드백 데이터를 RUIC의 피드백 데이터 수신부로 전송한다.
피드백 데이터를 수신한 피드백 데이터 수신부는 532 단계에서 수신한 피드백 데이터를 피드백 처리부로 전송하여 피드백 처리를 요청한다. 그러면 피드백 처리부는 534 단계에서 피드백 데이터를 처리하고 그 처리 결과에 따라 사용자에게 피드백 효과를 제공한다.
한편, 520 단계 내지 534 단계에서 피드백 데이터가 송수신되고 처리되는 동안에도 540 단계에서 원격 UI 데이터는 RUIS의 웹 서버로부터 RUIC의 웹 브라우저로 계속 전송될 수 있다. 이와 같이 520 단계 내지 534 단계의 피드백 데이터 처리 과정은 웹 브라우저의 동작과 별개로 진행되기 때문에, UI 페이지가 사용자에게 제공되기 전에 피드백 효과를 제공함으로써 사용자는 대기시간이 감소되는 것처럼 느낄 수 있다.
만약, 표 2의 방법#1과 같이 EffectID를 이용하여 미리 저장된 데이터를 사용하는 경우에는 RUIC가 RUIS로부터 피드백 데이터를 수신할 필요가 없으므로 520 단계에서 피드백 처리 요청을 받은 피드백 처리부는 522 단계에서 피드백 데이터 수신부로 피드백 데이터 전송을 요청하지 않고 피드백 데이터 저장부에 저장된 데이터를 읽어들여서 처리한 후 534 단계에서 처리한 결과에 따라 피드백 효과를 사용자에게 제공한다. 즉, 522 단계 내지 532 단계의 동작이 일어나지 않는다.
또한 RUIC는 RUIS로부터 수신한 피드백 데이터를 임시 저장소에 저장할 수도 있다. 이 경우 이후 동일한 피드백 데이터를 처리해야 하는 경우에 RUIC의 피드백 처리부는 피드백 데이터 수신부로 피드백 데이터 전송을 요청하지 않고 임시 저장소에 저장된 피드백 데이터를 읽어들여서 처리함으로써 피드백 데이터 처리 시간을 단축할 수도 있다.
도 6은 본 발명의 제2 실시예에 따른 RUIC에서 수행하는 제어 흐름을 도시한 것이다. 도 6에 도시한 단계들 중 610단계와 612 단계 및 618단계에 상응하는 동작은 RUIC를 구성하는 웹 브라우저에 의해 수행되고, 614단계 및 616단계에 상응하는 동작은 상기 RUIC를 구성하는 피드백 처리부와 피드백 데이터 수신부에 의해 수행된다.
또한 후술될 본 발명의 실시 예를 따른 RUIC의 동작 설명에서 상기 RUIC 내의 웹 브라우저는 RUIS 내의 웹 서버와 통신을 수행하고, 상기 RUIC 내의 피드백 데이터 수신부는 RUIS 내의 피드백 데이터 송신부와 통신을 수행하며, 상기 RUIC 내의 피드백 처리부는 RUIC 내의 웹 브라우저 및 피드백 데이터 수신부와 통신을 수행하는 것을 전제로 한다.
따라서 하기의 설명에서는 모든 단계에 상응하는 동작에 대한 주체로써 RUIC를 가정하여 설명하나 실질적으로는 앞에서 정의된 구성에 의해 수행되는 것으로 해석되어야 할 것이다.
도 6을 참조하면, RUIC에 의한 동작이 개시될 때 상기 RUIC는 RUIS로부터 원격 UI 데이터를 제공받아 사용자에게 UI를 제공한다 (610단계, 618단계). 이때 상기 RUIS로부터 제공되는 원격 UI 데이터는 동작 초기에 제공될 수 있는 텍스트 형식의 원격 UI 데이터를 의미한다. 상기 텍스트 형식의 원격 UI 데이터의 일 예로써 XHTML로 구성된 UI가 존재한다.
이를 위해 상기 RUIC는 610단계에서 상기 RUIS로 UI를 요청하고, 상기 요청에 응답하여 상기 RUIS로부터 제공되는 원격 UI 데이터를 수신한다. 그 후 상기 RUIC는 612 단계에서 수신한 원격 UI 데이터에 피드백 효과를 제공하기 위한 기술이 포함되어 있는지를 확인한다.
피드백 효과를 제공하기 위한 기술이 포함되어 있는 경우, RUIC는 614단계에서 RUIS로 피드백 데이터를 요청하고 요청한 피드백 데이터를 수신하여 처리하며, 616 단계에서 처리한 결과에 따라 사용자에게 피드백 효과를 제공한다.
또한 RUIC는 피드백 데이터가 송수신되고 처리되는 동안에도 원격 UI 데이터를 RUIS로부터 계속 수신할 수 있으며, 피드백 효과를 제공한 이후에 618 단계에서 상기 수신한 원격 UI를 파싱 및 렌더링하고, 상기 파싱 및 렌더링된 UI를 디스플레이 수단 등을 포함하는 사용자 인터페이스를 통해 표시한다.
또한, 612 과정에서 RUIS로부터 수신한 원격 UI 데이터에 피드백 효과를 제공하기 위한 기술이 포함되어 있지 않은 경우에는 618 단계에서 상기 수신한 원격 UI를 파싱 및 렌더링하고, 상기 파싱 및 렌더링된 UI를 디스플레이 수단 등을 포함하는 사용자 인터페이스를 통해 표시한다.
한편, 만약, 표 2의 방법#1과 같이 EffectID를 이용하여 미리 저장된 데이터를 사용하는 경우에는 RUIC가 RUIS로부터 피드백 데이터를 수신할 필요가 없으므로 614 단계에서 피드백 데이터 저장부에 저장된 데이터를 읽어들여서 처리한 후 616 단계에서 처리한 결과에 따라 피드백 효과를 사용자에게 제공한다.
도 7은 본 발명의 제2 실시예에 따른 RUIS에서 수행하는 제어 흐름을 도시한 것이다. 도 7에 도시한 단계들 중 700단계 내지 712단계에 상응하는 동작은 RUIS를 구성하는 웹 서버에 의해 수행되고, 714단계와 716단계에 상응하는 동작은 상기 RUIS를 구성하는 피드백 데이터 생성부와 피드백 데이터 송신부에 의해 수행된다.
또한 후술될 본 발명의 실시 예를 따른 RUIS의 동작 설명에서 상기 RUIS 내의 웹 서버는 RUIC 내의 웹 브라우저와 통신을 수행하고, 상기 RUIS 내의 피드백 데이터 송신부는 RUIC 내의 피드백 데이터 수신부와 통신을 수행하며, 상기 RUIS 내의 피드백 데이터 생성부는 RUIS 내의 피드백 데이터 송신부와 통신을 수행하는 것을 전제로 한다.
따라서 하기의 설명에서는 모든 단계에 상응하는 동작에 대한 주체로써 RUIS를 가정하여 설명하나 실질적으로는 앞에서 정의된 구성에 의해 수행되는 것으로 해석되어야 할 것이다.
도 7을 참조하면, RUIS는 700 단계에서 원격 UI 요청 및 전송에 앞서 RUIC의 피드백 효과 처리 능력을 확인하는 capability matching 과정을 수행한다. 즉, RUIS는 RUIC가 진동 효과, 효과음 등을 제공할 수 있는 디바이스인지를 확인하고, 그 확인한 결과에 따라 이후 RUIC가 처리할 수 있는 피드백 효과를 원격 UI에 기술한다.
710단계에서 RUIC로부터 원격 UI의 제공이 요청되는 지를 감시한다. 상기 RUIS는 상기 RUIC로부터 원격 UI 요청이 접수되면, 712단계에서 상기 RUIC로부터 요청된 원격 UI 데이터를 상기 RUIC로 전송한다. 상기 원격 UI 데이터는 상기 RUIC로부터의 요청에 의해 생성되거나 사전에 미리 생성될 수 있다. 상기 원격 UI 데이터의 일 예로써 XHTML로 구성된 UI가 존재한다.
한편 상기 RUIS는 상기 원격 UI 데이터를 전송할 시 피드백 효과를 제공하기 위한 기술을 포함시켜서 전송한다. 이에 따라 714 단계에서는 RUIC로부터 피드백 데이터 전송 요청이 수신되는지를 감시하며, RUIC로부터 피드백 데이터 전송 요청이 수신되면, 716 단계에서 RUIC로부터 요청된 피드백 데이터를 생성하여 RUIC로 전송한다.
도 8은 본 발명의 제1 실시예에 따른 원격 UI가 표시된 화면의 예를 도시한 것이다.
도 8에 도시한 바와 같이, 화면에는 3개의 메뉴(Movie, Drama, Premium)가 표시되며, 사용자 입력에 의해 메뉴가 선택될 때 메뉴별로 각각 다른 피드백 효과를 제공할 수 있다. 예를 들어, Movie와 Drama를 선택할 때에는 특별한 제약사항 없고 Premium을 선택하는 경우에는 특별 과금 등의 제약사항이 있다면, Movie와 Drama를 선택하면 해당 메뉴가 선택이 되었다는 사실을 알리기 위해 단순한 효과음을 제공하고, Premium이 선택되면 경고 등의 목적으로 해당 메뉴가 선택되었음을 사용자에게 알려주기 위해 Movie, Drama와는 다른 진동효과를 제공할 수 있다.
도 9는 본 발명의 제2 실시예에 따라 원격 UI 시스템에서 채널 변경시 원격 UI 페이지 전체에 대한 피드백 효과를 제공하는 예를 도시한 것이다.
도 9를 참조하면, RUIC에 해당하는 디지털 TV가 RUIS에 해당하는 셋탑박스로 채널 변경에 해당하는 원격 UI 데이터를 요청하면, 셋탑박스는 요청된 원격 UI 데이터를 디지털 TV로 전송한다. 이때 셋탑박스는 전체 원격 UI 데이터를 전송하기 전에 채널 변경에 대한 피드백 효과를 제공하기 위한 피드백 데이터를 제공하며, 따라서 디지털 TV는 UI 화면을 표시하기 전에 셋탑박스로부터 수신된 피드백 데이터를 처리하여 사용자에게 음향효과 등의 피드백 효과를 제공한다. 이후 셋탑박스는 디지털 TV로 채널 변경 UI 데이터를 전송함으로써 오디오/비디오 컨텐츠를 제공할 수 있다.
또한 사용자에게 피드백 효과를 제공하는 다른 예로서, CE-HTML이나 Capability Matching 등 RUIC로부터 요청된 서비스를 제공할 수 없는 경우에도 미리 지정된 음향 효과를 사용자에게 제공할 수 있다. 그리고 메일 도착, 중요 3rd party notification 발생 시 사용자에게 음향 효과를 제공할 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (37)

  1. 원격 사용자 인터페이스 (UI: User Interface) 요청에 응답하여 원격 UI 서버로부터 수신한 UI 데이터를 렌더링하여 출력하고, 상기 수신한 UI 데이터에 정의된 피드백 효과를 사용자에게 제공하기 위한 피드백 처리를 요청하는 웹 브라우저 모듈; 및
    상기 웹 브라우저 모듈의 요청에 따라 피드백 데이터를 처리하고 상기 처리한 결과에 따라 상기 피드백 효과를 상기 사용자에게 제공하는 피드백 처리부를 포함하는 원격 UI 클라이언트.
  2. 제1항에 있어서,
    상기 피드백 데이터를 저장하기 위한 피드백 데이터 저장부를 더 포함하며,
    상기 피드백 데이터는 상기 원격 UI 서버와의 약속에 따라 미리 정의되어 상기 피드백 데이터 저장부에 저장되며, 상기 수신한 UI 데이터에는 상기 피드백 데이터에 대한 아이디가 포함되는 원격 UI 클라이언트.
  3. 제1항에 있어서,
    상기 피드백 처리부로부터의 요청에 따라 상기 원격 UI 서버로 상기 피드백 데이터를 요청하여 수신한 후 상기 피드백 처리부로 전송하는 피드백 데이터 수신부를 더 포함하는 원격 UI 클라이언트.
  4. 제1항에 있어서,
    상기 웹 브라우저 모듈은, 상기 사용자로부터의 입력을 감지하고 상기 입력에 따른 피드백 효과를 제공하기 위한 피드백 처리를 상기 피드백 처리부로 요청하는 원격 UI 클라이언트.
  5. 제1항에 있어서,
    상기 수신한 UI 데이터는 화면에 표시되는 대상 엘리먼트별로 피드백 효과를 제공하기 위한 데이터를 포함하는 원격 UI 클라이언트.
  6. 제1항에 있어서,
    상기 수신한 UI 데이터는 표시되는 화면 전체에 대한 피드백 효과를 제공하기 위한 데이터를 포함하며,
    상기 UI 데이터를 출력하기 전에 상기 피드백 효과를 제공하는 원격 UI 클라이언트.
  7. 제1항에 있어서,
    상기 수신한 UI 데이터는 표시되는 UI를 화면에 표시한 후 발생하는 소정의 이벤트를 알리는 피드백 효과를 제공하기 위한 피드백 데이터를 포함하는 원격 UI 클라이언트.
  8. 제3항에 있어서,
    상기 원격 UI 서버로부터 수신한 피드백 데이터를 임시 저장하기 위한 임시 저장부를 더 포함하는 원격 UI 클라이언트.
  9. 제5항에 있어서,
    상기 엘리먼트는 원격 UI의 상태, 버튼, 앵커, 컨텐츠 중 적어도 하나를 포함하는 원격 UI 클라이언트.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 피드백 효과는 진동효과, 음향효과, 이미지, 비디오 중 적어도 하나를 포함하는 원격 UI 클라이언트.
  11. 원격 사용자 인터페이스 (UI: User Interface) 클라이언트에서 원격 UI 서버로부터 수신한 UI 데이터를 처리하는 방법에 있어서,
    웹 브라우저 모듈에서 원격 UI 요청에 응답하여 원격 UI 서버로부터 수신한 UI 데이터를 렌더링하여 출력하는 과정과,
    상기 수신한 UI 데이터 내에 정의된 피드백 효과를 제공하기 위한 피드백 데이터를 처리하는 과정과,
    상기 처리된 결과에 따라 상기 피드백 효과를 사용자에게 제공하는 과정을 포함하는 UI 데이터 처리 방법.
  12. 제11항에 있어서,
    상기 피드백 데이터는 상기 원격 UI 서버와의 약속에 따라 미리 정의되어 상기 UI 클라이언트 내에 저장되어 있고, 상기 수신한 UI 데이터에는 상기 피드백 데이터에 대한 아이디가 포함되며,
    상기 피드백 데이터를 처리하는 과정은,
    상기 저장된 피드백 데이터 중 상기 아이디에 해당하는 피드백 데이터를 읽어들여서 처리하는 UI 데이터 처리 방법.
  13. 제11항에 있어서,
    상기 피드백 데이터를 처리하는 과정은,
    상기 원격 UI 서버로 상기 피드백 데이터를 요청하여 수신한 후 처리하는 UI 데이터 처리 방법.
  14. 제11항에 있어서,
    상기 피드백 데이터를 처리하는 과정은,
    상기 사용자로부터의 입력을 감지하고, 상기 수신한 UI 데이터 내에 정의된 피드백 효과 중 상기 입력에 대응되는 피드백 효과를 제공하기 위한 피드백 데이터를 처리하는 UI 데이터 처리 방법.
  15. 제11항에 있어서,
    상기 수신한 UI 데이터는 화면에 표시되는 대상 엘리먼트별로 피드백 효과를 제공하기 위한 데이터를 포함하는 UI 데이터 처리 방법.
  16. 제11항에 있어서,
    상기 수신한 UI 데이터는 표시되는 화면 전체에 대한 피드백 효과를 제공하기 위한 데이터를 포함하며,
    상기 UI 데이터를 출력하기 전에 상기 피드백 효과를 제공하는 UI 데이터 처리 방법.
  17. 제11항에 있어서,
    상기 수신한 UI 데이터는 표시되는 UI를 화면에 표시한 후 발생하는 소정의 이벤트를 알리는 피드백 효과를 제공하기 위한 피드백 데이터를 포함하는 UI 데이터 처리 방법.
  18. 제15항에 있어서,
    상기 엘리먼트는 원격 UI의 상태, 버튼, 앵커, 컨텐츠 중 적어도 하나를 포함하는 UI 데이터 처리 방법.
  19. 제11항 내지 제18항 중 어느 한 항에 있어서,
    상기 피드백 효과를 제공하는 과정은, 진동효과, 음향효과, 이미지, 비디오 중 적어도 하나를 상기 사용자에게 제공하는 UI 데이터 처리 방법.
  20. 원격 사용자 인터페이스 (UI: User Interface) 클라이언트의 웹 브라우저 모듈로부터의 원격 UI 요청에 응답하여 사용자에게 제공하기 위한 피드백 효과가 정의되어 있는 UI 데이터를 상기 원격 UI 클라이언트로 전송하는 웹 서버 모듈을 포함하는 원격 UI 서버.
  21. 제20항에 있어서,
    상기 웹 서버 모듈은, 상기 원격 UI 클라이언트와의 약속에 따라 미리 정의된 피드백 데이터의 아이디를 상기 UI 데이터에 포함시켜서 상기 원격 UI 클라이언트로 제공하는 원격 UI 서버.
  22. 제20항에 있어서,
    상기 피드백 효과를 제공하기 위한 피드백 데이터를 생성하는 피드백 데이터 생성부와,
    상기 원격 UI 클라이언트로부터의 요청에 따라 상기 피드백 데이터 생성부로 상기 피드백 데이터를 요청하고, 상기 생성된 피드백 데이터를 상기 원격 UI 클라이언트로 전송하는 피드백 데이터 전송부를 더 포함하는 원격 UI 서버.
  23. 제20항에 있어서,
    상기 웹 서버 모듈은 상기 사용자에게 표시되는 UI 내의 엘리먼트별로 피드백 효과를 제공하기 위한 피드백 데이터를 포함하는 상기 UI 데이터를 상기 원격 UI 클라이언트로 전송하는 원격 UI 서버.
  24. 제22항에 있어서,
    상기 웹 서버 모듈은 상기 사용자에게 표시되는 UI 화면 전체에 대한 피드백 효과를 제공하기 위한 피드백 데이터를 포함하는 상기 UI 데이터를 상기 원격 UI 클라이언트로 전송하는 원격 UI 서버.
  25. 제22항에 있어서,
    상기 웹 서버 모듈은 UI를 화면에 표시한 후 발생하는 소정의 이벤트를 알리는 피드백 효과를 제공하기 위한 피드백 데이터를 포함하는 상기 UI 데이터를 상기 원격 UI 클라이언트로 전송하는 원격 UI 서버.
  26. 제23항에 있어서,
    상기 엘리먼트는 원격 UI의 상태, 버튼, 앵커, 컨텐츠 중 적어도 하나를 포함하는 원격 UI 서버.
  27. 제20항 내지 제26항 중 어느 한 항에 있어서,
    상기 피드백 효과는 진동효과, 음향효과, 이미지, 비디오 중 적어도 하나를 포함하는 원격 UI 서버.
  28. 제22항에 있어서,
    상기 웹 서버 모듈은 상기 UI 데이터를 전송하기 전에 상기 원격 UI 클라이언트가 상기 피드백 효과를 제공할 수 있는 능력을 확인하는 절차를 수행하는 원격 UI 서버.
  29. 원격 사용자 인터페이스 (UI: User Interface) 서버에서 원격 UI 클라이언트로UI 데이터를 전송하는 방법에 있어서,
    웹 서버 모듈에서 상기 원격 UI 클라이언트의 웹 브라우저 모듈로부터의 원격 UI 요청에 응답하여 사용자에게 제공하기 위한 피드백 효과가 정의되어 있는 UI 데이터를 상기 원격 UI 클라이언트로 전송하는 과정을 포함하는 UI 데이터 전송방법.
  30. 제29항에 있어서,
    상기 UI 데이터를 전송하는 과정은,
    상기 원격 UI 클라이언트와의 약속에 따라 미리 정의된 피드백 데이터의 아이디를 상기 UI 데이터에 포함시켜서 상기 원격 UI 클라이언트로 제공하는 UI 데이터 전송방법.
  31. 제29항에 있어서,
    상기 원격 UI 클라이언트로부터의 요청에 따라 상기 피드백 데이터 생성하는 과정과,
    상기 생성된 피드백 데이터를 상기 원격 UI 클라이언트로 전송하는 과정을 더 포함하는 UI 데이터 전송방법.
  32. 제29항에 있어서,
    상기 UI 데이터를 전송하는 과정은,
    상기 사용자에게 표시되는 UI 내의 엘리먼트별로 피드백 효과를 제공하기 위한 피드백 데이터를 포함하는 상기 UI 데이터를 상기 원격 UI 클라이언트로 전송하는 UI 데이터 전송방법.
  33. 제29항에 있어서,
    상기 UI 데이터를 전송하는 과정은,
    상기 사용자에게 표시되는 UI 화면 전체에 대한 피드백 효과를 제공하기 위한 피드백 데이터를 포함하는 상기 UI 데이터를 상기 원격 UI 클라이언트로 전송하는 UI 데이터 전송방법.
  34. 제29항에 있어서,
    상기 UI 데이터를 전송하는 과정은,
    UI를 화면에 표시한 후 발생하는 소정의 이벤트를 알리는 피드백 효과를 제공하기 위한 피드백 데이터를 포함하는 상기 UI 데이터를 상기 원격 UI 클라이언트로 전송하는 UI 데이터 전송방법.
  35. 제32항에 있어서,
    상기 엘리먼트는 원격 UI의 상태, 버튼, 앵커, 컨텐츠 중 적어도 하나를 포함하는 UI 데이터 전송방법.
  36. 제29항 내지 제35항 중 어느 한 항에 있어서,
    상기 피드백 효과는 진동효과, 음향효과, 이미지, 비디오 중 적어도 하나를 포함하는 UI 데이터 전송방법.
  37. 제29항에 있어서,
    상기 UI 데이터를 전송하기 전에 상기 원격 UI 클라이언트가 상기 피드백 효과를 제공할 수 있는 능력을 확인하는 과정을 더 포함하는 UI 데이터 전송방법.
KR1020100071292A 2010-07-23 2010-07-23 원격 사용자 인터페이스 시스템에서 원격 사용자 인터페이스 데이터 송/수신장치 및 방법 KR101668118B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020100071292A KR101668118B1 (ko) 2010-07-23 2010-07-23 원격 사용자 인터페이스 시스템에서 원격 사용자 인터페이스 데이터 송/수신장치 및 방법
PCT/KR2011/005360 WO2012011745A2 (en) 2010-07-23 2011-07-20 Apparatus and method for transmitting and receiving remote user interface data in a remote user interface system
JP2013520652A JP2013531323A (ja) 2010-07-23 2011-07-20 リモートユーザーインターフェースシステムにおけるリモートユーザーインターフェースデータ送受信装置及び方法
EP11809872.2A EP2596599A4 (en) 2010-07-23 2011-07-20 APPARATUS AND METHOD FOR TRANSMITTING AND RECEIVING REMOTE USER INTERFACE DATA IN A REMOTE USER INTERFACE SYSTEM
CN201180035849.7A CN103026658B (zh) 2010-07-23 2011-07-20 远程用户接口系统中发送和接收远程用户接口数据的装置和方法
US13/190,159 US20120023411A1 (en) 2010-07-23 2011-07-25 Apparatus and method for transmitting and receiving remote user interface data in a remote user interface system
JP2015167611A JP2015212987A (ja) 2010-07-23 2015-08-27 リモートユーザーインターフェースシステムにおけるリモートユーザーインターフェースデータ送受信装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100071292A KR101668118B1 (ko) 2010-07-23 2010-07-23 원격 사용자 인터페이스 시스템에서 원격 사용자 인터페이스 데이터 송/수신장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120009973A true KR20120009973A (ko) 2012-02-02
KR101668118B1 KR101668118B1 (ko) 2016-10-21

Family

ID=45494563

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100071292A KR101668118B1 (ko) 2010-07-23 2010-07-23 원격 사용자 인터페이스 시스템에서 원격 사용자 인터페이스 데이터 송/수신장치 및 방법

Country Status (6)

Country Link
US (1) US20120023411A1 (ko)
EP (1) EP2596599A4 (ko)
JP (2) JP2013531323A (ko)
KR (1) KR101668118B1 (ko)
CN (1) CN103026658B (ko)
WO (1) WO2012011745A2 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080063041A (ko) * 2006-12-29 2008-07-03 삼성전자주식회사 사용자 인터페이스 방법 및 장치
US20130311881A1 (en) * 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
US9891709B2 (en) 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
US9003299B2 (en) 2012-06-08 2015-04-07 Apple Inc. Extensible application state preservation architecture
US10645990B2 (en) 2013-08-19 2020-05-12 Nike, Inc. Article of footwear with adjustable sole
US20150358043A1 (en) * 2014-06-05 2015-12-10 Samsung Electronics Co., Ltd. Wearable device, main unit of wearable device, fixing unit of wearable device, and control method of wearable device
US9619034B2 (en) 2015-02-25 2017-04-11 Immersion Corporation Overlaying of haptic effects
KR20180103547A (ko) * 2017-03-10 2018-09-19 삼성전자주식회사 휴대 장치 및 휴대 장치의 화면 제어방법
JP7065367B2 (ja) * 2018-03-29 2022-05-12 パナソニックＩｐマネジメント株式会社 入力装置及び音声出力システム
WO2020059758A1 (ja) * 2018-09-20 2020-03-26 日本電産株式会社 コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置
CN110278240A (zh) * 2019-04-25 2019-09-24 瑞声科技(新加坡)有限公司 一种触感效果控制方法、系统、电子装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020080938A1 (en) * 2000-05-19 2002-06-27 Alexander Wade H. Method and apparatus for generating dynamic graphical representations and real-time notification of the status of a remotely monitored system
KR20070034341A (ko) * 2005-09-23 2007-03-28 삼성전자주식회사 원격 사용자 인터페이스를 제공하는 장치 및 방법
US7203736B1 (en) * 1999-10-22 2007-04-10 Roke Manor Research Limited Fully integrated web activated control and monitoring device
US20110264491A1 (en) * 2010-04-23 2011-10-27 Immersion Corporation Systems and Methods for Providing Haptic Effects

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6161126A (en) * 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US6167441A (en) * 1997-11-21 2000-12-26 International Business Machines Corporation Customization of web pages based on requester type
JP2001346270A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 情報システムおよび電子サービスガイド方法
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
US7337217B2 (en) * 2000-07-21 2008-02-26 Samsung Electronics Co., Ltd. Architecture for home network on world wide web
JP3727922B2 (ja) * 2000-09-27 2005-12-21 株式会社エヌ・ティ・ティ・ドコモ 電子機器の遠隔制御方法及び電子機器の管理設備
JP2002268882A (ja) * 2001-03-07 2002-09-20 Fujitsu Ltd Ｗｅｂアプリケーションシステム、及びプログラム
US8001259B2 (en) * 2001-06-01 2011-08-16 International Business Machines Corporation Pervasive, distributed provision of services such as product brokerage
JP4557203B2 (ja) * 2003-06-10 2010-10-06 ソフトバンクモバイル株式会社 情報提供方法、情報提供サーバ装置、情報通信システム、携帯電話端末装置及び制御プログラム
JP2005026740A (ja) * 2003-06-30 2005-01-27 Matsushita Electric Ind Co Ltd 機器制御インタフェース構築方法
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
JP2006163579A (ja) * 2004-12-03 2006-06-22 Sony Corp 情報処理システム、情報処理装置及び情報処理方法
CN100489914C (zh) * 2005-09-26 2009-05-20 三星电子株式会社 在基于Web的控制系统中发送声音信息的方法和设备
WO2007147243A1 (en) * 2006-06-20 2007-12-27 D-Wave Systems Inc. Systems, devices, and methods for solving computational problems
JP3958348B1 (ja) * 2006-09-27 2007-08-15 株式会社ウインライト 携帯電話の制御方法、携帯電話及び携帯電話のプログラム
US8700740B2 (en) * 2007-12-26 2014-04-15 Panasonic Corporation CE device and content browsing system, and content browsing method thereof
US20100293462A1 (en) * 2008-05-13 2010-11-18 Apple Inc. Pushing a user interface to a remote device
US20090284476A1 (en) * 2008-05-13 2009-11-19 Apple Inc. Pushing a user interface to a remote device
JP4661907B2 (ja) * 2008-05-30 2011-03-30 ソニー株式会社 情報処理システム、情報処理装置及び情報処理方法、並びにプログラム
KR20100048965A (ko) * 2010-03-12 2010-05-11 블루가 (주) 웹 기반 사용자 인터페이스 구현 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7203736B1 (en) * 1999-10-22 2007-04-10 Roke Manor Research Limited Fully integrated web activated control and monitoring device
US20020080938A1 (en) * 2000-05-19 2002-06-27 Alexander Wade H. Method and apparatus for generating dynamic graphical representations and real-time notification of the status of a remotely monitored system
KR20070034341A (ko) * 2005-09-23 2007-03-28 삼성전자주식회사 원격 사용자 인터페이스를 제공하는 장치 및 방법
US20110264491A1 (en) * 2010-04-23 2011-10-27 Immersion Corporation Systems and Methods for Providing Haptic Effects

Also Published As

Publication number Publication date
KR101668118B1 (ko) 2016-10-21
WO2012011745A3 (en) 2012-04-19
CN103026658A (zh) 2013-04-03
WO2012011745A2 (en) 2012-01-26
EP2596599A4 (en) 2015-03-11
CN103026658B (zh) 2016-11-09
JP2013531323A (ja) 2013-08-01
US20120023411A1 (en) 2012-01-26
EP2596599A2 (en) 2013-05-29
JP2015212987A (ja) 2015-11-26

Similar Documents

Publication Publication Date Title
KR20120009973A (ko) 원격 사용자 인터페이스 시스템에서 원격 사용자 인터페이스 데이터 송/수신장치 및 방법
US11422779B2 (en) Application support for network devices
KR102151680B1 (ko) 미디어 컨텐츠를 제시하기 위한 시스템들, 방법들 및 컴퓨터 판독 가능 매체들
US8176140B2 (en) Home network device control service and/or internet service method and apparatus thereof for controlling internet services and home network devices based on a script
US20150189358A1 (en) Electronic Device, Control Method and Computer Program Product
KR100772861B1 (ko) 원격 사용자 인터페이스를 제공하는 장치 및 방법
AU2010294783B2 (en) Method and device for providing complementary information
US20190297125A1 (en) Method and electronic device for editing content
US20060047668A1 (en) Web service-enabling digital video/audio-processing apparatus, and web service method and system therefor
JP6382943B2 (ja) 放送通信システムにおける付加情報を送信及び受信する方法及び装置
US20070124311A1 (en) System and method for providing web service to device without web browser
US20150156551A1 (en) Electronic device, image display method for use in the electronic device and storage medium for image display program
CN103023870A (zh) 一种消息中数据的输出方法、装置和设备
US8860986B2 (en) Image forming system for printing contents of a widget application executed in a mobile terminal
JP2018078575A (ja) マルチスクリーンサービスをサポートするためのマークアップ構成装置及び方法
KR20110003343A (ko) 클라이언트에 의해 생성된 정보를 디스플레이하기 위한 방법
CN102541836A (zh) 一种调整版式文件版面的方法及装置
JP2008040915A (ja) 遠隔操作システム、通信端末、サーバ装置、およびコンピュータプログラム
WO2013168287A1 (ja) 中継装置
KR101992223B1 (ko) 특정 채널을 이용한 주문형 멀티 콘텐츠 감상 방법 및 시스템
JP2008312159A (ja) テレビジョンシステム
KR100936522B1 (ko) 동기식 멀티미디어 통합 언어(ｓｍｉｌ) 메시지를 구성하는프레임워크 공유 방법 및 단말기
US20150006679A1 (en) Individual information management system, electronic device, and method for managing individual information
JP6178764B2 (ja) 情報処理方法、通信端末およびコンピュータプログラム
KR101915319B1 (ko) 영상표시기기 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190927

Year of fee payment: 4