KR101539461B1 - 멀티미디어 시스템에서 사용자 인터페이스 서비스를 제공하는 방법 및 장치 - Google Patents

멀티미디어 시스템에서 사용자 인터페이스 서비스를 제공하는 방법 및 장치 Download PDF

Info

Publication number
KR101539461B1
KR101539461B1 KR1020080069351A KR20080069351A KR101539461B1 KR 101539461 B1 KR101539461 B1 KR 101539461B1 KR 1020080069351 A KR1020080069351 A KR 1020080069351A KR 20080069351 A KR20080069351 A KR 20080069351A KR 101539461 B1 KR101539461 B1 KR 101539461B1
Authority
KR
South Korea
Prior art keywords
widget
search
data
multimedia device
multimedia
Prior art date
Application number
KR1020080069351A
Other languages
English (en)
Other versions
KR20100008735A (ko
Inventor
박경모
송재연
황서영
이국희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020080069351A priority Critical patent/KR101539461B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN2013102512688A priority patent/CN103353882A/zh
Priority to CA2730389A priority patent/CA2730389C/en
Priority to CN2009801276726A priority patent/CN102099774B/zh
Priority to JP2011518656A priority patent/JP5113294B2/ja
Priority to EP09798133A priority patent/EP2300901A4/en
Priority to AU2009271877A priority patent/AU2009271877B2/en
Priority to PCT/KR2009/003941 priority patent/WO2010008230A2/en
Priority to US12/504,323 priority patent/US8438492B2/en
Publication of KR20100008735A publication Critical patent/KR20100008735A/ko
Priority to US13/857,726 priority patent/US20130219275A1/en
Application granted granted Critical
Publication of KR101539461B1 publication Critical patent/KR101539461B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 사용자 인터페이스 장치 및 방법에 대한 것으로서, 특히 다양한 형태의 통신 디바이스를 지원하기 위한 적응적인 사용자 인터페이스 서비스 제공 장치 및 방법에 대한 것이다.
본 발명은 디바이스가, UI 서버로부터 UI 데이터를 수신하고, UI 클라이언트의(from) 입력 신호에 대응하는 객체 단위로 구조화된 UI 데이터를 추출하며, 상기 추출된 UI 데이터에 디스플레이 할 상기 디바이스의UI 환경을 반영하여 적응적인 UI 데이터를 생성한 후, 해당 디바이스의 표시 화면을 통해 디스플레이함을 개시한다.
Widget, MPEG UI Framework, multi modal interface

Description

멀티미디어 시스템에서 사용자 인터페이스 서비스를 제공하는 방법 및 장치{APPARATUS AND METHOD FOR PROVIDING AN USER INTERFACE SERVICE IN A MULTIMEDIA SYSTEM}
본 발명은 각종 멀티미디어 장치를 조작하기 위한 사용자 인터페이스(User Interface: UI) 서비스를 제공하기 위한 장치 및 방법에 관한 것으로서, 특히 다양한 형태로 구성이 가능한 UI 서비스 제공 장치 및 방법에 관한 것이다.
최근 네트워크 기술과 멀티미디어 기술의 급속한 진화에 따라 다양한 종류의 멀티미디어 장치들이 개발되고, 이러한 멀티미디어 장치들 사이의 병합화(Convergence)는 가속화 되어 가고 있다. 예를 들어 디지털 TV, 홈 씨어터, 컴퓨터 장치, 비디오/오디오 장치 등의 각종 멀티미디어 장치들과 같이 서로 다른 종류의 입력 장치에서부터 다양한 출력 장치들을 탑재한 멀티미디어 장치들이 네트워크 환경을 통해 멀티미디어 데이터를 송수신하거나, 병합된 멀티미디어 서비스의 제공을 위해 멀티미디어 장치들간에 상호 동작을 제어하는 일이 빈번하게 발생하고 있다.
종래 물리적으로 상이한 공간에서 발생하는 원격 제어는 원격 사용자 인터페이스(User Interface : 이하, "UI")를 송수신함으로써 발생한다. UI 서버가 제어를 위한 UI 데이터를 UI 클라이언트에게 제공하고, UI 클라이언트는 제공 받은 UI 데이터를 통해 UI 서버를 제어하게 된다. 예를 들자면, 윈도우(Window) 환경의 컴퓨터(PC)에서의 원격 접속 또는 제어가 유사한 서비스라 할 수 있다.
본 발명은 멀티미디어 장치의 제어를 위해 원격의 UI 서버가 UI 클라이언트에게 제공하는 UI 데이터를 가공할 수 있는 UI 장치 및 방법을 제공한다.
또한 본 발명은 멀티미디어 장치의 제어를 위해 UI 클라이언트에게 제공하는 UI 데이터를 UI 환경에 따라 새로이 구성하는 UI 장치 및 방법을 제공한다.
또한 본 발명은 다른 UI 클라이언트의 UI 데이터를 자신의 UI 데이터와 병합하여 새로운 UI 데이터를 구성하는 UI 장치 및 방법을 제공한다.
본 발명의 실시 예에 따른 멀티미디어 시스템에서 멀티미디어 장치가 사용자 인터페이스(User Interface: UI) 서비스를 제공하는 방법은, UI 서버로부터 검색 위젯을 표현하기 위한 적어도 하나의 UI 데이터를 수신하는 과정과, 상기 수신된 적어도 하나의 UI 데이터를 상기 멀티미디어 장치의 화면을 통해 디스플레이하는 과정과, UI 클라이언트 장치로부터, 상기 검색 위젯 및 다른 검색 위젯들 중에서 상기 UI 클라이언트 장치에 의해 선택된 검색 위젯을 지시하는 입력 신호가 수신되면, 상기 멀티미디어 장치에 의해 저장된 적어도 하나의 UI 데이터 중 입력 신호와 관련된 UI 데이터를 검출하는 과정과, 상기 추출된 UI 데이터를 이용하는 객체 단위의 입력 인터페이스 위젯을 추출하는 과정과, 상기 선택된 검색 위젯과 함께 상기 추출된 입력 인터페이스 위젯을 통합하여 통합된 검색 위젯을 생성하는 과정과, 상기 생성된 병합된 검색 위젯을 상기 멀티미디어 장치의 화면을 통해 디스플레이하는 과정과, 상기 생성된 병합된 검색 위젯이 디스플레이되는 동안, 상기 UI 클라이언트 장치로부터 검색 입력에 대응하여 상기 UI 서버와 검색을 수행하는 과정과, 상기 수행된 검색 결과를 상기 멀티미디어 장치의 화면을 통해 디스플레이하는 과정을 포함한다.
또한 본 발명의 실시 예에 따른 멀티미디어 시스템에서 멀티미디어 장치가 사용자 인터페이스(User Interface: UI) 서비스를 제공하는 방법은, UI 서버로부터 위젯을 표현하기 위한 적어도 하나의 UI 데이터를 수신하는 과정과, 상기 수신된 적어도 하나의 UI 데이터를 상기 멀티미디어 장치의 화면을 통해 디스플레이하는 과정과, UI 클라이언트 장치로부터 상기 UI 클라이언트 장치가 탑재되는 단말기의 기능성을 고려한 새로운 위젯 요청을 수신하는 과정과, 상기 수신된 적어도 하나의 UI 데이터 또는 상기 멀티미디어 장치에 저장된 다른 UI 데이터 중에서, 상기 단말기의 기능성을 만족하는 객체 단위의 적어도 하나의 UI 데이터를 추출하여 상기 새로운 위젯을 적응적으로 생성하는 과정과, 상기 생성된 위젯을 상기 멀티미디어 장치의 화면을 통해 디스플레이 하는 과정과, 상기 생성된 위젯의 입력 인터페이스 위젯을 분리하는 과정과, 상기 분리된 입력 인터페이스 위젯을 상기 UI 클라이언트 장치로 제공하는 과정과, 상기 UI 클라이언트 장치로부터 상기 입력 인터페이스 위젯을 통해 검색 입력을 수신하고, 상기 수신된 검색 입력에 대응하여 상기 UI 서버와 검색을 수행하는 과정과, 검색 결과를 상기 멀티미디어 장치의 화면을 통해 디스플레이하는 과정을 포함한다.
또한 본 발명의 실시 예에 따른 멀티미디어 시스템에서 사용자 인터페이스(User Interface: UI) 서비스를 제공하는 장치는, UI 데이터를 제공하는 UI 서버와, UI 클라이언트 장치와, 상기 UI 서버로부터 검색 위젯을 표현하기 위한 적어도 하나의 UI 데이터를 수신하고, 상기 수신된 적어도 하나의 UI 데이터를 멀티미디어 장치의 화면을 통해 디스플레이하며, 상기 UI 클라이언트 장치로부터, 상기 검색 위젯 및 다른 검색 위젯들 중에서 상기 UI 클라이언트 장치에 의해 선택된 검색 위젯을 지시하는 입력 신호가 수신되면, 멀티미디어 장치에 의해 저장된 적어도 하나의 UI 데이터 중 입력 신호와 관련된 UI 데이터를 검출하고, 상기 추출된 UI 데이터를 이용하는 객체 단위의 입력 인터페이스 위젯을 추출하고, 상기 선택된 검색 위젯과 함께 상기 추출된 입력 인터페이스 위젯을 통합하여 통합된 검색 위젯을 생성하고, 상기 생성된 병합된 검색 위젯을 상기 멀티미디어 장치의 화면을 통해 디스플레이하며, 상기 생성된 병합된 검색 위젯이 디스플레이되는 동안, 상기 UI 클라이언트 장치로부터 검색 입력에 대응하여 상기 UI 서버와 검색을 수행하고, 상기 수행된 검색 결과를 상기 멀티미디어 장치의 화면을 통해 디스플레이하는 상기 멀티미디어 장치를 포함한다.
또한 본 발명의 실시 예에 따른 멀티미디어 시스템에서 사용자 인터페이스(User Interface: UI) 서비스를 제공하는 장치는, UI 데이터를 제공하는 UI 서버와, UI 클라이언트 장치와, 상기 UI 서버로부터 검색 위젯을 표현하기 위한 적어도 하나의 UI 데이터를 수신하고, 상기 수신된 적어도 하나의 UI 데이터를 멀티미디어 장치의 화면을 통해 디스플레이하고, 상기 UI 클라이언트 장치로부터 상기 단말기의 기능성을 고려한 새로운 위젯 요청을 수신하고, 상기 수신된 적어도 하나의 UI 데이터 또는 상기 멀티미디어 장치에 저장된 다른 UI 데이터 중에서, 상기 단말기의 기능성을 만족하는 객체 단위의 적어도 하나의 UI 데이터를 추출하여 상기 새로운 위젯을 적응적으로 생성하고, 상기 생성된 위젯을 상기 멀티미디어 장치의 화면을 통해 디스플레이 하며, 상기 생성된 위젯의 입력 인터페이스 위젯을 분리하고, 상기 분리된 입력 인터페이스 위젯을 상기 UI 클라이언트 장치로 제공하고, 상기 UI 클라이언트 장치로부터 상기 입력 인터페이스 위젯을 통한 검색 입력을 수신하고, 상기 수신된 검색 입력에 대응하여 상기 UI 서버와 검색을 수행하며, 검색 결과를 상기 멀티미디어 장치의 화면을 통해 디스플레이하는 상기 멀티미디어 장치를 포함한다.
삭제
본 발명에 의하면,UI 클라이언트가 원격의 UI 서버로부터 자신의 장치의 특성을 고려한 UI 데이터를 수신하고, 수신된 UI 데이터를 자신에 맞게 적응적으로 변형하여 표현하는 방법 및 그 장치를 제공할 수 있다.
또한 본 발명은 UI 클라이언트가 자신의 환경 (입력 장치의 종류, 등) 및 특성을 고려하여 장치에 적합화된 UI를 스스로 생성하여 표현할 수 있어, 사용자의 사용 만족도를 높일 수 있다.
또한 본 발명은 Multimodal Widget 기능을 이용하여 자신에게 익숙한 UI 환경을 구성하고 이를 통해, 입력 및 출력에 관한 사용성을 유지할 수 있다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 또한, 하기 설명에서는 구체적인 특정 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.
먼저 본 발명은 각종 멀티미디어 장치의 제어를 위한 UI 클라이언트에서 사용되는 UI 데이터를 IP 망과 접속된 외부 네트워크의 UI 서버 또는 멀티미디어 장치 또는 멀티미디어 장치가 접속된 홈 네트워크의 홈 서버로부터 제공 받아 UI 환경에 적합하도록 새로이 구성할 수 있는 UI 장치 및 방법을 제안한 것이다.
본 발명에서 UI 시스템은 UI 서버 또는 멀티미디어 장치 또는 홈 서버로부터 제공되는 UI 데이터를, 사용자의 요구에 따라 사용할 것을 취하고, 사용하지 않을 것은 버리도록 취사 선택할 수 있는 UI 장치를 제공하며, 상기 UI 장치가 필요한 UI 데이터의 검색 및 복수의 UI 데이터의 통합을 통해 새로운 UI 데이터의 생성과 관련된 각종 제어를 수행하는 것을 제공한다.
여기서, 상기 UI 장치에 구비되는 UI 클라이언트는, 멀티미디어 장치의 동작 제어를 위한 키 패드가 구비된 리모콘, 또는 터치 스크린 또는 키패드 등의 입력 수단이 구비되며 외부 장치와 통신이 가능한 각종 단말기 등에 프로그램 또는 칩 형태로 탑재될 수 있다. 또한 본 명세서에서 상기 UI 클라이언트는 넓은 의미로 상기 UI 장치와 등가의 의미로 이해될 수 있다.
이하 본 발명에서 사용되는 용어들을 아래와 같이 정의한 후, 본 발명의 실시 예들을 설명하기로 한다.
UI는 사용자에게 멀티미디어 장치의 제어를 위한 정보를 전달하도록 사용되는 시각 및/또는 청각 요소들의 세트를 의미하며, UI 데이터는 상기 UI를 구성하는 데이터를 의미한다. 상기 UI로는 애니메이션, 벡터 그래픽 그리고 다중 시각/청각 요소들이 제공될 수 있다. 또한 UI 이벤트는 상기 UI 클라이언트에서 인식될 수 있는 터치 스크린의 터치 및 키 패드의 버튼 입력 또는 리모콘을 통한 키 입력과 같은 UI 클라이언트와 사용자간의 상호 작용을 의미한다.
위젯(Widget)은 멀티미디어 장치 또는 UI 장치를 통해 표시되는 윈도우, 텍스트 박스, 날씨 요소, 가상 액자 등과 같은 UI의 요소를 포함한다. 위젯은 또한 가젯(Gadget)이라고도 불리우며, 멀티미디어 장치 또는 UI 장치의 표시 화면에서 사용자의 선택에 따라 정해지는 자리에 위치될 수 있다.
본 발명의 실시 예에서 UI 클라이언트에 의해 UI 데이터를 검색/선택/병합하는 방법은 크게 아래 두 가지 방법으로 구분된다.
첫 번째 방법은 UI 서버가 멀티미디어 장치로 제공하는 초기의 UI 데이터를 확인한 후, 자신의 UI 환경에 맞도록 멀티미디어 장치에 미리 구비된 다른 UI 데이터를 검색하거나 UI 서버를 통해 검색된 UI 데이터와 멀티미디어 장치에 구비된 UI 데이터를 병합하여 새로운 UI 데이터를 생성하는 것이다.
두 번째 방법은 UI 서버가 제공하는 UI 데이터를 다양한 UI 환경을 고려하여 계층화하고, 위젯의 구성 요소 및 빠른 적응화에 필요한 기본 모듈과 확장 모듈로 구분하여 UI 데이터 검색/수신 시 요구되는 절차, 계산 량, 메시지의 복잡도를 감소시키는 것이다.
본 발명에서 UI 환경은 리모콘, 키 패드 또는 터치 스크린을 구비한 단말기 등 UI 클라이언트가 탑재되는 UI 장치의 종류와, 사용자의 UI 사용 패턴/이력, 연령, 성별, 직업, 기호 등의 사용자 특성 정보 중 적어도 하나를 포함하는 의미로 이해하기로 한다.
그러나 본 발명의 방법은 상기한 두 가지 방법에 한정되는 것은 아니며, 이하 설명될 실시 예들로부터 당업자 수준에서 변형하여 실시할 수 있는 다양한 방법들이 포함될 수 있음에 유의하여야 할 것이다.
이하에서는 도면을 참조하여, 본 발명의 실시 예들을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 UI 서비스 방법의 기본 개념을 나타낸 흐 름도이다.
도 1에서 UI 클라이언트(110)는 원격의 UI 서버(120)로부터 UI 데이터를 수신하여 UI를 표현 및 사용하는 통신 디바이스이다. 또한 UI 데이터는 UI 서버(20)로부터 멀티미디어 장치(도시되지 않음)를 매개하여 UI 클라이언트(10)에게 제공될 수 있다.
도 1의 101 단계에서 UI 서버(120)는 UI 데이터를 UI 클라이언트에게 전송한다. 상기 UI 서버(120)는 상기 UI 클라이언트(110)에게 UI 데이터를 전송함은 물론 UI 데이터를 광고할 수 있으며, 상기 UI 클라이언트(110)에 제공된 UI 데이터를 원격으로 업데이트할 수 있다. 또한 상기 UI 서버(120)는 UI 데이터의 전송 시 일반적인 다운로드 방식이나 스트리밍 방식을 이용할 수 있다.
UI 서버(120)가 UI 클라이언트(110)에 제공하는 UI 데이터는 예컨대, MPEG(Moving Picture Experts Group) 표준에 따라 멀티 미디어 데이터의 포맷으로 부호화될 수 있다. 또한 상기 UI 데이터는 잘 알려진 MPEG의 장면 기술 방법을 이용해 멀티미디어 데이터의 포맷으로 부호화된 데이터로 제공될 수 있다. 이 경우 상기 UI 데이터는 UI의 동적 구성에 대한 정보를 포함한다. 여기서 상기 MPEG 표준은 비디오 및 오디오를 압축 부호화하는 방법의 국제적인 표준으로써, MPEG-1, MPEG-2, MPEG-4, MPEG-7과 같은 다양한 버전의 표준이 존재한다. 상기 UI 서버(120)는 이러한 MPEG 표준을 이용하여 UI 데이터를 부호화한다. 최근 대부분의 멀티미디어 장치들은 압축된 동영상을 재생할 수 있는 MPEG 복호화기를 포함하고 있으므로, MPEG 표준에 기초해 UI 데이터를 부호화하여 전송하면, 대부분의 멀티미 디어 장치가 UI의 표현을 위한 별도의 브라우저 없이도 UI를 표현할 수 있게 된다.
이러한 환경을 위해서 MPEG 표준에서는 ISO/IEC 14496-11과 ISO/IEC 14496-20 기술을 정의하여 장면 표현에 관련된 기술을 제공하고 있다. 여기서 상기 ISO/IEC 14496-11은 MPEG-4 BIFS(Binary Format for Scene) 기술을 포함하며, ISO/IEC 14496-20은 이동 단말을 위한 LASeR(Lightweight Applications Scene Representation) 기술을 포함한다. 상기 LASeR은 이동 단말이 풍부한 멀티미디어 서비스를 수신할 수 있도록 마련된 멀티미디어 컨텐츠(Content)의 포맷을 의미하며, 상기 BIFS가 모든 멀티미디어 콘텐츠에 대한 장면 기술(scene description)의 표준이라면, 상기 LASeR는 휴대폰과 같이 디스플레이의 크기는 물론 네트워크 대역폭도 작은 멀티미디어 단말의 장면 기술에 대한 표준이다.
상기 BIFS 또는 LASeR는 객체 기반 시스템을 대상으로 하며, 객체 기반(object-based) 영상 부호화 방식을 이용해 UI 데이터를 부호화할 수 있다. 또한 상기 BIFS 또는 LASeR는 영상에 포함된 객체들의 시공간적인 배치를 표현할 수 있는 장면 기술에 대한 정보를 포함한다. 따라서 UI 데이터에서 객체들을 BIFS 또는 LASeR에 의해 부호화되는 영상 객체들로 간주해, BIFS 또는 LASeR의 장면 기술을 이용해 UI 객체들의 시공간적 배치를 표현하여 부호화할 수 있다. 또한 UI 서버(120)는 MPEG의 장면 기술 방법을 이용해 UI 데이터를 부호화함에 있어 UI의 동적 구성에 대한 정보를 포함하여 부호화할 수 있다.
본 발명의 실시 예에서 UI 데이터의 객체란 키 입력 등 UI 클라이언트와 사용자간의 인터액션(interaction)에 따라 소정의 UI 이벤트가 발생하고, 발생된 UI 이벤트에 기초해 소정의 기능을 호출하는 UI의 최소 단위를 의미한다. 따라서 UI 클라이언트는 UI 데이터의 객체를 BIFS 또는 LASeR를 이용하여 버튼, 메뉴 등과 같은 시공간적인 배치를 표현할 수 있다.
BIFS 또는 LASeR와 같은 동영상 코덱을 이용해 UI 데이터를 부호화하여 UI에 대한 영상을 포함하는 MPEG-4 스트림을 생성한 경우를 예로 들면, UI 클라이언트(110)는 BIFS 또는 LASeR에 따라 부호화된 UI에 대한 영상을 포함하는 MPEG-스트림을 수신하고, MPEG 디코더로 복호화하여 재생하기만 하면 UI를 디스플레이할 수 있다. 따라서 MPEG-스트림의 재생만으로 UI를 디스플레이할 수 있으므로, 멀티미디어 장치와 같이 MPEG 디코더를 보유한 다양한 디바이스들은 UI 서버(120)가 제공하는 UI를 디스플레이 할 수 있다. UI 클라이언트(110) 또한 MPEG 디코더를 구비한 경우 동일한 방식으로 UI 서버(120)가 제공하는 UI를 디스플레이할 수 있다.
다시 도 1로 돌아가서 BIFS 또는 LASeR와 같은 객체 기반 장면 기술 방법을 이용해 객체 단위로 배치를 표현하여 UI를 구성하면, 103, 105 단계에서 UI 데이터를 수신한 UI 클라이언트(110)는 객체들의 선택 및 재배치를 통해 동적으로 UI 장치의 환경을 고려한 새로운 UI를 생성하고, 표현할 수 있다. 이후 107 단계에서 UI 클라이언트(110)와 UI 서버(120)간에는 원격화된 UI를 이용한 각종 제어가 수행된다. 이때 제어는 실행 중인 컨텐츠에 대한 각종 정보 검색 또는 컨텐츠의 선택/구매 등 멀티미디어 컨텐츠의 이용과 관련된 각종 제어와 도 1에는 도시되지 않았으나, UI 서버(120)와 UI 클라이언트(110)를 매개하는 멀티미디어 장치에 대한 동작 제어 중 적어도 하나를 포함한다.
도 2는 본 발명의 실시 예에 따른 UI 서비스 방법을 나타낸 흐름도이다.
도 2는 UI 서버(20)로부터 제공받은 UI 데이터와 UI 클라이언트(10) 또는 멀티미디어 장치(30)가 보유하고 있는 UI 데이터를 병합하여 새로운 UI 환경을 생성하는 실시 예를 나타낸 것이다. 특히, 본 발명에서는 설명의 용이를 위하여 일 예로, 검색 위젯과 관련하여 필요한 UI 데이터를 추출하고, 통합하여 새로운 검색 UI 환경을 생성하는 것을 설명한다.
도 2의 실시 예에서 UI 클라이언트(10)는 키 패드를 구비한 리모콘을 가정한 것이나, UI를 디스플레이하기 위한 표시 수단과 키 패드 또는 터치 스크린 등 입력 수단이 구비된 각종 단말기에도 적용될 수 있다. 또한 도 2에서 UI 서버(20)는 IP 망에서 UI 서비스를 위한 위젯들을 검색하여 전송할 수 있는 검색 사이트의 서버나, UI 서비스를 제공하는 별도의 UI 전용 서버 등을 이용할 수 있다.
도 2의 201 단계에서 상기 UI 서버(20)는 스트리밍 방식 또는 다운로딩 방식을 통해 멀티미디어 장치(30)로 검색 위젯(search widget)과 관련된 UI 데이터를 전송한다. 상기 201 단계에서 전송되는 UI 데이터는 UI 표현을 위한 적어도 하나의 위젯을 포함할 수 있으며, 멀티미디어 장치(30)로부터 전송 요구가 없는 경우에도 미리 정해진 방식에 따라 멀티미디어 장치(30)로 전송될 수 있다.
203 단계에서 멀티미디어 장치(30)는 UI 서버(20)로부터 수신된 적어도 하나의 검색 UI 데이터를 디스플레이 한다. 상기 디스플레이 동작은 UI 데이터에 대한 컨텐츠의 실행 요구 시 또는 실행 중에도 디스플레이될 수 있다. 도시되지는 않았으나 205 단계에서 디스플레이되는 UI 데이터 즉, 위젯을 확인한 사용자는 UI 클라이언트(10)를 통해 해당 위젯을 그대로 선택할 수 있으며, 또는 디스플레이된 위젯이 원하는 검색 위젯이 아닌 경우, 다른 위젯을 검색 또는 다른 UI 데이터들의 병합을 위한 키를 입력할 수 있다. 즉, 205 단계에서 클라이언트(10)로부터 멀티미디어 장치(30)로 키 이벤트가 전송되는 경우, 멀티미디어 장치(30)는 207 단계 내지 211 단계에서 내부에 구비된 UI 데이터에 따른 위젯들을 수집하여 디스플레이할 수 있다.
다시 설명하여, UI 클라이언트(10)로부터 키 이벤트를 수신한 멀티미디어 장치(30)는, 207단계에서 수신한 검색 위젯의 UI 데이터 및 또는 자신이 소유하고 있는 UI 데이터 중에서, 입력 인터페이스와 관련된 위젯인 UI 데이터를 발견한다. 즉, 멀티미디어 장치(30)는 자신의 UI 환경으로써 내부에 검색 위젯을 표현하기 위한, UI 클라이언트(10)로부터의 키 이벤트 즉, 입력 신호를 처리하기 위한 입력 인터페이스가 존재하는지를 확인한다.
209단계에서 멀티미디어 장치(30)는, 입력되는 키 이벤트를 처리하기 위한 입력 위젯과 상기 입력되는 키에 해당하는 키 값을 생성하기 위한 가상 키보드를 통해 통합된 검색 위젯을 생성한다. 즉, 본 발명에서 멀티미디어 장치(30)는 상기 발견된 입력 인터페이스와 자신의 키 입력 인터페이스인 가상 키보드의 객체들을 추출하고, 통합하여 검색 위젯을 구성한다.
211 단계에서 멀티미디어 장치(30)는 통합된 위젯을 디스플레이한다. 일 예로, 상기 UI 클라이언트(10)의 입력 신호에 따른 검색 기능을 위한 검색 위젯 및 상기 입력 신호를 처리하기 위한 가상 키보드를 포함하는 통합된 검색 위젯을 디스플레이한다.
213 단계에서 사용자의 키 입력에 따라 UI 클라이언트(10)로부터 키 이벤트를 수신한 경우, 멀티미디어 장치(30)는 해당 키 이벤트를 검색 위젯에 적용한다.
다시 설명하여, 213 단계 내지 221 단계에 따라 사용자의 키 입력이 있는 경우 UI 클라이언트(10), UI 서버(20) 및 멀티미디어 장치(30)간에 정보 검색, 컨텐츠 선택/구매/실행 등의 해당 제어 동작이 수행된다. 213 단계에서 멀티미디어 장치(30)는 UI 클라이언트(10)로부터 입력되는 키에 대응하는 신호를 수신한다. 이때, 멀티미디어 장치(30)는 구비된 가상 키보드를 통해 상기 수신된 신호에 대응하는 키 값, 즉 UI 클라이언트(10)로부터 요청된 정보를 확인한다. 그리고, 215단계에서 멀티미디어 장치(30)는 UI 클라이언트(10)로부터 키 이벤트의 입력이 완료됨을 나타내는 신호를 수신한다.
217 단계에서 멀티미디어 장치(30)와 UI 서버(20)간에는 상기 요청된 키 이벤트를 처리하기 위한 인터액션이 수행된다. 즉, 멀티미디어 장치(30)는 UI 서버(20)로, 상기 입력 신호에 대응하는 정보의 검색을 문의한다. 그리고, UI 클라이언트의 키 입력에 대응하여 멀티미디어 장치(30)를 통한 UI 서버(20)의 검색이 수행된다.
219 단계에서 멀티미디어 장치(30)는 상기 키 이벤트에 대응하는 검색된 UI 데이터를 UI 서버(20)로부터 수신한다. 이때, 상기 UI 데이터는 미리 정해진 방식에 따라 멀티미디어 장치(30)로 전송될 수 있으며, 본 발명의 예에서는 UI 데이터는 스트리밍 방식으로 전송된다.
221 단계에서 멀티미디어 장치(30)는 검색 위젯의 결과를 디스플레이한다. 즉, 멀티미디어 장치(30)는 UI 클라이언트(10)로부터의 키 이벤트에 대응하여 검색 완료된 UI 데이터를 디스플레이한다.
도 3은 본 발명의 다른 실시 예에 따른 UI 서비스 방법을 나타낸 흐름도이다.
도 3은 본 발명의 실시 예에 따라 멀티미디어 장치(30)가 UI 서버(20)로부터 제공 받은 UI 데이터와 UI 클라이언트(10)가 UI 환경을 고려하여 도시되지 않은 다른 UI 클라이언트가 이용하는 입, 출력 관련 UI 데이터를 병합하여 새로운 UI 환경을 생성하는 실시 예를 나타낸 것이다. 특히, 본 발명에서는 설명의 용이를 위하여 일 예로, 검색 위젯과 관련하여 필요한 UI 데이터를 추출 및 병합하여 새로운 검색 UI 환경을 생성하는 것을 설명한다.
도 3의 실시 예에서 UI 클라이언트(10)는 터치 스크린, 키 패드와 자체의 표시 수단을 구비한 단말기를 가정한 것이다. 또한 도 3에서 멀티미디어 장치(40)는 예를 들어 홈 네트워크에 접속되고, 홈 네트워크를 관리하는 홈 서버와 연계하여 UI 데이터의 송수신 및 디스플레이를 수행할 수 있으며, 홈 서버와 연계하지 않고 동작하는 것도 가능하다. 이하 설명에서는 편의상 멀티미디어 장치(20)가 홈 서버와 연계하지 않는 경우를 가정한다. 또한 도 3에서 UI 서버(20)는 도 2의 실시 예와 동일한 서버를 이용할 수 있다.
도 3의 301 단계에서 상기 UI 서버(20)는 스트리밍 방식 또는 다운로딩 방식을 통해 멀티미디어 장치(30)로 검색 위젯(search widget)과 관련된 UI 데이터를 전송한다.
상기 301 단계에서 멀티미디어 장치(30)가 UI 서버(20)로부터 수신 받은 UI 데이터는, 검색 위젯을 위한 모든 조건들을 포함할 수 있다. 또한, 검색 위젯을 표현하기 위한 적어도 하나의 UI 표현 위젯을 포함할 수 있으며, 이는 멀티미디어 장치(30)로부터 전송 요구가 없는 경우에도 미리 정해진 방식에 따라 멀티미디어 장치(30)로 전송될 수 있다.
303 단계에서 멀티미디어 장치(30)는 UI 서버(20)로부터 수신된 적어도 하나의 검색 UI 데이터를 디스플레이 하는데, 상기 디스플레이 동작은 상기 UI 데이터에 대한 컨텐츠의 실행 요구 시 또는 실행 중에도 디스플레이 될 수 있다.
305 단계에서 디스플레이되는 UI 데이터 즉, 위젯을 확인한 사용자는 해당 위젯을 그대로 선택할 수 있으며, 또는 디스플레이된 위젯이 원하는 위젯이 아닌 경우에 다른 위젯 검색 또는 UI 데이터들의 통합을 위한 키를 입력할 수 있다.
305 단계에서 UI 클라이언트(10)는 디바이스 기능성(UI functionality)을 고려한 검색 위젯을, 멀티미디어 장치(30)로 요청한다. 즉, 해당 UI 클라이언트(10)가 탑재되는 디바이스로부터 UI 환경을 고려한 검색 위젯의 요구가 있는 경우(Request search widget with device functionality; UI connectivity), 307 단계에서 멀티미디어 장치(40)는 해당 UI 클라이언트(10) 의 UI 접속성 즉, UI 클라이언트(10)가 탑재되는 디바이스 기능성(UI functionality)을 확인한다.
일 예로, 305단계에서 멀티미디어 장치(30)는 상기 UI 클라이언트(10)가 키패드를 구비한 단말기인지 또는 터치 스크린을 구비한 단말기인지 해당 단말기의 종류를 확인할 수 있다. 또한, 멀티미디어 장치(30)는 UI 클라이언트에 탑재되는 UI 장치의 종류와, 또는 UI 클라이언트 사용자의 UI 사용 패턴/이력, 연령, 성별, 직업, 기호 등의 사용자 특성 정보를 확인 할 수 있다.
따라서, 309 단계에서 멀티미디어 장치(30)는UI 클라이언트(10)와의 UI 접속성을 만족하여 추출된 적합한 검색 위젯을 디스플레이한다. 또한 멀티미디어 장치(30)는 상기 적합한 검색 위젯을 디스플레이할 때 UI 클라이언트(10)가 탑재된 단말기의 성능이나, 바인드 이벤트(bind event)를 고려할 수 있다.
이후 311 단계에서 멀티미디어 장치(40)는 상기 적합한 검색 위젯으로부터 입력 인터페이스 위젯을 분리하여 UI 클라이언트(10)에게 제공한다. 즉, 본 발명에서 UI 클라이언트(10)는 상기 멀티미디어 장치(30)로부터 입력 인터페이스 위젯을 수신하여 상기 멀티미디어 장치(30)와의 인터액션을 통해 상기 검색 위젯을 구현 가능하도록 한다.
313단계에서 UI 클라이언트(10)는 수신된 입력 인터페이스 위젯과, 자신에게 구비되어 있는 UI클라이언트 사용자의 키 입력을 처리하기 위한 이벤트 기법을 매핑하여 검색 위젯을 위한 검색 창을 UI 클라이언트(10)의 화면에 디스플레이 한다. 이때, 상기 검색 창은 멀티미디어 장치(30)에 동일하게 디스플레이 가능하다.
313 단계 내지 319 단계에서 사용자의 키 입력이 있는 경우 UI 클라이언트(10), UI 서버(20) 및 멀티미디어 장치(30)간에 정보 검색, 컨텐츠 선택/구매/실행 등의 해당 제어 동작이 수행된다.
다시 설명하여, 315 단계에서 UI 클라이언트(10)와 멀티미디어 장치(30)간에는 입력 위젯과 검색을 위한 인터액션이 수행된다. UI 클라이언트(10)에 구비된 키 패트 또는 터치 스크린을 이용하여 상기 디스플레이된 검색 위젯에 사용자의 키 입력이 반영되고, 멀티미디어 장치(30)의 디스플레이된 검색 위젯에는 상기 키 입력이 반영된 검색 위젯 화면이 디스플레이된다.
317 단계에서 멀티미디어 장치(30)는 UI 서버(20)로, 입력된 키에 대응하는 정보의 검색을 문의하고, UI 서버(20)로부터 검색된 정보들을 응답을 수신한다. 즉, UI 클라이언트(10)의 검색 입력에 대응하여 멀티미디어 장치(30)를 통한 UI 서버(20)간에는 검색 위젯이 수행된다.
319 단계에서 멀티미디어 장치(30)는 UI 서버(20)로부터 수신한 검색 UI 데이터를 디스플레이한다. 이때, 상기 UI 데이터는 미리 정해진 방식에 따라 멀티미디어 장치(30)로 전송될 수 있으며, 본 발명의 일 예에서 UI 데이터는 스트리밍 방식으로 전송될 수 있다.
도 4는 본 발명의 실시 예에 따른 UI 장치의 구성을 나타낸 블록도이다.
도 4의 UI 장치는 위젯 매니저(410), 적어도 하나의 위젯(420-1,...,420-N : 420), MPEG 처리부(430), UI 처리부(440), 매타 데이터 처리부(450)를 포함한다. 또한 상기 UI 장치는 적어도 하나의 UI 서버로부터 UI 데이터를 수집하는 실행 장치로서, 상기 위젯 매니저(410)를 통해 관련된 위젯을 실행시키며, UI 서버를 탐색 하고, UI 서버와 통신하기 위한 프로토콜 모듈을 포함한다.
도 4에서 상기 위젯 매니저(410)는 지속적인 방식으로 상기 적어도 하나의 위젯(420, 420-1,...,420-N 중 하나)의 실행을 제어하는 구성 요소로써, 상기 위젯(420)의 공간적이고, 임시적이고, 상호 작용적인 구성과 실행을 제어함은 물론 UI 데이터들의 병합을 제어한다. 상기 위젯 매니저(410)는 복수 개의 위젯들을 실행시킬 수 있다. 상기 위젯(420, 420-1,...,420-N 중 하나)은 객체(object) 형태로 정의되어 있다. 따라서, 상기 위젯 매니저(410)는 적어도 하나의 객체를 호출하여 실행함으로써, 특정 위젯을 지원 또는 디스플레이할 수 있다.
일 예로, 본 발명에서 위젯 매니저(410)는 검색 위젯을 선택하고 실행하도록 제어한다. 또한, 위젯 매니저(410)는 UI 장치가 구비될 통신 디바이스의 UI 접속성을 고려하여 입력 인터페이스를 위한 위젯을 선택적으로 추출하거나, 또는 실행할지를 제어한다. 즉, 위젯 매니저(410)는 UI 환경 및 UI 클라이언트가 탑재되는 통신 디바이스의 사용자의 특징을 고려하여 선택적으로 위젯을 실행하도록 제어한다.
상기 MPEP 처리부(430)는 전술한 MPEG 표준에 따라 UI 데이터를 압축(비압축) 및 부호화(복호화)한다. 본 발명에서 상기 MPEP 처리부(430)는 MPEP 표준에 따라 부호화된 수신 UI 데이터를 동일한 부호화 방식을 적용하여 복호화하고, 복호화된 비디오, 오디오, 또는 동영상을 공간적 또는 시공간적으로 배치하여 위젯 화면을 구성하도록 한다. 상기 MPEP 처리부(430)는 UI 장치가 구비되는 통신 디바이스에서 위젯의 디스플레이가 필요하지 않은 경우 리모콘과 같은 가상 키보드를 통해 선택적으로 구비될 수 있다.
상기 UI 처리부(440)는 UI 데이터의 소스들을 관리하고, 이벤트를 바인딩하며, UI 데이터의 탐색 결과에 따라 선택되어 추출되는 위젯의 관련 UI 데이터를 위젯 매니저(410)로 전달하는 UI 추출 모듈(abstraction module)(440a)과, 멀티미디어 장치를 통해 UI 데이터를 탐색하는 UI 연결 모듈(connectivity module)(440b)를 포함한다.
UI 연결 모듈(440b)은 UI 추출 모듈(440a)으로 하여금 UI 기능성을 고려한 위젯(420)을 추출하도록 UI 접속성을 제공한다. 즉, UI 연결 모듈(440b)은 키 이벤트를 발생시킨 통신 디바이스의 UI 환경 즉, UI 데이터를 처리할 통신 디바이스의 UI기능성을 확인하여, UI 추출 모듈(440a)에 의해 위젯 매니저(410)를 통해 위젯(420)중에서 상기 UI기능성이 고려된 적어도 하나의 UI 데이터 객체만을 추출하도록 한다. 따라서, 위젯 매니저(410)는 상기 UI 추출 모듈(440a)에 의해 추출된 UI 데이터 객체를 선택 및 재배치하여 동적으로 새로운 UI를 생성하고, 표현하도록 한다.
도 5는 본 발명에 따른 UI 장치, UI 서버 및 멀티미디어 장치를 포함하는 UI 서비스 시스템의 일 예를 나타낸 도면이다.
도 5의 시스템은 UI 클라이언트가 탑재된 적어도 하나의 UI 장치(511, 513, 515 중 적어도 하나: 510)와, UI 서버(520) 및 멀티미디어 장치(530)을 포함한다. 도 5의 시스템의 동작은 도 2 또는 도 3의 방법에 따라 수행되므로 그 상세한 설명은 생략하기로 한다.
도 5를 참조하면, 본 발명에서 상기 UI 장치(510) 와 UI 서버(520) 및 멀티미디어 장치(530)는 각각 UI 데이터에서 입/출력 인터페이스와 관련된 부분을 인식/ 분리/ 병합하기 용이하게 하기 위해서 표식을 통해 이해 할 수 있어야 하며, 데이터 변경을 통해서 UI 데이터에서의 조건들을 유지할 수 있어야 한다. 이를 통해 UI 클라이언트(510)는 복수 개의 입, 출력 장치를 통해서 UI 서버(520)가 제공하는 위젯(Widget)을 자신에게 적합하게 확장하여 사용할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다. 또한, 본 발명에 따른 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
도 1은 본 발명의 실시 예에 따른 UI 서비스 방법의 기본 개념을 나타낸 흐름도,
도 2는 본 발명의 실시 예에 따른 UI 서비스 방법을 나타낸 흐름도,
도 3은 본 발명의 다른 실시 예에 따른 UI 서비스 방법을 나타낸 흐름도,
도 4는 본 발명의 실시 예에 따른 UI 장치의 구성을 나타낸 블록도,
도 5는 본 발명에 따른 UI 장치, UI 서버 및 멀티미디어 장치를 포함하는 UI 서비스 시스템의 일 예를 나타낸 도면.

Claims (19)

  1. 삭제
  2. 삭제
  3. 멀티미디어 시스템에서 멀티미디어 장치가 사용자 인터페이스(User Interface: UI) 서비스를 제공하는 방법에 있어서,
    UI 서버로부터 검색 위젯을 표현하기 위한 적어도 하나의 UI 데이터를 수신하는 과정과,
    상기 수신된 적어도 하나의 UI 데이터를 상기 멀티미디어 장치의 화면을 통해 디스플레이하는 과정과,
    UI 클라이언트 장치로부터, 상기 검색 위젯 및 다른 검색 위젯들 중에서 상기 UI 클라이언트 장치에 의해 선택된 검색 위젯을 지시하는 입력 신호가 수신되면, 상기 멀티미디어 장치에 의해 저장된 적어도 하나의 UI 데이터 중 입력 신호와 관련된 UI 데이터를 검출하는 과정과,
    상기 검출된 UI 데이터를 이용하는 객체 단위의 입력 인터페이스 위젯을 추출하는 과정과,
    상기 선택된 검색 위젯과 함께 상기 추출된 입력 인터페이스 위젯을 통합하여 통합된 검색 위젯을 생성하는 과정과,
    상기 생성된 통합된 검색 위젯을 상기 멀티미디어 장치의 화면을 통해 디스플레이하는 과정과,
    상기 생성된 통합된 검색 위젯이 디스플레이되는 동안, 상기 UI 클라이언트 장치로부터 검색 입력에 대응하여 상기 UI 서버와 검색을 수행하는 과정과,
    상기 수행된 검색 결과를 상기 멀티미디어 장치의 화면을 통해 디스플레이하는 과정을 포함함을 특징으로 하는 UI 서비스 제공 방법.
  4. 제 3항에 있어서, 상기 멀티미디어 장치에 구비되어 있는 입력 인터페이스는,
    리모콘 컨트롤러와 같은 가상 키보드를 포함함을 특징으로 하는 UI 서비스 제공 방법.
  5. 삭제
  6. 멀티미디어 시스템에서 멀티미디어 장치가 사용자 인터페이스(User Interface: UI) 서비스를 제공하는 방법에 있어서,
    UI 서버로부터 위젯을 표현하기 위한 적어도 하나의 UI 데이터를 수신하는 과정과,
    상기 수신된 적어도 하나의 UI 데이터를 상기 멀티미디어 장치의 화면을 통해 디스플레이하는 과정과,
    UI 클라이언트 장치로부터 상기 UI 클라이언트 장치가 답재되는 단말기의 기능성을 고려한 새로운 위젯 요청을 수신하는 과정과,
    상기 수신된 적어도 하나의 UI 데이터 또는 상기 멀티미디어 장치에 저장된 다른 UI 데이터 중에서, 상기 단말기의 기능성을 만족하는 객체 단위의 적어도 하나의 UI 데이터를 추출하여 상기 새로운 위젯을 적응적으로 생성하는 과정과,
    상기 생성된 위젯을 상기 멀티미디어 장치의 화면을 통해 디스플레이하는 과정과,
    상기 생성된 위젯의 입력 인터페이스 위젯을 분리하는 과정과,
    상기 분리된 입력 인터페이스 위젯을 상기 UI 클라이언트 장치로 제공하는 과정과,
    상기 UI 클라이언트 장치로부터 상기 입력 인터페이스 위젯을 통해 검색 입력을 수신하고, 상기 수신된 검색 입력에 대응하여 상기 UI 서버와 검색을 수행하는 과정과,
    검색 결과를 상기 멀티미디어 장치의 화면을 통해 디스플레이하는 과정을 포함함을 특징으로 하는 UI 서비스 제공 방법.
  7. 제 6항에 있어서,
    상기 UI 클라이언트 장치는 상기 멀티미디어 장치로부터 제공된 상기 입력 인터페이스 위젯과 상기 단말기에 구비되어 있는 이벤트 기법을 매핑하여 입력 위젯을 생성하는 과정과,
    상기 생성된 입력 위젯을 상기 UI 클라이언트 장치의 화면을 통해 디스플레이하는 과정과,
    상기 UI 클라이언트 장치의 화면을 통해 입력되는 검색 요청을 상기 멀티미디어 장치로 제공하는 과정을 포함함을 특징으로 하는 UI 서비스 제공 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 멀티미디어 시스템에서 사용자 인터페이스(User Interface: UI) 서비스를 제공하는 장치에 있어서,
    UI 데이터를 제공하는 UI 서버와,
    UI 클라이언트 장치와,
    상기 UI 서버로부터 검색 위젯을 표현하기 위한 적어도 하나의 UI 데이터를 수신하고, 상기 수신된 적어도 하나의 UI 데이터를 멀티미디어 장치의 화면을 통해 디스플레이하며, 상기 UI 클라이언트 장치로부터, 상기 검색 위젯 및 다른 검색 위젯들 중에서 상기 UI 클라이언트 장치에 의해 선택된 검색 위젯을 지시하는 입력 신호가 수신되면, 멀티미디어 장치에 의해 저장된 적어도 하나의 UI 데이터 중 입력 신호와 관련된 UI 데이터를 검출하고, 상기 검출된 UI 데이터를 이용하는 객체 단위의 입력 인터페이스 위젯을 추출하고, 상기 선택된 검색 위젯과 함께 상기 추출된 입력 인터페이스 위젯을 통합하여 통합된 검색 위젯을 생성하고, 상기 생성된 통합된 검색 위젯을 상기 멀티미디어 장치의 화면을 통해 디스플레이하며, 상기 생성된 통합된 검색 위젯이 디스플레이되는 동안, 상기 UI 클라이언트 장치로부터 검색 입력에 대응하여 상기 UI 서버와 검색을 수행하고, 상기 수행된 검색 결과를 상기 멀티미디어 장치의 화면을 통해 디스플레이하는 상기 멀티미디어 장치를 포함하는 UI 서비스 제공 장치.
  12. 제 11항에 있어서, 상기 멀티미디어 장치는,
    리모콘 컨트롤러와 같은 가상 키보드를 통해 상기 입력 인터페이스를 제공함을 특징으로 하는 UI 서비스 제공 장치.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 멀티미디어 시스템에서 사용자 인터페이스(User Interface: UI) 서비스를 제공하는 장치에 있어서,
    UI 데이터를 제공하는 UI 서버와,
    UI 클라이언트 장치와,
    상기 UI 서버로부터 검색 위젯을 표현하기 위한 적어도 하나의 UI 데이터를 수신하고, 상기 수신된 적어도 하나의 UI 데이터를 멀티미디어 장치의 화면을 통해 디스플레이하고, 상기 UI 클라이언트 장치로부터 상기 UI 클라이언트 장치가 탑재되는 단말기의 기능성을 고려한 새로운 위젯 요청을 수신하고, 상기 수신된 적어도 하나의 UI 데이터 또는 상기 멀티미디어 장치에 저장된 다른 UI 데이터 중에서, 상기 단말기의 기능성을 만족하는 객체 단위의 적어도 하나의 UI 데이터를 추출하여 상기 새로운 위젯을 적응적으로 생성하고, 상기 생성된 위젯을 상기 멀티미디어 장치의 화면을 통해 디스플레이 하며, 상기 생성된 위젯의 입력 인터페이스 위젯을 분리하고, 상기 분리된 입력 인터페이스 위젯을 상기 UI 클라이언트 장치로 제공하고, 상기 UI 클라이언트 장치로부터 상기 입력 인터페이스 위젯을 통한 검색 입력을 수신하고, 상기 수신된 검색 입력에 대응하여 상기 UI 서버와 검색을 수행하며, 검색 결과를 상기 멀티미디어 장치의 화면을 통해 디스플레이하는 상기 멀티미디어 장치를 포함하는 UI 서비스 제공 장치.
  18. 삭제
  19. 제 17항에 있어서, 상기 UI 클라이언트 장치는,
    상기 멀티미디어 장치로부터 제공된 상기 검색 위젯의 입력 인터페이스 위젯과 상기 단말기에 구비되어 있는 이벤트 기법을 매핑하여 입력 위젯을 생성하고,
    상기 생성된 입력 위젯을 상기 UI 클라이언트 장치의 화면을 통해 디스플레이하며, 상기 UI 클라이언트 장치의 화면을 통해 입력되는 검색 요청을 상기 멀티미디어 장치로 제공함을 특징으로 하는 UI 서비스 제공 장치.
KR1020080069351A 2008-07-16 2008-07-16 멀티미디어 시스템에서 사용자 인터페이스 서비스를 제공하는 방법 및 장치 KR101539461B1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
KR1020080069351A KR101539461B1 (ko) 2008-07-16 2008-07-16 멀티미디어 시스템에서 사용자 인터페이스 서비스를 제공하는 방법 및 장치
CA2730389A CA2730389C (en) 2008-07-16 2009-07-16 Apparatus and method for providing user interface service in a multimedia system
CN2009801276726A CN102099774B (zh) 2008-07-16 2009-07-16 用于在多媒体系统中提供用户接口服务的装置和方法
JP2011518656A JP5113294B2 (ja) 2008-07-16 2009-07-16 マルチメディアシステムにおけるユーザインターフェースサービスを提供する装置及び方法
CN2013102512688A CN103353882A (zh) 2008-07-16 2009-07-16 用于在多媒体系统中提供用户接口服务的装置和方法
EP09798133A EP2300901A4 (en) 2008-07-16 2009-07-16 DEVICE AND METHOD FOR PROVIDING A USER INTERFACE SERVICE IN A MULTIMEDIA SYSTEM
AU2009271877A AU2009271877B2 (en) 2008-07-16 2009-07-16 Apparatus and method for providing user interface service in a multimedia system
PCT/KR2009/003941 WO2010008230A2 (en) 2008-07-16 2009-07-16 Apparatus and method for providing user interface service in a multimedia system
US12/504,323 US8438492B2 (en) 2008-07-16 2009-07-16 Apparatus and method for providing user interface service in a multimedia system
US13/857,726 US20130219275A1 (en) 2008-07-16 2013-04-05 Apparatus and method for providing user interface service in a multimedia system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080069351A KR101539461B1 (ko) 2008-07-16 2008-07-16 멀티미디어 시스템에서 사용자 인터페이스 서비스를 제공하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100008735A KR20100008735A (ko) 2010-01-26
KR101539461B1 true KR101539461B1 (ko) 2015-07-30

Family

ID=41531171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080069351A KR101539461B1 (ko) 2008-07-16 2008-07-16 멀티미디어 시스템에서 사용자 인터페이스 서비스를 제공하는 방법 및 장치

Country Status (8)

Country Link
US (2) US8438492B2 (ko)
EP (1) EP2300901A4 (ko)
JP (1) JP5113294B2 (ko)
KR (1) KR101539461B1 (ko)
CN (2) CN103353882A (ko)
AU (1) AU2009271877B2 (ko)
CA (1) CA2730389C (ko)
WO (1) WO2010008230A2 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8959621B2 (en) * 2009-12-22 2015-02-17 Disney Enterprises, Inc. Human verification by contextually iconic visual public turing test
US8893004B2 (en) * 2010-05-12 2014-11-18 International Business Machines Corporation User interface proxy method and system
KR101726875B1 (ko) * 2010-05-19 2017-04-13 삼성전자주식회사 홈 네트워크에서 위젯 패키지를 이용하여 원격 사용자 인터페이스 정보를 제공하기 위한 장치 및 방법
KR101688141B1 (ko) * 2010-05-20 2016-12-20 엘지전자 주식회사 애플리케이션 실행 장치 및 그 동작 제어 방법
US20130070753A1 (en) * 2010-05-26 2013-03-21 University Of Florida Research Foundation, Inc. Consistent updates for packet classification devices
KR102033764B1 (ko) 2010-10-06 2019-10-17 삼성전자주식회사 리모트 컨트롤러에서의 ui 표시 방법 및 이를 이용한 리모트 컨트롤러
CN102467331A (zh) * 2010-11-18 2012-05-23 中国移动通信有限公司 终端设备上应用软件界面的适配方法、装置及系统
WO2012157185A1 (ja) * 2011-05-13 2012-11-22 パナソニック株式会社 表示装置、操作装置、機器連携制御システム、表示方法、操作方法及び機器連携制御方法
KR20130005544A (ko) * 2011-07-06 2013-01-16 삼성전자주식회사 사용자 인터페이스 제공 장치 및 방법
EP2784641B1 (en) 2011-11-24 2018-11-28 LG Electronics Inc. User interface display method and device using same
JP2016110178A (ja) * 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR101685108B1 (ko) * 2014-12-30 2016-12-09 김동용 홈 기기를 제어하는 방법 및 장치
US20170097922A1 (en) * 2015-10-01 2017-04-06 Sap Se Optimizing software application user interface performance using interactive images
EP3374899A1 (en) * 2015-11-11 2018-09-19 Johnson & Johnson Surgical Vision, Inc. Systems and methods for providing virtual access to a surgical console
KR102483269B1 (ko) * 2016-08-29 2023-01-02 삼성전자주식회사 서버 장치, 사용자 단말 장치, 그 제어 방법들 및 스트리밍 시스템
US11874893B2 (en) 2019-11-14 2024-01-16 Microsoft Technology Licensing, Llc Modularizing and embedding supplemental textual and visual content in different environments

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020109718A1 (en) * 2001-02-14 2002-08-15 Mansour Peter M. Platform-independent distributed user interface server architecture
US20050015395A1 (en) * 2003-07-14 2005-01-20 Canon Kabushiki Kaisha User interface control apparatus and method thereof
US20060158368A1 (en) * 2005-01-20 2006-07-20 Sbc Knowledge Ventures, L.P. System, method and interface for controlling multiple electronic devices of a home entertainment system via a single control device
US20070276811A1 (en) * 2006-05-23 2007-11-29 Joshua Rosen Graphical User Interface for Displaying and Organizing Search Results

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1098244A3 (en) * 1999-11-02 2001-06-13 CANAL + Société Anonyme Graphical user interface
US20010030667A1 (en) * 2000-04-10 2001-10-18 Kelts Brett R. Interactive display interface for information objects
US6738077B1 (en) * 2000-07-18 2004-05-18 Apple Computer, Inc. Dynamic generation and automated distribution of user interface from database model
EP1205843A3 (en) * 2000-11-13 2004-10-20 Canon Kabushiki Kaisha User interfaces
US20030160822A1 (en) * 2002-02-22 2003-08-28 Eastman Kodak Company System and method for creating graphical user interfaces
US7574691B2 (en) * 2003-03-17 2009-08-11 Macrovision Corporation Methods and apparatus for rendering user interfaces and display information on remote client devices
KR100609667B1 (ko) 2004-02-23 2006-08-08 (주)위트콤 그래픽 사용자 인터페이스 갱신 시스템
KR20050092514A (ko) 2004-03-16 2005-09-22 주식회사 팬택앤큐리텔 이동 통신 단말기에서의 사용자 인터페이스 데이터 설정변경 방법
RU2346996C2 (ru) 2004-06-29 2009-02-20 ЮРОПИЭН НИКЕЛЬ ПиЭлСи Усовершенствованное выщелачивание основных металлов
US7856441B1 (en) * 2005-01-10 2010-12-21 Yahoo! Inc. Search systems and methods using enhanced contextual queries
US20060085819A1 (en) * 2004-10-14 2006-04-20 Timo Bruck Method and apparatus for content metadata search
US20060168526A1 (en) * 2005-01-12 2006-07-27 Nokia Corporation Platform-specific application user interface remoting
US20060265662A1 (en) * 2005-05-19 2006-11-23 Custom Credit Systems, L.P. System and method for generating and updating user interfaces of web-based applications
US7996783B2 (en) * 2006-03-02 2011-08-09 Microsoft Corporation Widget searching utilizing task framework
US20090138579A1 (en) * 2007-11-26 2009-05-28 Emtrace Technologies, Inc. Remote configuration of electronic device with user interface provided from electronic device
KR101528854B1 (ko) * 2008-02-20 2015-06-30 삼성전자주식회사 Rui 프록시 장치 및 rui 프록시 장치에서의 ui컴포넌트 처리 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020109718A1 (en) * 2001-02-14 2002-08-15 Mansour Peter M. Platform-independent distributed user interface server architecture
US20050015395A1 (en) * 2003-07-14 2005-01-20 Canon Kabushiki Kaisha User interface control apparatus and method thereof
US20060158368A1 (en) * 2005-01-20 2006-07-20 Sbc Knowledge Ventures, L.P. System, method and interface for controlling multiple electronic devices of a home entertainment system via a single control device
US20070276811A1 (en) * 2006-05-23 2007-11-29 Joshua Rosen Graphical User Interface for Displaying and Organizing Search Results

Also Published As

Publication number Publication date
WO2010008230A2 (en) 2010-01-21
US20130219275A1 (en) 2013-08-22
CN102099774B (zh) 2013-12-11
KR20100008735A (ko) 2010-01-26
JP5113294B2 (ja) 2013-01-09
US8438492B2 (en) 2013-05-07
EP2300901A4 (en) 2012-01-18
AU2009271877A1 (en) 2010-01-21
CA2730389C (en) 2014-01-07
US20100017372A1 (en) 2010-01-21
WO2010008230A3 (en) 2010-05-14
CA2730389A1 (en) 2010-01-21
EP2300901A2 (en) 2011-03-30
CN102099774A (zh) 2011-06-15
AU2009271877B2 (en) 2012-11-15
CN103353882A (zh) 2013-10-16
JP2011528146A (ja) 2011-11-10

Similar Documents

Publication Publication Date Title
KR101539461B1 (ko) 멀티미디어 시스템에서 사용자 인터페이스 서비스를 제공하는 방법 및 장치
US9424053B2 (en) Method and apparatus for displaying personalized user interface
KR101596505B1 (ko) 멀티미디어 시스템의 사용자 인터페이스 장치 및 방법
KR101560183B1 (ko) 사용자 인터페이스를 제공/수신하는 방법 및 장치
US9389881B2 (en) Method and apparatus for generating combined user interface from a plurality of servers to enable user device control
CN112004157B (zh) 一种多轮语音交互方法及显示设备
CN112104905B (zh) 服务器、显示设备及数据传输方法
CN111866553A (zh) 媒资信息校准方法及服务器
CN111897478A (zh) 一种页面显示方法及显示设备
CN112272331A (zh) 一种节目频道列表快速展示的方法及显示设备
CN112069544B (zh) 服务器、显示设备及通信方法
CN113825007B (zh) 视频播放方法、装置及显示设备
CN112135173B (zh) 一种改善流媒体起播码率的方法及显示设备
CN117119234A (zh) 显示设备及媒资起播方法
CN111683272A (zh) 一种流媒体播放方法及显示设备
KR20130009498A (ko) 스케일러블 어플리케이션 서비스를 위한 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee