KR20180063026A - 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법 - Google Patents

사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법 Download PDF

Info

Publication number
KR20180063026A
KR20180063026A KR1020180063692A KR20180063692A KR20180063026A KR 20180063026 A KR20180063026 A KR 20180063026A KR 1020180063692 A KR1020180063692 A KR 1020180063692A KR 20180063692 A KR20180063692 A KR 20180063692A KR 20180063026 A KR20180063026 A KR 20180063026A
Authority
KR
South Korea
Prior art keywords
external device
application
display
unit
user terminal
Prior art date
Application number
KR1020180063692A
Other languages
English (en)
Other versions
KR102151757B1 (ko
Inventor
이도형
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180063692A priority Critical patent/KR102151757B1/ko
Publication of KR20180063026A publication Critical patent/KR20180063026A/ko
Application granted granted Critical
Publication of KR102151757B1 publication Critical patent/KR102151757B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자 단말 장치가 개시된다. 사용자 단말 장치는, 외부 기기와 통신하여 상기 외부 기기에 디스플레이되는 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면에 대한 UI 정보 데이터가 수신하는 통신 인터페이스부, 기설정된 UI 정보 변환 포맷을 저장하는 저장부, 기설정된 UI 정보 변환 포맷을 이용하여 수신된 UI 정보 데이터를 변환하는 정보 변환부, 사용자 인터페이스(User Interface:UI) 화면을 디스플레이하는 디스플레이부 및 UI 정보 데이터가 수신되면, UI 정보 변환 포맷을 이용하여 수신된 UI 정보 데이터를 변환하고, 변환된 UI 정보 데이터에 대응되는 사용자 인터페이스 화면을 디스플레이하도록 제어하는 제어부를 포함한다.

Description

사용자 단말 장치, 디스플레이 장치, 그 ＵＩ 제공 방법 및 제어 방법 { User terminal apparatus, display apparatus, UI providing method and control method thereof }
본 발명은 사용자 단말 장치, 디스플레이 장치, 그 UI 제공 방법 및 제어 방법. 에 관한 것으로, 더욱 상세하게는 외부 기기 제어 기능를 제공하는 사용자 단말 장치, 디스플레이 장치, 그 UI 제공 방법 및 제어 방법에 관한 것이다.
디스플레이 장치를 포함하는 각종 전자장치는 이를 원격에서 조절하는 원격제어장치에 의하여 제어될 수 있다.
전자장치의 기능이 날로 발달하고 증가됨에 따라 원격제어장치의 제어항목 역시 증가한다.
특히, 방송신호를 수신하는 텔레비전의 경우 디지털 방송으로 인한 채널의 증가와 텔레비전에 연결될 수 있는 여러 가지 외부기기 등으로 인하여 텔레비전을 제어하기 위한 다양한 모드가 생성되고 있다. 이에 대응하여 원격제어장치가 포함해야 하는 버튼의 개수가 증가하고 구조 역시 복잡해진다.
원격제어장치를 이용한 제어가 증가할수록 사용자에게 제공되는 인터페이스가 증가되는 장점이 있지만, 디스플레이 장치에서 제공하는 서비스가 증가하고 복잡해질수록 사용자가 원격제어장치를 사용함에 있어 한계가 있는 문제점이 있다. 구체적으로, 기존의 리모컨 기능의 사용성 이상의 편의성을 제공하지 못하며, 디스플레이 장치에서 제공하는 다양한 서비스에 대응하기 위해서는 복잡한 키 조작을 수행해야 한다는 문제점이 있다.
이에 따라 사용자에게 좀더 다양하고 직관적인 사용자 인터페이스 화면을 제공할 수 있는 기능이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 실행 중인 어플리케이션에 대응되는 직관적인 사용자 인터페이스 화면을 제공하는 사용자 단말 장치, 디스플레이 장치, 그 UI 제공 방법 및 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 사용자 단말 장치는, 외부 기기와 통신하여 상기 외부 기기에 디스플레이되는 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면에 대한 UI 정보 데이터가 수신하는 통신 인터페이스부, 기설정된 UI 정보 변환 포맷을 저장하는 저장부, 상기 기설정된 UI 정보 변환 포맷을 이용하여 상기 수신된 UI 정보 데이터를 변환하는 정보 변환부, 사용자 인터페이스(User Interface:UI) 화면을 디스플레이하는 디스플레이부 및 상기 UI 정보 데이터가 수신되면, 상기 UI 정보 변환 포맷을 이용하여 수신된 UI 정보 데이터를 변환하고, 변환된 UI 정보 데이터에 대응되는 사용자 인터페이스 화면을 디스플레이하도록 제어하는 제어부를 포함한다.
또한, 사용자 명령을 입력받는 사용자 인터페이스부를 더 포함하며, 상기 제어부는, 상기 사용자 명령에 따라 리모트 컨트롤러 어플리케이션을 실행하고, 연결 가능한 외부 기기를 탐색하여 탐색된 적어도 하나의 외부 기기에 대응되는 아이콘을 디스플레이하도록 제어할 수 있다.
또한, 상기 제어부는, 상기 외부 기기에 대응되는 아이콘 중 선택된 아이콘에 대응되는 외부 기기로부터 UI 정보 데이터를 수신하도록 제어할 수 있다.
또한, 상기 제어부는, 기설정된 이벤트가 있는 경우, 상기 기설정된 UI 정보 변환 포맷을 이용하여 상기 기설정된 이벤트를 대응되는 UI 정보 데이터를 변환하여 상기 외부 기기로 전송하도록 제어할 수 있다.
또한, 상기 사용자 단말 장치의 움직임을 감지하는 움직임 감지부;를 더 포함하며, 상기 제어부는, 기설정된 이벤트 발생 후, 상기 사용자 단말 장치의 움직임이 있는 경우 상기 기울기 감지부에서 감지된 움직임 정도에 따라 상기 외부 기기의 동작 상태를 제어할 수 있다.
또한, 상기 디스플레이부는, 터치 스크린으로 구현되며, 상기 기설정된 이벤트는 사용자의 터치 이벤트가 될 수 있다.
또한, 본 발명의 일 실시 예에 따른 디스플레이 장치는, 외부 기기와 통신하는 통신 인터페이스부, 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면을 디스플레이하는 디스플레이부, 상기 사용자 인터페이스 화면에 대응되는 UI 정보 데이터를 생성하는 정보 생성부 및 상기 외부 기기의 요청에 따라 상기 UI 정보 데이터를 상기 외부 기기로 전송하도록 상기 통신 인터페이스부를 제어하는 제어부를 포함한다.
또한, 상기 정보 생성부는, 상기 UI 정보 데이터를 XML 문서 형태로 생성할 수 있다.
또한, 상기 정보 생성부는, 상기 어플리케이션으로 구현될 수 있다.
또한, 상기 제어부는, 상기 외부 기기로부터 UI 정보 데이터가 수신되면, 수신된 UI 정보 데이터에 대응되는 제어 동작을 수행할 수 있다.
한편, 본 발명의 일 실시 예에 따른 사용자 단말 장치의 UI 제공 방법은, 외부 기기와 통신하여 상기 외부 기기에 디스플레이되는 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면에 대한 UI 정보 데이터가 수신하는 단계, 기설정된 UI 정보 변환 포맷을 이용하여 상기 수신된 UI 정보 데이터를 변환하는 단계 및 상기 변환된 UI 정보 데이터에 대응되는 사용자 인터페이스(User Interface:UI) 화면을 디스플레이하는 단계를 포함한다.
또한, 사용자 명령을 입력받는 단계 및 상기 사용자 명령에 따라 리모트 컨트롤러 어플리케이션을 실행하고, 연결 가능한 외부 기기를 탐색하여 탐색된 적어도 하나의 외부 기기에 대응되는 아이콘을 디스플레이하는 단계를 더 포함할 수 있다.
또한, 상기 외부 기기에 대응되는 아이콘 중 선택된 아이콘에 대응되는 외부 기기로부터 UI 정보 데이터를 수신하는 단계를 더 포함할 수 있다.
또한, 기설정된 이벤트가 있는 경우, 상기 기설정된 UI 정보 변환 포맷을 이용하여 상기 기설정된 이벤트를 대응되는 UI 정보 데이터를 변환하여 상기 외부 기기로 전송하는 단계를 더 포함할 수 있다.
또한, 기설정된 이벤트 발생 후, 상기 사용자 단말 장치의 움직임이 있는 경우 상기 감지된 움직임 정도에 따라 상기 외부 기기의 동작 상태를 제어하는 단계를 더 포함할 수 있다.
또한, 디스플레이 화면은, 터치 스크린으로 구현되며, 상기 기설정된 이벤트는 사용자의 터치 이벤트가 될 수 있다.
또한, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은, 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면을 디스플레이하는 단계, 상기 사용자 인터페이스 화면에 대응되는 UI 정보 데이터를 생성하는 단계 및. 외부 기기의 요청에 따라 상기 UI 정보 데이터를 상기 외부 기기로 전송하는 단계를 포함한다.
여기서, 상기 정보 생성 단계는, 상기 UI 정보 데이터를 XML 문서 형태로 생성할 수 있다.
또한, 상기 정보 생성 단계는, 상기 어플리케이션에서 수행될 수 있다.
또한, 상기 외부 기기로부터 UI 정보 데이터가 수신되면, 수신된 UI 정보 데이터에 대응되는 제어 동작을 수행할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 사용자 인터페이스 화면의 변환 형태를 설명하기 위한 도면이다.
도 5a 내지 10b는 본 발명의 다양한 실시 예에 따른 사용자 인터페이스 화면을 설명하기 위한 도면들이다.
도 11a 및 도 11b는 본 발명의 다양한 실시 예에 따른 UI 데이터 정보의 일 예를 나타내는 도면들이다.
도 12는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 13은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 UI 제공 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부된 도면을 참조하면서 본 발명에 대하여 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 시스템을 설명하기 위한 도면이다.
도 1에 따르면, 본 발명에 따른 디스플레이 시스템은 디스플레이 장치(100) 및 사용자 단말 장치(200)를 포함한다.
본 발명에서 디스플레이 장치(100)는 다양한 형태로 구현될 수 있다. 대표적으로, 디스플레이 장치(100)는 스마트 TV(smart TV)로 구현될 수 있으며, 경우에 따라서는 데스크탑 컴퓨터, 노트북 컴퓨터, 디지털방송용 단말기, 네비게이션 등으로 구현될 수 있다. 다만, 이하에서는 설명의 편의를 위하여 디스플레이 장치(100)가 스마트 TV인 것으로 가정하여 설정하도록 한다.
디스플레이 장치(100)는 모바일 기기(200)와 통신하여 모바일 기기(200)로부터 다양한 제어 명령을 수신하도록 구현될 수 있다. 즉, 모바일 기기(200)는 디스플레이 장치(100)를 제어하는 리모트 콘트롤러로 기능할 수 있다.
특히, 디스플레이 장치(100)는 적어도 하나의 어플리케이션을 자체적으로 구동할 수 있으며, 구동되는 어플리케이션에 대응되는 사용자 인터페이스 화면을 디스플레이할 수 있다.
사용자 단말 장치(200)는 다양한 자체 어플리케이션을 구동 및 실행할 수 있는 형태로 구현될 수 있다. 대표적으로, 사용자 단말 장치(200)는 스마트 폰(smart phone)으로 구현될 수 있으며, 경우에 따라서는, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player)와 같이 자체적으로 어플리케이션을 구동할 수 있는 기기이면 한정되지 않고 적용될 수 있다.
특히, 사용자 단말 장치(200)는 외부 디스플레이 장치(100)를 제어하기 위한 리모트 컨트롤러 기능을 하는 어플리케이션(이하, 리모트 어플리케이션이라 함)을 구동할 수 있다. 또는 경우에 따라서는 외부 디스플레이 장치(100)를 제어하기 위한 리모트 컨트롤러 기능을 특정 어플리케이션이 아닌 별도의 제어 모드를 통해 제공되는 것도 가능하다.
여기서, 사용자 단말 장치(200)는 네트워크를 통해 디스플레이 장치(100)와 통신하여 다양한 데이터를 송수신할 수 있다. 구체적으로 사용자 단말 장치(200)는 WI-FI(Wireless Fiedlity), 인터넷, 랜(LAN), 이더넷, TCP/IP, IPX, 파이어와이어, IEEE 1394, iLink, CDMA, TDMA, BT(BlueTooth), HDMI-CEC(High Definition Multimedia Interface), Wireless HDMI-CEC, RF(Radio Frequency) 등 다양한 유무선 통신 기술에 따라 디스플레이 장치(100)와 통신을 수행할 수 있다.
예를 들어, 사용자 단말 장치(200)는 디스플레이 장치(100)와 동일한 공유기에 연결되어 있으면, 사용자 명령 또는 기설정된 이벤트에 따라 디스플레이 장치(100)를 탐색하고 해당 디스플레이 장치(100)에 접속하여 해당 디스플레이 장치(100)에 대한 리모콘 기능을 수행할 있다.
이하에서는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성에 대해 자세히 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 2에 따르면, 디스플레이 장치(100)는 디스플레이부(110), 정보 생성부(120), 통신 인터페이스부(130), 기능블럭(140) 및 제어부(150)를 포함한다.
도 1에서 상술한 바와 같이 디스플레이 장치(100)는 적어도 하나의 어플리케이션을 자체적으로 구동할 수 있는 형태로 구현될 수 있다. 이에 따라 디스플레이 장치(100)는 대표적으로 스마트 TV(smart TV)로 구현될 수 있으나, 상술한 바와 같이 이에 한정되는 것은 아니다.
디스플레이부(110)는 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면을 디스플레이할 수 있다. 여기서, 디스플레이부(110)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나로 구현될 수 있다.
정보 생성부(120)는 디스플레이부(110)에 디스플레이되는 사용자 인터페이스 화면에 대응되는 UI 정보 데이터를 생성하는 기능을 한다.
구체적으로, 정보 생성부(120)는 UI 정보 데이터를 XML 문서 형태로 생성할수 있다. 여기서, UI 정보 데이터에는 UI를 구성하기 위한 내용 및 UI에 포함되는 컨텐츠 내용이 포함될 수 있다. 한편, XML 문서의 구체적 형태에 대해서는 후술하는 도면을 참조하여 자세히 설명하도록 한다.
한편, 정보 생성부(120)의 기능은 특정 어플리케이션에서 수행되도록 구현될 수 있다. 즉, 특정 어플리케이션에서 현재 디스플레이되는 사용자 인터페이스 화면에 대응되는 UI 정보 데이터를 생성할 수 있다. 또는, 현재 구동 중인 어플리케이션에서 디스플레이부(110)에 디스플레이되는 사용자 인터페이스 화면에 대응되는 UI 정보 데이터를 생성하도록 구현되는 것도 가능하다.
통신 인터페이스부(130)는 외부 기기(도 1, 200)와 통신하는 역할을 한다. 여기서, 외부 기기(도 1, 200)는 대표적으로 스마트 폰(smart phone)과 같은 모바일 기기로 구현될 수 있으나, 상술한 바와 같이 이에 한정되는 것은 아니다.
기능 블럭(140)은 디스플레이 장치(100) 본연의 기능을 수행한다. 만약, 디스플레이 장치(100)가 스마트 TV인 경우 기능 블럭(140)은 스마트 TV 기능을 수행하고, 디스플레이 장치(100)가 네비게이션인 경우 기능 블럭(140)은 경로 안내를 위한 네비게이션의 기능을 수행한다.
제어부(150)는 디스플레이 장치(100)의 전반적인 기능을 제어하는 기능을 한다.
특히, 제어부(150)는 외부 기기(도 1, 200)의 요청에 따라 정보 생성부(120)에서 생성된 UI 정보 데이터를 외부 기기(도 1, 200)로 전송하도록 통신 인터페이스부(130)를 제어하는 기능을 한다.
또한, 제어부(150)는 정보 생성부(120)에서 생성된 UI 정보 데이터를 임시적으로 저장부(미도시)에 저장한 후 외부 기기(도 1, 200)의 요청이 있는 경우 외부 기기(도 1, 200)로 전송하도록 제어할 수 있다.
또한, 제어부(150)는 외부 기기(도 1, 200)로부터 UI 정보 데이터가 수신되면, 수신된 UI 정보 데이터에 대응되는 제어 동작을 수행할 수 있다. 구체적으로, 수신된 UI 정보 데이터의 유효성을 확인한 후, 해당 블럭(예를 들어, 해당 어플리케이션)으로 전송할 수 있고, 해당 블럭은 수신된 UI 정보 데이터를 분석하여 적절한 기능 동작을 수행할 수 있다. 또한, 필요시 대응되는 GUI를 생성할 수 있다.
또한, 제어부(140)는 후술하는 UI 처리부(미도시)의 동작을 제어할 수 있다.
UI 처리부(미도시)는 다양한 UI 화면을 2D 또는 3D 형태로 처리/생성하는 기능을 한다. 여기서, UI 화면은 상술한 바와 같이 적어도 하나의 어플리케이션의 실행과 관련된 화면이 될 수 있다. 또는, 메뉴 화면, 경고 문구, 시간이나 채널번호 등의 문자나 도형 등을 표시하는 화면 등이 될 수 있다.
또한, UI 처리부(미도시)는 제어부(150)의 제어에 따라 UI 요소의 2D/3D 전환, 투명도, 색상, 크기, 형태 및 위치 조정, 하이라이트, 애니메이션 효과 등의 작업을 수행할 수 있다.
저장부(미도시)는 디스플레이 장치(100)를 동작시키기 위해 필요한 각종 프로그램 등이 저장되는 저장매체로서, 메모리, HDD(Hard Disk Drive) 등으로 구현가능하다. 예를 들어 저장부(미도시)는 제어부(150)의 동작 수행을 위한 프로그램을 저장하기 위한 ROM, 제어부(150)의 동작 수행에 따른 데이터를 일시적으로 저장하기 위한 RAM 등을 구비할 수 있다. 또한 각종 참조 데이터를 저장하기 위한 EEROM(Electrically Erasable and Programmable ROM) 등을 더 구비할 수 있다.
그 밖에 디스플레이 장치(100)는 방송국 또는 위성으로부터 유선 또는 무선으로 수신되는 2D 또는 3D 영상 신호를 수신하여 복조하는 영상 수신부(미도시), 영상 수신부(미도시)로 수신된 2D 영상 또는 3D 영상에 대해 비디오 디코딩, 포맷 분석, 비디오 스케일링 등의 신호처리 및 GUI(Graphic User Interface) 부가 등의 작업을 수행하는 영상 처리부(미도시) 등을 더 포함할 수 있다.
이하에서는 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성에 대해 자세히 설명하도록 한다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다.
도 3에 따르면 사용자 단말 장치(200)는 디스플레이부(210), 사용자 인터페이스부(220), 통신 인터페이스부(230), 어플리케이션 구동부(240), 저장부(250), 및 제어부(260)를 포함한다.
사용자 단말 장치(200)는 다양한 자체 어플리케이션을 구동 및 실행할 수 있는 형태로 구현될 수 있다. 대표적으로, 사용자 단말 장치(200)는 스마트 폰(smart phone)으로 구현될 수 있으나, 상술한 바와 같이 이에 한정되지 않는다.
특히, 사용자 단말 장치(200)는 외부 디스플레이 장치(100)를 제어하기 위한 리모트 컨트롤러 기능을 하는 어플리케이션(이하, 리모트 어플리케이션이라 함)을 구동할 수 있다. 또는 경우에 따라서는 외부 디스플레이 장치(100)를 제어하기 위한 리모트 컨트롤러 기능을 특정 어플리케이션이 아닌 별도의 제어 모드를 통해 제공되는 것도 가능하다.
여기서, 사용자 단말 장치(200)는 네트워크를 통해 디스플레이 장치(100)와 통신하여 다양한 데이터를 송수신할 수 있다. 예를 들어, 사용자 단말 장치(200)는 WI-FI(Wireless Fiedlity)를 이용하여 디스플레이 장치(100)와 통신을 수행할 수 있으나, 상술한 바와 같이 이에 한정되지 않는다.
디스플레이부(210)는 사용자 단말 장치(200)에서 제공하는 다양한 화면을 디스플레이하는 기능을 한다. 구체적으로 디스플레이부(210)는 사용자 단말 장치(200)에서 다양한 데이터 객체 및 다양한 사용자 인터페이스 화면을 디스플레이할 수 있다.
특히, 디스플레이부(210)는 기설정된 이벤트 또는 사용자 명령에 따라 디스플레이 장치(100)를 제어하기 위한 어플리케이션에 대응되는 사용자 인터페이스 화면을 디스플레이할 수 있다.
여기서, 디스플레이부(210)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나로 구현될 수 있다.
구체적으로, 디스플레이부(210)는 터치패드와 상호 레이어 구조를 이루는 터치 스크린 형태로 구현되는 것도 가능하다. 이 경우, 디스플레이부(140)은 출력 장치 이외에 후술하는 사용자 인터페이스부(220)로도 사용될 수 있다. 또한, 터치스크린은 터치 입력 위치 및 면적 뿐만 아니라 터치 입력 압력까지도 검출할 수 있도록 구성될 수 있다.
사용자 인터페이스부(220)는 상술한 제어 모드 및 어플리케이션 모드를 선택및 제어하기 위한 사용자 명령을 입력받은 기능을 한다. 여기서, 사용자 인터페이스부(220)는 상술한 바와 같이 디스플레이부(210)와 일체형의 터치 스크린 형태로 구현될 수 있다.
통신 인터페이스부(230)는 디스플레이 장치(100)와 통신을 수행하는 기능을 한다.
구체적으로, 통신 인터페이스부(230)는 디스플레이 장치(100)로부터 디스플레이 장치(100)의 디스플레이 화면에 디스플레이되는 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면에 대한 UI 정보 데이터를 수신할 수 있다. 예를 들어, 통신 인터페이스부(230)는 네트워크를 통해 디스플레이 장치(100)로부터 UI 정보 데이터를 제공받을 수 있다. 여기서, 네트워크는 인터넷, 랜(LAN), WI-FI(Wireless Fiedlity), 이더넷, TCP/IP, IPX, 파이어와이어, IEEE 1394, iLink, CDMA, TDMA, BT(BlueTooth), HDMI-CEC(High Definition Multimedia Interface), Wireless HDMI-CEC, RF(Radio Frequency) 등 다양한 통신 기술로 구현될 수 있다.
또한, 통신 인터페이스부(230)는 사용자 인터페이스부(230)를 통해 입력되는 사용자 명령 또는 기설정된 이벤트에 대응되는 데이터를 사용자 단말 장치(100)로 전송할 수 있다.
또한, 통신 인터페이스부(230)는 사용자 단말 장치(200)에서 제공하는 다양한 어플리케이션 프로그램을 다운로드받는 통로를 제공할 수 있다.
다만, 사용자 단말 장치(200)가 디스플레이 장치(100)와 통신하는 통신 방식 및 어플리케이션을 다운로드받는 통신 방식은 동일하거나 상이한 통신 방식으로 구현될 수 있다.
어플리케이션 구동부(240)는 사용자 단말 장치(200) 자체에서 제공 가능한 어플리케이션을 구동 및 실행하는 기능을 한다. 여기서, 어플리케이션이란 스스로 실행가능한 응용 프로그램으로 다양한 멀티미디어 컨텐츠를 포함할 수 있다. 여기서, '멀티미디어 컨텐츠'라는 용어는 텍스트, 오디오, 정지 영상, 애니메이션, 비디오, 및 인터랙티브(Interactivity) 컨텐츠, 컨텐츠 제공자(Content Provider)로부터의 EPG(Electronic Program Guide) 컨텐츠, 사용자들로부터 수신된 전자 메시지, 현재 이벤트에 관한 정보, 제어 컨텐츠 등을 포함하지만, 이에 한정되지 않는다.
특히 어플리케이션 구동부(240)에서 구동 및 실행되는 어플리케이션에는 외부 기기를 제어하기 위한 리모트 어플리케이션이 포함될 수 있다. 예를 들어, 디스플레이 장치(100)를 제어하기 위한 사용자 인터페이스 화면을 디스플레이하는 리모트 어플리케이션이 될 수 있다. 이 경우, 사용자 인터페이스 화면은 디스플레이 장치(100)에 디스플레이되는 사용자 인터페이스 화면과 동일하거나 유사한 형태의 사용자 인터페이스 화면을 디스플레이할 수 있다.
저장부(250)는 사용자 단말 장치(200)를 동작시키기 위해 필요한 각종 프로그램 등이 저장되는 저장매체로서, 메모리, HDD(Hard Disk Drive) 등으로 구현가능하다. 예를 들어 저장부(250)는 제어부(260)의 동작 수행을 위한 프로그램을 저장하기 위한 ROM, 제어부(260)의 동작 수행에 따른 데이터를 일시적으로 저장하기 위한 RAM 등을 구비할 수 있다. 또한 각종 참조 데이터를 저장하기 위한 EEROM(Electrically Erasable and Programmable ROM) 등을 더 구비할 수 있다.
저장부(250)는 기설정된 UI 정보 변환 포맷 또는 다운로드한 어플리케이션 등을 저장할 수 있다.
여기서, 기설정된 UI 정보 변환 포맷이란 디스플레이 장치(100)에서 전송된 UI 정보 데이터를 사용자 단말 장치(200)의 디스플레이 포맷에 대응되도록 변환가능한 포맷을 의미할 수 있다.
즉, 저장부(250)는 사용자 단말 장치(200)에서 지원 가능한 다양한 디스플레이 장치(100)로부터 전송되는 다양한 UI 정보 데이터를 사용자 단말 장치(200)의 디스플레이 포맷에 대응되도록 변환할 수 있는 변환 포맷을 저장할 수 있다.
또한, 저장부(250)는 제어 대상인 디스플레이 장치(100)의 식별 정보, 각 동작 상태 정보, 각 동작 상태에 대응되는 제어 화면 정보 등을 저장할 수 있으며, 저장된 정보에 기초하여 디스플레이 장치(100)의 상태에 대응되는 제어 화면을 제공할 수 있다.
정보 변환부(260)는 저장부(250)에 저장된 기설정된 UI 정보 변환 포맷을 이용하여 통신 인터페이스부(230)를 통해 수신된 UI 정보 데이터를 변환하는 기능을 한다.
구체적으로, 정보 변환부(260)는 기설정된 UI 정보 변환 포맷을 이용하여 통신 인터페이스부(230)를 통해 수신된 UI 정보 데이터를 사용자 단말 장치(200)의 디스플레이 포맷에 부합하도록 변환하는 기능을 한다.
제어부(270)는 사용자 단말 장치(200)의 전반적인 동작을 제어하는 기능을 한다.
특히, 제어부(270)는 디스플레이 장치(100)에서 UI 정보 데이터가 수신되면, 저장부(250)에 저장된 기설정된 UI 정보 변환 포맷을 이용하여 수신된 UI 정보 데이터를 변환하고, 변환된 UI 정보 데이터에 대응되는 사용자 인터페이스 화면을 디스플레이하도록 제어할 수 있다.
또한, 제어부(270)는 사용자 인터페이스부(220)를 통해 입력되는 사용자 명령에 따라 리모트 컨트롤러 어플리케이션을 실행하고, 연결 가능한 외부 기기를 탐색하여 탐색된 적어도 하나의 외부 기기에 대응되는 아이콘을 디스플레이부(210)에 디스플레이하도록 제어할 수 있다.
또한, 제어부(270)는 디스플레이부(210)에 디스플레이된 외부 기기에 대응되는 아이콘 중 선택된 아이콘에 대응되는 외부 기기로부터 UI 정보 데이터를 수신하도록 제어할 수 있다.
또한, 제어부(270)는 기설정된 이벤트(또는 사용자 명령) 있는 경우, 기설정된 UI 정보 변환 포맷을 이용하여 기설정된 이벤트(또는 사용자 명령)를 대응되는 UI 정보 데이터를 변환하여 외부 기기로 전송하도록 제어할 수 있다.
또한, 제어부(270)는 후술하는 UI 처리부(미도시)의 동작을 제어할 수 있다.
UI 처리부(미도시)는 다양한 UI 화면을 2D 또는 3D 형태로 처리/생성하는 기능을 한다. 여기서, UI 화면은 상술한 바와 같이 적어도 하나의 어플리케이션의 실행과 관련된 화면이 될 수 있다. 또는, 메뉴 화면, 경고 문구, 시간이나 채널번호 등의 문자나 도형 등을 표시하는 화면 등이 될 수 있다.
또한, UI 처리부(미도시)는 제어부(150)의 제어에 따라 UI 요소의 2D/3D 전환, 투명도, 색상, 크기, 형태 및 위치 조정, 하이라이트, 애니메이션 효과 등의 작업을 수행할 수 있다.
또한, 도면에는 도시되지 않았지만 사용자 단말 장치(200)는 움직임 감지부(미도시)를 더 포함할 수 있다.
움직임 감지부(미도시)는 사용자 단말 장치(200)의 움직임을 감지하는 역할을 한다. 여기서, 움직임은 상하/좌우의 움직임이 될 수 있다.
이 경우, 제어부(270)는 기설정된 이벤트 발생 후, 사용자 단말 장치(200)의 움직임이 있는 경우 기울기 감지부(미도시)에서 감지된 움직임 정도에 따라 디스플레이 장치(100)의 동작 상태를 제어할 수 있다. 여기서, 기설정된 이벤트는 예를 들어 사용자의 터치 이벤트가 될 수 있으나, 이에 한정되는 것은 아니다.
또한, 사용자 단말 장치의 움직임 상태에 따라 디스플레이 장치(100)에서의 채널 업/다운, 볼륨/업 다운 등의 동작 상태가 제어될 수 있으나 이에 한정되는 것은 아니다.
한편, 제어부(270)는 리모트 어플리케이션의 실행으로 디스플레이 장치(100)에 대한 리모트 컨트롤러 동작이 수행 중인 경우 이전에 실행 중이던 다른 어플리케이션은 배경 모드로 실행되도록 제어할 수 있다. 예를 들어, 게임 어플리케이션 실행 중 리모트 어플리케이션의 실행으로 디스플레이 장치(100)에 대한 리모트 컨트롤러 동작이 수행되는 경우 게임 어플리케이션은 배경 모드로 실행되어 리모트 어플리케이션의 실행이 종료되면, 게임 어플리케이션이 바로 이전 단계로 복귀하도록 제어할 수 있다.
한편, 사용자 단말 장치(200)는 리모트 컨트롤러 기능 실행 중임을 나타내는 전용 버튼부(미도시)를 구비할 수 있다. 경우에 따라 전용 버튼부(미도시)는 리모크 컨트롤러 기능을 수행하기 위한 모드 전환 버튼부로도 기능할 수 있다. 즉, 리모트 컨트롤러 기능은 해당 리모트 어플리케이션을 통해 수행될 수도 있지만, 별도로 구비된 전용 버튼부(미도시)를 통해 수행되는 것도 가능하다.
여기서, 전용 버튼부(미도시)가 소프트 버튼 형태로 구현되는 경우 상술한 터치 스크린 형태의 사용자 인터페이스부(220)의 일부 영역으로 구현될 수 있다.
또는, 전용 버튼부(미도시)는 하드 버튼 형태로 구현될 수도 있으며, 이 경우 상술한 터치 스크린 형태의 사용자 인터페이스부(220)와 별개의 영역에 구비되는 형태가 될 수 있다.
한편, 사용자 단말 장치(200)는 상술한 바와 같이 네트워크로부터 다양한 어플리케이션을 수신하는 것 이외에 외부 메모리(미도시), 내부 메모리(미도시)로부터 어플리케이션을 수신할 수 있다. 내부 메모리(미도시)는 RAM(Random Access Memory), 플래쉬 메모리, ROM(Read Only Memory)과 같은 컴퓨터 메모리 등을 포함할 수 있지만, 이에 한정되지 않는다. 마찬가지로, 외부 메모리(미도시)는 HDD(Hard Disk Drive), CD(Compact Disc) ROM, 메모리 카드, USB(Universal Serial Bus) 플래시 드라이브 등을 포함할 수 있지만, 이에 한정되지 않는다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 사용자 인터페이스 화면의 변환 형태를 설명하기 위한 도면이다.
도 4a는 디스플레이 장치(100)에 디스플레이된 사용자 인터페이스 화면을 나타내고, 도 4b는 사용자 단말 장치(200)에 디스플레이된 사용자 인터페이스 화면을 나타낸다.
즉, 도 4a에 도시된 바와 같은 디스플레이 장치(100)에 디스플레이된 사용자 인터페이스 화면은 상술한 데이터 포맷 변환 동작을 통해 도 4b에 도시된 바와 같은 형태로 사용자 단말 장치(200)에 디스플레이될 수 있다.
도 5a 내지 5e는 본 발명의 일 실시 예에 따른 사용자 인터페이스 화면을 설명하기 위한 도면들이다.
도 5a 내지 5d에 도시된 바와 같이 사용자 단말 장치(200)는 리모트 컨트롤러 기능이 실행되면, 채널/볼륨 조작 화면(도 5a), 숫자 입력 화면(도 5b), 메카키 입력 화면(도 5c), 핫키 제공 화면(도 5d) 등을 포함하는 다양한 사용자 인터페이스 화면을 제공할 수 있다.
도 5e에 따르면, 사용자 단말 장치(200)는 리모트 어플리케이션을 통해 리모트 컨트롤러 기능이 실행되면, 다양한 기능을 제공하는 메뉴에 대응되는 아이콘들을 디스플레이할 수 있다.
"TV Remote" 메뉴는 디스플레이 장치(100)에 디스플레이되는 어플리케이션에 대응되는 사용자 인터페이스 화면을 제공하는 메뉴가 될 수 있다.
"Gesture Remote" 메뉴는 화면을 터치 후 기기를 기울기면 디스플레이 장치(100)의 채널/볼륨 조작이 가능한 메뉴가 될 수 있다.
"Keyboard" 메뉴는 디스플레이 장치(100)에서 문자 입력이 필요한 경우 문자열 입력을 제공하는 메뉴가 될 수 있다.
"Game Remote" 메뉴는 디스플레이 장치(100)를 이용하여 인터넷 게임을 제공하는 메뉴가 될 수 있다.
"Manual" 메뉴는 리모트 컨트롤러 기능을 수행하기 위한 리모트 어플리케이션의 기본적인 기능 설명 및 사용법을 제공하는 메뉴가 될 수 있다.
"Setting" 메뉴는 리모트 컨트롤러 기능을 수행하기 위한 리모트 어플리케이션 사용시 필요한 설정 기능을 제공하는 메뉴가 될 수 있다.
도 6a 내지 도 6e는 본 발명의 일 실시 예에 따른 리모트 어플리케이션 실행 동작을 설명하기 위한 도면들이다.
도 6a에 도시된 바와 같이 사용자 단말 장치(200)에서 리모트 어플리케이션이 실행되면, 도 6b에 도시된 바와 같이 동일 AP에 연결된 디스플레이 장치가 탐색될 수 있다.
도 6c는 선택된 디스플레이 장치에 연결된 후 최초 진입시 메인 화면이 될 수 있다. 도 6c에 도시된 바와 같이 메인 화면은 도 5e에 도시된 바와 같은 화면이 될 수 있으며, 각 메뉴에 대해서는 도 5e에서 자세히 설명하였으므로 더 이상의 설명은 생략하도록 한다.
도 6d는 "TV Remote" 메뉴 선택시 제공되는 기본 제어 화면이 될 수 있다.
도 6e는 도 6d에 도시된 화면에서 어플리케이션 전용 메뉴("SMART HUB") 진입시 초기 화면이 될 수 있다. 도 6e에 도시된 바와 같이 디스플레이 장치(100)에서 제공하는 다양한 어플리케이션을 조작하기 위한 화면이 사용자 단말 장치(200) 화면에 제공될 수 있다.
도 7a 내지 도 7d는 본 발명의 일 실시 예에 따른 어플리케이션 전용 메뉴에서 제공하는 다양한 사용자 인터페이스 화면을 나타내는 도면들이다.
도 7a에 도시된 바와 같이 어플리케이션 전용 메뉴의 메인 화면은 디스플레이 장치(100)에서 제공하는 다양한 어플리케이션을 리스트 형태로 디스플레이하는 화면이 될 수 있다.
도 7b는 "써치" 위젯이 실행되는 경우의 사용자 인터페이스 화면을 도시한 것이다.
도 7c는 특정 어플리케이션(예를 들어 Youtube)을 실행시킨 경우의 세부 사용자 인터페이스 화면의 일 실시 예를 도시한다.
도 7c에 도시된 바와 같이 제공되는 사용자 인터페이스 화면을 통해 특정 어플리케이션에서 제공하는 복수의 컨텐츠 간 네비게이션이 용이하게 된다.
도 7d는 특정 어플리케이션(예를 들어 Youtube) 실행 후 하나의 컨텐츠를 선택한 경우의 사용자 인터페이스 화면의 일 실시 예를 도시한다.
도 7d에 도시된 바와 같이 제공되는 사용자 인터페이스 화면을 컨텐츠를 조작을 용이하게 할 수 있게 된다.
한편, 도 7a 내지 도 7e에 도시된 바와 같이 어플리케이션 전용 메뉴가 제공되고 있는 경우 상술한 전용 버튼부(SMART)가 활성화될 수 있다.
도 8a 내지 도 8c는 본 발명의 일 실시 예에 따른 특정 메뉴 선택시 제공되는 사용자 인터페이스 화면을 나타내는 도면들이다.
도 8a에 도시된 바와 같이 터치 이벤트와 같은 기설정된 이벤트가 있는 경우 사용자 단말 장치(200)는 도 5의 "Gesture Remote" 기능으로 동작할 수 있다.
이 경우 도 8b에 도시된 바와 같이 사용자 단말 장치를 상하/좌우로 기울임으로써 채널 및 볼륨 업/다운을 조정할 수 있다.
도 8c는 도 8b에 따른 조정 상태에서의 사용자 인터페이스 화면을 나타낸다.
도 9a 및 도 9b는 본 발명의 일 실시 예에 따른 게임 모드(도 5의 "Game Rmote" 메뉴)를 제공하는 사용자 인터페이스 화면을 나타낸다.
도 10a 및 도 10b는 본 발명의 일 실시 예에 따른 문자 입력 모드(도 5의 "Keyboard" 메뉴)를 제공하는 사용자 인터페이스 화면을 나타낸다.
도 11a 및 도 11b는 본 발명의 다양한 실시 예에 따른 UI 데이터 정보의 일 예를 나타내는 도면들이다.
도 11a 및 도 11b에 도시된 바와 같이 디스플레이 장치에서 생성되는 UI 데이터 정보는 XML 문서 형태가 될 수 있다.
도 11a의 좌측에 도시된 XML Data는 사용자 단말 장치(200)에서 우측에 도시된 바와 같은 형태의 사용자 인터페이스 화면을 생성할 수 있다.
또한, 도 11b의 좌측에 도시된 XML Data는 사용자 단말 장치(200)에서 우측에 도시된 바와 같은 형태의 사용자 인터페이스 화면을 생성할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 12에 도시된 디스플레이 장치의 제어 방법에 따르면, 먼저, 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면을 디스플레이한다(S1210).
이어서, 상기 사용자 인터페이스 화면에 대응되는 UI 정보 데이터를 생성한다(S1220). 이 경우, 정보 생성 단계(S1220)는, 해당 어플리케이션 프로그램에서 수행될 수 있다.
이 후, 외부 기기의 요청에 따라 UI 정보 데이터를 외부 기기로 전송한다(S1230). 이 경우, UI 정보 데이터를 XML 문서 형태로 생성될 수 있다.
또한, 외부 기기로부터 UI 정보 데이터가 수신되면, 수신된 UI 정보 데이터에 대응되는 제어 동작을 수행할 수 있다. 구체적으로, 수신된 UI 정보 데이터의 유효성을 확인한 후, 해당 블럭(예를 들어, 해당 어플리케이션)으로 전송할 수 있고, 해당 블럭은 수신된 UI 정보 데이터를 분적하여 적절한 기능 동작을 수행할 수 있다. 또한, 필요시 대응되는 GUI를 생성할 수 있다.
도 13은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 UI 제공 방법을 설명하기 위한 흐름도이다.
도 13에 도시된 사용자 단말 장치의 UI 제공 방법에 따르면, 외부 기기와 통신하여 외부 기기에 디스플레이되는 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면에 대한 UI 정보 데이터가 수신한다(S1310).
이어서, 기설정된 UI 정보 변환 포맷을 이용하여 수신된 UI 정보 데이터를 변환한다(S1320).
이 후, 변환된 UI 정보 데이터에 대응되는 사용자 인터페이스(User Interface:UI) 화면을 디스플레이한다(S1330).
또한, 사용자 명령이 입력되면, 입력된 사용자 명령에 따라 리모트 컨트롤러 어플리케이션을 실행하고, 연결 가능한 외부 기기를 탐색하여 탐색된 적어도 하나의 외부 기기에 대응되는 아이콘을 디스플레이할 수 있다.
또한, 외부 기기에 대응되는 아이콘 중 선택된 아이콘에 대응되는 외부 기기로부터 UI 정보 데이터를 수신할 수 있다.
또한, 기설정된 이벤트 또는 사용자 명령이 있는 경우, 기설정된 UI 정보 변환 포맷을 이용하여 기설정된 이벤트를 대응되는 UI 정보 데이터를 변환하여 외부 기기로 전송할 수 있다.
기설정된 이벤트 발생 후, 사용자 단말 장치의 움직임이 있는 경우 감지된 움직임 정도에 따라 외부 기기의 동작 상태를 제어할 수 있다.
이 경우, 디스플레이 화면은, 터치 스크린으로 구현되며, 기설정된 이벤트는 사용자의 터치 이벤트일 수 있다.
또한, 본 발명에서는, 상술한 것과 같은 상술한 디스플레이 장치의 제어 방법 및 사용자 단말 장치의 UI 제공 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독 기록매체를 포함할 수 있다. 컴퓨터 판독 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터 판독 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 컴퓨터 판독 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 설명한 바와 같이 본 발명에 따르면, 리모트 컨트롤러 기능을 통해 디스플레이 장치에서 동작하는 어플리케이션의 조작 및 컨텐츠 네비게이션이 용이하게 된다.
그리고, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 디스플레이 장치 110: 디스플레이부
120: 정보 생성부 130: 통신 인터페이스부
140: 기능블럭 150: 제어부
200: 사용자 단말 장치 210: 디스플레이부
220: 사용자 인터페이스부 230: 통신 인터페이스부
240: 어플리케이션 구동부 250: 저장부
260: 정보 변환부 270: 제어부

Claims (20)

  1. 사용자 단말 장치에 있어서,
    외부 기기와 통신을 수행하는 통신 인터페이스부;
    디스플레이부; 및
    상기 외부 기기가 제공하는 방송 채널을 변경하기 위한 아이콘을 포함하는 제1 메뉴 화면을 디스플레이하도록 상기 디스플레이부를 제어하고, 상기 외부 기기에서 실행 가능한 복수의 어플리케이션에 대한 정보를 디스플레이하는 제2 메뉴 화면에 진입하기 위한 아이콘을 선택하는 사용자 명령이 입력되면, 상기 외부 기기로부터 수신된 상기 외부 기기에서 실행 가능한 복수의 어플리케이션에 대한 정보에 기초하여 복수의 어플리케이션 아이템을 포함하는 어플리케이션 아이템 리스트를 포함하는 제2 메뉴 화면을 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 복수의 어플리케이션 아이템 중 하나의 어플리케이션 아이템을 선택하는 사용자 명령에 대응하여 상기 선택된 어플리케이션 아이템에 대응되는 어플리케이션을 실행하기 위한 제어 신호를 상기 외부 기기로 전송하도록 상기 통신 인터페이스부를 제어하고 상기 외부 기기를 제어하기 위한 제 3 메뉴 화면을 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함하고,
    상기 복수의 어플리케이션 아이템 각각은, 상기 외부 기기에서 실행 가능한 복수의 어플리케이션에 대응되는, 사용자 단말 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    연결 가능한 외부 기기를 탐색하며, 상기 탐색된 외부 기기에 대응되는 아이콘을 디스플레이하도록 상기 디스플레이부를 제어하는, 사용자 단말 장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 탐색된 외부 기기에 대응되는 아이콘 중 하나가 선택되면, 상기 통신 인터페이스부를 통해 상기 선택된 아이콘에 대응되는 외부 기기에서 실행 가능한 복수의 어플리케이션에 대한 정보를 수신하는, 사용자 단말 장치.
  4. 제1항에 있어서,
    상기 외부 기기를 제어하기 위한 어플리케이션을 구동 및 실행하는 어플리케이션 구동부;를 더 포함하는, 사용자 단말 장치.
  5. 제1항에 있어서,
    상기 복수의 어플리케이션에 대한 정보는, 상기 통신 인터페이스부를 통해 상기 외부 기기로부터 수신되는, 사용자 단말 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    어플리케이션 전용 메뉴에 진입하기 위한 명령이 입력되면, 상기 어플리케이션 아이템 리스트를 포함하는 제2 메뉴 화면을 디스플레이하도록 상기 디스플레이부를 제어하는, 사용자 단말 장치.
  7. 제1항에 있어서,
    상기 제어부는,
    써치 위젯을 디스플레이하도록 상기 디스플레이부를 제어하는, 사용자 단말 장치.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 선택된 어플리케이션 아이템에 대응되는 어플리케이션에 의해 제공되는 복수의 컨텐츠를 디스플레이하도록 상기 디스플레이부를 제어하는, 사용자 단말 장치.
  9. 사용자 단말 장치의 UI 제공 방법에 있어서,
    외부 기기로부터 상기 외부 기기에서 실행 가능한 복수의 어플리케이션에 대한 정보를 수신하는 단계;
    상기 외부 기기가 제공하는 방송 채널을 변경하기 위한 아이콘을 포함하는 제1 메뉴 화면을 디스플레이하는 단계;
    상기 외부 기기에서 실행 가능한 복수의 어플리케이션에 대한 정보를 디스플레이하는 제2 메뉴 화면에 진입하기 위한 아이콘을 선택하는 사용자 명령이 입력되면, 상기 외부 기기로부터 수신된 상기 외부 기기에서 실행 가능한 복수의 어플리케이션에 대한 정보에 기초하여 복수의 어플리케이션 아이템을 포함하는 어플리케이션 아이템 리스트를 포함하는 제2 메뉴 화면을 디스플레이하는 단계; 및
    상기 복수의 어플리케이션 아이템 중 하나의 어플리케이션 아이템을 선택하는 사용자 명령에 대응하여 상기 선택된 어플리케이션 아이템에 대응되는 어플리케이션을 실행하기 위한 제어 신호를 상기 외부 기기로 전송하고 상기 외부 기기를 제어하기 위한 제 3 메뉴 화면을 디스플레이하는 단계;를 포함하고,
    상기 복수의 어플리케이션 아이템 각각은, 상기 외부 기기에서 실행 가능한 복수의 어플리케이션에 대응되는, 사용자 단말 장치의 UI 제공 방법.
  10. 제9항에 있어서,
    연결 가능한 외부 기기를 탐색하는 단계; 및
    상기 탐색된 외부 기기에 대응되는 아이콘을 디스플레이하는 단계;를 더 포함하는, 사용자 단말 장치의 UI 제공 방법.
  11. 제10항에 있어서,
    상기 복수의 어플리케이션에 대한 정보를 수신하는 단계는,
    상기 탐색된 외부 기기에 대응되는 아이콘 중 하나가 선택되면, 상기 선택된 아이콘에 대응되는 외부 기기에서 실행 가능한 복수의 어플리케이션에 대한 정보를 수신하는, 사용자 단말 장치의 UI 제공 방법.
  12. 제9항에 있어서,
    상기 어플리케이션 아이템 리스트를 포함하는 제2 메뉴 화면을 디스플레이하는 단계는,
    어플리케이션 전용 메뉴에 진입하기 위한 명령이 입력되면, 상기 어플리케이션 아이템 리스트를 포함하는 제2 메뉴 화면을 디스플레이하는, 사용자 단말 장치의 UI 제공 방법.
  13. 제9항에 있어서,
    써치 위젯을 디스플레이하는 단계;를 더 포함하는, 사용자 단말 장치의 UI 제공 방법.
  14. 제9항에 있어서,
    상기 선택된 어플리케이션 아이템에 대응되는 어플리케이션에 의해 제공되는 복수의 컨텐츠를 디스플레이하는 단계;를 더 포함하는, 사용자 단말 장치의 UI 제공 방법.
  15. 제1항에 있어서,
    사용자 명령을 입력받는 사용자 인터페이스부;를 더 포함하며,
    상기 제어부는,
    상기 사용자 인터페이스부를 통해 입력된 사용자 명령에 따라 리모트 컨트롤러 어플리케이션이 실행되면, 연결 가능한 외부 기기를 탐색하며, 상기 탐색된 외부 기기에 대응되는 아이콘을 디스플레이하도록 상기 디스플레이부를 제어하는, 사용자 단말 장치.
  16. 제1항에 있어서,
    상기 사용자 단말 장치의 움직임을 감지하는 움직임 감지부;를 더 포함하며,
    상기 제어부는,
    기설정된 이벤트 발생 후, 상기 사용자 단말 장치의 움직임이 있는 경우 상기 움직임 감지부에서 감지된 움직임 정도에 따라 상기 외부 기기의 동작 상태를 제어하는 사용자 단말 장치.
  17. 제16항에 있어서,
    상기 디스플레이부는, 터치 스크린으로 구현되며,
    상기 기설정된 이벤트는 사용자의 터치 이벤트인 것을 특징으로 하는 사용자 단말 장치.
  18. 제9항에 있어서,
    사용자 명령을 입력받는 단계; 및
    상기 입력된 사용자 명령에 따라 리모트 컨트롤러 어플리케이션이 실행되면, 연결 가능한 외부 기기를 탐색하는 단계;를 더 포함하는 사용자 단말 장치의 UI 제공 방법.
  19. 제9항에 있어서,
    기설정된 이벤트 발생 후, 상기 사용자 단말 장치의 움직임이 감지되면, 상기 감지된 움직임 정도에 따라 상기 외부 기기의 동작 상태를 제어하는 단계;를 더 포함하는 사용자 단말 장치의 UI 제공 방법.
  20. 제19항에 있어서,
    상기 기설정된 이벤트는 상기 사용자 단말 장치에 포함된 터치 스크린에 대한 사용자의 터치 이벤트인 사용자 단말 장치의 UI 제공 방법.
KR1020180063692A 2018-06-01 2018-06-01 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법 KR102151757B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180063692A KR102151757B1 (ko) 2018-06-01 2018-06-01 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180063692A KR102151757B1 (ko) 2018-06-01 2018-06-01 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR20110018663A Division KR20120100045A (ko) 2011-03-02 2011-03-02 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190065590A Division KR102198347B1 (ko) 2019-06-03 2019-06-03 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법

Publications (2)

Publication Number Publication Date
KR20180063026A true KR20180063026A (ko) 2018-06-11
KR102151757B1 KR102151757B1 (ko) 2020-09-04

Family

ID=62600901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180063692A KR102151757B1 (ko) 2018-06-01 2018-06-01 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법

Country Status (1)

Country Link
KR (1) KR102151757B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022154618A1 (ko) * 2021-01-18 2022-07-21 삼성전자 주식회사 연결 가능한 외부 장치를 제어하기 위한 전자 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009038596A1 (en) * 2007-09-18 2009-03-26 Thomson Licensing User interface for set top box
US20100081375A1 (en) * 2008-09-30 2010-04-01 Apple Inc. System and method for simplified control of electronic devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009038596A1 (en) * 2007-09-18 2009-03-26 Thomson Licensing User interface for set top box
US20100081375A1 (en) * 2008-09-30 2010-04-01 Apple Inc. System and method for simplified control of electronic devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022154618A1 (ko) * 2021-01-18 2022-07-21 삼성전자 주식회사 연결 가능한 외부 장치를 제어하기 위한 전자 장치 및 방법

Also Published As

Publication number Publication date
KR102151757B1 (ko) 2020-09-04

Similar Documents

Publication Publication Date Title
US10856033B2 (en) User terminal apparatus, display apparatus, user interface providing method and controlling method thereof
US9621434B2 (en) Display apparatus, remote control apparatus, and method for providing user interface using the same
EP2521370B1 (en) Remote controller and image display apparatus controllable by remote controller
US9152244B2 (en) Image display apparatus and method for operating the same
EP2262235A1 (en) Image display device and operation method thereof
EP2257052A1 (en) Image display device and operation method therefor
KR101572843B1 (ko) 영상 표시 장치 및 그 동작 방법
EP2472893A1 (en) User terminal apparatus and UI providing method thereof
KR20100128958A (ko) 영상표시장치 및 그 제어방법
US8952905B2 (en) Image display apparatus and method for operating the same
KR20130019260A (ko) 휴대 단말기의 동작 방법
CN111586463B (zh) 显示设备
KR102151757B1 (ko) 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법
KR102198347B1 (ko) 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법
CN113573115B (zh) 确定搜索字符的方法及显示设备
KR101825668B1 (ko) 영상 표시 장치 및 그 동작방법
KR20110008937A (ko) 영상 표시 장치 및 그 동작방법
KR20100136235A (ko) 영상 표시 장치 및 그 동작 방법
KR20100129588A (ko) 영상 표시 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2019101001870; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20190603

Effective date: 20200429

GRNO Decision to grant (after opposition)