KR20150134674A - 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템 - Google Patents

사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템 Download PDF

Info

Publication number
KR20150134674A
KR20150134674A KR1020140061743A KR20140061743A KR20150134674A KR 20150134674 A KR20150134674 A KR 20150134674A KR 1020140061743 A KR1020140061743 A KR 1020140061743A KR 20140061743 A KR20140061743 A KR 20140061743A KR 20150134674 A KR20150134674 A KR 20150134674A
Authority
KR
South Korea
Prior art keywords
external device
touch gesture
gesture
user terminal
image content
Prior art date
Application number
KR1020140061743A
Other languages
English (en)
Inventor
방준호
고창석
견재기
김재엽
유하연
정성욱
진-크리스토프 나우어
이관민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140061743A priority Critical patent/KR20150134674A/ko
Priority to US14/702,178 priority patent/US20150339026A1/en
Priority to EP15796274.7A priority patent/EP3146413A4/en
Priority to PCT/KR2015/005042 priority patent/WO2015178677A1/en
Priority to CN201510266638.4A priority patent/CN105094663A/zh
Publication of KR20150134674A publication Critical patent/KR20150134674A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/50—Tuning indicators; Automatic tuning control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy

Abstract

사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템이 제공된다. 디스플레이부를 포함하는 사용자 단말의 제어 방법은 디스플레이부에 제1 영상 컨텐츠를 디스플레이하고, 감지부에서 터치 제스처를 감지하고, 터치 제스처가 싱글터치 제스처이면 사용자 단말을 제어하고, 터치 제스처가 멀티 터치 제스처이면 제1 외부장치를 제어하기 위한 데이터를 상기 제1 외부장치로 전송할 수 있다.

Description

사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템{User terminal device, and Method for controlling for User terminal device, and multimedia system thereof}
본 발명은 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템에 관한 것으로 더욱 상세하게는 디스플레이 장치가 디스플레이하고 있는 영상 컨텐츠를 동시에 시청할 수 있는 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템에 관한 것이다.
현재 디스플레이 장치는 다양한 컨텐츠를 사용자에게 제공하고 있다. 특히, 시청자는 다양한 영상 컨텐츠를 동시에 확인하고 확인된 영상 컨텐츠들 중 자신이 시청하고자 하는 컨텐츠를 선택하고자 한다.
종래에는 PIP(Picture in Picture) 기능을 이용하여 복수의 영상 컨텐츠를 동시에 확인하는 방법이 존재하였다. 이 경우, 하나의 영상 컨텐츠가 다른 영상 컨텐츠를 가리게 되는 시청 방해가 발생할 수 있다. 또한, 하나의 리모컨으로 원 영상 컨텐츠와 PIP 영상 컨텐츠를 동시에 제어하기 어려운 문제점이 발생하였다.
또한, 복수의 디스플레이 장치를 이용하여 복수의 영상 컨텐츠를 동시에 확인하는 방법이 존재하였다. 예를 들어, TV와 스마트 폰을 이용하여 각각 영상 컨텐츠를 확인하는 방법이 존재하였다. 이 경우, 복수의 디스플레이 장치가 서로 연동이 되지 않아, 복수의 디스플레이 장치를 각각 제어해야 하는 번거로움이 존재하였다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자 단말을 이용하여 디스플레이 장치가 현재 재생 중인 컨텐츠를 확인하고, 더욱 직관적으로 디스플레이 장치를 제어할 수 있게 하는 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 사용자 단말의 제어 방법은, 디스플레이부에 제1 영상 컨텐츠를 표시하는 단계; 디스플레이부에서 터치 제스처를 감지하는 단계; 및 상기 터치 제스처가 싱글터치 제스처이면 상기 사용자 단말을 제어하고, 상기 터치 제스처가 멀티 터치 제스처이면 제1 외부장치를 제어하기 위한 데이터를 전송하는 단계;를 포함할 수 있다. 상기 전송하는 단계는, 상기 멀티 터치 제스처가 상하 방향의 두 손가락 드래그 제스처이면 상기 제1 외부장치의 음량을 제어하는 데이터를 전송하는 것을 특징으로 할 수 있다. 또한 상기 전송하는 단계는 상기 멀티 터치 제스처가 좌우 방향의 두 손가락 스와이프 제스처이면 상기 제1 외부장치의 채널을 변경하는 데이터를 전송하는 것을 특징으로 할 수 있다. 또한 상기 전송하는 단계는, 상기 멀티 터치 제스처가 세 손가락 스와이프 제스처이면, 상기 제1 외부장치를 오프(Off)하는 데이터를 전송하는 것을 특징으로 할 수 있다. 또한 상기 전송하는 단계는, 상기 멀티 터치 제스처가 두 손가락 회전 제스처이면 상기 제1 외부장치에 디스플레이된 그래픽 오브젝트를 제거하는 데이터를 전송하는 것을 특징으로 할 수 있다.
여기서, 상기 제1 영상 컨텐츠는, 상기 제1 외부장치로부터 수신되며, 상기 제1 외부장치에서 재생되는 컨텐츠와 동기화 되어 재생될 수 있다. 또한 상기 제1 영상 컨텐츠는 서버로부터 전송되며, 상기 제1 외부장치에서 재생되는 제1 영상 컨텐츠와 동기화되어 재생되는 것을 특징으로 할 수 있다. 또한 상기 전송하는 단계는, 상기 싱글터치 제스처에 따라 상기 사용자 단말에서 수행되는 기능이 상기 멀티 터치 제스처에 따라 상기 제1 외부장치에서 동일하게 수행되도록 하는 데이터를 전송하는 것을 특징으로 할 수 있다. 또한 상기 전송하는 단계는, 상기 멀티 터치 제스처가 두 손가락 드래그 제스처이면 상기 제1 외부장치의 음량을 순차적으로 변경시키는 데이터를 전송하고, 상기 멀티 터치 제스처가 세 손가락 드래그 제스처이면 상기 제1 외부장치의 음량을 비순차적으로 변경시키는 데이터를 전송하는 것을 특징으로 할 수 있다. 또한 상기 전송하는 단계는 상기 멀티 터치 제스처의 멀티 터치 개수에 기초하여 상기 제1 외부장치의 음량 또는 채널 변화량을 변경시키는 데이터를 전송하는 것을 특징으로 할 수 있다.
또한 상기 전송하는 단계는, 상기 멀티 터치 제스처가 두 손가락 제스처이면 상기 제1 외부장치를 제어하는 데이터를 전송하고, 상기 멀티 터치 제스처가 세 손가락 제스처이면 제2 외부장치를 제어하는 데이터를 전송하는 것을 특징으로 할 수 있다.
본 발명의 다른 실시 예에 따른, 제1 외부장치와 연동하여 동작하는 사용자 단말은, 제1 영상 컨텐츠를 디스플레이하는 디스플레이부; 상기 제1 외부장치와 통신을 수행하는 통신부; 터치 제스처를 감지하는 감지부; 및 상기 감지부를 통해 감지된 싱글터치 제스처에 기초하여 상기 사용자 단말을 제어하고, 상기 감지부를 통해 감지된 멀터터치 제스처에 기초하여 상기 제1 외부장치를 제어하는 데이터를 전송하는 제어부;를 포함할 수 있다. 상기 제어부는, 상기 멀티 터치 제스처가 상하 방향의 두 손가락 드래그 제스처이면 상기 제1 외부장치의 음량을 제어하는 데이터를 전송할 수 있다. 또한 상기 제어부는, 상기 멀티 터치 제스처가 좌우 방향으로 두 손가락에 의한 스와이프 제스처이면 상기 제1 외부장치의 채널을 변경하는 데이터를 전송할 수 있다. 또한 상기 제어부는, 상기 멀티 터치 제스처가 세 손가락 스와이프 제스처이면, 상기 제1 외부장치를 오프(Off)하는 데이터를 전송할 수 있다. 또한 상기 제어부는, 상기 멀티 터치 제스처가 두 손가락 회전 제스처이면 상기 제1 외부장치에 디스플레이된 그래픽 오브젝트를 제거하는 데이터를 전송할 수 있다.
여기서, 상기 제1 영상 컨텐츠는, 상기 제1 외부장치로부터 수신되며, 상기 제1 외부장치에서 재생되는 컨텐츠와 동기화 되어 재생될 수 있다. 또한 상기 제1 영상 컨텐츠는 서버로부터 전송되며, 상기 제1 외부장치에서 재생되는 컨텐츠와 동기화되어 재생될 수 있다.
또한 상기 제어부는 상기 싱글터치 제스처에 따라 상기 사용자 단말에서 수행되는 기능이 상기 멀티 터치 제스처에 따라 상기 제1 외부장치에서 동일하게 수행되도록 하는 데이터를 전송할 수 있다.
또한 상기 제어부는 상기 멀티 터치 제스처가 두 손가락 드래그 제스처이면 상기 제1 외부장치의 음량을 순차적으로 변경시키는 데이터를 전송하고, 상기 멀티 터치 제스처가 세 손가락 드래그 제스처이면 상기 제1 외부장치의 음량을 비순차적으로 변경시키는 데이터를 전송할 수 있다.
또한 상기 제어부는 상기 멀티 터치 제스처의 멀티 터치 개수에 기초하여 상기 제1 외부장치의 음량 또는 채널 변화량을 변경시키는 데이터를 전송할 수 있다.
또한 상기 멀티 터치 제스처가 두 손가락 제스처이면 상기 제1 외부장치를 제어하는 데이터를 전송하고, 상기 멀티 터치 제스처가 세 손가락 제스처이면 제2 외부장치를 제어하는 데이터를 전송할 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 멀티미디어 시스템을 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른, 사용자 단말의 구성을 간략히 도시한 블록도,
도 3은 본 발명의 일 실시 예에 따른, 사용자 단말의 구성을 상세히 도시한 블록도,
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 사용자 단말의 감지부에서 싱글터치 제스처를 감지한 경우, 사용자 단말 및 제1 외부장치의 디스플레이부에 디스플레이 되는 화면을 도시한 도면
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 사용자 단말의 감지부에서 멀티 터치 제스처를 감지한 경우, 사용자 단말 및 제1 외부장치의 디스플레이부에 디스플레이되는 것을 도시한 도면
도 5c 및 도 5d는 사용자 단말에 제 1 영상 컨텐츠가 디스플레이 되어 있는 상태에서 두 손가락에 의한 좌우 방향 제스처에 따라 제1 외부장치의 채널이 변경되는 것을 도시한 도면
도 6a 및 도 6b는 사용자 단말에서 감지된 두 손가락에 의한 제스처 또는 세 손가락에 의한 제스처에 따라 제1 외부장치가 다르게 제어되는 것을 도시한 도면
도 7a 및 도 7b는 본 발명의 또 다른 실시 예에 따른 사용자 단말에서 감지된 멀티 터치 제스처에 따라 제1 외부장치의 디스플레이부에 디스플레이된 제 1 레이어가 디스플레이부에서 삭제되는 것을 도시한 도면
도 8a 및 도 8b는 본 발명의 또 다른 실시 예에 따른 사용자 단말에서 감지된 멀티 터치 제스처에 따라 제1 외부장치를 제어하기 위한 가상 리모콘이 사용자 단말에 디스플레이된 것을 도시한 도면
도 9a 및 도 9b는 본 발명의 또 다른 실시 예에 따른 사용자 단말에서 감지된 멀티 터치 제스처에 따라 제1 외부장치를 오프(Off)하는 것을 도시한 도면
도 10a 및 도 10b는 사용자 단말에서 감지된 두 손가락 또는 세 손가락에 의한 멀티 터치 제스처에 따라 제1 외부장치 또는 제2 외부장치를 제어하는 것을 도시한 도면
도 11은 사용자 단말에서 멀티 터치 제스처가 감지됨에 따라 진동 피드백이 발생되는 것을 나타낸 도면
도 12는 제1 외부장치의 내부 블록도를 도시한 도면
도 13은 본 발명의 일 실시 예에 따른, 사용자 단말(100)의 제어 방법을 설명하기 위한 흐름도이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시 예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한 본 명세서에 사용된 “및/또는” 이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
또한 본 명세서에 사용된 “~인 경우(~이면)”이란 용어는 문맥에 따라 “~인 ?” 또는 “~와 동시에” 또는 “판단에 응답하여” 또는 “감지에 응답하여”를 의미하는 것으로 해석될 수 있다. 유사하게, “판단되는 경우” 또는 “(언급된 조건 또는 이벤트가) 감지되면” 또는 “(언급된 조건 또는 이벤트의) 감지에 응답하여”를 의미하는 것으로 해석되어야 한다.
터치는 사용자 단말의 디스플레이부와 사용자의 신체 또는 터치 가능한 입력 장치(예를 들어, 터치펜)의 접촉에 한정되지 않고, 비접촉(예를 들어, 디스플레이부와 사용자의 신체 또는 입력 장치와의 검출 가능한 간격이 30mm 이하의 호버링(hovering)을 포함할 수 있다. 사용자 단말에서 검출 가능한 비접촉 간격은 사용자 단말의 성능 또는 구조에 따라 변경될 수 있다.
또한 디스플레이부를 터치, 드래그, 스와이프 및 플릭한다는 의미는 디스플레이부에 표시된 오브젝트를 터치, 드래그, 스와이프 및 플릭하는 의미로 해석되어야 한다.
이하, 첨부도면을 참조하여 본 발명의 다양한 실시 예에 대해 상세히 설명하기로 하기로 한다.
도 1은 본 발명의 일 실시 예에 따른, 멀티미디어 시스템(10)을 도시한 도면이다. 도 1에 도시된 바와 같이, 멀티미디어 시스템(10)은 사용자 단말(100) 및 외부장치(200)를 포함한다. 외부장치(200)는 디스플레이 장치일 수 있다. 이때, 사용자 단말(100)은 외부장치(200)를 제어하기 위한 디스플레이부를 구비하는 별도의 리모트 컨트롤러일 수 있으나, 이는 일 실시 예에 불과할 뿐, 스마트 폰, 태블릿 PC 등과 같은 다양한 휴대용 사용자 단말로 구현될 수 있다. 또한, 외부 장치(200)는 스마트 TV일 수 있으나, 이는 일 실시 예에 불과할 뿐, 디지털 TV, 데스크탑 PC, 노트북 PC, 오디오 장치, 조명 장치 등과 같은 다양한 장치로 구현될 수 있다.
사용자 단말(100)과 외부장치(200)는 다양한 통신 방식을 통해 서로 연결될 수 있다. 예를 들어, 사용자 단말(100) 및 외부장치(200)는 블루투스, 와이파이 등과 같은 무선 통신 모듈을 이용하여 서로 통신을 수행할 수 있다.
그리고, 사용자 단말(100) 및 외부장치(200)는 제1 영상 컨텐츠를 디스플레이할 수 있다. 여기서 영상 컨텐츠를 디스플레이 하는 것은 영상 컨텐츠를 재생하는 것일 수 있다. 사용자 단말(100)이 디스플레이하는 제1 영상 컨텐츠는 외부장치(200)로부터 수신될 수 있으나, 이는 일 실시 예에 불과할 뿐, 별도의 외부 기기로부터 수신되거나 기 저장된 영상 컨텐츠일 수 있다. 또한, 제1 영상 컨텐츠는 방송 컨텐츠일 수 있으나, 이는 일 실시 예에 불과할 뿐, 인터넷으로부터 수신된 VOD 영상 컨텐츠, 기 저장된 영상 컨텐츠일 수 있다.
사용자 단말(100)이 제1 영상 컨텐츠를 디스플레이하는 동안 사용자에 의한 터치 제스처가 감지된 경우, 사용자 단말(100)은 상기 터치 제스처가 싱글터치 제스처인지 멀티 터치 제스처인지를 결정할 수 있다. 사용자에 의한 터치 제스처는 사용자의 손가락이 디스플레이부를 접촉 또는 근접한 상태에서 접촉 또는 근접을 유지한 상태로 손가락을 이동시키는 동작일 수 있다.
사용자 단말(100)은 상기 터치 제스처가 싱글터치 제스처이면 상기 사용자 단말을 제어하고, 상기 터치 제스처가 멀티 터치 제스처이면 외부장치(200)를 제어하기 위한 데이터를 상기 외부장치(200)로 전송할 수 있다. 이때, 외부장치(200)는 디스플레이 장치일 수 있다.
멀티 터치 제스처는 사용자의 두 손가락 이상에 의한 터치, 스와이프, 드래그, 회전 제스처 중 적어도 하나를 포함할 수 있다.
사용자 단말(100)은 멀티 터치 제스처가 두 손가락 드래그 제스처이면 상기 외부장치(200)의 음량을 제어하는 데이터를 전송할 수 있다.
또한 사용자 단말(100)은 멀티 터치 제스처가 좌우 방향으로 두 손가락에 의한 스와이프 제스처이면 외부장치(200)의 채널을 변경하는 데이터를 전송할 수 있다.
또한 사용자 단말(100)은 멀티 터치 제스처가 세 손가락 스와이프 제스처이면 외부장치(200)를 오프(Off)하는 데이터를 전송할 수 있다.
또한 사용자 단말(100)은 멀티 터치 제스처가 두 손가락 회전 제스처이면 외부장치(200)에 디스플레이된 그래픽 오브젝트를 제거하는 데이터를 전송할 수 있다.
제1 영상 컨텐츠는 외부장치(200)로부터 수신되며, 외부장치(200)에서 재생되는 컨텐츠와 동기되어 재생될 수 있다.
또한 제1 영상 컨텐츠는 서버로부터 전송될 수 있으며, 상기 외부장치(200)에서 재생되는 컨텐츠와 동기되어 재생될 수 있다.
또한 사용자 단말(100)은 싱글터치 제스처에 따라 사용자 단말(100)에서 수행되는 기능이 멀티 터치 제스처에 따라 외부장치(200)에서 동일하게 수행되도록 하는 데이터를 전송할 수 있다.
또한 사용자 단말(100)은 멀티 터치 제스처가 두 손가락 드래그 제스처이면 외부장치(200)의 음량을 순차적으로 변경시키는 데이터를 전송하고, 멀티 터치 제스처가 세 손가락 드래그 제스처이면 외부장치(200)의 음량을 비순차적으로 변경시키는 데이터를 전송할 수 있다.
또한 사용자 단말(100)은 제스처가 두 손가락 제스처이면 외부장치(200)를 제어하는 데이터를 전송하고, 멀티 터치 제스처가 세 손가락 제스처이면 다른 외부장치를 제어하는 데이터를 전송할 수 있다.
상술한 바와 같은 멀티미디어 시스템(10)에 의해, 사용자는 사용자 단말(100)을 이용하여 더욱 직관적으로 외부장치(200)를 제어할 수 있게 된다.
한편, 상술한 실시 예에서는 사용자 단말(100)이 두 개의 손가락 또는 세 개의 손가락을 사용한 멀티 터치 제스처에 대해 설명하였으나, 이는 일 실시 예에 불과할 뿐, 세 개 이상의 손가락을 사용한 멀티 터치 제스처도 가능하다.
도 2는 본 발명의 일 실시 예에 따른, 사용자 단말(100)의 구성을 간략히 도시한 블록도이다. 도 2에 도시된 바와 같이, 사용자 단말(100)은 디스플레이부(110), 통신부(120), 감지부(130) 및 제어부(140)를 포함한다.
디스플레이부(110)는 제어부(140)의 제어에 의해 다양한 영상 컨텐츠를 디스플레이한다. 특히, 디스플레이부(110)는 외부장치(200)로부터 수신된 영상 컨텐츠를 디스플레이할 수 있다. 이때, 외부장치(200)로부터 제1 영상 컨텐츠에 대한 영상 스트림이 수신된 경우, 디스플레이부(110)는 제1 영상 컨텐츠를 디스플레이할 수 있다.
한편, 디스플레이부(110)는 감지부(130)의 터치 감지부와 결합하여 터치스크린으로 구현될 수 있다. 이하의 설명에서는 디스플레이부(110)에 감지부(110)가 결합된 사용자 단말을 예로 설명할 것이다. 또한 별도의 설명이 없는 한 디스플레이부(110)는 감지부(130)를 포함하는 것으로 한다. 즉, 디스플에이부(110)는 터치스크린일 수 있다. 그러나 이는 일 실시 예에 불과할 뿐, 디스플레이부(110)와 감지부(130)가 별도로 구성되어 있는 사용자 단말을 배제하지는 않는다.
통신부(120)는 외부의 다양한 기기와 통신을 수행한다. 특히, 통신부(120)는 제1 외부장치(200)와 통신을 수행할 수 있다. 이때, 통신부(120)는 제1 외부장치(200)로부터 영상 컨텐츠를 실시간으로 수신할 수 있으며, 제1 외부장치(200)로 영상 컨텐츠를 요청하는 컨텐츠 요청 신호를 전송할 수 있다.
감지부(130)는 사용자 단말(100)을 제어하기 위한 터치 제스처를 감지한다. 특히, 감지부(130)는 터치스크린 내에 구비되어 사용자의 터치 제스처(특히, 드래그 제스처)를 감지할 수 있는 터치 감지부로 구현될 수 있다.
제어부(140)는 사용자 단말(100)의 전반적인 동작을 제어한다. 사용자 단말(100)은 제1 외부장치(200)로 영상 컨텐츠를 요청하는 신호를 전송하도록 통신부(120)를 제어할 수 있다. 제1 외부장치(200)로부터 제1 외부장치(200)가 현재 디스플레이하고 있는 영상 컨텐츠가 수신된 경우, 제어부(130)는 상기 영상 컨텐츠를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 이때, 제1 외부장치(200)는 디스플레이 장치일 수 있다. 이하의 설명에서는 제1 외부장치(200)로 디스플레이 장치를 예로 설명할 것이다.
디스플레이부(110)가 제1 영상 컨텐츠를 디스플레이하는 동안 감지부(130)를 통해 터치 제스처가 감지된 경우, 제어부(140)는 감지된 터치 제스처가 싱글터치 제스처인지 또는 멀티 터치 제스처인지를 결정할 수 있다. 싱글터치 제스처는 사용자가 한 개의 손가락을 이용하여 디스플레이부(110)를 터치한 후 터치를 유지한 채 손가락을 이동시키는 동작일 수 있다.
멀티 터치 제스처는 사용자가 두 개 이상의 손가락을 이용하여 디스플레이부(110)의 각각 다른 두 지점을 터치한 후 터치를 유지한 채 손가락을 동시에 이동시키거나 또는 하나의 손가락을 이동시키는 동작일 수 있다.
제어부(140)는 감지부(130)를 통해 감지된 터치 제스처가 싱글터치 제스처인 경우, 싱글터치 제스처에 기초하여 사용자 단말(100)의 디스플레이부(110)에 디스플레이된 제1 영상 컨텐츠를 제어할 수 있다. 예를 들면 사용자가 한 개의 손가락으로 디스플레이부(110)를 좌측에서 우측 또는 우측에서 좌측으로 스와이프 하면, 제어부(140)는 현재 디스플레이된 제 1 영상 컨텐츠를 다른 채널의 제2 영상 컨텐츠로 변경할 수 있다.
또한 사용자가 한 개의 손가락으로 디스플레이부(110)를 위에서 아래로 또는 아래에서 위로 드래그 하면, 제어부(140)는 사용자 단말(100)의 음량을 올리거나 또는 내릴 수 있다. 여기서 드래그 동작은 스크롤 동작 또는 스와이프 동작으로 대체될 수 있다. 즉, 사용자가 한 개의 손가락으로 디스플레이부(110)를 위에서 아래로 또는 아래에서 위로 스크롤 하면, 제어부(140)는 사용자 단말(100)의 음량을 올리거나 또는 내릴 수 있다. 또한 사용자가 한 개의 손가락으로 디스플레이부(110)를 위에서 아래로 또는 아래에서 위로 스와이프 하면, 제어부(140)는 사용자 단말(100)의 음량을 올리거나 또는 내릴 수 있다.
제어부(140)는 감지부(130)를 통해 감지된 터치 제스처가 멀티 터치 제스처인 경우, 멀티 터치 제스처에 기초하여 제1 외부장치(200)를 제어하기 위한 데이터를 제1 외부장치(200)로 전송하도록 통신부(120)를 제어할 수 있다. 제어부(140)는 멀티 터치 제스처가 감지되면 멀티 터치 제스처에 대응하는 명령어 데이터가 존재하는지 검색 할 수 있다. 제어부(140)는 감지된 멀티 터치 제스처에 대응하는 명령어 데이터를 제1 외부장치(200)로 전송하도록 통신부(120)를 제어할 수 있다.
명령어 데이터는 제1 외부장치(200)를 제어하기 위한 데이터일 수 있다. 제1 외부장치(200)는 디스플레이 장치일 수 있다. 제1 외부장치(200)는 사용자 단말(100)로부터 명령어 데이터를 수신하고 이에 대응하는 동작을 수행할 수 있다.
멀티 터치 제스처는 사용자의 두 손가락 이상에 의한 터치, 스와이프, 드래그, 회전 제스처 중 적어도 하나를 포함할 수 있다. 제어부(140)는 멀티 터치 제스처가 상하 방향의 두 손가락 드래그 제스처이면 제1 외부장치(200)의 음량을 제어하는 데이터를 전송하도록 통신부(120)를 제어할 수 있다. 제1 외부장치(200)는 디스플레이 장치일 수 있다.
또한 제어부(140)는 멀티 터치 제스처가 좌우 방향으로 두 손가락에 의한 스와이프 제스처이면 제1 외부장치(200)의 채널을 변경하는 데이터를 전송하도록 통신부(120)를 제어할 수 있다. 또한 제어부(140)는 멀티 터치 제스처가 세 손가락 스와이프 제스처이면 제1 외부장치(200)를 오프하는 데이터를 전송하도록 통신부(120)를 제어할 수 있다. 또한 제어부(140)는 멀티 터치 제스처가 두 손가락 회전 제스처이면 제1 외부장치(200)에 표시된 그래픽 오브젝트를 제거하는 데이터를 전송하도록 통신부(120)를 제어할 수 있다.
도 3은 본 발명의 일 실시 예에 따른, 사용자 단말(100)의 구성을 상세히 도시한 블록도다. 도 3에 도시된 바와 같이, 사용자 단말(100)은 디스플레이부(110), 통신부(120), 오디오 출력부(150), 저장부(160), 영상 처리부(170), 오디오 처리부(180), 감지부(130) 및 제어부(140)를 포함한다. 이때, 디스플레이부(110)는 감지부(130)을 포함하는 터치스크린으로 구현될 수 있다.
한편, 도 3은 사용자 단말(100)이 컨텐츠 제공 기능, 디스플레이 기능, 통신 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 3에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.
디스플레이부(110)는 통신부(120)를 통해 수신한 영상 데이터를 영상 처리부(170)에서 처리한 비디오 프레임 및 그래픽 처리부(143)에서 생성된 다양한 화면 중 적어도 하나를 디스플레이한다. 특히, 디스플레이부(110)는 외부장치(200)로부터 수신된 적어도 하나의 방송 컨텐츠를 디스플레이할 수 있다. 구체적으로, 방송 컨텐츠를 포함하는 영상 스트림이 수신된 경우, 디스플레이부(110)는 영상 처리부(170)에 의해 처리된 방송 컨텐츠를 디스플레이할 수 있다.
통신부(120)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(120)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
특히, 통신부(120)는 제1 외부장치(200)로부터 방송 컨텐츠를 포함하는 영상 스트림을 수신할 수 있다. 또한, 통신부(120)는 터치 제스처에 따라 사용자가 제1 외부장치(200)를 통해 시청하고자 하는 영상 컨텐츠에 대한 정보를 제1 외부장치(200)로 전송할 수 있다.
또한, 통신부(120)는 외부의 서버로부터 VOD 컨텐츠와 같은 다양한 영상 컨텐츠를 수신할 수 있다.
오디오 출력부(150)는 오디오 처리부(180)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 특히, 제1 외부장치(200)가 복수의 영상 컨텐츠를 디스플레이하는 경우, 오디오 출력부(150)는 복수의 영상 컨텐츠 중 사용자에 의해 선택된 하나의 영상 컨텐츠에 대응되는 오디오를 출력할 수 있다.
저장부(160)는 사용자 단말(100)을 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(160)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 사용자 단말(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.
상술한 바와 같이, 저장부(160)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 사용자 단말(100)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, 상술한 사용자 단말(100)이 스마트 폰으로 구현된 경우, 베이스 모듈에는 GPS 기반의 위치를 판단하기 위한 위치 판단 모듈을 더 포함하며, 센싱 모듈에는 사용자의 동작을 감지하는 센싱 모듈을 더 포함할 수 있다.
또한, 저장부(160)는 사용자 단말(100)과 외부장치(200)가 동기화하여 영상 컨텐츠를 재생할 수 있도록 영상 컨텐츠를 일시 저장하는 버퍼를 포함할 수 있다. 버퍼에 저장된 영상 컨텐츠는 영상 컨텐츠의 타임스탬프 정보에 따라 디스플레이부(110)로 출력될 수 있다. 또한 저장부(160)에는 외부장치(200)를 제어하기 위한 명령어 데이터가 저장될 수 있다. 명령어 데이터는 각각의 멀티 터치 제스처에 대해 일대일로 매핑(mapping)될 수 있다.
영상 처리부(170)는 통신부(120)를 통해 수신한 영상 컨텐츠를 포함하는 영상 스트림에 대한 처리를 수행하는 구성요소이다. 영상 처리부(170)에서는 영상 스트림에 대한 디코딩, 디멀티플렉싱, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 처리부(180)는 영상 컨텐츠의 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(180)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 오디오 처리부(180)에서 처리된 오디오 데이터는 오디오 출력부(150)로 출력될 수 있다.
감지부(130)는 사용자 단말(100)의 구성을 제어하기 위한 다양한 터치 제스처를 감지할 수 있다. 특히, 감지부(130)는 사용자의 터치 제스처를 감지하기 위한 터치 감지부로 구현될 수 있다. 이때, 터치 감지부는 디스플레이부(110)의 뒷면에 배치되어 터치스크린으로 구현될 수 있다.
제어부(140)는 저장부(160)에 저장된 각종 프로그램을 이용하여 사용자 단말(100)의 전반적인 동작을 제어한다.
제어부(140)는 도 3에 도시된 바와 같이, RAM(141), ROM(142), 그래픽 처리부(143), 메인 CPU(144), 제1 내지 n 인터페이스(145-1 ~ 145-n), 버스(146)를 포함한다. 이때, RAM(141), ROM(142), 그래픽 처리부(143), 메인 CPU(144), 제1 내지 n 인터페이스(145-1 ~ 145-n) 등은 버스(146)를 통해 서로 연결될 수 있다.
ROM(142)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(144)는 ROM(142)에 저장된 명령어에 따라 저장부(160)에 저장된 O/S를 RAM(141)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(144)는 저장부(160)에 저장된 각종 어플리케이션 프로그램을 RAM(141)에 복사하고, RAM(141)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(143)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 포인터, 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 입력부로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(110)의 디스플레이 영역 내에 디스플레이된다.
메인 CPU(144)는 저장부(160)에 액세스하여, 저장부(160)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(144)는 저장부(160)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(145-1 내지 145-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
이하에서는 도 4a 내지 도 11을 참조하여, 제어부(140)의 기능에 대해 더욱 상세히 설명하도록 한다. 참고로, 본 실시 예에서는 영상 컨텐츠가 방송 컨텐츠인 것으로 설명하기로 한다.
도 4a 내지 도 4b는 본 발명의 일 실시 예에 따른, 감지부(130)를 통해 싱글터치 제스처가 감지된 경우, 사용자 단말(410) 및 제1 외부장치(420)의 디스플레이부에 디스플레이 되는 화면을 도시한 도면이다. 여기서 사용자 단말의 디스플레이부(110)는 터치 감지부를 포함할 수 있다. 제1 외부장치(200)는 디스플레이 장치일 수 있다.
도 4a를 참조하면, 사용자 단말(410)에 제1 영상 컨텐츠(412) 및 음량의 크기를 나타내는 그래픽 오브젝트(415)가 디스플레이 되어 있다. 제1 외부장치(420)에는 제1 영상 컨텐츠(422)가 디스플레이 되어 있다.
사용자 단말(410)에 디스플레이 되어 있는 제1 영상 컨텐츠(412)와 제1 외부장치(420)에 디스플레이 되어 있는 제1 영상 컨텐츠(422)는 서로 동기화되어 재생될 수 있다. 또한 사용자 단말(410)에 디스플레이 되어 있는 제1 영상 컨텐츠(412)와 제1 외부장치(420)에 디스플레이 되어 있는 제1 영상 컨텐츠(422)는 동일한 컨텐츠 일 수 있다. 사용자 단말(410)에 제1 영상 컨텐츠(412)가 디스플레이 되어 있는 상태에서 감지부(130)를 통해 터치 제스처가 감지되면, 제어부(140)는 감지된 터치 제스처가 싱글터치 제스처인지 또는 멀티 터치 제스처인지를 결정할 수 있다. 제어부(140)는 상기 터치 제스처가 싱글터치 제스처이면 상기 사용자 단말(410)을 제어하고, 상기 터치 제스처가 멀티 터치 제스처이면 제1 외부장치(200)를 제어하기 위한 데이터를 상기 제1 외부장치(200)로 전송하도록 통신부(120)를 제어할 수 있다.
또한 제어부(140)는 감지된 터치 제스처가 싱글터치 제스처인 경우에는 싱글터치 제스처에 따라 디스플레이중인 제 1 영상 컨텐츠의 음량을 조정하도록 오디오 출력부(150)를 제어하거나 또는 재생중인 위치를 변경하거나 또는 다른 채널로 변경하도록 디스플레이부(110)를 제어할 수 있다. 또한 싱글터치 제스처에 따라 사용자 단말(410)의 디스플레이부(110)에는 이에 대응하는 그래픽 오브젝트가 표시될 수 있다.
예를 들면 제 1 영상 컨텐츠가 디스플레이중인 상태에서 사용자가 1개의 손가락(414)으로 디스플레이부(110)을 터치하고, 터치를 유지한 채 손가락을 위쪽 방향으로 이동시키면, 제어부(140)는 사용자 단말(100)에서 재생되는 제 1 영상 컨텐츠의 음량을 높이도록 오디오 출력부(150)를 제어할 수 있다. 즉, 사용자가 하나의 손가락을 아래에서 위로 드래그하면 사용자 단말의 음량이 커지고, 사용자 단말(410)의 디스플레이부(110)에 음량의 크기를 나타내는 그래픽 오브젝트(415)가 표시될 수 있다. 제1 외부장치(420)에서는 제 1 영상 컨텐츠(422)가 계속해서 표시되나, 음량의 변화는 없다. 사용자가 하나의 손가락을 위에서 아래로 드래그하면 사용자 단말(410)의 음량이 작아질 수 있다.
도 4b를 참조하면, 사용자 단말(410)에 제 1 영상 컨텐츠(412)의 일부분 및 제 2 영상 컨텐츠(416)의 일부분이 디스플레이 되어 있다. 사용자 단말(410)에 제 1 영상 컨텐츠(412)가 디스플레이 되어 있는 상태에서 사용자의 싱글터치 제스처에 대응하여 제 1 영상 컨텐츠(412)가 제 2 영상 컨텐츠(416)로 전환되는 과정이 도시되어 있다. 구체적으로 한 손가락에 의한 좌우 드래그 제스처에 대응하여 제 1 영상 컨텐츠(412)가 제 2 영상 컨텐츠(416)로 전환되는 과정이 도시되어 있다. 제1 외부장치(420)에는 제 1 영상 컨텐츠(422)가 디스플레이 되어 있다.
사용자 단말(410)에서 제 1 영상 컨텐츠(412)가 디스플레이중인 상태에서 사용자가 한개의 손가락으로 디스플레이부(110)를 터치하고, 터치를 유지한 채 손가락을 좌우 방향으로 이동시키면, 제어부(140)는 사용자 단말을 다른 채널로 변경할 수 있다. 즉, 사용자의 플릭, 드래그 또는 스와이프 제스처에 따라 사용자 단말(410)은 디스플레이부(110)에 표시중인 제1 영상 컨텐츠(412)를 다른 채널의 제2 영상 컨텐츠(416)로 변경할 수 있다. 이 때 제1 외부장치(420)에서는 제 1 영상 컨텐츠(412)가 계속해서 표시되며 싱글터치 제스처에 따른 디스플레이부(230)의 변화는 일어나지 않는다.
도5a 내지 도5b는 본 발명의 일 실시 예에 따른 사용자 단말의 감지부(130)를 통해 멀티 터치 제스처가 감지된 경우, 사용자 단말(510) 및 제1 외부장치(520)의 디스플레이부에 디스플레이되는 것을 도시한 도면이다. 구체적으로는 사용자가 사용자 단말(510)의 디스플레이부(110)를 드래그함에 따라 이에 대응하여 제1 외부장치(520)의 음량이 점차적으로 커지고, 제1 외부장치(520)의 디스플레이부(230)에 음량의 크기를 나타내는 그래픽 오브젝트(524, 526)가 디스플레이되는 것을 도시한 도면이다.
도 5a 및 도 5b를 참조하면 사용자 단말(510)에 제 1 영상 컨텐츠(512)가 디스플레이 되어 있다. 제1 외부장치(520)에는 제 1 영상 컨텐츠(522)가 디스플레이 되어 있다. 사용자 단말(510)에 디스플레이 되어 있는 제 1 영상 컨텐츠(512)와 제1 외부장치(520)에 디스플레이 되어 있는 제 1 영상 컨텐츠(522)는 서로 동기화되어 재생될 수 있다. 즉, 사용자 단말(510)에 디스플레이 되어 있는 제 1 영상 컨텐츠(512)와 제1 외부장치(520)에 디스플레이 되어 있는 제 1 영상 컨텐츠(522)는 재생되는 위치가 동일하다. 예를 들면, 사용자 단말(510)이 제 1 영상 컨텐츠(512)의 A 지점을 재생중이면, 제1 외부장치(520)도 제 1 영상 컨텐츠(522)의 A 지점을 재생할 수 있다.
사용자 단말(510)에 제 1 영상 컨텐츠(512)가 디스플레이된 상태에서 감지부(130)를 통해 터치 제스처가 감지되면, 제어부(140)는 감지된 제스처가 싱글터치 인지 또는 멀티 터치 인지를 결정할 수 있다. 제어부(140)는 감지된 터치 제스처가 싱글터치 제스처이면 사용자 단말(510)을 제어하고, 멀티 터치 제스처이면 제1 외부장치(520)를 제어하기 위한 데이터를 전송하도록 통신부(120)를 제어할 수 있다. 제어부(140)는 감지부(130)를 통해 멀티 터치 제스처가 감지되는 경우에는 제1 외부장치(520)를 제어하기 위한 명령어 데이터를 제1 외부장치(520)로 전송하도록 통신부(120)를 제어할 수 있다. 제어부(140)는 멀티 터치 제스처가 상하 방향의 두 손가락 드래그 제스처이면 제1 외부장치(520)의 음량을 제어하는 데이터를 전송하도록 통신부(120)를 제어할 수 있다. 상하 방향의 두 손가락 드래그 제스처는 사용자가 디스플레이부(110)에 두 개의 손가락을 접촉하고 접촉을 유지한 채 손가락을 아래에서 위로 또는 위에서 아래로 이동시키는 것이다.
예를 들면 사용자 단말(510)의 디스플레이부(110)에 제 1 영상 컨텐츠(512)가 디스플레이된 상태에서 두 손가락에 의한 드래그 또는 스크롤 동작이 아래에서 위로 진행되면, 제어부(140)는 이에 대응하여 제1 외부장치(520)의 음량을 제어하기 위한 명령어 데이터를 제1 외부장치(520)로 전송하도록 통신부(120)를 제어할 수 있다. 제1 외부장치(520)는 상기 명령어 데이터를 수신하여 제1 외부장치(520)의 음량을 조절 할 수 있다. 즉, 사용자가 사용자 단말(510)의 디스플레이부(110)를 아래에서 위로 드래그하면 제1 외부장치(520)의 음량이 커지고, 사용자 단말(510)의 디스플레이부(110)를 위에서 아래로 드래그하면 제1 외부장치(520)의 음량이 작아질 수 있다. 드래그 동작은 사용자가 디스플레이부(110)에 손가락을 접촉하고 접촉을 유지한채 손가락을 이동시키는 동작일 수 있다. 스크롤 동작은 드래그 동작과 유사하다. 스크롤 동작은 사용자가 디스플레이부(110)에 손가락을 접촉하고 접촉을 유지한 채 손가락을 이동시키는 동작일 수 있다.
또한 사용자의 두 손가락에 의한 드래그 동작에 따라 제1 외부장치(520)의 디스플레이부(230)에는 음량의 크기를 나타내는 그래픽 오브젝트(524, 526)가 표시될 수 있다. 사용자의 두 손가락에 의한 드래그 길이에 따라 제1 외부장치(520)의 디스플레이부(230)에 나타나는 그래픽 오브젝트(524, 526)는 변경되어 표시될 수 있다. 예를 들면 사용자가 사용자 단말(510)의 디스플레이부(110)에 두 손가락을 터치하고 드래그함에 따라 제1 외부장치(520)의 디스플레이부(230)에는 그래픽 오브젝트(524)가 표시될 수 있다. 이 상태에서 사용자가 드래그 동작을 계속 진행하면 제1 외부장치(520)의 디스플레이부(230)에는 그래픽 오브젝트(526)가 표시될 수 있다.
도 5c 및 도 5d는 사용자 단말(510)에 제 1 영상 컨텐츠(512)가 디스플레이 되어 있는 상태에서 두 손가락에 의한 좌우 방향 제스처에 따라 제1 외부장치(520)의 채널이 변경되는 것을 도시한 도면이다.
도 5c를 참조하면 사용자 단말(510)에 제 1 영상 컨텐츠(512)가 디스플레이 되어 있다. 제1 외부장치(520)에는 제 1 영상 컨텐츠(522)가 디스플레이 되어 있다. 사용자 단말(510) 및 제1 외부장치(20)에 디스플레이 되어 있는 제 1 영상 컨텐츠(512, 522)는 서로 동기화되어 재생될 수 있다. 즉, 사용자 단말(510)에 디스플레이 되어 있는 제 1 영상 컨텐츠(512)와 제1 외부장치(520)에 디스플레이 되어 있는 제 1 영상 컨텐츠(522)는 재생되는 위치가 동일하다. 예를 들면, 사용자 단말(510)이 제 1 영상 컨텐츠(512)의 A 지점을 재생중이면, 제1 외부장치(520)도 제 1 영상 컨텐츠(522)의 A 지점을 재생할 수 있다.
사용자 단말(510)에 제 1 영상 컨텐츠(512)가 디스플레이 되어 있는 상태에서 감지부(130)를 통해 터치 제스처가 감지되면, 제어부(140)는 감지된 터치 제스처가 싱글터치 제스처인지 또는 멀티 터치 제스처인지를 결정할 수 있다. 제어부(140)는 감지된 터치 제스처가 싱글터치 제스처인 경우에는 사용자 단말(510)을 제어하고, 멀티 터치 제스처인 경우에는 제1 외부장치(520)를 제어하기 위한 데이터를 전송하도록 통신부(120)를 제어할 수 있다. 제어부(140)는 감지부(130)에서 멀티 터치 제스처가 감지되는 경우에는 제1 외부장치(520)를 제어하기 위한 명령어 데이터를 제1 외부장치(520)로 전송하도록 통신부(120)를 제어할 수 있다. 예를 들면 사용자 단말(510)의 디스플레이부(110)에 제 1 영상 컨텐츠(512)가 디스플레이된 상태에서 두 손가락에 의한 스와이프 또는 드래그 동작이 좌우 방향으로 진행되면 사용자 단말(510)은 이에 따라 제1 외부장치(520)의 채널을 변경하기 위한 명령어 데이터를 제1 외부장치(520)로 전송하도록 통신부(120)를 제어할 수 있다. 제1 외부장치(520)는 상기 명령어 데이터를 수신하여 제1 외부장치(520)의 채널을 변경할 수 있다. 사용자가 좌측 방향으로 사용자 단말(510)의 디스플레이부(110)를 스와이프하면 제1 외부장치(520)의 채널 번호가 높아지고, 우측 방향으로 스와이프하면 제1 외부장치(520)의 채널 번호가 낮아질 수 있다. 또는 사용자가 좌측 방향으로 스와이프하면 제1 외부장치(520)의 채널 번호가 낮아지고, 우측 방향으로 스와이프하면 제1 외부장치(520)의 채널 번호가 높아질 수 있다. 또한 사용자의 드래그 동작에 따라서 채널이 변경될 수 있다.
도 5d를 참조하면 사용자 단말(510)에 제 1 영상 컨텐츠(518)가 디스플레이 되어 있다. 제1 외부장치(520)에는 제 2 영상 컨텐츠(528)가 디스플레이 되어 있다. 사용자 단말(510)에 제 1 영상 컨텐츠(518)가 디스플레이된 상태에서 사용자의 두 손가락에 의한 스와이프 동작이 발생됨에 따라 제1 외부장치(520)는 채널이 변경되고 채널이 변경됨에 따라 디스플레이 중인 제 1 영상 컨텐츠(522)는 제 2 영상 컨텐츠(528)로 변경되어 디스플레이 될 수 있다. 또한 제1 외부장치(520)의 디스플레이부(230)에는 변경된 채널 번호(524)가 표시될 수 있다. 이 때 사용자 단말(510)에는 제 1 영상 컨텐츠(512)가 계속해서 표시될 수 있다.
도 6a 및 도 6b는 사용자 단말(610)에서 감지된 두 손가락에 의한 제스처 또는 세 손가락에 의한 제스처에 따라 제1 외부장치(620)가 다르게 제어되는 것을 도시한 도면이다. 도 6a를 참조하면 사용자 단말(610)에 제 1 영상 컨텐츠(612)가 디스플레이 되어 있다. 제1 외부장치(620)에는 제 1 영상 컨텐츠(622) 및 음량의 크기를 나타내는 그래픽 오브젝트(624)가 디스플레이 되어 있다. 사용자 단말(610)에 제 1 영상 컨텐츠(612)가 디스플레이 되어 있는 상태에서 감지부(130)를 통해 두 손가락(614)에 의한 드래그 제스처가 감지되면, 제어부(140)는 제1 외부장치(620)를 제어하기 위한 명령어 데이터를 제1 외부장치(620)로 전송하도록 통신부(120)를 제어할 수 있다. 드래그 동작이 계속됨에 따라 제어부(140)는 계속해서 제1 외부장치(620)를 제어할 수 있다. 또한 제어부(140)는 디스플레이부(110)에 접촉하고 있는 손가락의 개수에 따라 제1 외부장치(620)의 음량 또는 채널의 변화량을 조절하기 위한 명령어 데이터를 전송하도록 통신부(120)를 제어할 수 있다. 또한 제어부는 멀티 터치 제스처가 감지되면 멀티 터치 개수에 기초하여 제1 외부장치의 음량 또는 채널 변화량을 변경시키는 데이터를 전송하도록 통신부를 제어할 수 있다. 즉, 제어부(140)는 디스플레이부(110)에 접촉되어 있는 사용자 손가락의 개수에 기초하여 제1 외부장치(620)의 음량 또는 채널의 변화량을 변경하기 위한 명령어 데이터가 전송되도록 통신부(120)를 제어할 수 있다. 또한 제어부(140)는 멀터터치 제스처의 터치 포인트의 개수에 따라 제1 외부장치(620)의 음량 또는 채널의 변화량을 조절하기 위한 명령어 데이터가 전송되도록 통신부(120)를 제어할 수 있다.
또한 제어부(140)는 멀티 터치 제스처가 두 손가락 상하방향 드래그 제스처이면 제1 외부장치의 음량을 순차적으로 변경시키는 데이터를 전송하고, 멀티 터치 제스처가 세 손가락 상하방향 드래그 제스처이면 제1 외부장치의 음량을 비순차적으로 변경시키는 명령어 데이터가 전송되도록 통신부를 제어할 수 있다.
또한 제어부(140)는 멀티 터치 제스처가 두 손가락 상하방향 스와이프 제스처이면 제1 외부장치의 음량을 순차적으로 변경시키는 데이터를 전송하고, 멀티 터치 제스처가 세 손가락 상하방향 제스처이면 제1 외부장치의 음량을 비순차적으로 변경시키는 명령어 데이터가 전송되도록 통신부를 제어할 수 있다.
또한 제어부(140)는 멀티 터치 제스처가 두 손가락 상하방향 스크롤 제스처이면 제1 외부장치의 음량을 순차적으로 변경시키는 데이터를 전송하고, 멀티 터치 제스처가 세 손가락 상하방향 스크롤 제스처이면 제1 외부장치의 음량을 비순차적으로 변경시키는 명령어 데이터가 전송되도록 통신부를 제어할 수 있다.
또한 제어부(140)는 멀티 터치 제스처가 두 손가락 좌우방향 드래그 제스처이면 제1 외부장치의 채널을 순차적으로 변경시키는 데이터를 전송하고, 멀티 터치 제스처가 세 손가락 좌우방향 드래그 제스처이면 제1 외부장치의 채널을 비순차적으로 변경시키는 명령어 데이터가 전송되도록 통신부를 제어할 수 있다.
또한 제어부(140)는 멀티 터치 제스처가 두 손가락 좌우방향 스와이프 제스처이면 제1 외부장치의 채널을 순차적으로 변경시키는 데이터를 전송하고, 멀티 터치 제스처가 세 손가락 좌우방향 스와이프 제스처이면 제1 외부장치의 채널을 비순차적으로 변경시키는 명령어 데이터가 전송되도록 통신부를 제어할 수 있다.
또한 제어부(140)는 멀티 터치 제스처가 두 손가락 좌우방향 스크롤 제스처이면 제1 외부장치의 채널을 순차적으로 변경시키는 데이터를 전송하고, 멀티 터치 제스처가 세 손가락 좌우방향 스크롤 제스처이면 제1 외부장치의 채널을 비순차적으로 변경시키는 명령어 데이터가 전송되도록 통신부를 제어할 수 있다.
예를 들면 사용자가 두 손가락으로 사용자 단말(610)의 디스플레이부(110)를 위쪽 방향으로 드래그함에 따라 제어부(140)는 제1 외부장치(620)의 음량이 0, 1, 2, 3, 4, … 순으로 순차적으로 커지기 위한 명령어 데이터를 제1 외부 장치(620)로 전송하도록 통신부(120)를 제어할 수 있다. 사용자가 세 손가락으로 사용자 단말(610)의 디스플레이부(110)를 위쪽 방향으로 드래그함에 따라 제어부(140)는 제1 외부장치(620)의 음량이 1, 3, 5, 7, … 순으로 비순차적으로 1칸씩 건너띄면서 커지기 위한 명령어 데이터를 제1 외부장치(620)로 전송하도록 통신부(120)를 제어할 수 있다. 또한 사용자가 네 손가락 또는 다섯 손가락을 이용하여 드래그함에 따라 제어부(140)는 제1 외부 장치(620)의 음량의 변화량을 더 큰 간격으로 변경시키기 위한 명령어 데이터를 제1 외부장치(620)로 전송하도록 통신부(120)를 제어할 수 있다.
사용자가 두 손가락으로 사용자 단말(610)의 디스플레이부(110)를 우측 방향으로 스와이프함에 따라 제어부(140)는 제1 외부장치(620)의 채널이 0, 1, 2, 3, 4, … 순으로 순차적으로 커지기 위한 명령어 데이터를 제1 외부 장치(620)로 전송하도록 통신부(120)를 제어할 수 있다. 사용자가 세 손가락으로 사용자 단말(610)의 디스플레이부(110)를 우측 방향으로 스와이프함에 따라 제어부(140)는 제1 외부장치(620)의 채널이 1, 3, 5, 7, … 순으로 비순차적으로 1칸씩 건너띄면서 커지기 위한 명령어 데이터를 제1 외부장치(620)로 전송하도록 통신부(120)를 제어할 수 있다. 또한 사용자가 네 손가락 또는 다섯 손가락을 이용하여 좌우 방향으로 스와이프함에 따라 제어부(140)는 제1 외부 장치(620)의 채널의 변화량을 더 큰 간격으로 변경시키기 위한 명령어 데이터를 제1 외부장치(620)로 전송하도록 통신부(120)를 제어할 수 있다.
도 6b를 참조하면 사용자 단말(610)에 제 1 영상 컨텐츠(612)가 디스플레이된 상태에서 세 손가락(616)에 의한 드래그 동작이 디스플레이 되어 있다. 제1 외부장치(620)에는 제 1 영상 컨텐츠(622) 및 음량의 크기를 나타내는 그래픽 오브젝트(626)가 디스플레이 되어 있다. 사용자 단말(610)에서 감지된 세 손가락(616)에 의한 위쪽 방향의 드래그 제스처에 대응하여, 제1 외부장치(620)에서는 음량이 한 칸씩 건너 띄면서 커질 수 있다. 또한 제1 외부장치(620)의 디스플레이부(230)에 음량의 크기를 나타내는 그래픽 오브젝트(626)가 표시될 수 있다.
도 7a 및 도 7b는 본 발명의 또 다른 실시 예에 따른 사용자 단말(710)의 감지부(130)를 통해 감지된 멀티 터치 제스처에 따라 제1 외부장치(720)의 디스플레이부(230)에 디스플레이된 제 1 레이어가 디스플레이부(230)에서 삭제되는 것을 도시한 도면이다.
도 7a를 참조하면, 제1 외부장치(720)에 제 1 영상 컨텐츠(722) 및 제 1 레이어(724)가 디스플레이 되어 있다. 제 1 레이어(724)는 그래픽 오브젝트일 수 있다. 제1 레이어(724)는 제1 영상 컨텐츠(722)위에 중첩되어 표시될 수 있다. 제1 레이어(724)는 메뉴 화면, 제1 영상 컨텐츠(722)와 관련된 정보를 나타내는 화면 및 사용자에게 제1 외부장치(720)의 상태에 대한 정보를 제공하는 화면일 수 있다.
사용자 단말(710)에는 제1 영상 컨텐츠(712)가 디스플레이 되어 있다. 제1 영상 컨텐츠(712)와 제1 영상 컨텐츠(722)는 서로 동기화되어 재생될 수 있다. 제어부(140)는 감지부(130)를 통해 감지된 멀티 터치 제스처가 두 손가락 회전 제스처이면 제1 외부장치(720)에 디스플레이된 그래픽 오브젝트를 제거할 수 있다. 그래픽 오브젝트는 제1 레이어(724)일 수 있다. 두 손가락 회전 제스처는 하나의 손가락을 고정시키고, 다른 손가락을 이동시키는 동작일 수 있다. 예를 들면 사용자가 사용자 단말(710)의 디스플레이부(110) 상에 하나의 손가락(716)을 고정시키고, 다른 손가락(718)을 이동시키면, 제어부(140)는 사용자 터치를 감지하고, 제1 외부장치(720)의 디스플레이부 (230)상에 디스플레이된 제1 레이어(724)를 제거하기 위한 명령어 데이터를 전송하도록 통신부(120)를 제어할 수 있다. 제1 외부장치(720)는 명령어 데이터에 응답하여 디스플레이부(230) 상에 디스플레이된 제1 레이어(724)를 제거한다.
즉, 제어부(140)는 사용자 단말(710)에서 감지된 하나의 손가락에 의한 터치 및 다른 손가락에 의한 터치 이동 제스처에 대응하여 제1 외부장치(720)에 디스플레이된 제1 레이어(724)를 제거할 수 있다.
도 7b를 참조하면 사용자 단말(710)에 제 1 영상 컨텐츠(712)가 디스플레이 되어 있고, 하나의 손가락(716)은 위치가 고정되어 있으며, 다른 손가락(719)은 도 7a에 디스플레이된 위치 대비 왼쪽으로 이동되어 디스플레이 되어 있다. 제1 외부장치(720)에는 제 1 영상 컨텐츠(722)가 디스플레이 되어 있다. 사용자 단말(710)의 제어부(140)는 디스플레이부(110)에서 감지된 하나의 손가락에 의한 터치 및 다른 손가락에 의한 터치 이동(714)을 감지하고 이에 따라 제1 외부장치(720)에 디스플레이된 제 1 레이어(724)를 삭제하기 위한 명령어 데이터를 제1 외부장치(720)로 전송하도록 통신부(120)를 제어할 수 있다. 명령어 데이터에 응답하여 제 1 레이어(724)가 삭제되면서 제1 외부장치(720)의 디스플레이부(230)에는 제 1 영상 컨텐츠(722)가 나타날 수 있다.
도 8a 및 도 8b는 본 발명의 또 다른 실시 예에 따른 사용자 단말(810)의 감지부(130)를 통해 감지된 멀티 터치 제스처에 따라 제1 외부장치(820)를 제어하기 위한 가상 리모콘(816)이 사용자 단말(810)에 디스플레이된 것을 도시한 도면이다.
도 8a를 참조하면 사용자 단말(810)에 제1 영상 컨텐츠(812)가 디스플레이 되어 있다. 제1 외부장치(820)에는 제1 영상 컨텐츠(822)가 디스플레이 되어 있다.
도 8b를 참조하면 사용자 단말(810)에 제1 영상 컨텐츠(812) 및 가상 리모콘(816)이 디스플레이 되어 있다. 제1 외부장치(820)에는 제1 영상 컨텐츠(822)가 디스플레이 되어 있다. 사용자가 도 8a에서 사용자 단말(810)의 디스플레이부(110) 상에 두 손가락(814)을 터치한 채 일정시간 지속하면, 제어부(140)는 사용자 터치를 감지하고 가상 리모콘(816)을 디스플레이부(110)에 표시할 수 있다. 가상 리모콘(816)에는 제1 외부장치(820)를 제어하기 위한 버튼이 표시될 수 있다. 사용자가 가상 리모콘(816)에 포함되어 있는 버튼을 터치함에 따라 제어부(140)는 가상 리모콘의 버튼에 대응하는 명령어 데이터를 제1 외부장치(820)로 전송하도록 통신부(120)를 제어할 수 있다.
도9a 및 도9b는 본 발명의 또 다른 실시 예에 따른 사용자 단말(910)에서 감지된 멀티 터치 제스처에 따라 제1 외부장치(920)를 오프(Off)하는 것을 도시한 도면이다.
도 9a를 참조하면 사용자 단말(910)에 제1 영상 컨텐츠(912)가 디스플레이 되어 있다. 제1 외부장치(920)에는 제1 영상 컨텐츠(922)가 디스플레이 되어 있다. 제1 영상 컨텐츠(912)와 제1 영상 컨텐츠(922)는 서로 동기화되어 재생될 수 있다. 사용자 단말(910)의 감지부(130)를 통해 세 손가락(914)에 의한 사선 방향의 드래그 제스처가 감지되면, 제어부(140)는 세 개의 손가락(914)에 의한 터치 및 터치의 움직임을 감지하고 이에 대응하여 제1 외부장치(920)를 오프(Off)하는 명령어 데이터를 제1 외부장치(920)로 전송하도록 통신부(120)를 제어할 수 있다. 제1 외부장치(920)는 명령어 데이터를 수신하고, 이에 따라 전원을 오프 할 수 있다.
또한 제어부(140)는 사용자 단말(910)에서 세 손가락(914)에 의한 사선 방향의 스와이프 제스처가 감지되면 이에 대응하여 제1 외부장치(920)를 오프하는 명령어 데이터를 제1 외부장치(920)로 전송하도록 통신부(120)를 제어할 수 있다.
도 9b를 참조하면 제1 외부장치(920)의 화면이 오프되어 있다. 사용자 단말(910)에는 제1 영상 컨텐츠(912)가 계속해서 디스플레이 되어 있다. 사용자 단말(910)에서 감지된 세 손가락에 의한 사선 방향의 드래그 제스처에 대응하여 제어부(140)는 제1 외부장치(920)를 오프하기 위한 명령어 데이터를 제1 외부장치(920)로 전송하도록 통신부(120)를 제어할 수 있다. 제1 외부장치(920)는 명령어 데이터를 수신하고 제1 외부장치(920)를 오프 시킬 수 있다. 제1 외부장치(920)가 오프되는 경우, 제1 외부장치(920)의 전원이 오프 될 수 있다. 또한 제1 외부장치(920)가 오프되는 경우에도 일부 블록의 전원은 온 상태를 유지하며 사용자 단말(910)과 통신을 할 수 있다. 한편, 사용자의 세 손가락에 의한 사선 방향의 드래그 제스처에 대해 예를 들었지만 세 손가락에 의한 수직 방향 및 수평 방향의 드래그 제스처에 대해서도 동일한 동작을 수행하도록 할 수 있다. 또한 드래그 제스처에 제한되지 않고 스와이프 제스처 및 이와 유사한 제스처에 대해서도 동일한 동작을 수행하도록 할 수 있다. 한편 제1 외부장치(290)가 오프되어도 사용자 단말(910)은 계속해서 디스플레이부(110)에 제1 영상 컨텐츠(912)를 디스플레이할 수 있다.
도 10a 및 도 10b는 사용자 단말(1010)의 감지부(130)를 통해 감지된 두 손가락 또는 세 손가락에 의한 멀티 터치 제스처에 따라 제1 외부장치(1020) 또는 다른 제2 외부장치(1030)를 제어하는 것을 도시한 도면이다.
도 10a를 참조하면 사용자 단말(1010)에 제1 영상 컨텐츠(1012)가 디스플레이 되어 있다. 제1 외부장치(1020)에는 제1 영상 컨텐츠(1022) 및 음량의 크기를 나타내는 그래픽 오브젝트(1024)가 디스플레이 되어 있다.
도 10b를 참조하면 사용자 단말(1010)에 제 1 영상 컨텐츠(1012)가 디스플레이 되어 있다. 또한 도 10b에는 사용자 단말(1010)에 의해 제어될 수 있는 제2 외부장치(1030)가 도시되어 있다. 이때, 제2 외부장치(1030)는 조명 장치일 수 있다.
사용자가 손가락으로 사용자 단말(1010)의 디스플레이부(110)를 드래그하면 제어부(140)는 감지부(130)를 통해 드래그 동작을 감지하고 한 손가락에 의한 싱글터치 제스처인지 또는 두 손가락에 의한 멀티 터치 제스처인지 또는 세 손가락 이상에 의한 멀티 터치 제스처인지를 결정할 수 있다. 제어부(140)는 감지된 터치 제스처가 싱글터치 제스처로 결정되면 사용자 단말(100)을 제어할 수 있다. 제어부(140)는 감지된 터치 제스처가 두 손가락에 의한 멀티 터치 제스처로 결정되면 제1 외부장치(1020)를 제어할 수 있는 명령어 데이터를 제1 외부장치(1020)로 전송하도록 통신부(120)를 제어할 수 있다. 예를 들면 사용자가 두 손가락으로 사용자 단말(1010)의 디스플레이부(100)에서 위쪽 방향으로 드래그하면 , 제어부(140)는 제1 외부장치(1020)의 음량이 커지기 위한 명령어 데이터를 제1 외부장치(1020)로 전송하도록 통신부(120)를 제어할 수 있다. 또한 사용자가 두 손가락으로 사용자 단말(1010)의 디스플레이부(110)에서 아래쪽 방향으로 드래그하면 제어부(140)는 제1 외부장치(1020)의 음량이 감소시키기 위한 명령어 데이터를 제1 외부장치(1020)로 전송하도록 통신부(120)를 제어할 수 있다. 또한 제어부(140)는 사용자 단말(1010)의 감지부(130)에서 감지된 드래그 길이를 제1 외부장치(1020)의 음량의 크기를 조정하기 위해 사용할 수 있다. 드래그 길이는 손가락이 이동한 거리 일 수 있다.
한편, 사용자 단말(1010)에서 세 손가락에 의한 드래그 제스처가 감지되면 제어부(140)는 제2 외부장치(1030)를 제어하는 명령어 데이터를 제2 외부장치(1030)로 전송하도록 통신부(120)를 제어할 수 있다. 즉, 제어부(140)는 감지부(130)를 통해 사용자 단말(1010)의 디스플레이부(100)에서 세 손가락에 의한 드래그 제스처를 감지하고 이에 대응하여 제2외부장치(1030)를 제어하는 명령어 데이터를 제2 외부장치(1030)로 전송하도록 통신부(120)를 제어할 수 있다. 예를 들면 제2외부장치(1030)가 조명 장치인 경우, 제어부(140)는 감지부(130)를 통해 세 손가락에 의한 드래그 제스처를 감지하고 이에 대응하여 제1 외부장치(1030)인 조명장치의 밝기를 조절할 수 있는 명령어 데이터를 조명장치로 전송하도록 통신부(120)를 제어할 수 있다. 제2 외부장치(1030)인 조명장치는 사용자 단말(1010)에서 감지된 세 손가락에 의한 드래그 길이에 따라 조명의 밝기를 변경할 수 있다.
위의 예에서는 두 손가락 및 세 손가락을 이용한 멀티 터치 제스처를 예로 설명했지만 세 손가락 이상에 의한 멀티 터치 제스처에 대해서도 외부장치를 제어하는 것이 가능하다. 이 때 제어되어야 할 외부장치를 등록할 수 있는 설정 화면이 사용자 단말에 표시될 수 있다. 사용자는 설정 화면을 이용하여 제어하고자 하는 외부장치를 복수 개 등록할 수 있다.
구체적으로, 제어부(140)는 사용자 단말(1010)에서 감지된 싱글터치 제스처에 대응하여 사용자 단말(1010)을 제어하고, 사용자 단말(1010)에서 감지된 멀티 터치 제스처에 대응하여 복수의 외부장치 중 적어도 하나의 외부장치를 제어할 수 있다. 즉, 제어부(140)는 두 손가락에 의한 멀티 터치 제스처에 대응하여 제1 외부장치(1020)를 제어하고, 세 손가락에 의한 멀티 터치 제스처에 대응하여 제2 외부장치(1030)를 제어할 수 있다. 또한 제어부는 네 손가락에 의한 멀티 터치 제스처에 대응하여 제3 외부장치를 제어할 수 있다.
또한 제어부(140)는 사용자 단말(1010)의 디스플레이부(100) 상에서 터치되는 터치 포인트의 개수 및 이와 관련된 제스처에 따라 제어될 외부장치를 결정할 수 있다.
또한 제어부(140)는 동일한 제스처에 대해서는 사용자 단말(1010) 및 제1 외부장치(1020)에서 동일한 기능이 수행되도록 할 수 있다. 즉, 제어부(140)는 터치 포인트의 개수에 따라 사용자 단말(1010)을 제어할 지 또는 제1 외부장치(1020)를 제어할지를 결정할 수 있다. 제어부(140)는 한 개의 손가락에 의한 제스처일 경우에는 사용자 단말(1010)에서 제1 기능이 수행되도록 하고, 두 개의 손가락에 의한 제스처일 경우에는 제1 외부장치(1020)에서 제1 기능이 수행되도록 명령어 데이터를 전송하도록 통신부(120)를 제어할 수 있다.
예를 들면 제어부(140)는 사용자 단말(1010)의 디스플레이부(110)에서 한 개의 손가락에 의한 좌우 방향의 드래그 제스처를 감지하고 이에 대응하여 사용자 단말(1010)의 채널을 변경시킬 수 있다. 또한 제어부(140)는 감지부(130)를 통해 사용자 단말(1010)의 디스플레이부(110)에서 두 개의 손가락에 의한 좌우 방향의 드래그 제스처를 감지하고, 이에 대응하여 제1 외부장치(1020)의 채널을 변경시킬 수 있다.
도11은 사용자 단말에서 멀티 터치 제스처가 감지됨에 따라 진동 피드백이 발생되는 것을 나타낸 도면이다. 도11을 참조하면 사용자 단말(1110)에 제1 영상 컨텐츠(1112)가 디스플레이 되어 있다. 사용자 단말(1110)에서는 멀티 터치 제스처(1114)가 발생됨에 따라 이에 대응하여 진동 피드백이 발생될 수 있다. 제1 외부장치(1120)에는 제 1 영상 컨텐츠(1122) 및 음량의 크기를 나타내는 그래픽 오브젝트(1124)가 디스플레이 되어 있다. 제어부(140)는 감지부(130)를 통해 싱글터치 제스처가 감지되면 사용자 단말(1110)을 제어하고, 멀티 터치 제스처(1114)가 감지되면 상기 멀티 터치 제스처에 대응하는 명령어 데이터를 제1 외부장치(1120)로 전송하도록 통신부(120)를 제어하고, 멀티 터치 제스처(1114)에 대응하는 진동 피드백을 발생 시킬 수 있다. 또한 제어부(140)는 사용자 단말에서 감지된 멀티 터치 제스처에 대응하여 사용자 단말(1110)에 피드백을 제공하고, 제1 외부장치(1120)를 제어하기 위한 명령어 데이터를 제1 외부 장치(1120)로 전송하도록 통신부(120)를 제어할 수 있다. 피드백은 오디오, 비디오 및/또는 진동 피드백일 수 있다.
도 12는 제1 외부장치(200)의 내부 블록도를 도시한 도면이다. 도 12를 참조하여, 제1 외부장치(200)에 대해 더욱 상세히 설명하기로 한다. 제1 외부장치(200)는 디스플레이 장치일 수 있다. 또한 제1 외부장치(200)는 오디오 장치일 수 있다. 또한 제1 외부장치(200)는 조명 장치일 수 있다. 여기서는 디스플레이 장치를 예로 설명 한다. 도12에 도시된 바와 같이, 제1 외부장치(200)는 영상 수신부(210), 영상 처리부(220), 디스플레이부(230), 통신부(240), 저장부(250), 입력부(260) 및 제어부(270)를 포함한다.
영상 수신부(210)는 외부로부터 영상 스트림을 수신한다. 특히, 영상 수신부(210)는 외부의 방송국으로부터 방송 컨텐츠를 포함하는 영상 스트림을 수신할 수 있으며, 외부의 서버로부터 VOD 영상 컨텐츠를 포함하는 영상 스트림을 수신할 수 있다.
특히, 영상 수신부(210)는 복수의 방송 컨텐츠를 디스플레이하거나 외부의 사용자 단말(100)로 전송하기 위하여, 복수의 튜너를 포함할 수 있다. 이때, 영상 수신부(210)는 2개의 튜너를 포함할 수 있으나, 이는 일 실시 예에 불과할 뿐, 3개 이상의 튜너를 포함할 수 있다.
영상 처리부(220)는 영상 수신부(210)를 통해 수신된 영상 스트림을 처리할 수 있다. 구체적으로, 영상 처리부(220)는 영상 컨텐츠가 디스플레이되도록 영상 스트림을 처리할 수 있다.
디스플레이부(230)는 제어부(270)의 제어에 따라 적어도 하나의 영상 컨텐츠를 디스플레이한다.
통신부(240)는 외부의 다양한 기기와 통신을 수행한다. 특히, 통신부(240)는 외부의 사용자 단말(100)과 통신을 수행할 수 있다. 구체적으로, 통신부(240)는 사용자 단말(100)로 영상 컨텐츠를 전송할 수 있으며, 사용자 단말(100)로부터 제어 명령이 포함된 영상 컨텐츠에 대한 정보를 수신할 수 있다.
저장부(250)는 외부장치(200)를 구동하기 위한 다양한 데이터 및 프로그램이 저장된다. 특히, 저장부(250)는 사용자 단말(100)과 동기화하여 영상 컨텐츠를 디스플레이할 수 있도록 영상 컨텐츠를 일시저장하는 버퍼를 포함할 수 있다. 버퍼는 영상 스트림에 포함된 타임스탬프 정보를 이용하여 영상 컨텐츠를 영상 처리부(220) 또는 디스플레이부(230)로 출력할 수 있다.
입력부(260)는 외부장치(200)를 제어하기 위한 다양한 사용자 명령을 입력받는다. 이때, 입력부(260)는 리모컨으로 구현될 수 있으나, 이는 일 실시 예에 불과할 뿐, 포인팅 디바이스, 모션 입력 장치, 음성 입력 장치, 마우스, 키보드 등과 같은 다양한 입력장치로 구현될 수 있다.
제어부(270)는 외부장치(200)의 전반적인 동작을 제어할 수 있다. 구체적으로, 제어부(270)는 사용자 단말(100)로 제1 영상 컨텐츠를 전송하도록 통신부(240)를 제어할 수 있다.
또한, 제1 영상 컨텐츠를 디스플레이하는 동안 통신부(240)를 통해 사용자 단말(100)로부터 데이터를 수신하는 경우, 제어부(270)는 제1 영상 컨텐츠의 재생을 제어할 수 있다. 이때, 사용자 단말(100)로부터 음량을 변경하는 명령어 데이터를 수신하는 경우, 제어부(270)는 음량을 변경할 수 있다. 사용자 단말(100)로부터 채녈을 변경하는 명령어 데이터를 수신하는 경우, 제어부(270)는 채널을 변경할 수 있다.
도 13은 본 발명의 일 실시 예에 따른, 사용자 단말(100)의 제어 방법을 설명하기 위한 흐름도이다.
사용자 단말(100)은 제1 영상 컨텐츠를 디스플레이한다(S1302). 제1 영상 컨텐츠는 외부장치(200)로부터 수신되는 영상 컨텐츠일 수 있으나, 이는 일 실시 예에 불과할 뿐, 다른 영상 컨텐츠로 구현될 수 있다.
그리고, 사용자 단말(100)은 사용자 인터렉션을 판단한다(S1304). 사용자 인터렉션은 사용자 단말(100)의감지부(130)를 통해 감지될 수 있으며, 터치 제스처일 수 있다. 터치 제스처는 싱글터치, 싱글터치 스와이프, 싱글터치 드래그, 싱글터치 스크롤, 멀티 터치, 멀티 터치 스와이프, 멀티 터치 드래그 및 멀티 터치 스크롤을 포함할 수 있다.
사용자 단말(100)은 사용자 단말(100)에서 감지된 사용자 인터렉션, 즉 터치 제스처가 싱글터치 제스처 인지 또는 멀티 터치 제스처 인지를 판단한다(S1305). 사용자 단말(100)은 사용자 단말(100)에서 감지된 터치 제스처가 싱글터치 제스처이면 사용자 단말(100)에 디스플레이된 제 1 영상 컨텐츠를 제어하고(S1308), 사용자 단말(100)에서 감지된 제스처가 멀티 터치 제스처이면 외부장치(200)를 제어하기 위한 데이터를 전송한다.(S1310)
상술한 바와 같은 본 발명의 일 실시 예에 의해, 사용자는 제1 외부장치(200)가 디스플레이하는 영상 컨텐츠를 사용자 단말(100)을 통해 더욱 쉽게 확인할 수 있게 된다.
한편, 상술한 실시 예에서는 제1 외부장치(200)를 디스플레이 장치를 주된 예로 설명하였으나, 이는 일 실시 예에 불과할 뿐, 오디오 장치, 조명 장치와 같은 가정용 전자장치에 대해서도 사용자 설정에 따라 제어가 가능할 수 있다.
또한, 상술한 다양한 실시 예에 따른 외부장치의 제어 방법은 프로그램으로 구현되어 외부장치에 제공될 수 있다. 구체적으로, 외부장치의 제어 방법을 포함하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 디스플레이부 120: 통신부
130: 감지부 140: 제어부
150: 오디오 출력부 160: 저장부
170: 영상 처리부 180: 오디오 처리부

Claims (20)

  1. 디스플레이부를 포함하는 사용자 단말의 제어 방법에 있어서,
    상기 디스플레이부에 제1 영상 컨텐츠를 디스플레이하는 단계;
    감지부에서 터치 제스처를 감지하는 단계; 및
    상기 터치 제스처가 싱글터치 제스처이면 상기 사용자 단말을 제어하고, 상기 터치 제스처가 멀티 터치 제스처이면 제1 외부장치를 제어하기 위한 데이터를 상기 제1 외부장치로 전송하는 단계;를 포함하는 제어 방법.
  2. 제1 항에 있어서,
    상기 전송하는 단계는,
    상기 멀티 터치 제스처가 상하 방향의 두 손가락 드래그(drag) 제스처이면 상기 제1 외부장치의 음량을 제어하는 데이터를 전송하는 것을 특징으로 하는 제어 방법.
  3. 제1 항에 있어서,
    상기 전송하는 단계는,
    상기 멀티 터치 제스처가 좌우 방향의 두 손가락 스와이프(swipe) 제스처이면 상기 제1 외부장치의 채널을 변경하는 데이터를 전송하는 것을 특징으로 하는 제어 방법.
  4. 제1 항에 있어서,
    상기 전송하는 단계는,
    상기 멀티 터치 제스처가 세 손가락 스와이프 제스처이면, 상기 제1 외부장치를 오프(Off)하는 데이터를 전송하는 것을 특징으로 하는 제어 방법.
  5. 제1 항에 있어서,
    상기 전송하는 단계는,
    상기 멀티 터치 제스처가 두 손가락 회전 제스처이면 상기 제1 외부장치에 디스플레이된 그래픽 오브젝트를 제거하는 데이터를 전송하는 것을 특징으로 하는 제어 방법.
  6. 제1 항에 있어서,
    상기 제1 영상 컨텐츠는,
    상기 제1 외부장치로부터 수신되며, 상기 제1 외부장치에서 재생되는 제1 영상 컨텐츠와 동기화되어 재생되는 것을 특징으로 하는 제어 방법.
  7. 제1 항에 있어서,
    상기 제1 영상 컨텐츠는
    서버로부터 전송되며, 상기 제1 외부장치에서 재생되는 제1 영상 컨텐츠와 동기화되어 재생되는 것을 특징으로 하는 제어 방법.
  8. 제1항에 있어서,
    상기 전송하는 단계는,
    상기 싱글터치 제스처에 따라 상기 사용자 단말에서 수행되는 기능이 상기 멀티 터치 제스처에 따라 상기 제1 외부장치에서 동일하게 수행되도록 하는 데이터를 전송하는 것을 특징으로 하는 제어 방법.
  9. 제1 항에 있어서,
    상기 전송하는 단계는,
    상기 멀티 터치 제스처의 멀티 터치 개수에 기초하여 상기 제1 외부장치의 음량 또는 채널 변화량을 변경시키는 데이터를 전송하는 것을 특징으로 하는 제어 방법.
  10. 제 1 항에 있어서,
    상기 전송하는 단계는,
    상기 멀티 터치 제스처가 두 손가락 제스처이면 상기 제1 외부장치를 제어하는 데이터를 전송하고, 상기 멀티 터치 제스처가 세 손가락 제스처이면 제2 외부장치를 제어하는 데이터를 전송하는 것을 특징으로 하는 제어 방법
    제1 항에 있어서,
    상기 전송하는 단계는,
    상기 멀티 터치 포인트를 감지하고, 상기 멀티 터치 포인트의 개수에 기초하여 제1 외부장치 또는 제2 외부장치를 제어하는 데이터를 전송하는 것을 특징으로 하는 제어 방법.
  11. 제1 외부장치와 연동하여 동작하는 사용자 단말에 있어서,
    제1 영상 컨텐츠를 디스플레이하는 디스플레이부;
    상기 제1 외부장치와 통신을 수행하는 통신부;
    터치 제스처를 감지하는 감지부; 및
    상기 감지부를 통해 감지된 싱글터치 제스처에 기초하여 상기 사용자 단말을 제어하고, 상기 감지부를 통해 감지된 멀터터치 제스처에 기초하여 상기 제1 외부장치를 제어하는 데이터를 전송하도록 상기 통신부를 제어하는 제어부;를 포함하는 사용자 단말.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 멀티 터치 제스처가 상하 방향의 두 손가락 드래그 제스처이면 상기 제1 외부장치의 음량을 제어하는 데이터를 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 사용자 단말.
  13. 제11 항에 있어서,
    상기 제어부는,
    상기 멀티 터치 제스처가 좌우 방향의 두 손가락 스와이프 제스처이면 상기 제1 외부장치의 채널을 변경하는 데이터를 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 사용자 단말.
  14. 제11 항에 있어서,
    상기 제어부는,
    상기 멀티 터치 제스처가 세 손가락 스와이프 제스처이면,
    상기 제1 외부장치를 오프(Off)하는 데이터를 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 사용자 단말.
  15. 제11 항에 있어서,
    상기 제어부는,
    상기 멀티 터치 제스처가 두 손가락 회전 제스처이면 상기 제1 외부장치에 디스플레이된 그래픽 오브젝트를 제거하는 데이터를 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 사용자 단말.
  16. 제11 항에 있어서,
    상기 제1 영상 컨텐츠는,
    상기 제1 외부장치로부터 수신되며, 상기 제1 외부장치에서 재생되는 컨텐츠와 동기화되어 재생되는 것을 특징으로 하는 사용자 단말.
  17. 제11항에 있어서,
    상기 제1 영상 컨텐츠는
    서버로부터 전송되며, 상기 제1 외부장치에서 재생되는 제1 영상 컨텐츠와 동기화되어 재생되는 것을 특징으로 하는 사용자 단말.
  18. 제11항에 있어서,
    상기 제어부는,
    상기 싱글터치 제스처에 따라 상기 사용자 단말에서 수행되는 기능이 상기 멀티 터치 제스처에 따라 상기 제1 외부장치에서 동일하게 수행되도록 하는 데이터를 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 사용자 단말.
  19. 제11항에 있어서,
    상기 제어부는,
    상기 멀티 터치 제스처가 두 손가락 좌우방향 스와이프 제스처이면 상기 제1 외부장치의 채널을 순차적으로 변경시키는 데이터를 전송하고, 상기 멀티 터치 제스처가 세 손가락 좌우방향 스와이프 제스처이면 상기 제1 외부장치의 채널을 비순차적으로 변경시키는 데이터를 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 사용자 단말.
  20. 제11 항에 있어서,
    상기 제어부는,
    상기 멀티 터치 제스처가 두 손가락 제스처이면 상기 제1 외부장치를 제어하는 데이터를 전송하고, 상기 멀티 터치 제스처가 세 손가락 제스처이면 제2 외부장치를 제어하는 데이터를 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 사용자 단말.
KR1020140061743A 2014-05-22 2014-05-22 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템 KR20150134674A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140061743A KR20150134674A (ko) 2014-05-22 2014-05-22 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
US14/702,178 US20150339026A1 (en) 2014-05-22 2015-05-01 User terminal device, method for controlling user terminal device, and multimedia system thereof
EP15796274.7A EP3146413A4 (en) 2014-05-22 2015-05-20 User terminal device, method for controlling user terminal device, and multimedia system thereof
PCT/KR2015/005042 WO2015178677A1 (en) 2014-05-22 2015-05-20 User terminal device, method for controlling user terminal device, and multimedia system thereof
CN201510266638.4A CN105094663A (zh) 2014-05-22 2015-05-22 用户终端设备、用于控制用户终端设备的方法及其多媒体系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140061743A KR20150134674A (ko) 2014-05-22 2014-05-22 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템

Publications (1)

Publication Number Publication Date
KR20150134674A true KR20150134674A (ko) 2015-12-02

Family

ID=54554273

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140061743A KR20150134674A (ko) 2014-05-22 2014-05-22 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템

Country Status (5)

Country Link
US (1) US20150339026A1 (ko)
EP (1) EP3146413A4 (ko)
KR (1) KR20150134674A (ko)
CN (1) CN105094663A (ko)
WO (1) WO2015178677A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016117963A1 (de) 2015-09-23 2017-03-23 Lg Display Co., Ltd. Anzeigevorrichtung mit organischer Leuchtdiode und organische Leuchtdiode davon

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160154487A1 (en) * 2014-12-02 2016-06-02 Kabushiki Kaisha Toshiba Electronic apparatus, method and storage medium
CN105430468A (zh) * 2015-11-30 2016-03-23 北京奇艺世纪科技有限公司 一种电视机顶盒的遥控方法及装置
CN105635580A (zh) * 2016-01-04 2016-06-01 上海斐讯数据通信技术有限公司 一种图像获取方法及图像获取装置
JP2017126941A (ja) * 2016-01-15 2017-07-20 株式会社サイバーエージェント コンテンツ配信システム
CN106331808B (zh) * 2016-08-29 2019-11-29 天脉聚源(北京)传媒科技有限公司 一种更换电视台频道的方法和装置
US10805688B1 (en) * 2016-12-02 2020-10-13 Didja, Inc. Locally relayed broadcast and community service television
CN108616561B (zh) * 2017-01-03 2021-04-09 国基电子（上海）有限公司 数据传输方法及系统
US10477277B2 (en) * 2017-01-06 2019-11-12 Google Llc Electronic programming guide with expanding cells for video preview
CN114981753A (zh) * 2020-01-24 2022-08-30 华为技术有限公司 卷曲式设备的音量调节手势与防误触
CN111736750B (zh) * 2020-06-19 2022-08-19 联想(北京)有限公司 一种控制方法及电子设备
CN111541934B (zh) * 2020-07-08 2020-10-23 成都极米科技股份有限公司 投屏设备、方法、系统及计算机可读存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US20090128513A1 (en) * 2007-11-20 2009-05-21 Samsung Electronics Co., Ltd Device identification method and apparatus, device information provision method and apparatus, and computer-readable recording mediums having recorded thereon programs for executing the device identification method and the device information provision method
US9767681B2 (en) * 2007-12-12 2017-09-19 Apple Inc. Handheld electronic devices with remote control functionality and gesture recognition
US7870496B1 (en) * 2009-01-29 2011-01-11 Jahanzeb Ahmed Sherwani System using touchscreen user interface of a mobile device to remotely control a host computer
US20110261269A1 (en) * 2010-04-26 2011-10-27 Samsung Electronics Co., Ltd. Apparatus and method for a laptop trackpad using cell phone display
EP2614426A2 (en) * 2010-09-08 2013-07-17 Telefonaktiebolaget L M Ericsson (publ) Gesture-based control of iptv system
US20120056823A1 (en) * 2010-09-08 2012-03-08 Telefonaktiebolaget L M Ericsson (Publ) Gesture-Based Addressing of Devices
US20120062471A1 (en) * 2010-09-13 2012-03-15 Philip Poulidis Handheld device with gesture-based video interaction and methods for use therewith
AU2011265428B2 (en) * 2011-12-21 2014-08-14 Canon Kabushiki Kaisha Method, apparatus and system for selecting a user interface object
KR101913256B1 (ko) * 2012-01-06 2018-12-28 엘지전자 주식회사 서비스 처리 장치 및 서비스 처리 방법
TW201407431A (zh) * 2012-08-03 2014-02-16 Novatek Microelectronics Corp 可攜式裝置
DE112012006892T5 (de) * 2012-09-12 2015-06-11 Toyota Jidosha Kabushiki Kaisha Mobiles Endgerät, Fahrzeugvorrichtung und Fahrzeugsystem
CN103034447B (zh) * 2012-12-14 2016-02-03 深圳市夏瑞科技有限公司 一种模拟鼠标或触摸板控制远端设备的方法及移动终端
US10021180B2 (en) * 2013-06-04 2018-07-10 Kingston Digital, Inc. Universal environment extender
CN104349195A (zh) * 2013-07-26 2015-02-11 天津富纳源创科技有限公司 智能电视的多用途遥控器的控制方法及控制系统
KR101512239B1 (ko) * 2013-08-09 2015-04-17 한국과학기술원 터치 명령 및 특이 터치를 이용한 디바이스 간 컨텐츠 이동 시스템 및 방법
CN105940385B (zh) * 2013-11-07 2021-06-25 英特尔公司 从单个触摸屏控制主显示器和次级显示器
CN105940358B (zh) * 2013-12-26 2019-02-22 英特尔公司 远程多触摸控制

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016117963A1 (de) 2015-09-23 2017-03-23 Lg Display Co., Ltd. Anzeigevorrichtung mit organischer Leuchtdiode und organische Leuchtdiode davon

Also Published As

Publication number Publication date
EP3146413A1 (en) 2017-03-29
US20150339026A1 (en) 2015-11-26
WO2015178677A1 (en) 2015-11-26
EP3146413A4 (en) 2017-12-13
CN105094663A (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
KR20150134674A (ko) 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
US10521110B2 (en) Display device including button configured according to displayed windows and control method therefor
US20180299975A1 (en) User terminal device and method for controlling the user terminal device thereof
KR102203885B1 (ko) 사용자 단말 장치 및 그 제어 방법
US20170322713A1 (en) Display apparatus and method for controlling the same and computer-readable recording medium
KR102132390B1 (ko) 사용자 단말 장치 및 이의 디스플레이 방법
US10067666B2 (en) User terminal device and method for controlling the same
US20160004373A1 (en) Method for providing auxiliary information and touch control display apparatus using the same
KR102462364B1 (ko) 스크롤바를 이용한 이미지 디스플레이 방법 및 이를 위한 장치
EP2741193A2 (en) User terminal apparatus and method of controlling the same
KR102168648B1 (ko) 사용자 단말 장치 및 그 제어 방법
US10579248B2 (en) Method and device for displaying image by using scroll bar
KR20170076357A (ko) 사용자 단말 장치, 이의 스피커 장치의 음량을 조절하기 위한 모드 전환 방법 및 음향 시스템
US20150339018A1 (en) User terminal device and method for providing information thereof
KR102368044B1 (ko) 사용자 단말 장치 및 이의 제어 방법
KR20150040246A (ko) 멀티 윈도우 동작을 위한 제스처
KR20150124235A (ko) 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
KR20150031986A (ko) 디스플레이장치 및 그 제어방법
KR20170059242A (ko) 영상 표시 장치 및 그 동작방법
KR20150142347A (ko) 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
EP2998838A1 (en) Display apparatus and method for controlling the same
KR20170042953A (ko) 디스플레이 장치 및 이의 제어 방법
US20160132478A1 (en) Method of displaying memo and device therefor
JP2015141526A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6971573B2 (ja) 電子機器、その制御方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application