KR102350382B1 - 디스플레이장치 및 그 제어방법 - Google Patents

디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
KR102350382B1
KR102350382B1 KR1020150101117A KR20150101117A KR102350382B1 KR 102350382 B1 KR102350382 B1 KR 102350382B1 KR 1020150101117 A KR1020150101117 A KR 1020150101117A KR 20150101117 A KR20150101117 A KR 20150101117A KR 102350382 B1 KR102350382 B1 KR 102350382B1
Authority
KR
South Korea
Prior art keywords
input
user
gesture input
unit
display
Prior art date
Application number
KR1020150101117A
Other languages
English (en)
Other versions
KR20170009302A (ko
Inventor
강호웅
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020150101117A priority Critical patent/KR102350382B1/ko
Priority to US15/209,326 priority patent/US10386932B2/en
Publication of KR20170009302A publication Critical patent/KR20170009302A/ko
Application granted granted Critical
Publication of KR102350382B1 publication Critical patent/KR102350382B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards

Abstract

본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 디스플레이장치는, 영상을 표시하는 디스플레이부와; 사용자의 제스처 입력을 감지하도록 적어도 하나의 감지부가 마련된 입력장치와 통신을 수행하는 통신부와; 입력장치의 감지부를 통한 제스처 입력의 감지에 응답하여, 디스플레이장치에서 지원되는 복수의 기능에 대응하는 복수의 커맨드 중에서 감지된 제스처 입력에 대응하는 커맨드를 결정하고, 결정된 커맨드에 대응하는 동작을 수행하는 적어도 하나의 프로세서를 포함하며, 프로세서는, 디스플레이부에 표시된 컨텐츠, 제1 사용자 인터페이스 및 제스처 입력에 선행되는 사용자 입력 중 적어도 하나에 기초하여 제스처 입력에 대응하는 커맨드를 결정한다. 이에 의하여, 제스처 입력을 통한 사용자 친화적인 사용자 인터랙션이 가능하므로, 사용자 편의성을 향상시킬 수 있다.

Description

디스플레이장치 및 그 제어방법{DISPLAY APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 입력장치를 이용한 제스처 입력이 수신 가능한 디스플레이장치 및 그 제어방법에 관한 것이다.
디스플레이 시스템은 외부로부터 수신되거나 또는 자체적으로 생성하는 영상신호에 기초한 영상을 표시하는 시스템으로서, 영상이 표시되는 디스플레이 패널을 구비한 디스플레이장치를 중심으로 하여 각 기능별로 분류된 복수의 장치가 구비됨으로써 형성된다.
디스플레이 시스템은 구현하고자 하는 기능에 따라서 다양한 종류의 장치가 조합될 수 있다. 예를 들면, 디스플레이 시스템은 스마트 TV와 같은 디스플레이장치와, 디스플레이장치에 각종 커맨드를 전송하는 TV 리모컨과 같은 입력장치를 포함할 수 있다.
통상적으로, 입력장치에는 사용자 입력을 수신하기 위한 숫자키, 메뉴키, 방향키 등을 포함하는 각종 버튼이 마련된다. 또한, 입력장치에는 사용자의 터치입력을 감지하는 터치감지부, 입력장치의 움직임을 감지하는 모션감지부 등이 더 마련될 수 있다.
디스플레이장치는 화면상의 사용자 입력에 대응하는 위치에 포인팅 커서를 표시한다. 사용자는 입력장치에 마련된 방향키를 조작하거나, 터치감지부 또는 모션감지부를 이용하여 커서를 이동시키면서 메뉴 항목들을 내비게이션하여 원하는 항목을 활성화시키고, 활성화된 항목을 선택함으로써 사용자 커맨드가 입력된다.
이러한 메뉴 항목들을 내비게이션하는 방식에서는, 사용자가 원하는 커맨드를 입력하기까지 여러 단계를 거쳐야 하는 경우가 대부분이며, 사용자가 입력 상태를 직관적으로 파악하거나 입력 결과를 즉각적으로 피드백 받기가 어렵다.
또한, 최근 사용자와의 교감에 중점을 둔 휴먼 인터페이스 장치가 요구되는 시대의 흐름에 부합하여, 디스플레이 시스템에서도 장치와 사용자간의 자연스러운 커뮤니케이션 즉, 인터랙션에 대한 수요가 점차 증가하는 추세이다.
본 발명 일실시예에 따른 디스플레이장치는, 영상을 표시하는 디스플레이부와; 사용자의 제스처 입력을 감지하도록 적어도 하나의 감지부가 마련된 입력장치와 통신을 수행하는 통신부와; 입력장치의 감지부를 통한 제스처 입력의 감지에 응답하여, 디스플레이장치에서 지원되는 복수의 기능에 대응하는 복수의 커맨드 중에서 감지된 제스처 입력에 대응하는 커맨드를 결정하고, 결정된 커맨드에 대응하는 동작을 수행하는 적어도 하나의 프로세서를 포함하며, 프로세서는, 디스플레이부에 표시된 컨텐츠, 제1 사용자 인터페이스 및 제스처 입력에 선행되는 사용자 입력 중 적어도 하나에 기초하여 제스처 입력에 대응하는 커맨드를 결정할 수 있다. 이에 따라, 사용자의 제스처 입력에 대응하여 디스플레이장치에서 동작이 수행되므로, 디스플레이장치와 사용자 간의 인터랙션에 있어 편의성이 향상된다.
프로세서는, 결정된 커맨드에 대응하는 제2 사용자 인터페이스가 표시되도록 디스플레이부를 제어할 수 있다. 이에, 제스처 입력의 결과로서 사용자 인터페이스에 의한 피드백이 제공된다.
제1 사용자 인터페이스 및 제2 사용자 인터페이스 중 적어도 하나는 제스처 입력의 움직임 경로에 대응되는 드로잉 오브젝트를 포함할 수 있다. 이에, 사용자가 제스처 입력에 따른 결과를 즉각적으로 확인할 수 있는 장점이 있다.
드로잉 오브젝트는 디스플레이장치에서 지원되는 기능, 저장된 컨텐츠, 및 선택 가능한 채널 중 적어도 하나에 대한 내부검색과, 인터넷 또는 통신으로 연결 가능한 외부장치에 대한 외부검색 중 어느 하나를 위한 검색창을 포함할 수 있다. 이에, 사용자가 매뉴얼을 일일이 확인하는 복잡한 과정 없이, 필요한 정보를 쉽게 획득할 수 있다.
프로세서는, 드로잉 오브젝트의 모양, 색상 및 선행되는 사용자 입력 중 적어도 하나에 기초하여 내부검색과 외부검색 중 어느 하나를 수행할 수 있다. 이에, 검색 범위의 한정이 가능하므로, 장치의 부하를 줄이고 사용자가 원하는 정보만을 선택적으로 취득할 수 있다.
제스처 입력은 검색창에 입력되는 접두어를 포함하며, 프로세서는, 수신된 접두어에 대응되도록 내부검색 또는 외부검색을 수행하고, 검색 결과를 표시하도록 디스플레이부를 제어할 수 있다. 이에, 접두어를 이용하여 간편하게 원하는 정보를 쉽게 검색할 수 있다.
프로세서는, 검색결과에 대응하는 리스트를 표시하도록 디스플레이부를 제어할 수 있다. 이에, 사용자는 검색 결과를 즉시 확인할 수 있다.
프로세서는, 제스처 입력의 움직임 경로에 대응되는 드로잉 오브젝트를 표시하도록 디스플레이부를 제어할 수 있다. 이에, 제스처 입력의 결과가 화면상에 직관적으로 반영되도록 하여, 사용자와 입력장치 간의 교감을 통해 사용자의 친밀도가 향상된다.
드로잉 오브젝트는 도형, 문자, 숫자 및 방향성을 가지는 적어도 하나의 직선 또는 곡선 중 적어도 하나를 포함할 수 있다. 이에, 제스처 입력의 종류가 제한되지 않으므로, 다양한 방식의 사용자 입력이 가능하다.
입력장치에는 복수의 버튼이 더 마련되고, 선행되는 사용자 입력은 복수의 버튼 중 어느 하나에 대한 사용자의 선택을 포함하며, 프로세서는, 사용자에 의해 선택된 버튼을 식별하고, 식별된 버튼에 대응하는 드로잉 오브젝트가 표시되도록 디스플레이부를 제어할 수 있다. 이에, 한정된 입력 수단으로 다양한 커맨드의 입력이 가능하도록 한다.
제스처 입력에 대응하는 커맨드의 종류가 매칭된 테이블이 저장되는 저장부를 더 포함하며, 제스처 입력 별로 매칭되는 커맨드의 종류는 사용자에 의해 설정 가능하다. 이에, 사용자에게 다양한 이용 경험을 유도하여, 개인에게 최적화된 방식으로 사용자 입력을 활용할 수 있는 효과가 있다.
감지부는, 사용자의 터치입력을 감지하는 터치감지부와 입력장치의 움직임을 감지하는 모션감지부 중 적어도 하나를 포함할 수 있다. 이에, 제스처 입력이 가능한 적어도 하나의 수단이 구비된 장치로 원하는 입력이 가능하게 된다.
한편, 본 발명 실시예에 따른 디스플레이장치의 제어방법은, 사용자의 제스처 입력을 감지하는 적어도 하나의 감지부가 마련된 입력장치로부터 제스처 입력을 수신하는 단계와; 디스플레이장치에서 지원되는 복수의 기능에 대응하는 복수의 커맨드 중에서 감지된 제스처 입력에 대응하는 커맨드를 결정하는 단계와; 결정된 커맨드에 대응하는 동작을 수행하는 단계를 포함하며, 커맨드를 결정하는 단계는, 디스플레이부에 표시된 컨텐츠, 제1 사용자 인터페이스 및 제스처 입력에 선행되는 사용자 입력 중 적어도 하나에 기초하여 제스처 입력에 대응하는 커맨드를 결정할 수 있다. 이에 따라, 사용자의 제스처 입력에 대응하여 디스플레이장치에서 동작이 수행되므로, 디스플레이장치와 사용자 간의 인터랙션에 있어 편의성이 향상된다.
결정된 커맨드에 대응하는 제2 사용자 인터페이스를 표시하는 단계를 더 포함할 수 있다. 이에, 제스처 입력의 결과로서 사용자 인터페이스에 의한 피드백이 제공된다.
제1 사용자 인터페이스 및 제2 사용자 인터페이스 중 적어도 하나는 제스처 입력의 움직임 경로에 대응되는 드로잉 오브젝트를 포함할 수 있다. 이에, 사용자가 제스처 입력에 따른 결과를 즉각적으로 확인할 수 있는 장점이 있다.
드로잉 오브젝트는 디스플레이장치에서 지원되는 기능, 저장된 컨텐츠, 및 선택 가능한 채널 중 적어도 하나에 대한 내부검색과, 인터넷 또는 통신으로 연결 가능한 외부장치에 대한 외부검색 중 어느 하나를 위한 검색창을 포함할 수 있다. 이에, 사용자가 매뉴얼을 일일이 확인하는 복잡한 과정 없이, 필요한 정보를 쉽게 획득할 수 있다.
프로세서는, 드로잉 오브젝트의 모양, 색상 및 선행되는 사용자 입력 중 적어도 하나에 기초하여 내부검색과 외부검색 중 어느 하나를 수행할 수 있다. 이에, 검색 범위의 한정이 가능하므로, 장치의 부하를 줄이고 사용자가 원하는 정보만을 선택적으로 취득할 수 있다.
제스처 입력은 검색창에 입력되는 접두어를 포함하며, 프로세서는, 수신된 접두어에 대응되도록 내부검색 또는 외부검색을 수행하고, 검색 결과를 표시하도록 디스플레이부를 제어할 수 있다. 이에, 접두어를 이용하여 간편하게 원하는 정보를 쉽게 검색할 수 있다.
검색결과에 대응하는 리스트를 표시하는 단계를 더 포함할 수 있다. 이에, 사용자는 검색 결과를 즉시 확인할 수 있다.
제스처 입력의 움직임 경로에 대응되는 드로잉 오브젝트를 표시하는 단계를 더 포함할 수 있다. 이에, 제스처 입력의 결과가 화면상에 직관적으로 반영되도록 하여, 사용자와 입력장치 간의 교감을 통해 사용자의 친밀도가 향상된다.
드로잉 오브젝트는 도형, 문자, 숫자 및 방향성을 가지는 적어도 하나의 직선 또는 곡선 중 적어도 하나를 포함할 수 있다. 이에, 제스처 입력의 종류가 제한되지 않으므로, 다양한 방식의 사용자 입력이 가능하다.
입력장치에는 복수의 버튼이 더 마련되고, 선행되는 사용자 입력은 복수의 버튼 중 어느 하나에 대한 사용자의 선택을 포함하며, 드로잉 오브젝트를 표시하는 단계는, 사용자에 의해 선택된 버튼을 식별하고, 식별된 버튼에 대응하는 드로잉 오브젝트를 표시할 수 있다. 이에, 한정된 입력 수단으로 다양한 커맨드의 입력이 가능하도록 한다.
제스처 입력 별로 매칭되는 커맨드의 종류를 설정 또는 변경하는 단계를 더 포함할 수 있다. 이에, 사용자에게 다양한 이용 경험을 유도하여, 개인에게 최적화된 방식으로 사용자 입력을 활용할 수 있는 효과가 있다.
제스처 입력을 수신하는 단계는, 사용자의 터치입력을 감지하는 터치감지부와 입력장치의 움직임을 감지하는 모션감지부 중 적어도 하나에서 감지된 제스처 입력을 수신할 수 있다. 이에, 제스처 입력이 가능한 적어도 하나의 수단이 구비된 장치로 원하는 입력이 가능하게 된다.
도 1은 본 발명의 실시예에 따른 디스플레이 시스템의 예시도이며,
도 2는 본 발명의 실시예에 의한 디스플레이 시스템의 구성을 도시한 블록도이며,
도 3은 본 발명 일실시예에 따른 입력장치를 도시한 사시도이며,
도 4 내지 도 6은 도 3의 입력장치를 이용하여 사용자 입력이 수신되는 실시예를 도시한 도면이며,
도 7 내지 도 11은 제스처 입력에 대응하여 검색장을 생성 및 표시하는 실시예를 도시한 도면이며,
도 12 내지 도 17은 검색창에 접두어가 입력되는 실시예를 도시한 도면도이며,
도 18 내지 도 20은 드로잉 오브젝트의 모양에 기초하여 검색 대상이 구분되는 실시예를 도시한 도면이며,
도 21은 입력장치의 핫키를 이용하여 제스처 입력이 수신되는 실시예를 도시한 도면이며,
도 22 및 도 23은 본 발명 디스플레이장치에서 제스처 입력에 따라 검색을 수행하는 실시예를 도시한 도면이며,
도 24는 본 발명 실시예에 의한 디스플레이 시스템의 제어방법을 도시한 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여기에서 설명하는 실시예들에 한정되지 않으며, 여러 가지 상이한 형태로 구현될 수 있다. 본 발명을 명확하게 설명하기 위해서 본 발명의 구성과 직접적으로 관련되지 않은 부분은 설명을 생략할 수 있으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 부여하기로 한다. 또한, 실시예에서 “포함하다” 또는 “가지다”와 같은 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소 또는 이들의 조합이 존재함을 지정하기 위한 것이며, 하나 이상의 다른 특징, 숫자, 단계, 동작, 구성요소 또는 이들의 조합이 존재하거나 부가되는 가능성을 배제하는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 디스플레이 시스템(1)의 예시도이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 디스플레이 시스템(1)은 영상신호를 기 설정된 프로세스에 따라서 처리하여 영상으로 표시하는 디스플레이장치(100)와, 디스플레이장치(100)를 원격으로 제어 가능하게 기 설정된 커맨드(command)/데이터/정보/신호를 생성하여 디스플레이장치(100)에 전송하는 입력장치(200)를 포함한다.
본 실시예는, 디스플레이장치(100)가 방송국의 송출장비로부터 수신되는 방송신호/방송정보/방송데이터에 기초한 방송 영상을 표시하는 텔레비전(TV)으로, 입력장치(200)가 리모컨(remote control)으로 각각 구현된 디스플레이 시스템(1)에 관한 것이다. 그러나, 디스플레이장치(100)는 표시 가능한 영상의 종류가 방송 영상에 한정되지 않는 바, 예를 들면 디스플레이장치(100)는 다양한 형식의 영상공급원(도시되지 아니함)으로부터 수신되는 신호/데이터에 기초한 동영상, 정지영상, 어플리케이션(application), OSD(on-screen display), 다양한 동작 제어를 위한 사용자 인터페이스(UI: user interface, 이하, GUI(graphic user interface) 라고도 함) 등의 영상을 표시할 수 있다.
본 실시예에서 디스플레이장치(100)는 지상파, 케이블, 통신 위성 등으로부터 수신되는 방송신호/방송정보/방송데이터에 기초한 방송신호를 처리하는 방송수신장치로 구현될 수 있다.
그러나, 디스플레이장치(100)에서 처리되는 영상신호의 종류가 방송신호에 한정되지 않는 바, 디스플레이장치(100)는 다양한 형식의 외부장치 예를 들어, 스마트폰(smart phone), 태블릿(tablet)과 같은 스마트패드(smart pad), MP3 플레이어를 포함하는 모바일 장치(mobile device), 테스크탑(desktop) 또는 랩탑(laptop)을 포함하는 컴퓨터(PC) 등으로부터 수신될 수 있다. 또한, 디스플레이장치(100)는 내부/외부의 저장매체에 저장된 신호/데이터에 기초한 동영상, 정지영상, 어플리케이션(application), OSD(on-screen display), 다양한 동작 제어를 위한 사용자 인터페이스(UI: user interface, 이하, GUI(graphic user interface) 라고도 함) 등을 표시하도록 신호를 처리할 수 있다.
한편, 본 발명에서의 신호공급원은 방송국에 한정되지 않는다. 즉, 정보의 송수신이 가능한 장치 또는 스테이션이라면 본 발명의 신호공급원에 포함될 수 있다.
본 발명의 실시예에 따르면, 디스플레이장치(100)는 스마트 TV 또는 IP TV(Internet Protocol TV)로 구현될 수 있다. 스마트 TV는 실시간으로 방송신호를 수신하여 표시할 수 있고, 웹 브라우징 기능을 가지고 있어 실시간 방송신호의 표시와 동시에 인터넷을 통하여 다양한 컨텐츠 검색 및 소비가 가능하고 이를 위하여 편리한 사용자 환경을 제공할 수 있는 TV이다. 또한, 스마트 TV는 개방형 소프트웨어 플랫폼을 포함하고 있어 사용자에게 양방향 서비스를 제공할 수 있다. 따라서, 스마트 TV는 개방형 소프트웨어 플랫폼을 통하여 다양한 컨텐츠, 예를 들어 소정의 서비스를 제공하는 어플리케이션을 사용자에게 제공할 수 있다. 이러한 어플리케이션은 다양한 종류의 서비스를 제공할 수 있는 응용 프로그램으로서, 예를 들어 SNS, 금융, 뉴스, 날씨, 지도, 음악, 영화, 게임, 전자 책 등의 서비스를 제공하는 어플리케이션을 포함한다.
본 발명의 사상은 본 실시예와 상이한 디스플레이 시스템(1), 예를 들면 디스플레이장치(100)가 컴퓨터 본체에 접속된 모니터이며, 입력장치(200)가 해당 컴퓨터 본체와 통신하는 마우스, 리모컨 등의 주변기기인 경우에도 적용될 수 있다.
아울러, 본 발명의 디스플레이장치(100)는 대형 디스플레이에 적용될 수 있다. 예를 들어, 복수의 디스플레이장치를 이용하는 비디오 월(video wall), 디지털 간판(Digital Signage), LFD(Large Format Display)에도 본 실시예에 따른 디스플레이장치(100)가 포함될 수 있다.
입력장치(200)는 디스플레이장치(100)와 무선통신이 가능한 외부장치이며, 무선통신은 블루투스(Bluetooth), RF(radio frequency), 지그비(Zigbee), 적외선 통신 등을 포함한다. 입력장치(200)는 사용자에 의해 조작됨으로써 기 설정된 커맨드를 디스플레이장치(100)에 전송한다.
본 실시예에 따른 입력장치(200)에는 사용자의 제스처 입력을 감지할 수 있는 적어도 하나의 감지부가 마련된다. 구체적으로, 입력장치(200)는 사용자의 터치입력을 수신하는 터치감지부(210)와, 사용자에 의한 자체 모션을 감지하는 모션감지부(220) 중 적어도 하나가 포함한다. 입력장치(200)는 터치감지부(210) 또는 모션감지부(220)에 의해 사용자의 제스처 입력을 감지할 수 있다.
터치감지부(210)는 터치센서 즉, 터치패드를 포함하며, 모션감지부(220)는 적어도 하나의 위치센서 즉, 자이로센서, 각속도센서, 지자기센서 등을 포함한다. 디스플레이장치(100)는 입력장치(200)로부터 수신되는 터치정보 또는 모션정보에 응답하여 디스플레이부(130)에 표시된 영상이 제어될 수 있다.
후술하는 도 2에서는 입력장치(200)가 터치감지부(210)와 모션감지부(220)를 모두 포함하는 경우를 예로 들어 도시한다. 그러나, 본 발명은 이에 한정되는 것이 아니며, 입력장치(200)에서 사용자의 터치 또는 입력장치(200)의 움직임에 따른 제스처 입력을 감지 가능한 경우는 모두 본 발명에 포함된다. 예를 들어, 입력장치(200)에는 터치감지부(210)와 모션감지부(220) 중 어느 하나가 구비될 수 있으며, 그 외 사용자의 제스처 입력이 감지 가능한 다른 구성이 입력장치(200)에 마련될 수도 있을 것이다.
본 발명 실시예에 따른 입력장치(200)에는 터치감지부(210) 또는 모션감지부(220) 외에, 숫자키, 메뉴키, 채널/음량 조절을 위한 방향키 등의 복수의 버튼을 포함하는 버튼입력부(230)가 더 마련될 수 있다.
한편, 본 실시예의 디스플레이장치(100)는 입력장치(200) 외에 사용자의 핸드제스처, 음성입력 등에 의해서도 사용자로부터 제어 커맨드를 수신할 수 있다. 이를 위해, 디스플레이장치(100) 본체에는 핸드 제스처를 감지하기 위한 센서 즉, 카메라가 설치될 수 있으며, 음성입력이 수신되는 음성 입력부(또는 음성 취득부) 예를 들어, 마이크로폰이 디스플레이장치(100) 본체 또는 주변장치(예를 들어, 입력장치(200))에 마련될 수 있다.
즉, 이하 설명할 실시예는 시스템의 구현 방식에 따라서 다양하게 변경 적용되는 하나의 예시에 불과할 뿐인 바, 본 발명의 사상을 한정하는 사항이 아님을 밝힌다.
이하, 본 실시예에 따른 디스플레이장치(100) 및 입력장치(200)의 구성에 관해 도 2를 참조하여 자세히 설명한다.
도 2는 본 발명의 일실시예에 의한 디스플레이 시스템(1)의 구성을 도시한 블록도이다.
도 2에 도시된 바와 같이, 디스플레이장치(100)는 영상신호를 수신하는 영상수신부(110)와, 영상수신부(110)에 수신되는 영상신호를 처리하는 영상처리부(120)와, 영상처리부(120)에 의해 처리되는 영상신호를 영상으로 표시하는 디스플레이부(130)와, 외부와 통신하는 제1통신부(140)와, 데이터가 저장되는 제1저장부(150)와, 디스플레이장치(100)를 제어하는 제1제어부(160)를 포함한다.
본 발명의 실시예에서, 디스플레이장치(100)는 셋탑박스(set-top box, STB)와 같은 영상처리장치를 포함할 수 있다. 예를 들어, 셋탑박스가 케이블 등을 통해 영상공급원으로부터 방송신호를 수신 및 처리하고, 연결된 디스플레이장치에서 표시되도록 출력하는 경우도 본 발명에 포함되며, 이 경우 셋탑박스 내에 영상수신부와 영상처리부가 마련될 수 있다. 또한, 셋탑박스는 입력장치(200)로부터 사용자의 커맨드를 수신하고, 그에 대응하는 영상, 사용자 인터페이스 등이 연결된 디스플레이장치에 표시되도록 제어할 수 있다.
한편, 입력장치(200)는 사용자의 터치입력을 수신하는 터치감지부(210)와, 입력장치(200)의 모션을 감지하는 모션감지부(220)와, 사용자 조작이 가능한 각종 메뉴키, 숫자키, 방향키 등으로 구성된 버튼입력부(230)와, 외부와 통신하는 제2통신부(240)와, 데이터가 저장되는 제2저장부(240)와, 터치감지부(210), 모션감지부(220) 및 버튼입력부(230) 중 적어도 하나를 이용한 사용자 입력에 대응하는 커맨드를 디스플레이장치(100)에 전송하도록 제2통신부(240)를 제어하는 제2제어부(260)를 포함한다.
이하, 디스플레이장치(100)의 구체적인 구성에 관해 설명한다.
영상수신부(110)는 영상신호를 수신하여 영상처리부(120)에 전달하며, 수신하는 영상신호의 규격 및 디스플레이장치(100)의 구현 형태에 대응하여 다양한 방식으로 구현될 수 있다. 예를 들면, 영상수신부(110)는 방송국(도시되지 아니함)으로부터 송출되는 RF(radio frequency)신호를 무선으로 수신하거나, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART, HDMI(high definition multimedia interface) 규격 등에 의한 영상신호를 유선으로 수신할 수 있다. 영상수신부(110)는 영상신호가 방송신호인 경우, 이 방송신호를 채널 별로 튜닝하는 튜너(tuner)를 포함한다.
또한, 영상신호는 외부기기로부터 입력될 수 있으며, 예를 들어, 영상신호는 PC, AV기기, 스마트폰, 스마트패드 등과 같은 외부기기로부터 입력될 수 있다. 또한, 영상신호는 인터넷 등과 같은 네트워크를 통해 수신되는 데이터로부터 기인한 것일 수 있다. 이 경우, 디스플레이장치(100)는, 제1통신부(140)를 통해 네트워크 통신을 수행하거나, 별도의 유선 또는 무선 네트워크 통신부를 더 포함할 수 있다. 또한, 영상신호는 플래시메모리, 하드디스크 등과 같은 비휘발성의 제1저장부(150)에 저장된 데이터로부터 기인한 것일 수 있다. 제1저장부(150)는 디스플레이장치(100)의 내부 또는 외부에 마련될 수 있으며, 외부에 마련되는 경우 제1저장부(150)가 연결되는 연결부(도시되지 아니함)를 더 포함할 수 있다.
영상처리부(120)는 영상신호에 대해 기 설정된 다양한 영상처리 프로세스를 수행한다. 영상처리부(120)는 이러한 프로세스를 수행한 영상신호를 디스플레이부(130)에 출력함으로써, 디스플레이부(130)에 영상이 표시되게 한다.
영상처리부(120)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 다양한 영상 포맷에 대응하는 디코딩(decoding), 디인터레이싱(de-interlacing), 프레임 리프레시 레이트(frame refresh rate) 변환, 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 라인 스캐닝(line scanning) 등을 포함할 수 있다. 영상처리부(120)는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적 구성의 그룹으로 구현되거나, 또는 여러 기능을 통합시킨 SoC(System-on-Chip)로 구현될 수 있다.
디스플레이부(130)는 영상처리부(120)에 의해 처리되는 영상신호에 기초하여 영상을 표시한다. 디스플레이부(130)의 구현 방식은 한정되지 않으며, 예컨대 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
디스플레이부(130)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이부(130)가 액정 방식인 경우, 디스플레이부(130)는 액정 디스플레이 패널(도시되지 아니함)과, 이에 광을 공급하는 백라이트유닛(도시되지 아니함)과, 패널(도시되지 아니함)을 구동시키는 패널구동기판(도시되지 아니함)을 포함한다.
디스플레이부(130)에는 디스플레이장치(100)의 메뉴 항목을 포함하는 다양한 사용자 인터페이스(UI)와, 사용자의 입력 위치를 나타내는 포인팅 커서 즉, 포인터가 표시된다.
본 실시예에서 사용자 인터페이스는 입력장치(200)의 터치감지부(210) 또는 모션감지부(220)를 통해 감지되는 사용자의 제스처 입력에 응답하여 표시되는 것으로, 제스처 입력의 움직임 경로(이하, 궤적 또는 자취 라고도 한다)에 대응되게 표시되는 드로잉 오브젝트를 포함한다.
여기서, 제스처 입력은 터치감지부(210) 또는 모션감지부(220)를 이용하여 디스플레이부(130)에 표시된 포인터를 이동 즉, 움직이는 방식으로 입력되며, 드로잉 오브젝트는 도형, 문자, 숫자 및 방향성을 가지는 적어도 하나의 직선 또는 곡선 등의 다양한 형태를 가질 수 있다. 또한, 드로잉 오브젝트는 다양한 색상으로 표시 가능하며, 드로잉 오브젝트의 색상은 입력장치(200)에 마련된 버튼입력부(230)에 대한 사용자의 선택에 따라 결정될 수 있다.
예를 들어, 사용자는 포인터를 이용하여 디스플레이부(130)에 도형, 문자, 숫자 등을 그리는 즉, 드로잉(drawing)하는 방식으로 제스처 입력을 할 수 있다. 사용자는 드로잉 경로를 따라 표시되는 드로잉 오브젝트 즉, 사용자 인터페이스를 보면서 용이하게 제스처 입력을 할 수 있다. 즉, 본 실시예에서 제스처 입력은 사용자와 디스플레이장치(100)에 표시된 사용자 인터페이스 간의 교감 즉, 인터랙션(interaction)을 제공한다.
한편, 본 발명 실시예에 따른 디스플레이장치(100)에서 수신되는 제스처 입력은 핸드 제스처를 포함한다. 예를 들어, 사용자는 손가락 등을 이용하여 디스플레이부(130)에 표시된 포인터를 움직이는 방식으로 사용자 입력을 할 수 있으며, 디스플레이부(130)에는 핸드 제스처에 따른 포인터의 움직임 경로에 대응하는 드로잉 오브젝트가 표시될 수 있다. 여기서, 사용자가 복수의 손가락을 이용하여 동시에 2개 이상의 직선 또는 곡선을 디스플레이부(130)에 드로잉하는 경우도 본 발명의 제스처 입력에 포함된다.
또한, 본 발명 실시예의 디스플레이부(130)는 터치스크린(touch-screen)으로 구현될 수 있으며, 이 경우 디스플레이장치(100)에서 수신되는 제스처 입력은 터치스크린에 대한 터치 입력을 포함한다.
터치스크린은 싱글터치 또는 멀티터치를 입력받을 수 있다. 터치 스크린은 예를 들어, 저항막(resistive) 방식, 정전 용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다. 본 실시예에서, 디스플레이부(130)는 사용자의 신체(예를 들어, 손가락) 또는 터치 입력이 가능한 장치 예를 들어, 포인팅 디바이스, 스타일러스, 햅틱 펜(haptic pen) 등을 이용하여 터치스크린 상에 제스처 입력이 가능하게 구현될 수 있다.
디스플레이부(130)는 상기와 같은 제스처 입력에 응답하여 다양한 컨텐츠를 표시하며, 이와 관련하여서는 후술하는 사용자 인터페이스와 관련하여 보다 상세하게 설명하기로 한다.
제1통신부(140)는 입력장치(200)로부터 수신되는 커맨드/데이터/정보/신호를 영상처리부(120)에 전달한다. 또한, 제1통신부(140)는 제1제어부(160)로부터 전달받은 커맨드/데이터/정보/신호를 입력장치(200)에 전송할 수도 있다.
본 실시예의 제1통신부(140)는 입력장치(100)로부터 사용자의 커맨드를 수신할 수 있다.
구체적으로, 제1통신부(140)는 터치감지부(210)에 대한 터치입력에 대응하여 좌표값 예를 들어, X좌표와 Y좌표 중 적어도 하나의 값의 변경에 대응하는 커맨드를 수신할 수 있으며, 모션감지부(220)에 의해 감지된 위치 변경에 대응하는 커맨드를 수신할 수 있다. 또한, 버튼입력부(230)에 대한 사용자의 선택에 응답하여 선택된 버튼에 대응하는 커맨드를 수신할 수 있다.
제1통신부(140)는 디스플레이장치(100) 및 입력장치(200) 간의 통신방식으로 무선통신을 사용할 수 있다. 무선통신은 블루투스, RF(radio frequency), 지그비(Zigbee), 적외선 통신 등을 포함한다.
제1통신부(140)는 본 실시예에 따르면 디스플레이장치(100)에 내장되나, 동글(dongle) 또는 모듈(module) 형태로 구현되어 디스플레이장치(100)의 커넥터(도시되지 아니함)에 착탈될 수도 있다.
제1저장부(150)는 제1제어부(160)의 제어에 따라서 한정되지 않은 데이터가 저장된다. 제1저장부(150)는 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive)와 같은 비휘발성 저장매체로 구현된다. 제1저장부(150)는 제1제어부(160)에 의해 액세스되며, 제1제어부(160)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행된다.
제1저장부(150)에 저장되는 데이터는, 예를 들면 디스플레이장치(100)의 구동을 위한 운영체제를 비롯하여, 이 운영체제 상에서 실행 가능한 다양한 어플리케이션, 영상데이터, 부가데이터 등을 포함한다.
본 실시예의 제1저장부(150)에는 사용자 입력에 대응하는 커맨드의 종류가 매칭된 테이블이 더 저장될 수 있다. 구체적으로, 테이블에는 제스처 입력에 의해 그려지는 드로잉 오브젝트에 대응하는 커맨드가 매칭되어 저장되며, 예를 들어 사각형은 검색창, 문자 C는 채널 선택 등으로 매칭될 수 있다. 또한, 버튼입력부(230)의 특정 버튼, 예를 들어 파란색 버튼을 선택하면 이후의 제스처 입력에 따라 디스플레이부(130)에 파란색으로 드로잉 오브젝트가 표시되도록 매칭될 수도 있다. 사용자 입력 별로 매칭되는 커맨드의 종류는 사용자에 의해 설정 및/또는 변경 가능하다.
제1제어부(160)는 디스플레이장치(100)의 다양한 구성에 대한 제어동작을 수행한다. 예를 들면, 제1제어부(160)는 영상처리부(120)가 처리하는 영상처리 프로세스의 진행, 입력장치(110)로부터의 커맨드에 대한 대응 제어동작을 수행함으로써, 디스플레이장치(100)의 전체 동작을 제어한다.
제1제어부(160)는 적어도 하나의 프로세서를 포함한다. 적어도 하나의 프로세서는 프로그램이 저장된 비휘발성 메모리(ROM)로부터 휘발성 메모리(RAM)으로 대응되는 프로그램을 로드하여 실행한다.
본 실시예에 따른 제1제어부(160)는 CPU(Central Processing Unit), AP(Application Processor), 마이컴(Micro Computer, MICOM)과 같은 적어도 하나의 범용 프로세서로 구현되어, 예를 들어, ROM에 저장된 소정 알고리즘에 따라 대응하는 프로그램을 RAM에 로드하여 실행함으로써 디스플레이장치(100)의 다양한 동작들을 수행하도록 구현 가능하다.
디스플레이장치(100)의 제1제어부(160)가 단일 프로세서 예를 들어 CPU로 구현되는 경우, CPU는 디스플레이장치(100)에서 수행 가능한 다양한 기능들 예를 들어, 디스플레이부에 표시되는 영상에 대한 디코딩, 디모듈레이팅, 스케일링 등의 다양한 영상처리 프로세스의 진행에 대한 제어, 리모컨을 포함하는 입력장치(200)로부터 수신된 커맨드에 대한 대응, 외부장치와의 유무선 네트워크 통신의 제어, 음성인식, 카메라와 마이크를 이용한 화상통화 등을 실행 가능하도록 마련될 수 있다.
제1제어부(160)는 디스플레이장치(100)에서 지원되는 특정 기능, 예를 들어, 입력장치(200)를 포함하여 사용자로부터 수신되는 커맨드에 대응하는 기능을 수행하기 위한 프로그램과 해당 프로그램을 실행하는 전용 프로세서로서 마련되는 칩(chip) 예를 들어, IC(integrated circuit) 칩을 포함할 수 있다.
본 실시예의 제1제어부(160)는 사용자의 제스처 입력이 수신되면, 그 경로에 대응하는 드로잉 오브젝트(drawing object)를 표시하도록 디스플레이부(130)를 제어한다. 여기서, 제스처 입력은 입력장치(200)에 마련된 터치감지부(210) 및/또는 모션감지부(220)를 통해 감지될 수 있다. 또한, 제스처 입력은 디스플레이장치(100) 본체의 터치스크린, 핸드 제스처를 감지하는 이미지 센서 등을 통해 감지될 수 있다.
제1제어부(160)는 입력장치(200)로부터 사용자 조작에 따른 커맨드를 수신하면, 제1저장부(150)에 저장된 동작정보에 기초하여 디스플레이부(130)에 대응되는 화면이 표시되도록 제어한다. 예를 들어, 터치감지부(210)에에 대한 사용자 입력 즉, 좌표값 변경에 대응하는 커맨드가 수신되거나, 모션감지부(220)에서 입력장치(200)가 소정 방향/속도로 움직이는 것이 감지되면, 이에 응답하여 제어부(160)가 디스플레이부(130)의 화면이 변경되어 표시되도록 제어할 수 있다.
드로잉 오브젝트를 포함하여, 구체적인 디스플레이 화면의 예들은 후술하는 실시예들에서 보다 상세하게 설명하기로 한다.
이하, 입력장치(200)의 구체적인 구성 및 입력장치(200)를 이용한 사용자 입력에 관하여 설명한다.
도 3은 본 발명 일실시예에 따른 입력장치(200)를 도시한 사시도이고, 도 4 내지 도 6은 도 3의 입력장치(200)를 이용하여 사용자 입력이 수신되는 경우를 예로 들어 도시한 도면이다.
본 실시예의 입력장치(200)는 도 3에 도시된 바와 같이, 사용자가 한 손에 쥐기 편하게 타원형의 길쭉한 형상 예를 들어, 조약돌 모양을 가지도록 구현될 수 있다.
도 3에서는 입력장치(200)가 타원형으로 이루어진 경우를 예로 들어 도시하였지만, 본 발명은 이에 한정되는 것이 아니다. 즉, 본 발명은 입력장치(200)가 길쭉한 직육면체 형상을 가지는 경우를 포함하며, 사용자가 용이하게 한 손으로 감싸 쥘 수 있는 구조라면 모두 본 발명의 실시예에 포함될 수 있을 것이다.
본 발명 실시예에 따른 입력장치(200)는 복수의 동작 모드(이하, 입력 모드 라고도 한다)를 가질 수 있다.
예를 들어, 입력장치(200) 터치감지부(210)에 대한 사용자의 터치 입력에 따라 동작을 수행하는 터치 모드(touch mode), 입력장치(200)의 모션(motion) 입력 즉, 움직임에 따라 동작을 수행하는 제스처 모드(gesture mode), 버튼입력부(230)에 대한 사용자의 조작에 따라 동작을 수행하는 일반 모드, 사용자의 손의 움직임에 따라 동작을 수행하는 핸드 제스처 모드(hand gesture mode), 사용자의 음성에 따라 동작을 수행하는 음성입력 모드 중 적어도 하나로 동작할 수 있다.
입력장치(200)는 기설정된 사용자 입력(예를 들어, 소정 키버튼의 조작, 소정 강도 또는 거리 이상의 터치 입력, 소정 강도 이상의 모션 입력, 트리거 단어(trigger word)의 발화 등)에 대응하여 입력 모드가 변경될 수 있다. 본 발명의 사상은 이에 한정되지 않으므로, 그 외에도 다양한 사용자 입력에 의한 예시가 적용될 수 있다.
본 실시예의 입력장치(200)에는 사용자의 제스처 입력(gesture input)을 감지하도록 적어도 하나의 감지부가 마련된다. 여기서, 적어도 하나의 감지부는 터치감지부(210)와 모션감지부(220)를 포함한다. 즉, 입력장치(200)에는 터치감지부(210)와 모션감지부(220) 중 적어도 하나를 포함하며, 그로부터 사용자의 제스처 입력을 수신할 수 있다.
본 발명에서의 제스처 입력은 사용자의 핸드 제스처에 의한 입력을 포함하며, 시스템(1)은 이를 감지하기 위한 감지부 즉, 센서를 더 포함할 수 있다. 핸드 제스처를 감지하기 위한 센서(이미지 센서)는 디스플레이장치(100)의 소정 위치 예를 들어, 정면에 마련될 수 있다.
터치감지부(210)는 사용자의 터치입력을 감지하는 터치패드(touchpad)로 구현되며, 상부에는 입력영역이 형성되고, 하부에는 터치 입력을 감지하는 센서가 구비될 수 있다.
사용자의 터치 입력은 다양할 수 있으며, 탭(tap), 탭보다 강하게 터치하는 클릭(click), 더블 클릭(double click), 터치를 유지한 상태로 소정 거리를 이동하는 드래그(drag), 슬라이드(slide), 플리킹(flicking), 스와이프(swipe) 등을 모두 포함한다. 드래그, 슬라이드, 플리킹, 스와이프 등의 입력은 터치감지부(210)에 손가락(또는 터치펜)이 닿는 프레스(press), 소정 거리의 이동 및 터치감지부(210)로부터의 릴리즈(release)로 구성될 수 있으며, 직선 또는 곡선 형태의 이동을 모두 포함한다. 상기의 다양한 터치 입력들을 제스처 입력에 포함된다.
터치감지부(210)가 사용자의 터치입력을 감지하면 제2제어부(260)는 감지된 터치입력에 대응하는 커맨드를 생성하여 제2통신부(240)를 통해 디스플레이장치(100)에 전송한다. 터치감지부(210)는 사용자의 손가락, 터치펜 등을 이용한 사용자의 터치입력을 감지할 수 있다.
본 실시예에서 터치감지부(210)는, 도 3 및 도 4에 도시된 바와 같이, 입력장치(200)를 손으로 감싸 쥐면, 소정 손가락 예를 들어, 엄지손가락(thumb)이 자연스럽게 놓여지는 위치인 중앙에 타원형으로 마련될 수 있다.
본 발명 실시예에 따른 입력장치(200)에서 터치감지부(210)의 위치 및 형태는 다양하게 구현 가능하다. 예를 들어, 도 3 및 도 4에 도시된 실시예에서는 터치감지부(210)가 엄지손가락으로 터치 입력이 수신 가능하게 마련되는 경우를 예로 들어 도시하였으나, 본 발명은 이에 한정되는 것이 아니다. 즉, 본 발명의 입력장치(200)는 사용자가 조작을 위해 손으로 잡은 상태에서 인체 구조에 대응하여 터치 입력이 용이하도록 설계된 다양한 구조를 가질 수 있다.
디스플레이장치(100)의 디스플레이부(130)에는, 도 4에 도시된 바와 같이, 화면상의 사용자 입력에 대응하는 위치에 포인팅 커서(401, 402)(이하, 커서 또는 포인터 라고도 한다)가 표시될 수 있다. 포인팅 커서는 터치감지부(210)에 대한 사용자의 터치 입력의 방향 및 거리에 대응되게 그 위치가 이동될 수 있다. 도 4는 사용자의 터치 입력에 응답하여 디스플레이부(130)에 표시되는 커서가 제1위치(401)로부터 제2위치(402)로 움직이는 경우를 도시하고 있다.
본 실시예의 디스플레이장치(100)는 터치감지부(210)에 대한 제스처 입력(421)의 움직임 경로(이하, 움직임 자취 또는 움직임 궤적 이라고도 한다)에 대응되는 드로잉 오브젝트(411)를 디스플레이부(130)에 더 표시할 수 있다.
예를 들어, 도 4와 같이, 터치감지부(210)에 우측 방향으로의 제스처 입력(421)이 수신되면, 포인팅 커서가 제1위치(401)로부터 제2위치(402)로 이동되며, 그 경로를 따라 드로잉 오브젝트(411)가 표시될 수 있다.
모션 감지부(220)는 제스처 모드에서 입력장치(200)의 움직임의 방향, 거리, 속도 등을 감지한다.
본 실시예에서, 모션감지부(220)는 입력장치(200)의 움직임 즉, 모션을 감지하는 센서를 포함하며, 모션 센서는 자이로센서, 각속도센서, 지자기센서 중 적어도 하나를 포함한다.
모션감지부(220)는 입력장치(200)의 현재 자세에서, 입력장치(200)의 3축 또는 6축에 대한 가속도 및 각속도를 측정하여 그 결과를 제2제어부(260)에 전달한다. 제2제어부(250)는 입력장치(200)의 모션 정보에 대응하는 커맨드를 생성하여 제2통신부(240)를 통해 디스플레이장치(100)로 전송한다.
디스플레이장치(100)의 디스플레이부(130)에는, 도 5 및 도 6에 도시된 바와 같이, 화면상의 사용자 입력에 대응하는 위치에 포인팅 커서(501, 502)가 표시될 수 있다. 포인팅 커서는 입력장치(200)의 움직임 방향 및 거리에 대응되게 그 위치가 이동될 수 있다. 도 5 및 도 6은 사용자의 터치 입력에 응답하여 디스플레이부(130)에 표시되는 커서가 제3위치(501)로부터 제4위치(502)로 움직이는 경우를 도시하고 있다.
본 실시예의 디스플레이장치(100)는 입력장치(200)의 모션에 대응하는 제스처 입력(521)의 움직임 경로를 나타내는 드로잉 오브젝트(511)를 디스플레이부(130)에 더 표시할 수 있다.
예를 들어, 도 5와 같이, 입력장치(200)를 우측으로부터 좌측으로 움직이는 제스처 입력(521)이 수신되면, 포인팅 커서가 제3위치(501)로부터 제4위치(502)로 이동되며, 그 경로를 따라 드로잉 오브젝트(511)가 표시된다.
버튼입력부(230)는 도 3에 도시된 바와 같이, 사용자의 조작이 가능하게 마련된 복수의 버튼을 포함한다.
복수의 버튼은 전원키, 메뉴키, 채널키, 음량키, 방향키, 숫자키 등을 포함할 수 있다. 도 4의 입력장치(200)는 복수의 버튼으로서 전원키, 채널키, 음량키, 방향키(231)가 각각 마련된 경우를 예로 들어서 도시한 것이다.
본 실시예의 입력장치(200)에서 방향키(231)는 위, 아래, 왼쪽 및 오른쪽을 포함하는 4방향에 각각 대응하도록 마련되며, 사용자는 4 방향키(231)를 이용하여 커서를 이동시킬 수 있다. 또한, 사용자는 디스플레이부(130)에 복수의 항목이 표시된 상태에서 방향키(231)를 이용하여 한 칸씩 이동하며 원하는 항목 예를 들어, 컨텐츠를 정확하게 선택할 수 있다.
본 실시예에서 방향키(231)는, 도 3에 도시된 바와 같이, 입력장치(200)를 손으로 감싸 쥐면, 소정 손가락 예를 들어, 엄지손가락(thumb)이 자연스럽게 놓여지는 위치에 마련될 수 있다.
도 3은 방향키(231)가 타원형의 터치감지부(210)의 둘레에 마련된 경우를 예로 들어 도시한 것이다. 본 발명 실시예에 따른 방향키(231)을 포함한 버튼입력부(230)의 구성, 위치 및 형태는 다양하게 구현 가능하다.
예를 들어, 버튼입력부(230)는 특정 모드로의 동작을 위해 마련되는 핫키를 더 포함할 수 있으며, 핫키는 다양한 형태(예를 들어, 원형, 삼각형, 사각형, 마름모, 별모양, 꽃모양 등) 및/또는 색상(빨간색, 노란색, 파란색, 보라색 등)으로 구현되어 입력장치(200)에 구비될 수 있을 것이다. 입력장치(200)에 마련되는 핫키에 대하여는 후술하는 UI 관련 실시예들에서 보다 구체적으로 설명하기로 한다.
본 발명 실시예에서는, 버튼입력부(230)의 소정 버튼이 입력되면, 입력장치(200)가 제스처 입력에 따라 드로잉 오브젝트를 표시하고 대응되는 동작을 수행하도록 할 수 있다. 예를 들어, 입력장치(200)에 구비된 소정 버튼 조작(2개 이상의 버튼의 조합 입력 또는 별도 버튼 조작)에 응답하여 디스플레이부(130)의 화면에 포인터를 표시하고, 입력장치(200)의 적어도 하나의 감지부가 이용하여 화면 상의 포인터를 이동시킬 수 있는 제스처 입력을 할 수 있다.
포인터가 특정 지점에서 다른 지점으로 이동되면, 그 경로에 대응되게 드로잉 오브젝트가 표시되며, 그 경로의 모양이 채널 업/다운 등에 대응되게 미리 설정된 경우, 디스플레이장치(100)의 제1제어부(160)가 경로의 모양을 판독하여 미리 정해진 채널 업 또는 다운을 실행할 수 있다. 예를 들어, 아래에서 화면 아래 부분에 포인터를 위치시킨 상태에서 위쪽 방향으로 1자 모양의 선을 긋는 선긋기를 실행하면, 포인터의 이동 경로에 대응하여 화면 상에 1자 모양의 선이 드로잉 오브젝트로서 그려진다. 선긋기 실행이 멈추면 포인터의 이동도 중단되며, 제1제어부(160)는 해당 드로잉 오브젝트의 모양에 따라 소정 기능 즉, 채널 업을 실행한다. 그리고, 새로운 명령의 수신이 가능하도록 화면 상의 선은 지우게 된다.
한편, 본 실시예의 입력장치(200)에는 음성입력이 수신되는 음성 입력부로서 마이크로폰이 더 마련될 수 있다.
제2통신부(240)는 디스플레이장치(100)와 통신을 수행하며, 제1통신부(140)에 대응하는 통신규격을 가진다. 예컨대, 제2통신부(220)는 무선통신을 사용하여 소정 커맨드를 송수신하며, 무선통신은 블루투스, RF(radio frequency), 지그비(Zigbee), 적외선 통신 등을 포함한다.
제2저장부(250)에는 제2제어부(260)에 의해 액세스되기 위한 각종 데이터가 저장된다. 구체적으로, 본 실시예의 제2저장부(250)에는 사용자의 터치입력 감지를 위해 터치감지부(210)에 대하여 설정된 좌표정보가 저장될 수 있다. 또한, 제2저장부(250)에는 입력장치(200)의 입력모드에 관한 정보가 더 저장될 수 있다.
제2저장부(250)는 플래시메모리(flash-memory)와 같은 비휘발성 저장매체로 구현된다. 제2저장부(250)는 제2제어부(260)에 의해 액세스되며, 제2제어부(260)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행된다. 또한, 경우에 따라 제2저장부(250)는 생략 가능하다.
제2제어부(260)는 입력장치(200)의 다양한 구성에 대한 제어동작을 수행한다. 예를 들면, 제2제어부(260)는 다양한 사용자 입력을 감지하여 이에 대응하는 커맨드를 제2통신부(240)를 통해 디스플레이장치(100)로 송신함으로써, 입력장치(200)의 전체 동작을 제어한다. 이에 의하여, 디스플레이장치(100)가 해당 커맨드에 대응하는 제어동작을 수행할 수 있다.
제2제어부(260)는 적어도 하나의 프로세서를 포함한다. 적어도 하나의 프로세서는 프로그램이 저장된 비휘발성 메모리(ROM)로부터 휘발성 메모리(RAM)으로 대응되는 프로그램을 로드하여 실행한다.
본 실시예에 따른 제2제어부(160)는 AP(Application Processor), 마이컴(Micro Computer, MICOM)과 같은 적어도 하나의 범용 프로세서 또는 전용 프로세서로서 마련되는 칩(chip) 예를 들어, IC(integrated circuit) 칩으로 구현되어, 예를 들어, ROM에 저장된 소정 알고리즘에 따라 대응하는 프로그램을 RAM에 로드하여 실행함으로써 입력장치(200)의 다양한 동작들을 수행하도록 구현 가능하다.
본 실시예의 입력장치(200)의 제2제어부(260)는 터치감지부(210), 모션감지부(220), 버튼입력부(230), 음성 입력부 중 적어도 하나에서 사용자의 입력이 감지되면, 제2통신부(140)를 통해 이에 대응하는 제어신호를 디스플레이장치(100)로 송신한다.
여기서, 제2제어부(260)는 터치감지부(210) 및/또는 모션감지부(220)에서 감지되는 제스처 입력에 대해 각각 대응되는 커맨드가 디스플레이장치(100)에 송부되도록 구현될 수 있다.
예를 들어, 제2제어부(260)는 터치감지부(210)를 통해 감지되는 사용자의 터치 입력에 대응하는 방향, 거리, 속도 등의 정보 또는 모션감지부(220)를 통해 감지되는 입력장치(200)의 움직임에 대응하는 방향, 거리, 속도 등의 정보를 대응하는 커맨드로서 디스플레이장치(100)에 송부되도록 제어할 수 있다.
위와 같은 본 발명의 실시예는 터치감지부(210)에 대한 조작이나, 입력장치(220)의 모션에 대응하여 디스플레이부(130) 상의 커서가 이동되게 할당함으로써, 사용자의 엄지손가락 또는 공간상에서의 손의 이동 즉, 움직임을 이용한 넘겨본다는 행위에 의한 즉각적인 재핑(zapping)이 가능하도록 구현한 것이다. 그에 따라, 기존의 버튼을 이용한 사용자 조작에서 발생되는 피로도를 덜고, 입력장치(200)를 통해 사용자와 디스플레이장치(100) 간의 인체 공항적이며 보다 긴밀한 형태의 인터랙션이 가능할 수 있게 된다.
본 발명 실시예에 따른 입력장치(200)의 터치감지부(210) 및/또는 모션감지부(220)를 통한 제스처 입력에 따라 디스플레이장치(100)로 송부되는 커맨드는 한정되지 않는다.
구체적으로, 디스플레이장치(100)에서 소정 채널의 방송이 표시되는 상태에서 입력장치(200)의 제스처 입력이 감지되면, 제2제어부(260)는 디스플레이장치(100)에서 지원되는 복수의 기능에 대응하는 복수의 커맨드 중에서 감지된 입력에 대응하는 커맨드를 결정하고, 결정된 커맨드에 대응하는 동작이 수행되도록 하는 커맨드를 송부하도록 제2통신부(240)를 제어할 수 있다.
아울러, 디스플레이장치(100)에 표시되는 컨텐츠에 따라 다양한 커맨드가 송부되도록 설정이 가능하다. 예를 들어, 디스플레이부(130)에 웹페이지가 표시된 상태에서 가로 방향(좌우 방향)의 터치 입력 또는 모션에 응답하여 이전 페이지 또는 다음 페이지가 표시되거나, 세로 방향(상하 방향)의 터치 입력 또는 모션에 응답하여 웹페이지가 상하로 이동하는 등의 설정이 가능할 것이다.
본 발명 실시예에서는, 터치감지부(210)에서의 터치 입력 및/또는 모션입력부(220)를 통해 감지되는 모션에 따른 제스처 입력의 종류, 강도, 방향, 이동 거리 등에 따라 다양한 커맨드가 송부 가능하게 설정될 수 있으며, 이러한 설정은 사용자의 선택에 의해 변경 가능하다. 여기서, 사용자의 편의를 위해, 수신되는 제스처 입력에 응답하여 디스플레이장치(100)에서 수행되는 동작들을 사용자가 직관적으로 인지할 수 있도록 설정되는 것이 바람직할 것이다.
이러한 제스처 입력의 종류, 강도, 방향, 이동 거리에 대응하여 설정된 동작 정보는 디스플레이장치(100)의 제1저장부(150)에 저장될 수 있다.
입력장치(200)의 제2제어부(260)는 제스처 입력의 감지에 응답하여 수신된 제스처 입력의 종류, 강도, 방향, 이동 거리 등의 정보를 제2통신부(240)를 통해 디스플레이장치(100)에 송부할 수 있다.
디스플레이장치(100)의 제1제어부(160)는 수신된 정보에 기초하여 제1저장부(150)의 설정 정보를 참조하여 그에 대응하도록 설정된 동작을 수행한다. 예를 들어, 제스처 입력의 경로에 대응하는 드로잉 오브젝트가 디스플레이부(130)에 표시되도록 구현될 수 있을 것이다.
본 실시예의 제2제어부(260)는 터치감지부(210)에 대해 좌표정보를 설정하고, 수신된 사용자의 터치입력 위치에 대응하는 좌표를 산출할 수 있다. 제2제어부(260)는 산출된 좌표정보를 소정 커맨드로서 제2통신부(220)를 통해 디스플레이장치(100)로 전송한다.
구체적으로, 입력장치(200)의 제2제어부(260)는 터치감지부(210)에서 수신된 터치 제스처 입력에 대하여 X좌표와 Y좌표의 값의 증가 또는 감소를 감지하고, 이에 대응하는 커맨드(이벤트)를 생성하여 제2통신부(240)를 통해 디스플레이장치(100)로 송신한다.
예를 들어, 터치감지부(210)에서 스와이프(swipe) 형태의 제스처 입력이 수신된 경우, 제2제어부(260)는 프레스 지점의 좌표값, 릴리즈 지점의 좌표값, 프레스 및 릴리즈 지점의 좌표값이 X좌표 및/또는 Y좌표의 증가인지 감소인지 여부를 이용하여 대응하는 커맨드(이벤트)를 생성할 수 있다. 디스플레이장치(100)의 제1제어부(160)는 수신된 좌표값 변경 이벤트에 기초하여 대응되는 드로잉 오브젝트가 표시되도록 디스플레이부(130)를 제어한다.
본 실시예의 제2제어부(260)는 모션감지부(220)에 의해 공간 상에서 움직이는 입력장치(200)의 상하, 좌우 및/또는 회전 정보를 산출할 수 있다. 제2제어부(260)는 산출된 정보를 소정 커맨드로서 제2통신부(220)를 통해 디스플레이장치(100)로 전송한다.
예를 들어, 입력장치(200)의 제2제어부(260)는 모션감지부(220)에서 감지된 모션 제스처 입력에 대하여 상하/좌우 방향으로의 공간 좌표값의 증가 또는 감소를 감지하고, 이에 대응하는 커맨드(이벤트)를 생성하여 제2통신부(240)를 통해 디스플레이장치(100)로 송신한다.
디스플레이장치(100)의 제1제어부(160)는 좌표값 변경 이벤트에 기초하여 대응되는 드로잉 오브젝트가 표시되도록 디스플레이부(130)를 제어한다.
여기서, 모션 감지부는 디스플레이장치(100) 본체에 마련될 수도 있다. 예를 들어, 디스플레이장치(100)의 제1제어부(160)는 디스플레이장치(100)의 정면에 구비된 화상 입력부(예를 들어, 카메라의 이미지 센서)를 이용하여, 사용자의 핸드 제스처(hand gesture)를 감지할 수 있다.
핸드 제스처의 강도는 손의 이동거리, 이동속도, 이동영역의 면적 중 어느 하나 또는 그 조합에 의해 결정된다. 제1제어부(160)는 이미지 센서에 의해 감지된 손의 각속도 및 가속도에 기초하여 핸드 제스처의 모션 정보를 산출하여 제1저장부(150)에 저장된 정보와 비교 및 보정할 수 있으며, 그 결과는 소정 커맨드로서 디스플레이장치(100)를 제어할 수 있다.
이 외에도, 본 실시예의 입력장치(200)에는 마이크로 폰과 같이 사용자가 발화한 음성 입력을 수신하는 음성 입력부 등의 다양한 사용자 입력수단이 추가로 구비될 수 있을 것이다. 마이크로 폰은 주파수 진동을 감지할 수 있다.
음성 입력부는 디스플레이장치(100) 본체에 구비될 수도 있으며, 디스플레이장치(100)의 정면에는 카메라와 같은 화상 입력부가 마련될 수도 있다.
아울러, 본 실시예의 입력장치(200)는 위와 같은 다양한 사용자 입력수단의 2 이상의 조합에 의한 사용자 입력, 예를 들어, 터치감지부(210)를 터치한 상태에서 모션 제스처 입력을 수신할 수도 있을 것이다. 이러한 다양한 조합에 의한 사용자 입력에 대응하는 커맨드의 정보는 제1저장부(150)나 제2저장부(250), 또는 클라우드 서버를 포함한 별도의 서버 등에 저장 가능하다.
한편, 본 실시예의 입력장치(200)에는 다양한 센서 예를 들어, 가속 센서, 중력감지센서, 다양한 자이로스코프 센서, 지자기 센서, 중력 센서, 가속도 센서, 디지털 나침반 센서, 근접 센서, 광 센서 등이 마련되어, 디스플레이장치(100)를 포함한 다양한 외부장치와 통신이 가능하도록 구현될 수 있다.
또한, 입력장치(200)는 작동 상태를 나타내는 출력부를 더 포함할 수 있다. 예를 들어, 입력장치(200)에 마련된 LED와 같은 발광 소자로 구현된 표시부에 의해, 입력장치(200)의 동작 상황을 빛으로 표시할 수 있다. 여기서, 제2제어부(260)는 표시부의 색 또는 밝기를 조절하거나, 특정 동작에 대응하여 소정 횟수로 깜박거리는 방식 등을 통해 다양하게 작동 상태를 표시할 수 있게 된다. 여기서, 작동 상태는 입력장치(200)의 동작 모드를 포함한다.
아울러, 도시되지는 않았지만, 출력부는 진동 소자, 비프(beep) 음을 출력하는 사운드 출력부 등을 더 포함하여, 입력장치(200)의 작동 상태를 진동과 비프음의 출력 등에 의해 다양하게 사용자에게 통지 가능할 것이다. 이러한 출력부는 디스플레이장치(100)로부터의 제어 신호 수신 시, 오류 발생 시 등의 경우에 작동 상태를 표시하며, 입력장치(200)의 위치 확인용으로 주기적으로 빛, 소리, 진동 등을 출력하도록 구현될 수도 있다.
이하, 입력장치(200)를 이용한 디스플레이장치(100)와의 사용자 인터랙션에 관하여 설명한다.
이하의 도시된 화면들에서는 사용자의 제스처 입력의 경로에 대응하는 드로잉 오브젝트를 표시한다. 여기서, 사용자의 제스처 입력은 입력장치(200)에 마련된 적어도 하나의 감지부 즉, 터치감지부(210)와 모션감지부(220) 중 적어도 하나를 통해 감지될 수 있다. 또한, 본 실시예에서의 제스처 입력은 디스플레이장치(100)의 본체 예를 들어, 정면에 마련된 이미지 센서를 통해 감지되는 핸드 제스처, 터치스크린을 포함하는 디스플레이부(130)를 통해서도 수신 가능하다.
즉, 이하의 도면에서는 터치감지부(210)나, 모션감지부(220)를 통해 제스처 입력이 수신되는 경우를 예로 들어 설명하지만, 제스처 입력이 다양한 다른 방식으로 수신되는 경우도 본 발명에 포함되는 것임을 밝혀둔다.
도 7 내지 도 11은 제스처 입력에 대응하여 검색장을 생성 및 표시하는 실시예를 설명하기 위한 도면이다.
디스플레이장치(100)의 제1제어부(160)는 다양한 방식으로 수신되는 제스처 입력의 감지에 응답하여, 디스플레이장치(100)에서 지원되는 복수의 기능에 대응하는 복수의 커맨드 중에서 감지된 제스처 입력에 대응하는 커맨드를 결정하고, 결정된 커맨드에 대응하는 동작을 수행한다.
도 7 및 도 8에 도시된 바와 같이, 사용자는 영상이 표시되고 있는 상태에서 입력장치(200)를 이용하여 디스플레이부(130)의 화면 상에 소정 형태를 가지는 도형 예를 들어, 사각형을 그리는 순차적인 제스처 입력(621, 622, 623, 624)을 할 수 있다.
제2제어부(260)는 모션감지부(220)를 통해 사용자의 제스처 입력을 감지하고, 제스처 입력의 모션 정보 즉, 움직임에 대응하는 방향, 거리, 속도 등의 모션 정보를 디스플레이장치(100)로 송신하도록 제2통신부(240)를 제어한다.
제1제어부(160)는 제1통신부(140)를 통해 제스처 입력의 모션 정보를 수신하고, 제1저장부(150)의 설정 정보를 참조하여 제스처 입력(621, 622, 623, 624)에 대응하는 커맨드 즉, 기능을 결정한다.
구체적으로, 제1제어부(160)는 사각형을 그리는 제스처 입력을(621, 622, 623, 624), 도 9에 도시된 바와 같이, 검색창을 생성하는 커맨드로 결정할 수 있다. 그리고, 제1제어부(160)는 결정된 커맨드 즉, 검색창 생성에 대응하는 사용자 인터페이스(630)가 표시되도록 디스플레이부(130)를 제어한다.
여기서, 도 9와 같이 표시되는 사용자 인터페이스(630)는, 도 7 및 도 8에서와 같이 입력장치(200)를 이용하여 수신되는 제스처 입력(621, 622, 623, 624)의 움직임 경로를 나타내는 드로잉 오브젝트(611, 612, 613, 614)에 대응할 수 있다.
즉, 제7 및 도 8에 도시된 바와 같이, 사용자의 제스처 입력((621, 622, 623, 624)에 대응되게 디스플레이부(130)의 포인팅 커서(601, 602, 603, 604)가 이동되며, 그 이동 경로에 대응하는 드로잉 오브젝트(611, 612, 613, 614)가 디스플레이부(130)에 표시된다.
제1제어부(160)는 제스처 입력(621, 622, 623, 624)의 감지에 응답하여 그 경로에 대응하는 드로잉 오브젝트(611, 612, 613, 614)를 표시하며, 그에 대응하는 커맨드를 검색창 생성으로 결정하게 된다.
이에 따라, 디스플레이부(130)에는, 도 9에 도시된 바와 같은 드로잉 오젝트(611, 612, 613, 614)에 대응하는 사용자 인터페이스(630)로서 검색창이 표시된다.
이렇게 생성된 사용자 인터페이스(630)는, 도 9와 같이, 검색어가 입력되는 검색창(631), 검색창(630) 내부에 위치되는 커서(632), 사용자로부터 검색 명령이 수신 가능한 버튼(633)을 포함할 수 있다.
여기서, 제1제어부(160)는 제스처 입력에 따라 검색창(631)이 생성되었음을 디스플레이부(130)를 통해 사용자에게 피드백(feedback) 할 수 있다. 도 10은 이러한 피드백 방식으로 검색창 생성을 나타내는 메시지(634)가 디스플레이부(130)에 표시된 경우를 도시한 것이다. 사용자는 메시지(634)를 통해 사각형을 그리는 제스처 입력(621, 622, 623, 624)에 대응하는 동작(검색창 생성)이 정상적으로 수행되었음을 확인할 수 있게 된다.
또한, 본 실시예의 디스플레이장치(100)에서는 이렇게 생성된 검색창(631)에 애니메이션 효과를 부여하는 방식으로 사용자에게 피드백할 수 있다. 예를 들어, 도 9와 같이 검색창(631)이 생성되면 해당 검색창이 소정 시간동안 깜빡이는 등의 애니메션 효과를 통해 검새창 생성에 대한 피드백을 사용자에게 제공할 수 있을 것이다.
디스플레이장치(100)는 사용자로부터 생성된 검색창(631)에 검색 대상인 키워드를 입력받을 수 있으며, 이에 따라 다양한 키워드에 대한 검색이 가능하도록 제공된다.
본 실시예에서, 검색창(631)을 포함하는 사용자 인터페이스(630)는, 도 11에 도시된 바와 같이, 검색 범위(또는 검색 대상)이 선택 가능한 복수의 항목을 하위 메뉴로 표시하는 드롭다운(drop-down) 창(635)(또는 풀다운(pull-down) 창)을 포함할 수 있다. 사용자는 드롭다운 창(635)에서 검색 범위를 선택할 수 있다.
예를 들어, 도 11과 같이 사용자가 컨텐츠 검색 항목을 선택하고 소정 키워드를 입력하면, 제1제어부(160)는 디스플레이장치(100)의 내부 또는 외부(외장형 디스크, 클라우드 서버 등)에 저장된 컨텐츠 중에서 입력된 키워드를 포함하는 컨텐츠를 검색하고, 그 결과를 디스플레이부(130)에 표시할 수 있다.
여기서, 키워드를 입력하는 방식은 다양하게 구현될 수 있으며, 예를 들어 입력장치(200)의 터치감지부(210) 또는 모션감지부(220)를 이용한 제스처 입력으로 수신될 수 있다. 즉, 사용자가 입력장치(200)를 손에 쥔 상태에서 공간 상에 키워드에 해당하는 문자를 쓰는 방식으로 키워드가 입력될 수 있을 것이다.
사용자가 키워드 즉, 검색을 원하는 단어를 입력하고, 엔터 명령을 입력하면 그 단어에 대한 검색이 수행된다. 여기서, 엔터 명령은 검색창(631)을 포함하는 박스(630) 외부의 화면 상에 엔터 명령으로 매칭된 모양에 대응하는 제스처 입력이 수신되는 것에 의해 입력될 수 있다.
본 실시예에 따른 디스플레이장치(100)에서, 제1제어부(160)는 현재 디스플레이부(130)에 표시된 제1 사용자 인터페이스에 기초하여 제스처 입력에 대응하는 커맨드를 결정할 수 있다.
예를 들어, 디스플레이부(130)에 도 9와 같은 검색창(361)이 제1 사용자 인터페이스로서 표시되고 있는 상태에서, 사용자는 해당 검색창(361)에 검색 범위를 결정하는 접두어를 입력할 수 있다.
도 12 내지 도 15는 검색창(361)에 접두어로서 TV+(641)가 입력된 실시예를 도시한 것이다.
검색창(361)이 표시된 상태에서 도 12와 같이 TV+(641)가 입력되면, 제1제어부(160)는 해당 접두어를 디스플레이장치(100) 즉, TV 자체에서 지원되는 기능 또는 메뉴에 대한 검색을 수행하는 커맨드로 결정한다.
그리고, 제1제어부(160)는, 도 13과 같이, 화면모드(642)가 키워드로서 입력되면, 도 14에 도시된 바와 같이 검색 결과로서 사용자가 선택 가능한 화면모드 메뉴(643)에 해당하는 제2 사용자 인터페이스를 디스플레이부(130)에 표시하게 된다.
같은 방식으로, 도 13에서 화질조정이 키워드로서 입력되면, 도 15에 도시된 바와 같이 검색 결과로서 사용자가 선택 가능한 화질조정 메뉴(644)에 해당하는 제2 사용자 인터페이스를 디스플레이부(130)에 표시하게 된다.
사용자는 표시된 메뉴(643, 645)에서 원하는 항목을 선택하여, 해당 기능이 실행되도록 할 수 있다.
도 13 내지 도 15의 실시예에서 접두어 및/또는 키워드는 다양한 방식으로 입력 가능하며, 예를 들어, 도 13과 같이 입력장치(200)의 터치감지부(210)을 이용한 터치 제스처 입력에 의해 수신될 수 있다. 또한, 모션감지부(220), 핸드 제스처, 터치스크린 등을 이용한 제스처 입력으로 수신될 수도 있으며, 디스플레이장치(100)와 통신하는 키보드, 마우스 등에 의해서도 입력 가능할 것이다.
또한, 입력 가능한 접두어는 “TV+” 외에도 다양하게 설정 가능하며, 접두어 별로 대응되는 동작에 대한 정보는 제1저장부(150)에 저장될 수 있다. 본 실시예의 디스플레이장치(100)에서는, 접두어에 대응되는 동작에 대해 사용자에 의한 변경, 추가가 가능하다.
도 16 및 도 17은 검색창(361)에 접두어로서 C+(643)가 입력된 실시예를 도시한 것이다.
도 16에 도시된 바와 같이, 검색창(361)에 C+(645)가 접두어로서 입력되면, 검색 범위가 TV 채널로 결정될 수 있을 것이다. 사용자가 C+(645)가 접두어로 입력된 상태에서, 키워드로 뉴스(646)를 입력하면, 제1제어부(160)는 뉴스를 제공하는 채널을 검색하도록 커맨드를 결정한다.
그리고, 도 17에 도시된 바와 같이, 뉴스를 제공하는 채널들(예를 들어, KBS, SBS, YTN 등)을 포함하며 사용자에 의해 선택 가능한 채널 리스트(647)를 제2사용자 인터페이스로서 디스플레이부(130)에 표시할 수 있을 것이다.
사용자는 표시된 채널 리스트(647)에서 원하는 채널을 선택하여 뉴스를 시청할 수 있게 된다.
한편, 디스플레이부(130)에 방송 영상이 표시되고 있는 상태에서, 도 7 및 도 8에서와 같이 사각형을 그리는 제스처 입력이 입력되는 경우 도 9에서 생성된 검색창(631)은 검색 대상이 현재 방송중인 채널로 한정될 수 있다.
또는, 디스플레이부(130)에 초기 화면(스마트 홈 화면)이 표시된 상태에서, 도 7 및 도 8에서와 같이 사각형을 그리는 제스처 입력이 입력되는 경우 도 9에서 생성된 검색창(631)은 검색 대상이 디스플레이장치(100) 자체의 기능이나, 자체 저장된 정보에 대한 검색으로 한정될 수 있다.
한편, 도 7 내지 도 9에서 설명한 바와 같이 생성되는 검색창(631)은 디스플레이장치(100)에서 지원되는 기능에 대한 내부검색과 인터넷을 이용한 외부검색 중 어느 하나를 수행하도록 결정될 수 있다.
여기서, 제1제어부(160)는 제스처 입력에 대응하는 드로잉 오브젝트의 모양, 색상 및 제스처 입력에 선행되는 사용자 입력 중 적어도 하나에 기초하여, 내부검색과 외부검색 중 어느 하나를 수행하는 검색창을 생성하도록 디스플레이부(130)를 제어할 수 있다.
여기서, 내부검색은 디스플레이장치(100)에서 지원되는 기능에 대한 검색, 제1저장부(150)에 저장된 컨텐츠에 대한 검색, 채널 검색 등을 포함할 수 있다. 외부검색은 인터넷 검색, 디스플레이장치(100)와 통신 가능한 다른 장치(스마트폰과 스마트패드를 포함하는 사용자 단말, 데스크탑 또는 랩탑의 컴퓨터 등)에 저장된 데이터에 대한 검색 등을 포함할 수 있다.
도 18 내지 도 20은 드로잉 오브젝트의 모양에 기초하여 검색 대상이 구분되는 검색창이 생성되는 실시예를 도시한 도면이다.
도 18에 도시된 바와 같이, 사용자로부터 삼각형을 그리는 제스처 입력(721, 722, 723)이 수신되면, 제1제어부(160)는 그 움직임에 대응하여 커서(701, 702, 703)이동시키면서 드로잉 오브젝트(711, 712, 713)를 디스플레이부(130)에 표시할 수 있다.
제1제어부(160)는 표시된 드로잉 오브젝트(711, 712, 713)의 모양이 삼각형인 것을 확인하고, 그에 대응하는 커맨드로서 내부검색을 수행하기 위한 검색창(731)을 생성하여 디스플레이부(130)에 표시한다. 여기서, 디스플레이부(130)에는 해당 검색창(731)의 검색 대상을 나타내는 메시지(732)가 함께 표시될 수 있다. 이를 위해, 제1저장부(150)의 테이블에는 제스처 입력 즉, 드로잉 오브젝트의 모양에 따른 검색창의 종류에 대한 정보가 매칭되어 저장될 수 있다.
도 18의 실시예에서는 제스처 입력에 대응하는 드로잉 오브젝트의 모양이 삼각형인 경우를 예로 들어 도시하였지만, 본 발명에서 입력 가능한 제스처 입력의 모양은 이에 한정되지 않는다. 즉, 삼각형과 사각형 외에도, 원형, 마름모, 별모양, 꽃모양 등 다양한 제츠처 입력에 대응하여 검색창의 종류가 매칭될 수 있다. 아울러, 드로잉 오브젝트의 모양은 도형뿐 아니라, 숫자, 문자, 방향성을 가지는 적어도 하나의 직선 또는 곡선 및 그 조합 등으로 다양하게 제츠처 입력에 대응되게 표시될 수 있다.
또한, 검색창의 종류는 내부검색과 외부검색뿐 아니라 다양하게 변경/추가될 수 있다. 예를 들어, 도 11과 같이, 채널 검색, 컨텐츠 검색, 기능 검색, 인터넷 검색 등으로 구분될 수 있다.
이 경우, 제1저장부(160)에는 4가지 검색 종류에 각각 대응하는 제스처 입력의 종류가 매칭되어 저장될 수 있을 것이다. 예를 들어, 문자 C와 사각형을 그리는 제스처 입력이 순차적으로 수신되면, 도 20과 같이 채널검색을 위한 검색창(733)이 식별 메시지(734)와 함께 표시될 수 있다.
사용자는 도 20의 검색창(733)에서 키워드 예를 들어 드라마를 입력할 수 있으며, 제1제어부(160)는 검색 결과에 따라 드라마를 제공하는 채널 리스트가 표시되도록 디스플레이부(130)를 제어할 수 있다.
한편, 본 실시예에 따른 입력장치(200)의 버튼입력부(230)에는 검색창의 종류별로 매칭되는 핫키로서 복수의 버튼이 더 될 수 있다. 여기서, 핫키에 해당하는 버튼들은 그 형상 또는 색상에 의해 다른 버튼들 예를 들어, 채널키, 볼륨키, 전원키 등과 구별된다.
본 실시예에 따른 디스플레이장치(100)에서, 제1제어부(160)는 제스처 입력에 선행되는 사용자 입력에 기초하여 제스처 입력에 대응하는 커맨드를 결정할 수 있다. 여기서, 선행되는 사용자 입력은 입력장치(200)에 버튼입력부(230)로서 마련되는 복수의 버튼 중 어느 하나(예를 들어, 핫키)에 대한 사용자의 선택을 포함한다.
예를 들어, 사용자로부터 외부검색에 대응하도록 매칭된 노란색 버튼이 눌리고, 사각형을 그리는 제스처 입력이 수신되면, 제1제어부(160)는 외부검색에 대응하는 검색창을 생성하여 디스플레이부(130)에 표시될 수 있다. 여기서, 사용자가 노란색 버튼을 누른 상태에서 제스처 입력을 통해 사각형을 그리도록 구현될 수도 있다.
이러한 핫키에 해당하는 버튼들의 색상은 노란색뿐 아니라, 빨간색, 파란색, 보라색 등으로 다양하게 구현되어 입력장치(200)에 추가될 수 있다.
또한, 본 발명 실시예에 따르면, 핫키는 색상이 아니라, 그 모양으로도 구분될 수 있다. 여기서, 핫키로 할당된 버튼의 모양은 삼각형, 사각형, 원형, 별모양, 꽃모양 등 다양하게 구현될 수 있다.
도 21은 입력장치(200)에 원형(235), 삼각형 및 꽃모양으로 이루어진 핫키가 더 구비된 경우, 이를 이용한 제스처 입력이 수신되는 실시예를 도시한 도면이다.
도 21에 도시된 바와 같이, 사용자가 원형 버튼(235)을 누른 상태에서, 공간 상에 원을 그리는 제스처 입력(821)을 하면, 디스플레이부(130) 상에서 커서(801, 802)가 제스처 입력에 대응하여 이동되며, 그 이동 경로에 해당하는 드로잉 오브젝트(811)가 표시된다. 제1제어부(160)는 조작된 버튼(235) 및 제스처 입력의 종류를 식별하고, 그에 대응하는 커맨드 예를 들어, 외부검색에 대응하는 검색창을 생성하여 디스플레이부(130)에 표시할 수 있다.
여기서, 디스플레이부(130)에 표시된 드로잉 오브젝트(811)는 눌려진 버튼의 종류에 대응하여 그 색상이 결정될 수 있다. 예를 들어, 원형(235) 버튼을 누른 경우 빨간색으로 드로잉 오브젝트가 표시되며, 삼각형 버튼을 누른 경우 파란색으로 드로잉 오브젝트가 표시될 수 있다.
또한, 도 21에서는 사용자가 버튼을 누른 상태에서 제스처 입력을 하는 경우를 도시하였으나, 버튼을 누르고 소정 시간 내(예를 들어, 3초 이내)에 제스처 입력이 수신되는 경우도 본 발명에 포함될 것이다.
본 발명에서, 선행되는 사용자 입력은 버튼의 조작으로 한정되지 않는으며, 선행되는 사용자 입력은 음성입력, 제스처 입력 등의 다양한 형태로 구현 가능하다.
예를 들어, 사용자가 음성으로 인터넷을 발화하고, 그 후에 사각형을 그리는 제스처 입력이 수신된 경우, 제1제어부(160)는 이를 인터넷 검색으로 인지하고, 제스처 입력에 대응하는 드로잉 오브젝트로서 인터넷 검색을 위한 검색창을 생성하여 표시하도록 디스플레이부(130)를 제어할 수 있다.
또한, 사용자가 제스처 입력으로 ㄴ을 선행 입력하고, 그 후에 사각형을 그리는 제스처 입력이 수신된 경우, 제1제어부(160)는 이를 내부 검색으로 인지하고, 제스처 입력에 대응하는 드로잉 오브젝트로서 내부 검색을 위한 검색창을 생성하여 표시하도록 디스플레이부(130)를 제어할 수 있다.
한편, 제스처 입력에 대응하는 커맨드는 검색창에 한정되는 것은 아니다, 예를 들어, 사용자가 제스처 입력으로 숫자 1을 선행 입력하고, 그 후에 순차적으로 문자 C 또는 ㅊ을 그리는 경우, 제1제어부(160)는 1번이 포함된 채널 목록이 디스플레이부(130)에 표시되도록 제어할 수 있을 것이다. 이하에서, 이와 관련하여 더 설명하기로 한다.
도 4 내지 도 21와 관련하여 설명한 본 발명 실시예에서는, 제스처 입력에 대응하는 커맨드의 종류가 검색창을 생성하는 경우를 예로 들어 설명하였지만, 본 발명은 이에 한정되는 것이 아니므로, 제스처 입력에 대하여 다양한 커맨드에 대응하는 동작이 실행되도록 구현될 수 있다. 예를 들어, 검색창의 생성없이 제스처 입력에 대응하여 특정 검색 대상에 대한 검색이 바로 수행되는 경우도 본 발명에 포함된다.
도 22 및 도 23은 본 발명 디스플레이장치(100)에서 제스처 입력에 따라 검색을 수행하는 실시예를 설명하기 위한 도면이다.
도 22에 도시된 바와 같이, 방송 영상이 표시되는 상태에서 사용자는 검색하고자 하는 대상 예를 들어, 자동차(902)의 위치에 원형을 그리는 제스처 입력(921)을 할 수 있다. 여기서, 표시되는 영상에 대응하는 방송신호에는 예를 들어, 자동차, 가방, 의류 등에 대한 데이터 정보가 포함되어, 디스플레이장치(100)로 수신될 수 있다.
디스플레이장치(100)의 제1제어부(160)는 자동차(902)의 위치에서 제스처 입력(921)이 수신되는 것을 감지하고, 제스처 입력(921)의 경로에 대응하여 커서(901, 911)를 이동시키면서 그 이동 경로에 대응하는 드로잉 오브젝트(911)를 표시하도록 디스플레이부(130)를 제어한다.
제1제어부(160)는 제스처 입력에 대응하는 커맨드가 제스처 입력이 수신된 위치(902)에 대응하는 상품의 검색으로 결정하고, 도 23과 같이 해당 자동차에 대한 검색을 수행하여 그 결과를 표시할 수 있다. 여기서, 제1제어부(160)는 검색 대상인 자동차 부분에 깜빡임, 하이라이트 등이 표시되도록 하여, 상품정보가 존재함을 미리 사용자에게 통지할 수 있다.
도 22에서 수신되는 제스처 입력은 그 모양 또는 색상 등이 다양하다. 즉, 도 22에서는 원형의 제스처 입력이 수신되는 경우를 예로 들어 도시하였으나, 삼각형, 사각형, 문자 V 등 다양한 형태의 제스처 입력이 수신 가능하다.
제1제어부(160)는 수신된 제스처 입력의 형태에 따라 검색 대상을 결정할 수 있다. 예를 들어, 원형의 제스처 입력은 상품(예를 들어 자동차) 이름을 포함한 일반 정보, 삼각형의 제스처 입력은 상품의 가격 비교, V 의 입력은 해당 상품을 판매하는 판매처 검색 등으로 다양하게 구현될 수 있다.
이러한 제스처 입력은 선행되는 사용자 입력이 수신되는 버튼 예를 들어, 도 21에서 설명한 바와 같이 핫키로서 마련되는 버튼의 종류에 따라 검색 대상이 달라질 수 있다. 즉, 도 22와 같이 원형 버튼(235)을 누르고 원을 그리는 제스처 입력을 하는 경우, 상품의 일반 정보가 검색되어 표시될 수 있을 것이다.
또한, 선행되는 사용자 입력의 종류에 따라 도 22에서 표시되는 드로잉 오브젝트의 색상이 다르게 표시될 수 있으며, 검색 대상이 드로잉 오브젝트의 색상에 대응될 수 있다.
이하, 본 발명의 실시예에 따른 입력장치(200) 및 디스플레이장치(100)를 포함하는 디스플레이 시스템(1)의 제어방법에 관해 도면을 참조하여 설명한다.
도 24는 본 발명 실시예에 의한 디스플레이 시스템(1)의 제어방법을 도시한 흐름도이다.
도 24에 도시된 바와 같이, 디스플레이 시스템(1)에서 사용자의 제스처입력이 감지될 수 있다(S302). 여기서, 사용자의 제스처 입력은 입력장치(200) 또는 디스플레이장치(100) 본체에 마련된 적어도 하나의 감지부에 의해 감지될 수 있다. 예를 들어, 제스처 입력은 입력장치(200)의 터치감지부(210)에 대한 터치 제스처 입력 또는 모션감지부(220)에 의해 감지되는 모션 제스처 입력일 수 있으며, 디스플레이장치(100)의 정면에 마련된 이미지센서에 의해 감지되는 핸드 제스처 입력과 디스플레이부(130)의 터치스크린에 의해 감지되는 터치 제스처 입력으로 구현될 수도 있다. 입력장치(200)를 통해 제스처 입력이 감지되는 경우, 그 움직임 정보가 디스플레이장치(100)로 송신된다.
단계 S302에서 사용자는 터치감지부(210)나 터치스크린 상에, 또는 모션감지부(220)나 이미지센서로 감지 가능하도록 공간 상에 도형, 문자, 숫자 및 방향성을 가지는 적어도 하나의 직선 또는 곡선 등을 그리는 제스처 입력을 할 수 있다. 이러한 제스처 입력은 선행되는 사용자 입력을 가질 수 있다. 즉, 사용자는 입력장치(200)에 마련된 특정 기능에 할당된 핫키를 누른 상태에서 또는 누르고 소정 시간 내에 터치감지부(210)나 모션감지부(220)를 이용한 제스처 입력을 할 수 있다.
디스플레이장치(100)의 제1제어부(160)는 단계 S302에서 감지된 제스처 입력에 응답하여, 제스처 입력의 움직임 경로에 대응하는 드로잉 오브젝트를 디스플레이부(130)에 표시한다(S304). 여기서, 드로잉 오브젝트는 도형, 문자, 숫자 및 방향성을 가지는 적어도 하나의 직선 또는 곡선 중 적어도 하나를 포함할 수 있다.
디스플레이장치(100)의 제1제어부(160)는 단계 S302에서 감지된 제스처 입력에 대응하는 커맨드를 결정할 수 있다(S306). 여기서, 제1제어부(160)는 제스처 입력의 감지에 응답하여, 디스플레이장치(100)에서 지원되는 복수의 기능에 대응하는 복수의 커맨드 중에서 단계 S302에서 감지된 제스처 입력에 대응하는 커맨드를 결정할 수 있다. 또한, 단계 S306에서 결정되는 커맨드는 디스플레이부(130)에 표시된 컨텐츠, 사용자 인터페이스 및 제스처 입력에 선행되는 사용자 입력 중 적어도 하나에 기초하여 결정될 수 있다.
제1제어부(160)는 단계 S306에서 결정된 커맨드에 대응하는 동작을 수행한다(S308). 여기서, 결정된 커맨드는 소정 기능에 대응하는 사용자 인터페이스를 표시하는 것일 수 있으며, 이에 따라 사용자 인터페이스, 예를 들어 검색창이 디스플레이부(130)에 표시될 수 있다.
또한, 본 발명의 실시예에서 단계 S308에서 생성된 검색창의 검색 범위는 단계 S302의 제스처 입력의 특징(모양, 색상 등)이나, 제스처 입력에 선행되는 사용자 입력(핫키에 대응하는 버튼의 모양, 색상 등)에 따라 결정될 수 있다.
사용자는 이렇게 생성된 사용자 인터페이스 상에 단계 S302에서 설명된 방식으로 다른 제스처 입력(제2제스처 입력)을 할 수 있으며, 제2제스처 입력은 검색 범위를 결정하는 접두어를 포함한다. 이 경우, 제1제어부(160)는 제2제스처 입력의 모양을 감지하고, 그에 대응하도록 검색 범위를 결정할 수 있다.
본 실시예에서, 단계 S302에서 감지된 제스처 입력이 방송 화면에 표시되는 특정 상품(예를 들어, 자동차)에 대한 소형 형태의 입력(예를 들어, 원형)인 경우, 단계 S306에서는 해당 제스처 입력을 해당 상품에 대한 정보 검색으로 결정할 수 있다. 이 경우, 단계 S308에서 제1제어부(160)는 해당 상품에 대한 검색 결과를 표시하도록 디스플레이부(130)를 제어한다.
이와 같이, 본 발명의 실시예에 의하면, 디스플레이 시스템(1)에서 다양한 방식의 단일 또는 조합된 제스처 입력을 이용하여 사용자 입력이 가능하도록 제공하므로, 보다 사용자 친화적이고 긴밀한 형태의 사용자 인터랙션이 가능하다.
또한, 제스처 입력의 경로를 따라 드로잉 오브젝트를 표시함으로써, 사용자에게 피드백이 제공되므로, 사용자의 만족도를 높일 수 있다.
또한, 단일 또는 조합된 제스처 입력을 사용하여 특정 범위의 검색창 생성 또는 검색이 수행되도록 제공함으로써, 사용자가 매뉴얼을 일일이 확인하지 않고도 디스플레이장치(100)를 쉽고 편리하게 이용할 수 있다.
또한, 입력장치(200)를 사용자의 손에 적합하도록 인체공학적으로 설계하고, 제스처 입력을 포함한 사용자 입력의 결과가 화면상에 직관적으로 반영되도록 하여, 사용자와 입력장치(200) 간의 교감을 통해 사용자의 친밀도를 높일 수 있다.
또한, 제스처 입력에 대응되는 기능을 사용자가 설정 또는 변경 가능하도록 제공하므로, 사용자에게 다양한 이용 경험을 유도하여, 개인에게 최적화된 다양한 방식으로 사용자 입력을 활용할 수 있는 효과가 있다.
한편, 상기와 같은 본 발명의 다양한 실시예들은 컴퓨터가 판독 가능한 기록매체로 실시될 수 있다. 컴퓨터가 판독 가능한 기록매체는 전송매체 및 컴퓨터 시스템에 의해 판독 가능한 데이터를 저장하는 저장매체를 포함한다. 전송매체는 컴퓨터 시스템이 상호 결합된 유무선 네트워크를 통해 구현 가능하다.
본 발명의 다양한 실시예들은 하드웨어와 하드웨어 및 소프트웨어의 결합에 의해 구현될 수 있다. 하드웨어로서, 제어부(160)는 소프트웨어인 컴퓨터프로그램이 저장되는 비휘발성메모리와, 비휘발성메모리에 저장된 컴퓨터프로그램이 로딩되는 RAM과, RAM에 로딩된 컴퓨터프로그램을 실행하는 적어도 하나의 프로세서 즉, CPU를 포함할 수 있다. 비휘발성메모리는 하드디스크드라이브, 플래쉬메모리, ROM, CD-ROMs, 자기테이프(magnetic tapes), 플로피 디스크, 광기억 장치(optical storage), 인터넷을 이용한 데이터 전송장치 등을 포함하며, 이에 한정되지 않는다. 비휘발성메모리는 본 발명의 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체(computer-readable recording medium)의 일례이다.
컴퓨터프로그램은 CPU가 읽고 실행할 수 있는 코드로서, 도 24에 도시된 단계 S302 내지 단계 S308과 같은 제어부(160)의 동작을 수행하도록 하는 코드를 포함한다.
컴퓨터프로그램은 디스플레이장치(100)에 구비된 운영체제(operating system) 또는 어플리케이션을 포함하는 소프트웨어 및/또는 외부장치와 인터페이스하는 소프트웨어에 포함되어 구현될 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
1 : 디스플레이 시스템
100 : 디스플레이장치
110 : 영상수신부
120 : 영상처리부
130 : 디스플레이부
140 : 제1통신부
150 : 제1저장부
160 : 제1제어부
200 : 입력장치
210 : 터치감지부
220 : 모션감지부
230 : 버튼입력부
240 : 제2통신부
250 : 제2저장부
260 : 제2제어부

Claims (24)

  1. 디스플레이장치에 있어서,
    방송신호를 채널 별로 튜닝하는 튜너부와;
    영상을 표시하는 디스플레이부와;
    사용자의 제스처 입력을 감지하도록 적어도 하나의 감지부가 마련된 입력장치와 통신을 수행하는 통신부와;
    상기 입력장치의 상기 감지부를 통한 도형을 그리는 제1제스처 입력의 감지에 응답하여, 상기 감지된 제1제스처 입력의 도형에 대응하는 제1드로잉 오브젝트를 상기 디스플레이부에 표시하고, 상기 디스플레이장치에서 지원되는 복수의 커맨드 중에서 상기 제1제스처 입력의 도형에 대응하는 커맨드를 결정하고, 상기 결정된 커맨드에 대응하는 제1동작을 수행하며, 상기 제1제스처 입력의 도형에 대응하는 커맨드는 검색 명령을 포함하고, 상기 제1동작은 상기 디스플레이부에 검색창을 생성하는 동작을 포함하고,
    상기 입력장치의 상기 감지부를 통한 상기 검색창 내에서 문자 또는 숫자 중 적어도 하나를 그리는 제2제스처 입력의 감지에 응답하여, 상기 검색창에 상기 감지된 제2제스처 입력의 문자 또는 숫자에 대응하는 제2드로잉 오브젝트를 표시하고, 상기 디스플레이장치에서 지원되는 복수의 커맨드 중에서 상기 제2제스처 입력의 문자 또는 숫자 중 적어도 하나에 대응하는 커맨드를 결정하고, 상기 결정된 커맨드에 대응하는 제2동작을 수행하며, 상기 제2동작은 상기 디스플레이부에 검색결과를 표시하는 동작을 포함하는 적어도 하나의 프로세서를 포함하는 것을 특징으로 하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 제1드로잉 오브젝트는 상기 디스플레이장치에서 지원되는 기능, 저장된 컨텐츠, 및 상기 튜너부를 통해 수신한 방송신호에 포함된 선택 가능한 방송채널 중 적어도 하나에 대한 내부검색과, 인터넷 또는 통신으로 연결 가능한 외부장치에 대한 외부검색 중 어느 하나를 위한 검색창을 포함하는 것을 특징으로 하는 디스플레이장치.
  3. 제2항에 있어서,
    상기 프로세서는, 상기 제2드로잉 오브젝트의 모양, 색상 및 상기 제2제스처 입력 중 적어도 하나에 기초하여 상기 내부검색과 상기 외부검색 중 어느 하나를 수행하는 것을 특징으로 하는 디스플레이장치.
  4. 제1항에 있어서,
    상기 제2제스처 입력은 검색창에 입력되는 접두어를 포함하며,
    상기 프로세서는, 상기 접두어에 대응되도록 내부검색 또는 외부검색을 수행하고, 상기 검색결과를 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이장치.
  5. 제4항에 있어서,
    상기 프로세서는, 상기 검색결과에 대응하는 리스트를 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 입력장치에는 복수의 버튼이 더 마련되고,
    상기 제스처 입력은 상기 복수의 버튼 중 어느 하나에 대한 사용자의 선택을 포함하며,
    상기 프로세서는, 상기 사용자에 의해 선택된 버튼을 식별하고, 상기 식별된 버튼에 대응하는 드로잉 오브젝트가 표시되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이장치.
  7. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제스처 입력에 대응하는 상기 커맨드의 종류가 매칭된 테이블이 저장되는 저장부를 더 포함하며,
    상기 제스처 입력 별로 매칭되는 상기 커맨드의 종류는 사용자에 의해 설정 가능한 것을 특징으로 하는 디스플레이장치.
  8. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 감지부는, 사용자의 터치입력을 감지하는 터치감지부와 상기 입력장치의 움직임을 감지하는 모션감지부 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이장치.
  9. 디스플레이장치의 제어방법에 있어서,
    사용자의 제스처 입력을 감지하는 적어도 하나의 감지부가 마련된 입력장치로부터 제스처 입력을 수신하는 단계와;
    상기 입력장치의 상기 감지부를 통한 도형을 그리는 제1제스처 입력의 감지에 응답하여, 상기 감지된 제1제스처 입력의 도형에 대응하는 제1드로잉 오브젝트를 디스플레이부에 표시하는 단계와;
    상기 디스플레이장치에서 지원되는 복수의 커맨드 중에서 상기 제1제스처 입력의 도형에 대응하는 커맨드를 결정하는 단계와;
    상기 제1제스처 입력의 도형에 대응하는 커맨드는 검색 명령을 포함하고, 상기 결정된 커맨드에 대응하여 상기 디스플레이부에 검색창을 생성하는 제1동작을 수행하는 단계를 포함하며,
    상기 입력장치의 상기 감지부를 통한 상기 검색창 내에서 문자 또는 숫자 중 적어도 하나를 그리는 제2제스처 입력의 감지에 응답하여, 상기 감지된 제2제스처 입력의 문자 또는 숫자에 대응하는 제2드로잉 오브젝트를 상기 디스플레이부에 표시하는 단계와;
    상기 디스플레이장치에서 지원되는 복수의 커맨드 중에서 상기 제2제스처 입력의 문자 또는 숫자 중 적어도 하나에 대응하는 커맨드를 결정하는 단계와;
    상기 결정된 커맨드에 대응하여 상기 디스플레이부에 검색결과를 포함하는 제2동작을 수행하는 단계를 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  10. 제9항에 있어서,
    상기 제1드로잉 오브젝트는 상기 디스플레이장치에서 지원되는 기능, 저장된 컨텐츠, 및 튜너부를 통해 수신한 방송신호에 포함된 선택 가능한 방송채널 중 적어도 하나에 대한 내부검색과, 인터넷 또는 통신으로 연결 가능한 외부장치에 대한 외부검색 중 어느 하나를 위한 검색창을 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  11. 제10항에 있어서,
    상기 제2동작을 수행하는 단계는, 상기 제2드로잉 오브젝트의 모양, 색상 및 상기 제2제스처 입력 중 적어도 하나에 기초하여 상기 내부검색과 상기 외부검색 중 어느 하나를 수행하는 단계를 포함하는 디스플레이장치의 제어방법.
  12. 제9항에 있어서,
    상기 제2제스처 입력은 검색창에 입력되는 접두어를 포함하며,
    상기 제2동작을 수행하는 단계는, 상기 접두어에 대응되도록 내부검색 또는 외부검색을 수행하고, 상기 검색결과를 표시하도록 상기 디스플레이부를 제어하는 단계를 포함하는 디스플레이장치의 제어방법.
  13. 제12항에 있어서,
    상기 검색결과에 대응하는 리스트를 표시하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  14. 제9항 내지 제13항 중 어느 한 항에 있어서,
    상기 입력장치에는 복수의 버튼이 더 마련되고,
    상기 제스처 입력은 상기 복수의 버튼 중 어느 하나에 대한 사용자의 선택을 포함하며,
    상기 제1드로잉 오브젝트를 상기 디스플레이부에 표시하는 단계 또는 상기 제2드로잉 오브젝트를 상기 디스플레이부에 표시하는 단계 중 적어도 하나는, 상기 사용자에 의해 선택된 버튼을 식별하고, 상기 식별된 버튼에 대응하는 제1드로잉 오브젝트 또는 제2드로잉 오브젝트를 표시하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  15. 제9항 내지 제13항 중 어느 한 항에 있어서,
    상기 제스처 입력 별로 매칭되는 상기 커맨드의 종류를 설정 또는 변경하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  16. 제9항 내지 제13항 중 어느 한 항에 있어서,
    상기 제스처 입력을 수신하는 단계는, 사용자의 터치입력을 감지하는 터치감지부와 상기 입력장치의 움직임을 감지하는 모션감지부 중 적어도 하나에서 감지된 상기 제스처 입력을 수신하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
KR1020150101117A 2015-07-16 2015-07-16 디스플레이장치 및 그 제어방법 KR102350382B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150101117A KR102350382B1 (ko) 2015-07-16 2015-07-16 디스플레이장치 및 그 제어방법
US15/209,326 US10386932B2 (en) 2015-07-16 2016-07-13 Display apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150101117A KR102350382B1 (ko) 2015-07-16 2015-07-16 디스플레이장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20170009302A KR20170009302A (ko) 2017-01-25
KR102350382B1 true KR102350382B1 (ko) 2022-01-13

Family

ID=57775820

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150101117A KR102350382B1 (ko) 2015-07-16 2015-07-16 디스플레이장치 및 그 제어방법

Country Status (2)

Country Link
US (1) US10386932B2 (ko)
KR (1) KR102350382B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10171862B2 (en) * 2017-02-16 2019-01-01 International Business Machines Corporation Interactive video search and presentation
KR102409947B1 (ko) * 2017-10-12 2022-06-17 삼성전자주식회사 디스플레이 장치와 사용자 단말 장치 및 이를 포함하는 디스플레이 시스템
US20210352366A1 (en) * 2020-04-28 2021-11-11 Arris Enterprises Llc Enhanced remote-control of a digital media system
CN113676709B (zh) * 2020-05-14 2023-10-27 聚好看科技股份有限公司 智能投影设备及多屏显示方法
CN112698723B (zh) * 2020-12-29 2023-08-25 维沃移动通信（杭州）有限公司 支付方法、装置及可穿戴设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8269728B2 (en) 2007-06-07 2012-09-18 Smart Technologies Ulc System and method for managing media data in a presentation system
KR101472842B1 (ko) * 2007-09-11 2014-12-16 삼성전자 주식회사 움직임을 인식하는 장치 및 방법
KR102065047B1 (ko) * 2012-10-31 2020-02-11 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR102097640B1 (ko) * 2013-03-08 2020-04-06 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US20140267019A1 (en) * 2013-03-15 2014-09-18 Microth, Inc. Continuous directional input method with related system and apparatus
PL3011415T3 (pl) * 2013-06-19 2019-05-31 Nokia Technologies Oy Wprowadzane elektroniczne trasowanie
WO2015046649A1 (ko) * 2013-09-27 2015-04-02 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
US10234988B2 (en) * 2013-09-30 2019-03-19 Blackberry Limited User-trackable moving image for control of electronic device with touch-sensitive display
CN105683890B (zh) * 2013-10-28 2019-06-28 诺基亚技术有限公司 串珠显示装置上显示的内容项目与标签之间的关联
KR102115186B1 (ko) * 2013-11-22 2020-05-27 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9372571B2 (en) * 2014-02-13 2016-06-21 Microsoft Technology Licensing, Llc Computing device canvas invocation and dismissal
GB201408258D0 (en) * 2014-05-09 2014-06-25 British Sky Broadcasting Ltd Television display and remote control
KR102147329B1 (ko) * 2014-06-17 2020-08-24 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
US9811555B2 (en) * 2014-09-27 2017-11-07 Intel Corporation Recognition of free-form gestures from orientation tracking of a handheld or wearable device
US9880733B2 (en) * 2015-02-17 2018-01-30 Yu Albert Wang Multi-touch remote control method
KR20170110141A (ko) * 2015-02-23 2017-10-10 미쓰비시덴키 가부시키가이샤 데이터 작성 장치, 데이터 작성 방법 및 데이터 작성 프로그램
US20160373804A1 (en) * 2015-06-17 2016-12-22 Opentv, Inc. Systems and methods of displaying and navigating content based on dynamic icon mapping

Also Published As

Publication number Publication date
US10386932B2 (en) 2019-08-20
KR20170009302A (ko) 2017-01-25
US20170017304A1 (en) 2017-01-19

Similar Documents

Publication Publication Date Title
KR101621524B1 (ko) 디스플레이장치 및 그 제어방법
US10120454B2 (en) Gesture recognition control device
US9007299B2 (en) Motion control used as controlling device
KR102169521B1 (ko) 입력장치, 디스플레이장치 및 그 제어방법
KR100980741B1 (ko) 디스플레이 장치를 제어하기 위한 원격 제어 장치 및 원격 제어 방법
KR102350382B1 (ko) 디스플레이장치 및 그 제어방법
US9811303B2 (en) Display apparatus, multi display system including the same, and control method thereof
US20100313154A1 (en) Method for displaying screen, method for generating screen, method for operating application, and electronic device using the same
US20120274547A1 (en) Techniques for content navigation using proximity sensing
US11770576B2 (en) Grid system and method for remote control
US20140354553A1 (en) Automatically switching touch input modes
US20160041709A1 (en) User terminal apparatus and control method thereof
CN103853355A (zh) 电子设备操作方法及其操控设备
US9374547B2 (en) Input apparatus, display apparatus, and control methods thereof
US20200142495A1 (en) Gesture recognition control device
KR20150031986A (ko) 디스플레이장치 및 그 제어방법
CN107533424A (zh) 用户终端设备及其控制方法
KR20110134810A (ko) 디스플레이 장치를 제어하기 위한 원격 제어 장치 및 원격 제어 방법
US20160142662A1 (en) Display apparatus and control method thereof
KR101713784B1 (ko) 전자 장치 및 그 제어 방법
US20160124606A1 (en) Display apparatus, system, and controlling method thereof
US9654720B2 (en) Display apparatus and method for controlling the same
KR20210023434A (ko) 디스플레이장치 및 그 제어방법
US20170285767A1 (en) Display device and display method
US20160227151A1 (en) Display apparatus, remote control apparatus, remote control system and control method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right