KR20140062315A - 디스플레이 디바이스 및 그 제어 방법 - Google Patents

디스플레이 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR20140062315A
KR20140062315A KR20120128880A KR20120128880A KR20140062315A KR 20140062315 A KR20140062315 A KR 20140062315A KR 20120128880 A KR20120128880 A KR 20120128880A KR 20120128880 A KR20120128880 A KR 20120128880A KR 20140062315 A KR20140062315 A KR 20140062315A
Authority
KR
South Korea
Prior art keywords
control interface
user
user interface
portable device
control
Prior art date
Application number
KR20120128880A
Other languages
English (en)
Other versions
KR101984590B1 (ko
Inventor
김지환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020120128880A priority Critical patent/KR101984590B1/ko
Priority to US13/722,652 priority patent/US8560976B1/en
Priority to PCT/KR2012/011836 priority patent/WO2014077460A1/en
Publication of KR20140062315A publication Critical patent/KR20140062315A/ko
Application granted granted Critical
Publication of KR101984590B1 publication Critical patent/KR101984590B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226—Reprogrammable remote control devices
    • H04N21/42227—Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys
    • H04N21/42228—Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys the reprogrammable keys being displayed on a display screen in order to reduce the number of keys on the remote control device itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 디스플레이 디바이스에 대한 것으로, 특히 사용자의 시선과 터치 인풋에 의해 디스플레이된 사용자 인터페이스가 제어되는 디바이스 및 그의 제어 방법에 대한 것이다. 본 발명의 디스플레이 디바이스 제어 방법은 계층적 사용자 인터페이스를 포함하며, 적어도 하나의 컨트롤 인터페이스를 디스플레이하는 단계, 디스플레이된 적어도 하나의 컨트롤 인터페이스 중 하나를 선택하기 위한 사용자의 시선을 디텍팅하는 단계, 상기 사용자의 시선에 의해 선택된 컨트롤 인터페이스의 하위 컨트롤 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 상기 포터블 디바이스에 송신하고, 포터블 디바이스로부터 선택된 컨트롤 인터페이스에 대한 컨트롤 시그널을 수신하는 단계 및 수신된 컨트롤 시그널을 수행하는 단계를 포함한다. 여기서, 포터블 디바이스는 디스플레이 디바이스로부터 송신된 정보를 수신하고, 정보에 따라 하위 컨트롤 인터페이스를 택타일 피드백으로 사용자에게 제공하고, 하위 컨트롤 인터페이스에 대한 터치 인풋을 디텍팅하고, 디텍팅된 터치 인풋에 따른 선택된 컨트롤 인터페이스에 대한 컨트롤 시그널을 생성하여 디스플레이 디바이스에 송신할 수 있다.

Description

디스플레이 디바이스 및 그 제어 방법{Display device and controlling method thereof}
본 발명은 디스플레이 디바이스에 대한 것으로, 특히 사용자의 시선과 터치 인풋에 의해 디스플레이된 사용자 인터페이스가 제어되는 디바이스 및 그의 제어 방법에 대한 것이다.
최근 디스플레이 디바이스가 대형화됨에 따라 사용자는 원거리에서 디스플레이 디바이스를 시청하게 되었다. 사용자는 리모트 컨트롤러를 이용하여 텔레비젼과 같은 대형 디스플레이 디바이스를 원거리에서 제어할 수 있다. 리모트 컨트롤러는 적외선이나 블루투스 등의 통신 수단을 이용하여 디스플레이 디바이스와 연결될 수 있다.
하지만 기존의 리모트 컨트롤러는 디스플레이 디바이스가 제공하는 다양한 기능을 제어하기 위한 각 기능별로 제어 버튼을 할당하였다. 따라서 사용자가 원하는 기능을 수행하기 위해서는 리모트 컨트롤러에서 해당 제어 버튼을 시선으로 확인하고 동작시켜야하는 번거로움이 있었다. 사용자는 디스플레이 디바이스를 제어할 때마다 디스플레이된 컨텐츠를 시청하는 대신 리모트 컨트롤러를 응시해야 했다. 따라서 원격제어되는 디스플레이 디바이스는 사용자가 디스플레이 디바이스에 디스플레이된 컨텐츠를 연속성 있게 시청하면서 동시에 디스플레이 디바이스를 제어할 수 있는 방법을 제공할 필요가 있다.
본 발명은, 원격 제어되는 디스플레이 디바이스 및 그의 제어 방법을 제공하고자 한다. 특히, 본 발명에서 디스플레이 디바이스는 사용자의 시선과 터치 인풋을 이용하여 제어되는 사용자 인터페이스를 제공할 필요가 있다.
본 발명의 일 실시예에 따른 디스플레이 디바이스는 계층적 사용자 인터페이스를 포함하고, 적어도 하나의 컨트롤 인터페이스를 디스플레이하는 디스플레이 유닛, 디스플레이된 적어도 하나의 컨트롤 인터페이스 중 하나를 선택하기 위한 사용자의 시선을 디텍팅하는 센서유닛, 사용자의 시선에 의해 선택된 컨트롤 인터페이스의 하위 컨트롤 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 포터블 디바이스에 송신하고, 포터블 디바이스로부터 송신된 컨트롤 인터페이스에 대한 컨트롤 시그널을 수신하는 커뮤니케이션 유닛 및 수신된 컨트롤 시그널을 수행하는 컨트롤러를 포함하고, 여기서, 포터블 디바이스는 디스플레이 디바이스로부터 송신된 하위 컨트롤 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 수신하고, 수신된 하위 컨트롤 인터페이스를 포터블 디바이스에 제공하기 위한 정보에 따라 하위 컨트롤 인터페이스를 택타일 피드백으로 사용자에게 제공하고, 하위 컨트롤 인터페이스에 대한 터치 인풋을 디텍팅하고, 디텍팅된 터치 인풋에 따른 컨트롤 시그널을 생성하여 디스플레이 디바이스에 송신할 수 있다.
또한 본 발명의 일 실시예에 따른 디스플레이 디바이스 제어 방법은 계층적 사용자 인터페이스를 포함하고, 적어도 하나의 컨트롤 인터페이스를 디스플레이하는 단계, 디스플레이된 적어도 하나의 컨트롤 인터페이스 중 하나를 선택하기 위한 사용자의 시선을 디텍팅하는 단계, 사용자의 시선에 의해 선택된 컨트롤 인터페이스의 하위 컨트롤 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 포터블 디바이스에 송신하고, 포터블 디바이스로부터 송신된 컨트롤 인터페이스에 대한 컨트롤 시그널을 수신하는 단계 및 수신된 컨트롤 시그널을 수행하는 단계를 포함하고, 여기서, 포터블 디바이스는 디스플레이 디바이스로부터 송신된 하위 컨트롤 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 수신하고, 수신된 하위 컨트롤 인터페이스를 포터블 디바이스에 제공하기 위한 정보에 따라 하위 컨트롤 인터페이스를 택타일 피드백으로 사용자에게 제공하고, 하위 컨트롤 인터페이스에 대한 터치 인풋을 디텍팅하여 디텍팅된 터치 인풋에 따른 컨트롤 시그널을 생성하여 디스플레이 디바이스에 송신할 수 있다.
본 발명에 따르면, 디스플레이 디바이스는 사용자가 컨텐츠를 연속성 있게 시청하면서 디스플레이 디바이스를 제어할 수 있는 사용자 인터페이스를 제공할 수 있다.
또한, 본 발명에 따르면, 디스플레이 디바이스는 계층적 컨트롤 사용자 인터페이스의 상위, 하위 컨트롤 사용자 인터페이스를 동시에 제공할 수 있다.
또한, 본 발명에 따르면, 디스플레이 디바이스는 사용자의 시선을 인식하여 사용자가 제어하고자 하는 기능의 인터페이스를 제공할 수 있다.
또한, 본 발명에 따르면, 디스플레이 디바이스는 디스플레이 디바이스와 연결된 포터블 디바이스를 이용하여 사용자에게 택타일 인터페이스를 제공할 수 있다.
또한, 본 발명에 따르면, 디스플레이 디바이스는 사용자의 시선 및 터치 인풋에 의한 컨트롤 시그널에 따라 제어될 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자의 시선을 인식하여 컨트롤 사용자 인터페이스를 제공하는 방법을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 계층적 컨트롤 사용자 인터페이스를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 하위 컨트롤 사용자 인터페이스에 의한 택타일 버튼을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 포터블 디바이스를 이용한 컨트롤 사용자 인터페이스를 제공하는 방법을 나타낸 도면이다.
도 5는 본 발명의 다른 실시예에 따른 포터블 디바이스를 이용한 컨트롤 사용자 인터페이스를 제공하는 방법을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 시선 인디케이터를 디스플레이하는 방법을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 시선에 따라 이동하는 택타일 컨트롤 사용자 인터페이스를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 터치에 따라 이동하는 택타일 컨트롤 사용자 인터페이스를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 터치 인디케이터를 디스플레이하는 방법을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 하위 컨트롤 사용자 인터페이스를 그룹 단위로 제공하는 방법을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 디스플레이 디바이스를 나타낸 블록도이다.
도 12은 본 발명의 일 실시예에 따른 포터블 디바이스를 나타낸 블록도이다.
도 13은 본 발명의 일 실시예에 따른 디스플레이 디바이스의 동작 방법을 나타낸 순서도이다.
도 14는 본 발명의 일 실시예에 따른 포터블 디바이스의 동작 방법을 나타낸 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 발명에서 디스플레이 디바이스는 사용자가 디스플레이 디바이스를 제어할 수 있도록 사용자 인터페이스를 제공할 수 있다. 사용자 인터페이스는 제공되는 방법에 따라 사용자에게 시각적으로 제공되는 비주얼 인터페이스와 사용자에게 촉각을 통해 제공되는 택타일 인터페이스를 포함할 수 있다. 택타일 인터페이스는 택타일 버튼을 포함할 수 있으며, 사용자는 택타일 피드백을 통해 택타일 버튼을 감지하고 택타일 버튼을 터치하거나 프레스하여 해당 택타일 버튼에 대응하는 기능을 실행할 수 있다. 또한 사용자 인터페이스는 기능에 따라 사용자가 선택하여 디스플레이 디바이스를 제어할 수 있는 컨트롤 인터페이스와 정보를 표시하기 위한 인포메이션 인터페이스를 포함할 수 있다. 또한 사용자 인터페이스의 구조는 계층적 구조를 가질 수 있으며 사용자 인터페이스는 상위 인터페이스와 하위 인터페이스를 포함할 수 있다. 실시예에 따라 상위 인터페이스와 하위 인터페이스는 동일한 사용자 인터페이스를 포함할 수 있다. 예를 들어, 사용자 인터페이스를 미러링하여 두 개의 디바이스에서 제공하는 경우, 미러링의 대상이 된 사용자 인터페이스가 상위 인터페이스이고, 미러링의 결과인 사용자 인터페이스가 하위 인터페이스가 될 수 있다. 또한 하위 인터페이스는 상위 인터페이스로부터 추출된 부분적인 인터페이스일 수 있다. 아래에서, 사용자 인터페이스는 간단히 인터페이스로 칭할 수 있으며, 예를 들어 컨트롤 사용자 인터페이스는 컨트롤 인터페이스라고도 칭할 수 있다. 또한 사용자 인터페이스는 두 개 이상의 특징을 조합하여 명명될 수 있다. 예를 들어 계층적 구조에서 하위에 속하고, 택타일 피드백에 의해 제공되며, 디바이스를 제어하는 사용자 인터페이스는 택타일 하위 컨트롤 사용자 인터페이스로 칭할 수 있다.
본 발명에서 디스플레이 디바이스는 디스플레이 유닛을 포함하여 사용자에게 사용자 인터페이스를 제공하는 전자기기일 수 있다. 디스플레이 디바이스는 HMD(Head Mounted Displays), 노트북, 스마트패드, 태블릿 PC(personal computer), 텔레비젼 또는 스마트 테이블 등 디스플레이 유닛을 구비한 전자기기를 포함할 수 있다. 디스플레이 디바이스는 포터블 디바이스와 연결되어 사용자 인터페이스 정보를 송수신할 수 있다. 포터블 디바이스는 디스플레이 디바이스와 연결되어 사용자 인터페이스 정보를 송수신할 수 있다. 포터블 디바이스는 택타일 피드백 유닛을 포함하여 사용자에게 택타일 사용자 인터페이스를 제공하는 전자기기일 수 있다. 포터블 디바이스는 택타일 피드백 유닛을 포함하는 스마트폰, PDA(personal digital assistant), 셀룰러폰, MP3 뮤직 플레이어, 노트북, 스마트패드, 리모콘 또는 태블릿 PC(personal computer)를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자의 시선을 인식하여 컨트롤 사용자 인터페이스를 제공하는 방법을 나타낸 도면이다. 사용자는 디스플레이 디바이스(10)를 시청하면서 포터블 디바이스(11)를 이용하여 디스플레이 디바이스(10)를 제어할 수 있다. 디스플레이 디바이스(10)는 컨트롤 사용자 인터페이스를 디스플레이하여 사용자에게 제공할 수 있으며, 사용자는 디스플레이 디바이스에 디스플레이된 컨트롤 사용자 인터페이스를 시선으로 선택함으로써 해당 컨트롤 사용자 인터페이스를 이용하여 디스플레이 디바이스를 제어할 수 있다. 디스플레이 디바이스(10)는 사용자가 시선으로 선택한 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 포터블 디바이스에 전송할 수 있다. 포터블 디바이스는 수신된 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보에 기초하여 사용자가 시선으로 선택한 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스를 사용자에게 제공할 수 있다. 도 1에서 디스플레이 디바이스(10)는 텔레비젼으로 도시되었으나 위에서 언급하였듯이 HMD(Head Mounted Displays), 노트북, 스마트패드, 태블릿 PC(personal computer), 또는 스마트 테이블 등 디스플레이 유닛을 포함하는 전자 디바이스가 될 수 있다.
본 발명의 디스플레이 디바이스(10)는 컨트롤 사용자 인터페이스를 디스플레이할 수 있다. 컨트롤 사용자 인터페이스는 볼륨 컨트롤 사용자 인터페이스, 채널 컨트롤 사용자 인터페이스, 플레이백 컨트롤 사용자 인터페이스 및 메뉴 컨트롤 사용자 인터페이스 중 적어도 하나를 포함할 수 있다. 본 발명에서 컨트롤 사용자 인터페이스는 상술한 컨트롤 사용자 인터페이스 외에도 디스플레이 디바이스를 제어하는 다양한 사용자 인터페이스를 포함할 수 있다. 도 1에 도시된 바와 같이, 디스플레이 디바이스는 볼륨 컨트롤 사용자 인터페이스(12) 및 채널 컨트롤 사용자 인터페이스(13)를 디스플레이하여 사용자가 디스플레이 디바이스(10)에 디스플레이되는 컨텐츠의 볼륨과 채널을 제어할 수 있게 할 수 있다.
디스플레이 디바이스(10)는 사용자의 시선이 선택한 컨트롤 사용자 인터페이스에 사용자가 시선으로 선택하고 있음을 표시하는 인디케이터(14)를 디스플레이할 수 있다. 컨트롤 사용자 인터페이스를 디스플레이한 디스플레이 디바이스(10)는 사용자의 시선을 인식할 수 있다. 디스플레이 디바이스(10)는 사용자의 눈동자를 트랙킹하여 사용자의 시선이 디스플레이 유닛 상의 어느 영역을 응시하는지 디텍팅할 수 있다. 디스플레이 디바이스는 위에서 디스플레이한 복수의 컨트롤 사용자 인터페이스 중 사용자가 시선으로 선택하는 컨트롤 사용자 인터페이스를 결정할 수 있다. 디스플레이 디바이스는 사용자가 시선으로 선택한 것으로 결정된 컨트롤 사용자 인터페이스에 사용자가 시선으로 선택하고 있음을 표시하는 인디케이터(14)를 디스플레이할 수 있다. 인디케이터(14)는 컨트롤 사용자 인터페이스 주변에 디스플레이되거나 사용자가 시선으로 선택한 컨트롤 사용자 인터페이스 상에 디스플레이 될 수 있다.
디스플레이 디바이스(10)는 사용자가 시선으로 선택한 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 포터블 디바이스(11)에 전송할 수 있다. 하위 컨트롤 사용자 인터페이스에 대한 정보는 사용자의 시선에 의해 선택된 컨트롤 인터페이스에 대한 정보를 포함할 수 있다. 또한 하위 컨트롤 사용자 인터페이스에 대한 정보는 하위 컨트롤 사용자 인터페이스의 종류, 모양 및 크기에 대한 정보를 포함할 수 있다. 또한 하위 컨트롤 사용자 인터페이스에 대한 정보는 포터블 디바이스에 저장된 하위 컨트롤 사용자 인터페이스를 액티베이트하는 정보를 포함할 수 있다.
포터블 디바이스(11)는 디스플레이 디바이스(10)로부터 수신한 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 이용하여 사용자에게 하위 컨트롤 사용자 인터페이스(15)를 제공할 수 있다. 예를 들어 사용자가 시선으로 선택한 컨트롤 사용자 인터페이스가 채널 컨트롤 사용자 인터페이스(13)인 경우, 포터블 디바이스(11)는 채널을 변경할 수 있는 채널 업, 다운 버튼을 제공할 수 있다. 포터블 디바이스는 사용자에게 하위 컨트롤 사용자 인터페이스(15)를 제공함에 있어, 택타일 피드백을 이용하여 택타일 버튼을 제공할 수 있다. 포터블 디바이스는 하위 컨트롤 사용자 인터페이스의 종류, 모양 및 크기에 따라 택타일 버튼을 제공할 수 있다. 이를 통해, 포터블 디바이스는 사용자가 촉감만으로도 하위 컨트롤 사용자 인터페이스의 기능을 파악할 수 있게 할 수 있다.
사용자는 포터블 디바이스(11)의 하위 컨트롤 사용자 인터페이스(15)의 택타일 버튼을 이용하여 사용자가 시선으로 선택한 컨트롤 사용자 인터페이스에 대해 디스플레이 디바이스(10)를 제어할 수 있다. 즉, 사용자가 디스플레이 디바이스(10)의 채널 컨트롤 사용자 인터페이스(13)를 시선으로 선택했다면, 사용자는 포터블 디바이스에 제공된 채널 업, 다운 버튼을 포함하는 하위 컨트롤 사용자 인터페이스를 이용하여 디스플레이 디바이스(10)의 채널을 컨트롤할 수 있다.
도 2는 본 발명의 일 실시예에 따른 계층적 컨트롤 사용자 인터페이스를 나타낸 도면이다. 계층적 컨트롤 사용자 인터페이스는 상위 컨트롤 사용자 인터페이스와 하위 컨트롤 사용자 인터페이스를 포함할 수 있다. 상위 컨트롤 사용자 인터페이스는 디스플레이 디바이스의 기능을 선택하는 사용자 인터페이스가 될 수 있다. 상위 컨트롤 사용자 인터페이스는 채널 컨트롤, 볼륨 컨트롤, 플레이백 컨트롤 및 메뉴 컨트롤 중 적어도 하나의 사용자 인터페이스를 포함할 수 있다. 각 상위 컨트롤 사용자 인터페이스는 적어도 하나 이상의 하위 컨트롤 사용자 인터페이스를 포함할 수 있다. 채널 컨트롤 사용자 인터페이스는 채널을 컨트롤하는 채널 업, 다운 인터페이스를 포함할 수 있다. 여기서 채널 업, 다운 인터페이스는 채널 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스가 될 수 있다. 볼륨 컨트롤 사용자 인터페이스는 볼륨을 컨트롤하는 볼륨 업, 다운 및 음소거 인터페이스를 포함할 수 있다. 여기서, 볼륨 업, 다운 및 음소거 인터페이스는 볼륨 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스가 될 수 있다. 플레이백 컨트롤 사용자 인터페이스는 디스플레이된 컨텐츠에 대한 플레이, 리와인드, 일시정지, 패스트포워드 및 정지 인터페이스 중 적어도 하나를 포함할 수 있다. 여기서, 플레이, 리와인드, 일시정지, 패스트포워드 및 정지 인터페이스는 플레이백 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스가 될 수 있다. 메뉴 컨트롤 사용자 인터페이스는 디스플레이된 다양한 메뉴를 검색하여 선택할 수 있도록 업, 다운, 레프트, 라이트 및 엔터 인터페이스 중 적어도 하나를 포함할 수 있다. 여기서, 업, 다운, 레프트, 라이트 및 엔터 인터페이스는 메뉴 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스가 될 수 있다.
도 3은 본 발명의 일 실시예에 따른 하위 컨트롤 사용자 인터페이스에 의한 택타일 버튼을 나타낸 도면이다. 포터블 디바이스(11)는 디스플레이 디바이스로부터 수신된 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보에 따라 하위 컨트롤 사용자 인터페이스를 제공할 수 있다. 포터블 디바이스는 택타일 피드백을 이용하여 하위 컨트롤 사용자 인터페이스에 해당하는 택타일 버튼을 생성할 수 있다. 택타일 버튼은 하위 컨트롤 사용자 인터페이스의 위치, 모양 및 크기에 대응하여 생성될 수 있다.
포터블 디바이스(11)는 채널 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스에 대응하는 택타일 버튼을 생성할 수 있다. 예를 들어, 도 3의 좌측상단과 같이 포터블 디바이스(11)는 채널 업, 다운 인터페이스(31)를 각각 삼각형과 역삼각형 모양의 택타일 버튼으로 사용자에게 제공할 수 있다.
포터블 디바이스(11)는 볼륨 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스에 대응하는 택타일 버튼을 생성할 수 있다. 예를 들어, 도 3의 우측상단과 같이 포터블 디바이스(11)는 볼륨 업, 다운 및 음소거 인터페이스(32)를 각각 플러스, 마이너스 및 스탑 모양의 택타일 버튼으로 사용자에게 제공할 수 있다.
포터블 디바이스(11)는 플레이백 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스에 대응하는 택타일 버튼을 생성할 수 있다. 예를 들어, 도 3의 좌측하단과 같이 포터블 디바이스(11)는 플레이, 패스트포워드 및 리와인드 인터페이스(33)를 각각 택타일 버튼으로 사용자에게 제공할 수 있다.
포터블 디바이스(11)는 메뉴 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스에 대응하는 택타일 버튼을 생성할 수 있다. 예를 들어, 도 3의 우측하단과 같이 포터블 디바이스(11)는 레프트, 라이트 인터페이스(34), 업, 다운 인터페이스(35), 및 엔터(셀렉트) 인터페이스(36)를 각각 택타일 버튼으로 사용자에게 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 포터블 디바이스를 이용한 컨트롤 사용자 인터페이스를 제공하는 방법을 나타낸 도면이다. 본 실시예는 디스플레이 디바이스(10)에 디스플레이된 상위 사용자 인터페이스를 미러링하여 포터블 디바이스(11)에 하위 사용자 인터페이스로 제공하는 실시예이다. 디스플레이 디바이스(10)는 컨텐츠와 함께 컨트롤 사용자 인터페이스를 디스플레이할 수 있다. 컨트롤 사용자 인터페이스는 슬라이더 유저 인터페이스를 포함할 수 있다. 슬라이더 유저 인터페이스는 이동 가능한 슬라이더(40)과 바(bar)(41)를 포함할 수 있다. 디스플레이 디바이스(10)는 슬라이더 유저 인터페이스의 정보를 포터블 디바이스(11)에 송신할 수 있다. 포터블 디바이스는 수신된 슬라이더 유저 인터페이스의 정보에 대응하는 슬라이더 유저 인터페이스를 사용자에게 제공할 수 있다. 포터블 디바이스는 택타일 피드백을 이용하여 사용자가 촉감으로 느낄 수 있는 택타일 슬라이더 유저 인터페이스를 사용자에게 제공할 수 있다. 택타일 슬라이더 유저 인터페이스는 택타일 슬라이더(42)와 택타일 바(bar)(43)를 포함할 수 있다. 사용자는 포터블 디바이스(11)의 택타일 슬라이더(42)를 택타일 바(43) 상에서 이동시킴으로써 디스플레이 디바이스를 제어할 수 있다.
포터블 디바이스(11)는 사용자가 택타일 슬라이더(42)를 택타일 바(43)를 기준으로 좌측 영역에서 움직이는지, 또는 우측 영역에서 움직이는지에 따라 디스플레이 디바이스를 다르게 제어할 수 있다. 도 4에서는 택타일 슬라이더 유저 인터페이스를 세로 방향으로 도시하여 택타일 바(43)의 좌우 영역으로 구분했으나, 택타일 슬라이더 유저 인터페이스가 가로 방향으로 도시된 경우, 택타일 바의 상하 영역으로 구분할 수도 있다. 아래에서는 도 4에 도시된 바와 같이 좌우 영역으로 구분한 경우를 예로 들어 설명한다.
예를 들어, 사용자가 택타일 바(43)의 우측 영역에서 택타일 슬라이더(42)를 드래그할 때 디스플레이 디바이스(10)를 제어하는 속도를 1배속으로 제어할 수 있다. 또한 사용자가 택타일 슬라이더(42)를 택타일 바(43)의 좌측 영역에서 택타일 슬라이더(42)를 드래그할 때 디스플레이 디바이스(10)를 제어하는 속도를 2배속으로 제어할 수 있다. 만약 택타일 슬라이더 유저 인터페이스를 이용하여 컨텐츠의 재생 속도를 컨트롤하는 경우, 사용자가 택타일 바(43)의 우측 영역에서 택타일 슬라이더(42)를 드래그하면 컨텐츠를 1배속으로 재생하고, 좌측 영역에서 택타일 슬라이더(42)를 드래그하면 컨텐츠를 2배속으로 재생할 수 있다. 또한 만약 택타일 슬라이더 유저 인터페이스를 이용하여 컨텐츠의 볼륨을 컨트롤하는 경우, 사용자가 사용자가 택타일 바(43)의 우측 영역에서 택타일 슬라이더(42)를 드래그하면 컨텐츠의 볼륨을 1단계씩 조절하고, 좌측 영역에서 택타일 슬라이더(42)를 드래그하면 컨텐츠의 볼륨을 2단계씩 조절할 수 있다.
상술한 설명에서는 택타일 슬라이더 유저 인터페이스의 동작 방법에 대해 택타일 바(42)를 기준으로 터치 스크린을 양분하여 설명하였으나, 실시예에 따라서는 택타일 바(42) 상에서 드래그하는 경우, 택타일 바(42)의 우측 영역에서 드래그하는 경우, 택타일 바(42)의 좌측 영역에서 드래그하는 경우로 세 가지 영역으로 구분하여 동작할 수도 있다.
도 5는 본 발명의 다른 실시예에 따른 포터블 디바이스를 이용한 컨트롤 사용자 인터페이스를 제공하는 방법을 나타낸 도면이다. 본 실시예는 디스플레이 디바이스(10)에 디스플레이된 상위 사용자 인터페이스 중 일부를 추출하여 포터블 디바이스(11)에 하위 사용자 인터페이스로 제공하는 실시예이다. 디스플레이 디바이스(10)는 컨텐츠와 함께 컨트롤 사용자 인터페이스를 디스플레이할 수 있다. 컨트롤 사용자 인터페이스는 다양한 종류의 슬라이더 유저 인터페이스를 포함할 수 있다. 슬라이더 유저 인터페이스는 이동 가능한 슬라이더(51,54)와 바(bar)(52,55)를 포함할 수 있다. 디스플레이 디바이스(10)는 슬라이더 유저 인터페이스의 정보를 포터블 디바이스(11)에 송신할 수 있다. 포터블 디바이스는 수신된 슬라이더 유저 인터페이스의 정보에 대응하는 슬라이더 유저 인터페이스를 사용자에게 제공할 수 있다. 포터블 디바이스는 택타일 피드백을 이용하여 사용자가 촉감으로 느낄 수 있는 택타일 슬라이더 유저 인터페이스를 사용자에게 제공할 수 있다. 포터블 디바이스(11)는 디스플레이 디바이스(10)에 디스플레이된 슬라이더 유저 인터페이스로부터 추출된 슬라이더(51,54)만을 택타일 슬라이더 유저 인터페이스로 사용자에게 제공할 수 있다. 즉, 포터블 디바이스가 제공하는 택타일 슬라이더 유저 인터페이스는 바(bar)(52,54)를 제외한 택타일 슬라이더(53,56)만을 포함할 수 있다. 사용자는 포터블 디바이스(11)의 택타일 슬라이더(53,56)를 터치 스크린 상에서 이동시킴으로써 디스플레이 디바이스를 제어할 수 있다.
포터블 디바이스(11)는 택타일 슬라이더(53,56)를 사용자에게 제공함에 있어, 터치 스크린 상에서 사용자의 터치 인풋이 디텍팅된 영역에 택타일 슬라이더(53,56)를 제공할 수 있다. 도 5에서 포터블 디바이스는 택타일 슬라이더(53,56)를 터치 스크린의 중앙에 제공하는 것으로 도시되어 있으나, 실시예에 따라서 포터블 디바이스(11)는 사용자의 손가락이 터치 스크린의 어느 영역을 터치하고 있는지 디텍팅하여 해당 영역에 택타일 슬라이더(53,56)를 제공할 수 있다. 따라서 사용자는 자신의 손가락이 터치하고 있는 영역에서 즉각적으로 택타일 슬라이더(53,56)를 제어할 수 있는 장점이 있다. 이를 통해 사용자는 택타일 슬라이더(53,56)를 선택하기위해 별도의 택타일 슬라이더(53,56) 선택 동작을 하지 않아도 된다.
도 6은 본 발명의 일 실시예에 따른 시선 인디케이터를 디스플레이하는 방법을 나타낸 도면이다. 디스플레이 디바이스(10)는 사용자의 시선을 디텍팅하여 사용자가 디스플레이 디바이스(10)의 화면 중 어느 영역을 바라보고 있는지 표시할 수 있다. 예를 들어, 디스플레이 디바이스는 3개의 컨트롤 사용자 인터페이스(61, 62, 63)를 디스플레이할 수 있다. 이 중 사용자의 시선이 좌측 2개의 컨트롤 사용자 인터페이스(61, 62)를 선택하는 경우, 디스플레이 디바이스는 사용자의 시선을 디텍팅하고 사용자가 시선으로 선택하는 컨트롤 사용자 인터페이스(61, 62)에 대해 시선 인디케이터(64)를 디스플레이할 수 있다. 도 6에서는 컨트롤 사용자 인터페이스(61, 62)와 별도로 시선 인디케이터(64)를 디스플레이한 예를 설명하였으나, 실시예에 따라서는 컨트롤 사용자 인터페이스 자체를 변화시키는 시선 인디케이터를 이용하여 사용자의 시선이 응시하고 있음을 표시할 수도 있다. 사용자는 시선 인디케이터로부터 자신이 시선으로 선택하고 있는 컨트롤 사용자 인터페이스가 어느 것인지를 시각적으로 확인할 수 있다. 디스플레이 디바이스(10)는 사용자의 시선이 디텍팅되면 시선 인디케이터(64)를 디스플레이하고, 사용자가 시선으로 선택한 컨트롤 사용자 인터페이스(61, 62)의 정보를 포터블 디바이스(11)에 송신할 수 있다.
포터블 디바이스(11)는 디스플레이 디바이스로부터 수신한 컨트롤 사용자 인터페이스(61,62)의 정보에 대응하는 택타일 컨트롤 사용자 인터페이스(65, 66)를 제공할 수 있다. 따라서 사용자는 촉감을 이용하여 해당 택타일 컨트롤 사용자 인터페이스(65,66)를 감지하고 포터블 디바이스(11)를 통해 디스플레이 디바이스(10)를 제어할 수 있다.
결과적으로 사용자는 디스플레이 디바이스(10)의 컨텐츠를 계속 시청하면서 디스플레이 디바이스(10)에 디스플레이된 시선 인디케이터(64)를 통해 자신이 시선으로 선택하고 있는 컨트롤 사용자 인터페이스를 확인하고, 확인한 컨트롤 사용자 인터페이스를 포터블 디바이스(10)가 제공한 택타일 컨트롤 사용자 인터페이스(65,66)를 통해 디스플레이 디바이스(10)를 제어할 수 있다.
디스플레이 디바이스(10)는 사용자의 시선 범위 외에 위치한 컨트롤 사용자 인터페이스(63)의 정보도 함께 전송할 수 있다. 이 경우에 포터블 디바이스(11)는 사용자의 시선 범위 외에 위치한 컨트롤 사용자 인터페이스(63)에 대한 택타일 컨트롤 사용자 인터페이스를 미니-버전으로 사용자에게 제공할 수 있다. 즉, 포터블 디바입스(11)는 사용자의 시선 유무에 따라 제공하는 복수의 택타일 컨트롤 사용자 인터페이스의 크기를 제어하여 사용자가 촉각을 통해 복수의 택타일 컨트롤 사용자 인터페이스를 구별하도록 할 수 있다. 포터블 디바이스는 사용자의 시선에 의해 선택된 컨트롤 사용자 인터페이스를 제공하면서, 사용자의 시선이 응시하지 않은 컨트롤 사용자 인터페이스의 크기를 축소하여 택타일 컨트롤 사용자 인터페이스로 제공할 수 있다.
도 7은 본 발명의 일 실시예에 따른 시선에 따라 이동하는 택타일 컨트롤 사용자 인터페이스를 나타낸 도면이다. 디스플레이 디바이스(10)는 사용자의 시선이 이동하는 것을 센싱하여 사용자가 어느 컨트롤 사용자 인터페이스를 시선으로 선택하는지 디텍팅할 수 있다. 디스플레이 디바이스는 사용자의 시선이 이동함에 따라 포터블 디바이스(11)에 전송하는 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 변경하여 전송할 수 있다. 또한 포터블 디바이스(11)는 디스플레이 디바이스(10)로부터 변경되어 수신된 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 수신하여 사용자에게 제공하는 택타일 컨트롤 사용자 인터페이스를 변경하여 제공할 수 있다.
도 7과 같이 디스플레이 디바이스(10)는 컨트롤 사용자 인터페이스(71,72)를 디스플레이할 수 있다. 사용자는 제1 컨트롤 사용자 인터페이스(71)를 시선으로 선택하여 제1 컨트롤 사용자 인터페이스(71)를 이용하여 디스플레이 디바이스(10)를 제어할 수 있다. 여기서 디스플레이 디바이스(10)는 포터블 디바이스(11)에 제1 컨트롤 사용자 인터페이스(71)의 정보를 송신할 수 있다. 또한 사용자는 제2 컨트롤 사용자 인터페이스(72)를 이용하여 디스플레이 디바이스(10)를 제어하기 위해, 시선을 옮겨 제2 컨트롤 사용자 인터페이스(72)를 시선으로 선택할 수 있다. 디스플레이 디바이스(10)는 사용자의 시선이 제1 컨트롤 사용자 인터페이스(71)로부터 제2 컨트롤 사용자 인터페이스(72)로 이동하는 것을 디텍팅할 수 있다. 디스플레이 디바이스(10)는 사용자의 시선이 응시하는 컨트롤 사용자 인터페이스가 변경되는 경우, 포터블 디바이스(11)에 송신하는 제1 컨트롤 사용자 인터페이스(71)의 정보를 제2 컨트롤 사용자 인터페이스(72)의 정보로 변경하여 송신할 수 있다. 또한 디스플레이 디바이스(10)는 사용자의 시선이 이동하는 방향 또는 경로에 대한 정보도 포터블 디바이스(11)에 송신할 수 있다.
포터블 디바이스(11)는 사용자가 제1 컨트롤 사용자 인터페이스(71)를 시선으로 선택하는 경우, 디스플레이 디바이스(10)로부터 제1 컨트롤 사용자 인터페이스(71)의 정보를 수신하여 제1 택타일 컨트롤 사용자 인터페이스(73)를 사용자에게 제공할 수 있다. 포터블 디바이스(11)는 제1 택타일 컨트롤 사용자 인터페이스(73)를 사용자의 손가락(74)이 컨택트된 위치에 제공할 수 있다. 사용자는 택타일 피드백을 통해 자신의 손가락이 위치한 곳에 제1 택타일 컨트롤 사용자 인터페이스(73)가 제공되었음을 인지할 수 있다. 사용자의 시선이 이동됨에 따라 제2 택타일 컨트롤 사용자 인터페이스(72)의 정보를 수신하면, 포터블 디바이스(11)는 제2 택타일 컨트롤 사용자 인터페이스(75)를 사용자에게 제공할 수 있다. 포터블 디바이스(11)는 기존에 제공하였던 제1 택타일 컨트롤 사용자 인터페이스(73)의 위치를 이동시키면서 사용자의 손가락(74)이 컨택트된 위치에 제2 택타일 컨트롤 사용자 인터페이스(75)를 제공할 수 있다.
디스플레이 디바이스(10)로부터 수신된 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보는 컨트롤 사용자 인터페이스의 위치 정보를 포함할 수 있다. 따라서 포터블 디바이스(11)는 각 컨트롤 사용자 인터페이스의 위치 정보를 이용하여 제공하는 택타일 컨트롤 사용자 인터페이스를 변경할 수 있다. 예를 들어 도 7에 도시된 바와 같이, 제1 컨트롤 사용자 인터페이스(71)로부터 제2 컨트롤 사용자 인터페이스(72)로 사용자의 시선이 이동된 경우, 포터블 디바이스(11)는 제1 컨트롤 사용자 인터페이스(71)의 정보 및 제2 컨트롤 사용자 인터페이스(72)의 정보를 수신할 수 있다. 따라서 포터블 디바이스(11)는 각 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보에 포함된 위치 정보를 이용하여 제1 택타일 컨트롤 사용자 인터페이스(73)를 좌측으로 이동하면서, 제2 택타일 컨트롤 사용자 인터페이스(75)를 우측 사이드 영역으로부터 사용자의 손가락(74)이 컨택트된 위치로 이동시켜 제공할 수 있다.
또한 포터블 디바이스(11)는 사용자의 시선이 이동하는 방향 또는 경로에 대한 정보를 디스플레이 디바이스(10)로부터 수신하여 사용자에게 제공하는 택타일 컨트롤 사용자 인터페이스를 변경할 수 있다. 예를 들어, 포터블 디바이스(11)는 디스플레이 디바이스(10)로부터 사용자의 시선이 제1 컨트롤 사용자 인터페이스(71)로부터 우측으로 이동하여 제2 컨트롤 사용자 인터페이스(72)를 시선으로 선택한다는 사용자 시선 정보를 수신할 수 있다. 포터블 디바이스(11)는 제1, 제2 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보 및 사용자 시선 정보를 이용하여 제1 택타일 컨트롤 사용자 인터페이스(73)를 좌측으로 이동하면서, 제2 택타일 컨트롤 사용자 인터페이스(75)를 우측 사이드 영역으로부터 사용자의 손가락(74)이 컨택트된 위치로 이동시켜 제공할 수 있다. 결과적으로 사용자는 시선의 이동만으로 제2 택타일 컨트롤 사용자 인터페이스(75)를 손가락 터치 영역에 위치시킬 수 있으며, 이를 통해 디스플레이 디바이스(10)를 제어할 수 있다.
다른 실시예로, 포터블 디바이스는 사용자가 택타일 컨트롤 사용자 인터페이스를 이용하고 있는 동안에는 디스플레이 디바이스로부터 수신되는 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 바이패스할 수 있다. 이를 통해 사용자가 택타일 컨트롤 사용자 인터페이스를 이용하는 도중에 시선이 이동하여 다른 택타일 컨트롤 사용자 인터페이스로 변경되는 것을 방지할 수 있다.
다른 실시예로, 포터블 디바이스는 사용자의 터치 인풋이 디텍팅되면 사용자가 택타일 하위 컨트롤 사용자 인터페이스를 제어하고 있다는 정보를 디스플레이 디바이스에 송신할 수 있다. 이를 수신한 디스플레이 디바이스는 사용자 시선의 이동에 따라 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 갱신하는 것을 일시 정지할 수 있다.
도 8은 본 발명의 일 실시예에 따른 터치에 따라 이동하는 택타일 컨트롤 사용자 인터페이스를 나타낸 도면이다. 포터블 디바이스(11)는 디스플레이 디바이스(10)로부터 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 수신할 수 있다. 디스플레이 디바이스(10)는 사용자의 시선이 응시하고 있는 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보뿐만 아니라, 디스플레이 중인 다른 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보도 포터블 디바이스(11)로 송신할 수 있다. 사용자는 포터블 디바이스(11)의 제한된 스크린 영역에서 터치 인풋을 이용하여 현재 자신이 시선으로 선택하고 있는 컨트롤 사용자 인터페이스 뿐만 아니라 다른 컨트롤 사용자 인터페이스를 선택하여 디스플레이 디바이스(10)를 제어할 수 있다.
디스플레이 디바이스(10)는 복수의 컨트롤 사용자 인터페이스(81,82)를 디스플레이할 수 있다. 디스플레이 디바이스(10)는 사용자의 시선이 응시하고 있는 제1 컨트롤 사용자 인터페이스(81)의 정보뿐만 아니라 제1 컨트롤 사용자 인터페이스(81)의 주변에 위치한 제2 컨트롤 사용자 인터페이스(82)의 정보도 함께 포터블 디바이스로 전송할 수 있다. 여기서, 제1 컨트롤 사용자 인터페이스(81)의 정보는 사용자의 시선이 응시하고 있다는 정보를 포함할 수 있다.
포터블 디바이스(11)는 디스플레이 디바이스(10)로부터 제1 컨트롤 사용자 인터페이스(81)의 정보 및 제2 컨트롤 사용자 인터페이스(82)의 정보를 수신할 수 있다. 포터블 디바이스(11)는 사용자가 시선으로 선택하고 있는 제1 컨트롤 사용자 인터페이스(81)의 정보를 이용하여 제1 택타일 컨트롤 사용자 인터페이스(83)를 제공할 수 있다. 제1 택타일 컨트롤 사용자 인터페이스(83)는 사용자의 손가락(84)이 포터블 디바이스(11)와 컨택트한 영역에 제공될 수 있다. 포터블 디바이스(11)는 택타일 피드백 유닛을 이용한 택타일 피드백을 통해 사용자가 촉감을 이용하여 제1 택타일 컨트롤 사용자 인터페이스(83)를 감지할 수 있게 할 수 있다.
사용자가 제1 컨트롤 사용자 인터페이스(81)를 시선으로 선택하면서 그 우측에 있는 제2 컨트롤 사용자 인터페이스(82)를 이용하고자 하는 경우, 사용자는 포터블 디바이스(11)가 제공하는 제1 택타일 컨트롤 사용자 인터페이스(83)를 좌측으로 드래그하여 제2 택타일 컨트롤 사용자 인터페이스(85)를 이용할 수 있다. 포터블 디바이스(11)는 사용자의 드래그 터치 인풋에 따라 제1 택타일 컨트롤 사용자 인터페이스(83)를 좌측으로 이동시키고 제2 택타일 컨트롤 사용자 인터페이스(85)를 제공할 수 있다. 사용자는 제공된 제2 택타일 컨트롤 사용자 인터페이스(85)를 이용하여 디스플레이 디바이스(10)를 제어할 수 있다.
결과적으로 사용자는 컨트롤 사용자 인터페이스에 대한 사용자 시선의 이동 없이도 터치 인풋만으로 포터블 디바이스(11)에 제공된 제2 택타일 컨트롤 사용자 인터페이스(85)를 이용하여 디스플레이 디바이스(10)를 제어할 수 있다.
도 9는 본 발명의 일 실시예에 따른 터치 인디케이터를 디스플레이하는 방법을 나타낸 도면이다. 디스플레이 디바이스(10)는 복수의 컨트롤 사용자 인터페이스(91,92,93)를 디스플레이할 수 있다. 디스플레이 디바이스(10)는 사용자의 시선을 디텍팅하여 사용자의 시선 범위 내에 포함된 복수의 컨트롤 사용자 인터페이스(91,92)의 정보를 포터블 디바이스(10)에 송신할 수 있다. 포터블 디바이스는 디스플레이 디바이스(10)로부터 수신된 복수의 사용자 인터페이스(91,92)의 정보에 따라 복수의 택타일 사용자 인터페이스(94,95)를 사용자에게 제공할 수 있다. 사용자는 터치 인풋(96)을 이용하여 제공된 복수의 택타일 사용자 인터페이스 중 하나(94)를 선택하여 디스플레이 디바이스(10)를 제어할 수 있다. 포터블 디바이스(11)는 사용자의 택타일 컨트롤 사용자 인터페이스에 대한 터치 인풋을 디텍팅하고, 디텍팅된 터치 인풋에 따른 컨트롤 시그널을 디스플레이 디바이스(10)에 송신하여 디스플레이 디바이스를 제어할 수 있다. 디스플레이 디바이스(10)는 포터블 디바이스로부터 수신된 컨트롤 시그널에 기초하여 사용자가 복수의 컨트롤 사용자 인터페이스 중 어느 것을 컨트롤하고 있는지를 나타내는 터치 인디케이터(97)를 디스플레이할 수 있다. 디스플레이 디바이스(10)는 특정 컨트롤 사용자 인터페이스가 사용자에 의해 컨트롤되고 있음을 표시하기 위해 사용자가 컨트롤 중인 컨트롤 사용자 인터페이스의 주변에 터치 인디케이터(97)를 디스플레이하거나 또는 해당 컨트롤 사용자 인터페이스를 변화시켜 디스플레이할 수 있다. 예를 들면 디스플레이 디바이스(10)는 컨트롤 되고 있는 컨트롤 사용자 인터페이스의 밝기, 크기, 모양, 색상 및 텍스트 중 적어도 하나를 변화시킬 수 있다.
도 10은 본 발명의 일 실시예에 따른 하위 컨트롤 사용자 인터페이스를 그룹 단위로 제공하는 방법을 나타낸 도면이다. 디스플레이 디바이스(10)는 하위 컨트롤 사용자 인터페이스를 포함하는 상위 컨트롤 사용자 인터페이스를 디스플레이할 수 있다. 사용자가 해당 상위 컨트롤 사용자 인터페이스를 시선으로 선택하면, 포터블 디바이스는 사용자의 시선을 디텍팅하여 사용자가 시선으로 선택한 상위 컨트롤 사용자 인터페이스에 포함된 복수의 하위 컨트롤 사용자 인터페이스를 디스플레이할 수 있다. 디스플레이 디바이스(10)는 상위 컨트롤 사용자 인터페이스에 대해 복수의 하위 컨트롤 사용자 인터페이스가 존재할 때, 복수의 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 함께 포터블 디바이스(11)에 송신할 수 있다. 이와 같이 하나의 상위 컨트롤 사용자 인터페이스에 속하는 복수의 하위 컨트롤 사용자 인터페이스는 동일 그룹 내에 포함된 하위 컨트롤 사용자 인터페이스라고 칭할 수 있다. 디스플레이 디바이스(10)는 동일 그룹 내에 포함된 하위 컨트롤 사용자 인터페이스 사이에서 사용자의 시선이 이동하는 경우에는 시선에 관계없이 동일 그룹 내의 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 함께 포터블 디바이스(11)에 전송할 수 있다.
도 10에서 디스플레이 디바이스(10)는 제1, 제2 상위 컨트롤 사용자 인터페이스(101,102)를 디스플레이할 수 있다. 디스플레이 디바이스(10)는 사용자의 시선을 센싱하여 사용자가 어느 상위 컨트롤 사용자 인터페이스를 시선으로 선택하는지 디텍팅할 수 있다. 사용자가 제1 상위 컨트롤 사용자 인터페이스(101)를 시선으로 선택하면, 디스플레이 디바이스는 동일 그룹임을 나타내는 그룹 인디케이터(103)를 디스플레이하고, 제1 상위 컨트롤 사용자 인터페이스(101)에 포함된 복수의 하위 컨트롤 사용자 인터페이스(104, 105, 106)를 디스플레이할 수 있다. 디스플레이 디바이스(10)는 복수의 하위 컨트롤 사용자 인터페이스(104,105,106)의 정보를 포터블 디바이스(11)에 송신할 수 있다. 포터블 디바이스(11)는 디스플레이 디바이스(10)로부터 수신된 정보에 따라 복수의 택타일 하위 컨트롤 사용자 인터페이스(107,108,109)를 사용자에게 제공할 수 있다. 포터블 디바이스(11)는 동일 그룹 내에 포함된 하위 컨트롤 사용자 인터페이스(104,105,106) 각각에 대해서 택타일 하위 컨트롤 사용자 인터페이스(107,108,109)를 제공할 수 있다.
포터블 디바이스(11)는 디스플레이 디바이스(10)로부터 수신한 하위 컨트롤 사용자 인터페이스(104,105,106)의 정보 또는 사용자 시선 정보에 의해 사용자의 시선이 이동되었다는 사실을 디텍팅할 수 있다. 여기서 사용자의 시선이 도 10에 도시된 바와 같이 동일 그룹에 포함된 하위 컨트롤 사용자 인터페이스(104,105,106) 사이에서 이동하였다면 포터블 디바이스(11)는 택타일 하위 컨트롤 사용자 인터페이스(107,108,109)를 사용자의 시선에 따라 이동하지 않고 위치를 유지할 수 있다. 이를 통해 사용자는 포터블 디바이스(11)로부터 동일 그룹에 포함된 택타일 하위 컨트롤 사용자 인터페이스(107,108,109)를 동시에 제공받아 디스플레이 디바이스(10)를 제어할 수 있다.
도 11은 본 발명의 일 실시예에 따른 디스플레이 디바이스를 나타낸 블록도이다. 디스플레이 디바이스는 디바이스는 센서 유닛(111), 커뮤니케이션 유닛(112), 디스플레이 유닛(113) 및 컨트롤러(114)를 포함할 수 있다.
센서 유닛(111)은 디스플레이 디바이스에 장착된 복수의 센서를 사용하여 사용자의 인풋 또는 디스플레이 디바이스가 인식하는 환경을 컨트롤러(114)로 전달할 수 있다. 센서 유닛(111)은 사용자의 시선을 디텍팅할 수 있는 비디오 센서 또는 이미지 센서를 포함할 수 있다. 비디오 센서 또는 이미지 센서는 사용자의 눈동자를 트랙킹하거나 사용자의 안면이 회전하는 것을 센싱하여 이에 대한 정보를 컨트롤러로 전달할 수 있다. 컨트롤러는 전달된 정보에 기초하여 사용자의 시선이 어느 컨트롤 사용자 인터페이스를 선택하는지 결정할 수 있다.
커뮤니케이션 유닛(112)은 디스플레이 디바이스와 연결된 포터블 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하고, 데이터를 송신/수신할 수 있다. 커뮤니케이션 유닛(112)은 유선 또는 무선으로 포터블 디바이스와 연결되어, 디지털 데이터를 송신/수신할 수 있다. 커뮤니케이션 유닛(112)은 사용자가 시선으로 선택하고 있는 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보 또는 해당 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 포터블 디바이스에 송신할 수 있다. 또한 사용자 시선의 이동 정보를 포터블 디바이스에 송신할 수 있다. 커뮤니케이션 유닛(112)은 포터블 디바이스로부터 사용자의 컨트롤 사용자 인터페이스에 대한 컨트롤 시그널을 수신하여 컨트롤러(114)에 전달할 수 있다.
디스플레이 유닛(113)은 디스플레이 화면에 컨텐츠 및 컨트롤 사용자 인터페이스를 출력할 수 있다. 디스플레이 유닛(113)은 사용자가 디스플레이 디바이스를 제어할 수 있도록 컨트롤 사용자 인터페이스를 디스플레이할 수 있다. 또한 실시예에 따라, 디스플레이 디바이스는 사용자가 상위 컨트롤 사용자 인터페이스를 선택하는 경우 해당 상위 컨트롤 사용자 인터페이스에 포함된 적어도 하나 이상의 하위 컨트롤 사용자 인터페이스를 디스플레이할 수 있다. 또한 디스플레이 유닛(113)은 사용자가 시선으로 선택하는 컨트롤 사용자 인터페이스를 나타내는 시선 인디케이터를 디스플레이할 수 있다. 또한 디스플레이 유닛(113)은 디스플레이된 상위 컨트롤 사용자 인터페이스 중에서 포터블 디바이스에서 사용자가 선택한 하위 컨트롤 사용자 인터페이스에 대응하는 상위 컨트롤 사용자 인터페이스에 대해 터치 인디케이터를 디스플레이할 수 있다. 디스플레이 유닛(113)은 플렉서블 디스플레이를 포함할 수 있다.
컨트롤러(114)는 다양한 애플리케이션을 실행하고, 디스플레이 디바이스 내부의 데이터를 프로세싱할 수 있다. 컨트롤러(114)는 상술한 디스플레이 디바이스의 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 매니지할 수 있다. 본 발명에서 컨트롤러(114)는 센서 유닛(111)으로부터 사용자의 시선 정보를 수신하고, 디스플레이 유닛(113)에 디스플레이된 복수의 컨트롤 사용자 인터페이스 중에서 사용자의 시선 정보에 대응되는 컨트롤 사용자 인터페이스를 결정할 수 있다. 컨트롤러(114)는 커뮤니케이션 유닛(112)을 이용하여 결정된 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 포터블 디바이스에 전송할 수 있다. 또한 컨트롤러(114)는 커뮤니케이션 유닛(112)을 통해 포터블 디바이스로부터 컨트롤 시그널을 수신하여 실행할 수 있다. 도 11은 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디스플레이 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디스플레이 디바이스의 엘러먼트들은 디스플레이 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 12은 본 발명의 일 실시예에 따른 포터블 디바이스를 나타낸 블록도이다. 포터블 디바이스는 센서 유닛(201), 커뮤니케이션 유닛(202), 디스플레이 유닛(203), 택타일 피드백 유닛(204), 및 컨트롤러(205)를 포함할 수 있다.
센서 유닛(201)은 포터블 디바이스에 장착된 복수의 센서를 사용하여 사용자의 인풋을 컨트롤러(106)로 전달할 수 있다. 센서 유닛(201)은 복수의 센싱 수단을 포함할 수 있다. 일 실시예로서, 복수의 센싱 수단은 압전 센서, 압력 센서, 오디오 센서, 비디오 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다. 본 발명에서, 압전 센서, 압력 센서 및 터치 센서는 사용자의 터치 인풋을 디텍팅할 수 있다. 센서 유닛(201)은 센싱된 터치 인풋 또는 터치 인풋의 압력을 컨트롤러(205)에 전송할 수 있으며 컨트롤러(205)는 전송된 터치 인풋 또는 터치 인풋의 압력에 대응하여 컨트롤 시그널을 생성할 수 있다. 상술한 센서들은 별도의 엘러먼트로 포터블 디바이스에 포함되거나, 적어도 하나 이상의 엘러먼트로 통합되어 포함될 수 있다.
커뮤니케이션 유닛(202)은 포터블 디바이스와 연결된 디스플레이 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하고, 데이터를 송신/수신할 수 있다. 커뮤니케이션 유닛(202)은 유선 또는 무선으로 디스플레이 디바이스와 연결되어, 디지털 데이터를 송신/수신할 수 있다. 커뮤니케이션 유닛(202)은 디스플레이 디바이스로부터 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보 또는 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 수신하여 컨트롤러(114)에 전달할 수 있다. 또한 커뮤니케이션 유닛(202)은 하위 컨트롤 사용자 인터페이스에 대한 터치 인풋 또는 터치 인풋의 압력에 대응하여 생성된 컨트롤 시그널을 디스플레이 디바이스에 전송할 수 있다.
디스플레이 유닛(203)은 디스플레이 화면에 이미지를 출력할 수 있다. 본 발명에서 디스플레이 유닛은 옵셔널한 구성이 될 수 있다. 디스플레이 유닛(203)은, 디스플레이가 터치 센서티브 디스플레이인 경우, 상술한 터치 센서로 사용될 수 있다. 따라서 디스플레이 유닛(203)에 대한 터치 인풋을 디텍팅하여 컨트롤러(205)에 전달 할 수 있다. 디스플레이 유닛(203)은 디스플레이 패널에 이미지를 디스플레이 하거나, 이미지 디스플레이를 제어하는 역할을 수행할 수 있다. 본 발명에서 디스플레이 유닛(203)은 아래에서 설명할 택타일 피드백 유닛(204)과 결합하여 사용자에게 택타일 피드백을 제공할 수 있다. 디스플레이 유닛(203)은 플렉서블 디스플레이를 포함할 수 있다. 실시예에 따라 포터블 디바이스는 디스플레이 유닛(203)을 포함하지 않고 센서 유닛(201)과 택타일 피드백 유닛(204)으로 디스플레이 유닛을 대신할 수 있다.
택타일 피드백 유닛(204)은 사용자에게 택타일 컨트롤 사용자 인터페이스를 제공할 수 있다. 사용자는 택타일 컨트롤 사용자 인터페이스를 촉각으로 확인하고 이에 따라 포터블 디바이스를 제어할 수 있다. 택타일 피드백 유닛(204)이 사용자에게 택타일 컨트롤 사용자 인터페이스를 제공하는 방법은 다음과 같다. 미세진동 액츄에이터(actuator)를 이용하여 포터블 디바이스를 터치하는 사용자의 손가락 또는 스타일러스에 대해 택타일 피드백을 제공할 수 있다. 택타일 피드백 유닛(204)은 진동 주파수 및 진동 크기를 조절할 수 있으며 이에 따라 사용자의 손가락과 포터블 디바이스 사이의 마찰력을 조절할 수 있다. 다른 실시예에 따르면 택타일 피드백 유닛(204)은 디스플레이 유닛 상에 미세전류를 발생하여 사용자에게 택타일 피드백을 제공할 수 있다. 택타일 피드백 유닛(204)은 전류의 세기, 발생 주기를 조절할 수 있으며, 이에 따라 사용자는 다른 촉감을 느낄 수 있다. 또한 택타일 피드백 유닛(204)은 초음파 공진을 사용하여 택타일 피드백을 제공할 수 있다. 택타일 피드백 유닛(204)은 복수의 초음파를 발생하여, 이들을 특정 영역에서 공진시켜 사용자에게 택타일 피드백을 제공할 수 있다. 택타일 피드백 유닛(204)은 공진 주파수의 크기, 공진을 발생시키는 주기를 조절하여 서로 다른 택타일 피드백을 제공할 수 있다.
프로세서(105)는 다양한 애플리케이션을 실행하고, 포터블 디바이스 내부의 데이터를 프로세싱할 수 있다. 본 발명에서 프로세서는 각 센서 유닛 또는 카메라 유닛으로부터 전달된 사용자의 시선을 디텍팅한 이미지를 분석하여 사용자의 시선 유무를 결정할 수 있다.
컨트롤러(205)는 다양한 애플리케이션을 실행하고, 포터블 디바이스 내부의 데이터를 프로세싱할 수 있다. 컨트롤러(205)는 상술한 포터블 디바이스의 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 매니지할 수 있다. 본 발명에서 컨트롤러(205)는 센서 유닛(201)으로부터 사용자의 터치 인풋 정보를 수신하고, 수신된 터치 인풋 정보에 대응하여 컨트롤 사용자 인터페이스에 대한 컨트롤 시그널을 생성할 수 있다. 컨트롤러(205)는 커뮤니케이션 유닛(202)을 이용하여 생성된 컨트롤 시그널을 디스플레이 디바이스에 전송할 수 있다. 도 12은 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 포터블 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 포터블 디바이스의 엘러먼트들은 포터블 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 13은 본 발명의 일 실시예에 따른 디스플레이 디바이스의 동작 방법을 나타낸 순서도이다. 디스플레이 디바이스는 적어도 하나의 컨트롤 사용자 인터페이스를 디스플레이 유닛을 이용하여 디스플레이할 수 있다(S10). 도 4 내지 도 10에서 설명한 바와 같이, 디스플레이 디바이스는 영상 컨텐츠를 디스플레이하면서 적어도 하나의 컨트롤 사용자 인터페이스를 디스플레이할 수 있다. 컨트롤 사용자 인터페이스는 디스플레이 디바이스를 제어하기 위한 사용자 인터페이스를 의미할 수 있다. 예를 들면 컨트롤 사용자 인터페이스는 디스플레이 디바이스의 채널, 볼륨, 컨텐츠 재생을 제어하는 사용자 인터페이스를 포함할 수 있다. 디스플레이 디바이스는 계층적 컨트롤 사용자 인터페이스를 디스플레이할 수 있으며, 각각의 컨트롤 사용자 인터페이스는 적어도 하나 이상의 하위 컨트롤 사용자 인터페이스를 포함할 수 있다. 실시예에 따라서 디스플레이 디바이스는 컨트롤 사용자 인터페이스와 그 컨트롤 사용자 인터페이스에 포함된 하위 컨트롤 사용자 인터페이스를 함께 디스플레이할 수 있다.
디스플레이 디바이스는 디스플레이된 적어도 하나의 컨트롤 사용자 인터페이스 중 하나를 선택하기 위한 사용자의 시선을 센서 유닛을 이용하여 디텍팅할 수 있다(S20). 도 1 및 도 11에서 설명한 바와 같이 디스플레이 디바이스는 센서 유닛을 이용하여 사용자의 시선을 디텍팅할 수 있다. 디스플레이 디바이스는 사용자의 시선 방향을 트랙킹하여 디스플레이된 컨트롤 사용자 인터페이스 중 어느 것을 사용자가 시선으로 선택하는지 결정할 수 있다. 디스플레이 디바이스는 사용자가 시선으로 선택하는 컨트롤 사용자 인터페이스를 사용자가 제어하고자 하는 컨트롤 사용자 인터페이스로 결정할 수 있다.
디스플레이 디바이스는 사용자의 시선에 의해 선택된 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 커뮤니케이션 유닛을 이용하여 포터블 디바이스에 송신할 수 있다(S30). 도 1에서 설명한 바와 같이 디스플레이 디바이스는 사용자가 컨트롤 사용자 인터페이스를 통해 디스플레이 디바이스를 제어할 수 있도록 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 포터블 디바이스에 송신할 수 있다. 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보는 선택된 컨트롤 인터페이스에 대한 정보를 포함할 수 있다. 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보는 하위 컨트롤 사용자 인터페이스의 모양, 크기 및 위치 정보를 포함할 수 있다. 또한 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보는 하위 컨트롤 사용자 인터페이스의 기능에 대한 정보를 포함할 수 있다. 실시예에 따라서는 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보는 포터블 디바이스에 저장된 하위 컨트롤 사용자 인터페이스를 액티베이트하는 정보를 포함할 수 있다. 또한 실시예에 따라서는 사용자의 시선에 의해 선택된 컨트롤 사용자의 인터페이스와 동일한 인터페이스를 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보로써 포터블 디바이스에 송신할 수도 있다.
도 5에서 설명한 바와 같이, 디스플레이 디바이스는 디스플레이 중인 컨트롤 사용자 인터페이스 중 일부만을 추출하여 이를 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보로써 포터블 디바이스에 전송할 수 있다. 예를 들어 디스플레이 디바이스는 디스플레이된 컨트롤 사용자 인터페이스 중 사용자에 의해 제어되어 움직일 수 있는 부분만을 추출하여 이를 포터블 디바이스에 전송할 수 있다.
도 7에서 설명한 바와 같이, 디스플레이 디바이스는 사용자가 시선으로 선택하는 컨트롤 사용자 인터페이스가 변경된 경우, 변경된 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 포터블 디바이스에 송신할 수 있다. 이를 통해 사용자의 시선에 따라 적응적으로 포터블 디바이스에 송신하는 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 갱신할 수 있다.
디스플레이 디바이스는 포터블 디바이스로부터 송신된 컨트롤 사용자 인터페이스에 대한 컨트롤 시그널을 커뮤니케이션 유닛을 이용하여 수신할 수 있다(S40). 도 1 및 도 12에서 설명한 바와 같이, 포터블 디바이스는 하위 컨트롤 사용자 인터페이스를 제공하고 사용자의 터치 인풋을 입력받을 수 있다. 포터블 디바이스는 사용자의 터치 인풋에 대응하여 하위 컨트롤 사용자 인터페이스에 대한 사용자의 컨트롤 시그널을 생성하고 이를 디스플레이 디바이스에 송신할 수 있다. 이를 통해 디스플레이 디바이스는 포터블 디바이스에 송신했던 하위 컨트롤 사용자 인터페이스에 대한 사용자의 컨트롤 시그널을 수신할 수 있다.
디스플레이 디바이스는 수신된 컨트롤 시그널을 컨트롤러를 이용하여 수행할 수 있다(S50). 디스플레이 디바이스는 컨트롤 사용자 인터페이스에 대한 사용자의 인풋을 수신된 컨트롤 시그널에 따라 수행할 수 있다.
도 14는 본 발명의 일 실시예에 따른 포터블 디바이스의 동작 방법을 나타낸 순서도이다. 포터블 디바이스는 디스플레이 디바이스로부터 송신된 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 커뮤니케이션 유닛을 이용하여 수신할 수 있다(S110). 도 1 및 도 12에서 설명한 바와 같이 포터블 디바이스는 네트워크를 통해 디스플레이 디바이스와 연결될 수 있다. 포터블 디바이스는 디스플레이 디바이스가 송신한 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 수신할 수 있다.
포터블 디바이스는 하위 컨트롤 사용자 인터페이스를 택타일 피드백 유닛을 이용하여 사용자에게 제공할 수 있다(S120). 도 3 및 도 12에서 설명한 바와 같이, 포터블 디바이스는 수신된 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보에 대응하여 택타일 피드백을 사용자에게 제공할 수 있다. 택타일 피드백을 통해 제공되는 하위 컨트롤 사용자 인터페이스는 택타일 하위 컨트롤 사용자 인터페이스로 칭할 수 있다. 택타일 하위 컨트롤 사용자 인터페이스는 디스플레이 디바이스에 디스플레이된 컨트롤 사용자 인터페이스에 속하는 하위 메뉴로써 택타일 피드백을 통해 사용자에게 제공될 수 있다.
예를 들어 도 2에서 설명한 바와 같이, 디스플레이 디바이스의 컨트롤 사용자 인터페이스가 채널 컨트롤 사용자 인터페이스라면, 포터블 디바이스의 택타일 하위 컨트롤 사용자 인터페이스는 채널 업, 채널 다운의 택타일 버튼이 될 수 있다. 또한 디스플레이 디바이스의 컨트롤 사용자 인터페이스가 볼륨 컨트롤 사용자 인터페이스라면, 포터블 디바이스의 택타일 하위 컨트롤 사용자 인터페이스는 볼륨 업, 볼륨 다운, 뮤트의 택타일 버튼이 될 수 있다. 또한 디스플레이 디바이스의 컨트롤 사용자 인터페이스가 플레이백 컨트롤 사용자 인터페이스라면, 포터블 디바이스의 택타일 하위 컨트롤 사용자 인터페이스는 플레이, 패스트포워드, 리와인드, 스톱의 택타일 버튼이 될 수 있다.
또한 도 5에서 설명한 바와 같이 택타일 하위 컨트롤 사용자 인터페이스는 디스플레이 디바이스가 디스플레이 중인 컨트롤 사용자 인터페이스 중에서 추출된 부분일 수 있다. 예를 들어 택타일 하위 컨트롤 사용자 인터페이스는 디스플레이 디바이스에 디스플레이된 컨트롤 사용자 인터페이스 중 사용자에 의해 제어되어 움직일 수 있는 부분만을 추출한 것일 수 있다. 디스플레이 디바이스에 디스플레이된 슬라이더 사용자 인터페이스의 경우, 이동 가능한 슬라이더와 슬라이더의 이동 경로인 바(bar)를 포함할 수 있다. 포터블 디바이스는 슬라이더 사용자 인터페이스로부터 바(bar)를 제외한 슬라이더만을 추출하여 택타일 하위 컨트롤 사용자 인터페이스로 사용자에게 제공할 수 있다. 포터블 디바이스는 택타일 하위 컨트롤 사용자 인터페이스를 제공할 때, 이미 사용자의 터치 인풋이 디텍팅되었다면, 사용자의 터치 인풋이 디텍팅된 영역에 택타일 하위 컨트롤 사용자 인터페이스를 제공할 수 있다. 포터블 디바이스는 택타일 피드백을 이용하여 하위 컨트롤 사용자 인터페이스의 위치, 크기 및 모양을 사용자에게 제공할 수 있다.
포터블 디바이스는 택타일 하위 컨트롤 사용자 인터페이스에 대한 사용자의 터치 인풋을 센서 유닛을 이용하여 디텍팅할 수 있다(S130). 도 1 및 도 12에서 설명한 바와 같이, 포터블 디바이스는 택타일 하위 컨트롤 사용자 인터페이스를 제어하는 사용자의 터치 인풋을 디텍팅할 수 있다. 사용자는 택타일 하위 컨트롤 사용자 인터페이스를 통해 디스플레이 디바이스를 제어할 수 있다. 포터블 디바이스는 사용자의 터치 인풋에 따라 해당 하위 컨트롤 사용자 인터페이스에 대응되는 컨트롤 시그널을 생성할 수 있다. 예를 들어 사용자가 볼륨 업의 택타일 버튼을 터치하였다면 디스플레이 디바이스의 볼륨을 높이는 컨트롤 시그널을 생성할 수 있다. 또한 사용자가 리와인드의 택타일 버튼을 터치하였다면 디스플레이 디바이스에서 재생 중인 컨텐츠를 리와인드하는 컨트롤 시그널을 생성할 수 있다.
도 7에서 설명한 바와 같이, 포터블 디바이스는 사용자의 터치 인풋이 디텍팅되면 사용자가 택타일 하위 컨트롤 사용자 인터페이스를 제어하고 있다는 정보를 디스플레이 디바이스에 송신할 수 있다. 이를 수신한 디스플레이 디바이스는 사용자 시선의 이동에 따라 하위 컨트롤 사용자 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 갱신하는 것을 일시 정지할 수 있다.
포터블 디바이스는 디텍팅된 터치 인풋에 따른 컨트롤 시그널을 커뮤니케이션 유닛을 이용하여 디스플레이 디바이스에 송신할 수 있다(S140). 도 12에서 설명한 바와 같이, 포터블 디바이스는 생성된 컨트롤 시그널을 디스플레이 디바이스에 송신할 수 있다. 포터블 디바이스에서 송신된 컨트롤 시그널은 디스플레이 디바이스를 제어하는 정보를 포함할 수 있다.
이상 설명한 바와 같이 사용자는 시선으로 제어하고자 하는 컨트롤 사용자 인터페이스를 선택하고 터치 인풋으로 해당 컨트롤 사용자 인터페이스의 하위 컨트롤 사용자 인터페이스를 제어할 수 있다. 이를 통해 본 발명은 복잡한 계층적 컨트롤 사용자 인터페이스를 탐색하지 않고도 하위 컨트롤 사용자 인터페이스를 제어할 수 있는 효과가 있다.
10: 디스플레이 디바이스 11: 포터블 디바이스
12, 13: 컨트롤 사용자 인터페이스 15: 하위 컨트롤 사용자 인터페이스

Claims (20)

  1. 계층적 사용자 인터페이스를 포함하는 디스플레이 디바이스에 있어서,
    적어도 하나의 컨트롤 인터페이스를 디스플레이하는 디스플레이 유닛;
    상기 디스플레이된 적어도 하나의 컨트롤 인터페이스 중 하나를 선택하기 위한 사용자의 시선을 디텍팅하는 센서유닛;
    상기 사용자의 시선에 의해 선택된 컨트롤 인터페이스의 하위 컨트롤 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 상기 포터블 디바이스에 송신하고, 상기 포터블 디바이스로부터 상기 선택된 컨트롤 인터페이스에 대한 컨트롤 시그널을 수신하는 커뮤니케이션 유닛; 및
    상기 수신된 컨트롤 시그널을 수행하는 컨트롤러를 포함하는 디스플레이 디바이스로써,
    여기서, 상기 포터블 디바이스는 상기 디스플레이 디바이스로부터 송신된 상기 정보를 수신하고, 상기 정보에 따라 상기 하위 컨트롤 인터페이스를 택타일 피드백으로 사용자에게 제공하고, 상기 하위 컨트롤 인터페이스에 대한 터치 인풋을 디텍팅하고, 상기 디텍팅된 터치 인풋에 따른 상기 선택된 컨트롤 인터페이스에 대한 컨트롤 시그널을 생성하여 상기 디스플레이 디바이스에 송신하는,
    디스플레이 디바이스.
  2. 제 1 항에 있어서,
    상기 택타일 피드백으로 사용자에게 제공된 상기 하위 컨트롤 인터페이스는 택타일 피드백을 이용하여 상기 하위 컨트롤 인터페이스의 위치, 크기 및 모양을 사용자에게 제공하는 디스플레이 디바이스.
  3. 제 1 항에 있어서,
    상기 컨트롤 인터페이스는 고정된 컨트롤 인터페이스 및 이동 가능한 컨트롤 인터페이스를 포함하고, 상기 하위 컨트롤 인터페이스는 상기 컨트롤 인터페이스의 적어도 일부분에 대응하는 상기 이동 가능한 컨트롤 인터페이스인 디스플레이 디바이스.
  4. 제 3 항에 있어서,
    상기 포터블 디바이스는 사용자의 터치가 디텍팅된 영역에 상기 이동 가능한 컨트롤 인터페이스를 위치시키고, 사용자의 드래그에 따라 상기 이동 가능한 컨트롤 인터페이스를 제어하는 컨트롤 시그널을 상기 디스플레이 디바이스에 송신하는 디스플레이 디바이스.
  5. 제 1 항에 있어서,
    상기 디스플레이 디바이스로부터 송신된 상기 정보는 상기 선택된 컨트롤 인터페이스에 대한 정보, 상기 포터블 디바이스에 의해 제공되는 상기 하위 컨트롤 인터페이스를 액티베이트하는 정보, 또는 상기 하위 컨트롤 인터페이스의 모양 및 크기 정보를 포함하는 디스플레이 디바이스.
  6. 제 1 항에 있어서,
    상기 컨트롤 인터페이스는 슬라이더 인터페이스를 포함하고,
    상기 슬라이더 인터페이스는 슬라이더와 상기 슬라이더가 이동하는 경로인 바(bar)를 포함하는 디스플레이 디바이스.
  7. 제 6 항에 있어서,
    상기 슬라이더 인터페이스는
    상기 바(bar)를 기준으로 상기 포터블 디바이스의 터치 영역을 제1 영역과 제2 영역으로 구분하고,
    상기 슬라이더가 상기 제1 영역에 입력되는 상기 터치 입력에 의해 이동되는 경우와 상기 슬라이더가 상기 제2 영역에서 입력되는 상기 터치 입력에 의해 이동되는 경우 서로 다른 컨트롤 시그널이 생성되는 디스플레이 디바이스.
  8. 제 1 항에 있어서,
    상기 컨트롤 인터페이스와 상기 컨트롤 인터페이스의 상기 하위 컨트롤 인터페이스는 동일한 모양인 디스플레이 디바이스.
  9. 제 1 항에 있어서,
    상기 사용자의 시선이 상기 사용자의 시선에 의해 선택된 컨트롤 인터페이스로부터 다른 컨트롤 인터페이스로 이동하는 경우,
    상기 사용자의 시선이 이동한 컨트롤 인터페이스의 상기 하위 컨트롤 인터페이스를 상기 포터블 디바이스에 제공하기 위한 정보를 상기 사용자의 시선에 따라 상기 포터블 디바이스로 송신하는 디스플레이 디바이스.
  10. 제 1 항에 있어서,
    상기 컨트롤 인터페이스가 복수의 하위 컨트롤 인터페이스를 포함하면,
    상기 디스플레이 유닛은 상기 복수의 하위 컨트롤 인터페이스를 더 디스플레이하고,
    상기 커뮤니케이션 유닛은 상기 복수의 하위 컨트롤 인터페이스를 상기 포터블 디바이스에서 제공하기 위한 정보를 상기 포터블 디바이스에 송신하는 디스플레이 디바이스.
  11. 제 10 항에서 있어서,
    상기 사용자의 시선이 상기 디스플레이된 복수의 하위 컨트롤 인터페이스 사이에서 이동하는 경우,
    상기 커뮤니케이션 유닛은 상기 포터블 디바이스에 송신하는 상기 정보를 변경하지 않고 유지하는 디스플레이 디바이스.
  12. 제 1 항에 있어서,
    상기 포터블 디바이스가 상기 하위 컨트롤 인터페이스에 대한 터치 인풋을 디텍팅하는 경우, 상기 센서유닛은 상기 디스플레이된 적어도 하나의 컨트롤 인터페이스 중 하나를 선택하기 위한 사용자의 시선에 대한 디텍팅을 일시 정지하는 디스플레이 디바이스.
  13. 제 1 항에 있어서,
    상기 커뮤니케이션 유닛은 상기 사용자의 시선에 의해 선택된 상기 컨트롤 인터페이스의 상기 하위 컨트롤 인터페이스를 상기 포터블 디바이스에 제공하기 위한 정보와 함께 상기 사용자의 시선에 의해 선택되지 않은 컨트롤 인터페이스의 상기 하위 컨트롤 인터페이스를 상기 포터블 디바이스에 제공하기 위한 정보도 상기 포터블 디바이스에 송신하는 디스플레이 디바이스.
  14. 제 13 항에 있어서,
    상기 포터블 디바이스는 상기 사용자의 시선에 의해 선택되지 않은 컨트롤 인터페이스의 상기 하위 컨트롤 인터페이스를 상기 포터블 디바이스에 제공하기 위한 정보에 따라 상기 하위 컨트롤 인터페이스의 크기를 축소하여 택타일 피드백으로 사용자에게 제공하는 디스플레이 다비이스.
  15. 제 1 항에 있어서,
    상기 컨트롤 인터페이스는 플레이백 컨트롤 인터페이스를 포함하고, 상기 플레이백 컨트롤 인터페이스의 상기 하위 컨트롤 인터페이스는 플레이, 일시정지, 멈춤, 패스트포워드 및 리와인드 중 적어도 하나를 포함하는 디스플레이 디바이스.
  16. 제 1 항에 있어서,
    상기 컨트롤 인터페이스는 볼륨 컨트롤 인터페이스를 포함하고, 상기 볼륨 컨트롤 인터페이스의 상기 하위 컨트롤 인터페이스는 볼륨 업, 볼륨 다운 및 음소거 중 적어도 하나를 포함하는 디스플레이 디바이스.
  17. 제 1 항에 있어서,
    상기 컨트롤 인터페이스는 채널 컨트롤 인터페이스를 포함하고, 상기 채널 컨트롤 인터페이스의 상기 하위 컨트롤 인터페이스는 채널 업, 채널 다운 및 이전 채널로 복귀 중 적어도 하나를 포함하는 디스플레이 디바이스.
  18. 제 1 항에 있어서,
    상기 디스플레이 유닛은, 상기 터치 인풋이 디텍팅된 상기 하위 컨트롤 인터페이스를 포함하는 상기 컨트롤 인터페이스에 대해 상기 사용자가 상기 컨트롤 인터페이스를 제어하고 있음을 나타내는 인디케이터를 더 디스플레이하는 디스플레이 디바이스.
  19. 제 1 항에 있어서,
    상기 디스플레이 유닛은, 상기 사용자의 시선에 의해 선택된 컨트롤 인터페이스가 디스플레이된 영역에 상기 사용자의 시선을 디텍팅되었음을 나타내는 인디케이터를 더 디스플레이하는 디스플레이 디바이스.
  20. 계층적 사용자 인터페이스를 포함하는 디스플레이 디바이스를 제어하는 방법에 있어서,
    적어도 하나의 컨트롤 인터페이스를 디스플레이하는 단계;
    상기 디스플레이된 적어도 하나의 컨트롤 인터페이스 중 하나를 선택하기 위한 사용자의 시선을 디텍팅하는 단계;
    상기 사용자의 시선에 의해 선택된 컨트롤 인터페이스의 하위 컨트롤 인터페이스를 포터블 디바이스에 제공하기 위한 정보를 상기 포터블 디바이스에 송신하고, 상기 포터블 디바이스로부터 상기 선택된 컨트롤 인터페이스에 대한 컨트롤 시그널을 수신하는 단계; 및
    상기 수신된 컨트롤 시그널을 수행하는 단계를 포함하는 디스플레이 디바이스 제어 방법으로써,
    여기서, 상기 포터블 디바이스는 상기 디스플레이 디바이스로부터 송신된 상기 정보를 수신하고, 상기 정보에 따라 상기 하위 컨트롤 인터페이스를 택타일 피드백으로 사용자에게 제공하고, 상기 하위 컨트롤 인터페이스에 대한 터치 인풋을 디텍팅하고, 상기 디텍팅된 터치 인풋에 따른 상기 선택된 컨트롤 인터페이스에 대한 컨트롤 시그널을 생성하여 상기 디스플레이 디바이스에 송신하는,
    디스플레이 디바이스 제어 방법.
KR1020120128880A 2012-11-14 2012-11-14 디스플레이 디바이스 및 그 제어 방법 KR101984590B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120128880A KR101984590B1 (ko) 2012-11-14 2012-11-14 디스플레이 디바이스 및 그 제어 방법
US13/722,652 US8560976B1 (en) 2012-11-14 2012-12-20 Display device and controlling method thereof
PCT/KR2012/011836 WO2014077460A1 (en) 2012-11-14 2012-12-31 Display device and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120128880A KR101984590B1 (ko) 2012-11-14 2012-11-14 디스플레이 디바이스 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20140062315A true KR20140062315A (ko) 2014-05-23
KR101984590B1 KR101984590B1 (ko) 2019-05-31

Family

ID=49321639

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120128880A KR101984590B1 (ko) 2012-11-14 2012-11-14 디스플레이 디바이스 및 그 제어 방법

Country Status (3)

Country Link
US (1) US8560976B1 (ko)
KR (1) KR101984590B1 (ko)
WO (1) WO2014077460A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10114463B2 (en) 2014-10-01 2018-10-30 Samsung Electronics Co., Ltd Display apparatus and method for controlling the same according to an eye gaze and a gesture of a user

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
KR102015347B1 (ko) * 2013-01-07 2019-08-28 삼성전자 주식회사 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치
US9244527B2 (en) * 2013-03-26 2016-01-26 Volkswagen Ag System, components and methodologies for gaze dependent gesture input control
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
TWI566166B (zh) * 2013-11-13 2017-01-11 宏碁股份有限公司 畫面控制方法及應用該方法之可攜式電子裝置
US9390726B1 (en) 2013-12-30 2016-07-12 Google Inc. Supplementing speech commands with gestures
US9213413B2 (en) 2013-12-31 2015-12-15 Google Inc. Device interaction with spatially aware gestures
US20150261293A1 (en) * 2014-03-12 2015-09-17 Weerapan Wilairat Remote device control via gaze detection
US9477079B2 (en) 2014-06-25 2016-10-25 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
WO2016031062A1 (ja) * 2014-08-29 2016-03-03 日立マクセル株式会社 通信システム、通信装置、及び通信端末装置
JP7329310B2 (ja) 2015-02-17 2023-08-18 グーグル エルエルシー ウェアラブルヘッドアップディスプレイにおけるアイボックス拡張のためのシステム、機器、及び方法
US10175488B2 (en) 2015-05-04 2019-01-08 North Inc. Systems, devices, and methods for spatially-multiplexed holographic optical elements
AU2016267275B2 (en) 2015-05-28 2021-07-01 Google Llc Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
KR20170025400A (ko) * 2015-08-28 2017-03-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
CA2996721A1 (en) 2015-09-04 2017-03-09 Thalmic Labs Inc. Systems, articles, and methods for integrating holographic optical elements with eyeglass lenses
CA3007196A1 (en) * 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
US9904051B2 (en) 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US10802190B2 (en) 2015-12-17 2020-10-13 Covestro Llc Systems, devices, and methods for curved holographic optical elements
US10303246B2 (en) 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
US10151926B2 (en) 2016-01-29 2018-12-11 North Inc. Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
CN109313383A (zh) 2016-04-13 2019-02-05 赛尔米克实验室公司 用于聚焦激光投射器的系统、设备和方法
US10277874B2 (en) 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
US10459221B2 (en) 2016-08-12 2019-10-29 North Inc. Systems, devices, and methods for variable luminance in wearable heads-up displays
US10345596B2 (en) 2016-11-10 2019-07-09 North Inc. Systems, devices, and methods for astigmatism compensation in a wearable heads-up display
KR102591807B1 (ko) * 2016-11-21 2023-10-23 한국전자통신연구원 촉감자극을 생성하는 방법 및 장치
US10459220B2 (en) 2016-11-30 2019-10-29 North Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10365492B2 (en) 2016-12-23 2019-07-30 North Inc. Systems, devices, and methods for beam combining in wearable heads-up displays
US10718951B2 (en) 2017-01-25 2020-07-21 North Inc. Systems, devices, and methods for beam combining in laser projectors
WO2019079894A1 (en) 2017-10-23 2019-05-02 North Inc. MULTIPLE LASER DIODE MODULES WITH FREE SPACES
CN111666119B (zh) * 2019-03-06 2023-11-21 华为终端有限公司 Ui组件显示的方法及电子设备
CN111782098A (zh) * 2020-07-02 2020-10-16 三星电子（中国）研发中心 一种页面导航方法、装置和智能设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120115159A (ko) * 2011-04-08 2012-10-17 리서치 인 모션 리미티드 택타일 피드백 방법 및 장치
JP2012203671A (ja) * 2011-03-25 2012-10-22 Nec Casio Mobile Communications Ltd 電子機器、情報生成方法及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061062A (en) * 1991-12-20 2000-05-09 Apple Computer, Inc. Zooming controller
GB2348520B (en) * 1999-03-31 2003-11-12 Ibm Assisting user selection of graphical user interface elements
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US7266777B2 (en) * 2004-09-08 2007-09-04 Universal Electronics Inc. Configurable controlling device having an associated editing program
KR101098687B1 (ko) 2004-09-23 2011-12-23 엘지전자 주식회사 이동 통신 단말기의 눈동자 추적을 이용한 기능 실행 방법
US8614676B2 (en) 2007-04-24 2013-12-24 Kuo-Ching Chiang User motion detection mouse for electronic device
US8935634B2 (en) * 2005-12-21 2015-01-13 International Business Machines Corporation Displaying dynamic graphical content in graphical user interface (GUI) controls
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
KR101708682B1 (ko) * 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
KR101295583B1 (ko) 2010-09-13 2013-08-09 엘지전자 주식회사 이동 단말기 및 그 동작 제어 방법
US20120169582A1 (en) * 2011-01-05 2012-07-05 Visteon Global Technologies System ready switch for eye tracking human machine interaction control system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203671A (ja) * 2011-03-25 2012-10-22 Nec Casio Mobile Communications Ltd 電子機器、情報生成方法及びプログラム
KR20120115159A (ko) * 2011-04-08 2012-10-17 리서치 인 모션 리미티드 택타일 피드백 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10114463B2 (en) 2014-10-01 2018-10-30 Samsung Electronics Co., Ltd Display apparatus and method for controlling the same according to an eye gaze and a gesture of a user

Also Published As

Publication number Publication date
KR101984590B1 (ko) 2019-05-31
WO2014077460A1 (en) 2014-05-22
US8560976B1 (en) 2013-10-15

Similar Documents

Publication Publication Date Title
KR101984590B1 (ko) 디스플레이 디바이스 및 그 제어 방법
US20210181907A1 (en) Application menu for video system
US10678345B2 (en) Systems, methods, and media for providing an enhanced remote control having multiple modes
KR102257168B1 (ko) 다-표면 컨트롤러
US10394320B2 (en) System for gaze interaction
EP2898394B1 (en) Portable device and control method thereof
KR101327581B1 (ko) 터치스크린 장치 및 이의 작동방법
US9395816B2 (en) Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same
KR102138533B1 (ko) 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
US8872735B2 (en) Head mounted display for adjusting audio output and video output in relation to each other and method for controlling the same
JP5323070B2 (ja) 仮想キーパッドシステム
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
KR102058990B1 (ko) 모바일 디바이스 및 그 제어 방법
US8938753B2 (en) Configurable computer system
US9430041B2 (en) Method of controlling at least one function of device by using eye action and device for performing the method
US9436219B2 (en) Remote control to operate computer system
KR101515454B1 (ko) 듀얼 터치패드를 구비하는 리모콘 및 그를 이용한 제어 방법
US20110279354A1 (en) Computer with tv mode
KR20130114413A (ko) 엣지 슬라이딩 ｕｉ가 적용된 스마트 리모트 컨트롤러
US20090160762A1 (en) User input device with expanded functionality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant