KR20230109762A - 시선에 기초한 미디어 디스플레이 디바이스 제어 - Google Patents

시선에 기초한 미디어 디스플레이 디바이스 제어 Download PDF

Info

Publication number
KR20230109762A
KR20230109762A KR1020237021992A KR20237021992A KR20230109762A KR 20230109762 A KR20230109762 A KR 20230109762A KR 1020237021992 A KR1020237021992 A KR 1020237021992A KR 20237021992 A KR20237021992 A KR 20237021992A KR 20230109762 A KR20230109762 A KR 20230109762A
Authority
KR
South Korea
Prior art keywords
elements
user
electronic device
media
display device
Prior art date
Application number
KR1020237021992A
Other languages
English (en)
Inventor
브랜트 칸델로어
마흐야르 마이크 네잣
피터 신타니
로버트 블랑샤르
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20230109762A publication Critical patent/KR20230109762A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

사용자의 제1 이미지를 캡처하는 전자 디바이스가 제공된다. 전자 디바이스는 제1 이미지에 기초하여, 전자 디바이스의 제1 디스플레이 스크린 상에 디스플레이된 복수의 UI 요소 중 제1 UI 요소 상의 사용자의 시선의 위치를 결정한다. 전자 디바이스는 시간 간격 동안 제1 UI 요소 상에서의 시선의 위치의 결정에 기초하여 제1 UI 요소를 선택한다. 전자 디바이스는 제1 UI 요소의 선택에 기초하여 제1 제어 신호를 미디어 디스플레이 디바이스에 전송한다. 전자 디바이스는 미디어 디스플레이 디바이스로부터 피드백 이미지를 수신한다. 피드백 이미지는 제1 제어 신호에 기초한 미디어 디스플레이 디바이스의 제어를 나타낸다. 전자 디바이스는 복수의 UI 요소와 함께 피드백 이미지를 디스플레이하도록 제1 디스플레이 스크린을 제어한다.

Description

시선에 기초한 미디어 디스플레이 디바이스 제어
관련 출원의 상호 참조/참조에 의한 통합
본 출원은 2021년 2월 15일자로 미국 특허청에 출원된 미국 특허 출원 제17/175,881호의 우선권을 주장한다. 각각의 상기 참조된 출원은 그 전체가 본원에 참조로 포함된다.
분야
본 개시 내용의 다양한 실시예들은 사용자의 시선(eye gaze)에 기초한 미디어 디스플레이 디바이스의 제어에 관한 것이다. 더 구체적으로, 본 개시 내용의 다양한 실시예들은 미디어 디스플레이 디바이스에 결합된 전자 디바이스 상의 시선에 기초한 미디어 디스플레이 디바이스의 제어를 위한 장치 및 방법에 관한 것이다.
미디어 콘텐츠 재생의 분야에서의 최근의 발전은 미디어 디스플레이 디바이스들(예를 들어, 텔레비전들)을 제어하기 위한 다양한 기술들의 개발로 이어졌다. 일반적으로, 리모콘은 사용자에 의해 미디어 디스플레이 디바이스의 기능을 제어하는 데, 예컨대, 미디어 디스플레이 디바이스 상의 채널을 전환하는 데, 미디어 디스플레이 디바이스의 볼륨을 제어하는 데, 및 기타 등등에 이용될 수 있다. 특정한 상황들에서, 미디어 디스플레이 디바이스는 신경 발달 장애, 예를 들어, 운동 장애와 같은 신체 장애를 가진 사용자에 의해 액세스될 수 있다. 사용자는, 예를 들어, 리모콘을 통해 미디어 디스플레이 디바이스의 기능을 제어하는 데 어려움을 겪을 수 있다. 따라서, 사용자는 미디어 디스플레이 디바이스를 제어하는 데 도움을 필요로 할 수 있다.
전형적이고 전통적인 접근법들의 추가적인 제한들 및 단점들은, 본 출원의 나머지에 그리고 도면들을 참조하여 제시되는 바와 같이, 설명된 시스템들과 본 개시 내용의 일부 양태들의 비교를 통해, 관련 기술분야의 통상의 기술자에게 명백해질 것이다.
전자 디바이스 및 시선에 기초한 전자 디바이스를 통한 미디어 디스플레이 디바이스의 제어 방법은, 청구항들에서 더 완전하게 설명되는 바와 같이, 실질적으로 도면들 중 적어도 하나에 도시되고/도시되거나 이와 관련하여 설명되는 바와 같이 제공된다.
본 개시 내용의 이들 및 다른 특징들 및 장점들은, 유사한 참조 번호들이 전체에 걸쳐 유사한 부분들을 참조하는 첨부 도면들과 함께, 본 개시 내용의 다음의 상세한 설명의 검토로부터 이해될 수 있다.
도 1은, 본 개시 내용의 실시예에 따라, 사용자 입력으로서의 시선에 기초한 미디어 디스플레이 디바이스의 제어를 위한 예시적인 네트워크 환경을 도시하는 블록도이다.
도 2는 본 개시 내용의 실시예에 따른, 도 1의 예시적인 전자 디바이스를 도시하는 블록도이다.
도 3a 및 도 3b는 본 개시 내용의 실시예에 따른, 도 1의 미디어 디스플레이 디바이스의 제어를 위한 예시적인 시나리오들을 집합적으로 도시하는 도면들이다.
도 4a 및 도 4b는 본 개시 내용의 실시예에 따른, 도 1의 미디어 디스플레이 디바이스의 제어를 위한 다른 예시적인 시나리오들을 집합적으로 도시하는 도면들이다.
도 5a 및 도 5b는 본 개시 내용의 실시예에 따른, 도 1의 미디어 디스플레이 디바이스의 제어를 위한 다른 예시적인 시나리오들을 집합적으로 도시하는 도면들이다.
도 6은, 본 개시 내용의 실시예에 따른, 사용자 입력으로서의 시선에 기초한 미디어 디스플레이 디바이스의 제어를 위한 예시적인 방법을 도시하는 흐름도이다.
후술하는 구현들은 사용자 입력으로서의 사용자 시선에 기초하여 미디어 디스플레이 디바이스를 제어하기 위한 개시된 전자 디바이스 및 방법에서 발견될 수 있다. 본 개시 내용의 예시적인 양태들은 사용자(예를 들어, 신체적 장애를 갖거나 갖지 않는 사용자)에 의해 액세스 가능한 전자 디바이스(예를 들어, 전자 태블릿 또는 스마트폰)를 제공한다. 전자 디바이스는 복수의 사용자 인터페이스(UI) 요소(예를 들어, 전원 제어 아이콘 및 볼륨 제어 아이콘과 같은 제어 아이콘들, 내비게이션 아이콘들, 또는 숫자 아이콘들이지만, 이에 제한되지 않음)를 디스플레이하기 위한 제1 디스플레이 스크린을 포함할 수 있다. 전자 디바이스는 사용자에 의한 복수의 UI 요소 각각의 선택에 기초하여 전자 디바이스에 통신가능하게 결합된 미디어 디스플레이 디바이스(예를 들어, 텔레비전)를 제어할 수 있다. 전자 디바이스는 전자 디바이스의 사용자의 제1 이미지를 캡처하기 위해 이미지 캡처링 디바이스(예를 들어, 전자 태블릿의 내장 전방 카메라)를 제어하도록 구성될 수 있다. 사용자의 제1 이미지는 적어도 제1 사용자의 얼굴의 이미지를 포함할 수 있다. 전자 디바이스는, 사용자의 캡처된 제1 이미지에 기초하여, 디스플레이된 복수의 UI 요소 중 제1 UI 요소 상에서의 사용자 시선의 위치를 결정하도록 구성될 수 있다. 제1 UI 요소는, 예를 들어, 선택될 때, 전자 디바이스에 통신가능하게 결합된 미디어 디스플레이 디바이스 상에 현재 렌더링되는 미디어 콘텐츠의 볼륨을 증가시킬 수 있는 "볼륨 증가 아이콘"과 같은 제어 아이콘일 수 있다. 전자 디바이스는 시간 간격 동안 제1 UI 요소 상의 시선의 위치의 결정에 기초하여 복수의 UI 요소 중 제1 UI 요소를 선택하도록 추가로 구성될 수 있다. 예를 들어, 시간 간격은 수 초(예컨대 3초 이상)일 수 있다. 일 예에서, 복수의 UI 요소 중 제1 UI 요소의 선택은 3초의 시간 간격 동안의 제1 UI 요소에서의 시선에 기초할 수 있다.
전자 디바이스는 복수의 UI 요소 중 제1 UI 요소의 선택에 기초하여, 제1 제어 신호를 미디어 디스플레이 디바이스로 전송하도록 추가로 구성될 수 있다. 제1 제어 신호는 복수의 UI 요소 중 제1 UI 요소의 선택 시에 미디어 디스플레이 디바이스와 연관될 수 있는 기능(예컨대, 볼륨 증가)의 활성화에 대응할 수 있다. 일 예에서, 제1 제어 신호는 "볼륨 증가 아이콘"과 같은 제1 UI 요소의 선택시, 미디어 디스플레이 디바이스 상에 렌더링된 미디어 콘텐츠의 볼륨의 증가를 나타내는 단거리 무선파 신호(short distance radio wave signal)에 대응할 수 있다. 전자 디바이스는 전송된 제1 제어 신호에 기초하여, 미디어 디스플레이 디바이스로부터 피드백 이미지를 수신하도록 추가로 구성될 수 있다. 수신된 피드백 이미지는 송신된 제1 제어 신호에 기초한 미디어 디스플레이 디바이스의 제어를 나타낼 수 있다. 일 실시예에 따르면, 수신된 피드백 이미지는 현재 렌더링된 미디어 콘텐츠, 및 미디어 디스플레이 디바이스 상에 디스플레이된 렌더링된 미디어 콘텐츠의 볼륨의 증가를 나타내는 UI 아이콘에 대응할 수 있다. 전자 디바이스는 수신된 피드백 이미지를 디스플레이된 복수의 UI 요소와 함께 디스플레이하기 위해 제1 디스플레이 스크린을 제어하도록 추가로 구성될 수 있다.
예시적인 구현에서, 전자 디바이스는 사용자가 미디어 디스플레이 디바이스를 제어하기 위해 전자 디바이스의 복수의 UI 요소를 응시할 수 있는 위치에 배치될 수 있다. 전자 디바이스는 사용자가 미디어 디스플레이 디바이스와 연관된 상이한 기능들을 제어하기 위해 전자 디바이스 상의 복수의 UI 요소 중 상이한 UI 요소들을 선택하게 허용할 수 있다. 본 개시 내용의 전자 디바이스는 사용자(예를 들어, 신체적 장애를 갖거나 갖지 않는 사용자)에게 사용자 입력으로서의 시선에 기초하여 미디어 디스플레이 디바이스를 제어하는 능력을 제공할 수 있다. 그러므로, 전자 디바이스는 사용자가 시선에 기초하여 미디어 디스플레이 디바이스를 제어할 수 있게 하고, 따라서 사용자가 다른 사용자로부터의 어떠한 도움 없이 미디어 디스플레이 디바이스를 제어할 수 있게 한다.
또한, 전자 디바이스는 복수의 UI 요소, 및 미디어 콘텐츠의 일부를 포함할 수 있는 수신된 피드백 이미지를 동시에 디스플레이할 수 있다. 일부 실시예들에서, 피드백 이미지는 또한 선택된 제1 UI 요소에 대응하는 UI 아이콘을 포함할 수 있다. 전자 디바이스 상의 피드백 이미지 및 복수의 UI 요소의 동시적인 디스플레이는 사용자가 미디어 콘텐츠 및/또는 UI 아이콘을 보는 동안 선택된 제1 UI 요소에 시선을 포커싱하게 할 수 있고, 이에 의해 전자 디바이스를 통해 미디어 디스플레이 디바이스를 제어하는 동안 전자 디바이스와 미디어 디스플레이 디바이스 사이에서 시선의 위치를 바꿀 필요성을 제거한다. 따라서, 개시된 전자 디바이스는, 전자 디바이스 상의 (미디어 콘텐츠의 현재 렌더링된 부분에 대응하는) 피드백 이미지 및 복수의 UI 요소의 동시적인 디스플레이에 의해, (예를 들어, 신체적 장애를 갖는) 사용자가 전자 디바이스 상에서 미디어 콘텐츠를 계속 시청하면서, 미디어 디스플레이 디바이스를 제어할 수 있게 한다.
또한, 개시된 전자 디바이스는 단거리 무선파 신호를 이용하거나 또는 무선 로컬 네트워크를 이용하여 미디어 디스플레이 디바이스를 제어하여, 사용자가 외부 네트워크(예를 들어, 인터넷)에 대한 전자 디바이스의 어떠한 연결의 필요도 없이 미디어 디스플레이 디바이스를 제어하는 것을 가능하게 할 수 있다.
도 1은, 본 개시 내용의 실시예에 따라, 사용자 입력으로서의 시선에 기초한 미디어 디스플레이 디바이스의 제어를 위한 예시적인 네트워크 환경을 도시하는 블록도이다. 도 1을 참조하면, 네트워크 환경(100)이 도시되어 있다. 네트워크 환경(100)은 전자 디바이스(102)를 포함할 수 있다. 전자 디바이스(102)는 제1 디스플레이 스크린(104) 및 이미지 캡처링 디바이스(108)를 포함할 수 있다. 제1 디스플레이 스크린(104)은 복수의 UI 요소(106) 및 피드백 이미지(110)를 디스플레이할 수 있다. 복수의 UI 요소(106)는 제1 UI 요소(106A), 제2 UI 요소(106B), 및 제N UI 요소(106N)를 포함할 수 있다. 네트워크 환경(100)은 미디어 디스플레이 디바이스(112)를 더 포함할 수 있다. 미디어 디스플레이 디바이스(112)는 제2 디스플레이 스크린(114)을 포함할 수 있다. 제2 디스플레이 스크린(114)은 미디어 콘텐츠(116)를 렌더링할 수 있다. 네트워크 환경(100)은 사용자(118), 서버(120), 및 통신 네트워크(122)를 더 포함할 수 있다. 전자 디바이스(102), 미디어 디스플레이 디바이스(112), 및 서버(120)는 통신 네트워크(122)를 통해 서로 통신가능하게 결합될 수 있다. 일부 시나리오들에서, 사용자(118)는, 예를 들어, 물리적 움직임을 위한 휠체어를 필요로 할 수 있는 신경 발달 장애(예를 들어, 운동 장애)를 가진 사용자와 같이, 신체적 장애를 가진 사용자일 수 있다. 이러한 시나리오에서, 전자 디바이스(102)는 휠체어의 손받침대 및/또는 사용자(118)의 시야 내의 가구에 장착되어, 전자 디바이스(102)를 통해 미디어 디스플레이 디바이스(112)를 제어할 수 있다.
전자 디바이스(102)는 미디어 디스플레이 디바이스(112)를 제어하도록 구성될 수 있는 적절한 로직, 회로 및 인터페이스들을 포함할 수 있다. 전자 디바이스(102)는 또한 사용자 입력으로서의 사용자(118) 시선을 이용하여 미디어 디스플레이 디바이스(112)를 제어하도록 구성될 수 있다. 전자 디바이스(102)의 예들은 전자 태블릿, 스마트폰, 컴퓨팅 디바이스, 셀룰러 폰, 모바일 폰, 게이밍 디바이스, 메인프레임 머신, 서버, 컴퓨터 워크스테이션, 및/또는 소비자 전자(CE) 디바이스를 포함할 수 있지만, 이에 제한되지 않는다. 도 1에 도시된 바와 같은 전자 디바이스(102)의 형상 및 배열은 단지 예로서 제시된다는 점이 주목될 수 있다. 본 개시 내용은 또한 본 개시 내용의 범주를 벗어나지 않고, 전자 디바이스(102)의 다른 형상들 및 배열들에 적용 가능할 수 있다.
제1 디스플레이 스크린(104)은 복수의 UI 요소(106) 및 피드백 이미지(110)를 디스플레이하도록 구성될 수 있는 적절한 로직, 회로 및 인터페이스들을 포함할 수 있다. 전자 디바이스(102)의 제1 디스플레이 스크린(104)은 사용자(118) 시선의 형태로 사용자 입력을 수신하도록 구성될 수 있다. 또한, 제1 디스플레이 스크린(104)은 사용자(118)가 제1 디스플레이 스크린(104)을 통한 터치 입력의 형태로 사용자 입력을 제공할 수 있게 하는 터치 스크린일 수 있다. 터치 스크린은 저항성 터치 스크린, 용량성 터치 스크린, 또는 열 터치 스크린 중 적어도 하나일 수 있다. 제1 디스플레이 스크린(104)은 LCD(Liquid Crystal Display) 디스플레이, LED(Light Emitting Diode) 디스플레이, 플라즈마 디스플레이, 또는 OLED(Organic LED) 디스플레이 기술, 또는 다른 디스플레이 디바이스들 중 적어도 하나와 같은, 그러나 이에 한정되지 않는 여러 공지된 기술들을 통해 실현될 수 있다. 일 실시예에 따르면, 제1 디스플레이 스크린(104)은 헤드 장착 디바이스(HMD), 스마트-글래스 디바이스, 시스루 디스플레이, 프로젝션 기반 디스플레이, 전기 변색 디스플레이, 또는 투명 디스플레이의 디스플레이 스크린을 지칭할 수 있다.
복수의 UI 요소(106)는 미디어 디스플레이 디바이스(112)의 제어를 위한 제어 아이콘들(예를 들어, 사용자 선택가능 옵션들)에 대응할 수 있다. 예를 들어, 복수의 UI 요소(106) 각각은 미디어 디스플레이 디바이스(112)(예를 들어, 텔레비전)를 제어하는 데 사용될 수 있는 리모콘의 제어 아이콘들과 같은 사용자 선택가능 아이콘을 나타낼 수 있다. 복수의 UI 요소(106)는 사용자(118)가 사용자(118)의 시선에 기초한 복수의 UI 요소(106)의 선택을 통해 미디어 디스플레이 디바이스(112)와 연관된 상이한 기능들을 제어하는 것을 허용하도록 구성될 수 있다. 복수의 UI 요소(106)의 예들은, 미디어 디스플레이 디바이스(112)의 전원 설정, 미디어 디스플레이 디바이스(112) 상의 홈 스크린 설정, 미디어 디스플레이 디바이스(112) 상에 렌더링된 미디어 콘텐츠의 (볼륨 제어 설정과 같은) 오디오 설정, 미디어 디스플레이 디바이스(112) 상에 렌더링된 미디어 콘텐츠의 (디스플레이 특성 조정, 비디오 모드 선택과 같은) 비디오 디스플레이 설정, 미디어 디스플레이 디바이스(112)의 네트워크 설정, 미디어 디스플레이 디바이스(112)의 보안 설정, 또는 미디어 디스플레이 디바이스(112)의 액세스 가능성 설정에 대응하는 제어 아이콘들을 포함할 수 있지만, 이에 제한되지는 않는다. 일 실시예에 따르면, 미디어 디스플레이 디바이스(112) 상의 홈 스크린 설정은 미디어 디스플레이 디바이스(112)의 홈 스크린 상의 메뉴들 또는 아이콘들의 배열과 관련된 선호도에 대응할 수 있다. 또한, 보안 설정은, 미디어 디스플레이 디바이스(112)의 사용자-프라이버시 설정, 부모 통제 설정, 및 사용자 계정 설정을 포함할 수 있지만, 이에 제한되지는 않는다. 또한, 액세스 가능성 설정들은, 미디어 디스플레이 디바이스(112)의 음성 가이드 설정, 음성 기반 장면 설명 설정, 폐쇄 자막 설정, 비디오 설명 설정, 및 색상 반전 설정을 포함할 수 있지만, 이에 제한되지는 않는다.
이미지 캡처링 디바이스(108)는 사용자(118)와 같은 사용자들의 하나 이상의 이미지들을 캡처하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따르면, 이미지 캡처링 디바이스(108)는 복수의 UI 요소(106) 중 제1 UI 요소 상의 사용자(118)의 시선의 위치를 결정하기 위해 적어도 사용자(118)의 얼굴을 포함할 수 있는 하나 이상의 이미지를 캡처할 수 있다. 이미지 캡처링 디바이스(108)의 예들은 이미지 센서, 광각 카메라, 360도 카메라, 액션 카메라, 폐쇄 회로 텔레비전(CCTV) 카메라, 캠코더, 디지털 카메라, 카메라 폰들, 비행 시간 카메라(ToF 카메라), 나이트 비전 카메라, 및/또는 다른 이미지 캡처링 디바이스들을 포함할 수 있지만, 이에 제한되지 않는다. 도 1에서 이미지 캡처링 디바이스(108)가 전자 디바이스(102)와 통합된 것으로 도시되지만, 본 개시 내용은 그렇게 제한되지 않는다. 일부 실시예들에서, 이미지 캡처링 디바이스(108)는 본 개시 내용의 범주로부터 벗어나지 않으면서 전자 디바이스(102)로부터 분리될 수 있다.
미디어 디스플레이 디바이스(112)는 시청자의 선호도들(예를 들어, 사용자(118)의 선호도들)에 따라 미디어 콘텐츠를 렌더링하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들 및/또는 코드를 포함할 수 있다. 일 예에서, 미디어 디스플레이 디바이스(112)는 미디어 콘텐츠를 수신하기 위해 서버(120)와 통신하도록 구성될 수 있다. 다른 예에서, 미디어 디스플레이 디바이스(112)는 미디어 콘텐츠로서 방송 콘텐츠 또는 스트리밍 콘텐츠를 수신하도록 구성될 수 있다. 일 실시예에 따르면, 미디어 디스플레이 디바이스(112)는 서버(120)로부터 수신된 미디어 콘텐츠를 저장하도록 추가로 구성될 수 있다. 미디어 디스플레이 디바이스(112)는, 사용자 입력으로서의 사용자(118) 시선에 기초하여 선택되는 복수의 UI 요소(106)에 기초한 미디어 디스플레이 디바이스(112)의 제어를 위한 제1 제어 신호를 전자 디바이스(102)를 통해 수신하도록 추가로 구성될 수 있다. 미디어 디스플레이 디바이스(112)의 예들은 텔레비전, 랩톱, 개인용 컴퓨터, 모바일 폰, 스마트 폰, 태블릿 컴퓨팅 디바이스, 게임 콘솔, 미디어 플레이어, 디스플레이 능력들을 갖는 사운드 시스템, 홈 시어터 시스템, 디지털 카메라, 자동차 전자 디바이스, 전자 음악 기기, 또는 미디어 렌더링 능력을 갖는 다른 소비자 전자 디바이스를 포함할 수 있지만, 이에 제한되지 않는다. 도 1에 도시된 바와 같은 미디어 디스플레이 디바이스(112)의 형상 및 배열은 단지 예로서 제시된다는 점이 인지될 수 있다. 본 개시 내용은, 본 개시 내용의 범주를 벗어나지 않으면서, 미디어 디스플레이 디바이스(112)의 다른 형상들 및 배열들에 또한 적용 가능할 수 있다.
제2 디스플레이 스크린(114)은 미디어 콘텐츠를 디스플레이하도록 구성될 수 있는 적절한 로직, 회로 및 인터페이스들을 포함할 수 있다. 제2 디스플레이 스크린(114)은 LCD 디스플레이, LED 디스플레이, 플라즈마 디스플레이, 또는 OLED 디스플레이 기술 중 적어도 하나, 또는 다른 디스플레이 디바이스들과 같은, 그러나 이에 제한되지 않는 몇몇 공지된 기술들을 통해 실현될 수 있다. 일 실시예에 따르면, 제2 디스플레이 스크린(114)은 스마트-글래스 디바이스, 시스루 디스플레이, 프로젝션 기반 디스플레이, 전기 변색 디스플레이, 또는 투명 디스플레이의 디스플레이 스크린을 지칭할 수 있다. 일 실시예에 따르면, 제2 디스플레이 스크린(114)은 사용자(118)가 제2 디스플레이 스크린(114)을 통해 터치의 형태로 사용자 입력을 제공하는 것을 가능하게 할 수 있는 터치 스크린일 수 있다. 터치 스크린은 저항성 터치 스크린, 용량성 터치 스크린 또는 열 터치 스크린 중 적어도 하나일 수 있다.
렌더링된 미디어 콘텐츠(116)는 미디어 디스플레이 디바이스(112)의 제2 디스플레이 스크린(114) 상에 현재 렌더링된 콘텐츠에 대응할 수 있다. 미디어 콘텐츠(116)의 예들은 미디어 디스플레이 디바이스(112)의 홈 스크린, 미디어 디스플레이 디바이스(112) 상에 렌더링된 애플리케이션의 홈 스크린, 이미지 콘텐츠, 미디어 디스플레이 디바이스(112) 상에 렌더링된 비디오 콘텐츠(예를 들어, 비디오 레코딩, 방송 콘텐츠, 스트리밍 콘텐츠), 게임 애플리케이션 인터페이스, 또는 미디어 디스플레이 디바이스(112)의 디바이스 설정 인터페이스를 포함할 수 있지만, 이에 제한되지는 않는다.
전자 디바이스(102)의 피드백 이미지(110)는 미디어 디스플레이 디바이스(112) 상에 현재 렌더링된 미디어 콘텐츠(116)의 일부의 복사 이미지에 대응할 수 있다. 일부 실시예들에서, 피드백 이미지(110)는 복수의 UI 요소(106) 중 임의의 것의 선택을 나타낼 수 있는 제2 디스플레이 스크린(114) 상에 디스플레이된 UI 아이콘의 이미지에 대응할 수 있다. 일 실시예에서, 피드백 이미지(110)는 미디어 디스플레이 디바이스(112)로부터 수신된 미디어 콘텐츠(116)의 이미지들의 세트(예를 들어, 비디오 스트림)일 수 있다. 예시적인 시나리오에서, 피드백 이미지(110)는 미디어 디스플레이 디바이스(112) 상에 디스플레이된 렌더링된 미디어 콘텐츠(예를 들어, 영화)의 볼륨의 증가를 나타낼 수 있는 UI 아이콘과 함께 미디어 디스플레이 디바이스(112)의 제2 디스플레이 스크린(114) 상에 현재 렌더링되고 있는 영화에 대응할 수 있다.
서버(120)는 통신 네트워크(122)를 통해 미디어 디스플레이 디바이스(112)와 통신하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 서버(120)는 미디어 디스플레이 디바이스(112)로의 배포를 위해 미디어 콘텐츠를 저장하도록 구성될 수 있다. 서버(120)는 미디어 디스플레이 디바이스(112)로부터 콘텐츠 요청을 수신할 수 있고, 수신된 콘텐츠 요청에 기초하여 저장된 미디어 콘텐츠를 미디어 디스플레이 디바이스(112)에 제공할 수 있다. 서버(120)의 예들은 애플리케이션 서버, 미디어 콘텐츠 서버, 클라우드 서버, 메인프레임 서버, 데이터베이스 서버, 파일 서버, 웹 서버, 또는 다른 유형들의 서버들을 포함할 수 있지만, 이에 제한되지 않는다.
통신 네트워크(122)는 미디어 디스플레이 디바이스(112), 전자 디바이스(102) 및 서버(120)가 그를 통해 무선 방식으로 서로 통신할 수 있는 무선 통신 채널을 포함할 수 있다. 통신 네트워크(122)의 예들은 Wi-Fi(Wireless Fidelity) 네트워크, NFC(near field communication) 채널, 또는 블루투스®(BT) 통신 네트워크와 같은 단거리 통신 기술들을 포함할 수 있지만, 이들로 제한되지 않는다. 전자 디바이스(102)와 같은 네트워크 환경(100) 내의 다양한 엔티티들은 다양한 무선 통신 프로토콜들에 따라 통신 네트워크(122)에 접속하도록 구성될 수 있다. 이러한 무선 통신 프로토콜들의 예들은 무선 디바이스-대-디바이스 통신 프로토콜들 또는 블루투스® 통신 프로토콜들 중 적어도 하나를 포함할 수 있지만, 이에 제한되지 않는다. 일부 실시예들에서, 통신 네트워크(122)는 미디어 디스플레이 디바이스(112) 및 서버(120)가 그를 통해 서로 통신할 수 있는 통신 매체를 포함할 수 있다. 미디어 디스플레이 디바이스(112) 및 서버(120)가 그를 통해 통신할 수 있는 통신 네트워크(122)의 유선 및 무선 통신 프로토콜들의 예들은 전송 제어 프로토콜 및 인터넷 프로토콜(TCP/IP), 사용자 데이터그램 프로토콜(UDP), 하이퍼텍스트 전송 프로토콜(HTTP), 파일 전송 프로토콜(FTP), 지그비, EDGE, IEEE 802.11, 라이파이(light fidelity)(Li-Fi), 802.16, IEEE 802.11s, IEEE 802.11g, 멀티-홉 통신 및 무선 액세스 포인트(AP) 중 적어도 하나를 포함할 수 있지만, 이에 제한되지 않는다.
동작 시에, 전자 디바이스(102)는 미디어 디스플레이 디바이스(112)의 상이한 기능들을 제어하기 위한 복수의 사용자 인터페이스(UI) 요소들을 디스플레이하도록 구성될 수 있다. 전자 디바이스(102)는 전자 디바이스(102)의 사용자(118)의 제1 이미지를 캡처하도록 이미지 캡처링 디바이스(108)를 제어하도록 구성될 수 있다. 제1 이미지는 사용자(118)의 시선을 추적하기 위해 적어도 사용자(118)의 얼굴의 이미지를 포함할 수 있다. 일부 실시예들에서, 전자 디바이스(102)는 (신체적 장애를 갖는 사용자(118)와 같은) 사용자의 휠체어 상에 장착될 수 있고, 사용자(118)의 제1 이미지를 캡처하도록 이미지 캡처링 디바이스(108)를 제어할 수 있다. 전자 디바이스(102)는 사용자(118)의 캡처된 제1 이미지에 기초하여, 디스플레이된 복수의 UI 요소(106) 중 제1 UI 요소(106A) 상의 사용자(118)의 시선의 위치를 결정하도록 추가로 구성될 수 있다. 디스플레이된 복수의 UI 요소(106) 중 제1 UI 요소(106A) 상의 사용자(118)의 시선의 위치의 결정의 상세들은, 예를 들어, 도 3a에서 추가로 설명된다. 일 실시예에 따르면, 복수의 UI 요소(106) 중 각각의 UI 요소는 미디어 디스플레이 디바이스(112)와 연관된 상이한 기능과 연관될 수 있다. 전자 디바이스(102)는 시간 간격 동안 제1 UI 요소(106A) 상의 시선의 위치의 결정에 기초하여 복수의 UI 요소(106) 중 제1 UI 요소(106A)를 선택하도록 추가로 구성될 수 있다. 시간 간격은, 예를 들어, 수 초(예를 들어, 3 내지 5초)의 범위로 미리 설정될 수 있거나, 사용자 입력에 기초하여 설정될 수 있다. 예시적인 실시예에서, 제1 UI 요소(106A)의 선택은 다른 눈 제스처들, 예를 들어, 사용자(118)의 눈들의 깜박임, 또는 깜박임에 후속하는 시선에 기초할 수 있다. 따라서, 전자 디바이스(102)는 제1 UI 요소(106A)를 선택하기 위한 사용자 입력으로서 제1 UI 요소(106A) 상의 시선의 결정된 위치에서 사용자(118)의 눈의 깜박임을 결정할 수 있다. 일 예에서, 제1 UI 요소(106A)는 미디어 디스플레이 디바이스(112)의 홈 스크린의 상이한 아이콘들(예를 들어, 설정 아이콘, 애플리케이션 아이콘, 게임 아이콘)을 통해 내비게이션하는 데 사용될 수 있는 "위로 이동" 내비게이션 아이콘에 대응할 수 있다.
전자 디바이스(102)는, 복수의 UI 요소(106) 중 제1 UI 요소(106A)의 선택에 기초하여, 제1 제어 신호를 미디어 디스플레이 디바이스(112)에 전송하도록 추가로 구성될 수 있다. 예를 들어, 전송된 제1 제어 신호는 UI 아이콘들 사이의 내비게이션을 가능하게 할 수 있다. 제1 UI 요소(106A)의 선택에 기초한 UI 아이콘들 사이의 내비게이션의 상세들은, 예를 들어, 도 3b에서 제공된다. 전자 디바이스(102)는 전송된 제1 제어 신호에 기초하여 미디어 디스플레이 디바이스(112)로부터 피드백 이미지(110)를 수신하도록 추가로 구성될 수 있다. 예시적인 실시예에서, 피드백 이미지(110)는 미디어 디스플레이 디바이스(112)의 홈 스크린의 UI 아이콘의 선택을 보여주는 미디어 디스플레이 디바이스(112)의 홈 스크린의 이미지일 수 있다. 전자 디바이스(102)는 또한 수신된 피드백 이미지(110)를 디스플레이된 복수의 UI 요소(106)와 함께 디스플레이하도록 제1 디스플레이 스크린(104)을 제어하도록 구성될 수 있다. 따라서, 전자 디바이스(102)는 사용자(118)가 전자 디바이스(102)에 제공되는 사용자 입력으로서의 시선을 통해 미디어 디스플레이 디바이스(112)를 제어할 수 있게 허용할 수 있다. 사용자(118)의 시선을 통한 미디어 디스플레이 디바이스(112)의 제어는 사용자(118)가 다른 사용자로부터의 도움 없이 미디어 디스플레이 디바이스(112)의 상이한 기능들을 보고 제어할 수 있게 허용한다. 전자 디바이스(102)는 또한 미디어 디스플레이 디바이스(112) 상에서 재생되고 있는 미디어 콘텐츠(116)의 적어도 일부를 수신된 피드백 이미지(110)의 일부로서 디스플레이하게끔 제1 디스플레이 스크린(104)을 제어하도록 구성될 수 있다. 따라서, 전자 디바이스(102)는 사용자(118)가 미디어 콘텐츠(116)를 연속적으로 볼 수 있으면서 미디어 디스플레이 디바이스(112)를 제어할 수 있게 허용할 수 있다. 그 결과, 사용자(118)는 미디어 디스플레이 디바이스(112)를 제어하기 위한 사용자 입력의 제공 동안 (텔레비전과 같은) 미디어 디스플레이 디바이스(112) 상에서 재생되는 미디어 콘텐츠(116)의 프레임 또는 일부를 놓치지 않는다. 따라서, 사용자(118)는 매끄러운 시청 경험을 할 수 있다.
일 실시예에 따르면, 전자 디바이스(102)는 복수의 UI 요소(106) 상의 사용자(118)의 시선의 위치의 변화에 대응하는 전자 디바이스(102)의 복수의 UI 요소(106) 상의 커서의 이동을 제어하도록 구성될 수 있다. 예를 들어, 전자 디바이스(102)는 제1 UI 요소(106A) 상의 사용자(118) 시선의 위치의 결정 시에 커서를 제1 UI 요소(106A)로 이동시킬 수 있고, 제2 UI 요소(106B) 상의 사용자(118) 시선의 위치의 결정 시에 커서를 제2 UI 요소(106B)로 추가로 이동시킬 수 있다. 일부 실시예들에서, 전자 디바이스(102)는 사용자(118)에 의한 복수의 UI 요소(106) 중 제1 UI 요소(106A)의 선택에 기초하여 제1 UI 요소(106A)를 하이라이트하도록 구성될 수 있다. 커서의 이동의 상세 및 제1 UI 요소(106A)의 하이라이트는, 예를 들어, 도 3b에서 추가로 설명된다.
일 실시예에 따르면, 미디어 디스플레이 디바이스(112)로부터 수신된 피드백 이미지(110)는 전송된 제1 제어 신호에 기초하여 미디어 디스플레이 디바이스(112)의 제어를 나타내는 UI 아이콘에 대응할 수 있다. UI 아이콘의 예들은 "볼륨 업" 아이콘, "볼륨 다운" 아이콘, "밝기 제어" 아이콘, 또는 "모드 선택" 아이콘을 포함할 수 있지만, 이들로 제한되지 않는다. 피드백 이미지(110)로서의 UI 아이콘의 수신의 상세는, 예를 들어, 도 3a, 도 3b, 도 4a, 도 4b, 도 5a, 및 도 5b에서 추가로 설명된다.
일 실시예에 따르면, 전자 디바이스(102)는 제1 디스플레이 스크린(104)의 제1 부분 상에 복수의 UI 요소(106)를 디스플레이하고, 제1 디스플레이 스크린(104)의 제2 부분 상에 수신된 피드백 이미지(110)를 디스플레이하게끔 제1 디스플레이 스크린(104)을 제어하도록 추가로 구성될 수 있다. 제1 디스플레이 스크린(104)의 제1 부분 상의 복수의 UI 요소(106) 및 제2 부분 상의 수신된 피드백 이미지(110)의 디스플레이의 상세들은, 예를 들어, 도 3a, 도 3b, 도 4a, 도 4b, 도 5a, 및 도 5b에서 추가로 설명된다.
일 실시예에 따르면, 미디어 디스플레이 디바이스(112)로부터 수신된 피드백 이미지(110)는 전송된 제1 제어 신호에 기초하여 미디어 디스플레이 디바이스(112)의 제2 디스플레이 스크린(114) 상에 디스플레이된 미디어 콘텐츠(116)에 대응할 수 있다. 피드백 이미지(110)로서의 미디어 콘텐츠(116)(또는 미디어 콘텐츠(116)의 일부)의 수신에 대한 상세는, 예를 들어, 도 3a, 도 3b, 도 4a, 도 4b, 도 5a, 및 도 5b에서 추가로 설명된다.
일 실시예에 따르면, 전자 디바이스(102)는 미디어 디스플레이 디바이스(112)의 제2 디스플레이 스크린(114) 상에 디스플레이된 미디어 콘텐츠(116)에 대응할 수 있는 디스플레이된 피드백 이미지(110) 상의 디스플레이된 복수의 UI 요소(106)의 오버레이를 제어하도록 추가로 구성될 수 있다. 또한, 전자 디바이스(102)는 디스플레이된 피드백 이미지(110) 상에 오버레이되는 디스플레이된 복수의 UI 요소(106)의 불투명도 레벨을 제어하도록 구성될 수 있고, 그에 의해 사용자(118)는 전자 디바이스(102) 상에서 미디어 디스플레이 디바이스(112)를 제어하는 동안 렌더링된 미디어 콘텐츠(116)를 쉽게 볼 수 있게 된다. 디스플레이된 피드백 이미지(110) 상에 오버레이되는 복수의 UI 요소(106) 및 디스플레이된 복수의 UI 요소(106)의 불투명도 레벨의 제어의 상세들은, 예를 들어 도 4a에서 추가로 설명된다.
일 실시예에 따르면, 전자 디바이스(102)는, 복수의 UI 요소(106) 중 하나 이상의 UI 요소들의 선택에 기초하여, 미디어 디스플레이 디바이스(112)의 제2 디스플레이 스크린(114) 상에 디스플레이된 미디어 콘텐츠(116)와 관련된 정보를 디스플레이하게끔 제1 디스플레이 스크린(104)을 제어하도록 추가로 구성될 수 있다. 예를 들어, 디스플레이 정보는 미디어 디스플레이 디바이스(112) 상에 렌더링되는 미디어 콘텐츠(116)의 짧은 설명에 대응할 수 있다. 미디어 콘텐츠(116)와 관련된 정보를 디스플레이하기 위한 제1 디스플레이 스크린(104)의 제어의 상세는, 예를 들어, 도 4b에서 추가로 설명된다.
일 실시예에 따르면, 전자 디바이스(102)는, 제1 디스플레이 스크린(104) 상에 디스플레이된 복수의 UI 요소(106) 중 하나 이상의 UI 요소들을 통해 미디어 디스플레이 디바이스(112)의 하나 이상의 구성 세팅들을 제어하기 위한 사용자(118)를 위한 안내 정보를 렌더링하도록 추가로 구성될 수 있다. 예시적인 실시예에서, 사용자(118)에 위한 안내 정보는, 예를 들어, 복수의 UI 요소(106) 중 하나 이상의 UI 요소들과 연관된 동작에 관한 정보일 수 있다. 사용자(118)를 위한 안내 정보의 상세들은, 예를 들어, 도 5a에서 추가로 설명된다.
일 실시예에 따르면, 전자 디바이스(102)는, 수신된 피드백 이미지(110)에 기초하여, 복수의 UI 요소(106) 중 UI 요소들의 세트를 제1 디스플레이 스크린(104) 상에 디스플레이하게끔 제1 디스플레이 스크린(104)을 제어하도록 추가로 구성될 수 있다. 일 예에서, 복수의 UI 요소(106) 중 UI 요소들의 세트는 미디어 디스플레이 디바이스(112)의 미디어 콘텐츠(116)의 제어 설정들과 연관될 수 있다. UI 요소들의 세트의 디스플레이의 상세들은, 예를 들어, 도 5b에서 추가로 설명된다.
도 2는 본 개시 내용의 실시예에 따른, 도 1의 예시적인 전자 디바이스를 도시하는 블록도이다. 도 2를 참조하면, 전자 디바이스(102)의 블록도(200)가 도시되어 있다. 전자 디바이스(102)는 회로(202), 메모리(204) 및 네트워크 인터페이스(206)를 포함할 수 있다. 전자 디바이스(102)는 제1 디스플레이 스크린(104)을 추가로 포함할 수 있다. 제1 디스플레이 스크린(104)은 복수의 UI 요소(106)를 디스플레이할 수 있다. 전자 디바이스(102)는 이미지 캡처링 디바이스(108)를 추가로 포함할 수 있다. 제1 디스플레이 스크린(104), 이미지 캡처링 디바이스(108) 및 통신 네트워크(122)의 상세한 설명은 도 1을 참조하여 이루어졌고, 간결성을 위해 여기서는 생략되었다.
회로(202)는, 전자 디바이스(102)에 의해 실행될 상이한 동작들과 연관된 프로그램 명령어들을 실행하도록 구성될 수 있는 적절한 로직, 회로 및/또는 인터페이스들을 포함할 수 있다. 예를 들어, 동작들 중 일부는, 제1 UI 요소(106A) 상의 사용자(118) 시선의 위치의 결정, 사용자(118) 시선의 위치의 결정에 기초한 제1 UI 요소(106A)의 선택, 미디어 디스플레이 디바이스(112)로의 제1 제어 신호의 전송, 미디어 디스플레이 디바이스(112)로부터의 피드백 이미지의 수신, 및 복수의 UI 요소(106)와 함께 피드백 이미지(110)를 디스플레이하기 위한 제1 디스플레이 스크린(104)의 제어를 포함할 수 있다. 회로(202)는 개별 프로세서로서 구현될 수 있는 하나 이상의 특수한 프로세싱 유닛을 포함할 수 있다. 일 실시예에서, 하나 이상의 특수한 프로세싱 유닛은 하나 이상의 특수한 프로세싱 유닛의 기능들을 집합적으로 수행하는 통합 프로세서 또는 프로세서들의 클러스터로서 구현될 수 있다. 회로(202)는 관련 기술 분야에 공지된 다수의 프로세서 기술에 기초하여 구현될 수 있다. 회로(202)의 구현들의 예들은 X86 기반 프로세서, GPU(Graphics Processing Unit), RISC(Reduced Instruction Set Computing) 프로세서, ASIC(Application-Specific Integrated Circuit) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, 마이크로컨트롤러, CPU(central processing unit), 및/또는 다른 제어 회로들일 수 있다.
메모리(204)는 회로(202)에 의해 실행될 하나 이상의 명령어를 저장하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들 및/또는 코드를 포함할 수 있다. 메모리(204)는 복수의 UI 요소(106) 중 각각의 UI 요소와 연관된 기능들에 대응하는 정보를 저장하도록 구성될 수 있다. 일부 실시예들에서, 메모리(204)는 사용자(118)와 연관된 사용자 입력을 저장하도록 구성될 수 있다. 메모리(204)의 구현의 예들은 RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), HDD(Hard Disk Drive), SSD(Solid-State Drive), CPU 캐시, 및/또는 SD(Secure Digital) 카드를 포함할 수 있지만, 이들로 제한되지 않는다.
네트워크 인터페이스(206)는 통신 네트워크(122)를 통해 미디어 디스플레이 디바이스(112)와 전자 디바이스(102) 사이의 통신을 용이하게 하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스들을 포함할 수 있다. 네트워크 인터페이스(206)는 통신 네트워크(122)와 전자 디바이스(102)의 유선 또는 무선 통신을 지원하기 위해 다양한 공지된 기술들을 사용하여 구현될 수 있다. 네트워크 인터페이스(206)는 안테나, RF(radio frequency) 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 프로세서, CODEC(coder-decoder) 칩셋, SIM(subscriber identity module) 카드, 또는 로컬 버퍼 회로를 포함할 수 있지만, 이들로 제한되지 않는다.
관련 기술 분야의 통상의 기술자는 도 2의 전자 디바이스(102)가 본 개시 내용의 기능 및 동작을 묘사하고 설명하기 위해 본 명세서에서 설명되는 컴포넌트들 또는 시스템들에 더하여 다른 적절한 컴포넌트들 또는 시스템들도 포함할 수 있다는 것을 이해할 것이다. 전자 디바이스(102)의 다른 컴포넌트들 또는 시스템들에 대한 상세한 설명은 간결성을 위해 본 개시 내용으로부터 생략되었다. 회로(202)의 동작들은, 예를 들어, 도 3a, 도 3b, 도 4a, 도 4b, 도 5a, 및 도 5b에서 추가로 설명된다.
도 3a 및 도 3b는 본 개시 내용의 실시예에 따른, 도 1의 미디어 디스플레이 디바이스(112)의 제어를 위한 예시적인 시나리오를 집합적으로 도시하는 도면이다. 도 3a 및 도 3b는 도 1 및 도 2의 요소들과 관련하여 설명된다. 도 3a를 참조하면, 도 1의 전자 디바이스(102)(예를 들어, 전자 태블릿 또는 스마트폰), 제1 디스플레이 스크린(104), 복수의 UI 요소(106), 이미지 캡처링 디바이스(108)(예를 들어, 내장된 전방 카메라), 미디어 디스플레이 디바이스(112)(예를 들어, 텔레비전), 제2 디스플레이 스크린(114), 및 사용자(118)를 포함하는 예시적인 시나리오(300A)가 도시되어 있다. 또한, 예시적인 시나리오(300A)에서, 복수의 UI 요소(106)(예를 들어, "볼륨 제어" UI 요소들, "전원" UI 요소, "소스" UI 요소, "재생 제어" UI 요소들, "내비게이션" UI 요소들, "홈" UI 요소, "숫자" UI 요소들, "정보" UI 요소, "복귀" UI 요소, 및 "나가기" UI 요소) 중에서 제1 UI 요소(306)("볼륨 업" UI 요소 등)가 추가로 도시되어 있다. 예시적인 시나리오(300A)에는 수신된 피드백 이미지(304), 커서(308), 제1 디스플레이 스크린(104)의 제1 부분(310) 및 제1 디스플레이 스크린(104)의 제2 부분(312)이 추가로 도시되어 있다. 또한, 미디어 디스플레이 디바이스(112)의 제2 디스플레이 스크린(114) 상에 미디어 콘텐츠(302) 및 "볼륨 업" UI 아이콘(302a)이 추가로 도시되어 있다.
도 3a와 관련하여, 미디어 디스플레이 디바이스(112)는 제2 디스플레이 스크린(114) 상에 영화와 같은 미디어 콘텐츠(302)를 렌더링하도록 구성될 수 있다. 예시적인 실시예에서, 사용자(118)는 미디어 디스플레이 디바이스(112) 상에 렌더링된 미디어 콘텐츠(302)의 볼륨을 증가시킬 필요가 있을 수 있다. 이러한 경우에, 사용자(118)는 미디어 디스플레이 디바이스(112) 상에 렌더링된 미디어 콘텐츠(302)의 볼륨을 증가시키기 위해 ("볼륨 업" UI 요소와 같은) 제1 UI 요소(306)를 선택하기 위해 전자 디바이스(102)의 복수의 UI 요소(106)를 향해 응시할 수 있다. 전자 디바이스(102)의 회로(202)는 사용자(118)의 제1 이미지를 캡처하게끔 이미지 캡처링 디바이스(108)를 제어하도록 구성될 수 있다. 이미지 캡처링 디바이스(108)는 이미지 캡처링 디바이스(108)의 시야(FOV)에 기초하여 사용자(118)의 제1 이미지를 캡처할 수 있다. 이미지 캡처링 디바이스(108)의 FOV는 사용자(118)의 제1 이미지(또는 사용자(118)의 얼굴의 이미지)가 정확하게 캡처될 수 있도록 미리 정의될 수 있다. 전자 디바이스(102)는 이미지 캡처링 디바이스(108)가 사용자(118)의 얼굴의 제1 이미지를 명확하게 캡처할 수 있는 방식으로 위치될 수 있다. 예를 들어, 전자 디바이스(102)는 사용자(118) 근처에 장착될 수 있거나 사용자(118)의 손에 존재할 수 있다. 다른 예에서, 전자 디바이스(102)는 사용자(118)의 휠체어 상에(예컨대, 휠체어의 받침대 또는 팔걸이 상에) 장착될 수 있다. 도 3a에 도시된 바와 같은 이미지 캡처링 디바이스(108)가 배치되는 전자 디바이스(102)의 장착 장소 또는 위치가 단지 예로서 제시된다는 점이 인지될 수 있다. 이미지 캡처링 디바이스(108)의 FOV가 사용자(118)의 제1 이미지를 명확하게 캡처할 수 있도록, 이미지 캡처링 디바이스(108)는 본 개시 내용의 범주를 벗어나지 않으며 전자 디바이스(102)의 다른 위치들, 장소 또는 표면들 상에 배치될 수 있다. 이미지 캡처링 디바이스(108)가 배치될 수 있는 전자 디바이스(102)의 다른 위치들, 장소들, 또는 표면들은 간결성을 위해 본 개시 내용으로부터 생략된다.
전자 디바이스(102)의 회로(202)는 사용자(118)의 얼굴의 캡처된 제1 이미지로부터 이미지 부분을 추출하도록 추가로 구성될 수 있다. 이미지 부분은 사용자(118)의 얼굴의 눈들을 가리킬 수 있다. 회로(202)는 관련 기술 분야에 공지된 상이한 이미지 처리 기술들에 기초하여 캡처된 제1 이미지로부터 (예를 들어, 눈들의 서브이미지 또는 픽셀들을 포함할 수 있는) 이미지 부분을 추출할 수 있다. 회로(202)는 추출된 이미지 부분에 기초하여 사용자(118)의 눈의 움직임을 추적하도록 추가로 구성될 수 있다. 일부 실시예들에서, 회로(202)는 사용자(118)의 얼굴의 다수의 이미지를 캡처하고, 캡처된 각각의 다수의 이미지 내의 이미지 부분의 분석에 기초하여 사용자(118)의 눈의 이동을 더 추적하기 위해 소정 기간에 걸쳐 이미지 캡처링 디바이스(108)를 제어할 수 있다. 눈들의 움직임은 사용자(118)가 (예를 들어, 전자 디바이스(102) 또는 다른 곳을 향해) 응시하고 있는 곳을 가리킬 수 있다.
전자 디바이스(102)의 회로(202)는 사용자(118)의 눈들의 추적된 이동에 기초하여, 전자 디바이스(102)의 복수의 UI 요소(106) 중 제1 UI 요소(306)("볼륨 업" UI 요소 등) 상의 사용자(118)의 시선의 위치를 결정하도록 추가로 구성될 수 있다. 일부 실시예들에서, 회로(202)는 캡처된 제1 이미지에 기초하여 전자 디바이스(102)의 복수의 UI 요소(106) 중 임의의 UI 요소 상의 시선의 위치를 결정할 수 있다.
실시예에 따르면, 회로(202)는 복수의 UI 요소(106) 상의 사용자(118)의 시선의 위치의 변화에 대응하는 복수의 UI 요소(106) 상의 커서(308)의 이동을 추가로 제어할 수 있다. 사용자(118)의 시선이 복수의 UI 요소(106)의 상이한 UI 요소들에 대응하는 제1 디스플레이 스크린(104)의 제1 부분(310) 상의 상이한 위치들로 이동함에 따라, 회로는 사용자(118)가 현재 보고 있을 수 있는 UI 요소로의 커서(308)의 이동을 제어할 수 있다. 예를 들어, 회로(202)가 사용자(118)의 시선이 "위로 이동" 내비게이션 UI 요소 상에 있다고 결정할 때, 회로(202)는 커서(308)를 "위로 이동" 내비게이션 UI 요소에 위치시킬 수 있다. 또한, 회로(202)가 사용자(118)의 시선이 제1 UI 요소(306)(예를 들어, "볼륨 업" UI 요소) 상에 있다고 결정할 때, 회로(202)는 커서(308)를 "볼륨 업" UI 요소(306)로 이동시킬 수 있다. 복수의 UI 요소(106) 상의 커서(308)의 이동은 사용자(118)가 전자 디바이스(102) 상의 사용자(118) 시선의 위치를 시각적으로 확인하는 것을 도울 수 있다.
전자 디바이스(102)의 회로(202)는 특정 시간 간격(예컨대, 수 초) 동안 제1 UI 요소(306)(예를 들어, "볼륨 업" UI 요소) 상에서의 사용자(118) 시선의 결정 시에 제1 UI 요소(306)(예를 들어, "볼륨 업" UI 요소)를 추가로 선택할 수 있다. 예시적인 구현에서, 회로(202)는 다른 눈 제스처들에 기초하여 복수의 UI 요소(106) 중 제1 UI 요소(306)(예를 들어, "볼륨 업" UI 요소)를 선택할 수 있다. 예를 들어, 회로(202)는 시선이 제1 UI 요소(306)(예를 들어, "볼륨 업" UI 요소) 상에 있는 것으로 결정되는 동안 사용자(118)에 의한 눈들의 "깜박임"의 감지에 기초하여 "볼륨 업" UI 요소(306)를 선택하도록 구성될 수 있다. 일부 실시예들에서, 회로(202)는 사용자(118)의 얼굴 표정(예를 들어, 미소) 또는 사용자(118)의 머리와 연관된 제스처(예를 들어, 사용자(118) 머리의 한 방향으로의 기울임) 중 적어도 하나를, 제1 디스플레이 스크린(104) 상에 디스플레이된 복수의 UI 요소(106) 중 제1 UI 요소(306)(예를 들어, "볼륨 업" UI 요소)를 선택하기 위한 사용자 입력으로서 결정하도록 구성될 수 있다.
일 실시예에 따르면, 회로(202)는 복수의 UI 요소(106)로부터의 제1 UI 요소(306)(즉, "볼륨 업" UI 요소)의 선택의 확인으로서 도 3a에 도시된 바와 같이 제1 UI 요소(306)(에를 들어, "볼륨 업" UI 요소)를 추가로 하이라이트할 수 있다. 제1 UI 요소(306)(즉, "볼륨 업" UI 요소)를 하이라이트하는 것은 사용자(118)가 선택된 제1 UI 요소(306)를 식별하는 데 도움을 줄 수 있다. 하나 이상의 실시예에서, 회로(202)는 사용자(118)가 선택된 UI 아이콘을 쉽게 보게 하기 위해 선택된 제1 UI 요소(306)(즉, "볼륨 업" UI 요소)의 크기를 제어(예를 들어, 증가)하도록 구성될 수 있다. 일 예에서, 회로(202)는 선택된 제1 UI 요소(306)를 "팝업" UI 요소로서 제1 디스플레이 스크린(104) 상에 디스플레이하도록 추가로 구성될 수 있다.
회로(202)는 사용자(118)에 의한 제1 UI 요소(306)(즉, "볼륨 업" UI 요소)의 선택에 기초하여 제1 제어 신호를 미디어 디스플레이 디바이스(112)에 전송하도록 추가로 구성될 수 있다. 회로(202)는 단거리 무선파 신호(예를 들어, 블루투스)를 사용하거나 또는 무선 로컬 네트워크(예를 들어, Wi-Fi Direct)를 사용하여 제1 제어 신호를 전송하도록 추가로 구성될 수 있다. 제1 제어 신호(즉, "볼륨 업" UI 요소와 관련된)가 전자 디바이스(102)로부터 미디어 디스플레이 디바이스(112)에 의해 수신될 때, 제1 제어 신호는 미디어 디스플레이 디바이스(112)로 하여금 미디어 디스플레이 디바이스(112)의 제2 디스플레이 스크린(114) 상에 렌더링된 미디어 콘텐츠(302)의 볼륨을 증가시키게 할 수 있다. 따라서, 회로(202)는 사용자(118)의 시선을 이용함으로써 사용자(118)가 전자 디바이스(102)를 통해 미디어 디스플레이 디바이스(112) 상에 렌더링된 미디어 콘텐츠(302)의 볼륨을 제어하게 허용할 수 있다.
도 3a에 도시된 바와 같이, 미디어 디스플레이 디바이스(112)는 사용자 입력에 기초하여 미디어 디스플레이 디바이스(112) 상에 렌더링된 미디어 콘텐츠(302)의 볼륨의 증가를 나타낼 수 있는 "볼륨 업" UI 아이콘(302a)을 제2 디스플레이 스크린(114) 상에 디스플레이할 수 있다. 도 3a에 도시된 "볼륨 업" UI 아이콘(302a)의 위치는 단지 예로서 제시되어 있다는 것이 인지될 것이다. "볼륨 업" UI 아이콘(302a)은 본 개시 내용의 범주로부터 벗어나지 않고 제2 디스플레이 스크린(114)의 임의의 부분 상에 위치될 수 있다.
전자 디바이스(102)의 회로(202)는 또한, 전송된 제1 제어 신호에 기초하여, 미디어 디스플레이 디바이스(112)로부터 피드백 이미지(304)를 수신하도록 구성될 수 있다. 피드백 이미지(304)는 제2 디스플레이 스크린(114) 상에 디스플레이된 바와 같은 "볼륨 업" UI 아이콘(302a)의 이미지에 대응할 수 있다. 예를 들어, 사용자(118)가 미디어 콘텐츠(302)의 볼륨을 제어하기 위해 전자 디바이스(102)를 응시하고 있을 때, 사용자(118)는 미디어 디스플레이 디바이스(112) 상의 "볼륨 업" UI 아이콘(302a)에 의해 표시된 바와 같은 볼륨의 변화를 확인하기 위해 전자 디바이스(102)와 미디어 디스플레이 디바이스(112) 사이에서 시선을 스위칭할 필요가 있을 수 있다. 따라서, 전자 디바이스(102)의 회로(202)는, 볼륨의 증가를 확인하기 위해 전자 디바이스(102)와 미디어 디스플레이 디바이스(112) 사이에서 시선을 앞뒤로 스위칭할 필요 없이, 사용자(118)가 피드백 이미지(304)에 의해 볼륨의 증가를 확인할 수 있도록, "볼륨 업" UI 아이콘(302a)을 피드백 이미지(304)로서 전자 디바이스(102) 상에 디스플레이할 수 있다.
회로(202)는 수신된 피드백 이미지(304)를 디스플레이된 복수의 UI 요소(106)와 함께 디스플레이하게끔 제1 디스플레이 스크린(104)을 제어하도록 추가로 구성될 수 있다. 실시예에 따르면, 회로(202)는 제1 디스플레이 스크린(104)의 제1 부분(310) 상에 복수의 UI 요소(106)를 디스플레이하도록 제1 디스플레이 스크린(104)을 제어하고, 제1 디스플레이 스크린(104)의 제2 부분(312) 상에 수신된 피드백 이미지(304)를 디스플레이하도록 추가로 구성될 수 있다. 각각 제1 부분(310) 및 제2 부분(312)과 같은 상이한 부분들 상의 복수의 UI 요소(106) 및 피드백 이미지(304)의 디스플레이는 사용자(118)가 미디어 디스플레이 디바이스(112) 상에 렌더링된 미디어 콘텐츠(302)의 볼륨을 제어하면서 UI 아이콘의 이미지, 예를 들어, "볼륨 업" UI 아이콘(302a)의 이미지를 볼 수 있게 허용할 수 있다. 여기서, 도 3a에 도시된 바와 같은 제1 디스플레이 스크린(104)의 제2 부분(312) 상의 피드백 이미지(304)의 위치는 단지 예로서 제시된다는 것이 인지될 수 있다. 피드백 이미지(304)는 본 개시 내용의 범주를 벗어나지 않고 제1 디스플레이 스크린(104)의 제2 부분(312) 상의 상이한 위치에 존재할 수 있다. 또한, 도 3a에 도시된 바와 같은 제1 디스플레이 스크린(104)의 제1 부분(310) 및 제2 부분(312)의 크기 및 위치는 단지 예로서 제시된다. 제1 디스플레이 스크린(104)의 제1 부분(310) 및 제2 부분(312)의 크기 및 위치는 본 개시 내용의 범주로부터 벗어나지 않고 상이한 방식으로 제시될 수 있다. 예를 들어, 제1 부분(310)은 제1 디스플레이 스크린(104) 상의 제2 부분(312) 아래에 존재할 수 있다. 따라서, 개시된 전자 디바이스(102)는 사용자(118)가 다른 사용자로부터의 도움 없이 사용자 입력으로서의 시선에 기초하여 미디어 디스플레이 디바이스(112)를 효과적으로 제어할 수 있게 할 수 있다. 개시된 전자 디바이스(102)는 또한 사용자(118)로 하여금 전자 디바이스(102)가 외부 네트워크(예를 들어, 인터넷)에 연결할 것을 요구하지 않고 사용자 입력으로서의 시선에 기초하여 미디어 디스플레이 디바이스(112)를 효과적으로 제어하게 할 수 있다.
도 3b를 참조하면, 예시적인 시나리오(300B)가 도시되어 있다. 예시적인 시나리오(300B)에서, 미디어 콘텐츠(314), 피드백 이미지(316), "좌측 이동" 내비게이션 UI 요소(318), "프로그램 가이드" UI 아이콘(320), 및 "프로그램 가이드" UI 아이콘(320)의 대응하는 이미지(322)가 도시되어 있다.
미디어 디스플레이 디바이스(112)는 사용자(118)의 사용자 입력에 기초하여 제2 디스플레이 스크린(114) 상에 미디어 콘텐츠(314)로서 미디어 디스플레이 디바이스(112)의 홈 스크린을 디스플레이할 수 있다. 사용자(118)는 미디어 디스플레이 디바이스(112)의 홈 스크린 상에 존재하는 UI 아이콘들의 세트를 통해 내비게이션할 필요가 있을 수 있다. UI 아이콘들의 세트는, 예를 들어, "애플리케이션" UI 아이콘, "게임" UI 아이콘, "재생목록" UI 아이콘, "설정" UI 아이콘, "검색" 바, "정보" 아이콘 등을 포함할 수 있다. 따라서, 전자 디바이스(102)의 회로(202)는 복수의 UI 요소(106)의 내비게이션 UI 요소들 상의 사용자(118) 시선의 위치를 결정할 수 있다. 회로(202)는 복수의 UI 요소(106) 중 제1 UI 요소(즉, "좌측 이동" 내비게이션 UI 요소(318)) 상의 사용자(118) 시선의 위치를 결정할 수 있다. 회로(202)는 "좌측 이동" 내비게이션 UI 요소(318) 상의 사용자(118) 시선의 위치의 결정에 기초하여 "좌측 이동" 내비게이션 UI 요소(318)를 선택할 수 있다.
회로(202)는 UI 아이콘들의 세트의 현재 선택된 UI 아이콘의 좌측에 존재할 수 있는 (제2 디스플레이 스크린(114) 상의) UI 아이콘으로 내비게이팅하기 위해 미디어 디스플레이 디바이스(112)에 제1 제어 신호를 추가로 전송할 수 있다. 예를 들어, 제1 제어 신호는 홈 스크린의 우측에 존재하는 UI 아이콘들의 세트의 "애플리케이션" UI 아이콘으로부터 홈 스크린의 좌측에 존재하는 "프로그램 가이드" UI 아이콘(320)으로의 내비게이션에 의해 "프로그램 가이드" UI 아이콘(320)의 선택을 가능하게 할 수 있다.
회로(202)는 전송된 제1 제어 신호에 기초하여 피드백 이미지(316)를 수신하도록 추가로 구성될 수 있다. 수신된 피드백 이미지(316)는 미디어 디스플레이 디바이스(112)의 미디어 콘텐츠(314)와 연관된 이미지(예를 들어, 도 3b에 도시된 홈 스크린 이미지)에 대응할 수 있다. 피드백 이미지(316)는 "프로그램 가이드" UI 아이콘(320)의 대응하는 이미지(322)를 하이라이트 함으로써 "프로그램 가이드" UI 아이콘(320)의 선택을 표시할 수 있다. 따라서, 전자 디바이스(102)는 사용자(118)가 전자 디바이스(102)와 미디어 디스플레이 디바이스(112) 사이에서 시선을 앞뒤로 스위칭할 필요 없이 미디어 콘텐츠(314)(예를 들어, 홈 스크린)의 UI 아이콘들의 세트를 효율적으로 내비게이팅할 수 있게 할 수 있다. 그러므로, 전자 디바이스(102)는 사용자(118)가 미디어 콘텐츠(314)를 계속 시청할 수 있으면서 미디어 디스플레이 디바이스(112)를 제어하게 허용할 수 있다. 그 결과, 사용자(118)는 미디어 디스플레이 디바이스(112)를 제어하기 위한 사용자 입력의 제공 동안 (텔레비전과 같은) 미디어 디스플레이 디바이스(112) 상에서 재생되는 미디어 콘텐츠(314)의 프레임 또는 부분을 놓치지 않는다. 따라서, 사용자(118)는 매끄러운 시청 경험을 할 수 있다.
도 4a 및 도 4b는 본 개시 내용의 일 실시예에 따른, 도 1의 미디어 디스플레이 디바이스(112)의 제어를 위한 다른 예시적인 시나리오를 집합적으로 도시하는 도면이다. 도 4a 및 도 4b는 도 1 및 도 2의 요소들과 관련하여 설명된다. 도 4a를 참조하면, 예시적인 시나리오(400A)가 도시되어 있다. 예시적인 시나리오(400A)에서, 미디어 콘텐츠(402), 피드백 이미지(404), 및 제1 UI 요소(406)(예를 들어, "볼륨 업" UI 요소)가 도시되어 있다. 제1 UI 요소(406)(예를 들어, "볼륨 업" UI 요소)의 기능이, 예를 들어, 도 3a에서 기술된 "볼륨 업" UI 요소(제1 UI 요소(306)로서 도시됨)의 기능과 동일할 수 있다는 것이 인지될 수 있다.
회로(202)는 복수의 UI 요소(106) 중 제1 UI 요소(406)(예를 들어, "볼륨 업" UI 요소) 상의 사용자(118) 시선의 위치를 결정할 수 있다. 회로(202)는, 제1 UI 요소(406)(예를 들어, "볼륨 업" UI 요소) 상의 사용자(118) 시선의 위치의 결정에 기초하여, 미디어 콘텐츠(402)의 볼륨을 제어하기 위한 제1 제어 신호를 추가로 전송할 수 있다. 또한, 회로(202)는, 도 4a에 도시된 바와 같이 피드백 이미지(404)가 미디어 콘텐츠(402) 상에 오버레이된 "볼륨 업" UI 아이콘(402a)의 이미지를 포함할 수 있도록, 미디어 디스플레이 디바이스(112)로부터 피드백 이미지(404)를 수신할 수 있다.
일 실시예에 따르면, 전자 디바이스(102)의 회로(202)는 디스플레이된 피드백 이미지(404) 상에 디스플레이된 복수의 UI 요소(106)의 오버레이를 제어할 수 있다. 회로(202)는, 도 4a에 도시된 바와 같이, 전자 디바이스(102)의 제1 디스플레이 스크린(104)의 동일한 부분 상에 피드백 이미지(404) 위에 복수의 UI 요소(106)를 디스플레이하도록 제1 디스플레이 스크린(104)을 제어할 수 있다.
하나 이상의 실시예들에서, 회로(202)는 디스플레이된 피드백 이미지(404) 상에 오버레이되는 디스플레이된 복수의 UI 요소(106)의 불투명도 레벨을 제어할 수 있다. 회로(202)는, 예를 들어, 수신된 피드백 이미지(404)의 미디어 콘텐츠(402)가 디스플레이된 복수의 UI 요소(106)를 관통해 쉽게 보여질 수 있도록, 디스플레이된 복수의 UI 요소(106)의 불투명도 레벨의 양을 감소시킬 수 있다. 예를 들어, 피드백 이미지(404)의 미디어 콘텐츠(402)의 디스플레이가 사용자(118)에게 보일 수 있도록, 디스플레이된 복수의 UI 요소(106)의 불투명도 레벨이 40 % 불투명도의 레벨로 감소될 수 있다. 피드백 이미지(404) 상에 오버레이되어 있는 감소된 불투명도 레벨의 복수의 UI 요소(106)의 이러한 배열은, 사용자(118)의 시선을 통해 미디어 디스플레이 디바이스(112)를 제어하면서, 사용자(118)가 복수의 UI 요소(106)와 동시에 피드백 이미지(404)를 보도록 허용할 수 있다. 또한, 이러한 배열은, 사용자(118)가 제1 디스플레이 스크린(104)의 전체 스크린 상에서(또는 특정 부분 상에서) 피드백 이미지(404)뿐만 아니라 복수의 UI 요소(106)를 볼 수 있게 할 수 있다. 대안적인 실시예에서, 복수의 UI 요소(106)의 불투명도 레벨의 제어 대신에 피드백 이미지(404)의 불투명도 레벨이 제어(예를 들어, 감소)되도록, 복수의 UI 요소(106)가 피드백 이미지(404) 상에 오버레이될 수 있다. 따라서, 전자 디바이스(102)는, 전자 디바이스(102) 상의 피드백 이미지(404) 및 복수의 UI 요소(106)의 동시 디스플레이로 인해, 사용자가 전자 디바이스(102) 상에서 미디어 콘텐츠(402)를 계속 시청하면서 미디어 디스플레이 디바이스(112)를 제어하게 허용한다.
도 4b를 참조하면, 예시적인 시나리오(400B)가 도시되어 있다. 예시적인 시나리오(400B)에서, 미디어 콘텐츠(408), 복수의 UI 요소(106) 중 (제1 UI 요소와 같은) "정보" UI 요소(410), 피드백 이미지(412), 제1 정보(414), 및 전자 디바이스(102)의 제1 디스플레이 스크린(104)의 제3 부분(416)이 도시되어 있다.
일부 실시예들에서, 사용자(118)는 미디어 디스플레이 디바이스(112) 상에 렌더링된 미디어 콘텐츠, 예를 들어 미디어 콘텐츠(408)에 관한 정보를 요구할 수 있다. 예를 들어, 미디어 디스플레이 디바이스(112)는 다큐멘터리를 미디어 콘텐츠(408)로서 렌더링할 수 있다. 사용자(118)는 다큐멘터리의 내용에 관한 정보, 예를 들어, 다큐멘터리의 이름 또는 요약을 요구하고, 복수의 UI 요소(106) 중 "정보" UI 요소(410)(즉, 제1 UI 요소) 상에 시선의 위치를 이동시킬 수 있다. 이러한 경우에서, 회로(202)는 "정보" UI 요소(410) 상의 사용자(118) 시선의 위치를 결정할 수 있다.
회로(202)는, "정보" UI 요소(410) 상의 사용자(118) 시선의 위치의 결정에 기초하여, 복수의 UI 요소(106) 중 "정보" UI 요소(410)를 추가로 선택할 수 있다. 그 결과, 회로(202)는 미디어 디스플레이 디바이스(112) 상에 디스플레이된 미디어 콘텐츠(408)에 관련된 정보, 예를 들어, 제1 정보(414)를 수신하기 위해 제1 제어 신호를 미디어 디스플레이 디바이스(112)에 전송할 수 있다. 일 예에서, 제1 정보(414)는 미디어 디스플레이 디바이스(112) 상에 렌더링된 다큐멘터리에 관한 정보일 수 있다. 일 실시예에서, 회로(202)는 피드백 이미지, 예를 들어, 미디어 콘텐츠(408)에 대응하는 피드백 이미지(412)를 미디어 디스플레이 디바이스(112)로부터 제1 정보(414)와 함께 추가로 수신할 수 있다. 일부 실시예들에서, 회로(202)는 서버(120)(도 1에 도시됨)로부터 미디어 콘텐츠(408)에 관련된 제1 정보(414)를 수신할 수 있다.
일 실시예에 따르면, 회로(202)는 미디어 디스플레이 디바이스(112)의 제2 디스플레이 스크린(114) 상에 디스플레이된 미디어 콘텐츠(408)에 관련된 정보, 예를 들어, 제1 정보(414)를 디스플레이하게끔 제1 디스플레이 스크린(104)을 제어하도록 구성될 수 있다. 회로(202)는 사용자(118)의 시선에 의한 복수의 UI 요소(106) 중 "정보" UI 요소(410)의 선택에 기초하여 제1 정보(414)를 디스플레이하도록 제1 디스플레이 스크린(104)을 제어할 수 있다. 일 실시예에서, 회로(202)는 제1 디스플레이 스크린(104)의 제3 부분(416)(즉, 도 3a에 도시된 제1 부분(310) 및 제2 부분(312)과는 상이함) 상에 제1 정보(414)를 디스플레이할 수 있다. 또한, 회로(202)는 전자 디바이스(102)의 제1 디스플레이 스크린(104) 상에 피드백 이미지(412)를 디스플레이하도록 제1 디스플레이 스크린(104)을 추가로 제어할 수 있다. 여기서, 도 4b에 도시된 제1 디스플레이 스크린(104) 상의 제3 부분(416)의 위치는 단지 예로서 제시된다는 것이 인지될 수 있다. 본 개시 내용은 본 개시 내용의 범주로부터 벗어나지 않고, 제1 디스플레이 스크린(104) 상의 제3 부분(416)의 다른 위치들에 또한 적용가능할 수 있다.
하나 이상의 실시예들에서, 복수의 UI 요소(106), 피드백 이미지(412) 및 제1 정보(414)는 제1 디스플레이 스크린(104)의 3개의 상이한 부분 상에 디스플레이될 수 있다. 예시적인 실시예에서, 복수의 UI 요소(106), 피드백 이미지(412), 및 제1 정보(414)의 디스플레이 위치들이 미리 설정될 수 있다. 다른 예시적인 실시예에서, 복수의 UI 요소(106), 피드백 이미지(412), 및 제1 정보(414)의 디스플레이 위치들은 사용자 입력에 기초하여 설정될 수 있다. 예시적인 실시예에서, 도 4a를 참조하여 기술된 바와 같이, 복수의 UI 요소(106)가 제어된 불투명도 레벨, 예를 들어, 피드백 이미지(412) 및 제1 정보(414)보다 감소된 불투명도 레벨로 디스플레이될 수 있도록, 복수의 UI 요소(106)가 피드백 이미지(412) 및 제1 정보(414) 상에 오버레이될 수 있다.
도 5a 및 도 5b는 본 개시 내용의 일 실시예에 따른, 도 1의 미디어 디스플레이 디바이스(112)의 제어를 위한 다른 예시적인 시나리오들을 집합적으로 도시하는 도면들이다. 도 5a 및 도 5b는 도 1 및 도 2의 요소들과 관련하여 설명된다. 도 5a를 참조하면, 예시적인 시나리오(500A)가 도시되어 있다. 예시적인 시나리오(500A)에서, 복수의 UI 요소(106) 중 "홈" UI 요소(502)(즉, 제1 UI 요소), 안내 정보(504), 및 미디어 콘텐츠(506)가 도시되어 있다. 미디어 콘텐츠(506)는, 도 5a에 도시된 바와 같이, 미디어 디스플레이 디바이스(112) 상에 렌더링된 뉴스에 관련된 콘텐츠에 관련될 수 있다.
일 실시예에 따르면, 미디어 디스플레이 디바이스(112)는 미디어 콘텐츠(506)(예를 들어, 뉴스 콘텐츠)를 렌더링할 수 있다. 사용자(118)는 미디어 디스플레이 디바이스(112) 상의 다른 미디어 콘텐츠로 스위칭하기 위해 미디어 디스플레이 디바이스(112)의 홈 스크린을 보는 것을 요구할 수 있고, "홈" UI 요소(502)를 추가로 응시할 수 있다. 전자 디바이스(102)의 회로(202)는, 복수의 UI 요소(106) 중 "홈" UI 요소(502) 상에서의 사용자(118)의 시선의 위치의 결정에 기초하여, 사용자(118)가 미디어 디스플레이 디바이스(112)의 홈 스크린(예를 들어, 메인 페이지)을 보기 위한 안내 정보(504)(예를 들어, "홈" UI 요소(502)와 같은 UI 요소의 동작에 관한 정보)를 렌더링하도록 구성될 수 있다. 따라서, 회로(202)는 미디어 디스플레이 디바이스(112)의 제2 디스플레이 스크린(114) 상에 홈 스크린(도 5a에 도시되지 않음)을 디스플레이하기 위해 "홈" UI 요소(502) 상의 사용자(118)의 시선에 기초하여 "홈" UI 요소(502)를 선택할 수 있다. 또한, 안내 정보(504)는 제1 디스플레이 스크린(104) 상에 디스플레이된 복수의 UI 요소(106) 중 하나 이상의 UI 요소를 통해 미디어 디스플레이 디바이스(112)의 하나 이상의 구성 설정을 제어하도록 렌더링될 수 있다. 예를 들어, 안내 정보(504)는 미디어 디스플레이 디바이스(112)의 특정 설정들(예를 들어, 컬러의 조정, 종횡비의 조정, 그러나 이에 제한되지는 않음)을 구성하기 위한 정보를 사용자(118)에게 제공할 수 있다. 일 실시예에서, 복수의 UI 요소(106) 및 안내 정보(504)는 전자 디바이스(102)의 제1 디스플레이 스크린(104)의 상이한 부분들에서 제공될 수 있다. 여기서, 도 5a에 도시된 제1 디스플레이 스크린(104) 상의 안내 정보(504)의 위치는 단지 예로서 제시된다는 것이 인지될 수 있다. 본 개시 내용은, 본 개시 내용의 범주로부터 벗어나지 않고, 제1 디스플레이 스크린(104) 상의 안내 정보(504)의 다른 위치들에 또한 적용가능할 수 있다.
일부 실시예들에서, 회로(202)는 "정보" UI 요소(410)(도 4b에 도시됨) 상에서의 사용자(118) 시선의 결정에 의해 사용자(118)를 위한 안내 정보(504)를 렌더링하도록 구성될 수 있다. 예시적인 실시예에서, 도 4b의 제1 정보(414)는 복수의 UI 요소(106) 중 각각의 UI 요소의 동작에 관한 정보 또는 미디어 디스플레이 디바이스(112) 상에 현재 렌더링된 미디어 콘텐츠(506)에 관한 정보일 수 있다. 따라서, 안내 정보(504)는 사용자(118)가 미디어 디스플레이 디바이스(112)의 하나 이상의 구성 설정 또는 상이한 기능을 제어하기 위해 적절한 UI 요소를 선택하는 데 도움을 줄 수 있다.
도 5b를 참조하면, 예시적인 시나리오(500B)가 도시되어 있다. 예시적인 시나리오(500B)에서, 미디어 콘텐츠(508), 피드백 이미지(510), 및 복수의 UI 요소(106) 중 "재생 제어" UI 요소(예를 들어, "되감기" UI 요소(512))가 도시되어 있다. 미디어 콘텐츠(508)는 미디어 디스플레이 디바이스(112) 상에 렌더링된 영화를 포함할 수 있다.
일 실시예에 따르면, 미디어 디스플레이 디바이스(112)는 미디어 콘텐츠(508), 예를 들어, 영화를 렌더링할 수 있다. 전자 디바이스(102)의 회로(202)는 수신된 피드백 이미지(510)에 기초하여 UI 요소들의 세트(514)(즉, 도 5a의 제1 디스플레이 스크린(104) 상의, 복수의 UI 요소(106)의 서브세트일 수 있는)를 디스플레이하게끔 제1 디스플레이 스크린(104)을 제어하도록 구성될 수 있다. 예를 들어, UI 요소들의 세트(514)는 도 5b에 도시된 바와 같이 "전원" UI 요소, "홈" UI 요소, "정보" UI 요소, "볼륨 업" UI 요소, "볼륨 다운" UI 요소, "되감기" UI 요소(512), "일시정지" UI 요소, "재생" UI 요소, 및 "빨리감기" UI 요소를 포함할 수 있다. UI 요소들의 세트(514)는 미디어 디스플레이 디바이스(112) 상에 디스플레이된 미디어 콘텐츠(508)의 유형 및 전자 디바이스(102)에 의해 수신된 피드백 이미지(510)에 기초하여 디스플레이될 수 있다. 회로(202)는, 도 5b의 제1 디스플레이 스크린(104)의 스크린 면적이 도 5a의 제1 디스플레이 스크린(104)에 비해 상대적으로 덜 어수선하도록, 렌더링된 미디어 콘텐츠(508)에 기초하여 복수의 UI 요소(106)로부터 필수적이지 않은 UI 요소들을 추가로 숨기거나 생략할 수 있다. 그 결과, 회로(202)는 UI 요소들의 세트(514) 중 임의의 특정 UI 요소(즉, 제1 UI 요소) 상의 사용자(118) 시선의 위치를 효율적으로 결정할 수 있다. 일 예에서, 회로(202)는, 영화의 재생 동안, "내비게이션" UI 요소들, "숫자" UI 요소들 등과 같은 UI 요소들을 숨기거나 생략할 수 있다. 도 5b에 도시된 바와 같이, 회로(202)는 미디어 디스플레이 디바이스(112) 상의 미디어 콘텐츠(508)(예를 들어, 영화)의 재생을 제어하기 위해 사용자(118)에 의해 요구될 수 있는 UI 요소들의 세트(514)를 디스플레이하도록 제1 디스플레이 스크린(104)을 제어할 수 있다.
예시적인 실시예에서, 사용자(118)는 미디어 디스플레이 디바이스(112) 상에 렌더링된 미디어 콘텐츠(508)를 되감기하는 것을 요구할 수 있다. 회로(202)는 특정 시간 간격 동안(예를 들어, 수 초 동안) UI 요소들의 세트(514) 중 "되감기" UI 요소(512)(즉, 제1 UI 요소) 상의 사용자(118) 시선의 위치를 추가로 결정할 수 있다. 회로(202)는 "되감기" UI 요소(512) 상의 사용자(118) 시선의 결정에 기초하여 "되감기" UI 요소(512)를 선택할 수 있다. 회로(202)는 사용자 입력으로서의 시선에 기초하여 미디어 디스플레이 디바이스(112) 상에서 미디어 콘텐츠(508)를 되감기 위해 제1 제어 신호를 미디어 디스플레이 디바이스(112)에 추가로 전송할 수 있다. 또한, 회로(202)는 전송된 제1 제어 신호에 기초하여 미디어 디스플레이 디바이스(112)로부터 미디어 콘텐츠(508)의 이미지를 포함하는 피드백 이미지(510)를 수신할 수 있다. UI 요소들의 세트(514) 및 피드백 이미지(510)는 제1 디스플레이 스크린(104)의 상이한 부분들 상에 디스플레이될 수 있다. 일부 실시예들에서, UI 요소들의 세트(514)는 제1 디스플레이 스크린(104) 상의 피드백 이미지(510) 상에 오버레이될 수 있다. 그러므로, 회로(202)는 사용자(118)가 UI 요소들의 세트(514)를 사용하여 미디어 디스플레이 디바이스(112) 상에서의 미디어 콘텐츠(508)의 렌더링을 효율적으로 제어하게 허용할 수 있다. 도 5b에 도시된 UI 요소들의 세트(514)가 단지 예로서 제시된다는 점이 인지될 수 있다. 본 개시 내용은, 본 개시 내용의 범주를 벗어나지 않으면서 제1 디스플레이 스크린(104) 상의 다른 UI 요소 세트에 또한 적용가능할 수 있다.
도 6은, 본 개시 내용의 일 실시예에 따라, 전자 디바이스를 통해 미디어 디스플레이 디바이스를 제어하는 예시적인 방법을 도시하는 흐름도이다. 도 6은 도 1, 도 2, 도 3a, 도 3b, 도 4a, 도 4b, 도 5a 및 도 5b로부터의 요소들과 관련하여 설명된다. 도 6을 참조하면, 흐름도(600)가 도시되어 있다. 흐름도(600)의 동작들은 전자 디바이스(102) 또는 회로(202)와 같은 컴퓨팅 시스템에 의해 실행될 수 있다. 동작들은 602에서 시작되어 604로 진행할 수 있다.
604에서, 이미지 캡처링 디바이스(108)는 전자 디바이스(102)의 사용자의 제1 이미지를 캡처하도록 제어될 수 있다. 하나 이상의 실시예들에서, 전자 디바이스(102)의 회로(202)는, 예를 들어 도 3a에서 설명된 바와 같이 전자 디바이스(102)의 사용자(118)의 제1 이미지를 캡처하기 위해 전자 디바이스(102)의 이미지 캡처링 디바이스(108)를 제어하도록 구성될 수 있다.
606에서, 사용자(118)의 캡처된 제1 이미지에 기초하여, 디스플레이된 복수의 UI 요소 중 제1 UI 요소 상에서 사용자(118)의 시선의 위치가 결정될 수 있다. 하나 이상의 실시예들에서, 전자 디바이스(102)의 회로(202)는, 예를 들어 도 3a에서 설명된 바와 같이, 사용자(118)의 캡처된 제1 이미지에 기초하여, 디스플레이된 복수의 UI 요소(106) 중 제1 UI 요소(106A) 상에서 사용자(118)의 시선의 위치를 결정하도록 구성될 수 있다.
608에서, 시간 간격 동안의 제1 UI 요소(106A) 상에서의 시선의 위치 결정에 기초하여 복수의 UI 요소(106) 중 제1 UI 요소(106A)가 선택될 수 있다. 하나 이상의 실시예들에서, 전자 디바이스(102)의 회로(202)는, 예를 들어 도 3a에서 설명된 바와 같이 시간 간격 동안 제1 UI 요소(106A) 상에서의 시선 위치의 결정에 기초하여 복수의 UI 요소(106) 중 제1 UI 요소(106A)를 선택하도록 구성될 수 있다. 일부 실시예들에서, 시간 간격은 수 초(예컨대, 적어도 3초)일 수 있다.
610에서, 복수의 UI 요소(106) 중 제1 UI 요소(106A)의 선택에 기초하여, 제1 제어 신호가 미디어 디스플레이 디바이스(112)에 전송될 수 있다. 하나 이상의 실시예들에서, 전자 디바이스(102)의 회로(202)는, 예를 들어 도 3a에서 설명된 바와 같이 복수의 UI 요소(106) 중 제1 UI 요소(106A)의 선택에 기초하여, 미디어 디스플레이 디바이스(112)에 제1 제어 신호를 전송하도록 구성될 수 있다.
612에서, 전송된 제1 제어 신호에 기초하여 피드백 이미지가 미디어 디스플레이 디바이스(112)로부터 수신될 수 있다. 하나 이상의 실시예들에서, 전자 디바이스(102)의 회로(202)는, 예를 들어 도 3a에서 설명된 바와 같이, 전송된 제1 제어 신호에 기초하여, 미디어 디스플레이 디바이스(112)로부터 피드백 이미지(304)를 수신하도록 구성될 수 있다. 수신된 피드백 이미지(304)는 전송된 제1 제어 신호에 기초한 미디어 디스플레이 디바이스(112)의 제어를 나타낼 수 있다.
614에서, 제1 디스플레이 스크린은 수신된 피드백 이미지(304)를 디스플레이된 복수의 UI 요소(106)와 함께 디스플레이하도록 제어될 수 있다. 하나 이상의 실시예들에서, 전자 디바이스(102)의 회로(202)는, 예를 들어 도 3a에서 설명된 바와 같이, 수신된 피드백 이미지(304)를 디스플레이된 복수의 UI 요소(106)와 함께 디스플레이하게끔 제1 디스플레이 스크린(104)을 제어하도록 구성될 수 있다. 제어는 종료로 넘어갈 수 있다.
흐름도(600)는 604, 606, 608, 610, 612, 및 614와 같은 개별 동작들로서 예시되지만, 본 개시 내용은 그렇게 제한되지 않는다. 따라서, 특정 실시예들에서, 이러한 개별 동작들은, 개시된 실시예들의 본질을 손상시키지 않고 특정 구현에 따라, 추가 동작들로 더 분할되거나, 더 적은 동작들로 결합되거나, 제거될 수 있다.
본 개시 내용의 다양한 실시예들은, 이미지 캡처링 디바이스(예컨대, 이미지 캡처링 디바이스(108)) 및 제1 디스플레이 스크린(예컨대, 제1 디스플레이 스크린(104))을 포함하는 전자 디바이스(전자 디바이스(102))에 의해 실행될 때, 전자 디바이스(102)로 하여금 동작들을 실행하게 하는 컴퓨터 실행가능 명령어들이 저장되어 있는 비일시적 컴퓨터 판독가능 매체를 제공할 수 있다. 동작들은 복수의 사용자 인터페이스(UI) 요소를 디스플레이하기 위한 제1 디스플레이 스크린의 제어를 포함할 수 있다. 복수의 UI 요소 각각의 선택은 전자 디바이스에 통신가능하게 결합된 미디어 디스플레이 디바이스(예컨대, 미디어 디스플레이 디바이스(112))를 제어한다. 동작들은 전자 디바이스의 사용자의 제1 이미지를 캡처하기 위한 이미지 캡처링 디바이스의 제어를 추가로 포함한다. 동작들은, 사용자의 캡처된 제1 이미지에 기초하여, 디스플레이된 복수의 UI 요소 중 제1 UI 요소 상에서의 사용자 시선의 위치의 결정을 추가로 포함한다. 동작들은 시간 간격 동안 제1 UI 요소 상에서의 시선의 위치의 결정에 기초하여 복수의 UI 요소 중 제1 UI 요소를 선택하는 것을 추가로 포함한다. 동작들은 복수의 UI 요소 중 제1 UI 요소의 선택에 기초한, 미디어 디스플레이 디바이스로의 제1 제어 신호의 전송을 추가로 포함한다. 동작들은 전송된 제1 제어 신호에 기초한, 미디어 디스플레이 디바이스로부터의 피드백 이미지 수신을 추가로 포함한다. 수신된 피드백 이미지는 전송된 제1 제어 신호에 기초한 미디어 디스플레이 디바이스의 제어를 나타낸다. 동작들은 수신된 피드백 이미지를 디스플레이된 복수의 UI 요소와 함께 디스플레이하기 위한 제1 디스플레이 스크린의 제어를 추가로 포함한다.
본 개시 내용의 예시적인 양태들은 전자 디바이스(예컨대, 전자 디바이스(102))를 포함할 수 있다. 전자 디바이스(102)는 이미지 캡처링 디바이스(예컨대, 이미지 캡처링 디바이스(108)), 및 복수의 사용자 인터페이스(UI) 요소(예컨대, 복수의 UI 요소(106))를 디스플레이하도록 구성될 수 있는 제1 디스플레이 스크린(예컨대, 제1 디스플레이 스크린(104))을 포함할 수 있다. 복수의 UI 요소(106) 각각의 선택은 전자 디바이스(102)에 통신가능하게 결합된 미디어 디스플레이 디바이스(예컨대, 미디어 디스플레이 디바이스(112))를 제어할 수 있다. 전자 디바이스(102)는 이미지 캡처링 디바이스(108) 및 제1 디스플레이 스크린(104)에 결합된 회로(예컨대, 회로(202))를 추가로 포함할 수 있다. 회로(202)는 이미지 캡처링 디바이스(108)를 제어하여 전자 디바이스(102)의 사용자(예를 들어, 사용자(118))의 제1 이미지를 캡처하도록 구성될 수 있다. 회로(202)는 사용자(118)의 캡처된 제1 이미지에 기초하여, 디스플레이된 복수의 UI 요소(106) 중 제1 UI 요소(예를 들어, 제1 UI 요소(106A)) 상의 사용자(118) 시선의 위치를 결정하도록 추가로 구성될 수 있다. 회로(202)는 시간 간격 동안 제1 UI 요소(106A) 상에서의 시선의 위치의 결정에 기초하여 복수의 UI 요소(106) 중 제1 UI 요소(106A)를 선택하도록 추가로 구성될 수 있다. 회로(202)는 복수의 UI 요소(106) 중 제1 UI 요소(106A)의 선택에 기초하여, 제1 제어 신호를 미디어 디스플레이 디바이스(112)에 전송하도록 추가로 구성될 수 있다. 회로(202)는 전송된 제1 제어 신호에 기초하여 미디어 디스플레이 디바이스(112)로부터 피드백 이미지(예를 들어, 피드백 이미지(110))를 수신하도록 추가로 구성될 수 있다. 수신된 피드백 이미지(110)는 전송된 제1 제어 신호에 기초한 미디어 디스플레이 디바이스(112)의 제어를 나타낼 수 있다. 회로(202)는 수신된 피드백 이미지(110)를 디스플레이된 복수의 UI 요소(106)와 함께 디스플레이하게끔 제1 디스플레이 스크린(104)을 제어하도록 추가로 구성될 수 있다.
일 실시예에 따르면, 복수의 UI 요소(106) 중 각각의 UI 요소는 미디어 디스플레이 디바이스(112)와 연관된 상이한 기능과 연관될 수 있다.
일 실시예에 따르면, 회로(202)는 복수의 UI 요소(106) 상에서의 사용자(118) 시선의 위치의 변화에 대응하는 복수의 UI 요소(106) 상의 커서(예컨대, 커서(308))의 이동을 제어하도록 추가로 구성될 수 있다.
일 실시예에 따르면, 회로(202)는 복수의 UI 요소(106) 중 제1 UI 요소(106A)의 선택에 기초하여 제1 UI 요소(106A)를 하이라이트하도록 추가로 구성될 수 있다.
일 실시예에 따르면, 미디어 디스플레이 디바이스(112)로부터 수신된 피드백 이미지(304)는 전송된 제1 제어 신호에 기초한 미디어 디스플레이 디바이스(112)의 제어를 나타내는 UI 아이콘(예를 들어, UI 아이콘(302a))에 대응할 수 있다.
일 실시예에 따르면, 미디어 디스플레이 디바이스(112)로부터 수신된 피드백 이미지(316)는 전송된 제1 제어 신호에 기초하여 미디어 디스플레이 디바이스(112)의 제2 디스플레이 스크린(예컨대, 제2 디스플레이 스크린(114)) 상에 디스플레이된 미디어 콘텐츠(예컨대, 미디어 콘텐츠(314))에 대응할 수 있다.
일 실시예에 따르면, 회로(202)는 미디어 디스플레이 디바이스(112)의 제2 디스플레이 스크린(114) 상에 디스플레이된 미디어 콘텐츠(402)에 대응할 수 있는 디스플레이된 피드백 이미지(404) 상의 디스플레이된 복수의 UI 요소(106)의 오버레이를 제어하도록 추가로 구성될 수 있다.
일 실시예에 따르면, 회로(202)는 디스플레이된 피드백 이미지(404) 상에 오버레이되는 디스플레이된 복수의 UI 요소(106)의 불투명도 레벨을 제어하도록 추가로 구성될 수 있다.
일 실시예에 따르면, 회로(202)는, 복수의 UI 요소(106) 중 하나 이상의 UI 요소의 선택에 기초하여, 미디어 디스플레이 디바이스(112)의 제2 디스플레이 스크린(114) 상에 디스플레이된 미디어 콘텐츠(408)에 관련된 정보(예컨대, 제1 정보(414))를 디스플레이하게끔 제1 디스플레이 스크린(104)을 제어하도록 추가로 구성될 수 있다.
일 실시예에 따르면, 회로(202)는 제1 디스플레이 스크린(104)의 제1 부분(예컨대, 제1 부분(310)) 상에 복수의 UI 요소(106)를 디스플레이하고, 제1 디스플레이 스크린(104)의 제2 부분(예컨대, 제2 부분(312)) 상에 수신된 피드백 이미지(304)를 디스플레이하게끔 제1 디스플레이 스크린(104)을 제어하도록 추가로 구성될 수 있다. 제1 부분(310)은 제2 부분(312)과 상이할 수 있다.
일 실시예에 따르면, 회로(202)는 제1 디스플레이 스크린(104) 상에 디스플레이된 복수의 UI 요소(106) 중 제1 UI 요소(106A)를 선택하기 위해 사용자(118)의 얼굴 표정과 연관된 제스처 또는 사용자(118)의 머리와 연관된 제스처 중 적어도 하나를 결정하도록 추가로 구성될 수 있다.
일 실시예에 따르면, 회로(202)는, 제1 디스플레이 스크린(104) 상에 디스플레이된 복수의 UI 요소(106) 중 하나 이상의 UI 요소들을 통해 미디어 디스플레이 디바이스(112)의 하나 이상의 구성 세팅들을 제어하기 위해, 사용자(118)를 위한 안내 정보(예를 들어, 안내 정보(504))를 렌더링하도록 추가로 구성될 수 있다.
일 실시예에 따르면, 회로(202)는, 수신된 피드백 이미지(510)에 기초하여, 복수의 UI 요소(106) 중 UI 요소들의 세트(514)를 제1 디스플레이 스크린(104) 상에 디스플레이하게끔 제1 디스플레이 스크린(104)을 제어하도록 추가로 구성될 수 있다.
본 개시 내용은 하드웨어, 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있다. 본 개시 내용은 적어도 하나의 컴퓨터 시스템에서 중앙 집중식으로, 또는 상이한 요소들이 여러 상호 연결된 컴퓨터 시스템들에 걸쳐 확산될 수 있는 분산 방식으로 실현될 수 있다. 본 명세서에 설명된 방법들을 수행하도록 적응된 컴퓨터 시스템 또는 다른 디바이스가 적합할 수 있다. 하드웨어와 소프트웨어의 조합은, 로딩되고 실행될 때, 본 명세서에 설명된 방법들을 수행하도록 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램을 갖는 범용 컴퓨터 시스템일 수 있다. 본 개시 내용은 다른 기능들을 또한 수행하는 집적 회로의 일부분을 포함하는 하드웨어로 실현될 수 있다.
본 개시 내용은 또한 본 명세서에 기술된 방법들의 구현을 가능하게 하고 컴퓨터 시스템에 로딩될 때 이러한 방법들을 수행할 수 있는 모든 특징들을 포함하는 컴퓨터 프로그램 제품에 내장될 수 있다. 컴퓨터 프로그램은, 본 문맥에서, 정보 처리 능력을 갖는 시스템으로 하여금 특정 기능을 직접 수행하거나, 또는 다음 중 하나 또는 둘 모두 후에 수행하도록 의도된 명령어들의 세트를 임의의 언어, 코드 또는 표기법으로 임의로 표현한 것을 의미한다: a) 다른 언어, 코드 또는 표기법으로의 변환; b) 다른 자료 형태로의 재생산.
본 개시 내용이 특정 실시예들을 참조하여 설명되지만, 본 개시 내용의 범주로부터 벗어나지 않고 다양한 변형들이 이루어질 수 있고 균등물들이 대체될 수 있다는 점이 본 기술분야의 통상의 기술자에 의해 이해될 것이다. 또한, 해당 범위를 벗어나지 않고 본 개시 내용의 교시에 특정 상황 또는 재료를 적응시키기 위해 많은 변형들이 이루어질 수 있다. 따라서, 본 개시 내용은 개시된 특정 실시예로 제한되지 않고, 본 개시 내용은 첨부된 청구범위들의 범위 내에 속하는 모든 실시예들을 포함하는 것으로 의도된다.

Claims (20)

  1. 전자 디바이스로서,
    이미지 캡처링 디바이스;
    복수의 사용자 인터페이스(UI) 요소를 디스플레이하도록 구성된 제1 디스플레이 스크린 - 상기 복수의 UI 요소 각각의 선택은 상기 전자 디바이스에 통신가능하게 결합된 미디어 디스플레이 디바이스를 제어함 -; 및
    상기 이미지 캡처링 디바이스 및 상기 제1 디스플레이 스크린에 결합되는 회로
    를 포함하고, 상기 회로는:
    상기 이미지 캡처링 디바이스를 제어하여 상기 전자 디바이스의 사용자의 제1 이미지를 캡처하고;
    상기 사용자의 캡처된 제1 이미지에 기초하여, 디스플레이된 복수의 UI 요소 중 제1 UI 요소 상에서의 상기 사용자의 시선의 위치를 결정하고;
    시간 간격 동안 상기 제1 UI 요소 상의 상기 시선의 상기 위치의 상기 결정에 기초하여 상기 복수의 UI 요소 중 상기 제1 UI 요소를 선택하고;
    상기 복수의 UI 요소 중 상기 제1 UI 요소의 선택에 기초하여, 제1 제어 신호를 상기 미디어 디스플레이 디바이스로 전송하고;
    전송된 제1 제어 신호에 기초하여 상기 미디어 디스플레이 디바이스로부터 피드백 이미지를 수신하고 - 수신된 피드백 이미지는 전송된 제1 제어 신호에 기초한 상기 미디어 디스플레이 디바이스의 제어를 나타냄 -;
    상기 수신된 피드백 이미지를 상기 디스플레이된 복수의 UI 요소와 함께 디스플레이하도록 상기 제1 디스플레이 스크린을 제어하도록
    구성되는, 전자 디바이스.
  2. 제1항에 있어서, 상기 복수의 UI 요소 중 각각의 UI 요소는 상기 미디어 디스플레이 디바이스와 연관된 상이한 기능과 연관되어 있는, 전자 디바이스.
  3. 제1항에 있어서, 상기 회로는 상기 복수의 UI 요소 상의 상기 사용자의 시선의 위치의 변화에 대응하는 상기 복수의 UI 요소 상의 커서의 이동을 제어하도록 추가로 구성되는, 전자 디바이스.
  4. 제1항에 있어서, 상기 회로는 상기 복수의 UI 요소 중 상기 제1 UI 요소의 선택에 기초하여 상기 제1 UI 요소를 하이라이트하도록 추가로 구성되는, 전자 디바이스.
  5. 제1항에 있어서, 상기 미디어 디스플레이 디바이스로부터 수신된 상기 피드백 이미지는 상기 전송된 제1 제어 신호에 기초한 상기 미디어 디스플레이 디바이스의 제어를 나타내는 UI 아이콘에 대응하는, 전자 디바이스.
  6. 제1항에 있어서, 상기 미디어 디스플레이 디바이스로부터 수신된 상기 피드백 이미지는 상기 전송된 제1 제어 신호에 기초하여 상기 미디어 디스플레이 디바이스의 제2 디스플레이 스크린 상에 디스플레이된 미디어 콘텐츠에 대응하는, 전자 디바이스.
  7. 제6항에 있어서, 상기 회로는 상기 미디어 디스플레이 디바이스의 상기 제2 디스플레이 스크린 상에 디스플레이된 상기 미디어 콘텐츠에 대응하는 상기 디스플레이된 피드백 이미지 상의 상기 디스플레이된 복수의 UI 요소의 오버레이를 제어하도록 추가로 구성되는, 전자 디바이스.
  8. 제7항에 있어서, 상기 회로는 상기 디스플레이된 피드백 이미지 상에 오버레이되는 상기 디스플레이된 복수의 UI 요소의 불투명도 레벨을 제어하도록 추가로 구성되는, 전자 디바이스.
  9. 제6항에 있어서, 상기 회로는 상기 복수의 UI 요소 중 하나 이상의 UI 요소들의 선택에 기초하여, 상기 미디어 디스플레이 디바이스의 상기 제2 디스플레이 스크린 상에 디스플레이된 상기 미디어 콘텐츠에 관련된 정보를 디스플레이하게끔 상기 제1 디스플레이 스크린을 제어하도록 추가로 구성되는, 전자 디바이스.
  10. 제1항에 있어서, 상기 회로는 상기 제1 디스플레이 스크린의 제1 부분 상에 상기 복수의 UI 요소를 디스플레이하고, 상기 제1 디스플레이 스크린의 제2 부분 상에 상기 수신된 피드백 이미지를 디스플레이하게끔 상기 제1 디스플레이 스크린을 제어하도록 추가로 구성되고, 상기 제1 부분은 상기 제2 부분과 상이한, 전자 디바이스.
  11. 제1항에 있어서, 상기 회로는 상기 제1 디스플레이 스크린 상에 디스플레이된 상기 복수의 UI 요소 중 상기 제1 UI 요소를 선택하기 위해, 상기 사용자의 얼굴 표정과 연관된 제스처 또는 상기 사용자의 머리와 연관된 제스처 중 적어도 하나를 결정하도록 추가로 구성되는, 전자 디바이스.
  12. 제1항에 있어서, 상기 회로는 상기 제1 디스플레이 스크린 상에 디스플레이된 상기 복수의 UI 요소 중 하나 이상의 UI 요소들을 통해 상기 미디어 디스플레이 디바이스의 하나 이상의 구성 설정들을 제어하기 위해 상기 사용자를 위한 안내 정보를 렌더링하도록 추가로 구성되는, 전자 디바이스.
  13. 제1항에 있어서, 상기 회로는 상기 수신된 피드백 이미지에 기초하여, 상기 복수의 UI 요소 중 UI 요소들의 세트를 상기 제1 디스플레이 스크린 상에 디스플레이하게끔 상기 제1 디스플레이 스크린을 제어하도록 추가로 구성되는, 전자 디바이스.
  14. 방법으로서,
    이미지 캡처링 디바이스, 및 복수의 사용자 인터페이스(UI) 요소를 디스플레이하도록 구성된 제1 디스플레이 스크린을 포함하는 전자 디바이스에서 - 상기 복수의 UI 요소 각각의 선택은 상기 전자 디바이스에 통신가능하게 결합된 미디어 디스플레이 디바이스를 제어함 -;
    상기 전자 디바이스의 사용자의 제1 이미지를 캡처하도록 상기 이미지 캡처링 디바이스를 제어하는 단계;
    상기 사용자의 캡처된 제1 이미지에 기초하여, 디스플레이된 복수의 UI 요소 중 제1 UI 요소 상에서의 상기 사용자의 시선의 위치를 결정하는 단계;
    시간 간격 동안 상기 제1 UI 요소 상의 상기 시선의 상기 위치의 상기 결정에 기초하여 상기 복수의 UI 요소 중 상기 제1 UI 요소를 선택하는 단계;
    상기 복수의 UI 요소 중 상기 제1 UI 요소의 선택에 기초하여, 제1 제어 신호를 상기 미디어 디스플레이 디바이스로 전송하는 단계;
    전송된 제1 제어 신호에 기초하여 상기 미디어 디스플레이 디바이스로부터 피드백 이미지를 수신하는 단계 - 수신된 피드백 이미지는 전송된 제1 제어 신호에 기초한 상기 미디어 디스플레이 디바이스의 제어를 나타냄 -; 및
    상기 수신된 피드백 이미지를 상기 디스플레이된 복수의 UI 요소와 함께 디스플레이하도록 상기 제1 디스플레이 스크린을 제어하는 단계
    를 포함하는, 방법.
  15. 제14항에 있어서, 상기 복수의 UI 요소 상의 상기 사용자의 시선의 위치의 변화에 대응하는 상기 복수의 UI 요소 상의 커서의 이동을 제어하는 단계를 추가로 포함하는, 방법.
  16. 제14항에 있어서, 상기 미디어 디스플레이 디바이스로부터 수신된 상기 피드백 이미지는 상기 전송된 제1 제어 신호에 기초하여 상기 미디어 디스플레이 디바이스의 제2 디스플레이 스크린 상에 디스플레이된 미디어 콘텐츠에 대응하는, 방법.
  17. 제16항에 있어서, 상기 미디어 디스플레이 디바이스의 상기 제2 디스플레이 스크린 상에 디스플레이된 상기 미디어 콘텐츠에 대응하는 상기 디스플레이된 피드백 이미지 상의 상기 디스플레이된 복수의 UI 요소의 오버레이를 제어하는 단계를 추가로 포함하는, 방법.
  18. 제17항에 있어서, 상기 디스플레이된 피드백 이미지 상에 오버레이되는 상기 디스플레이된 복수의 UI 요소의 불투명도 레벨을 제어하는 단계를 추가로 포함하는, 방법.
  19. 제14항에 있어서, 상기 제1 디스플레이 스크린의 제1 부분 상에 상기 복수의 UI 요소를 디스플레이하고, 상기 제1 디스플레이 스크린의 제2 부분 상에 상기 수신된 피드백 이미지를 디스플레이하도록 상기 제1 디스플레이 스크린을 제어하는 단계를 추가로 포함하고, 상기 제1 부분은 상기 제2 부분과 상이한, 방법.
  20. 이미지 캡처링 디바이스, 및 제1 디스플레이 스크린을 포함하는 전자 디바이스에 의해 실행될 때, 상기 전자 디바이스로 하여금 동작들을 실행하게 하는 컴퓨터 실행가능 명령어들을 저장한 비일시적 컴퓨터 판독가능 매체로서, 상기 동작들은:
    복수의 사용자 인터페이스(UI) 요소를 디스플레이하도록 상기 제1 디스플레이 스크린을 제어하는 것 - 상기 복수의 UI 요소 각각의 선택은 상기 전자 디바이스에 통신가능하게 결합된 미디어 디스플레이 디바이스를 제어함 -;
    상기 전자 디바이스의 사용자의 제1 이미지를 캡처하도록 상기 이미지 캡처링 디바이스를 제어하는 것;
    상기 사용자의 캡처된 제1 이미지에 기초하여, 디스플레이된 복수의 UI 요소 중 제1 UI 요소 상에서의 상기 사용자의 시선의 위치를 결정하는 것;
    시간 간격 동안 상기 제1 UI 요소 상의 상기 시선의 상기 위치의 상기 결정에 기초하여 상기 복수의 UI 요소 중 상기 제1 UI 요소를 선택하는 것;
    상기 복수의 UI 요소 중 상기 제1 UI 요소의 선택에 기초하여, 제1 제어 신호를 상기 미디어 디스플레이 디바이스로 전송하는 것;
    전송된 제1 제어 신호에 기초하여 상기 미디어 디스플레이 디바이스로부터 피드백 이미지를 수신하는 단계 - 수신된 피드백 이미지는 전송된 제1 제어 신호에 기초한 상기 미디어 디스플레이 디바이스의 제어를 나타냄 -; 및
    상기 수신된 피드백 이미지를 상기 디스플레이된 복수의 UI 요소와 함께 디스플레이하도록 상기 제1 디스플레이 스크린을 제어하는 것
    을 포함하는, 비일시적 컴퓨터 판독가능 매체.
KR1020237021992A 2021-02-15 2022-02-12 시선에 기초한 미디어 디스플레이 디바이스 제어 KR20230109762A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/175,881 US11762458B2 (en) 2021-02-15 2021-02-15 Media display device control based on eye gaze
US17/175,881 2021-02-15
PCT/IB2022/051260 WO2022172224A1 (en) 2021-02-15 2022-02-12 Media display device control based on eye gaze

Publications (1)

Publication Number Publication Date
KR20230109762A true KR20230109762A (ko) 2023-07-20

Family

ID=80623931

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237021992A KR20230109762A (ko) 2021-02-15 2022-02-12 시선에 기초한 미디어 디스플레이 디바이스 제어

Country Status (6)

Country Link
US (1) US11762458B2 (ko)
EP (1) EP4248297A1 (ko)
JP (1) JP2024512200A (ko)
KR (1) KR20230109762A (ko)
CN (1) CN116235501A (ko)
WO (1) WO2022172224A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI824440B (zh) * 2022-03-14 2023-12-01 瑞軒科技股份有限公司 顯示裝置及顯示方法

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421067B1 (en) * 2000-01-16 2002-07-16 Isurftv Electronic programming guide
US20030035075A1 (en) * 2001-08-20 2003-02-20 Butler Michelle A. Method and system for providing improved user input capability for interactive television
US7418670B2 (en) * 2003-10-03 2008-08-26 Microsoft Corporation Hierarchical in-place menus
US7091471B2 (en) 2004-03-15 2006-08-15 Agilent Technologies, Inc. Using eye detection for providing control and power management of electronic devices
JP4325449B2 (ja) * 2004-03-19 2009-09-02 ソニー株式会社 表示制御装置，表示制御方法，記録媒体
CN100583012C (zh) * 2005-09-21 2010-01-20 鸿富锦精密工业（深圳）有限公司 交叉式菜单显示装置及其显示控制方法
CN1940834B (zh) * 2005-09-30 2014-10-29 鸿富锦精密工业（深圳）有限公司 环式菜单显示装置及其显示控制方法
KR20070088029A (ko) * 2006-02-24 2007-08-29 삼성전자주식회사 이동 단말기에서 사용자 인터페이스 제공 장치 및 방법
US8054294B2 (en) * 2006-03-31 2011-11-08 Sony Corporation Touch screen remote control system for use in controlling one or more devices
US8519964B2 (en) * 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8436948B2 (en) * 2007-03-07 2013-05-07 Rohm Co., Ltd. Remote control system, television set and remote controller using manipulation signals
US20090156251A1 (en) * 2007-12-12 2009-06-18 Alan Cannistraro Remote control protocol for media systems controlled by portable devices
US20090177966A1 (en) * 2008-01-06 2009-07-09 Apple Inc. Content Sheet for Media Player
CN101872600B (zh) * 2009-04-24 2014-07-23 深圳Tcl新技术有限公司 一种显示装置及其图像显示方法
US20110087964A1 (en) * 2009-10-08 2011-04-14 Research In Motion Limited Method for indicating a volume of an audio sink of a portable electronic device
KR101657565B1 (ko) * 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
US20110191516A1 (en) * 2010-02-04 2011-08-04 True Xiong Universal touch-screen remote controller
EP2564598A4 (en) * 2010-04-28 2017-04-26 LG Electronics Inc. Image display apparatus and method for operating the same
JP4857406B1 (ja) * 2010-06-25 2012-01-18 パナソニック株式会社 制御装置およびスクリプト変換方法
US9264753B2 (en) * 2010-08-03 2016-02-16 Broadcom Corporation Method and apparatus for interactive control of media players
US20120081299A1 (en) * 2010-10-04 2012-04-05 Verizon Patent And Licensing Inc. Method and apparatus for providing remote control via a touchable display
CN101968712B (zh) * 2010-10-08 2012-09-19 鸿富锦精密工业（深圳）有限公司 具有触摸显示屏的遥控器
US8963847B2 (en) * 2010-12-06 2015-02-24 Netflix, Inc. User interface for a remote control device
KR101807622B1 (ko) * 2010-12-27 2017-12-11 삼성전자주식회사 디스플레이 장치, 리모콘 및 이에 적용되는 제어방법
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
KR101788006B1 (ko) * 2011-07-18 2017-10-19 엘지전자 주식회사 원격제어장치 및 원격제어장치로 제어 가능한 영상표시장치
KR101773845B1 (ko) * 2011-05-16 2017-09-01 삼성전자주식회사 휴대용 단말기에서 입력 처리 방법 및 장치
US20130019175A1 (en) * 2011-07-14 2013-01-17 Microsoft Corporation Submenus for context based menu system
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US20130215038A1 (en) * 2012-02-17 2013-08-22 Rukman Senanayake Adaptable actuated input device with integrated proximity detection
US9632648B2 (en) * 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
CN103543916A (zh) * 2012-07-13 2014-01-29 联想(北京)有限公司 信息处理的方法及电子设备
US9024894B1 (en) * 2012-08-29 2015-05-05 Time Warner Cable Enterprises Llc Remote control including touch-sensing surface
KR102095765B1 (ko) * 2012-10-19 2020-04-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
US20140267074A1 (en) * 2013-03-14 2014-09-18 Qualcomm Incorporated System and method for virtual user interface controls in multi-display configurations
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
US9661230B2 (en) * 2013-07-05 2017-05-23 Lg Electronics Inc. Image display apparatus and method of operating the image display apparatus
KR20150018127A (ko) * 2013-08-09 2015-02-23 삼성전자주식회사 디스플레이 장치 및 그 방법
US9829975B2 (en) * 2013-08-27 2017-11-28 Auckland Uniservices Limited Gaze-controlled interface method and system
US20150089371A1 (en) * 2013-09-25 2015-03-26 WebTuner, Corp. Systems and methods for presenting video/audio content and metadata for a broadband television service
US9552064B2 (en) * 2013-11-27 2017-01-24 Shenzhen Huiding Technology Co., Ltd. Eye tracking and user reaction detection
CN103702154A (zh) * 2013-12-04 2014-04-02 京东方科技集团股份有限公司 触摸屏遥控器及其遥控方法
US9829708B1 (en) * 2014-08-19 2017-11-28 Boston Incubator Center, LLC Method and apparatus of wearable eye pointing system
US10534500B1 (en) * 2014-08-29 2020-01-14 Open Invention Network Llc Color based search application interface and corresponding control functions
KR20160087649A (ko) * 2015-01-14 2016-07-22 삼성전자주식회사 사용자 단말 장치, 시스템 및 그 제어 방법
KR102434103B1 (ko) * 2015-09-18 2022-08-19 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
US10148808B2 (en) * 2015-10-09 2018-12-04 Microsoft Technology Licensing, Llc Directed personal communication for speech generating devices
US9679497B2 (en) * 2015-10-09 2017-06-13 Microsoft Technology Licensing, Llc Proxies for speech generating devices
US20170153701A1 (en) * 2015-12-01 2017-06-01 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays as wireless controllers
US10775882B2 (en) * 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
US20180150204A1 (en) * 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment
KR102350933B1 (ko) * 2017-06-20 2022-01-12 엘지전자 주식회사 영상표시장치
US10496162B2 (en) * 2017-07-26 2019-12-03 Microsoft Technology Licensing, Llc Controlling a computer using eyegaze and dwell
CN111052042B (zh) * 2017-09-29 2022-06-07 苹果公司 基于注视的用户交互
CA3104375A1 (en) * 2018-05-30 2019-12-05 Clearvoxel Imaging Inc. System, method and/or computer readable medium for enhanced presentation and/or interpretation of images with visual feedback
US11635928B2 (en) * 2019-01-04 2023-04-25 Apple Inc. User interfaces for content streaming
US20200250284A1 (en) * 2019-02-01 2020-08-06 Sony Corporation Multi-factor authentication for virtual reality

Also Published As

Publication number Publication date
US20220261069A1 (en) 2022-08-18
JP2024512200A (ja) 2024-03-19
US11762458B2 (en) 2023-09-19
WO2022172224A1 (en) 2022-08-18
EP4248297A1 (en) 2023-09-27
CN116235501A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
US11803055B2 (en) Sedentary virtual reality method and systems
US10832448B2 (en) Display control device, display control method, and program
US11024083B2 (en) Server, user terminal device, and control method therefor
KR102083596B1 (ko) 디스플레이장치 및 디스플레이장치의 동작방법
KR20220130197A (ko) 촬영 방법, 장치, 전자설비 및 저장매체
US11281304B1 (en) System and method for redirecting content based on gestures
KR20150026367A (ko) 화면 미러링을 이용한 서비스 제공 방법 및 그 장치
CN109496293B (zh) 扩展内容显示方法、装置、系统及存储介质
KR20150008733A (ko) 안경형 휴대기기 및 그의 정보 투사면 탐색방법
CN110764859A (zh) 一种对屏幕可视区域进行自动调整及优化显示的方法
KR20160033064A (ko) 이미지를 전송하기 위한 방법 및 장치
US20170147129A1 (en) User terminal device and method for controlling same
EP3509315A1 (en) Image display method and electronic device therefor
KR20230109762A (ko) 시선에 기초한 미디어 디스플레이 디바이스 제어
KR102508148B1 (ko) 디지털 디바이스 및 그를 이용한 컬러 제어 시스템 및 방법
WO2021143388A1 (zh) 码率切换方法及设备
JP6600764B1 (ja) 複数デバイスのメディアスワップ
US10552990B2 (en) Electronic apparatus and control method thereof
KR20170017606A (ko) 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
US20240094977A1 (en) Field of vision audio control for physical or mix of physical and extended reality media displays in a spatially mapped space
KR20160041710A (ko) 글래스 타입의 이동 단말기
WO2011147561A2 (en) Mobile unit, method for operating the same and network comprising the mobile unit
KR20150128469A (ko) 단말기 및 그 동작 방법