KR102079832B1 - 시각 초점에 기반한 결합형 디스플레이의 제어 기법 - Google Patents

시각 초점에 기반한 결합형 디스플레이의 제어 기법 Download PDF

Info

Publication number
KR102079832B1
KR102079832B1 KR1020147008459A KR20147008459A KR102079832B1 KR 102079832 B1 KR102079832 B1 KR 102079832B1 KR 1020147008459 A KR1020147008459 A KR 1020147008459A KR 20147008459 A KR20147008459 A KR 20147008459A KR 102079832 B1 KR102079832 B1 KR 102079832B1
Authority
KR
South Korea
Prior art keywords
display
user
visual focus
computing device
focus information
Prior art date
Application number
KR1020147008459A
Other languages
English (en)
Other versions
KR20140081810A (ko
Inventor
타일러 에드워드 깁슨
몬티 리 하몬트리
비크람 바팟
엠마누엘 존 아탄스
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20140081810A publication Critical patent/KR20140081810A/ko
Application granted granted Critical
Publication of KR102079832B1 publication Critical patent/KR102079832B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/24—Keyboard-Video-Mouse [KVM] switch

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

본 명세서에서 설명한 다양한 기술은 복수의 디스플레이 또는 복수의 계산 디바이스 환경에서의 사용자의 시각 초점에 기초하여 디스플레이의 기능을 제어하는 방법에 관련된다. 일련의 디스플레이로부터 사용자가 시각적으로 초점을 맞춘 특정 디스플레이가 식별된다. 일련의 디스플레이는 적어도 제 1 디스플레이 및 제 2 디스플레이를 포함하고 있다. 더욱이, 제 1 디스플레이를 통해서 수신 가능한 입력의 유형 및/또는 이 제 1 디스플레이 상에 렌더링되는 콘텐트는 사용자의 시각 초점에 기초하여 제어된다.

Description

시각 초점에 기반한 결합형 디스플레이의 제어 기법{VISUAL FOCUS-BASED CONTROL OF COUPLED DISPLAYS}
본 발명은 결합형 디스플레이의 제어에 관한 것으로, 보다 상세하게는 시각 초점에 기반한 결합형 디스플레이의 제어에 관한 것이다.
계산 디바이스는 종종 디스플레이와 인터페이스를 이루고 있다. 예를 들어서, 계산 디바이스는 디스플레이와 결합되거나 및/또는 디스플레이를 포함할 수 있다. 종래의 사용자 경험은 전형적으로 단일 디스플레이 상에 콘텐트를 출력하고, 이를 사용자가 볼 수 있게 하는 계산 디바이스와 관련되어 있다. 결국에는 복수의 디스플레이가 단일 계산 디바이스 상에서 동작하는 복수의 디스플레이 환경의 사용이 더욱 널리 행해지고 있다. 계산 디바이스에 복수의 디스플레이를 사용하면 이 계산 디바이스에 의해서 렌더링될 수 있는 콘텐트의 디스플레이 영역이 증가하게 된다. 하나의 예시에 따르면, 계산 디바이스는 워드 프로세서 애플리케이션과 관련된 콘텐트를 하나의 디스플레이 상에 렌더링하고, 또한 스프레드시트 애플리케이션과 관련된 콘텐트는 다른 디스플레이 상에 렌더링할 수 있다.
더욱 최신 경향은 복수의 계산 디바이스끼리의 상호 작용이 그와 같은 계산 디바이스(예컨대, 복수의 계산 디바이스 환경)와 각각 관련된 디스플레이에서의 사용자 경험을 지원하도록 하고 있다. 일 예시에 따르면, 사용자는 미디어 센터에 접속된 텔레비전 프로그램을 거실에서 감상할 수 있고 또한 스마트 폰 상에서 수행되는 애플리케이션을 사용하여 채널, 볼륨 등을 변경할 수 있다. 그러나, 복수의 디스플레이 또는 복수의 계산 디바이스 환경의 일부로서 사용되는 디스플레이의 숫자가 증가함에 따라서, 사용자가 이들 디스플레이 중 일부의 기능을 비효율적으로 이용하거나 충분히 이용하지 못할 수 있다. 예를 들어서, 복수의 디스플레이 또는 복수의 계산 디바이스 환경에서 사용자가 하나의 디스플레이의 기능을 사용하는 경우, 이 사용자는 다른 디스플레이의 기능을 사용하지 못하거나 충분히 이용하지 못할 수 있다.
본 명세서에서의 설명은 사용자의 시각 초점을 사용하여 디스플레이 기능을 제어하는 방법에 관련된다. 일련의 디스플레이로부터 사용자가 시각적으로 초점을 맞춘 특정 디스플레이를 규정하는 시각 초점 정보가 수신될 수 있다. 일련의 디스플레이는 적어도 제 1 디스플레이 및 제 2 디스플레이를 포함할 수 있다. 일부 실시예에 따르면, 제 1 디스플레이 및 제 2 디스플레이는 각각 제 1 계산 디바이스 및 제 2 계산 디바이스와 인터페이스를 이루며, 또한 제 1 계산 디바이스 및 제 2 계산 디바이스는 상호 작용할 수 있다. 다른 실시예에 있어서, 제 1 디스플레이 및 제 2 디스플레이는 공유 계산 디바이스와 인터페이스를 이룰 수 있다. 또한, 제 1 디스플레이가 사용자로부터 수신하도록 구성되는 입력의 유형은 시각 초점 정보에 기초하여 제어될 수 있다. 이에 더하여 또는 이에 갈음하여, 제 1 디스플레이 상에 렌더링되는 콘텐트는 시각 초점 정보에 기초하여 제어될 수 있다.
다양한 실시예에 있어서, 사용자의 시각 초점은 제 1 디스플레이에 있는지 제 2 디스플레이에 있는지가 식별될 수 있다. 예를 들어서, 이 제 1 디스플레이는 터치 가능 디스플레이일 수 있다. 더욱이, 사용자의 시각 초점은 수신된 시각 초점 정보로부터 또는 센서의 출력을 사용하는 검출을 통해서 식별될 수 있다. 더 나아가, 제 1 디스플레이 상에 렌더링되는 콘텐트 및 사용자로부터 수신 가능한 입력의 유형은 사용자의 시각 초점이 제 1 디스플레이 상에 있는지 또는 제 2 디스플레이 상에 있는지에 기초하여 제어될 수 있다.
상술한 발명의 내용은 본 명세서에서 논의되는 시스템 및/또는 방법의 일부 태양의 기본 이해를 제공하기 위해서 간략화한 발명의 내용을 나타내고 있다. 본 발명의 내용은 본 명세서에서 논의되는 시스템 및/또는 방법의 상세한 개괄이 아니다. 핵심/중요 요소를 식별하거나 이와 같은 시스템 및/또는 방법의 범위를 표현하고자 의도되지 않았다. 본 발명의 내용의 유일한 목적은 후술하는 더욱 상세한 발명을 실시하기 위한 구체적인 내용에 앞서서 일부 개념을 간략화된 형태로 나타내는 것이다.
도 1은 복수의 디스플레이를 포함하고 있는 환경 내에서 시각 초점을 사용하여 디스플레이의 기능을 제어하는 예시적인 시스템의 기능적 블록 다이아그램을 도시하고 있다.
도 2는 렌더링되는 콘텐트 및/또는 디스플레이를 통해서 수신 가능한 입력의 유형을 사용자의 시각 초점에 기초하여 제어하는 예시적인 시스템의 기능 블록 다이아그램을 도시하고 있다.
도 3 - 6은 복수의 디스플레이를 포함하고 있는 환경 내에서 시각 초점에 기초하여 디스플레이 기능을 제어하는 시스템의 사용을 나타내는 예시적인 상황을 도시하고 있다.
도 7 - 8은 복수의 디스플레이를 포함하고 있는 환경 내에서 시각 초점에 기초하여 하나의 디스플레이 상에 렌더링된 콘텐트를 제어하고 있는 시스템의 이용을 나타내는 예시적인 상황을 도시하고 있다.
도 9는 제 1 디스플레이의 기능을 제어하기 위한 예시적인 방법을 도시하고 있는 흐름도이다.
도 10은 복수의 디스플레이를 포함하고 있는 환경 내에서 터치 가능 디스플레이를 제어하기 위한 예시적인 방법을 도시하고 있는 흐름도이다.
도 11은 예시적인 계산 디바이스를 도시하고 있다.
이하, 전체에 걸쳐서 동일한 도면 부호를 사용하여 동일한 구성 요소를 지칭하는 첨부 도면을 참조하여 복수의 디스플레이를 포함하고 있는 환경 내에서 사용자의 시각 초점에 기초하여 디스플레이의 기능을 제어하는 방법에 관한 다양한 기술에 대해서 설명하기로 한다. 후술하는 설명에 있어서, 설명의 목적을 위해서, 하나 이상의 태양을 완전하게 이해할 수 있도록 다양하고 구체적으로 상세하게 설명하기로 한다. 그러나, 이들 구체적인 상세한 설명 없이도 그와 같은 태양(들)을 실시할 수 있음은 명확할 수 있다. 다른 경우에 있어서, 블록 다이아그램의 형태로 공지의 구조 및 디바이스가 도시되어 하나 이상의 태양을 설명할 수 있다. 또한, 소정의 시스템 컴포넌트에 의해서 수행되는 것으로 설명된 기능은 복수의 컴포넌트에 의해서 수행될 수 있음을 이해하여야 한다. 유사하게, 예를 들어서, 하나의 컴포넌트는 복수의 컴포넌트에 의해서 수행되는 것으로 설명된 기능을 수행하도록 구성될 수 있다.
더욱이, "또는" 이라는 용어는 배타적인 "또는"이 아니라 양립적인 "또는"을 의미하도록 의도된다. 즉, 특별하게 규정되지 않는 이상, 또는 문맥으로부터 명백한 이상, "X가 A 또는 B를 사용하고 있다"라는 구는 임의의 자연적인 양립적인 순열을 의미하도록 의도된다. 즉, "X가 A 또는 B를 사용하고 있다"라는 구는, 임의의 하기의 경우를 만족한다: X가 A를 사용하고 있다; X가 B를 사용하고 있다; 또는 X가 A 및 B 모두를 사용하고 있다. 또한, 다르게 규정되거나 문맥으로부터 단수형을 의미하는 것으로 명백하게 지시되는 것이 아니라면 본 명세서 및 첨부 특허청구범위에서 사용된 "하나" 및 "하나의"는 일반적으로 "하나 이상"을 의미하는 것으로 간주되어야 한다.
본 명세서에서 설명되는 바와 같이, 사용자의 시각 초점이 검출되고 또한 사용되어 본 명세서에서 집합적으로 복수의 디스플레이를 포함하고 있는 환경으로 통칭되는 복수의 디스플레이 또는 복수의 계산 디바이스 환경에서 디스플레이의 기능을 제어할 수 있다. 예를 들어서, 일련의 디스플레이는 복수의 디스플레이를 포함하는 환경에 접속될 수 있다. 또한, 디스플레이 상에 렌더링되는 콘텐트는 사용자의 시각 초점이 이 디스플레이 상에 있는지 또는 또 다른 디스플레이 상에 있는지에 기초하여 변경될 수 있다. 이에 더하여 또는 이에 갈음하여, 디스플레이를 통해서 사용자로부터 수신 가능한 입력의 유형은 사용자의 시각 초점이 이 디스플레이 상에 있는지 또는 다른 디스플레이 상에 있는지에 기초하여 변경될 수 있다.
이제 도면을 참조하면, 도 1은 복수의 디스플레이를 포함하고 있는 환경 내에서 시각 초점을 사용하여 디스플레이의 기능을 제어하는 시스템(100)을 도시하고 있다. 시스템(100)은 제 1 디스플레이(102) 및 제 2 디스플레이(104)를 포함하고 있다. 제1 디스플레이(102)는 사용자(106)의 시각 초점에 따라서 제어된다. 또한 제2 디스플레이(104)가 사용자(106)의 시각 초점에 따라서 제어될 수 있음이 고려되지만, 특허청구범위의 주제는 그렇게 한정되지는 않는다는 것을 이해하여야 한다. 시스템(100)이 두 개의 디스플레이를 포함하고 있는 것으로 도시되어 있지만, 시스템(100)은 제 1 디스플레이(102) 및 제 2 디스플레이(104)에 추가하여 실질적으로 임의 갯수의 디스플레이를 포함할 수 있음을 이해하여야 한다.
본 명세서에서 설명되는 다양한 실시예에 있어서, 제 1 디스플레이(102)는 터치 가능 디스플레이(예컨대, 제 1 디스플레이(102)에 의해서 입력이 수신 가능한 경우)이다. 이와 같은 실시예에 따르면, 터치 가능 디스플레이는 사용자(106)로부터의 입력을 수신할 수 있고 또한 이 사용자(106)에게로 출력을 렌더링할 수 있다. 예를 들어서, 터치 가능 디스플레이는 (예컨대, 손가락이나, 펜과 같은 압력을 가하는 툴 등에 의한) 터치, 제스처 등을 검출하여 사용자(106)로부터의 입력을 수신할 수 있다. 더욱이, 본 명세서에서 설명된 기타 실시예에 있어서, 제 1 디스플레이(102)는 터치 가능 디스플레이 또는 비터치 가능 디스플레이일 수 있다. 비터치 가능 디스플레이는, 예를 들어서, 사용자(106)에게 출력을 렌더링할 수는 있지만 사용자(106)로부터 입력을 수신하는 기능은 결여되어 있을 수 있다. 유사하게, 제 2 디스플레이(104)는 일부 실시예에 있어서 터치 가능 디스플레이고 또한 다른 실시예에 있어서는 터치 가능 디스플레이 또는 비터치 가능 디스플레이일 수 있음이 고려된다.
더욱이, 제 1 계산 디바이스(108)는 시스템(100) 내의 제 1 디스플레이(102)와 인터페이스를 이루고 있다. 제 1 계산 디바이스(108)는 제 1 디스플레이(102)와 인터페이스를 이루어 이 제 1 디스플레이(102)를 통해서 데이터를 출력(예컨대, 이미지, 텍스트, 그래픽 등을 렌더링)할 수 있다. 또한, 제 1 계산 디바이스(108)는 제 1 디스플레이(102)와 인터페이스를 이루어 제 1 디스플레이(102)를 통한 입력을 수신할 수 있다. 예를 들면, 제 1 계산 디바이스(108)는 제 1 디스플레이(102)에 접속될 수 있다. 이 예시에 따르면, 제 1 디스플레이(102)는 제 1 계산 디바이스(108)와 (예컨대, 유선 및/또는 무선 접속을 통해서) 직접적으로 또는 비직접적으로 접속될 수 있는 외부 디스플레이일 수 있다. 다른 예시에 따르면, 제 1 계산 디바이스(108)는 제 1 디스플레이(102)를 포함할 수 있다. 이 예시에 따르면, 제 1 계산 디바이스(108)는 태블릿 컴퓨터, 랩탑 컴퓨터, 스마트 폰, 또는 일체형 디스플레이를 갖는 임의의 다른 종류의 계산 디바이스일 수 있다. 시스템(100)은 제 2 디스플레이(104)와 인터페이스를 이루어 이 제 2 디스플레이(104)를 통해서 데이터를 출력하고, 제 2 디스플레이(104)를 통해서 입력을 수신하는 등의 제 2 계산 디바이스(110)를 더 포함할 수 있다. 제 1 디스플레이(102)와 인터페이스를 이룬 제 1 계산 디바이스(208)와 관련된 상술한 설명과 유사하게, 제 2 계산 디바이스(110)는 제 2 디스플레이(104)와 결합되어 있거나 이를 포함하고 있을 수 있다. 다르게는, 도시하지는 않았지만, 다양한 실시예에 따라, 시스템(100)은 제 2 계산 디바이스(110)를 포함할 필요는 없으며, 따라서 제 1 계산 디바이스(108)는 제 1 디스플레이(102) 뿐만 아니라 제 2 디스플레이(104)와 인터페이스를 이룰 수 있음이 고려된다.
또한, 제 1 계산 디바이스(108)는 제 2 계산 디바이스(110)와 상호 작용할 수 있다. 예를 들어서, 제 1 계산 디바이스(108) 및 제 2 계산 디바이스(110)는 무선 및/또는 유선 접속을 통해서 상호 작용할 수 있다. 제 1 계산 디바이스(108) 및 제 2 계산 디바이스(110) 사이에서의 상호 작용은 각각 함께 인터페이스를 이루는 디스플레이의 입력 기능 및/또는 각각 함께 인터페이스를 이루는 디스플레이의 출력 기능을 공유하는 (예컨대, 제 1 디스플레이(102)는 제 2 디스플레이(104)용의 주변 장치로 사용되어질 수 있고, 제 1 디스플레이(102)는 터치 기반의 입력 기능을 제공하지만 제 2 디스플레이(104)는 그와 같은 기능을 포함할 수도 있고 그와 같은 기능이 결여되어 있을 수도 있고, 제 1 디스플레이(102)가 제 2 디스플레이(104)의 데스크톱까지 확장될 수 있는 것, 등등) 것으로 지칭할 수 있다. 이에 더하여 또는 이에 갈음하여, 제 1 계산 디바이스(108) 및 제 2 계산 디바이스(110) 사이에서의 상호 작용은 이들 사이에서의 공유 문맥적 정보라고 지칭될 수 있으며, 이때 공유 문맥적 정보는 제 1 계산 디바이스(108) 및 제 2 계산 디바이스(110)에 의해서 각각 수행되는 애플리케이션과 관련될 수 있다. 더욱이, 제 1 계산 디바이스(108) 및 제 2 계산 디바이스(110) 사이에서의 상호 작용은 다른 종류의 리소스 공유로 지칭할 수 있음을 이해해야 한다.
제 1 계산 디바이스(108)는 제 1 협업 컴포넌트(112)를 더 포함할 수 있고, 또한 제 2 계산 디바이스(110)는 제 2 협업 컴포넌트(114)를 더 포함할 수 있다. 제 1 협업 컴포넌트(112) 및 제 2 협업 컴포넌트(114)는 제 1 계산 디바이스(108) 및 제 2 계산 디바이스(110)가 상호 작용할 수 있도록 한다. 예시로서, 제 1 협업 컴포넌트(112) 및 제 2 협업 컴포넌트(114)는 제 1 계산 디바이스(108) 및 제 2 계산 디바이스(110)의 전체에 걸쳐서 사용자(106)를 위해 단일 문맥 상에서 협력할 수 있다. 다른 예시에 따르면, 제 1 협업 컴포넌트(112)는 제 1 디스플레이(102) 상에 콘텐트를 렌더링하기 위한 명령을 제 2 협업 컴포넌트(114)로부터 수신할 수 있다. 또 다른 예시에 따르면, 제 1 협업 컴포넌트(112)는 제 1 디스플레이(102)를 통해서 사용자(106)로부터 수신된 입력 관련 데이터를 제 2 협업 컴포넌트(114)로 전송할 수 있다.
더욱이, 시스템(100)은 환경(118)을 모니터하는 센서(116)를 포함하고 있다. 예를 들어서, 사용자(106)는 이 센서(116)에 의해서 모니터되는 환경(118) 내에서 존재할 수 있다. 도 1에 도시되어 있는 바와 같이, 센서(116)는 독립형 디바이스일 수 있다. 그러나, 센서(116)는 이에 더하여 또는 이에 갈음하여 제 1 디스플레이(102), 제 2 디스플레이(104), 제 1 계산 디바이스(108), 및/또는 제 2 계산 디바이스(110) 내에 포함되어 있을 수 있음(예컨대, 제 1 계산 디바이스(108)는 카메라를 포함하고 있는 태블릿 컴퓨터일 수 있고, 제 2 계산 디바이스(110)는 카메라를 포함하고 있는 랩탑 컴퓨터일 수 있는 것 등등)이 고려된다. 일 예시에 따르면, 센서(116)는 카메라일 수 있다. 다른 예시로서, 센서(116)는 복수의 카메라일 수 있다. 이 예시에 따르면, 복수의 카메라는 환경(118) 내에서 널리 퍼져 있을 수 있다. 예를 들어서, 복수의 카메라로부터의 출력은 조합되어 환경(118)의 단일 표현을 생성할 수 있지만, 특허청구범위의 주제는 복수의 카메라를 사용하도록 하거나 또는 복수의 카메라의 출력으로부터 환경(118)의 단일 표현을 생성하는 것에 한정되지는 않는다. 더욱이, 센서(116)는 카메라에 추가하여 또는 이를 대신하여 환경(118)을 감시하고 또한 사용자(106)의 시각 초점을 검출하도록 이용될 수 있는 출력을 제공하는 임의의 기타 종류의 입력 디바이스를 포함할 수 있음을 또한 이해하여야 한다.
시스템(100)은 사용자(106)와 관련된 시각 초점 정보를 센서(116)의 출력으로부터 검출하는 초점 추적 컴포넌트(120)를 더 포함하고 있다. 초점 추적 컴포넌트(120)에 의해서 검출된 시각 초점 정보는 제 1 계산 디바이스(108) 및 제 2 계산 디바이스(110)에 입력될 수 있다. 예시로서, 초점 추적 컴포넌트(120)는 센서(116)로부터의 출력을 분석하여 사용자(106)의 시각 초점이 (예컨대, 점선(122)으로 나타낸 바와 같이) 제 1 디스플레이(102) 상에 있는지 또는 (예컨대, 점선(124)으로 나타낸 바와 같이) 제 2 디스플레이(104) 상에 있는지를 검출할 수 있다. 초점 추적 컴포넌트(120)에 의해서 생성되는 시각 초점 정보는 일련의 디스플레이로부터 사용자(106)가 시각적으로 초점을 맞춘 특정 디스플레이를 규정할 수 있다. 따라서, 예를 들어서, 시각 초점 정보는 일련의 디스플레이(예컨대, 도 1에 나타낸 예시에서 제 1 디스플레이(102) 및 제 2 디스플레이(104)를 포함하고 있는 일련의 디스플레이)로부터 사용자(106)가 제 1 디스플레이(102) 상에 시각적으로 초점을 맞추었는지 또는 제 2 디스플레이(104) 상에 시각적으로 초점을 맞추었는지를 규정할 수 있다. 다른 예시에 따르면, 초점 추적 컴포넌트(120)에 의해서 검출된 시각 초점 정보는 사용자(106)가 특정 디스플레이에 시각적으로 초점을 맞추었는지 아닌지를 규정할 수 있다. 이 예시에 따르면, 제 1 계산 디바이스(108)에 입력된 시각 초점 정보는 사용자(106)가 제 1 디스플레이(102)에 시각적으로 초점을 맞추었는지 아닌지(예컨대, 사용자(106)가 제 1 디스플레이(102)에 시각적으로 초점을 맞추지 않은 것은 사용자(106)가 제 2 디스플레이(104)에 시각적으로 초점을 맞추었을 때 뿐만 아니라 사용자(106)가 제 1 디스플레이(102) 또는 제 2 디스플레이(104)의 어디에도 초점을 맞추지 않았을 때를 포함할 수 있다)를 나타낼 수 있다.
초점 추적 컴포넌트(120)는 센서(116)로부터의 출력에 있어서 시각 초점 정보를 생성하도록 하는 실질적으로 임의의 추적 기술을 사용할 수 있다. 초점 추적 컴포넌트(120)에 의해서 이용되어질 수 있는 예시적인 가능한 추적 기법에는 안구 추적, 두부 추적, 및 거동 추적 기법이 포함될 수 있으나, 특허청구범위의 주제는 전술한 예시로 한정되지 않고, 또한 기타 추적 기법이 본 명세서에서 첨부한 특허청구범위의 범위 내에 속하도록 의도된다는 것을 이해하여야 한다. 더욱이, 초점 추적 컴포넌트(120)는 제 1 디스플레이(102) 및 제 2 디스플레이(104)의 상대 위치를 식별하는 정보를 사용하여 시각 초점 정보를 검출할 수 있다.
일 예시에 따르면, 초점 추적 컴포넌트(120)는 센서(116)로부터의 출력을 안구 추적하여 (예컨대, 사용자(106)의 안구의 초점을 추적하는 것에 의해서) 시각 초점 정보를 생성할 수 있다. 이 예시에 따르면, 초점 추적 컴포넌트(120)는 안구의 위치 및/또는 안구의 거동을 측정하여 사용자(106)의 주시점(예컨대, 사용자(106)가 주시하는 곳)을 검출할 수 있다. 따라서, 초점 추적 컴포넌트(120)는 사용자(106)의 주시점이 특정 디스플레이(예컨대, 제 1 디스플레이(102), 제 2 디스플레이(104)에 있는지 등)에 있는지 또는 제 1 디스플레이(102) 뿐만 아니라 제 2 디스플레이(104)로부터 벗어났는지를 추적할 수 있다. 또한, 초점 추적 컴포넌트(120)는 사용자(106)의 주시점이 특정 디스플레이 상의 어느 위치에 있는지, 이 위치에서 사용자(106)의 주시점이 행해진 지속 시간, 특정 디스플레이 상에서의 사용자(106)의 주시점이 행해진 지속 시간 등을 추적할 수 있다.
초점 추적 컴포넌트(120)는 또한, 예를 들어, 사용자(106)의 시각 초점이 특정 디스플레이 상에서 있었던 지속 시간과 최소 임계 지속 시간을 비교할 수 있다. 일 예시에 따르면, 사용자(106)의 시각 초점은 제 2 디스플레이(104)로부터 제 1 디스플레이(102)로 전환될 수 있으며, 제 1 디스플레이(102) 상에서는 최소 임계 지속 시간 미만 동안 지속 시간이 유지되고, 이후에 제 1 디스플레이(102)로부터 전환되어 제 2 디스플레이(104)로 되돌아간다. 이 예시에 따르면, 제 1 디스플레이(102) 상에서 유지되는 시각 초점의 지속 시간이 최소 임계 지속 시간 미만이기 때문에, 초점 추적 컴포넌트(120)는 시각 초점 정보가 전환되어 사용자(106)의 시각 초점이 제 1 디스플레이(102) 상에 있도록 변경되는 것을 억제할 수 있다. 다르게는, 제 1 디스플레이(102) 상에서 유지되는 시각 초점이 상술한 예시에 있어서의 최소 임계 지속 시간을 초과하는 경우, 초점 추적 컴포넌트(120)는 사용자(106)의 시각 초점이 제 1 디스플레이(102) 상에 있도록 변경되고 또한 이후에는 제 2 디스플레이(104) 상에 있도록 반대로 변경되었음을 규정하는 시각 초점 정보를 출력할 수 있다. 그러나, 특허청구범위의 주제는 전술한 예시로 한정되지 않는다는 것을 이해하여야 한다. 도 1에 나타낸 바와 같이, 초점 추적 컴포넌트(120)는 센서(116)로부터 분리되어 있을 수 있지만, 다른 실시예에 따르면, 이 센서(116)는 초점 추적 컴포넌트(120)를 포함할 수 있다. 다른 예시에 따르면, 제 1 계산 디바이스(108) 및/또는 제 2 계산 디바이스(110)는 초점 추적 컴포넌트(120)를 포함할 수 있다. 예를 들어서, 제 1 계산 디바이스(108)가 초점 추적 컴포넌트(120)를 포함하고 있는 경우, 이에 의해서 생성되는 시각 초점 정보는 제 1 협업 컴포넌트(112)에 의해서 제 2 계산 디바이스(110)(예컨대, 제 2 협업 컴포넌트(114))로 (또는 반대로) 전송될 수 있다. 또한, 제 1 계산 디바이스(108) 및 제 2 계산 디바이스(110)가 모두 초점 추적 컴포넌트(120)를 포함하고 있는 경우라면, 제 1 협업 컴포넌트(112) 및 제 2 협업 컴포넌트(114)는 협력하여 시각 초점 정보를 생성할 수 있다.
제 1 계산 디바이스(108) 및 제 2 계산 디바이스(110)는, 예를 들면, 초점 추적 컴포넌트(120)로부터 시각 초점 정보를 수신할 수 있지만, 제 2 계산 디바이스(110)는 시각 초점 정보를 수신할 필요가 없음 또한 고려된다. 또한, 제 1 계산 디바이스(108)는 컴포넌트(126)를 포함하고 있다. 제어 컴포넌트(126)는 제 1 디스플레이(102)를 통해서 사용자(106)로부터 수신 가능한 입력의 유형을 시각 초점 정보에 따라서 제어할 수 있다. 이에 더하여 또는 이에 갈음하여, 제어 컴포넌트(126)는 시각 초점 정보에 따라서 제 1 디스플레이(102) 상에 렌더링된 콘텐트를 제어할 수 있다. 제어 컴포넌트(126)는 제 1 디스플레이(102)를 통해서 수신 가능한 입력의 유형 및/또는 사용자(106)의 시각 초점이 변경됨에 따라서 제 1 디스플레이(102)를 통해서 렌더링되어지는 콘텐트를 변경할 수 있다. 따라서, 제어 컴포넌트(126)는 사용자(106)가 어디를 쳐다 보는 지에 기초하여 제 1 디스플레이(102)의 기능을 변경할 수 있다.
후술하는 예시적인 상황은 제어 컴포넌트(126)의 동작을 도시하도록 제공된다. 그러나 특허청구범위의 주제는 후술하는 예시적인 상황으로 한정되지 않음을 이해하여야 한다. 이 상황에 따르면, 제 2 계산 디바이스(110)는 주요 애플리케이션을 실행할 수 있고 또한 제 1 계산 디바이스(108)는 제 2 계산 디바이스(110)에 의해서 실행된 주요 애플리케이션을 보완하는 동반 애플리케이션을 실행할 수 있다. 사용자(106)가 제 1 디스플레이(102) 상에 (예컨대, 점선(122)으로 나타낸 것과 같이) 시각적으로 초점을 맞추었는지를 규정하는 시각 초점 정보를 제어 컴포넌트(126)가 수신하게 되면, 제 1 디스플레이(102)는 동반 애플리케이션에 대해서 최적화될 수 있다. 다르게는, 사용자(106)가 제 2 디스플레이(104) 상에 시각적으로 초점을 맞추었는지(또는 디스플레이(102)로부터 벗어났는지, 다른 디스플레이(미도시)에 시각적으로 초점을 맞추었는지, 등)를 규정하는 시각 초점 정보를 제어 컴포넌트(126)가 수신하게 되면, 제 1 디스플레이(102)는 주요 애플리케이션에 대해서 최적화될 수 있다. 또한, 제어 컴포넌트(126)는 시각 초점 정보가 변경됨에 따라서 동반 애플리케이션 및 주요 애플리케이션 사이에서 최적화되도록 제 1 디스플레이(102)가 전이되도록 할 수 있다.
이하는 전술한 시나리오의 한 예이다. 예를 들어서, 주요 애플리케이션을 수행하는 제 2 계산 디바이스(110)에 의해서 제 2 디스플레이(104) 상에 텔레비전 프로그램이 렌더링될 수 있고, 또한 제 1 계산 디바이스(108)에 의해서 수행되는 동반 애플리케이션은 텔레비전 방송 프로그램 편성표와 관련될 수 있다. 따라서, 사용자(106)가 제 1 디스플레이(102) 상에 (예컨대, 점선(122)으로 나타낸 바와 같이) 시각적 초점을 맞추었는지를 규정하는 시각 초점 정보를 제어 컴포넌트(126)가 수신하면, 제 1 디스플레이(102)는 텔레비전 방송 프로그램 편성표에 대해서 최적화(예컨대, 제 1 디스플레이(102)는 텔레비전 방송 프로그램 편성표와 관련된 콘텐트를 렌더링할 수 있고, 제 1 디스플레이(102)는 텔레비전 방송 프로그램 편성표와 관련된 입력을 수신하도록 구성될 수 있고, 등등)될 수 있다. 예를 들어, 제 1 디스플레이(102)가 제 2 디스플레이(104) 상에 렌더링되는 텔레비전 방송 프로그램에 대한 풍부한 메타 데이터를 렌더링하거나, 사용자(106)로부터 수신 가능한 입력의 유형이 (예컨대, 제 1 디스플레이(102) 상에 렌더링된 특정 채널 선택하기와 같은) 텔레비전 방송 프로그램 편성표 등의 상세한 조작을 허용하거나 할 수 있다. 더욱이, 사용자(106)가 제 2 디스플레이(104) 상에 (예컨대, 점선(124)으로 표현된 바와 같이) 시각적으로 초점을 맞추고 있는지를 규정하는 시각 초점 정보를 제어 컴포넌트(126)가 수신하면, 제 1 디스플레이(102)는 텔레비전 방송 프로그램에 대해서 최적화될 수 있다(예컨대, 제 1 디스플레이(102)는 제 2 디스플레이(104) 상에서 텔레비전 방송 프로그램을 시청하는 것과 관련된 입력을 수신하도록 구성될 수 있다). 예를 들면, 제 1 디스플레이(102)를 통해서 사용자(106)로부터 수신 가능한 입력의 유형은 채널 변경, 볼륨 레벨 조절 등을 가능하게 하는 다양한 제스처일 수 있다.
더욱이, 문맥 민감 콘텐트는 제 1 디스플레이(102) 상에 렌더링될 수 있다. 예를 들어서, 제 1 협업 컴포넌트(112)는 제 2 협업 컴포넌트(114)로부터 제 2 디스플레이(104)(또는 제 2 계산 디바이스(110))와 관련된 문맥 정보를 수신할 수 있다. 문맥 정보는 사용자(106)가 최종 상호 작용한 곳과 관련될 수 있으나, 특허청구범위의 주제는 그렇게 한정되지는 않는다. 제 1 협업 컴포넌트(112)(및/또는 제어 컴포넌트(126))는 시각 초점 정보가 수신되고 이에 따라 사용자(106)가 제 1 디스플레이(102) 상에 시각적으로 초점을 맞추었는지가 규정되는 경우 제 2 디스플레이(104)와 관련된 문맥 정보에 따라서 제 1 디스플레이(102) 상에 렌더링되어지는 콘텐트를 식별할 수 있다. 또한, 제어 컴포넌트(126)는 사용자가 제 1 디스플레이(102) 상에 시각적으로 초점을 맞추었는지를 시각 초점 정보가 규정하는 경우 제 1 디스플레이(102) 상에 이 문맥 정보에 따라서 식별되는 콘텐트를 렌더링할 수 있다.
다른 예시에 따르면, 제 2 계산 디바이스(110)는 도 1에 도시된 바와 같이 제어 컴포넌트(126)와 유사한 제어 컴포넌트를 구비하지 않을 수 있다. 일 예시에 따르면, 제 1 디스플레이(102)는 태블릿 컴퓨터(예컨대, 제 1 계산 디바이스(108))의 터치 가능 디스플레이이고 또한 제 2 디스플레이(104)는 데스크톱 컴퓨터(예컨대, 제 2 계산 디바이스(110))의 외부 디스플레이일 수 있다. 이 예시에 따르면, 터치 가능 디스플레이의 기능은 제어 컴포넌트(126)에 의해서 시각 초점 정보에 따라서 변경될 수 있고, 반면 외부 디스플레이의 기능은 시각 초점 정보와는 무관하게 그대로 유지될 수 있음이 고려된다. 여전히, 특허청구범위의 주제는 상술한 예시로 한정되지는 않는다.
다른 예시에 따르면, 도시하지는 않았지만, 제 2 계산 디바이스(110)가 제 1 계산 디바이스(108)의 제어 컴포넌트(126)와 유사한 제어 컴포넌트를 포함할 수 있음이 고려된다. 이와 같은 제 2 계산 디바이스(110)의 제어 컴포넌트는 초점 추적 컴포넌트(120)로부터 수신된 시각 초점 정보에 기초하여 제 2 디스플레이(104)를 제어할 수 있다. 따라서, 제어 컴포넌트(126)에 의한 제 1 디스플레이(102)의 제어와 유사하게, 제 2 디스플레이(104)로부터 수신 가능한 입력의 유형 및/또는 제 2 디스플레이(104) 상에 렌더링되는 콘텐트는 제 2 계산 디바이스(110)의 제어 컴포넌트에 의해서 제어될 수 있다. 다른 예시로서, 제 1 디스플레이(102) 및 제 2 디스플레이(104)는 모두 각각 태블릿 컴퓨터(예컨대, 제 1 계산 디바이스(108) 및 제 2 계산 디바이스(110))의 터치 가능 디스플레이일 수 있다. 이 예시에 따르면, 제 1 디스플레이(102) 및 제 2 디스플레이(104)의 기능은 시각 초점 정보에 기초하여 제어 컴포넌트(126) 및 제 2 계산 디바이스(110)의 제어 컴포넌트(미도시)에 의해서 각각 변경될 수 있다. 재차, 특허청구범위의 주제는 전술한 예시로 한정되지 않음에 주목하여야 한다.
도 1에서는 시스템(100)이 각각 두 개의 디스플레이(예컨대, 제 1 디스플레이(102) 및 제 2 디스플레이(104))와 인터페이스를 이루고 있는 두 개의 계산 디바이스(예컨대, 제 1 계산 디바이스(108) 및 제 2 계산 디바이스(110))를 포함하고 있고, 여기에서 두 개의 계산 디바이스는 서로 상호 작용하고 있는 것으로 도시하고 있으나, 이 시스템(100)은 두 개 이상의 디스플레이 및/또는 하나 이상의 계산 디바이스를 포함할 수 있음(예컨대, 시스템(100)은 제 2 계산 디바이스(110)를 포함하지 않아도 됨)을 이해하여야 한다. 예시로서(미도시), 시스템(100)은 제 3 디스플레이 및 제 3 계산 디바이스를 포함할 수 있다. 이 예시에 따르면, 제 3 계산 디바이스는 제 3 디스플레이와 인터페이스를 이룰 수 있다. 또한, 제 3 계산 디바이스는 제 1 계산 디바이스(108) 및 제 2 계산 디바이스(110)와 상호 작용할 수 있다. 또 다른 예시(미도시)에 따라서, 이에 더하여 또는 이에 갈음하여, 시스템(100)은 제 4 디스플레이를 포함할 수 있다. 이 예시에 따르면, 제 1 계산 디바이스(108) 또는 제 2 계산 디바이스(110) 중의 하나가 제 4 디스플레이와 인터페이스를 이룰 수 있으며, 따라서, 두 개 이상의 디스플레이는 공유 계산 디바이스에 의해서 구동될 수 있다. 이 예시에 따른 설명으로서, 제 1 계산 디바이스(108)는 제 1 디스플레이(102) 및 제 4 디스플레이와 인터페이스를 이룰 수 있다. 따라서, 제어 컴포넌트(126)는 초점 추적 컴포넌트(120)로부터 수신된 시각 초점 정보에 기초하여 제 1 디스플레이(102) 및 제 4 디스플레이를 제어할 수 있다.
도 2를 참조하면, 사용자의 시각 초점에 기초하여 디스플레이(202) 상에 렌더링되는 콘텐트 및/또는 디스플레이를 통해서 수신 가능한 입력의 유형을 제어하는 시스템(200)이 도시되어 있다. 시스템(200)은 일련의 디스플레이(206) 내에 포함되어지는 디스플레이(202) 및 다른 디스플레이(204)(예컨대, 도 1의 제 1 디스플레이(102) 및 제 2 디스플레이(104))를 포함하고 있다. 일 예시에 따르면, 디스플레이(202) 및 다른 디스플레이(204)는 (예컨대, 각각, 도 1의 제 1 계산 디바이스(108) 및 제 2 계산 디바이스(110)와 같은) 다른 계산 디바이스와 인터페이스를 이룰 수 있으며, 이때 다른 계산 디바이스는 서로 상호 작용한다. 다른 예시에 따르면, 디스플레이(202) 및 다른 디스플레이(204)는 (예컨대, 도 1의 제 1 계산 디바이스(108)가 디스플레이(202) 및 다른 디스플레이(204)의 모두와 인터페이스를 이루는 것과 같이) 공유 계산 디바이스와 인터페이스를 이룰 수 있다.
또한, 시스템(200)은 (예컨대, 도 1의 초점 추적 컴포넌트(120)로부터) 시각 초점 정보(208)를 수신하는 제어 컴포넌트(126)를 포함하고 있다. 시각 초점 정보(208)는 일련의 디스플레이(206)로부터 사용자(예컨대, 도 1의 사용자(106))가 시각적으로 초점을 맞춘 특정 디스플레이를 규정할 수 있다. 제어 컴포넌트(126)는 시각 초점 정보(208)에 기초하여 디스플레이(202)를 제어한다. 또한, 제어 컴포넌트(126)는 디스플레이(202) 및 다른 디스플레이(204)가 공유 계산 디바이스와 인터페이스를 이루는 경우 다른 디스플레이(204)를 또한 제어할 수 있다. 도시하지는 않았으나, 계산 디바이스(예컨대, 도 1의 제 1 계산 디바이스(108))가 제어 컴포넌트(126)를 포함할 수 있지만, 특허청구범위의 주제는 그렇게 한정되지는 않는다. 제어 컴포넌트(126)는 콘텐트 관리 컴포넌트(210) 및 입력 관리 컴포넌트(212)를 더 포함할 수 있다. 콘텐트 관리 컴포넌트(210)는 디스플레이(202) 상에 렌더링된 콘텐트를 시각 초점 정보(208)에 따라서 제어한다. 또한, 입력 관리 컴포넌트(212)는 시각 초점 정보(208)에 따라서 디스플레이(202)를 통해서 사용자로부터 수신 가능한 입력의 유형을 제어한다. 더욱이, 콘텐트 관리 컴포넌트(210) 및 입력 관리 컴포넌트(212)는 디스플레이(202) 및 다른 디스플레이(204)가 공유 계산 디바이스와 인터페이스를 이루는 경우 다른 디스플레이(204) 상에 렌더링되는 콘텐트 및 시각 초점 정보(208)에 따라서 다른 디스플레이(204)를 통해서 사용자로부터 수신 가능한 입력의 유형을 유사하게 제어할 수 있다.
일 실시예에 따르면, 콘텐트 관리 컴포넌트(210)는 디스플레이(202)를 제어하여 시각 초점 정보(208)에 기초하여 콘텐트를 선택적으로 렌더링하거나 렌더링을 억제할 수 있다. 이 예시에 따르면, 콘텐트 관리 컴포넌트(210)는 사용자가 디스플레이(202) 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보(208)가 규정하는 경우 디스플레이(202) 상에 콘텐트를 렌더링할 수 있다. 다르게는, 콘텐트 관리 컴포넌트(210)는 일련의 디스플레이(206)로부터 사용자가 시각적으로 초점을 맞춘 특정 디스플레이가 디스플레이(202)와는 다른 것임을 시각 초점 정보(208)가 규정하는 경우 (예컨대, 사용자가 일련의 디스플레이(206) 중에서 다른 디스플레이(204) 또는 또 다른 디스플레이(미도시) 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보(208)가 규정하는 경우) 디스플레이(202) 상으로의 렌더링을 억제할 수 있다.
다른 예시로서, 콘텐트 관리 컴포넌트(210)는 시각 초점 정보(208)에 따라서 디스플레이(202) 상에 렌더링되는 콘텐트의 입도(granularity)를 선택하여 디스플레이(202)를 제어할 수 있다. 또한, 콘텐트 관리 컴포넌트(210)는 선택된 입도를 사용하여 디스플레이(202) 상에 콘텐트를 렌더링할 수 있다. 예를 들어서, 사용자가 디스플레이(202) 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보(208)가 규정하는 경우 디스플레이(202) 상에 렌더링되는 콘텐트의 입도가 더욱 상세할 수 있다. 또한, 디스플레이(202) 상에 렌더링되는 콘텐트의 입도는 일련의 디스플레이(206)로부터 사용자가 시각적으로 초점을 맞춘 특정 디스플레이가 디스플레이(202)와는 다른 것임을 시각 초점 정보(208)가 규정하는 (예컨대, 일련의 디스플레이(206) 중에서 사용자가 다른 디스플레이(254) 또는 또 다른 디스플레이(미도시) 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보(208)가 규정하는) 경우에 덜 상세할 수 있다. 일 예시에 따르면, 디스플레이(202)가 사용자의 (예컨대, 시각의 일부가 주시의 중심을 벗어나는 것과 같이) 주변 시야 내에 있는 경우 덜 상세한 콘텐트를 사용하여 정보를 전달하거나 사용자의 시각 초점을 잡도록 할 수 있다. 더욱이, 콘텐트 관리 컴포넌트(210)는 사용자가 디스플레이(202) 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보(208)가 규정하는 경우 다른 디스플레이(204) 상에 렌더링되는 콘텐트와 관련된 디스플레이(202) 상에 콘텐트를 렌더링할 수 있다. 예를 들어서, 콘텐트 관리 컴포넌트(210)에 의해서 디스플레이(202) 상에 렌더링되는 콘텐트는 콘텐트에 대한 다른 시각이 다른 디스플레이(204) 상에 렌더링되고, 콘텐트와 관련된 메타 데이터가 다른 디스플레이(204) 상에 렌더링되고, 콘텐트와 관련된 속성 그리드(예컨대, 속성 그리드 내에서의 어떤 속성은 디스플레이(202)로의 입력을 통해서 변경될 수 있음. 기타)가 다른 디스플레이(204) 상에 렌더링되는 등등 다른 디스플레이(204) 상에 렌더링되는 콘텐트일 수 있다. 일 예시에 따르면, 사용자가 다른 디스플레이(204) 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보(208)가 규정하는 경우 다른 디스플레이(204) 상에 비디오가 렌더링될 수 있다(예컨대, 다양한 제스처를 디스플레이(202)에 입력하여 정지, 시작, 뒤로 감기, 앞으로 감기 등을 수행할 수 있다). 이 예시에 따르면, 사용자가 디스플레이(202) 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보(208)가 규정하면, 콘텐트 관리 컴포넌트(210)는 비디오 스트림의 특정 프레임, 비디오 스트림의 일부 등을 디스플레이(202) 상에 렌더링할 수 있다.
또한, 입력 관리 컴포넌트(212)는 시각 초점 정보(208)에 따라서 다양한 유형의 입력을 수신하도록 디스플레이(202)를 구성할 수 있다. 예시로서, 입력 관리 컴포넌트(212)에 의해서 구성되는 바와 같이, 디스플레이(202)를 통해서 사용자로부터 수신 가능한 입력의 유형은 사용자가 디스플레이(202) 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보(208)가 규정하는 경우의 디스플레이(202)와 관련될 수 있다. 다르게는, 입력 관리 컴포넌트(212)에 의해서 구성되는 바와 같이, 디스플레이(202)를 통해서 사용자로부터 수신 가능한 입력의 유형은 사용자가 다른 디스플레이(204) 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보(208)가 규정하는 경우의 다른 디스플레이(204)와 관련될 수 있다.
더욱이, 입력 관리 컴포넌트(212)는 시각 초점 정보(208)에 기초하여 일련의 서로 다른 유형의 입력을 수신하도록 디스플레이(202)를 구성할 수 있다. 예시로서, 다른 디스플레이(204) 상에 슬라이드쇼가 렌더링될 수 있다. 사용자가 다른 디스플레이(204) 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보(208)가 규정하는 경우, 입력 관리 컴포넌트(212)는 다른 디스플레이(204) 상에 렌더링된 슬라이드 하나를 전방으로 또는 후방으로 움직이는 슬라이드쇼와 관련된 입력을 수신하도록 디스플레이(202)를 구성할 수 있다. 사용자가 디스플레이(202) 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보(208)가 규정하는 경우, 입력 관리 컴포넌트(212)는 일련의 다량의 입력 유형과 관련된 입력(예컨대, 슬라이드 하나를 전방으로 또는 후방으로 이동하기, 슬라이드쇼로부터 슬라이드를 골라서 뛰어넘기, 디스플레이(202) 상에 렌더링된 슬라이드 틀을 조작하기, 디스플레이(202) 상에 렌더링된 주석을 검색하기 등)을 수신하도록 디스플레이(202)를 구성할 수 있다. 그러나, 특허청구범위의 주제는 전술한 예시로 한정되지 않는다는 것을 이해하여야 한다.
도 3 - 6은 복수의 디스플레이를 포함하고 있는 환경 내에서 시각 초점에 기초하여 디스플레이 기능을 제어하는 시스템(300)의 사용을 나타내는 예시적인 상황을 도시하고 있다. 예시적인 상황에서 도시된 바와 같이, 시스템(300)은 터치 가능 디스플레이(302)(예컨대, 도 1의 제 1 디스플레이(102), 도 2의 디스플레이(202) 등), 디스플레이(304)(예컨대, 도 1의 제 2 디스플레이(104), 도 2의 다른 디스플레이(204) 등), 및 센서(306)(예컨대, 도 1의 센서(116)를 포함하고 있다. 일 예시에 따르면, 터치 가능 디스플레이(302)는 태블릿 컴퓨터, 스마트 폰 등에 포함될 수 있으며, 또한 디스플레이(304)는 데스크톱 컴퓨터의 외부 디스플레이일 수 있다. 다른 예시로서, 터치 가능 디스플레이(302) 및 디스플레이(304)는 공유 계산 디바이스와 인터페이스를 이룰 수 있다. 예시적인 상황은 터치 가능 디스플레이(302)의 기능이 사용자(308)의 시각 초점에 따라서 변경됨을 나타내고 있다. 도 3 - 6에 도시한 바와 같이, 터치 가능 디스플레이(302)는 사용자(308)가 디스플레이(304) 상에 시각적으로 초점을 맞추는 경우 디스플레이(304)용의 지정 입력 디바이스 및 입력 디바이스 및 사용자(308)가 터치 가능 디스플레이(302) 상에 시각적으로 초점을 맞추는 경우 콘텐트를 렌더링하는 출력 디바이스 사이에서 전환될 수 있다. 도 3 - 6의 예시적인 상황은 설명의 목적으로만 제공되었으며, 본 명세서에 첨부한 특허청구범위의 청구 범위를 한정하도록 의도되어 있지 않다는 것을 이해하여야 한다.
도 3에 나타낸 바와 같이, 사용자(308)는 (예컨대, 점선(310)으로 나타낸 바와 같이) 디스플레이(304) 상에 시각적으로 초점을 맞추고 있으며, 이는 센서(306)로부터의 출력에 기초하여 검출될 수 있다. 사용자(308)의 시각 초점은 디스플레이(304) 상에 있지만, 사용자(308)는 터치 가능 디스플레이(302)를 사용하도록 도시되어 있다. 도 4는 도 3에 도시된 시스템(300)의 다른 사시도를 나타내고 있다. 사용자(308)가 디스플레이(304) 상에 (예컨대, 디스플레이(304) 상에서 렌더링되는 콘텐트 상에) 시각적으로 초점을 맞춘 것이 검출되는 경우, 터치 가능 디스플레이(302)는 지정 입력 디바이스가 된다. 예를 들어서, 터치 가능 디스플레이(302)는 사용자(308)가 디스플레이(304) 상에 시각적으로 초점을 맞춘 것이 검출되는 경우, 사용자(308)로부터 터치 기반의 입력을 수신할 수 있으며, 이 입력은 디스플레이(304) 상에 렌더링된 콘텐트의 조작, 탐색 등에 사용될 수 있다. 도시되어 있는 바와 같이, 사용자(308)의 시각 초점이 디스플레이(304) 상에 있는 것으로 검출되었을 경우에는 터치 가능 디스플레이(302) 상에 콘텐트가 렌더링되는 것이 억제된다. 다른 예시(미도시)에 따르면, 사용자(308)의 시각 초점이 디스플레이(304) 상에 있는 것으로 검출되는 경우에 터치 가능 디스플레이(302) 상에 콘텐트를 렌더링할 수 있지만, 사용자(308)의 시각 초점이 디스플레이(304) 상에 있는 것으로 검출되는 경우의 터치 가능 디스플레이(302) 상에 렌더링되는 콘텐트는 사용자(308)의 시각 초점이 터치 가능 디스플레이(302) 상에 있는 것으로 검출되는 경우의 터치 가능 디스플레이(302) 상에 렌더링되는 콘텐트와 상이할 수 있다.
이제 도 5를 참조하면, 사용자(308)는 터치 가능 디스플레이(302) 상에 (예컨대, 점선(502)으로 나타낸 바와 같이) 시각적으로 초점을 맞추고 있으며, 이는 센서(306)로부터의 출력에 기초하여 검출될 수 있다. 사용자(308)는 터치 가능 디스플레이(302) 상에 시각적으로 초점을 맞춘 채로 터치 가능 디스플레이(302)를 이용하고 있는 것으로 도시되어 있다. 도 6은 도 5에 도시된 시스템(300)의 다른 사시도를 나타내고 있다. 사용자(308)가 터치 가능 디스플레이(302) 상에 시각적으로 초점을 맞추고 있는 것으로 검출되는 경우, 터치 가능 디스플레이(302)는 콘텐트를 렌더링한다. 또한, 사용자(308)가 터치 가능 스크린(302) 상에 시각적으로 초점을 맞추고 있는 것으로 검출되는 경우, 터치 가능 스크린(302)은 사용자(308)로부터 터치 기반의 입력을 수신할 수 있으며, 이 입력은 터치 가능 스크린(302) 상에 렌더링된 콘텐트의 조작, 탐색 등에 사용될 수 있다.
일례에 따르면, 사용자(308)는 도 3 및 4에 나타낸 바와 같이 디스플레이(304) 상에 시각적으로 초점을 맞출 수 있다. 사용자(308)의 시각 초점이 디스플레이(304) 상에 있는 동안에, 디스플레이(304) 상에 콘텐트가 렌더링되고 또한 사용자(308)는 터치 가능 디스플레이(302)를 이용하여 디스플레이(304) 상에 렌더링된 콘텐트를 조작할 수 있다. 도 5 및 6에 나타낸 바와 같이, 사용자(308)가 시각 초점을 터치 가능 디스플레이(302)로 변경하게 되면, 터치 가능 디스플레이(302)는 디스플레이(304) 상에 렌더링되는 콘텐트의 속성과 관련된 콘텐트를 렌더링할 수 있다. 또한, 디스플레이(304) 상에 렌더링되는 콘텐트의 속성은 터치 가능 디스플레이(302)를 통해서 수신되는 입력에 기초하여 조작될 수 있는 반면에 사용자(308)의 시각 초점은 터치 가능 디스플레이(302) 상에 유지된다. 이후에, 사용자(308)는 도 3 및 4에 도시한 바와 같이 시각적 초점을 디스플레이(304)로 되돌릴 수 있으며, 조작된 속성의 표현은 디스플레이(304) 상에 디스플레이될 수 있다.
도 7 - 8은 복수의 디스플레이를 포함하고 있는 환경 내에서 시각 초점에 기초하여 하나의 디스플레이 상에 렌더링된 콘텐트를 제어하고 있는 시스템(700)의 이용을 나타내는 예시적인 상황을 도시하고 있다. 이 예시적인 상황은 시스템(700)이 (예컨대, 집합적으로 디스플레이(702 - 706)로 언급되는) 디스플레이(702), 디스플레이(704), 및 디스플레이(706)를 포함하고 있음을 나타내고 있다. 일 예시에 따르면, 서로 다른 계산 디바이스는 디스플레이(702), 디스플레이(704), 및 디스플레이(706)와 각각 인터페이스를 이룰 수 있으며(예컨대, 계산 디바이스(A)는 디스플레이(702)와 인터페이스를 이룰 수 있고, 계산 디바이스(B)는 디스플레이(704)와 인터페이스를 이룰 수 있고, 및 계산 디바이스(C)는 디스플레이(706)와 인터페이스를 이룰 수 있음), 각 계산 디바이스는 서로 상호 작용할 수 있다. 다른 예시로서, 계산 디바이스(A)는 디스플레이(702 - 706) 중의 두 개와 인터페이스를 이루고 또한 계산 디바이스(B)는 디스플레이(702 - 706) 중의 남아있는 하나와 인터페이스를 이룰 수 있으며, 이때 계산 디바이스(A)와 계산 디바이스(B)는 상호 작용한다. 예시적인 상황은 디스플레이(702) 상에 콘텐트가 렌더링되고 또한 디스플레이(706)가 사용자(710)의 시각 초점에 따라서 변동되는 것을 도시하고 있다. 도시하지는 않았지만, 디스플레이(704) 상에 렌더링되는 콘텐트는 사용자(710)의 시각 초점에 기초하여 유사하게 변동될 수 있다. 하지만, 도 7 - 8의 예시적인 상황은 설명을 목적으로 제공되었으며, 또한 특허청구범위의 주제를 그렇게 한정되지 않는다는 것을 이해하여야 한다.
도 7에 나타낸 바와 같이, 사용자(710)는 (예컨대, 점선(712)으로 나타낸 바와 같이) 디스플레이(702) 상에 시각적으로 초점을 맞추고 있으며, 이는 센서(708)로부터의 출력에 기초하여 검출될 수 있다. 또한, 도 8에 있어서, 사용자(710)는 디스플레이(706) 상에 (예컨대, 점선(802)으로 나타낸 바와 같이) 시각적으로 초점을 맞추고 있으며, 이는 센서(708)로부터의 출력에 기초하여 검출될 수 있다. 도 7 및 8은 사용자(710)의 시각적 초점에 따라서 변동되는 디스플레이(702) 및 디스플레이(706)에 의해서 렌더링되는 콘텐트를 도시하고 있다. 더욱 구체적으로, 디스플레이(702) 상에 렌더링되는 콘텐트는 사용자(710)의 시각 초점이 (예컨대, 도 8에 나타낸) 디스플레이(706) 상에 있는 경우와 비교하였을 때 사용자(710)의 시각 초점이 (예컨대, 도 7에 나타낸) 디스플레이(702) 상에 있는 경우에 더욱 상세해질 수 있다. 유사하게, 디스플레이(706) 상에 렌더링되는 콘텐트는 사용자(710)의 시각 초점이 (예컨대, 도 7에 나타낸) 디스플레이(702) 상에 있는 경우와 비교하였을 때 사용자(710)의 시각 초점이 (예컨대, 도 8에 나타낸) 디스플레이(706) 상에 있는 경우에 더욱 상세해질 수 있다.
일 예시에 따르면, 디스플레이 상에 렌더링된 콘텐트는 사용자(710)의 시각 초점이 디스플레이로부터 멀어지게 이동함에 따라서 덜 상세해질 수 있다. 유사하게, 디스플레이 상에 렌더링되는 콘텐트는 사용자(710)의 시각 초점이 디스플레이를 향해서 이동함에 따라서 (예컨대, 장체(condensed) 등) 더욱 상세해질 수 있다. 또한, 디스플레이가 사용자(710)의 주변 시야 내에 있는 경우에 덜 상세한 콘텐트를 사용하여 정보를 전달하거나 사용자의 시각 초점을 잡도록 할 수 있다. 다른 예시로서, 사용자(710)의 주변 시야 내에 위치하는 디스플레이 상에 렌더링되는 덜 상세한 콘텐트는 디스플레이 상에 컬러로 제시될 수 있으나, 특허청구범위의 주제는 그렇게 한정되지는 않는다.
도 9 - 10은 시각 초점에 기반하는 결합형 디스플레이의 제어와 관련된 예시적인 방법을 도시하고 있다. 상술한 방법은 순서대로 수행되는 일련의 동작으로서 나타내고 설명되었지만, 상술한 방법은 순서에 의해서 한정되지 않음을 알고 또한 이해하여야 한다. 예를 들면, 일부 동작은 본 명세서에서 설명한 것과 다른 순서로 발생할 수 있다. 또한, 하나의 동작이 다른 동작과 동시적으로 발생할 수 있다. 또한, 일부의 경우에 있어서, 본 명세서에서 설명한 방법을 구현하는데 모든 동작이 필요하지 않을 수 있다. 더욱이, 본 명세서에서 설명한 동작은 하나 이상의 프로세서에 의해서 구현되거나 및/또는 컴퓨터 판독 가능 매체에 저장되는 컴퓨터 실행 가능 명령일 수 있다. 컴퓨터 실행 가능 명령은 루틴, 서브루틴, 프로그램, 실행 쓰레드 등을 포함할 수 있다. 또 다르게는, 상술한 방법의 동작 결과는 컴퓨터 판독 가능 매체 내에 저장되거나, 디스플레이 디바이스 상에 디스플레이되거나, 및/또는 기타 등등이 가능할 수 있다.
도 9는 제 1 디스플레이의 기능을 제어하기 위한 방법(900)을 도시하고 있다. 단계(902)에서, 일련의 디스플레이로부터 사용자가 시각적으로 초점을 맞춘 특정 디스플레이를 규정하는 시각 초점 정보가 수신될 수 있다. 일련의 디스플레이는 적어도 제 1 디스플레이 및 제 2 디스플레이를 포함할 수 있다. 또한, 제 1 계산 디바이스는 제 1 디스플레이와 인터페이스를 이룰 수 있고 또한 제 2 계산 디바이스는 제 2 디스플레이와 인터페이스를 이룰 수 있다. 또한, 제 1 계산 디바이스는 제 2 계산 디바이스와 상호 작용할 수 있다. 일 예시에 따르면, 일련의 디스플레이로부터 사용자가 시각적으로 초점을 맞춘 특정 디스플레이를 규정하는 시각 초점 정보는 센서의 출력으로부터 검출될 수 있다. 예시로서, 시각 초점 정보는 센서의 출력에 대해서 안구 추적, 두부 추적, 거동 추적 등을 수행하는 것에 의해서 검출될 수 있다.
단계(902)에서, 제 1 디스플레이를 통해서 사용자로부터 수신 가능한 입력 유형 또는 제 1 디스플레이 상에 렌더링되는 콘텐트 중의 적어도 하나는 시각 초점 정보에 따라서 제어될 수 있다. 예시로서, 사용자가 제 1 디스플레이에 시각적으로 초점을 맞춘 것을 시각 초점 정보가 규정하는 경우에 제 1 디스플레이 상에 콘텐트가 렌더링될 수 있고, 또한 일련의 디스플레이로부터 사용자가 시각적인 초점을 맞춘 것이 제 1 디스플레이와는 다른 특정 디스플레이임을 시각 초점 정보가 규정하는 경우 제 1 디스플레이 상에 콘텐트를 렌더링하는 것이 억제될 수 있다. 다른 예시에 따르면, 제 1 디스플레이 상에 렌더링되는 콘텐트의 입도는 시각 초점 정보로부터 선택될 수 있으며, 또한 콘텐트는 선택된 입도로 제 1 디스플레이 상에 렌더링될 수 있다. 이 예시에 따르면, 콘텐트의 입도는 사용자가 제 1 디스플레이 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보가 규정하는 경우에는 더욱 상세해지고 또한 일련의 디스플레이로부터 사용자가 시각적인 초점을 맞춘 것이 제 1 디스플레이와는 다른 특정 디스플레이임을 시각 초점 정보가 규정하는 경우에는 덜 상세해질 수 있다. 또 다른 예시에 따르면, 제 1 디스플레이를 통해서 사용자로부터 수신 가능한 입력의 유형은 사용자가 제 1 디스플레이 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보가 규정하는 경우에는 제 1 디스플레이와 관련될 수 있고 또한 제 1 디스플레이를 통해서 상기 사용자로부터 수신 가능한 입력의 유형은 사용자가 제 2 디스플레이에 시각적으로 초점을 맞춘 것을 시각 초점 정보가 규정하는 경우에는 제 2 디스플레이와 관련될 수 있다.
다른 예시에 따르면, 제 2 디스플레이에 관련된 문맥 정보가 수신될 수 있다. 또한, 사용자가 제 1 디스플레이 상에 시각적으로 초점을 맞추었는지를 시각 초점 정보가 규정하는 경우에 제 2 디스플레이와 관련된 문맥 정보에 따라서 제 1 디스플레이 상에 렌더링되어지는 콘텐트가 식별될 수 있다. 또한, 문맥 정보에 따라서 식별되는 콘텐트는 사용자가 제 1 디스플레이 상에 시각적으로 초점을 맞추고 있는지를 시각 초점 정보가 규정하는 경우 제 1 디스플레이 상에 렌더링될 수 있다.
일 예시에 따르면, 일련의 디스플레이는 적어도 제 3 디스플레이를 더 포함하는 것으로 고려된다. 이 예시에 따르면, 제 3 계산 디바이스는 제 3 디스플레이와 인터페이스를 이룰 수 있다. 또한, 제 3 계산 디바이스는 제 1 계산 디바이스 및 제 2 계산 디바이스와 상호 작용할 수 있다.
또 다른 예시로서, 일련의 디스플레이는 적어도 제 4 디스플레이를 더 포함할 수 있음을 이해하여야 한다. 이 예시에 따르면, 제 1 계산 디바이스 또는 제 2 계산 디바이스는 제 4 디스플레이와 인터페이스를 이룰 수 있다.
또한, 제 1 계산 디바이스가 제 2 계산 디바이스에 의해서 실행되는 주요 애플리케이션을 보완하는 동반 애플리케이션을 실행시킬 수 있음이 고려된다. 또한, 사용자가 제 1 디스플레이 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보가 규정하는 경우 보조 애플리케이션에 대해서 제 1 디스플레이를 최적화할 수 있다. 또한, 일련의 디스플레이로부터 사용자가 시각적으로 초점을 맞춘 것이 제 1 디스플레이와 다른 특정 디스플레이임을 시각 초점 정보가 규정하는 경우 주요 애플리케이션에 대해서 제 1 디스플레이를 최적화할 수 있다.
다른 예시에 따르면, 제 1 디스플레이는 지정 입력 디바이스, 및 입력 디바이스 및 콘텐트를 렌더링하는 출력 디바이스 사이에서 전환될 수 있다. 예를 들어서, 제 1 디스플레이는 사용자가 제 2 디스플레이 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보가 규정하는 경우 제 2 디스플레이에 대한 지정 입력 디바이스가 될 수 있고 또한 제 2 디스플레이는 입력 디바이스 및 사용자가 제 1 디스플레이 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보가 규정하는 경우 콘텐트를 렌더링하는 출력 디바이스가 될 수 있다. 또한, 제 1 디스플레이는 터치 가능 디스플레이일 수 있다.
다른 예시에 따르면, 콘텐트는 사용자가 제 1 디스플레이 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보가 규정하는 경우 제 1 디스플레이 상에 렌더링될 수 있다. 이 예시에 따르면, 제 1 디스플레이 상에 렌더링되는 콘텐트는 제 2 디스플레이 상에 렌더링되는 다른 콘텐트의 속성에 관련될 수 있다. 또한, 제 2 디스플레이 상에 렌더링되는 다른 콘텐트의 속성은 사용자가 제 1 디스플레이 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보가 규정하는 경우 제 1 디스플레이를 통해서 수신되는 입력에 기초하여 조작될 수 있다. 따라서, 조작되는 다른 콘텐트의 속성의 표현은 사용자가 제 2 디스플레이 상에 시각적으로 초점을 맞춘 것을 시각 초점 정보가 규정하는 경우에 제 2 디스플레이 상에 디스플레이될 수 있다.
도 10을 참조하면, 복수의 디스플레이를 포함하고 있는 환경 내에서 터치 가능 디스플레이를 제어하기 위한 방법(1000)이 도시되어 있다. 단계(1002)에서, 사용자의 시각 초점은 제 1 디스플레이 상에 있는 것으로 식별될 수 있다. 예를 들어서, 이 제 1 디스플레이는 터치 가능 디스플레이일 수 있다. 또한, 제 1 계산 디바이스는 제 1 디스플레이와 인터페이스를 이룰 수 있고 또한 제 2 계산 디바이스는 제 2 디스플레이와 인터페이스를 이룰 수 있다. 또한, 제 1 계산 디바이스는 제 2 계산 디바이스와 상호 작용할 수 있다. 예시에 따르면, 사용자의 시각 초점을 규정하는 수신된 시각 초점 정보로부터 사용자의 시각 초점이 제 1 디스플레이 상에 있는 것으로 식별될 수 있다. 다른 예시에 따르면, 센서로부터의 출력을 분석하여 사용자의 시각 초점을 검출하는 것에 의해서 사용자의 시각 초점이 제 1 디스플레이 상에 있는 것으로 식별될 수 있다.
단계(1004)에서, 콘텐트는 사용자의 시각 초점이 제 1 디스플레이 상에 있는 것에 기초하여 제 1 디스플레이 상에 렌더링될 수 있다. 단계(1006)에서, 제 1 디스플레이는 사용자의 시각 초점이 제 1 디스플레이 상에 있는 것에 기초하여 제 1 디스플레이 상에 렌더링되는 콘텐트를 조작하는 제 1 종 입력을 수신하도록 구성될 수 있다. 단계(1008)에서, 제 2 디스플레이로의 사용자의 시각 초점의 전환이 식별될 수 있다. 단계(1010)에서, 제 1 디스플레이 상에 콘텐트를 렌더링하는 단계는 사용자의 시각 초점이 제 2 디스플레이로 전환되는 것에 기초하여 억제될 수 있다. 단계(1012)에서, 제 1 디스플레이는 사용자의 시각 초점이 제 2 디스플레이로 전환되는 것에 기초하여, 제 2 디스플레이 상에 렌더링되는 다른 콘텐트를 조작하는 제 2 종 입력을 수신하도록 구성될 수 있다.
일 예시에 따르면, 사용자의 시각 초점이 제 1 디스플레이로 되돌아오는 것을 식별할 수 있다. 이 예시에 따르면, 사용자의 시각 초점이 제 1 디스플레이로 되돌아오는 것에 기초하여 제 1 디스플레이 상에 콘텐트가 렌더링될 수 있다. 더욱이, 제 1 디스플레이는 제 1 디스플레이로 되돌아오는 사용자의 시각 초점에 기초하여 제 1 디스플레이 상에 렌더링되는 콘텐트를 조작하는 제 1 종 입력을 수신하도록 구성될 수 있다.
이제 도 11을 참조하면, 본 명세서에서 개시된 시스템 및 방법에 따라서 사용될 수 있는 예시적인 계산 디바이스(1100)의 고수준 예시에 대해서 도시하고 있다. 예를 들어서, 계산 디바이스(1100)는 사용자의 시각 초점에 기초하여 디스플레이를 통하여 사용자로부터 수신 가능한 입력 유형을 제어하는 시스템 내에서 사용될 수 있다. 다른 예시로서, 계산 디바이스(1100)는 사용자의 시각 초점에 기초하여 디스플레이 상에 렌더링되는 콘텐트를 제어하는 시스템 내에서 사용될 수 있다. 계산 디바이스(1100)는 적어도 하나의 프로세서(1102)를 포함하며 메모리(1104) 내에 저장된 명령을 실행한다. 이 명령은, 예를 들어서, 상술한 하나 이상의 컴포넌트에 의해서 수행되는 것으로 설명된 기능을 구현하기 위한 명령 또는 상술한 하나 이상의 방법을 구현하기 위한 명령일 수 있다. 프로세서(1102)는 시스템 버스(1106)를 통해서 메모리(1104)에 접속할 수 있다. 실행 가능한 명령을 저장하는 것에 추가하여, 메모리(1104)는 또한 사용자의 시각 초점 정보, 디스플레이 상에 렌더링되어지는 콘텐트, 디스플레이의 상대 위치를 식별하는 정보 등등을 저장할 수 있다.
계산 디바이스(1100)는 이에 더하여 시스템 버스(1106)를 통해서 프로세서(1102)에 의해서 접속 가능한 데이터 스토리지(1108)를 포함하고 있다. 데이터 스토리지(1108)는 실행 가능한 명령, 사용자의 시각 초점 정보, 디스플레이 상에 렌더링되어지는 콘텐트, 디스플레이의 상대 위치를 식별하는 정보 등등을 포함할 수 있다. 계산 디바이스(1100)는 또한 외부 디바이스가 계산 디바이스(1100)와 통신하도록 허용하는 입력 인터페이스(1110)를 포함하고 있다. 예를 들어서, 입력 인터페이스(1110)는 외부 컴퓨터 디바이스, 사용자 등으로부터의 명령을 수신하는데 사용될 수 있다. 계산 디바이스(1100)는 또한 하나 이상의 외부 디바이스와 함께 계산 디바이스(1100)와 인터페이스를 이루는 출력 인터페이스(1112)를 포함하고 있다. 예를 들면, 계산 디바이스(1100)는 출력 인터페이스(1112)를 통해서 텍스트, 이미지 등을 디스플레이할 수 있다.
이에 더하여, 도시된 것은 단일 시스템이지만, 계산 디바이스(1100)는 분산 시스템일 수도 있음을 이해하여야 한다. 따라서, 예를 들어서, 몇 개의 디바이스가 네트워크 접속을 통해서 통신 상태에 있을 수 있으며, 계산 디바이스(1100)에 의해서 수행되는 것으로 기술된 작업을 집합적으로 수행할 수 있다.
본 명세서에서 사용되는 바와 같이, "컴포넌트" 및 "시스템"이라는 용어는 프로세서에 의해서 수행되었을 때 특정 기능이 실행되도록 하는 컴퓨터 실행 가능 명령으로 구성되는 컴퓨터 판독 가능 데이터 스토리지를 포함하도록 의도되었다. 컴퓨터 실행 가능 명령은 루틴, 함수 등을 포함할 수 있다. 또한, 컴포넌트 또는 시스템은 단일 디바이스 상에서 로컬화되어 있을 수도 있고 또는 몇 개의 디바이스에 걸쳐서 분산되어 있을 수도 있다.
또한, 본 명세서에서 사용되는 바와 같이, "예시적인"이라는 용어는 "뭔가의 실제예 또는 예시로서 기능하는" 것을 의미하도록 의도되었다. 본 명세서에서 설명된 다양한 기능은 하드웨어, 소프트웨어, 또는 임의의 이들의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 이들 기능은 컴퓨터 판독 가능 매체 상에 하나 이상의 명령 또는 코드로서 저장되거나 전송될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 저장 매체를 포함하고 있다. 컴퓨터 판독 가능 저장 매체는 컴퓨터에 의해서 접속될 수 있는 임의의 가능한 저장 매체일 수 있다. 예시로서, 및 제한하지 않고, 그와 같은 컴퓨터 판독 가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 기타 광학 디스크 스토리지, 자기 디스크 스토리지 또는 기타 자기 스토리지 디바이스, 또는 명령의 형태로 소정의 프로그램 코드를 담지 또는 저장하는데 사용될 수 있고 또한 컴퓨터에 의해서 접속될 수 있는 임의의 기타 매체를 포함할 수 있다. 디스크(disk 또는 disc)는, 본 명세서에서 사용된 바와 같이, 컴팩트 디스크(CD, compact disc), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크(DVD), 플로피 디스크(floppy disk), 및 블루레이 디스크(DB)를 포함하고 있으며, 여기에서 디스크(disk)는 대개 데이터를 자기적으로 재생산하고 있고 또한 디스크(disc)는 대개 데이터를 레이저를 이용하여 광학적으로 재생산하고 있다. 또한, 전파되는 신호는 컴퓨터 판독 가능 저장 매체의 범위 내에 포함되지 않는다. 컴퓨터 판독 가능 매체는 또한 한 장소로부터 다른 장소로 컴퓨터 프로그램을 전달시킬 수 있는 임의의 매체를 포함하는 통신 매체를 포함하고 있다. 접속은, 예를 들어서, 통신 매체일 수 있다. 예를 들어서, 동축 케이블, 광 섬유 케이블, 트위스티드 페어(twisted pair), 디지털 가입자 라인(DSL), 또는 적외선, 전파, 및 초단파와 같은 무선 기술을 사용하여 웹 사이트, 서버, 또는 기타 원격 소스로부터 소프트웨어를 전송하는 경우, 동축 케이블, 광 섬유 케이블, 트위스티드 페어(twisted pair), 디지털 가입자 라인(DSL), 또는 적외선, 전파, 및 초단파와 같은 무선 기술은 통신 매체의 정의 내에 포함되어진다. 또한 이들을 조합한 것 또한 컴퓨터 판독 가능 매체의 범위 내에 포함되어져야 한다.
상술한 설명은 하나 이상의 실시예의 예시를 포함한다. 당연하지만, 상술한 태양을 설명하기 위한 목적으로서의 상술한 디바이스 또는 방법에 대해서 모두가 예상 가능한 변경 및 변형은 가능하지 않지만, 본 기술 분야에서 통상의 지식을 가진 자라면 다양한 태양에 대해서 다양한 추가적인 변경 및 순열이 가능한 것을 인식할 수 있을 것이다. 따라서, 상술한 태양은 첨부한 특허청구범위의 사상 및 범주의 범위 내에 속하는 이와 같은 모든 변형, 변경, 및 변화를 포함하도록 의도되었다. 또한, 발명을 실시하기 위한 구체적인 내용 또는 특허청구범위 중의 하나에서 사용된 "포함하고 있는"(includes)이라는 용어에 한해서, 이와 같은 용어는 "포함하는"(comprising)이 청구항에서 전이구로서 사용될 때 해석되는 것과 같이 용어 "포함하는"(comprising)과 유사한 방식으로 포함되어지도록 의도되었다.
102 : 제 1 디스플레이 104 : 제 2 디스플레이
106 : 사용자 108 : 제 1 계산 디바이스
110 : 제 2 계산 디바이스 112 : 제 1 협업 컴포넌트
114 : 제 2 협업 컴포넌트 116 : 센서
120 : 초첨 추적 컴포넌트 126 : 제어 컴포넌트
202 : 디스플레이 204 : 다른 디스플레이
208 : 시각 초점 정보 210 : 콘텐트 관리 컴포넌트
212 : 입력 관리 컴포넌트
1102 : 프로세서 1104 : 메모리
1108 : 데이터 스토리지 1110 : 입력 인터페이스
1112 : 출력 인터페이스

Claims (20)

  1. 제 1 계산 디바이스의 제 1 디스플레이의 기능을 제어하는 방법으로서,
    사용자가 시각적으로 초점을 맞춘 환경에서 일련의 디스플레이 중 특정 디스플레이를 규정하는 시각 초점 정보를 수신하는 단계 - 상기 환경은 상기 사용자가 볼 수 있는 적어도 상기 제 1 계산 디바이스의 상기 제 1 디스플레이 및 제 2 계산 디바이스의 제 2 디스플레이를 포함함 - 와,
    상기 시각 초점 정보에 기초하여 상기 제 1 계산 디바이스의 상기 제 1 디스플레이를 상기 제 2 계산 디바이스의 터치 가능 입력 주변 디바이스(peripheral touch-enabled input device)로서 선택적으로 이용하는 단계와,
    상기 시각 초점 정보에 따라서 상기 제 1 애플리케이션 또는 상기 제 2 애플리케이션 중 적어도 하나를 위해 상기 제 1 디스플레이 상에 렌더링되는 콘텐트를 제어하는 단계를 포함하되,
    상기 제 1 계산 디바이스의 상기 제 1 디스플레이는
    상기 사용자가 상기 제 1 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우, 상기 제 1 계산 디바이스가 실행하는 제 1 애플리케이션에 대한 입력을 상기 사용자로부터 수신 - 상기 사용자가 상기 제 1 디바이스에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우 상기 제 1 계산 디바이스는 상기 제 1 디스플레이에 의해 제어가능함 - 하고,
    상기 사용자가 상기 제 2 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우, 상기 제 2 계산 디바이스가 실행하는 제 2 애플리케이션에 대한 입력을 상기 사용자로부터 수신 - 상기 사용자가 상기 제 2 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우, 상기 제 1 계산 디바이스의 상기 제 1 디스플레이는 상기 제 2 계산 디바이스를 위한 상기 터치 가능 입력 주변 디바이스로서 이용되고, 상기 사용자가 상기 제 2 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우, 상기 제 2 계산 디바이스는 상기 제 1 디스플레이에 의해 제어가능함 - 하도록 이용되는
    제 1 디스플레이의 기능을 제어하는 방법.
  2. 제 1 항에 있어서,
    일련의 디스플레이 중 사용자가 시각적으로 초점을 맞춘 상기 특정 디스플레이를 규정하는 시각 초점 정보를 센서의 출력으로부터 검출하는 단계를 더 포함하는
    제 1 디스플레이의 기능을 제어하는 방법.
  3. 제 2 항에 있어서,
    상기 센서의 출력에 대해 안구 추적, 두부 추적, 및 거동 추적 중 적어도 하나를 수행함으로써 상기 시각 초점 정보를 검출하는 단계를 더 포함하는
    제 1 디스플레이의 기능을 제어하는 방법.
  4. 제 1 항에 있어서,
    상기 시각 초점 정보에 따라서 상기 제 1 디스플레이 상에 렌더링되는 상기 콘텐트를 제어하는 단계는,
    상기 사용자가 상기 제 1 디스플레이 상에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우 상기 제 1 디스플레이 상에 상기 콘텐트를 렌더링하는 단계와,
    상기 일련의 디스플레이 중 상기 사용자가 시각적인 초점을 맞춘 상기 특정 디스플레이가 상기 제 1 디스플레이와 다르다고 상기 시각 초점 정보가 규정하는 경우 상기 제 1 디스플레이 상에 상기 콘텐트를 렌더링하는 것을 억제하는 단계를 더 포함하는
    제 1 디스플레이의 기능을 제어하는 방법.
  5. 제 1 항에 있어서,
    상기 시각 초점 정보에 따라서 상기 제 1 디스플레이 상에 렌더링되는 상기 콘텐트를 제어하는 단계는,
    상기 시각 초점 정보에 따라서 상기 제 1 디스플레이 상에 렌더링되는 상기 콘텐트의 입도(granularity)를 선택하는 단계 - 상기 콘텐트의 입도는 상기 사용자가 상기 제 1 디스플레이 상에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우에 더욱 상세해지고 또한 상기 일련의 디스플레이 중 상기 사용자가 시각적인 초점을 맞춘 상기 특정 디스플레이가 상기 제 1 디스플레이와 다르다고 상기 시각 초점 정보가 규정하는 경우에는 덜 상세해짐 - 와,
    상기 선택된 입도를 사용하여 상기 제 1 디스플레이 상에 상기 콘텐트를 렌더링하는 단계
    를 더 포함하는 제 1 디스플레이의 기능을 제어하는 방법.
  6. 제 1 항에 있어서,
    상기 사용자가 상기 제 1 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우, 입력의 유형의 제 1 세트가 상기 제 1 계산 디바이스를 제어하기 위해 상기 제 1 디스플레이를 통해서 수신가능하고,
    상기 사용자가 상기 제 2 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우, 상기 입력의 유형의 제 2 세트가 상기 제 2 계산 디바이스를 제어하기 위해 상기 제 1 디스플레이를 통해서 수신가능하고,
    상기 입력의 유형의 제 1 세트는 상기 입력의 유형의 제 2 세트와 상이한
    제 1 디스플레이의 기능을 제어하는 방법.
  7. 제 1 항에 있어서,
    상기 제 2 디스플레이와 관련된 문맥적 정보(contextual information)를 수신하는 단계 - 상기 문맥적 정보는 상기 사용자가 마지막으로 상호 작용한 상기 제 2 디스플레이의 위치에서 상기 제 2 디스플레이 상에 렌더링된 콘텐트를 나타냄 - 와,
    상기 사용자가 상기 제 1 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우,
    상기 사용자가 마지막으로 상호 작용한 상기 제 2 디스플레이의 위치에서 상기 제 2 디스플레이 상에 렌더링된 콘텐트에 따라서 상기 제 1 디스플레이 상에 렌더링될 콘텐트를 식별하는 단계와,
    상기 사용자가 마지막으로 상호 작용한 상기 제 2 디스플레이의 위치에서 상기 제 2 디스플레이 상에 렌더링된 콘텐트에 따라서 식별된 상기 콘텐트를 상기 제 1 디스플레이 상에서 렌더링하는 단계를 포함하는
    제 1 디스플레이의 기능을 제어하는 방법.
  8. 제 1 항에 있어서,
    상기 제 1 계산 디바이스가 실행하는 상기 제 1 애플리케이션은 동반 애플리케이션(companion application)이고, 상기 제 2 계산 디바이스가 실행하는 상기 제 2 애플리케이션은 주요 애플리케이션이며, 상기 동반 애플리케이션은 상기 주요 애플리케이션을 보완하는
    제 1 디스플레이의 기능을 제어하는 방법.
  9. 제 1 항에 있어서,
    상기 사용자가 상기 제 1 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우, 상기 제 1 디스플레이가 상기 제 1 계산 디바이스가 실행하는 상기 제 1 애플리케이션과 관련된 동작을 수행하도록 하는 단계와,
    상기 일련의 디스플레이 중 상기 사용자가 시각적인 초점을 맞춘 상기 특정 디스플레이가 상기 제 1 디스플레이와는 다르다고 상기 시각 초점 정보가 규정하는 경우, 상기 제 1 디스플레이가 상기 제 2 계산 디바이스가 실행하는 상기 제 2 애플리케이션과 관련된 동작을 수행하도록 하는 단계를 더 포함하는
    제 1 디스플레이의 기능을 제어하는 방법.
  10. 제 1 항에 있어서,
    상기 제 1 디스플레이를, 상기 사용자가 상기 제 2 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 것에 응답하여, 상기 제 2 계산 디바이스의 상기 터치 가능 입력 주변 디바이스로서 이용되도록 구성되는 경우, 상기 제 2 디스플레이에 대한 지정 입력 디바이스로 설정하고,
    상기 제 1 디스플레이를, 상기 사용자가 상기 제 1 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우, 입력 디바이스 및 상기 콘텐트를 렌더링하는 출력 디바이스로 설정하는 단계를 더 포함하는
    제 1 디스플레이의 기능을 제어하는 방법.
  11. 제 1 항에 있어서,
    상기 제 1 디스플레이 상에 렌더링되는 콘텐트를 제어하는 단계는
    상기 사용자가 상기 제 1 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우, 상기 제 2 디스플레이 상에 렌더링되는 다른 콘텐트의 속성의 표시(indication)를 상기 제 1 디스플레이 상에 렌더링하는 단계와,
    상기 제 2 디스플레이 상에 렌더링되는 상기 다른 콘텐트의 속성을 조작하는 단계 - 상기 속성은 상기 사용자가 상기 제 1 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우 상기 제 1 디스플레이를 통해서 수신되는 상기 제 1 계산 디바이스가 실행하는 상기 제 1 애플리케이션에 대한 상기 사용자로부터의 입력에 기초하여 조작되고, 조작되는 상기 다른 콘텐트의 상기 속성의 표현(manifestation)은 상기 사용자가 상기 제 2 디스플레이 상에 시각적으로 초점을 맞춘 추고 있다고 상기 시각 초점 정보가 규정하는 경우에 상기 제 2 디스플레이 상에 디스플레이됨 - 를 더 포함하는
    제 1 디스플레이의 기능을 제어하는 방법.
  12. 제 1 항에 있어서,
    상기 제 1 디스플레이는 터치 가능 디스플레이인
    제 1 디스플레이의 기능을 제어하는 방법.
  13. 제 1 항에 있어서,
    상기 제 1 디스플레이 상에 렌더링되는 콘텐트를 제어하는 단계는
    상기 사용자가 상기 제 1 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우, 상기 제 2 디스플레이 상에 렌더링된 다른 콘텐트에 대한 메타데이터를 상기 제 1 디스플레이 상에서 렌더링하는 단계를 더 포함하는
    제 1 디스플레이의 기능을 제어하는 방법.
  14. 제 1 항에 있어서,
    상기 제 1 디스플레이 상에 렌더링되는 콘텐트를 제어하는 단계는
    상기 사용자가 상기 제 1 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우, 상기 제 2 디스플레이 상에 렌더링된 다른 콘텐트에 대한 다른 시각(view)을 상기 제 1 디스플레이 상에서 렌더링하는 단계를 더 포함하는
    제 1 디스플레이의 기능을 제어하는 방법.
  15. 시각 초점을 사용하여 디스플레이의 기능을 제어하는 계산 디바이스로서,
    상기 계산 디바이스는 상기 디스플레이와 인터페이스를 이루고,
    상기 계산 디바이스는,
    프로세서와,
    컴퓨터 실행가능 명령어를 포함하는 메모리를 포함하되,
    상기 컴퓨터 실행가능 명령어는 상기 프로세서에 의해 실행되는 경우 상기 프로세서로 하여금,
    다른 계산 디바이스로부터 문맥적 정보를 수신 - 상기 다른 계산 디바이스는 다른 디스플레이와 인터페이스를 이루고, 상기 문맥적 정보는 사용자가 상기 다른 디스플레이로부터 시각 초점을 전환하기 전에 상기 사용자가 마지막으로 상호 작용한 상기 다른 디스플레이 상에서 렌더링되는 콘텐트를 나타냄 - 하고,
    상기 사용자가 시각적으로 초점을 맞춘 환경에서 일련의 디스플레이 중 특정 디스플레이를 규정하는 시각 초점 정보 - 상기 환경은 상기 사용자가 볼 수 있는 적어도 상기 디스플레이 및 상기 다른 디스플레이를 포함함 - 와,
    상기 사용자가 상기 다른 디스플레이로부터 시각 초점을 전환하기 전에 상기 사용자가 마지막으로 상호 작용한 상기 다른 디스플레이 상에서 렌더링되는 콘텐트를 나타내는 상기 문맥적 정보
    에 따라서 상기 디스플레이 상에 렌더링되는 콘텐트를 제어하고,
    상기 시각 초정 정보 및 상기 사용자가 상기 다른 디스플레이로부터 시각 초점을 전환하기 전에 상기 사용자가 마지막으로 상호 작용한 상기 다른 디스플레이 상에서 렌더링되는 콘텐트를 나타내는 상기 문맥적 정보에 따라서 상기 디스플레이를 통해 상기 사용자로부터 수신가능한 입력의 유형을 제어하게 하는
    계산 디바이스.
  16. 제 15 항에 있어서,
    상기 메모리는 상기 프로세서에 의해 실행되는 경우 상기 프로세서로 하여금, 안구 추적, 두부 추적 또는 거동 추적 중 적어도 하나를 사용하여 센서의 출력을 분석함으로써 상기 시각 초점 정보를 검출하게 하는 컴퓨터 실행가능 명령어를 더 포함하는
    계산 디바이스.
  17. 제 15 항에 있어서,
    상기 메모리는 상기 프로세서에 의해 실행되는 경우 상기 프로세서로 하여금,
    상기 시각 초점 정보 및 상기 디스플레이 상에서 렌더링되는 콘텐트와 관련된 문맥적 정보에 따라서 상기 다른 디스플레이 상에서 렌더링되는 콘텐트를 제어하고,
    상기 시각 초점 정보 및 상기 디스플레이 상에서 렌더링되는 콘텐트와 관련된 문맥적 정보에 따라서 상기 다른 디스플레이를 통해 상기 사용자로부터 수신가능한 입력의 유형을 제어하게 하는
    컴퓨터 실행가능 명령어를 더 포함하는
    계산 디바이스.
  18. 제 15 항에 있어서,
    상기 메모리는 상기 프로세서에 의해 실행되는 경우 상기 프로세서로 하여금, 상기 시각 초점 정보에 기초하여 상기 다른 계산 디바이스를 위한 터치 가능 입력 주변 디바이스로서 상기 계산 디바이스의 상기 디스플레이를 선택적으로 이용하게 하는 컴퓨터 실행가능 명령어를 더 포함하되,
    상기 계산 디바이스의 상기 디스플레이는
    상기 사용자가 상기 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우, 상기 계산 디바이스를 제어하는 상기 사용자로부터 입력을 수신하고,
    상기 사용자가 상기 다른 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우, 상기 다른 계산 디바이스를 제어하는 상기 사용자로부터 입력을 수신하도록 이용되며,
    상기 디스플레이는, 상기 사용자가 상기 다른 디스플레이에 시각적으로 초점을 맞추고 있다고 상기 시각 초점 정보가 규정하는 경우, 상기 다른 계산 디바이스를 위한 상기 터치 가능 입력 주변 디바이스로서 이용되는
    계산 디바이스.
  19. 제 15 항에 있어서,
    상기 계산 디바이스는 제 1 애플리케이션을 실행하고, 상기 다른 계산 디바이스는 상기 제 1 애플리케이션과 상이한 제 2 애플리케이션을 실행하며,
    상기 메모리는 상기 프로세서에 의해 실행될 경우 상기 프로세서로 하여금
    상기 시각 초점 정보에 따라서 상기 제 1 애플리케이션 또는 상기 제 2 애플리케이션 중 적어도 하나에 대해 상기 디스플레이 상에 렌더링된 콘텐트를 제어하고,
    상기 시각 초점 정보에 따라서 상기 제 1 애플리케이션 또는 상기 제 2 애플리케이션 중 적어도 하나에 대해 상기 디스플레이를 통해 상기 사용자로부터 수신가능한 입력의 유형을 제어하게 하는
    컴퓨터 실행가능 명령어를 더 포함하는
    계산 디바이스.
  20. 컴퓨터 실행 가능 명령어를 포함하는 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 실행 가능 명령어는 프로세서에 의해서 실행되었을 때 상기 프로세서로 하여금
    사용자의 시각 초점이 환경 내의 제 1 디스플레이 상에 있는지를 식별하는 단계 - 상기 환경은 적어도 상기 사용자가 볼 수 있는 상기 제 1 디스플레이 및 제 2 디스플레이를 포함하고, 제 1 계산 디바이스는 상기 제 1 디스플레이와 인터페이스를 이루고 또한 제 2 계산 디바이스는 상기 제 2 디스플레이와 인터페이스를 이루며, 또한 상기 제 1 계산 디바이스는 상기 제 2 계산 디바이스와 상호 작용함 - 와,
    상기 제 2 계산 디바이스로부터 문맥적 정보를 수신하는 단계 - 상기 문맥적 정보는, 상기 사용자가 상기 제 2 디스플레이로부터 시각 초점을 전환하기 전에 상기 사용자가 마지막으로 상호 작용한 상기 제 2 디스플레이 상에서 렌더링되는 콘텐트를 나타냄 - 와,
    상기 사용자의 상기 시각 초점이 상기 제 1 디스플레이 상에 있는 것에 기초하여 상기 문맥적 정보에 따라서 상기 제 1 디스플레이 상에서 콘텐트를 렌더링하도록 상기 제 1 계산 디바이스를 제어하는 단계와,
    상기 사용자의 상기 시각 초점이 상기 제 1 디스플레이 상에 있는 것에 기초하여 상기 제 1 계산 디바이스에 의해 상기 제 1 디스플레이 상에 렌더링되는 상기 콘텐트를 조작하는 제 1 유형의 입력을 수신하도록 상기 제 1 디스플레이를 이용하는 단계 - 상기 제 1 계산 디바이스는 상기 제 1 유형의 입력에 응답하여 상기 제 1 디스플레이에 의해 제어가능함 - 와 ,
    상기 사용자의 상기 시각 초점이 상기 환경 내의 상기 제 2 디스플레이로 전환되는 것을 식별하는 단계와,
    상기 사용자의 상기 시각 초점이 상기 제 2 디스플레이로 전환되는 것에 기초하여 상기 제 1 계산 디바이스가 상기 제 1 디스플레이 상의 콘텐트를 렌더링하는 것을 억제하는 단계와,
    상기 사용자의 상기 시각 초점이 상기 제 2 디스플레이로 전환되는 것에 기초하여 상기 제 2 계산 디바이스에 의해 상기 제 2 디스플레이 상에 렌더링되는 다른 콘텐트를 조작하는 제 2 유형의 입력을 수신하도록 상기 제 1 디스플레이를 이용하는 단계를 수행하게 하되,
    상기 사용자의 상기 시각 초점이 상기 제 2 디스플레이로 전환되는 경우, 상기 제 1 계산 디바이스의 상기 제 1 디스플레이는 상기 제 2 계산 디바이스를 위한 터치 가능 입력 주변 디바이스로서 이용되고, 상기 제 2 계산 디바이스는 상기 제 2 유형의 입력에 응답하여 상기 제 1 디스플레이에 의해 제어가능한
    컴퓨터 판독 가능 저장 매체.
KR1020147008459A 2011-09-30 2012-09-12 시각 초점에 기반한 결합형 디스플레이의 제어 기법 KR102079832B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/249,239 US9658687B2 (en) 2011-09-30 2011-09-30 Visual focus-based control of coupled displays
US13/249,239 2011-09-30
PCT/US2012/054703 WO2013048723A1 (en) 2011-09-30 2012-09-12 Visual focus-based control of coupled displays

Publications (2)

Publication Number Publication Date
KR20140081810A KR20140081810A (ko) 2014-07-01
KR102079832B1 true KR102079832B1 (ko) 2020-02-20

Family

ID=47574753

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147008459A KR102079832B1 (ko) 2011-09-30 2012-09-12 시각 초점에 기반한 결합형 디스플레이의 제어 기법

Country Status (7)

Country Link
US (2) US9658687B2 (ko)
EP (1) EP2761403B1 (ko)
JP (1) JP6059727B2 (ko)
KR (1) KR102079832B1 (ko)
CN (1) CN102902503B (ko)
HK (1) HK1178635A1 (ko)
WO (1) WO2013048723A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9658687B2 (en) 2011-09-30 2017-05-23 Microsoft Technology Licensing, Llc Visual focus-based control of coupled displays
US9383579B2 (en) * 2011-10-12 2016-07-05 Visteon Global Technologies, Inc. Method of controlling a display component of an adaptive display system
KR20140011203A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템
KR102100911B1 (ko) 2013-08-30 2020-04-14 엘지전자 주식회사 안경형 단말기와 이를 포함하는 시스템 및 안경형단말기의 제어방법
WO2015042074A1 (en) * 2013-09-17 2015-03-26 Nokia Corporation Determination of an operation
US20150241961A1 (en) * 2014-02-26 2015-08-27 Paul Morris Adjusting a display based on a detected orientation
US20150261293A1 (en) * 2014-03-12 2015-09-17 Weerapan Wilairat Remote device control via gaze detection
US10834450B2 (en) * 2014-09-30 2020-11-10 Nbcuniversal Media, Llc Digital content audience matching and targeting system and method
KR20160051411A (ko) 2014-11-03 2016-05-11 삼성전자주식회사 외부의 물체를 제어하는 전자 장치 및 그 방법
KR102183212B1 (ko) 2014-11-18 2020-11-25 삼성전자주식회사 화면 제어 방법 및 그 방법을 처리하는 전자 장치
DE102014017355A1 (de) * 2014-11-18 2016-05-19 DIPAX e. K. Dirk Pachael Verfahren und Anordnung zur intuitiven Auswahl eines Programms, Programmteils oder eines Computers, insbesondere bei Leitständen, wobei jedes Programm, Programmteil oder jeder Computer durch eine eigene Anzeige oder ein Bereich innerhalb einer Anzeige im
JP6390380B2 (ja) * 2014-11-25 2018-09-19 トヨタ自動車株式会社 表示操作装置
US9886598B2 (en) * 2014-12-29 2018-02-06 Paypal, Inc. Automatic adjustment of a display to obscure data
CN104679509B (zh) * 2015-02-06 2019-11-15 腾讯科技（深圳）有限公司 一种渲染图形的方法和装置
CN104898996B (zh) * 2015-05-04 2022-04-22 联想(北京)有限公司 信息处理方法及电子设备
US11269403B2 (en) * 2015-05-04 2022-03-08 Disney Enterprises, Inc. Adaptive multi-window configuration based upon gaze tracking
EP3109733B1 (en) * 2015-06-22 2020-07-22 Nokia Technologies Oy Content delivery
US10031577B2 (en) * 2015-10-05 2018-07-24 International Business Machines Corporation Gaze-aware control of multi-screen experience
MX367701B (es) * 2016-04-20 2019-09-03 Nissan Motor Metodo de despliegue de informacion y dispositivo de control de despliegue.
US10139901B2 (en) * 2016-07-05 2018-11-27 Immersv, Inc. Virtual reality distraction monitor
TW201812521A (zh) * 2016-07-21 2018-04-01 忠穩 羅 根據使用者的興趣顯示內容之具有眼動追蹤之互動式顯示系統
US10019849B2 (en) * 2016-07-29 2018-07-10 Zspace, Inc. Personal electronic device with a display system
US10331190B2 (en) 2016-11-09 2019-06-25 Microsoft Technology Licensing, Llc Detecting user focus on hinged multi-screen device
JP7048256B2 (ja) * 2017-10-27 2022-04-05 古野電気株式会社 船舶情報表示装置及び船舶情報表示方法
US10528817B2 (en) 2017-12-12 2020-01-07 International Business Machines Corporation Smart display apparatus and control system
KR102496603B1 (ko) * 2018-05-30 2023-02-03 삼성에스디에스 주식회사 어플리케이션 실행 화면의 위치 선정 방법
CN110868623A (zh) * 2018-08-27 2020-03-06 上海哔哩哔哩科技有限公司 视觉焦点区域的弹幕隐藏方法及处理装置
WO2020144161A1 (en) * 2019-01-08 2020-07-16 Tobii Ab Dual display systems and methods
US10969863B2 (en) * 2019-05-08 2021-04-06 International Business Machines Corporation Configurable sensor array for a multi-target environment
CN112783411A (zh) * 2020-01-02 2021-05-11 珠海金山办公软件有限公司 一种文档内容显示方法及装置
US11644902B2 (en) * 2020-11-30 2023-05-09 Google Llc Gesture-based content transfer
CN114915815B (zh) * 2021-02-09 2023-11-10 海信视像科技股份有限公司 显示设备及其控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009301166A (ja) 2008-06-11 2009-12-24 Panasonic Corp 電子機器制御装置
US20100171808A1 (en) 2006-04-20 2010-07-08 Cisco Technology, Inc. System and Method for Enhancing Eye Gaze in a Telepresence System

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7430721B2 (en) * 2003-04-08 2008-09-30 Tidebreak, Inc. Pointright: a system to redirect mouse and keyboard control among multiple machines
US7391888B2 (en) 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
KR20050042399A (ko) 2003-11-03 2005-05-09 삼성전자주식회사 게이즈 디텍션을 이용한 비디오 데이터 처리 장치 및 방법
US7545362B2 (en) * 2004-02-26 2009-06-09 Microsoft Corporation Multi-modal navigation in a graphical user interface computing system
US7561143B1 (en) 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US8232962B2 (en) * 2004-06-21 2012-07-31 Trading Technologies International, Inc. System and method for display management based on user attention inputs
US7331929B2 (en) 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
US7573439B2 (en) 2004-11-24 2009-08-11 General Electric Company System and method for significant image selection using visual tracking
WO2007089198A1 (en) 2006-02-01 2007-08-09 Tobii Technology Ab Generation of graphical feedback in a computer system
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US20080024433A1 (en) * 2006-07-26 2008-01-31 International Business Machines Corporation Method and system for automatically switching keyboard/mouse between computers by user line of sight
US8446509B2 (en) * 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
WO2008045464A2 (en) * 2006-10-10 2008-04-17 Wms Gaming Inc. Multi-player, multi-touch table for use in wagering game systems
US7987423B2 (en) * 2006-10-11 2011-07-26 Hewlett-Packard Development Company, L.P. Personalized slide show generation
US8640034B2 (en) * 2006-11-16 2014-01-28 International Business Machines Corporation Remote GUI control by replication of local interactions
GB2457867B (en) 2007-10-08 2010-11-03 Keymed Electronic camera
JP2009118423A (ja) 2007-11-09 2009-05-28 Canon Inc 表示装置及び制御方法
JP2009245376A (ja) 2008-03-31 2009-10-22 Toshiba Corp 情報処理装置
JP4352156B1 (ja) * 2008-08-25 2009-10-28 兵庫県 地図情報処理装置、ナビゲーションシステム、およびプログラム
KR100960269B1 (ko) 2008-10-07 2010-06-07 한국과학기술원 눈동자 시선 추정 장치 및 추정 방법
KR20100064177A (ko) 2008-12-04 2010-06-14 삼성전자주식회사 전자장치 및 그의 디스플레이방법
US20110210922A1 (en) * 2010-02-26 2011-09-01 Research In Motion Limited Dual-screen mobile device
TW201203001A (en) 2010-07-07 2012-01-16 Compal Electronics Inc Electronic device, multi-mode input/output device and mode switching method thereof
US9354718B2 (en) * 2010-12-22 2016-05-31 Zspace, Inc. Tightly coupled interactive stereo display
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US9563274B2 (en) * 2011-06-10 2017-02-07 Sri International Adaptable input/output device
US9658687B2 (en) 2011-09-30 2017-05-23 Microsoft Technology Licensing, Llc Visual focus-based control of coupled displays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100171808A1 (en) 2006-04-20 2010-07-08 Cisco Technology, Inc. System and Method for Enhancing Eye Gaze in a Telepresence System
JP2009301166A (ja) 2008-06-11 2009-12-24 Panasonic Corp 電子機器制御装置

Also Published As

Publication number Publication date
EP2761403B1 (en) 2019-01-16
HK1178635A1 (zh) 2013-09-13
US20130083025A1 (en) 2013-04-04
EP2761403A1 (en) 2014-08-06
WO2013048723A1 (en) 2013-04-04
KR20140081810A (ko) 2014-07-01
EP2761403A4 (en) 2015-04-08
JP2014528608A (ja) 2014-10-27
JP6059727B2 (ja) 2017-01-11
CN102902503A (zh) 2013-01-30
CN102902503B (zh) 2016-02-17
US10261742B2 (en) 2019-04-16
US20170220308A1 (en) 2017-08-03
US9658687B2 (en) 2017-05-23

Similar Documents

Publication Publication Date Title
KR102079832B1 (ko) 시각 초점에 기반한 결합형 디스플레이의 제어 기법
US10705602B2 (en) Context-aware augmented reality object commands
US9298266B2 (en) Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
KR102391699B1 (ko) 애플리케이션 윈도우에 대한 동적 조인트 디바이더
KR102391694B1 (ko) 애플리케이션 창의 적응적 크기조정 및 위치지정
US20150341400A1 (en) Ink for a Shared Interactive Space
JP5932831B2 (ja) 没入型環境の管理
KR20120096047A (ko) 터치 스크린 사용자 인터페이스 상의 커맨드들을 변경하는 방법
MX2015005588A (es) Auto-ajuste tamaño de contenido presentado en una presentacion.
KR102346571B1 (ko) 컴포넌트 특정 애플리케이션 프레젠테이션 이력들
KR20170058996A (ko) 복수의 장치 상에 분할된 애플리케이션 제시
KR20110086150A (ko) 텔레비전용 커서를 구현하는 기술
US20160103574A1 (en) Selecting frame from video on user interface
US11099731B1 (en) Techniques for content management using a gesture sensitive element
US20220221970A1 (en) User interface modification
US20200396315A1 (en) Delivery of apps in a media stream
US10572138B1 (en) Utilizing dynamic granularity for application controls
AU2015314941A1 (en) Actionable item switcher view
US9990117B2 (en) Zooming and panning within a user interface
US20140237368A1 (en) Proxying non-interactive controls to enable narration
GB2575975A (en) Computer implemented methods for generating and selecting media data
US20140372916A1 (en) Fixed header control for grouped grid panel

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right