KR102393739B1 - 복수의 장치 상에 분할된 애플리케이션 제시 - Google Patents

복수의 장치 상에 분할된 애플리케이션 제시 Download PDF

Info

Publication number
KR102393739B1
KR102393739B1 KR1020177010927A KR20177010927A KR102393739B1 KR 102393739 B1 KR102393739 B1 KR 102393739B1 KR 1020177010927 A KR1020177010927 A KR 1020177010927A KR 20177010927 A KR20177010927 A KR 20177010927A KR 102393739 B1 KR102393739 B1 KR 102393739B1
Authority
KR
South Korea
Prior art keywords
application
auxiliary
primary
pointer
application portion
Prior art date
Application number
KR1020177010927A
Other languages
English (en)
Other versions
KR20170058996A (ko
Inventor
엘리자베스 페이 트렐켈드
윌리엄 스콧 스타우버
페테리 미콜라
케리 크루제 모란
잇사 와이. 쿠리
브라이언 데이비드 크로스
대런 레이 데이비스
조르지오 프란체스코 세가
켄톤 알렌 쉬플리
람라프라부 발라수브라마니안
패트릭 덕스
모하메드 칼리무르 라만
라이언 챈들러 펜들레이
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170058996A publication Critical patent/KR20170058996A/ko
Application granted granted Critical
Publication of KR102393739B1 publication Critical patent/KR102393739B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Storage Device Security (AREA)
  • Information Transfer Between Computers (AREA)
  • Debugging And Monitoring (AREA)

Abstract

많은 컴퓨팅 시나리오에서, 주장치의 사용자는 보조 장치를 애플리케이션의 제시에 통합하기 원할 수 있다. 그러한 통합은 주장치의 컴퓨팅 환경을 보조 장치에 투영하고; 주장치의 컴퓨팅 환경을 보조 장치를 통해 미러링하고; 및/또는 제2 장치에서 실행하는 클라이언트 애플리케이션과 연동하는 애플리케이션을 활용하는 단말 서비스 세션을 수반할 수 있다. 그러나 이러한 기술은 각 장치의 속성을 완전하게 반영하지 못하고, 그리고/또는 특정의 애플리케이션 및/또는 구성에만 적용할 수 있다. 그 대신에, 주장치는 주 컴퓨팅 환경을 보조 장치의 장치 속성에 따라 보조 컴퓨팅 환경에 적응시키고; 애플리케이션을 주 컴퓨팅 환경에서 제시되는 주 애플리케이션 부분과 보조 컴퓨팅 환경에서 제시되는 보조 애플리케이션 부분으로 분할하며; 보조 컴퓨팅 환경을 보조 장치에 전송할 수 있다.

Description

복수의 장치 상에 분할된 애플리케이션 제시{PARTITIONED APPLICATION PRESENTATION ACROSS DEVICES}
<관련 출원>
이 출원은 "복수의 장치에 걸친 분할된 애플리케이션 제시"의 명칭으로 2014년 9월 24일자 출원된 미국 특허 출원 제14/495,228호에 대한 우선권을 주장하며, 상기 미국 특허 출원은 인용에 의해 그 전체 내용이 본원에 통합된다.
<배경 기술>
컴퓨팅 분야에서, 많은 시나리오들은 컴퓨팅 환경을 제시(presenting)하고 사용자가 컴퓨팅 환경에서 애플리케이션(예를 들면, 문서 편집기, 미디어 플레이어, 이메일 클라이언트, 웹 브라우저 또는 게임)을 실증하고 활용하게 하는 장치(예를 들면, 워크스테이션, 랩톱, 모바일 폰, 태블릿 및 미디어 서버)와의 사용자 상호작용을 수반한다. 사용자는 이러한 애플리케이션과 상호작용하기 위해 상이한 컴퓨팅 환경을 각각 제시하는 다양한 이러한 장치들을 활용할 수 있다. 사용자는 또한 사용자가 하나의 애플리케이션의 대형 뷰(large view)와 상호작용하게 하거나 또는 동시에 디스플레이되는 여러 애플리케이션의 뷰와 상호작용하게 하는 추가의 디스플레이 및 디스플레이 어댑터를 추가함으로써 컴퓨팅 환경의 논리적 크기를 확장할 수 있다.
이 요약은 뒤의 상세한 설명 부분에서 추가로 설명되는 개념들의 선택을 단순화한 형태로 소개하기 위해 제공된다. 이 요약은 청구된 주제의 핵심적 요소 또는 본질적 특징을 식별하기 위한 것으로 의도되지 않고, 또한 청구된 주제의 범위를 제한하기 위해 사용되는 것으로 의도되지 않는다.
장치의 사용자는 컴퓨팅 환경을 제시(presentation)할 때 제2 장치의 리소스를 활용하는 것에 관심을 가질 수 있다. 많은 이러한 기술은 예를 들면 사용자가 주장치로부터 보조 장치로 컴퓨팅 환경의 뷰를 전개하는(deploy) 단말 서비스 세션을 개시하는 것; 주장치로부터 보조 장치로 디스플레이 미러링 세션을 개시하는 것; 주장치 및 상호운용(interoperating)이 가능한 부장치에 애플리케이션을 설치하는 것 등을 하게 할 수 있다. 그러나 이러한 각각의 기술은 많은 단점을 가질 수 있다. 그러한 첫번째 예로서, 단말 서비스 세션은 사용자가 원격에서 컴퓨팅 환경을 볼 수 있게 하지만, 단말 서비스 서버와 목표 서비스 클라이언트는 전형적으로 컴퓨팅 환경의 통합 뷰를 제공하기 위해 양측 장치의 리소스를 활용하지 못하고, 오히려 동일 컴퓨팅 환경의 2차 뷰가 단순히 원격으로 제시된다. 게다가, 주 컴퓨팅 환경의 원격 제시는 제2 장치의 장치 속성을 반영하지 않을 수 있다. 그러한 두번째 예로서, 디스플레이 미러링 세션은 사용자가 프로젝터와 같은 제2 디스플레이에서 컴퓨팅 환경의 뷰를 복제하게 할 수 있지만, 이 시나리오는 컴퓨팅 환경과 프로젝터의 리소스 통합을 이루지 못하고 동일한 디스플레이를 2개의 장치에서 단순히 재방송한다(rebroadcast). 그러한 세번째 예로서, 복수의 장치에 설치된 일부 애플리케이션은 각각의 장치가 애플리케이션에 함께 참여할 수 있게 하지만, 그러한 기술은 상당한 양의 구성을 수반할 수 있고, 선택된 애플리케이션에 대해서만 장치의 통합을 달성할 수 있다. 게다가, 제2 장치는 상당히 상이한 컴퓨팅 환경을 제시할 수 있고, 주장치의 주 컴퓨팅 환경과 제2 장치의 컴퓨팅 환경의 불일치는 이용 가능한 기능, 호환성 및 사용자 인터페이스 행동과 관련해서 상당한 모순을 야기할 수 있다.
여기에서는 사용자의 주장치가 주 컴퓨팅 환경에서 애플리케이션을 제시할 때 보조 장치의 리소스를 활용할 수 있게 하는 기술이 제시된다. 이러한 기술에 따르면, 주장치는 애플리케이션을 프로세서에서 국부적으로(locally) 실행할 수 있지만, 애플리케이션을 주 애플리케이션 부분과 보조 애플리케이션 부분으로 분할할 수 있다. 주장치는 주장치의 주 컴퓨팅 환경에서 주 애플리케이션 부분을 제시할 수 있지만, 보조 장치의 장치 속성에 따라 주 컴퓨팅 환경으로부터 적응된 보조 컴퓨팅 환경에 보조 애플리케이션 부분을 삽입할 수 있고, 보조 애플리케이션 부분을 포함한 보조 컴퓨팅 환경을, 사용자에게 제시하기 위해 보조 장치에 전송할 수 있다. 주 컴퓨팅 환경(주장치에 의해 제시됨) 및 주 컴퓨팅 환경으로부터 적응된 보조 컴퓨팅 환경(보조 장치에 의해 제시됨)에 걸친 애플리케이션의 분할은 보조 장치의 특정 장치 속성을 둘 다 활용하는 사용자 경험을 가능하게 하고, 또한 애플리케이션의 일관된 실행 및 제시를 제공한다. 일부 실시형태에 있어서, 사용자 입력은 양측 장치에 걸쳐서 제시되는 애플리케이션과 상호작용하기 위해 어느 하나의 장치 또는 양측 장치를 통해 제공될 수 있고; 일부 실시형태에 있어서, 주장치는 사용자의 요청에 따라 동일한 애플리케이션 또는 다른 애플리케이션의 일부를 가변적으로 디스플레이할 수 있다. 일부 실시형태에 있어서, 주장치에서(예를 들면, 주장치의 터치 감응 디스플레이에서) 사용자에 의해 수행될 때 보조 장치에서 각종 동작을 호출하는 특정 제스처가 인식될 수 있다. 많은 이러한 특징들은 여기에서 설명하는 기술에 따라서 주장치 및/또는 보조 장치의 구성을 통해 달성될 수 있다.
전술한 및 관련 목적을 달성하기 위해, 이하의 설명 및 첨부된 도면들은 소정의 예시적인 양태 및 구현예를 제시한다. 이러한 구현예는 하나 이상의 양태를 사용할 수 있는 각종 방법 중의 몇 가지만을 표시한다. 발명의 다른 양태, 장점 및 신규 특징들은 첨부 도면과 함께 읽을 때 이하의 상세한 설명으로부터 명백하게 될 것이다.
도 1은 2개의 장치의 상호운용을 가능하게 하는 각종 기술을 포함한 예시적인 시나리오를 보인 도이다.
도 2는 본 개시 기술에 따라서 주장치와 부장치에 걸쳐 분할된 애플리케이션의 제시를 포함한 예시적인 시나리오를 보인 도이다.
도 3은 본 개시 기술에 따라서 주장치에서 및 보조 장치를 통해 애플리케이션을 제시하는 예시적인 방법의 흐름도이다.
도 4는 본 개시 기술에 따라서 주장치와 보조 장치가 그들 사이에 분할된 애플리케이션을 제시할 수 있게 하기 위해 제공된 예시적인 시스템의 컴포넌트 블록도이다.
도 5는 여기에서 설명하는 하나 이상의 공급(provision)을 구체화하도록 구성된 프로세서 실행가능 명령어를 포함한 예시적인 컴퓨터 판독가능 매체를 보인 도이다.
도 6은 본 개시 기술에 따라서 주장치와 부장치에 걸쳐 애플리케이션의 사용자 인터페이스를 분할하는 각종 기술들을 포함한 예시적인 시나리오를 보인 도이다.
도 7은 본 개시 기술에 따라서 주장치에 의한 보조 장치의 제어를 포함한 예시적인 시나리오를 보인 도이다.
도 8은 본 개시 기술에 따라서 보조 장치의 제어를 가능하게 하도록 주장치에서 수행될 수 있는 예시적인 제스처들의 제1 집합을 포함한 예시적인 시나리오를 보인 도이다.
도 9는 본 개시 기술에 따라서 보조 장치의 제어를 가능하게 하도록 주장치에서 수행될 수 있는 예시적인 제스처들의 제2 집합을 포함한 예시적인 시나리오를 보인 도이다.
도 10은 여기에서 설명하는 하나 이상의 규정이 구현될 수 있는 예시적인 컴퓨팅 환경을 보인 도이다.
이제 청구된 주제를 도면을 참조하면서 설명한다. 전체 도면에 있어서 동일한 참조 번호는 동일한 요소를 지시하기 위해 사용된다. 이하의 설명에서, 설명의 목적상, 청구된 주제를 완전하게 이해할 수 있도록 다수의 구체적인 세부내용이 설명된다. 그러나 청구된 주제는 이러한 구체적인 세부내용 없이 실시될 수 있다는 것은 명백하다. 다른 예로서, 구조 및 장치들은 청구된 주제의 설명을 쉽게 하기 위해 블록도 형태로 도시된다.
A. 서언
도 1은 호스트 장치(104)의 사용자(102)가 호스트 장치(104)의 호스트 컴퓨팅 환경(106)으로 목표 장치(108)의 리소스를 활용하려고 시도하는 예시적인 시나리오들의 집합의 예를 보인 것이다. 예를 들면, 사용자(102)는 휴대형이고 다양한 위치 및 상황에서 활용될 수 있는 랩톱 컴퓨터 또는 모바일 폰과 같은 호스트 장치(104)를 획득하였을 수 있다. 그러나 그러한 휴대성은 축소된 디스플레이 크기, 낮은 충실도 및/또는 저출력 스피커, 소형 및/또는 밀집 키보드, 및 터치패드와 같은 고정식 포인팅 장치와 같이 호스트 장치의 일부 리소스의 제한을 수반할 수 있다. 사용자(102)가 제2 장치의 부근에 있을 때, 사용자(102)는 텔레비전의 대형 디스플레이; 고충실도 및/또는 고출력 스피커 세트; 풀 사이즈(full-size) 키보드 및 고성능 마우스; 및 카메라, 프린터 및 스캐너 등의 더 강력한 주변 컴포넌트들의 집합과 같은 제2 장치의 각종 리소스를 통합하기 위해 호스트 컴퓨팅 환경(106)의 제시를 확장하는데 관심을 가질 수 있다.
이러한 관심에 비추어, 사용자(102)는 다양한 기술을 이용하여 목표 장치(108)의 일부 리소스를 활용하기 위해 호스트 장치(104)의 호스트 컴퓨팅 환경(106)을 확장할 수 있다. 도 1에 도시된 제1의 예시적인 시나리오(100)는 단말 서비스 세션(114)을 포함하고, 여기에서 단말 서비스 서버로서 작용하는 호스트 장치(104)는 목표 장치(108)의 목표 컴퓨팅 환경(110)에서 호스트 컴퓨팅 환경(106)의 원격 뷰를 전개할 수 있다. 그러므로 호스트 장치(104)는 운영체제 세팅을 제공하는 단일 사용자 계정, 애플리케이션(212) 및 애플리케이션 구성의 단일 집합, 및 호스트 장치(104)에 접근 가능한 파일(114) 및 하드웨어 컴포넌트의 단일 집합과 같은 단말 컴퓨팅 환경을 생성할 수 있다. 사용자(102)는 목표 장치(108)로부터 단말 서비스 요청(112)을 개시할 수 있고, 호스트 장치(104)는 단말 서비스 세션(114)을 개시함으로써 단말 서비스 요청(112)을 충족시킬 수 있으며, 단말 서버(118)는 호스트 컴퓨팅 환경(106)의 원격 뷰(118)를 목표 장치(108)에 전송한다(예를 들면, 호스트 컴퓨팅 환경(106)의 비디오를 목표 장치(108)에 전송하고, 호스트 컴퓨팅 환경(106) 내의 애플리케이션에 적용 가능한, 목표 장치(108)에서 원격으로 제시된 뷰로 지향되는 사용자 입력을 수신한다). 이 방식으로, 사용자(102)는 목표 장치(108)의 목표 컴퓨팅 환경(116)에서 호스트 컴퓨팅 환경(106)의 원격 뷰(118)와 상호작용할 수 있다.
그러나 이러한 단말 서비스 기술은 추가의 제한을 나타낼 수 있다. 예를 들면, 목표 장치(108)에서 단말 서비스 세션(114)의 제시는 만일 원격 뷰(118)가 목표 장치(108)의 장치 속성 없이 제시되면 차선의 경험을 제공할 수 있다. 이러한 제1의 예로서, 원격 뷰(118)는 호스트 장치(104)에서 적합하지만 목표 장치(108)에서는 적합하지 않은 색채 배합, 아이콘 및 폰트 크기 및 스타일, 및 데스크탑 해상도와 같은 호스트 컴퓨팅 환경(106)의 각종 비주얼 세팅을 나타낼 수 있다. 이러한 제2의 예로서, 목표 장치(108)는 카메라와 같은 장치 속성들의 집합을 특색지을 수 있지만, 호스트 컴퓨팅 환경(118)의 원격 뷰(118)는 목표 장치(108)의 장치 속성을 통합 및 노출하지 않을 수 있다(예를 들면, 목표 장치(108)에서 동작하는 단말 서비스 클라이언트가 그러한 정보를 요청 및/또는 활용하지 않기 때문에, 또는 호스트 컴퓨팅 환경(106)이 그러한 컴포넌트에 대한 적절한 지원을 하지 않기 때문이다).
도 1에 도시된 제2의 예시적인 시나리오(120)는 사용자(102)가 호스트 장치(104)로부터 프로젝터 등의 목표 장치(108)로 호스트 컴퓨팅 환경(106)의 미러링 세션을 개시하는 것을 수반한다. 호스트 장치(104)는 디스플레이 미러링 신청(122)을 목표 장치(108)에 전송할 수 있고, 승인(124)을 수신하면 목표 장치(108)로 호스트 컴퓨팅 환경(106)의 전송(126)을 시작할 수 있으며, 목표 장치(108)는 호스트 컴퓨팅 환경(106)을 디스플레이한다. 이 기술에 의해 목표 장치(108)를 이용하여 호스트 컴퓨팅 환경(106)을 디스플레이할 수 있지만, 목표 장치(108)는 호스트 컴퓨팅 환경(106)과 특정하게 통합되지는 않는데, 예를 들면, 호스트 컴퓨팅 환경(106)은 목표 장치(108)를 가용 리소스로서 표시하지 않고 속성들의 구성 또는 세팅이 가능하지 않을 수 있다. 게다가 호스트 컴퓨팅 환경(106)의 제시는 목표 장치(108)에 적응되지 않을 수 있다. 만일 호스트 장치(104)가 소형 디스플레이를 가진 모바일 장치이고 목표 장치(108)가 대형 텔레비전 장치이면, 호스트 컴퓨팅 환경(106)의 객체들은 그러한 요소들이 목표 장치(108)에서의 제시에 적용할 수 없는 터치 상호작용을 위해 적응될 수 있기 때문에 미러형 제시에서 과대크기(oversize)로 나타날 수 있다. 반대로 만일 호스트 장치(104)가 대형 디스플레이이고 목표 장치(108)가 소형 디스플레이이면, 호스트 컴퓨팅 환경(106)에서 제시되는 아이콘 및 폰트는 목표 장치(108)에서 불가해한 점(point of inscrutability)으로 응축될 수 있다. 더욱이, 목표 장치(108)는 호스트 컴퓨팅 환경(106)과 통합되지 않는 컴포넌트를 포함할 수 있고, 그래서 호스트 컴퓨팅 환경(106)에서 표시되지도 않고 사용할 수도 없다.
도 1에 도시된 제3의 예시적인 시나리오(128)는 별도의 장치에서 실행될 때 그 장치가 결합 경험을 제시하도록 상호운용(134)되게 하는 분산된 애플리케이션의 선택을 수반한다. 예를 들면, 사용자(102)는 애플리케이션의 각각의 컴포넌트가 각 장치에서 실행될 때 애플리케이션들이 장치들을 단일화하여 결합 경험을 제공하도록 애플리케이션 서버(130)와 함께 호스트 장치(104)를 구성하고 애플리케이션 클라이언트(132)로 목표 장치(108)를 구성할 수 있다. 예를 들면, 호스트 장치(130)에서 실행하는 데이터베이스 서버는 호스트 장치(104)에서 실행하는 제1 애플리케이션 클라이언트와 목표 장치(108)에서 실행하는 제2 애플리케이션 클라이언트에 의해 동시에 접근될 수 있고, 그래서 양측 장치가 동일한 데이터의 뷰를 제공하고 어느 한쪽 장치를 통한 데이터베이스에의 업데이트는 다른 장치에 반영된다. 이러한 분산된 애플리케이션이 양측 장치의 리소스를 이용하여 애플리케이션을 제시하고자 하는 사용자(102)의 의도를 쉽게 할 수 있지만, 이 시나리오는 각 장치의 광범위한 구성을 수반하고 그러한 기능을 특색짓는 애플리케이션에 대해서만 사용할 수 있다. 더욱이, 애플리케이션과의 상호작용의 경험은 이용 가능한 하드웨어(예를 들면, 터치 감응 디스플레이 대 포인터 입력을 위한 마우스) 및/또는 장치 동작의 차에 기인하여 각 장치에서 다를 수 있고(예를 들어서 만일 장치가 다른 운영 환경을 이용하면, 애플리케이션은 다른 키보드 숏컷(shortcut)에 응답하고 다른 출현을 나타낼 수 있다), 호환성과 같은 문제들이 사용자 경험을 제한할 수 있다. 많은 이러한 제한은 일련의 장치에 걸쳐 애플리케이션을 공유하기 위한 각종 구조적 기술 중에서 발생할 수 있다.
B. 제시된 기술
여기에서는 사용자(102)의 주장치, 및 사용자(102)가 주장치와 통합하고자 하는 보조 장치와 같이 적어도 2개의 장치에 걸쳐 애플리케이션을 공유하기 위한 기술들이 제시된다. 보조 장치는 예를 들면 사용자(102)가 일시적으로(예를 들면, 애플리케이션의 간단한 제시를 위해서만) 또는 영속적으로 통합하기 원하는 사용자(102)의 제2 장치; 다른 개인의 장치; 또는 주장치와 통합할 수 있는 리소스를 제시하는 공공적으로 접근 가능한 장치를 포함할 수 있다.
본 개시 기술에 따르면, 애플리케이션을 국부적으로 실행하기 위해, 주장치는 애플리케이션을 주 애플리케이션 부분과 보조 애플리케이션 부분으로 분할할 수 있다. 주장치는 주장치의 주 애플리케이션 부분을 국부적으로 제시할 수 있고(예를 들면, 디스플레이 및/또는 스피커를 이용해서), 보조 애플리케이션 부분을 보조 장치의 장치 속성에 따라 주 컴퓨팅 환경으로부터 적응된 보조 컴퓨팅 환경에 삽입할 수 있다. 그 다음에 주장치는 애플리케이션의 보조 애플리케이션 부분을 포함한 보조 컴퓨팅 환경을, 사용자(102)에게 제시하기 위해 보조 장치에 전송할 수 있다.
도 2는 본 개시 기술에 따라 주장치(202)와 보조 장치(206) 사이에 애플리케이션(212)의 분할을 포함한 예시적인 시나리오(200)를 보인 것이다. 이 예시적인 시나리오(200)에서, 주장치(202)는 주 컴퓨팅 환경(204)을 특색짓는다. 주장치(202)와 보조 장치(206)는 프로세서 용량 및 구조, 전원 및 용량(배터리 대 유틸리티 라인), 입력 장치(예를 들면, 터치 제스처 대 키보드 및 마우스), 출력 장치(예를 들면, 낮은 볼륨의 스피커 대 고출력 고충실도 스피커 세트), 통신 능력(예를 들면, 제한된 용량의 셀룰러 데이터 접속, 개인 통신망(PAN) 어댑터, 와이파이 어댑터 및 접속, 또는 유선 이더넷 접속), 및 각종 주변 장치(예를 들면, 네트워크 결합 스토리지(network-attached storage, NAS), 프린터 및 스캐너)에 대한 접근과 같은 각종 장치 속성(210)들을 나타낸다.
이 예시적인 시나리오(200)에서, 애플리케이션(212)을 국부적으로 실행하는 주장치(202)의 사용자(102)는 주장치(202)의 주 컴퓨팅 환경(204)과 보조 장치(206)에 걸쳐 애플리케이션(212)을 제시하기 원할 수 있다. 따라서, 주장치(202)는 애플리케이션(212)을 주장치(202)에서 제시되는 주 애플리케이션 부분(214)과 보조 장치(206)에서 제시되는 보조 애플리케이션 부분(216)으로 분할(218)할 수 있다. 더 구체적으로, 보조 애플리케이션 부분(216)은 보조 장치(206)에 전개되고 보조 장치(206)의 하나 이상의 장치 속성(210)에 따라 주 컴퓨팅 환경(204)으로부터 적응된 보조 컴퓨팅 환경(208)에서 제시될 수 있다. 예를 들면, 주 컴퓨팅 환경(204)이 색채 배합, 아이콘 및 폰트 크기, 및 주장치(202)의 입력 능력을 위한 크기 및 구성을 가진 사용자 인터페이스 제어를 특색짓는 반면에, 보조 컴퓨팅 환경(208)은 보조 장치(206)에서 제시하기에 적합한 상이한 색채 배합, 상이한 아이콘 및 폰트 크기, 및 상이하게 구성된 사용자 인터페이스 제어를 특색짓도록 적응(220)될 수 있다. 게다가, 주장치(202)는 예컨대 애플리케이션(212)의 사용자 인터페이스의 다른 부분을 각각의 컴퓨팅 환경에 할당함으로써 애플리케이션(212)을 주 애플리케이션 부분(214)과 보조 애플리케이션 부분(216)으로 분할(218)할 수 있다. 주장치(202)는 주 컴퓨팅 환경(204)에서 주 애플리케이션 부분(214)을 제시할 수 있고, 보조 애플리케이션 부분(216)을 포함한 보조 컴퓨팅 환경(208)을, 사용자(102)에게 제시하기 위해 보조 장치(206)에 전송(222)할 수 있다. 예를 들면, 전송(222)은 오디오 및 비디오 스트림을 보조 장치(206)에 전송하는 것을 포함할 수 있고, 만일 보조 장치(206)가 입력 능력을 갖고 있으면, 주장치(202)에 의한 애플리케이션(212)에 대한 적용을 위해 상기 입력 능력을 통해 수신된 사용자 입력을 주장치(202)로 역전송하는 것을 포함할 수 있다. 이 방식으로, 사용자(102)는 본 개시 기술에 따라서 주장치(202)와 보조 장치(206)에 걸친 애플리케이션(212)의 조화된 제시를 달성할 수 있다.
C. 기술적 효과
주장치(202)와 보조 장치(206)에 걸쳐 애플리케이션을 제시하기 위해 본 개시 기술을 사용하면 다양한 기술적 효과를 얻을 수 있다.
본 개시 기술에 의해 달성 가능한 기술적 효과의 제1 예로서, 보조 장치(206)에 대한 애플리케이션(212)의 전개는 애플리케이션(212)을 제시하는 동안 주장치(202)의 리소스와 보조 장치(206)의 리소스의 통합을 가능하게 한다. 예를 들면, 애플리케이션(212)에 대한 사용자 입력은 주장치(202) 및/또는 보조 장치(206)의 입력 컴포넌트를 통해 수신되고, 출력은 주장치(202)와 보조 장치(206)의 결합된 출력 능력을 통해 제시될 수 있다.
본 개시 기술에 의해 달성 가능한 기술적 효과의 제2 예로서, 애플리케이션(212)이 주장치(202)에서 실행되는 동안 보조 장치(206)에 대한 보조 애플리케이션 부분(216)의 분배는 보조 장치(206)의 구조에 의존하거나 그 구조에 의해 좋지 않은 영향을 받지 않는 방식으로 애플리케이션(212)의 분배를 할 수 있다. 예를 들면, 보조 장치(206)가 보조 컴퓨팅 환경(208)의 전송을 수신하고 보조 애플리케이션 부분(216)을 포함한 보조 컴퓨팅 환경(208)을 제시할 수 있는 한, 보조 장치(206)가 가진 애플리케이션(212)의 능력은 애플리케이션의 실행에 영향을 주지 않을 수 있다(예를 들면, 애플리케이션(212)은 보조 장치(206)의 명령어 집합 구조와 호환되지 않지만, 그럼에도 불구하고 애플리케이션(212)의 실행이 주장치(202)에 의해 달성되기 때문에 보조 장치에서 제시될 수 있다). 더욱이, 보조 컴퓨팅 환경(208)의 일관성은 보조 장치(206)를 통해 보조 애플리케이션 부분(216)을 제시하는 동안 보존될 수 있다. 애플리케이션(212)의 실행 및 주장치(202)에 의해 주 컴퓨팅 환경(204)으로부터 보조 컴퓨팅 환경(208)의 적응은 공유된 파일들의 집합 및 주장치(202)의 리소스를 활용할 수 있고, 그러므로 제시는 다른 명령어 집합 구조, 운영체제, 또는 소프트웨어 플랫폼 또는 리소스를 고유적으로 활용하는 보조 장치(206)를 통해 일관성을 유지할 수 있다. 즉, 보조 장치(206)의 장치 속성(210)에 대한 보조 컴퓨팅 환경(208)의 적응(220)에 따라 선택된 차이 외에, 보조 애플리케이션 부분(216)의 사용자 경험은 보조 장치(206)들 중에서 일관성을 유지할 수 있다.
본 개시 기술에 의해 달성 가능한 기술적 효과의 제3 예로서, 보조 장치(206)의 장치 속성(210)에 대하여 적응된 보조 컴퓨팅 환경(208)에서의 애플리케이션(212)의 제시는 장치 속성 불가지론 방식으로 애플리케이션(212)을 디스플레이하는 것보다 사용자 인터페이스의 더 적합한 제시를 가능하게 할 수 있다. 이러한 제1의 예로서, 보조 장치(206)의 디스플레이 속성에 대한 아이콘 및 폰트의 크기 및 해상도의 적응은 적절한 시각적 경험을 제공할 수 있고, 그러한 적응 없는 보조 애플리케이션 부분(216)의 제시는 보조 장치(206)에 의해 제시될 때 바람직하지 않은 과대크기 또는 과소크기의 시각 요소를 유도할 수 있다. 이러한 제2의 예로서, 만일 보조 장치(206)의 네트워크 용량 및/또는 프로세서 용량이 높은 데이터율 스트림을 제시할 수 있으면, 보조 애플리케이션 부분(216)은 고품질 애니메이션 및 시각적으로 역동적인 사용자 인터페이스를 특색지을 수 있지만, 만일 보조 장치(206)의 네트워크 용량 및/또는 프로세서 용량이 더욱 제한되면, 보조 애플리케이션 부분(216)은 더 정적인 또는 보수적인 방식으로 렌더링될 수 있다. 이러한 제3의 예로서, 보조 컴퓨팅 환경(208)의 적응은 애플리케이션(212)을 제시하기 위해 보조 장치(206)의 리소스를 주장치(202)의 리소스와 통합할 수 있는데, 예를 들면, 보조 장치(206)에 의해 제공된 카메라는 촬영된 비디오를 보조 컴퓨팅 환경(208)을 통해 주장치에 전송할 수 있고, 주장치는 촬영된 비디오를 애플리케이션(212)과 함께 활용할 수 있다.
본 개시 기술에 의해 달성 가능한 기술적 효과의 제4 예로서, 주장치(202)에 의해 수행되는 분할(218)을 통한 애플리케이션(212)의 분배는 그러한 분배 및/또는 분할(218)을 지원하도록 특별히 구성되지 않은 애플리케이션을 비롯해서 매우 다양한 애플리케이션(212)과 함께 활용될 수 있다. 예를 들면, 주장치(202)의 사용자 인터페이스 플랫폼을 활용하는 애플리케이션(212)은 애플리케이션(212)으로부터의 임의의 그러한 지원을 활용하지 않고 사용자 인터페이스 플랫폼의 재구성을 통해 주장치(202) 및 보조 장치(206)에서 분할(218) 및 분배될 수 있다. 더욱이, 그러한 분배는 보조 장치(206)에 대한 애플리케이션의 임의의 전개를 수반하지 않을 수 있는데, 예를 들면, 애플리케이션(212)은 보조 컴퓨팅 환경(208)에서 보조 장치(206)에 전개되고 보조 장치(206)에 의해 제시되도록 보조 장치(206)에 설치될 필요가 없다. 그러므로 본 개시 기술에 따른 애플리케이션(212)의 제시는 그러한 분할을 달성하기 위해 사용자(102)에 의해 수행될 구성 및 유지보수의 양을 감소시킬 수 있다. 게다가, 본 개시 기술은 애플리케이션(212)의 중앙 집중화 관리를 가능하게 한다. 예를 들면, 사용자(102)는 다수의 보조 장치(206)와 함께 애플리케이션(212)을 다양하게 분할할 수 있고, 애플리케이션(212)의 재구성은 그러한 각각의 보조 장치(206)에서 국부적인 애플리케이션 구성과의 상호작용을 수반하지 않을 수 있으며, 오히려, 주장치(202)에서 애플리케이션(212)의 구성의 업데이트는 애플리케이션 구성의 추가적인 관리 없이 보조 장치(206)에서 애플리케이션(212)의 업데이트된 구성의 제시를 가능하게 한다.
본 개시 기술에 의해 달성 가능한 기술적 효과의 제5 예로서, 애플리케이션(212)의 주 애플리케이션 부분(214)과 보조 애플리케이션 부분(216)의 상호작용은 주장치(202)와 보조 장치(206) 간의 장치 및/또는 네트워크 상호접속을 활용하는 대신에, 주장치(202)의 동일한 프로세스 내에서 및/또는 주장치(202)에서의 프로세스 간 통신 또는 파일 공유 메카니즘을 통해 쉽게 달성될 수 있다. 예를 들면, 도 1에 도시된 제3의 예시적인 시나리오(128)에서, 애플리케이션 서버(130)와 애플리케이션 클라이언트(132)의 상호운용(134)은 일측 또는 양측 장치에서의 접속 문제, 네트워크 대기시간, 방화벽 및 프라이버시 염려(privacy concern)와 같은 네트워킹 문제에 의해 방해될 수 있지만, 주장치(202)에 의한 애플리케이션(212)의 실행은 주 애플리케이션 부분(214)과 보조 애플리케이션 부분(216)이 주장치(202) 내에서 신속하고 효율적으로 통신하게 할 수 있다.
본 개시 기술에 의해 달성 가능한 기술적 효과의 제6 예로서, 고품질 컴퓨팅 경험이 비교적 저출력 보조 장치(206)에서 제시될 수 있다. 예를 들면, 보조 컴퓨팅 환경(208)을 렌더링하고 애플리케이션(212)을 실행하는 연산 부담을 주장치(202)에 할당함으로써, 본 개시 기술은 동일한 품질 수준으로 로컬 콘텍스트에서 그러한 보조 컴퓨팅 환경(208)을 렌더링하기 위한 충분한 연산 리소스를 갖지 않은 보조 장치(206)에서 고품질 보조 컴퓨팅 환경(208)의 제시가 가능해진다. 그러므로 주장치(202)에 의해 실행되는 애플리케이션(212)의 보조 애플리케이션 부분(216)을 제시하기 위해 구식 하드웨어(outdated hardware)를 활용할 수 있다. 즉, 보조 장치(206)는 연산 집약적 애플리케이션(212)을 실행하기 위한 적절한 연산 리소스를 갖지 않을 수 있고, 보조 장치(206)에 대한 보조 애플리케이션 부분(216)의 분배와 함께 주장치(202)에 의한 애플리케이션(212)의 실행은 보조 장치(206)가 본래 생성할 수 없는 보조 애플리케이션 부분(216)을 보조 장치(206)가 제시할 수 있게 한다. 추가로, 애플리케이션(212)의 수행은 보조 장치(206)를 스케일업(scale up)할 필요 없이 주장치(202)의 리소스를 스케일업함으로써 스케일업될 수 있다.
본 개시 기술에 의해 달성 가능한 기술적 효과의 제7 예로서, 본 개시 기술의 사용은 사용자(102)가 반드시 소유할 필요가 없고 그리고/또는 주장치(202)에 의해 자주 접근되는 보조 장치(206)를 포함하도록 사용자가 애플리케이션(212)의 분배를 달성할 수 있게 한다. 예를 들면, 공개적으로 접근 가능한 컴퓨팅 워크스페이스는 사용자(102)의 주장치(202)와 인터페이스할 때 보조 컴퓨팅 환경(208) 및 애플리케이션(212)의 보조 애플리케이션 부분(216)의 제시를 가능하게 하는 디스플레이, 키보드, 스피커, 및 프린터 등의 주변 장치를 포함한 보조 장치(206)의 집합을 포함할 수 있다. 상기 및 다른 기술적 효과는 본 개시 기술의 각종 구현예를 통해 달성될 수 있다.
D. 예시적 실시형태
도 3은 본 개시 기술의 제1의 예시적 실시형태로서, 보조 장치(206)의 조력으로 애플리케이션(212)을 제시하도록 주장치(202)를 구성하는 예시적인 방법(300)을 보인 것이다. 예시적인 방법(300)은, 예를 들면 메모리 회로, 하드 디스크 드라이브의 플래터(platter), 반도체 스토리지 장치 또는 자기 또는 광디스크와 같은 주장치(202)의 메모리 컴포넌트에 저장되어, 장치의 프로세서에서 실행될 때 장치(104)가 본 개시 기술에 따라 동작하게 하도록 구성된 명령어들의 집합으로서 구현될 수 있다.
예시적인 방법(300)은 302에서 시작하고 주장치(202)의 프로세서에서 명령어를 실행하는 단계(304)를 포함한다. 구체적으로, 프로세서에서의 명령어 실행(304)은 주장치(202)가 주장치(202)의 프로세서에서 애플리케이션(212)을 실행(306)하게 한다. 명령어의 실행은 또한 주장치(202)가 애플리케이션(212)을 주 애플리케이션 부분(214)과 보조 애플리케이션 부분(216)으로 분할(308)하게 한다. 명령어의 실행은 또한 주장치(202)가 주장치(202)의 주 컴퓨팅 환경(204)에서 주 애플리케이션 부분(214)을 제시(310)하게 한다. 명령어의 실행은 또한 주장치(202)가 보조 장치(206)의 장치 속성에 따라 주 컴퓨팅 환경(204)으로부터 적응된 보조 컴퓨팅 환경(208)에 보조 애플리케이션 부분(216)을 삽입(312)하게 한다. 명령어의 실행은 또한 주장치(202)가 보조 애플리케이션 부분(216)을 포함한 보조 컴퓨팅 환경(208)을, 사용자(102)에게 제시하기 위해 보조 장치(206)에 전송(314)하게 한다. 이 방식으로, 명령어는 주장치(202)가 본 개시 기술에 따라 보조 장치(206)를 포함한 애플리케이션(212)을 제시할 수 있게 하고, 그 다음에 316에서 종료한다.
도 4는 본 개시 기술의 제2의 예시적인 실시형태로서, 애플리케이션(212)의 분할 제시를 달성하기 위해 예시적인 주장치(402)와 예시적인 보조 장치(404)에 의해 활용되는 예시적인 시스템을 보인 것이다. 이 예시적인 시나리오(400)에서, 예시적인 주장치(402)와 예시적인 보조 장치(404)는 각각 프로세서(406), 디스플레이(408), 및 각 장치의 프로세서(406)에서 실행될 때 본 개시 기술의 적어도 일부를 활용하는 시스템을 제공하는 명령어들을 포함한 메모리(410)를 구비한다.
비록 예시적인 주장치(402)가 프로세서(406)에서 애플리케이션(212)을 실행하지만, 예시적인 주장치(402)는 보조 장치(404)를 포함하도록 애플리케이션(212)의 분할 및 분배를 달성하기 위해 제1의 예시적인 시스템(412)을 활용한다. 제1의 예시적인 시스템(412)은 애플리케이션(212)을 주 애플리케이션 부분(214)과 보조 애플리케이션 부분(216)으로 분할하고 보조 장치(404)의 장치 속성(210)에 따라 주 컴퓨팅 환경(204)으로부터 적응된 보조 컴퓨팅 환경(208)에 보조 애플리케이션 부분(216)을 삽입하는 애플리케이션 분할기를 포함한다. 제1의 예시적인 시스템(412)은 또한 보조 애플리케이션 부분(216)을 포함한 보조 컴퓨팅 환경(208)을, 사용자(102)에게 제시하기 위해 보조 장치(404)에 전송(예를 들면, 오디오 및/또는 비디오 스트림(214)로서)하는 보조 컴퓨팅 환경 송신기(416)를 포함한다. 제1의 예시적인 시스템(412)은 또한 주 컴퓨팅 환경의 디스플레이(408)에서 주 애플리케이션 부분(214)을 제시하는 주 애플리케이션 부분 프리젠터(414)를 포함한다.
예시적인 보조 장치(404)는 예시적인 보조 장치(404)의 하나 이상의 장치 속성(210)을 예시적인 주장치(402)에 전송하는 장치 속성 송신기(422)를 포함한 제2의 예시적인 시스템(420)을 구비한다. 제2의 예시적인 시스템(420)은 예시적인 보조 장치(404)의 적어도 하나의 장치 속성(210)에 따라 주 컴퓨팅 환경(204)으로부터 적응된 보조 컴퓨팅 환경(208)을 예시적인 주장치(402)로부터 수신하는 컴퓨팅 환경 프리젠터(424)를 또한 포함하는데, 보조 컴퓨팅 환경(208)은 애플리케이션(212)의 보조 애플리케이션 부분(216)을 포함한다. 그러므로 컴퓨팅 환경 프리젠터(424)는 예시적인 보조 장치(404)의 디스플레이(408)에서 보조 컴퓨팅 환경(208)을 제시한다. 이 방식으로, 예시적인 주장치(402) 및 예시적인 보조 장치(404)는 본 개시 기술에 따른 애플리케이션(212)의 분산 제시를 상호운용적으로 달성한다.
또 다른 실시형태는 본 개시 기술을 적용하도록 구성된 프로세서 실행가능 명령어를 포함한 컴퓨터 판독가능 매체와 관련된다. 이러한 컴퓨터 판독가능 매체는 각종 물리적 현상을 통해 전파되는 신호(예를 들면, 전자기 신호, 음파 신호 또는 광신호) 및 각종의 유선 시나리오(예를 들면, 이더넷 또는 광섬유 케이블을 통하는 것) 및/또는 무선 시나리오(예를 들면, 와이파이 등의 무선 근거리 통신망(WLAN), 블루투스 등의 개인 통신망(PAN), 또는 셀룰러 또는 라디오 네트워크)로 전파되는 신호와 같은 각종 유형의 통신 매체를 포함할 수 있고, 장치의 프로세서에 의해 실행될 때 장치가 본 개시 기술을 구현하게 하는 컴퓨터 판독가능 명령어의 집합을 인코딩한다. 그러한 컴퓨터 판독가능 매체는 또한 장치의 프로세서에 의해 실행될 때 장치가 본 개시 기술을 구현하게 하는 컴퓨터 판독가능 명령어의 집합을 인코딩하는 메모리 반도체(예를 들면, 반도체 활용 정적 랜덤 액세스 메모리(SRAM), 동적 랜덤 액세스 메모리(DRAM), 및/또는 동기식 동적 랜덤 액세스 메모리(SDRAM) 기술), 하드 디스크 드라이브의 플래터, 플래시 메모리 장치 또는 자기 또는 광디스크(예를 들면, CD-R, DVD-R 또는 플로피 디스크)와 같은 컴퓨터-컴퓨터 판독가능 메모리 장치를 (통신 매체를 배제한 기술들의 부류로서) 포함할 수 있다.
이러한 방법으로 안출될 수 있는 예시적인 컴퓨터 판독가능 매체가 도 5에 도시되어 있고, 그 구현예(500)는 컴퓨터 판독가능 데이터(504)가 인코드된 컴퓨터 판독가능 메모리 장치(502)(예를 들면, CD-R, DVD-R 또는 하드디스크 드라이브의 플래터)를 포함한다. 이 컴퓨터 판독가능 데이터(504)는 장치(510)의 프로세서(406)에서 실행될 때 장치(510)가 여기에서 설명하는 원리에 따라 동작하게 하는 컴퓨터 명령어(506)들의 집합을 포함한다. 이러한 제1 실시형태에 있어서, 프로세서 실행가능 명령어(506)는 장치(510)가 도 3의 예시적인 방법(300)과 같이 보조 장치(206)에 의해 애플리케이션(212)을 제시하도록 주장치(202)를 동작시키는 방법을 수행하게 할 수 있다. 이러한 제2 실시형태에 있어서, 프로세서 실행가능 명령어(506)는 보조 장치(206)에 의해 애플리케이션(212)을 제시하도록 주장치(202)를 동작시키는 시스템, 및/또는 도 4의 예시적인 시나리오에서 제시되는 예시적인 시스템과 같이 주장치(202)에 의해 전송되는 애플리케이션(212)을 제시하도록 보조 장치(206)를 동작시키는 시스템을 장치(510)가 제공하게 할 수 있다. 본 개시 기술에 따라 동작하도록 구성되는 많은 이러한 컴퓨터 판독가능 매체는 당업자에 의해 안출될 수 있다.
E. 변형예
여기에서 설명하는 기술은 많은 양태의 변형예로 안출될 수 있고, 일부 변형예는 추가의 장점을 제공하고 그리고/또는 상기 및 다른 기술의 다른 변형예와 관련한 단점들을 감소시킬 수 있다. 더욱이, 일부 변형예는 조합으로 구현될 수 있고, 일부 조합은 상승작용적 협력을 통해 추가의 장점을 제공하고 그리고/또는 단점들을 감소시킬 수 있다. 변형예들은 각종 실시형태(예를 들면, 도 3의 예시적인 방법; 도 4의 예시적인 시스템; 및 도 5의 예시적인 메모리 장치(502))에 통합되어 그러한 실시형태에 개별적인 그리고/또는 상승작용적 장점을 제공할 수 있다.
E1. 시나리오
본 개시 기술의 각종 실시형태 중에서 변할 수 있는 제1 양태는 그러한 기술들이 활용되는 시나리오와 관련된다.
이 제1 양태의 제1 변형예로서, 여기에서 제시되는 기술들은 워크스테이션, 랩톱, 태블릿, 모바일 폰, 게임 콘솔, 휴대용 게임 장치, 휴대용 또는 비휴대용 미디어 플레이어, 텔레비전 등의 미디어 디스플레이 장치, 가전 제품, 홈 자동화 장치, 접안경(eyepiece) 또는 시계와 같은 웨어러블 장치와 통합된 컴퓨팅 컴포넌트, 및 감시 제어 및 데이터 획득(supervisory control and data acquisition, SCADA) 장치와 같은 다양한 장치의 구성을 달성하기 위해 활용될 수 있다.
이 제1 양태의 제2 변형예로서, 여기에서 제시되는 기술들은 오피스 생산성 애플리케이션; 오디오 및 비디오 플레이어와 같은 미디어 제시 애플리케이션; 웹 브라우저, 이메일 클라이언트, 채팅 클라이언트 및 VoIP(voice over IP) 클라이언트와 같은 통신 애플리케이션; 지오로케이션, 맵핑 및 라우팅 애플리케이션과 같은 내비게이션 애플리케이션; 사용자(102)에게 경보를 제공하는 날씨 및 뉴스 모니터링 애플리케이션; 및 게임과 같은, 보조 장치(206)의 보조 컴퓨팅 환경(208)에서 제시되는 다양한 애플리케이션(212)과 함께 활용될 수 있다. 더욱이, 보조 컴퓨팅 환경(208)의 애플리케이션(212)은 텍스트, 이미지, 라이브 및/또는 사전 녹화 비디오, 음향 효과, 음악, 스피치, 촉각 피드백, 3차원 렌더링, 및 대화식(interactive) 및/또는 비대화식 사용자 인터페이스와 같은 하나 이상의 제시 양식뿐만 아니라, 텍스트 입력, 포인팅 입력, 촉각 입력, 제스처 입력, 구두 입력 및 시선 추적 입력과 같은 사용자(102)로부터의 사용자 입력을 수신하는 각종 기술을 통해 콘텐츠를 제시하는 것을 포함할 수 있다.
이 제1 양태의 제3 변형예로서, 여기에서 제시되는 기술들은 다양한 아키텍처와 함께 활용될 수 있다. 그러한 제1 예로서, 주장치(202) 및/또는 보조 장치(206)는 유선 디스플레이, 스피커 및 헤드폰과 같은 각각의 이러한 장치에 직접 및 물리적으로 접속된 컴포넌트들을 활용할 수 있다. 이러한 제2 예로서, 주장치(202) 및/또는 보조 장치(206)는 무선 주파수(radio frequency)와 같은 무선 접속을 통해 접근 가능한 하나 이상의 컴포넌트들을 활용할 수 있다. 이러한 제3 예로서, 주장치(202) 및/또는 보조 장치(206)는 본 개시 기술에 따라 상호운용되도록 개인 통신망, 근거리 통신망 및/또는 광역 통신망을 통해 통신할 수 있다. 이러한 제4 예로서, 주장치(202) 및/또는 보조 장치(206)는 클라이언트/서버 또는 피어 투 피어 아키텍처와 같은 장치 집합의 다른 장치를 통해 접근 가능한 하나 이상의 컴포넌트들을 활용할 수 있다. 더욱이, 주장치(202) 및/또는 보조 장치(206)는 하나의 사용자(102) 또는 사용자(102)들의 그룹에 의해 활용될 수 있고, 그리고/또는 적어도 하나의 제2 사용자(102)를 대신하여 적어도 하나의 제1 사용자(102)에 의해 제어될 수 있다. 상기 및 다른 시나리오들도 본 개시 기술에 따라서 주장치(202) 및 보조 장치(206)의 상호운용을 통하여 컴퓨팅 환경의 제시에 적합할 수 있다.
E2. 보조 컴퓨팅 환경의 생성 및 전송
본 개시 기술의 각종 실시형태 중에서 변할 수 있는 제2 양태는 주장치(202)가 보조 컴퓨팅 환경(208)을 보조 장치(206)에 전송하고 보조 장치(206)가 사용자(102)에게 보조 컴퓨팅 환경(208)을 제시하는 방법과 관련된다.
이 제2 양태의 제1 변형예로서, 보조 장치(206)의 많은 유형의 장치 속성들이 식별되고 보조 컴퓨팅 환경(208) 및/또는 보조 장치(206)를 위해 보조 컴퓨팅 환경(208)에서 실행되는 애플리케이션(212)을 생성 및 적응시키기 위해 사용된다. 그러한 제1 예로서, 보조 장치(206)의 장치 속성(210)은 연산 스루풋, 병렬 처리 서포트, 및 각종 프로세서 및 코프로세서의 명령어 집합 아키텍처와 같은 각종 하드웨어 컴포넌트의 존재 및 기능; 메모리 및 스토리지의 용량, 속도 및 휘발성; 키보드, 마우스, 터치 감응 디스플레이, 마이크로폰 및 카메라와 같은 각종 입력 장치의 양식, 감도 및 인식 능력; 각종 비주얼 출력 장치의 크기, 해상도 및 응답성; 각종 오디오 출력 장치의 볼륨 및 품질; 각종 통신 장치의 스루풋, 대기시간 및 버퍼 용량; 및 프린터, 스캐너 및 바이오메트릭 센서와 같은 각종 다른 주변 장치의 속성을 포함할 수 있다. 이러한 제2 예로서, 보조 장치(206)의 장치 속성(210)은 각종 형태의 미디어의 인코딩 및/또는 디코딩; 각종 유형의 데이터의 암호화, 압축, 압축풀기, 복호화 및/또는 검증; 예컨대 하드웨어 및/또는 소프트웨어 에뮬레이션을 통한 각종 명령어 집합 및 가상 장치의 활용 또는 각종 유형의 언어 분석 또는 번역 리소스의 접근성; 3차원 그래픽 렌더링과 같은 각종 유형의 그래픽 요청의 처리; 및 사용자 인증과 같은 각종 보안 방책의 적용과 같이 소프트웨어를 통해 부분적으로 또는 전체적으로 달성 가능한 연산 능력을 포함할 수 있다. 이러한 제3 예로서, 보조 장치(206)의 장치 속성(210)은 전력의 가용성(예를 들면, 유틸리티 라인, 배터리 및 무정전 전원장치(uninterruptible power supply, UPS)의 존재 및 동작 상태)과 같이 보조 장치(206)가 사용되는 상황을 포함할 수 있다. 이러한 제4 예로서, 보조 장치(206)의 장치 속성(210)은 네트워크 결합 스토리지(NAS)의 접근성과 같이 보조 장치(206)와 다른 장치 간의 상호관련성, 및 피어 투 피어, 클라이언트/서버, 및/또는 다른 장치와의 상급-하급 관계와 같이 네트워크에서 보조 장치(206)의 임무를 포함할 수 있다. 이러한 제5 예로서, 보조 장치(206)의 장치 속성(210)은 보조 장치(206)의 공공성, 개인성 및/또는 보안성과 같이 하나 이상의 사용자(102)가 보조 장치(206)와 상호작용하는 상황(context), 및 특정 사용자(102)가 수행하기 위해 보조 장치(206)와 전형적으로 결속하는 태스크를 포함할 수 있다.
이 제2 양태의 제2 변형예로서, 주장치(202)는 다양한 방법으로 보조 장치(206)의 장치 속성(210)을 결정할 수 있다. 이러한 제1 예로서, 보조 장치(206)는 예를 들면 보조 장치(206)의 각각의 하드웨어 컴포넌트를 질의 및 식별함으로써 보조 장치(206)의 각종 장치 속성을 검출하고, 그 정보를 주장치(202)에 전송할 수 있다. 그러한 제2 예로서, 보조 장치(206)는 보조 장치 식별자(예를 들면, 제품 번호, 모델 번호 및/또는 일련번호)를 포함할 수 있고, 주장치(202) 및/또는 보조 장치(206)는 보조 장치 식별자와 관련된 그러한 보조 장치(206)의 장치 속성(210)을 식별하기 위해 장치 카탈로그에서 보조 장치(206)의 장치 속성(210)을 조사할 수 있다. 그러한 제3 예로서, 보조 장치(206) 및/또는 주장치(202)는 특정 동작 조건 하에서 보조 장치(206)의 동작을 측정할 수 있다(예를 들면, 테스트 조건하에서 또는 통상의 사용시에 보조 장치(206)의 처리 용량 및/또는 네트워크 용량을 평가할 수 있다). 그러한 제4 예로서, 보조 장치(206) 및/또는 주장치(202)는 보조 장치(206)의 장치 속성(210)을 예측 및/또는 추론할 수 있는데, 예를 들면, 사용자(102)가 보조 장치(206)와 상호작용하는 상황은 보조 장치(206)와 함께 종종 수행되는 태스크를 모니터링함으로써 달성된 추론에 의해 결정될 수 있다. 그러한 제5 예로서, 보조 장치(206) 및/또는 주장치(202)는 하나 이상의 사용자(102)로부터 보조 장치(206)의 장치 속성(210)에 대한 정보를 수신할 수 있다. 그러한 제6 예로서, 주장치(202)는 상기 정보에 대하여 보조 장치(206)를 폴링할 수 있고(예를 들면, 보조 장치(206)의 애플리케이션(212)을 실증하기 위한 요청을 수신할 때), 및/또는 보조 장치(206)는 상기 정보를 주장치(202)에 푸시할 수 있다(예를 들면, 사용자(102)의 장치 집합을 결합하는 요청의 일부로서).
이 제2 양태의 제3 변형예로서, 주장치(402)는 다양한 방법으로 주 컴퓨팅 환경(204)으로부터 적응된 보조 컴퓨팅 환경(208)을 생성할 수 있다. 그러한 제1 예로서, 주장치(202)는 주 컴퓨팅 환경(204)을 템플릿 이미지로서 저장하고 보조 장치(206)의 장치 속성(210)을 고려하여 적용된 조정사항과 함께 주 컴퓨팅 환경(204)의 클론(clone)으로서 보조 컴퓨팅 환경(208)을 생성할 수 있다. 그러한 제2 예로서, 주장치(202)는 주 컴퓨팅 환경(204)을 적극적으로 활용할 수 있고, 특정의 보조 장치(206)에 대하여 적응된 보조 컴퓨팅 환경(208)을 생성하기 위해 딥 파일(diff file)과 같은 변환을 생성, 저장 및 적용할 수 있다. 그러한 제3 예로서, 주 컴퓨팅 환경(204)은 모든 보조 장치(206)에서 이용 가능한 기능의 상위 집합(superset)(예를 들면, 운영체제 및 컴퓨팅 환경 세팅, 애플리케이션(212), 애플리케이션 구성, 애플리케이션 상태 및 사용자 계정의 완전한 집합)을 포함할 수 있고, 주장치(202)는 특수 보조 장치(206)의 보조 컴퓨팅 환경(208)으로서 주 컴퓨팅 환경(204)의 기능의 부분집합을 선택할 수 있다. 예를 들면, 특정 애플리케이션(212)은 각종 유형의 보조 장치(206)에 대하여 각각 적응된 애플리케이션 변형의 집합(예를 들면, 워크스테이션 폼팩터 사용자 인터페이스; 대형 디스플레이 사용자 인터페이스; 및 각종 모바일 장치의 소형 디스플레이 사용자 인터페이스)으로서 주 컴퓨팅 환경(204) 내에 저장될 수 있고, 주장치(202)는 특정 보조 장치(206)의 보조 컴퓨팅 환경(208)에서 제시하기에 적합한 애플리케이션 변형을 선택할 수 있다. 그러한 기술은 주장치(202)의 리소스의 재사용을 가능하게 한다(예를 들면, 다수의 보조 장치(206) 대신에 특정 애플리케이션 또는 애플리케이션 라이브러리의 단일 카피를 저장 및 이용하는 것).
이 제2 양태의 제4 변형예로서, 주장치(202)는 보조 컴퓨팅 환경(208)의 스트림(214)을 렌더링 및/또는 다양한 방법으로 보조 장치(206)에 전송할 수 있다. 그러한 제1 예로서, 주장치(202)는 보조 장치(206)로부터 입력 스트림을 수신할 수 있고, 그리고/또는 비디오 및/또는 오디오 출력을 보조 장치(206)에 스트리밍할 수 있다. 그러한 제2 예로서, 주장치(202)는 스트림(214)에서 다음 비디오 프레임을 생성하기 위해 현재 제시된 비디오 프레임의 차등 갱신(differential update)과 같은 그래픽스 프리미티브(graphics primitive) 명령어의 스트림을 보조 장치(206)에 전송할 수 있다. 그러한 제3 예로서, 주장치(202)는 보조 장치(206)의 보조 컴퓨팅 환경(208)의 일부 또는 전부를 렌더링하기 위해 보조 장치(206)에서 실행되는 하위 애플리케이션을 보조 장치(206)에 전송할 수 있다. 그러한 제4 예로서, 주장치(202)는 보조 컴퓨팅 환경(208)의 일부 또는 전부에 대한 스트림(214)을 제시를 위해 2개 이상의 보조 장치(206)에 멀티캐스트할 수 있다. 그러한 제5 예로서, 주장치(202)는 사용자(102)에게 보조 컴퓨팅 환경(208)을 제시하는 제2 보조 장치(206)에 재전송하기 위해 제1 보조 장치(206)에 대한 보조 컴퓨팅 환경(208)의 일부를 전송할 수 있다.
이 제2 양태의 제5 변형예로서, 주장치(202)는 보조 장치(206)에서 적절한 사용자 경험을 제공하기 위해 보조 컴퓨팅 환경(208)의 규정을 적응시킬 수 있다. 예를 들면, 주장치(202)는 특정 보조 장치(206)에 대한 적절한 응답성의 사용자 경험을 제공하는 적절한 연산 리소스를 가질 수 있지만, 만일 너무 많은 애플리케이션(212)으로 과부하되면, 주장치(202)는 보조 장치(206)에 대한 보조 컴퓨팅 환경(208)의 스트림(214)의 전송시에 래그(lag) 및/또는 인터럽션과 같은 약화된 불만족스러운 성능을 나타낼 수 있다. 약화된 불만족스러운 서비스 품질을 완화하기 위한 각종 기술이 사용될 수 있다. 그러한 제1 예로서, 주장치(202)는 주장치(202)가 제시의 품질(예를 들면, 최대 비주얼 품질 및/또는 연산 속도)의 타협 없이 구동할 수 있는 애플리케이션(212)의 최대 품질을 추정하고, 주장치(202) 및 보조 장치(206)에서 애플리케이션(212)의 제시 품질을 유지하는 리소스 제한으로 애플리케이션(212)을 구속할 수 있다. 그러한 추정은 예를 들면 각종 상황에서 애플리케이션(212)의 달성된 품질을 측정함으로써 통보될 수 있고, 변화된 상황을 반영하도록 애플리케이션(212)의 실행을 적응시킬 수 있다(예를 들어서 만일 더 풍부한 처리 및/또는 네트워크 용량이 제공되면 애플리케이션(212)의 품질을 확장하고, 그리고/또는 만일 이용 가능한 처리 및/또는 네트워크 용량이 구속되면 애플리케이션(212)의 품질을 감소시킬 수 있다). 보조 장치(206)에 대한 보조 컴퓨팅 환경(208)이 생성, 제시 및 전송시의 많은 이러한 구성이 본 개시 기술에 따라 활용될 수 있다.
E2. 애플리케이션 분할 및 분배
본 개시 기술의 실시형태 중에서 변할 수 있는 제3 양태는 애플리케이션(212)을 주 애플리케이션 부분(214)과 보조 애플리케이션 부분(216)으로 분할하고, 보조 애플리케이션 부분(216)을 보조 장치(206)에 분배하는 방법을 포함한다.
이 제3 양태의 제1 변형예로서, 보조 장치(206)의 가용성 검출에 응답하여, 주장치(202)는 보조 장치(206)와의 접속을 확립하고 보조 장치(206)의 하나 이상의 장치 속성(210)을 검출할 수 있다. 주장치(202)는 그 다음에 보조 장치(206)의 장치 속성(210)에 따라 주 컴퓨팅 환경(204)으로부터 적응된 보조 컴퓨팅 환경(208)을 생성하고, 보조 장치(206)로의 보조 컴퓨팅 환경(208)의 전송을 개시할 수 있다. 대안적으로, 주장치(202)는 보조 컴퓨팅 환경(208)을 이미 생성하였을 수 있다(예를 들면, 보조 컴퓨팅 환경(208)과의 이전 상호작용 중에 생성된 보조 컴퓨팅 환경(208)을 저장하고, 그리고/또는 각종 유형의 보조 장치(206)에 대한 그러한 환경의 라이브러리로부터 사전 제작된 보조 컴퓨팅 환경(208)을 검색(retrieving)할 수 있다). 그러한 추가의 변형예로서, 주장치(202)는 물리적 근접 문턱값(physical proximity threshold) 내에서 보조 장치(206)의 물리적 근접을 검출하는 근접 검출기(예를 들면, NFC(near-field communication) 통신 컴포넌트)를 추가로 포함할 수 있고, 주장치(202)는 보조 장치(206)의 물리적 근접이 물리적 근접 문턱값 내에 있을 때 보조 장치(206)의 가용성을 검출할 수 있다. 즉, 사용자(102)는 장치들을 단순히 근접 배치함으로써 주장치(202)와 보조 장치(206) 간의 접속을 확립할 수 있다.
도 6은 이 제3 양태의 제2 변형예를 특색짓는 예시적인 시나리오의 집합을 보인 것으로, 여기에서 애플리케이션(212)을 주 애플리케이션 부분(214)과 보조 애플리케이션 부분(216)으로 분할하는 것은 다양한 방법으로 달성될 수 있다. 제1의 예시적인 시나리오(600)에서, 애플리케이션(212)은 비디오 시리즈와 같은 컨텐츠 아이템의 제시를 포함하고, 애플리케이션(212)은 보조 장치(206)의 보조 컴퓨팅 환경(208)에서 컨텐츠 아이템의 제시를 제공하는 보조 애플리케이션 부분(216)과, 컨텐츠 아이템의 제시를 제어하는 제시 제어기를 주 컴퓨팅 환경(204) 내에서 제공하는 주 애플리케이션 부분(214)으로 분할된다. 즉, 주장치(202)는 보조 장치(206)에서 미디어 제시의 제어기로서 사용될 수 있고, 또는 그 반대로 사용될 수도 있다.
제2의 예시적인 시나리오(602)에서, 하나의 장치에서 제시될 때 함께 제시되는 사용자 인터페이스의 요소들은 주장치(202)에서 제시되는 주 애플리케이션 부분(214) 및 보조 장치(206)에서 제시되는 보조 애플리케이션 부분(216)을 통해 분배될 수 있다. 예를 들면, 사용자 인터페이스 요소는 주장치(202)에서 제시되는 제1 사용자 인터페이스 요소 집합 및 보조 장치(206)에서 제시되는 제2 사용자 인터페이스 요소 집합으로 재배열될 수 있고, 각각의 사용자 인터페이스 요소는 각 장치의 크기, 해상도 및 다른 장치 속성(210)과 정합되도록 크기 조정될 수 있다. 그러한 일 예로서, 터치 감응 디스플레이를 구비한 장치에서 제시되는 사용자 인터페이스 요소는 터치 지향 외관 및 행동(behavior)을 제시할 수 있고, 비터치 감응 디스플레이를 구비한 장치에서 제시되는 사용자 인터페이스 요소는 포인터 지향 외관 및 행동을 나타낼 수 있다. 대안적으로, 사용자(102)는 보조 장치(206)의 사용자 인터페이스 요소를 활용하기 위해 주장치(202)에서 터치 입력을 이용할 수 있는데, 예를 들면, 주장치(202)의 터치 감응 디스플레이에서 사용자의 손가락으로 제어되는 포인터는 보조 장치(206)의 보조 컴퓨팅 환경(208)으로 이동될 수 있고, 그래서 보조 장치(206)에서 제시되는 시각적 요소는 보조 장치(206)가 터치 능력을 갖지 않은 경우에도 터치 호환 행동을 나타낼 수 있다.
제3의 예시적인 시나리오(604)에서, 애플리케이션(212)은 주 컴퓨팅 환경(204)에서 주장치(202)를 통해 애플리케이션(212)을 보는 사용자(102)에게 제시되는 주 애플리케이션 부분(214)과, 보조 장치(206)를 통해 애플리케이션(212)을 보는 제2 사용자에게 제시되는 보조 애플리케이션 부분(216)으로 분할될 수 있다. 예를 들면, 게임 애플리케이션은 카드 게임에서 제1 사용자의 손과 같은 어떤 비밀 정보를 제1 사용자(102)에게 제시할 수 있고, 카드 게임에서 제2 사용자의 손과 같은 어떤 비밀 정보를 제2 사용자(102)에게 제시하는 보조 애플리케이션 부분(216)을 보조 장치(206)에 전송할 수 있다.
이 제3 양태의 제2 변형예로서, 주장치(202)는 보조 장치(206)의 각종 리소스를 주 컴퓨팅 환경(204) 및/또는 애플리케이션(212)과 통합할 수 있다. 예를 들면, 주장치(202)는 제1 입력 컴포넌트를 추가로 포함하고, 보조 장치(206)는 제2 입력 컴포넌트를 추가로 포함할 수 있다. 제1 입력 컴포넌트로부터 제1 사용자 입력을 수신한 것에 응답하여, 주장치(202)는 제1 사용자 입력을 애플리케이션(212)에 적용할 수 있고, 보조 장치(206)의 제2 입력 컴포넌트를 통해 제공된 제2 사용자 입력을 보조 장치(206)로부터 수신한 것에 응답하여, 보조 장치(206)는 제2 사용자 입력을 애플리케이션(212)에 또한 적용할 수 있다.
이 제3 양태의 제3 변형예로서, 애플리케이션(212)의 주 애플리케이션 부분(214)을 제시하는 것 외에, 주장치(202)는 보조 장치(206)에 보조 애플리케이션 부분(216)을 포함한 보조 컴퓨팅 환경(208)을 전송하는 동안 다른 기능을 제공할 수 있다. 예를 들면, 주 컴퓨팅 환경(204)에서 제2 애플리케이션(212)을 제시하게 하는 요청을 수신한 것에 응답하여, 주장치(202)는 애플리케이션(212)의 주 애플리케이션 부분(214)과 함께 그리고/또는 그 대신에 주 컴퓨팅 환경(204)에서 제2 애플리케이션(212)을 제시할 수 있다. 그러한 제시 중에, 보조 장치(206)는 보조 애플리케이션 부분(216)만의 제시를 계속하거나, 또는 예컨대 주 애플리케이션 부분(214)을 보조 장치(206)의 보조 컴퓨팅 환경(208)에서 제시되는 보조 애플리케이션 부분(216)에 결합(consolidating)함으로써 애플리케이션(212)의 분할이 반대로 될 수 있다.
도 7은 주장치(202)와 보조 장치(206) 사이에 애플리케이션(212)(예를 들면, 미디어 플레이어)을 분할 및 분배하기 위해 주장치(202)와 사용자(102)의 상호작용의 시퀀스를 특색짓는 예시적인 시나리오(700)를 보인 것이다. 이 예시적인 시나리오에서, 애플리케이션(212)은 초기에 주장치(202)에서만 제시되고, 애플리케이션(212)을 분배하기 위한 보조 장치(206)의 가용성의 검출이 검출되고 옵션으로서 사용자에게 제시될 수 있다. 옵션의 선택을 포함한 사용자 입력(702)은 주장치(202)와 보조 장치(206) 간의 접속, 및 주장치(202)에서 제시되는 주 애플리케이션 부분(214) 및 보조 장치(206)에 전송되고 보조 장치(206)에 의해 제시되는 보조 애플리케이션 부분(216)으로의 애플리케이션(212)의 분할을 유도할 수 있다. 주장치(202)는 주장치(202)에서 다른 애플리케이션(212)을 실행하기 위한 옵션을 또한 제시할 수 있고, 옵션의 선택을 포함한 추가의 사용자 입력(702)은 주장치(202)가 주장치(202) 및 보조 장치(206)에서 각각의 애플리케이션을 제시하는 옵션을 포함하고, 그리고/또는 양측 장치에 걸쳐 분산된 가용 애플리케이션(212)을 특색짓는 메뉴(704)를 제시하게 할 수 있다. 제2 애플리케이션(212)(예를 들면, 웹 브라우저)의 선택을 포함한 사용자 입력(702)은 주장치(202)가 주장치(202)에서 제2 애플리케이션(212)만을 제시하게 할 수 있다. 이때, 보조 장치(206)는 보조 애플리케이션 부분(216)만의 제시를 계속하거나, 또는 도 7에 도시된 것처럼 주 애플리케이션 부분(214)을 포함한 결합된 애플리케이션(212)을 제시할 수 있다. 사용자(102)가 제2 애플리케이션에서 빠져나갈 때, 주장치(202)는 제1 애플리케이션(212)의 주 애플리케이션 부분(214)을 디스플레이하는 것으로 복귀할 수 있고, 보조 장치(206)에서 애플리케이션(212)의 결합은 반대로 될 수 있다.
이 제3 양태의 제5 변형예로서, 애플리케이션 분할의 종료는 사용자(102)로부터의 사용자 요청에 응답하여 달성될 수 있다. 다른 예로서, 주장치(202)와 보조 장치(206)의 분리를 검출한 것에 응답하여, 주장치(202)는 주장치(202)에서 전체 애플리케이션(212)을 제시하기 위해 애플리케이션(212)의 보조 애플리케이션 부분(216)을 주 컴퓨팅 환경(204)에 결합할 수 있고, 또는 보조 애플리케이션 부분(216)이 재배치될 수 있는 제2 보조 장치(206)를 식별할 수 있다. 보조 애플리케이션 부분(216)이 컨텐츠 아이템의 제시를 또한 포함하는 또 다른 예로서, 주장치(202)는 컨텐츠 아이템의 제시의 종료(예를 들면, 보조 장치(206)에서 제시되는 오디오 또는 비디오 시퀀스의 끝에 도달함)를 검출한 것에 응답하여 보조 장치(206)로의 보조 컴퓨팅 환경(208) 전송을 종료할 수 있다. 많은 이러한 변형예는 본 개시 기술에 따라서 주장치(202)와 보조 장치(206) 간의 애플리케이션(212)의 분할 및 분배시에 활용될 수 있다.
E4. 사용자 입력 제스처
본 개시 기술의 실시형태 중에서 변할 수 있는 제4 양태는 주장치(202)와 보조 장치(206)에 걸쳐 분할 및 분배된 애플리케이션(212)을 제어하기 위해 사용자(102)가 수행할 수 있는 사용자 인터페이스 제스처의 집합을 포함한다. 그러한 제스처는 애플리케이션(212)과 상호작용하기 위해 장치에서 수행되는 그러한 제스처의 시각적 예를 제공하는 도 8 및 도 9를 참조하면서 설명한다. 일부 그러한 제스처는 포인팅 장치(예를 들면, 마우스, 터치패드 또는 트랙볼)에 의해, 터치 감응 디스플레이(예를 들면, 손가락 또는 스타일러스를 이용하는 것)에 의해, 또는 입력 장치와 접촉하지 않는 무접촉 제스처(예를 들면, 카메라에 의해 검출되는 매뉴얼 또는 눈 움직임 제스처)로서 수행될 수 있다. 게다가, 비록 이러한 예들이 보조 장치(206)에서 효과를 생성하는 주장치(202)에서 수행되는 제스처로서 설명되지만, 이러한 제스처는, 일부 상황에서 대안적으로, 주장치(202)에서 효과를 생성하도록 보조 장치(206)에서 수행될 수도 있다.
이 제4 양태의 제1 변형예로서, 도 8은 포인터(808) 및 컨텐츠 아이템(806)을 제시하는 디스플레이를 추가로 포함한 주장치(202)에 의해 제스처를 검출하는 제1의 예시적인 시나리오(800)를 보인 것이다. 주장치(202)는 디스플레이의 에지로부터 멀어지게 컨텐츠 아이템(806)의 당기기(pull) 모션(804) 및 디스플레이의 에지쪽으로 튕기기(flick) 모션(810)을 포함한 "당기기 및 튕기기"(pull and flick) 포인터 제스처(802)를 검출할 수 있다. 주장치(202)는 이 제스처를 보조 장치(206)에서 컨텐츠 아이템(806)을 제시하게 하는 요청으로서 해석하고, 그에 따라서 컨텐츠 아이템(806)의 제시를, 보조 장치(206)에 의한 제시를 위해 보조 컴퓨팅 환경(208)에 삽입할 수 있다. 추가의 변형예로서, 주장치(202)는 디스플레이의 선택된 에지를 보조 장치(206) 쪽으로 물리적으로 또는 논리적으로 정렬된 것으로서 식별할 수 있고, 그래서 디스플레이의 선택된 에지 쪽으로 수행된 튕기기 모션(810)은 보조 장치(206)에서 컨텐츠 아이템(806)을 제시하게 하고, 디스플레이의 임의의 다른 에지 쪽으로 수행된 튕기기 모션(810)은 컨텐츠 아이템을 제시하지 않는다.
이 제4 양태의 제2 변형예로서, 도 8은 터치패드와 같은 터치 감응 입력 장치(816)를 추가로 포함한 주장치(202)를 수반하는 제2 제스처를 예시하는 제2의 예시적인 시나리오(812)를 보여주고 있다. 주장치(202)는 보조 장치(206)의 보조 컴퓨팅 환경의 스크롤 가능 요소(822)와 관련된 2-손가락 드래그(drag) 제스처(814)를 검출할 수 있다. 예를 들면, 사용자(102)는 2개의 손가락을 주장치(202)의 디스플레이에 접촉하고 디스플레이 위에서 특정 방향으로 드래그 모션(818)을 수행할 수 있다. 주장치(202)는 2-손가락 드래그 제스처(814)에 응답하여 스크롤 가능 요소(822)의 스크롤(824)을 야기할 수 있다(예를 들어서 만일 2-손가락 드래그 제스처(814)가 상향 방향으로 수행되면 스크롤 가능 요소(822)를 상향으로 스크롤(824)하고, 만일 2-손가락 드래그 제스처가 하향 방향으로 수행되면 스크롤 가능 요소(822)를 하향으로 스크롤(824)하며, 그 반대로도 될 수 있다). 추가의 변형예로서, 스크롤링(824)의 속도는 터치 감응 장치(816)에서 드래그 모션(818)의 속도에 비례할 수 있다.
이 제4 양태의 제3 변형예로서, 도 8은 터치 감응 입력 장치(816)의 사용자(102)가 터치 감응 입력 장치(202)의 에지(830)로부터 내측 방향(832)으로 에지 스와이프(edge swipe)(예를 들면, 디스플레이 또는 터치패드의 베젤 에지로부터 중앙 쪽으로의 스와이프) 제스처(828)를 수행한 것을 주장치(202)가 검출하는, 제3 제스처를 예시하는 제3의 예시적인 시나리오(826)를 보여주고 있다. 주장치(202)는 이 에지 스와이프 제스처(828)를 보조 컴퓨팅 환경(208)을 현재 애플리케이션의 제시로부터 이전에 제시된 애플리케이션의 제시로 천이시키는 요청으로서 해석할 수 있고, 그에 따라서 현재 애플리케이션으로부터 다른 애플리케이션으로 보조 컴퓨팅 환경(208)의 천이를 개시할 수 있다.
이 제4 양태의 제4 변형예로서, 도 9는 포인터(808)의 사용자(102)가 원모양(circular) 모션(904)으로 포인터(808)를 이동시키는 것을 포함한 원모양의 포인터 제스처(902)를 수행하는 것을 주장치(202)가 검출하고 보조 장치(206)가 버튼 열과 같은 사용자 인터페이스 요소의 시퀀스(908)를 제시하는, 제4 제스처를 예시하는 제4의 예시적인 시나리오(900)를 보여주고 있고, 이때 선택된 사용자 인터페이스의 요소는 사용자 입력의 현재 포커스이다. 주장치(202)는 이 원모양의 포인터 제스처(902)를 시퀀스(908) 내의 선택된 사용자 인터페이스 요소를 제1 사용자 인터페이스 요소로부터 시퀀스(908) 내의 인근 사용자 인터페이스 요소로 천이시키는 요청으로서 해석할 수 있고, 보조 장치(206)에서의 활성 사용자 인터페이스 요소로서 상기 인근 사용자 인터페이스 요소를 선택함으로써 천이(906)를 구현할 수 있다.
이 제4 양태의 제5 변형예로서, 도 9는 사용자(102)가 원모양의 모션(904)으로 포인터(808)를 이동시키는 것을 포함한 원모양의 포인터 제스처(912)를 수행하고 보조 장치(206)가 스크롤가능 사용자 인터페이스 요소(914)를 제시하는 것을 주장치(202)가 검출하는, 제5 제스처를 예시하는 제5의 예시적인 시나리오(910)를 보여주고 있다. 주장치(202)는 원모양의 포인터 제스처(912)를 스크롤가능 사용자 인터페이스 요소(914)를 스크롤하는 요청으로서 해석할 수 있고, 그에 따라서 스크롤가능 사용자 인터페이스 요소(914)의 스크롤링(916)을 개시할 수 있다.
이 제4 양태의 제6 변형예로서, 도 9는 사용자(102)가 적어도 3개의 손가락(922)을 이용하여 핀치(pinch) 제스처(920)(예를 들면, 적어도 3개의 손가락(820)을 열린 구성(922)으로 터치 감응 디스플레이의 표면에 접촉하고 손가락(822)을 닫는 구성으로 좁히는 제스처)를 수행하고 보조 장치(206)가 현재 풀 디스플레이(full-display) 모드로 컨텐츠 아이템(806)을 제시하는 것을 주장치(202)가 검출하는, 제6 제스처를 예시하는 제6의 예시적인 시나리오(826)를 보여주고 있다. 주장치(202)는 핀치 제스처(920)를 풀 디스플레이 모드로부터 부분 디스플레이 모드로 컨텐츠 아이템(806)의 제시를 천이시키는 요청으로서 해석할 수 있고, 보조 장치(206)에서 컨텐츠 아이템(806)의 제시를 더 작은 디스플레이 크기로 크기 조정할 수 있다.
상기 제스처 기반 제어의 검출 및 제시에 있어서의 많은 추가의 변형예가 이러한 변형예에 포함될 수 있다. 이 제4 양태의 제7 변형예로서, 보조 컴퓨팅 환경(208)과 관련된 제스처의 개시를 검출할 때, 주장치(202)는 주 컴퓨팅 환경(204) 대신에 디스플레이에서 포인터 제스처 사용자 인터페이스를 제시할 수 있다. 예를 들면, 사용자가 "스크롤" 제스처를 수행하는 동안 주장치(202)는 주 컴퓨팅 환경(204) 대신에 사용자의 제스처 수행을 보조하기 위해 전체 화면 스크롤바를 제시할 수 있다. 제스처 완료의 검출에 응답하여, 주장치(202)는 포인터 제스처 사용자 인터페이스 대신에 디스플레이에서 제시되는 주 컴퓨팅 환경(204)을 복원할 수 있다. 제스처가 보조 컴퓨팅 환경(208)에서 사용자 인터페이스 컨텐츠를 제시하는 사용자 인터페이스 요소와 관련된 추가의 변형예에 있어서, 주장치(202)는 사용자 인터페이스 요소의 사용자 인터페이스 컨텐츠를 반영하는 포인터 제스처 사용자 인터페이스를 제시할 수 있다. 예를 들면, 사용자(102)가 보조 장치(206)에서 제시되는 리스트의 스크롤링을 야기하는 주장치(202)에서의 제스처를 수행하는 동안, 주장치(202)는 사용자(102)가 스크롤링을 완료할 때까지 주 컴퓨팅 환경(204) 대신 리스트의 컨텐츠를 (예를 들면, 확대된 뷰로) 제시하고, 그 다음에 주장치(202)에서의 주 컴퓨팅 환경(204)의 제시를 재개할 수 있다. 많은 이러한 변형예는 본 개시 기술의 각종 실시형태에서 주장치(202)에서 수행되는 제스처가 보조 장치(206)에서의 보조 컴퓨팅 환경(208)의 제시를 반영하게 하기 위해(또는 그 반대로 하기 위해) 포함될 수 있다.
F. 컴퓨팅 환경
도 10 및 이하의 설명은 여기에서 설명하는 하나 이상의 규정에 대한 실시형태를 구현하기 위한 적절한 컴퓨팅 환경의 간단한 일반적인 설명을 제공한다. 도 10의 운영 환경은 적절한 운영 환경의 단지 일 예이고 운영 환경의 사용 범위 및 기능을 어떻게든 제한하는 것으로 의도되지 않는다. 예시적인 컴퓨팅 장치는, 비제한적인 예를 들자면, 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩톱 장치, 모바일 장치(예를 들면, 모바일 폰, 개인용 정보 단말기(PDA), 미디어 플레이어 등), 멀티프로세서 시스템, 가전제품, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 상기 시스템 또는 장치를 포함한 분산형 컴퓨팅 환경 등을 포함한다.
비록 필수적인 것은 아니지만, 실시형태들은 하나 이상의 컴퓨팅 장치에 의해 실행되는 "컴퓨터 판독가능 명령어"의 일반적인 관계로 설명된다. 컴퓨터 판독가능 명령어는 컴퓨터 판독가능 매체(뒤에서 설명함)를 통해 분산될 수 있다. 컴퓨터 판독가능 명령어는 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 함수, 객체, 응용 프로그래밍 인터페이스(API), 데이터 구조 등과 같은 프로그램 모듈로서 구현될 수 있다. 전형적으로, 컴퓨터 판독가능 명령어의 기능은 각종 실시형태에서 필요에 따라 결합 또는 분배될 수 있다.
도 10은 여기에서 제공하는 하나 이상의 실시형태를 구현하도록 구성된 컴퓨팅 장치(1002)를 포함한 시스템(1000)의 예를 보인 것이다. 일 구성에서 컴퓨팅 장치(1002)는 적어도 하나의 처리 유닛(1006)과 메모리(1008)를 포함한다. 컴퓨팅 장치의 정확한 구성 및 유형에 따라서, 메모리(1008)는 휘발성(예를 들면, RAM), 비휘발성(예를 들면, ROM, 플래시 메모리 등), 또는 이들 둘 다의 임의 조합일 수 있다. 이 구성은 도 10에서 점선(1004)으로 표시되어 있다.
다른 실시형태에서, 장치(1002)는 추가의 특징 및/또는 기능을 포함할 수 있다. 예를 들면, 장치(1002)는 비제한적인 예를 들자면 자기 스토리지, 광 스토리지 등을 포함한 추가의 스토리지(예를 들면, 분리형 및/또는 비분리형)를 또한 포함할 수 있다. 이러한 추가의 스토리지는 도 10에서 스토리지(1010)로서 표시되어 있다. 일 실시형태에 있어서, 여기에서 제공하는 하나 이상의 실시형태를 구현하기 위한 컴퓨터 판독가능 명령어는 스토리지(1010)에 저장될 수 있다. 스토리지(1010)는 운영체제, 응용 프로그램 등을 구현하는 다른 컴퓨터 판독가능 명령어를 또한 저장할 수 있다. 컴퓨터 판독가능 명령어는 예를 들면 처리 유닛(1006)에 의해 실행되기 위해 메모리(1008)에 로드될 수 있다.
여기에서 사용하는 용어 "컴퓨터 판독가능 매체"는 신호와 같은 통신 매체를 포함한 다른 형태의 컴퓨터 판독가능 매체를 배제한 컴퓨터 판독가능 메모리 장치를 포함한다. 이러한 컴퓨터 판독가능 메모리 장치는 휘발성 및/또는 비휘발성, 분리형 및/또는 비분리형일 수 있고, 컴퓨터 판독가능 명령어 또는 다른 데이터를 저장하는 각종 유형의 물리적 장치를 포함할 수 있다. 메모리(1008) 및 스토리지(1010)는 컴퓨터 기억 매체의 예이다. 컴퓨터-스토리지 기억 장치는, 비제한적인 예를 들자면, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 다른 광학 스토리지, 자기 카세트, 자기 테이프, 및 자기 디스크 스토리지 또는 다른 자기 스토리지 장치를 포함한다.
장치(1002)는 또한 장치(1002)가 다른 장치와 통신할 수 있게 하는 통신 접속(1016)을 또한 포함할 수 있다. 통신 접속(1016)은, 비제한적인 예를 들자면, 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속, 또는 컴퓨팅 장치(1002)를 다른 컴퓨팅 장치에 접속하기 위한 다른 인터페이스를 포함할 수 있다. 통신 접속(1016)은 유선 접속 또는 무선 접속을 포함할 수 있다. 통신 접속(1016)은 통신 매체를 송신 및/또는 수신할 수 있다.
용어 "컴퓨터 판독가능 매체"는 통신 매체를 포함할 수 있다. 통신 매체는 전형적으로 반송파 또는 다른 전송 메커니즘과 같은 "피변조 데이터 신호"로 컴퓨터 판독가능 명령어 또는 다른 데이터를 구체화하고, 임의의 정보 전달 매체를 포함한다. 용어 "피변조 데이터 신호"는 그 하나 이상의 특성 집합을 구비하거나 신호의 정보를 인코딩하는 방식으로 변경되는 신호를 포함할 수 있다.
장치(1002)는 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치, 적외선 카메라, 영상 입력 장치 및/또는 임의의 다른 입력 장치와 같은 입력 장치(1014)를 포함할 수 있다. 하나 이상의 디스플레이, 스피커, 프린터 및/또는 임의의 다른 출력 장치와 같은 출력 장치(1012)가 또한 장치(1002)에 포함될 수 있다. 입력 장치(1014)와 출력 장치(1012)는 유선 접속, 무선 접속 또는 이들의 임의 조합을 통해 장치(1002)에 접속될 수 있다. 일 실시형태에 있어서, 다른 컴퓨팅 장치로부터의 입력 장치 또는 출력 장치를 컴퓨팅 장치(1002)의 입력 장치(1014) 또는 출력 장치(1012)로서 사용할 수 있다.
컴퓨팅 장치(1002)의 각종 컴포넌트는 버스 등의 각종 상호접속에 의해 접속될 수 있다. 그러한 상호접속은 PCI 익스프레스, 범용 직렬 버스(USB), 파이어와이어(IEEE 1394), 광 버스 구조 등과 같은 주변 컴포넌트 상호접속(PCI)을 포함할 수 있다. 다른 실시형태에 있어서, 컴퓨팅 장치(1002)의 각종 컴포넌트는 네트워크에 의해 상호접속될 수 있다. 예를 들면, 메모리(1008)는 네트워크에 의해 상호접속된 다른 물리적 위치에 있는 복수의 물리적 메모리 유닛으로 구성될 수 있다.
당업자라면 컴퓨터 판독가능 명령어를 저장하기 위해 사용되는 스토리지 장치가 네트워크에 걸쳐 분산될 수 있다는 것을 이해할 것이다. 예를 들면, 네트워크(1018)를 통해 접근 가능한 컴퓨팅 장치(1020)는 여기에서 제공하는 하나 이상의 실시형태를 구현하기 위한 컴퓨터 판독가능 명령어를 저장할 수 있다. 컴퓨팅 장치(1002)는 컴퓨팅 장치(1020)에 접근하여 실행을 위한 컴퓨터 판독가능 명령어의 일부 또는 전부를 다운로드할 수 있다. 대안적으로, 컴퓨팅 장치(1002)는 필요에 따라 컴퓨터 판독가능 명령어의 부분(piece)들을 다운로드할 수 있고, 또는 일부 명령어는 컴퓨팅 장치(1002)에서 실행되고 일부 명령어는 컴퓨팅 장치(1020)에서 실행될 수 있다.
G. 용어의 용법
비록 주제를 구조적 특징 및/또는 방법적 동작에 특유한 언어로 설명하였지만, 첨부된 청구범위에서 규정되는 주제는 반드시 전술한 특유의 특징 또는 동작으로 제한되지 않는다는 점을 이해하여야 한다. 전술한 특유의 특징 및 동작은 발명을 구현하는 예시적인 형태로서 설명한 것이다.
본 명세서에서 사용되는 용어 "컴포넌트", "모듈", "시스템", "인터페이스" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행되는 소프트웨어와 같은 컴퓨터 관련 엔티티를 말하는 것으로 일반적으로 의도된다. 예를 들면, 컴포넌트는 프로세서에서 동작하는 프로세스, 프로세서, 객체, 실행파일, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있다(그러나 이들로 제한되는 것이 아님).예를 들면, 제어기에서 동작하는 애플리케이션 및 제어기는 둘 다 컴포넌트일 수 있다. 하나 이상의 컴포넌트가 프로세스 및/또는 실행 스레드에 존재할 수 있고, 컴포넌트는 하나의 컴퓨터에서 국부화되거나 2개 이상의 컴퓨터에 분산될 수 있다.
더 나아가, 청구되는 주제는 개시된 주제를 구현하게끔 컴퓨터를 제어하는 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의 조합을 생성하는 표준 프로그래밍 및/또는 엔지니어링 기술을 이용하여 방법, 장치 또는 제조 물품으로서 구현될 수 있다. 여기에서 사용하는 용어 "제조 물품"은 임의의 컴퓨터 판독가능 장치, 캐리어 또는 미디어로부터 접근 가능한 컴퓨터 프로그램을 포함하는 것으로 의도된다. 물론 당업자라면 청구된 주제의 범위 또는 정신으로부터 벗어나지 않고 이 구성에 대하여 많은 수정이 있을 수 있다는 것을 인식할 것이다.
실시형태의 각종 동작이 여기에서 제공된다. 일 실시형태에 있어서, 설명된 동작들 중 하나 이상은 컴퓨팅 장치에 의해 실행될 때 컴퓨팅 장치가 여기에서 설명한 동작들을 수행하게 하는 하나 이상의 컴퓨터 판독가능 매체에 저장된 컴퓨터 판독가능 명령어를 구성할 수 있다. 일부 또는 모든 동작들을 설명하는 순서는 그러한 동작들이 반드시 순서 종속적임을 암시하는 것으로 해석되지 않아야 한다. 본 명세서의 설명으로부터 이익을 취하는 당업자라면 다른 순서를 예상할 수 있을 것이다. 또한, 모든 동작들이 여기에서 제공된 각 실시형태에서 반드시 필요한 것이 아님을 이해할 것이다.
여기에서 "예"(example)로서 설명한 임의의 양태 또는 설계는 다른 양태 또는 설계보다 반드시 유리한 것으로 해석되지 않는다. 단어 "예"를 사용하는 것은 여기에서 제시되는 기술에 관계될 수 있는 가능한 한가지 양태 및/또는 구현예를 제시하기 위한 것으로 의도된다. 그러한 예는 그러한 기술에 필요하지 않고 제한하는 것으로 의도되지 않는다. 그러한 기술의 각종 실시형태는 그러한 예를 단독으로 또는 다른 특징들과 조합으로 포함할 수 있고, 그리고/또는 설명된 예를 변경 및/또는 생략할 수 있다.
본 명세서에서 사용하는 용어 "또는"은 배타적 "또는"보다 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 다른 방식으로 특정되거나 문맥으로부터 명확하지 않는 한, "X는 A 또는 B를 이용한다"는 임의의 자연적인 내포적 치환을 의미하는 것으로 의도된다. 즉, 만일 X가 A를 이용하거나, X가 B를 이용하거나 또는 X가 A와 B를 둘 다 이용하면, "X는 A 또는 B를 이용한다"는 임의의 전술한 사례들을 만족시킨다. 또한, 본 명세서 및 첨부된 청구범위에서 단수 형태의 표현은 다르게 특정되거나 단수 형태를 말하는 것으로 문맥에서 명확하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석될 수 있다.
또한, 비록 본 발명을 하나 이상의 구현예와 관련하여 도시 및 설명하였지만, 당업자라면 본 명세서 및 첨부 도면을 읽음으로써 균등한 대안예 및 수정예를 생각할 수 있을 것이다. 본 발명은 그러한 수정예 및 대안예를 모두 포함하고 첨부된 청구범위에 의해서만 제한된다. 특히, 전술한 컴포넌트(예를 들면, 요소, 리소스 등)에 의해 수행되는 각종 기능과 관련해서, 그러한 컴포넌트를 설명하기 위해 사용된 용어들은, 비록 본 발명의 여기에서 설명한 예시적인 구현예에서의 기능을 수행하는 개시된 구조와 구조적으로 동등하지 않다 하더라도, 다르게 표시되지 않는 한 여기에서 설명한 컴포넌트의 특정 기능을 수행하는 임의의 컴포넌트에 대응하는 것(예를 들면, 기능적으로 동등한 것)으로 의도된다. 추가로, 본 발명의 특정 피처가 몇가지 구현예 중 단지 하나와 관련하여 개시되었을 수 있지만, 그러한 피처는 임의의 주어진 또는 특정 응용과 관련하여 바람직하고 유리하다면 다른 구현예의 하나 이상의 다른 피처와 결합될 수 있다. 더 나아가, 용어 "내포하는", "구비하는", "갖는" 또는 그 변형들이 상세한 설명 또는 청구범위에서 사용될 때, 그 용어들은 용어 "포함하는"과 유사한 방식으로 내포적인 것으로 의도된다.

Claims (20)

  1. 보조 장치 및 주장치의 양 장치 상에 애플리케이션을 제시(presenting)하는, 상기 주장치에 의해 수행되는 방법에 있어서,
    주(primary)애플리케이션 부분을 포함한 애플리케이션 공간을 제시하는 포인터 감응 디스플레이에서 상기 주장치 상에 애플리케이션을 사용자 인터페이스 요소의 세트로서 제시하는 단계와,
    상기 애플리케이션을 상기 주장치와 상기 보조 장치 사이에 분할하려는 요청에 응답하여,
    상기 애플리케이션 공간을 확장하여 상기 주애플리케이션 부분에 보조 애플리케이션 부분을 추가하는 단계와,
    상기 애플리케이션의 사용자 인터페이스 요소에 대해, 상기 사용자 인터페이스 요소를 디스플레이하기 위해 상기 보조 장치를 선택하고, 상기 보조 애플리케이션 부분 내에서 상기 사용자 인터페이스 요소의 위치 및 제시를 선택하는 단계와,
    상기 주장치에 대해, 상기 보조 장치 상에서의 상기 사용자 인터페이스 요소의 제시에 따라 상기 주장치의 주애플리케이션 부분을 재배열하여 상기 주애플리케이션 부분의 제1 구성을 생성하는 단계와,
    상기 포인터 감응 디스플레이가 상기 보조 애플리케이션 부분 상에 디스플레이된 컨텐츠를 변경하는 포인터 제스처를 검출하는 것에 응답하여, 상기 포인터 제스처에 기초하는, 상기 주애플리케이션 부분의 제2 구성을 구현하는 단계와,
    상기 포인터 감응 디스플레이가 상기 포인터 제스처의 완료를 검출하는 것에 응답하여, 상기 포인터 감응 디스플레이를 상기 주애플리케이션 부분의 제1 구성으로 복원(restoring)하는 단계
    를 포함하는, 애플리케이션 제시 방법.
  2. 제1항에 있어서,
    상기 보조 장치와의 접속을 확립하는 단계와,
    상기 보조 장치의 장치 속성을 검출하는 단계와,
    상기 보조 장치의 장치 속성에 따라 상기 주애플리케이션 부분으로부터 적응된 보조 애플리케이션 부분을 생성하는 단계와,
    상기 보조 애플리케이션 부분을 상기 보조 장치에 전송하는 단계
    를 더 포함하는, 애플리케이션 제시 방법.
  3. 제1항에 있어서,
    상기 주장치의 근접성 검출기에 의해 상기 보조 장치의 가용성(availability)을 검출하는 단계를 더 포함하고,
    상기 보조 장치의 가용성을 검출하는 단계는, 상기 주장치의 물리적 근접성 문턱값 내에서 상기 보조 장치의 물리적 근접성을 검출하는 단계를 포함하는 것인, 애플리케이션 제시 방법.
  4. 제1항에 있어서,
    상기 애플리케이션은 컨텐츠 아이템의 제시를 포함하고,
    상기 보조 애플리케이션 부분은 상기 보조 장치 내에 상기 컨텐츠 아이템을 제시하며,
    상기 주애플리케이션 부분은 상기 컨텐츠 아이템의 제시를 제어하는 제시 제어기를 제공하는 것인, 애플리케이션 제시 방법.
  5. 제1항에 있어서,
    상기 주장치는 제1 입력 컴포넌트를 더 포함하고,
    상기 방법은,
    상기 제1 입력 컴포넌트로부터 제1 커맨드를 수신하는 것에 응답하여, 상기 애플리케이션에 상기 제1 커맨드를 적용하는 단계와,
    상기 보조 장치로부터, 상기 보조 장치의 제2 입력 컴포넌트로부터의 제2 커맨드를 수신하는 것에 응답하여, 상기 애플리케이션에 상기 제2 커맨드를 적용하는 단계를 더 포함하는, 애플리케이션 제시 방법.
  6. 제1항에 있어서, 상기 주장치 내에 제2 애플리케이션을 제시하려는 요청을 수신하는 것에 응답하여, 상기 제2 애플리케이션을 상기 주장치 대신에 상기 보조 장치 내에 제시하는 단계를 더 포함하는, 애플리케이션 제시 방법.
  7. 제1항에 있어서, 상기 주장치 내에 제2 애플리케이션을 제시하려는 요청을 수신하는 것에 응답하여, 상기 주장치 상에 상기 주애플리케이션 부분 대신에 상기 제2 애플리케이션을 제시하는 동안에, 상기 주애플리케이션 부분을 상기 보조 장치 내에 제시되는 상기 보조 애플리케이션 부분에 결합(consolidating)하는 단계를 더 포함하는, 애플리케이션 제시 방법.
  8. 제1항에 있어서, 상기 보조 장치는 터치 기능성(touch capability)이 없는, 애플리케이션 제시 방법.
  9. 보조 장치와 함께 애플리케이션을 제시하는 주장치에 있어서,
    프로세서와,
    상기 프로세서 상에서 실행될 때에, 애플리케이션 분할기와 컴퓨팅 환경 제시기를 제공하는 명령어를 저장한 메모리
    를 포함하고,
    상기 애플리케이션 분할기는,
    주애플리케이션 부분을 포함한 애플리케이션 공간을 제시하는 포인터 감응 디스플레이에서 상기 주장치 상에 처음에 애플리케이션을 사용자 인터페이스 요소의 세트로서 제시하고,
    상기 애플리케이션을 상기 주장치와 상기 보조 장치 사이에 분할하려는 요청에 응답하여,
    상기 애플리케이션 공간을 확장하여 상기 주애플리케이션 부분에 보조 애플리케이션 부분을 추가하고,
    상기 애플리케이션의 사용자 인터페이스 요소에 대해, 상기 사용자 인터페이스 요소를 디스플레이하기 위해 상기 보조 장치를 선택하고, 상기 보조 애플리케이션 부분 내에서 상기 사용자 인터페이스 요소의 위치 및 제시를 선택하고,
    상기 주장치에 대해, 상기 주장치의 디스플레이 크기 또는 해상도에 기초하여 그리고 상기 보조 장치 상에서의 상기 사용자 인터페이스 요소의 제시에 따라 상기 주장치의 주애플리케이션 부분을 재배열하여 상기 주애플리케이션 부분의 제1 구성을 생성하고,
    상기 컴퓨팅 환경 제시기는,
    상기 포인터 감응 디스플레이가 상기 보조 애플리케이션 부분 상에 디스플레이된 컨텐츠를 변경하는 포인터 제스처를 검출하는 것에 응답하여, 상기 포인터 제스처에 기초하는, 상기 주애플리케이션 부분의 제2 구성을 구현하고,
    상기 포인터 감응 디스플레이가 상기 포인터 제스처의 완료를 검출하는 것에 응답하여, 상기 포인터 감응 디스플레이를 상기 주애플리케이션 부분의 제1 구성으로 복원하는 것인, 주장치.
  10. 제9항에 있어서, 상기 보조 장치 상에 디스플레이하기 위해 상기 보조 애플리케이션 부분을 포함한 보조 컴퓨팅 환경을 상기 보조 장치에 전송하는 보조 컴퓨팅 환경 전송기를 더 포함하고,
    상기 보조 애플리케이션 부분은 컨텐츠 아이템의 제시를 더 포함하고,
    상기 보조 컴퓨팅 환경 전송기는, 상기 컨텐츠 아이템의 제시의 완료를 검출하는 것에 응답하여, 상기 보조 장치에의 상기 보조 컴퓨팅 환경의 전송을 종료하는 것인, 주장치.
  11. 제9항에 있어서, 상기 애플리케이션 분할기는 상기 주장치로부터 상기 보조 장치의 연결해제를 검출하는 것에 응답하여, 상기 애플리케이션의 보조 애플리케이션 부분을 상기 주애플리케이션 부분에 결합하는 것인, 주장치.
  12. 제9항에 있어서, 상기 주장치는 터치 감응 디스플레이를 구비한 모바일 폰을 포함하는, 주장치.
  13. 명령어를 저장한 메모리 저장 장치에 있어서,
    상기 명령어는 주장치의 프로세서 상에서 실행될 때에, 상기 주장치로 하여금,
    주애플리케이션 부분을 포함한 애플리케이션 공간을 제시하는 포인터 감응 디스플레이에서 상기 주장치 상에 애플리케이션을 사용자 인터페이스 요소의 세트로서 제시하고,
    상기 애플리케이션을 상기 주장치와 보조 장치 사이에 분할하려는 요청에 응답하여,
    상기 애플리케이션 공간을 확장하여 상기 주애플리케이션 부분에 보조 애플리케이션 부분을 추가하고,
    상기 애플리케이션의 사용자 인터페이스 요소에 대해, 상기 주장치 상에 디스플레이된 사용자 인터페이스 요소와 비교하여 추가 컨텐츠와 함께 상기 사용자 인터페이스 요소를 디스플레이하기 위해 상기 보조 장치를 선택하고, 상기 보조 애플리케이션 부분 내에서 상기 사용자 인터페이스 요소의 위치 및 제시를 선택하고,
    상기 주장치에 대해, 상기 보조 장치 상에서의 상기 사용자 인터페이스 요소의 제시에 따라 상기 주장치의 주애플리케이션 부분을 재배열하여 상기 주애플리케이션 부분의 제1 구성을 생성하고,
    상기 포인터 감응 디스플레이가 상기 보조 애플리케이션 부분 상에 디스플레이된 컨텐츠를 변경하는 포인터 제스처를 검출하는 것에 응답하여, 상기 포인터 제스처에 기초하는, 상기 주애플리케이션 부분의 제2 구성을 구현하고,
    상기 포인터 감응 디스플레이가 상기 포인터 제스처의 완료를 검출하는 것에 응답하여, 상기 포인터 감응 디스플레이를 상기 주애플리케이션 부분의 제1 구성으로 복원하게 하는 것인, 메모리 저장 장치.
  14. 제13항에 있어서,
    상기 포인터 감응 디스플레이는 포인터 및 컨텐츠 아이템을 제시하고,
    상기 프로세서 상에서의 상기 명령어의 실행은 또한, 상기 주장치로 하여금 상기 디스플레이의 에지로부터 멀어지는 컨텐츠 아이템의 당기기 모션(pull motion) 및 상기 디스플레이의 에지쪽으로 향하는 튕기기 모션(flick motion)을 포함한 포인터 제스처의 검출에 응답하여,
    상기 보조 장치에 의한 제시를 위해 상기 컨텐츠 아이템을 상기 보조 애플리케이션 부분에 삽입하게 하는 것인, 메모리 저장 장치.
  15. 제13항에 있어서,
    상기 명령어의 실행은 또한, 상기 주장치로 하여금, 상기 포인터 감응 디스플레이가 상기 보조 애플리케이션 부분의 스크롤가능 요소와 관련된 2-손가락 드래그 제스처(two-finger drag gesture)를 검출하는 것에 응답하여, 상기 보조 애플리케이션 부분의 스크롤가능 요소에 스크롤 동작을 적용하게 하는 것인, 메모리 저장 장치.
  16. 제13항에 있어서, 상기 주장치는 포인터 감응 입력 장치를 더 포함하고,
    상기 명령어의 실행은 또한, 상기 주장치로 하여금, 상기 포인터 감응 입력 장치가 상기 보조 애플리케이션 부분의 스크롤가능 요소와 관련된 원모양의 포인터 제스처(circular pointer gesture)를 검출하는 것에 응답하여, 상기 보조 애플리케이션 부분의 스크롤가능 요소에 스크롤 동작을 적용하게 하는 것인, 메모리 저장 장치.
  17. 제13항에 있어서,
    상기 명령어의 실행은 또한, 상기 주장치로 하여금, 적어도 2개의 사용자 인터페이스 요소의 시퀀스가 상기 보조 애플리케이션 부분에서 제시되는 동안 상기 포인터 감응 디스플레이 상에서 원모양의 포인터 제스처를 검출하는 것에 응답하여, 상기 시퀀스의 하나의 사용자 인터페이스 요소를 제1 사용자 인터페이스 요소로부터 상기 시퀀스 내의 인근 사용자 요소로 천이시키게 하는 것인, 메모리 저장 장치.
  18. 제13항에 있어서,
    상기 명령어의 실행은 또한, 상기 주장치로 하여금, 상기 포인터 감응 디스플레이가 상기 포인터 감응 디스플레이의 에지로부터 내측 방향으로의 에지 스와이프 제스처를 검출하는 것에 응답하여, 상기 보조 애플리케이션 부분을 현재 애플리케이션의 제시로부터 이전에 제시된 애플리케이션의 제시로 천이시키게 하는 것인, 메모리 저장 장치.
  19. 제13항에 있어서, 상기 포인터 감응 디스플레이는 터치 감응 입력 장치를 포함하고;
    상기 명령어의 실행은 또한, 상기 주장치로 하여금, 상기 보조 애플리케이션 부분이 상기 애플리케이션의 풀 디스플레이 뷰(full-display view)를 제시하는 동안 상기 터치 감응 입력 장치가 적어도 3개의 손가락에 의해 행해진 핀치 제스처(pinch gesture)를 검출하는 것에 응답하여, 상기 애플리케이션의 풀 디스플레이 뷰를 상기 보조 애플리케이션 부분 내에서 부분 디스플레이 뷰로 축소시키게 하는 것인, 메모리 저장 장치.
  20. 제13항에 있어서, 상기 보조 장치는 터치 기능성이 없는 것인, 메모리 저장 장치.
KR1020177010927A 2014-09-24 2015-09-17 복수의 장치 상에 분할된 애플리케이션 제시 KR102393739B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/495,228 2014-09-24
US14/495,228 US10635296B2 (en) 2014-09-24 2014-09-24 Partitioned application presentation across devices
PCT/US2015/050664 WO2016048782A1 (en) 2014-09-24 2015-09-17 Partitioned application presentation across devices

Publications (2)

Publication Number Publication Date
KR20170058996A KR20170058996A (ko) 2017-05-29
KR102393739B1 true KR102393739B1 (ko) 2022-05-02

Family

ID=54261076

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177010927A KR102393739B1 (ko) 2014-09-24 2015-09-17 복수의 장치 상에 분할된 애플리케이션 제시

Country Status (13)

Country Link
US (1) US10635296B2 (ko)
EP (1) EP3198409B1 (ko)
JP (1) JP2017538178A (ko)
KR (1) KR102393739B1 (ko)
CN (1) CN107077348B (ko)
AR (1) AR102073A1 (ko)
AU (1) AU2015321766A1 (ko)
BR (1) BR112017003883A2 (ko)
CA (1) CA2961215A1 (ko)
MX (1) MX2017003524A (ko)
RU (1) RU2017109691A (ko)
TW (1) TW201626171A (ko)
WO (1) WO2016048782A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9769227B2 (en) 2014-09-24 2017-09-19 Microsoft Technology Licensing, Llc Presentation of computing environment on multiple devices
US20160088060A1 (en) * 2014-09-24 2016-03-24 Microsoft Technology Licensing, Llc Gesture navigation for secondary user interface
US10025684B2 (en) 2014-09-24 2018-07-17 Microsoft Technology Licensing, Llc Lending target device resources to host device computing environment
US10448111B2 (en) 2014-09-24 2019-10-15 Microsoft Technology Licensing, Llc Content projection
US11968380B2 (en) * 2016-06-29 2024-04-23 Intel Corporation Encoding and decoding video
US20180089879A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Synchronizing Display of Multiple Animations
US11385930B2 (en) * 2017-06-21 2022-07-12 Citrix Systems, Inc. Automatic workflow-based device switching
US10540215B2 (en) 2017-07-07 2020-01-21 Microsoft Technology Licensing, Llc Interoperability between a host application and an embedded target application
AU2019370178A1 (en) * 2018-10-29 2021-06-03 Commercial Streaming Solutions Inc. System and method for customizing information for display to multiple users via multiple displays
WO2021068115A1 (en) 2019-10-08 2021-04-15 Citrix Systems, Inc. Application and device recommendation engine
TWI810895B (zh) * 2022-04-14 2023-08-01 台達電子工業股份有限公司 人機介面的遠端操作方法及遠端操作系統
CN117234747A (zh) * 2022-06-06 2023-12-15 华为技术有限公司 控制跨设备应用的方法以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100064228A1 (en) 2008-09-11 2010-03-11 Ely Tsern Expandable system architecture comprising a handheld computer device that dynamically generates different user environments with secondary devices with displays of various form factors
US20110066971A1 (en) 2009-09-14 2011-03-17 Babak Forutanpour Method and apparatus for providing application interface portions on peripheral computing devices
US20130332846A1 (en) 2012-06-08 2013-12-12 Apple Inc. Extensible application state preservation architecture
US20140215347A1 (en) 2013-01-28 2014-07-31 Hon Hai Precision Industry Co., Ltd. Portable device and control method thereof

Family Cites Families (243)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856960B1 (en) 1997-04-14 2005-02-15 At & T Corp. System and method for providing remote automatic speech recognition and text-to-speech services via a packet network
US5880732A (en) 1997-04-29 1999-03-09 Telefonaktiebolaget L M Ericsson Publ. Apparatus enabling usage of external display monitor with a mobile telephone
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
GB0027260D0 (en) 2000-11-08 2000-12-27 Koninl Philips Electronics Nv An image control system
US20100005396A1 (en) 2000-02-18 2010-01-07 Nason D David Method and system for controlling a comlementary user interface on a display surface
US8903737B2 (en) 2000-04-25 2014-12-02 Accenture Global Service Limited Method and system for a wireless universal mobile product interface
EP1305793A2 (en) 2000-06-16 2003-05-02 Healthetech, Inc. Speech recognition capability for a personal digital assistant
SE522878C2 (sv) 2000-06-16 2004-03-16 Ericsson Telefon Ab L M Datakommunikationssystem
US6952676B2 (en) 2000-07-11 2005-10-04 Sherman William F Voice recognition peripheral device
US6748195B1 (en) 2000-09-29 2004-06-08 Motorola, Inc. Wireless device having context-based operational behavior
US20030018725A1 (en) 2000-10-20 2003-01-23 Tod Turner System and method for using an instant messaging environment to establish a hosted application sharing session
TW594556B (en) 2000-11-03 2004-06-21 Synq Technology Inc Computer system for displaying multiple window screens
US6915262B2 (en) 2000-11-30 2005-07-05 Telesector Resources Group, Inc. Methods and apparatus for performing speech recognition and using speech recognition results
WO2002082387A1 (en) 2001-04-04 2002-10-17 Microcell I5 Inc. Method and system for effecting an electronic transaction
JP2002323986A (ja) 2001-04-25 2002-11-08 Hitachi Ltd コンピュータリソース流通システム及び方法
FI111494B (fi) 2001-06-29 2003-07-31 Nokia Corp Langaton käyttöliittymän laajennus
US6941356B2 (en) 2001-06-29 2005-09-06 International Business Machines Corporation Automated configuration enabled via interrogation over network
US20030036927A1 (en) 2001-08-20 2003-02-20 Bowen Susan W. Healthcare information search system and user interface
US9268518B2 (en) 2011-09-27 2016-02-23 Z124 Unified desktop docking rules
US9405459B2 (en) 2011-08-24 2016-08-02 Z124 Unified desktop laptop dock software operation
US20130024778A1 (en) 2011-07-13 2013-01-24 Z124 Dynamic cross-environment application configuration/orientation
US6973535B2 (en) 2001-09-14 2005-12-06 Cornice, Inc. Digital device configuration and method
US7345671B2 (en) 2001-10-22 2008-03-18 Apple Inc. Method and apparatus for use of rotational user inputs
MXPA04008749A (es) 2002-03-08 2005-09-08 Revelations In Design Lp Aparato de control de dispositivo electrico.
US7010755B2 (en) 2002-04-05 2006-03-07 Microsoft Corporation Virtual desktop manager
US20030214458A1 (en) 2002-05-20 2003-11-20 Vladimir Giemborek Multiple display configuration
US7398209B2 (en) 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7733366B2 (en) 2002-07-01 2010-06-08 Microsoft Corporation Computer network-based, interactive, multimedia learning system and process
US20040138467A1 (en) 2002-11-26 2004-07-15 French Roger Harquail Aromatic and aromatic/heteroaromatic molecular structures with controllable electron conducting properties
CZ294898B6 (cs) 2002-12-16 2005-04-13 České Vysoké Učení Technické Fakulta Elektrotechnická Zapojení pro generování multiplikativní inverze nad konečným tělesem GF(p)
US7574691B2 (en) 2003-03-17 2009-08-11 Macrovision Corporation Methods and apparatus for rendering user interfaces and display information on remote client devices
US7840509B1 (en) 2003-03-26 2010-11-23 Edmund Messina Computer-based system for interrogating a user and generating a result
US8504936B2 (en) 2010-10-01 2013-08-06 Z124 Changing stack when swapping
US8150945B2 (en) 2003-09-22 2012-04-03 Broadcom Corporation Host arbitrated user interface resource sharing
US7209116B2 (en) 2003-10-08 2007-04-24 Universal Electronics Inc. Control device having integrated mouse and remote control capabilities
US7716273B2 (en) 2003-10-24 2010-05-11 Microsoft Corporation Systems and methods for projecting content from computing devices
US8028239B1 (en) 2003-12-19 2011-09-27 Microsoft Corporation Context-based management user interface supporting extensible subtractive filtering
BRPI0508923A (pt) 2004-03-17 2007-08-14 Qualcomm Inc equipamento e método de interface de alta taxa de dados
US7490295B2 (en) * 2004-06-25 2009-02-10 Apple Inc. Layer for accessing user interface elements
US7761800B2 (en) 2004-06-25 2010-07-20 Apple Inc. Unified interest layer for user interface
CN103365595B (zh) 2004-07-30 2017-03-01 苹果公司 用于触敏输入设备的手势
JP2006127279A (ja) 2004-10-29 2006-05-18 Hitachi Ltd 制御装置およびリソース制御方法
US7634780B2 (en) 2004-11-23 2009-12-15 Microsoft Corporation Method and system for exchanging data between computer systems and auxiliary displays
US20060203758A1 (en) 2005-03-11 2006-09-14 Samsung Electronics Co., Ltd. Mobile terminal for relaying multimedia data to an external display device
US7340686B2 (en) 2005-03-22 2008-03-04 Microsoft Corporation Operating system program launch menu search
US20060236255A1 (en) 2005-04-18 2006-10-19 Microsoft Corporation Method and apparatus for providing audio output based on application window position
US7529683B2 (en) 2005-06-29 2009-05-05 Microsoft Corporation Principals and methods for balancing the timeliness of communications and information delivery with the expected cost of interruption via deferral policies
EP2114041B1 (en) 2005-06-30 2013-05-01 Nokia Corporation Context-sensitive data handling
US9286388B2 (en) 2005-08-04 2016-03-15 Time Warner Cable Enterprises Llc Method and apparatus for context-specific content delivery
US8769408B2 (en) 2005-10-07 2014-07-01 Apple Inc. Intelligent media navigation
US7523226B2 (en) 2005-11-09 2009-04-21 Microsoft Corporation Controlling an auxiliary display user interface based on usage context
US7962552B2 (en) 2005-11-14 2011-06-14 Red Hat, Inc. Borrow and give back of windows
JP4876575B2 (ja) 2005-12-26 2012-02-15 カシオ計算機株式会社 シン・クライアント・システム、サーバ装置、及び端末装置
US9395905B2 (en) 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
US7620610B2 (en) 2006-06-27 2009-11-17 Microsoft Corporation Resource availability for user activities across devices
US7676761B2 (en) 2006-06-30 2010-03-09 Microsoft Corporation Window grouping
US8560956B2 (en) 2006-07-07 2013-10-15 International Business Machines Corporation Processing model of an application wiki
RU2417391C2 (ru) 2006-08-24 2011-04-27 Сименс Энерджи Энд Отомейшн, Инк. Устройства, системы и способы конфигурирования программируемого логического контроллера
JP5535634B2 (ja) 2006-09-29 2014-07-02 ユナイテッド ビデオ プロパティーズ， インコーポレイテッド 双方向メディアガイダンスアプリケーションのためのプロファイルの管理
CN101536520B (zh) 2006-09-29 2011-08-17 联合视频制品公司 交互式媒体指南应用程序的配置文件的管理
US7787870B2 (en) 2006-09-29 2010-08-31 Motorola, Inc. Method and system for associating a user profile to a caller identifier
US7937075B2 (en) 2006-10-06 2011-05-03 At&T Intellectual Property I, L.P. Mode changing of a mobile communications device and vehicle settings when the mobile communications device is in proximity to a vehicle
US20080084400A1 (en) 2006-10-10 2008-04-10 Outland Research, Llc Touch-gesture control of video media play on handheld media players
US8354997B2 (en) 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
KR100816498B1 (ko) 2006-12-07 2008-03-24 한국전자통신연구원 표면 처리된 층을 포함하는 유기 인버터 및 그 제조 방법
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US8861898B2 (en) 2007-03-16 2014-10-14 Sony Corporation Content image search
JP4428578B2 (ja) 2007-03-28 2010-03-10 日本電信電話株式会社 無線通信システムおよび無線通信方法
US20080248834A1 (en) 2007-04-03 2008-10-09 Palm, Inc. System and methods for providing access to a desktop and applications of a mobile device
US20080250424A1 (en) 2007-04-04 2008-10-09 Ms1 - Microsoft Corporation Seamless Window Implementation for Windows Presentation Foundation based Applications
US8032472B2 (en) 2007-04-04 2011-10-04 Tuen Solutions Limited Liability Company Intelligent agent for distributed services for mobile devices
AU2008258253A1 (en) 2007-06-07 2008-12-11 E-Lane Systems Inc. A host controlling an interfaced PDA's applications directly
US20090006660A1 (en) 2007-06-28 2009-01-01 Microsoft Corporation Aggregation of devices for a multimedia communication session
US11126321B2 (en) * 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
US8943425B2 (en) 2007-10-30 2015-01-27 Google Technology Holdings LLC Method and apparatus for context-aware delivery of informational content on ambient displays
US8185539B1 (en) 2008-08-12 2012-05-22 Foneweb, Inc. Web site or directory search using speech recognition of letters
US8161403B2 (en) * 2007-12-05 2012-04-17 International Business Machines Corporation Returning passed objects in a surface based computing environment using a virtual bungee
US9767681B2 (en) 2007-12-12 2017-09-19 Apple Inc. Handheld electronic devices with remote control functionality and gesture recognition
US8194037B2 (en) 2007-12-14 2012-06-05 Apple Inc. Centering a 3D remote controller in a media system
US8418072B1 (en) 2007-12-24 2013-04-09 Emc Corporation UI data model abstraction
TW200930026A (en) 2007-12-31 2009-07-01 High Tech Comp Corp Method switching profiles in a mobile device
US9448814B2 (en) 2008-02-19 2016-09-20 Google Inc. Bridge system for auxiliary display devices
US9513704B2 (en) 2008-03-12 2016-12-06 Immersion Corporation Haptically enabled user interface
US20090248737A1 (en) 2008-03-27 2009-10-01 Microsoft Corporation Computing environment representation
EP2265043B1 (en) 2008-03-31 2018-01-10 Fujitsu Limited Receiving device, transmitting device, receiving method, and transmitting method
US20090284476A1 (en) 2008-05-13 2009-11-19 Apple Inc. Pushing a user interface to a remote device
US9311115B2 (en) 2008-05-13 2016-04-12 Apple Inc. Pushing a graphical user interface to a remote device with display rules provided by the remote device
US20100138780A1 (en) 2008-05-20 2010-06-03 Adam Marano Methods and systems for using external display devices with a mobile computing device
JP5292948B2 (ja) 2008-06-30 2013-09-18 富士通株式会社 表示及び入力機能を備えた装置
US8520000B2 (en) 2008-07-02 2013-08-27 Icharts, Inc. Creation, sharing and embedding of interactive charts
US8312032B2 (en) 2008-07-10 2012-11-13 Google Inc. Dictionary suggestions for partial user entries
US20100060588A1 (en) 2008-09-09 2010-03-11 Microsoft Corporation Temporally separate touch input
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US8538324B2 (en) 2009-02-03 2013-09-17 Sony Corporation Mobile phone dock for TV
US9241062B2 (en) 2009-05-20 2016-01-19 Citrix Systems, Inc. Methods and systems for using external display devices with a mobile computing device
US20100304783A1 (en) 2009-05-29 2010-12-02 Logan James R Speech-driven system with headset
WO2010141601A2 (en) 2009-06-02 2010-12-09 Schneider Electric USA, Inc. Methods of integrating multiple management domains
KR101566353B1 (ko) 2009-06-02 2015-11-05 엘지전자 주식회사 이동 단말기 및 이동 단말기의 정보 표시 방법
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
KR101498078B1 (ko) 2009-09-02 2015-03-03 엘지전자 주식회사 이동 단말기 및 디지털 액자 및 그 제어 방법
US20110126119A1 (en) 2009-11-20 2011-05-26 Young Daniel J Contextual presentation of information
KR20110058975A (ko) 2009-11-27 2011-06-02 삼성전자주식회사 슬라이딩형 휴대용 단말기
US9865263B2 (en) 2009-12-01 2018-01-09 Nuance Communications, Inc. Real-time voice recognition on a handheld device
US20110145817A1 (en) 2009-12-16 2011-06-16 Grzybowski Carl E Adaptive virtual environment management system
US9465532B2 (en) 2009-12-18 2016-10-11 Synaptics Incorporated Method and apparatus for operating in pointing and enhanced gesturing modes
US8661361B2 (en) 2010-08-26 2014-02-25 Sitting Man, Llc Methods, systems, and computer program products for navigating between visual components
US20110185369A1 (en) 2010-01-25 2011-07-28 Canon Kabushiki Kaisha Refresh of auxiliary display
US9009219B2 (en) 2010-01-27 2015-04-14 Vmware, Inc. Native viewer use for service results from a remote desktop
US20110231796A1 (en) 2010-02-16 2011-09-22 Jose Manuel Vigil Methods for navigating a touch screen device in conjunction with gestures
US20110214162A1 (en) 2010-02-26 2011-09-01 Nokia Corporation Method and appartus for providing cooperative enablement of user input options
US8589936B2 (en) 2010-03-16 2013-11-19 Alcatel Lucent Method and apparatus for managing reallocation of system resources
US8463908B2 (en) 2010-03-16 2013-06-11 Alcatel Lucent Method and apparatus for hierarchical management of system resources
US8634873B2 (en) 2010-03-17 2014-01-21 Microsoft Corporation Mobile communication device having multiple, interchangeable second devices
EP2553561A4 (en) 2010-04-01 2016-03-30 Citrix Systems Inc INTERACTION WITH REMOTE APPLICATIONS DISPLAYED ON A VIRTUAL DESKTOP OF A TABLET COMPUTER DEVICE
CN101835020A (zh) 2010-04-20 2010-09-15 惠州Tcl移动通信有限公司 手机与电视机通信的方法及装置
US9998580B2 (en) 2010-04-26 2018-06-12 Hu-Do Ltd. Computing device operable to work in conjunction with a companion electronic device
US8930439B2 (en) 2010-04-30 2015-01-06 Nokia Corporation Method and apparatus for providing cooperative user interface layer management with respect to inter-device communications
US8266551B2 (en) 2010-06-10 2012-09-11 Nokia Corporation Method and apparatus for binding user interface elements and granular reflective processing
US8817642B2 (en) 2010-06-25 2014-08-26 Aliphcom Efficient pairing of networked devices
GB201011146D0 (en) 2010-07-02 2010-08-18 Vodafone Ip Licensing Ltd Mobile computing device
US9134799B2 (en) 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
US20120050183A1 (en) 2010-08-27 2012-03-01 Google Inc. Switching display modes based on connection state
US8453186B2 (en) 2010-09-15 2013-05-28 At&T Intellectual Property I, L.P. Method and system for remote control
US8711552B2 (en) 2010-10-06 2014-04-29 Compal Electronics Inc. Modular system having expandable form factor
US8782240B2 (en) 2010-10-18 2014-07-15 Avaya Inc. Resource allocation using shared resource pools
US20120095643A1 (en) 2010-10-19 2012-04-19 Nokia Corporation Method, Apparatus, and Computer Program Product for Modifying a User Interface Format
US8549425B2 (en) 2010-12-02 2013-10-01 Sony Corporation Visual treatment for a user interface in a content integration framework
WO2012079153A1 (en) 2010-12-15 2012-06-21 Userful Corporation Multiple user computing method and system for same
KR101821197B1 (ko) 2010-12-21 2018-01-23 엘지전자 주식회사 이동단말기 및 그 제어방법
US8958018B2 (en) * 2010-12-22 2015-02-17 Google Technology Holdings LLC Remote control device and method for controlling operation of a media display system
KR101662726B1 (ko) 2010-12-29 2016-10-14 삼성전자주식회사 전자 기기의 스크롤 방법 및 장치
US8793730B2 (en) 2010-12-30 2014-07-29 Yahoo! Inc. Entertainment companion content application for interacting with television content
WO2012093964A1 (en) * 2011-01-05 2012-07-12 Razer (Asia-Pacific) Pte Ltd Systems and methods for managing, selecting, and updating visual interface content using display-enabled keyboards, keypads, and/or other user input devices
JP5102899B2 (ja) 2011-01-11 2012-12-19 シャープ株式会社 映像表示装置および映像表示方法
US8963799B2 (en) 2011-01-11 2015-02-24 Apple Inc. Mirroring graphics content to an external display
US20120209413A1 (en) 2011-02-14 2012-08-16 Microsoft Corporation Background Audio on Mobile Devices
AT512381B1 (de) 2011-03-18 2018-12-15 Dipl Ing Cebrat Gerfried Fensterbalken (Fensterläden) mit beidseitig ausstellbaren Solarpanelen
EP2509292A1 (en) 2011-04-06 2012-10-10 Research In Motion Limited Remote user input
US20120266079A1 (en) 2011-04-18 2012-10-18 Mark Lee Usability of cross-device user interfaces
WO2012144632A1 (ja) 2011-04-20 2012-10-26 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体
US9239837B2 (en) 2011-04-29 2016-01-19 Logitech Europe S.A. Remote control system for connected devices
US20120282914A1 (en) 2011-05-06 2012-11-08 Lael Andrew Alexander Smart phone companion loop
US9167020B2 (en) 2011-06-10 2015-10-20 Microsoft Technology Licensing, Llc Web-browser based desktop and application remoting solution
GB2492789B (en) * 2011-07-12 2018-01-03 Denso Corp Displays
US20130018659A1 (en) 2011-07-12 2013-01-17 Google Inc. Systems and Methods for Speech Command Processing
US20130027315A1 (en) 2011-07-25 2013-01-31 Arther Sing Hook Teng Techniques to display an input device on a mobile device
US20130031261A1 (en) 2011-07-29 2013-01-31 Bradley Neal Suggs Pairing a device based on a visual code
US10162491B2 (en) 2011-08-12 2018-12-25 Otoy Inc. Drag and drop of objects between applications
RU2014110393A (ru) 2011-08-19 2015-09-27 Эппл Инк. Интерактивное содержимое для цифровых книг
US9542148B2 (en) 2011-08-24 2017-01-10 Lenovo (Singapore) Pte. Ltd. Adapting a user interface of a remote desktop host
US20130050222A1 (en) 2011-08-25 2013-02-28 Dov Moran Keyboard with embedded display
US20130057572A1 (en) 2011-09-07 2013-03-07 Microsoft Corporation Multiple Display Device Taskbars
US9712847B2 (en) 2011-09-20 2017-07-18 Microsoft Technology Licensing, Llc Low-complexity remote presentation session encoder using subsampling in color conversion space
US20130076654A1 (en) 2011-09-27 2013-03-28 Imerj LLC Handset states and state diagrams: open, closed transitional and easel
US20130103770A1 (en) 2011-10-25 2013-04-25 Microsoft Corporation Distributed semi-synchronized event driven playback of multimedia
WO2013067526A1 (en) 2011-11-04 2013-05-10 Remote TelePointer, LLC Method and system for user interface for interactive devices using a mobile device
DE112012004778T5 (de) 2011-11-16 2014-08-07 Flextronics Ap, Llc Universeller Bus im Auto
KR20130062436A (ko) 2011-11-21 2013-06-13 한국전자통신연구원 소셜 활동을 이용한 소셜 네트워크 서비스 제공 방법, 장치 및 시스템
US9448811B2 (en) 2011-11-23 2016-09-20 Freescale Semiconductor, Inc. Microprocessor device, and method of managing reset events therefor
CN103975634B (zh) 2011-12-02 2018-07-13 诺基亚技术有限公司 用于在无线设备之间共享通信的方法和装置
US9164649B2 (en) 2011-12-07 2015-10-20 Blackberry Limited Presenting context information in a computing device
CN102541546A (zh) 2011-12-22 2012-07-04 深圳市万兴软件有限公司 一种文件动画显示方法和装置
WO2013098308A1 (en) 2011-12-29 2013-07-04 Koninklijke Kpn N.V. Method and system for content distribution
US20130179838A1 (en) 2012-01-05 2013-07-11 Microsoft Corporation Maintanence of terminated applications within the backstack
US9032292B2 (en) 2012-01-19 2015-05-12 Blackberry Limited Simultaneous display of multiple maximized applications on touch screen electronic devices
CN104220974A (zh) 2012-01-25 2014-12-17 汤姆逊许可公司 使用触摸感应设备的方向控制
US8515413B1 (en) 2012-02-02 2013-08-20 Google Inc. Controlling a target device using short-range communication
KR101900319B1 (ko) * 2012-02-07 2018-09-19 삼성전자 주식회사 서비스 연동 수행 방법과 이를 위한 시스템
US10209954B2 (en) 2012-02-14 2019-02-19 Microsoft Technology Licensing, Llc Equal access to speech and touch input
US9734468B2 (en) 2012-02-21 2017-08-15 Nice Ltd. System and method for resolving customer communications
EP2632131A1 (en) 2012-02-21 2013-08-28 Research In Motion Limited Method, apparatus, and system for providing a shared user interface
US9081498B2 (en) 2012-02-24 2015-07-14 Blackberry Limited Method and apparatus for adjusting a user interface to reduce obscuration
WO2013144807A1 (en) 2012-03-26 2013-10-03 Primesense Ltd. Enhanced virtual touchpad and touchscreen
KR101901720B1 (ko) 2012-04-02 2018-11-13 삼성전자주식회사 더미 장치와의 연동 방법 및 그 전자 장치
US20130276015A1 (en) 2012-04-17 2013-10-17 Cox Communications, Inc. Virtual set-top boxes
KR101952682B1 (ko) 2012-04-23 2019-02-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8923760B2 (en) 2012-04-26 2014-12-30 Qualcomm Incorporated Orientational collaboration of data between multiple devices
US9582755B2 (en) 2012-05-07 2017-02-28 Qualcomm Incorporated Aggregate context inferences using multiple context streams
GB2502082B (en) 2012-05-15 2014-04-16 Displaylink Uk Ltd A display system
US20130331116A1 (en) 2012-06-06 2013-12-12 Microsoft Corporation Transmitting initiation details from a mobile device
US9674331B2 (en) 2012-06-08 2017-06-06 Apple Inc. Transmitting data from an automated assistant to an accessory
US20130328667A1 (en) 2012-06-10 2013-12-12 Apple Inc. Remote interaction with siri
JP5877374B2 (ja) 2012-06-13 2016-03-08 パナソニックＩｐマネジメント株式会社 操作表示装置、プログラム
US20130335340A1 (en) 2012-06-19 2013-12-19 International Business Machines Corporation Controlling display of images received from secondary display devices
US20130347018A1 (en) 2012-06-21 2013-12-26 Amazon Technologies, Inc. Providing supplemental content with active media
US9268424B2 (en) 2012-07-18 2016-02-23 Sony Corporation Mobile client device, operation method, recording medium, and operation system
KR20140011857A (ko) 2012-07-20 2014-01-29 삼성전자주식회사 이동 단말에서 디스플레이 장치의 디스플레이를 제어하기 위한 방법 및 이를 위한 이동 단말
KR101971624B1 (ko) 2012-07-25 2019-04-23 삼성전자주식회사 이동 단말의 정보 표시 방법, 디스플레이 장치의 정보 제공 방법, 이동 단말의 제어 신호 생성 방법
KR102003938B1 (ko) 2012-08-10 2019-07-25 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
WO2014038918A1 (en) 2012-09-10 2014-03-13 Samsung Electronics Co., Ltd. Method for connecting mobile terminal and external display and apparatus implementing the same
EP2712152B1 (en) 2012-09-24 2016-09-14 Denso Corporation Method and Device
JP5969340B2 (ja) 2012-09-24 2016-08-17 株式会社日立システムズ リソース管理システム、リソース管理方法及びリソース管理プログラム
FR2996086B1 (fr) 2012-09-25 2014-10-24 Kadrige Procede de presentation a distance entre au moins deux terminaux connectes a travers un reseau
US9007426B2 (en) 2012-10-04 2015-04-14 Blackberry Limited Comparison-based selection of video resolutions in a video call
KR102083918B1 (ko) * 2012-10-10 2020-03-04 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
KR101919794B1 (ko) 2012-10-17 2018-11-19 엘지전자 주식회사 이동 단말기, 방송 단말기 및 이들의 제어 방법
US20140118222A1 (en) 2012-10-30 2014-05-01 Cloudcar, Inc. Projection of content to external display devices
US20140129695A1 (en) 2012-11-02 2014-05-08 Gface Gmbh Connected devices
US20160261921A1 (en) 2012-11-21 2016-09-08 Dante Consulting, Inc Context based shopping capabilities when viewing digital media
US9659298B2 (en) 2012-12-11 2017-05-23 Nuance Communications, Inc. Systems and methods for informing virtual agent recommendation
US20140173529A1 (en) 2012-12-14 2014-06-19 Barnesandnoble.Com Llc Circular gesture for touch sensitive ui control feature
US9613011B2 (en) 2012-12-20 2017-04-04 Cable Television Laboratories, Inc. Cross-reference of shared browser applications
US20140181715A1 (en) 2012-12-26 2014-06-26 Microsoft Corporation Dynamic user interfaces adapted to inferred user contexts
US20140218289A1 (en) 2013-02-06 2014-08-07 Motorola Mobility Llc Electronic device with control interface and methods therefor
US20140229858A1 (en) 2013-02-13 2014-08-14 International Business Machines Corporation Enabling gesture driven content sharing between proximate computing devices
US9672822B2 (en) 2013-02-22 2017-06-06 Next It Corporation Interaction with a portion of a content item through a virtual assistant
US9172747B2 (en) 2013-02-25 2015-10-27 Artificial Solutions Iberia SL System and methods for virtual assistant networks
US9344868B2 (en) 2013-02-25 2016-05-17 Here Global B.V. Method and apparatus for contextual content and service forwarding for mobile devices
CN104035565A (zh) 2013-03-04 2014-09-10 腾讯科技（深圳）有限公司 输入方法、输入装置、辅助输入方法及辅助输入系统
US20140267074A1 (en) 2013-03-14 2014-09-18 Qualcomm Incorporated System and method for virtual user interface controls in multi-display configurations
US9357250B1 (en) 2013-03-15 2016-05-31 Apple Inc. Multi-screen video user interface
US20140282103A1 (en) * 2013-03-16 2014-09-18 Jerry Alan Crandall Data sharing
US9965174B2 (en) 2013-04-08 2018-05-08 Rohde & Schwarz Gmbh & Co. Kg Multitouch gestures for a measurement system
WO2014168984A1 (en) 2013-04-08 2014-10-16 Scott Andrew C Media capture device-based organization of multimedia items including unobtrusive task encouragement functionality
JP2014229272A (ja) 2013-05-27 2014-12-08 株式会社東芝 電子機器
US20140365336A1 (en) 2013-06-07 2014-12-11 Bby Solutions, Inc. Virtual interactive product display with mobile device interaction
US9440143B2 (en) 2013-07-02 2016-09-13 Kabam, Inc. System and method for determining in-game capabilities based on device information
WO2015009415A1 (en) 2013-07-17 2015-01-22 LotusFlare, Inc. Systems and methods for providing mobile applications to users at a predetermined data rate
CN103412712A (zh) 2013-07-31 2013-11-27 天脉聚源(北京)传媒科技有限公司 一种功能菜单的选择方法和装置
US20150066897A1 (en) 2013-08-27 2015-03-05 eweware, inc. Systems and methods for conveying passive interest classified media content
KR102034587B1 (ko) 2013-08-29 2019-10-21 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US9507482B2 (en) 2013-10-07 2016-11-29 Narsys, LLC Electronic slide presentation controller
US20150103015A1 (en) 2013-10-10 2015-04-16 Blackberry Limited Devices and methods for generating tactile feedback
US9912724B2 (en) * 2013-12-06 2018-03-06 Vmware, Inc. Moving objects of a remote desktop in unstable network environments
US9721570B1 (en) 2013-12-17 2017-08-01 Amazon Technologies, Inc. Outcome-oriented dialogs on a speech recognition platform
US20150169550A1 (en) 2013-12-17 2015-06-18 Lenovo Enterprise Solutions (Singapore) Pte, Ltd. Translation Suggestion
US20150268807A1 (en) 2014-03-19 2015-09-24 Google Inc. Adjusting a size of an active region within a graphical user interface
US20150324067A1 (en) 2014-05-07 2015-11-12 Honda Motor Co., Ltd. Vehicle infotainment gateway - multi-application interface
US9244748B2 (en) 2014-06-04 2016-01-26 International Business Machines Corporation Operating system user activity profiles
US10782787B2 (en) 2014-06-06 2020-09-22 Adobe Inc. Mirroring touch gestures
US9812056B2 (en) 2014-06-24 2017-11-07 Google Inc. Display resolution negotiation
US9729591B2 (en) 2014-06-24 2017-08-08 Yahoo Holdings, Inc. Gestures for sharing content between multiple devices
US20160070580A1 (en) 2014-09-09 2016-03-10 Microsoft Technology Licensing, Llc Digital personal assistant remote invocation
US20160085698A1 (en) 2014-09-24 2016-03-24 Microsoft Corporation Device-specific user context adaptation of computing environment
US10448111B2 (en) 2014-09-24 2019-10-15 Microsoft Technology Licensing, Llc Content projection
US9769227B2 (en) 2014-09-24 2017-09-19 Microsoft Technology Licensing, Llc Presentation of computing environment on multiple devices
US20160088060A1 (en) 2014-09-24 2016-03-24 Microsoft Technology Licensing, Llc Gesture navigation for secondary user interface
US20160085430A1 (en) 2014-09-24 2016-03-24 Microsoft Corporation Adapting user interface to interaction criteria and component properties
US10025684B2 (en) 2014-09-24 2018-07-17 Microsoft Technology Licensing, Llc Lending target device resources to host device computing environment
US20160085396A1 (en) 2014-09-24 2016-03-24 Microsoft Corporation Interactive text preview
US9678640B2 (en) 2014-09-24 2017-06-13 Microsoft Technology Licensing, Llc View management architecture
US9860306B2 (en) 2014-09-24 2018-01-02 Microsoft Technology Licensing, Llc Component-specific application presentation histories

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100064228A1 (en) 2008-09-11 2010-03-11 Ely Tsern Expandable system architecture comprising a handheld computer device that dynamically generates different user environments with secondary devices with displays of various form factors
US20110066971A1 (en) 2009-09-14 2011-03-17 Babak Forutanpour Method and apparatus for providing application interface portions on peripheral computing devices
US20130332846A1 (en) 2012-06-08 2013-12-12 Apple Inc. Extensible application state preservation architecture
US20140215347A1 (en) 2013-01-28 2014-07-31 Hon Hai Precision Industry Co., Ltd. Portable device and control method thereof

Also Published As

Publication number Publication date
BR112017003883A2 (pt) 2017-12-05
EP3198409B1 (en) 2021-01-20
CN107077348A (zh) 2017-08-18
US10635296B2 (en) 2020-04-28
RU2017109691A (ru) 2018-09-24
US20160085439A1 (en) 2016-03-24
KR20170058996A (ko) 2017-05-29
AU2015321766A1 (en) 2017-03-09
AR102073A1 (es) 2017-02-01
EP3198409A1 (en) 2017-08-02
CA2961215A1 (en) 2016-03-31
WO2016048782A1 (en) 2016-03-31
MX2017003524A (es) 2017-06-21
CN107077348B (zh) 2021-06-18
JP2017538178A (ja) 2017-12-21
TW201626171A (zh) 2016-07-16

Similar Documents

Publication Publication Date Title
KR102393739B1 (ko) 복수의 장치 상에 분할된 애플리케이션 제시
US10277649B2 (en) Presentation of computing environment on multiple devices
US11494010B2 (en) Touch support for remoted applications
US11726736B2 (en) System to facilitate interaction during a collaborative screen sharing session
KR102033198B1 (ko) 제스처 또는 터치를 통해 사용자 인터페이스를 제어하는 최적화 기법
US20210141586A1 (en) Selective electronic content casting
US10750226B2 (en) Portal to an external display
US9769437B2 (en) Displaying shared content on an overlapping region in a display

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant