KR102118275B1 - 이머시브 애플리케이션으로서의 데스크탑 - Google Patents

이머시브 애플리케이션으로서의 데스크탑 Download PDF

Info

Publication number
KR102118275B1
KR102118275B1 KR1020187022045A KR20187022045A KR102118275B1 KR 102118275 B1 KR102118275 B1 KR 102118275B1 KR 1020187022045 A KR1020187022045 A KR 1020187022045A KR 20187022045 A KR20187022045 A KR 20187022045A KR 102118275 B1 KR102118275 B1 KR 102118275B1
Authority
KR
South Korea
Prior art keywords
shell
desktop
immersive
desktop shell
techniques
Prior art date
Application number
KR1020187022045A
Other languages
English (en)
Other versions
KR20180088931A (ko
Inventor
브라이언 에스 레비
제시 클레이 새터필드
차이탄야 데브 사린
제니퍼 낸
패트릭스 엘 마이너
앨리스 피 스타인글라스
츠즈 얀 웡
제이슨 디 판스워스
테레사 비 피타필리
레이몬드 제이 첸
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20180088931A publication Critical patent/KR20180088931A/ko
Application granted granted Critical
Publication of KR102118275B1 publication Critical patent/KR102118275B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Abstract

이머시브(immersive) 애플리케이션 기법으로서의 데스크탑이 기술된다. 하나 이상의 실시예에서, 이머시브 환경 모듈은 이머시브 쉘(immersive shell)을 제공하도록 구성되고, 이 이머시브 쉘을 통해 사용자는 컴퓨팅 장치의 애플리케이션들과 상호작용할 수 있다. 이머시브 환경 모듈은 컴퓨팅 장치의 애플리케이션과 상호작용하기 위한 추가의 기법들을 지원하도록 이머시브 쉘 내에 데스크탑 쉘을 제공하도록 더 구성된다. 이 데스크탑 쉘은 예를 들어 이머시브 쉘 내에서 애플리케이션에 제공된 것과 유사한 접근성(accessibility)을 제공하도록 구성될 수 있다.

Description

이머시브 애플리케이션으로서의 데스크탑{DESKTOP AS IMMERSIVE APPLICATION}
사용자는 다양한 구성을 취할 수 있는 컴퓨팅 시스템에 대한 액세스를 갖는다. 예를 들어, 전통적으로 일반 사용자에게 이용가능했던 최초의 컴퓨팅 장치들은 데스크탑 개인용 컴퓨터로서 구성되었다. 사용자는 전형적으로 모니터 상의 데이터를 보기 위해 이들 최초의 컴퓨터들과 키보드를 사용하여 그리고 이후에는 마우스를 사용하여 상호작용하였다.
사용자들이 점점 다양한 상황에서 컴퓨팅 장치들과 상호작용하기를 희망함에 따라 이들 컴퓨팅 장치들은 지속적으로 발전하였다. 그러한 컴퓨팅 장치에 대한 하나의 예는 기본적인 전화 기능에서 애플리케이션을 구동시킬 수 있는 능력까지 발전한 이동 전화기였다. 또 다른 예는 태블릿으로도 지칭될 수 있는 슬레이트 컴퓨터이다. 이들 예 모두는 상호작용 동안 사용자에 의해 쥐어지도록 구성되고, 따라서 기술들은 이 구성을 다루도록 발전하였다.
그러나, 컴퓨팅 장치들의 서로 다른 구성으로 인해, 상호작용을 위해 다양한 서로 다른 기법들이 이용될 수 있다. 따라서, 전형적인 사용자조차도 장치의 일치하는(matching) 기능을 사용할지라도 광범위하고 상이한 기술들에 맞닥뜨리게 되는데, 이는 사용자의 불편함을 야기하고 심지어 사용자가 상이한 구성을 갖는 컴퓨팅 장치의 사용을 포기하도록 할 수 있다.
요약
이머시브(immersive) 애플리케이션 기법으로서의 데스크탑이 기술된다. 하나 이상의 실시예에서, 이머시브 환경 모듈은 이머시브 쉘(immersive shell)을 제공하도록 구성되고, 이 이머시브 쉘을 통해 사용자는 컴퓨팅 장치의 애플리케이션들과 상호작용할 수 있다. 이머시브 환경 모듈은 컴퓨팅 장치의 애플리케이션과 상호작용하기 위한 추가의 기법들을 지원하도록 이머시브 쉘 내에 데스크탑 쉘을 제공하도록 더 구성된다. 이 데스크탑 쉘은 예를 들어 이머시브 쉘 내에서 애플리케이션에 제공된 것과 유사한 접근성(accessibility)을 제공하도록 구성될 수 있다.
본 요약부는 이하 발명의 상세한 설명에서 보다 자세히 기술될 개념들 중 선택된 것들을 단순화된 형식으로 소개하기 위해 제공되는 것이다. 본 요약부는 청구항에 기재된 청구대상의 주된 사항 또는 핵심 사항을 밝히기 위한 것이 아니며, 청구항에 기재된 청구대상의 범위를 한정하기 위한 것은 더더욱 아니다.
상세한 설명은 첨부한 도면을 참조하여 설명된다. 도면에서, 참조 번호의 맨 왼쪽의 숫자는 참조번호가 맨 처음 등장하는 도면을 나타낸다. 상세한 설명 및 도면에서 상이한 예에서 동일한 참조 번호의 사용은 유사한 또는 동일한 항목을 가리킬 수 있다.
도 1은 본 명세서에서 설명되는 이머시브 쉘 기법을 구현하도록 동작가능한 예시적인 실시예에서의 환경을 나타내는 도면.
도 2는 타일들로서 구성된 애플리케이션들의 표현들(representations)의 선택을 통해 이머시브 쉘에서의 애플리케이션의 런칭을 지원하는 것으로서 도 1의 컴퓨팅 장치의 예시적인 구현에서의 시스템을 나타내는 도면.
도 3은 이머시브 애플리케이션으로서의 데스크탑 쉘과 소셜 네트워크 쉘로부터 데이터를 출력하는 이머시브 쉘의 예시적인 실시예를 나타내는 도면,
도 4는 도 3의 이머시브 환경 내에서 1차 영역(primary region)에 디스플레이하기 위해 2차 영역(secondary region)으로부터 데스크탑 쉘을 선택한 결과가 도시되어 있는 예시적인 구현을 나타내는 도면,
도 5는 이머시브 쉘 내에서 데스크탑 쉘로부터 애플리케이션으로 네비게이팅하기 위해 도 4의 사용자 인터페이스가 스크롤링되는 예시적인 실시예를 나타내는 도면,
도 6은 이머시브 쉘 내에서 데스크탑 쉘과 애플리케이션 간에 네비게이팅하기 위한 기법이 이용되는 또 다른 예시적인 실시예를 나타내는 도면,
도 7은 이머시브 쉘 내에서 데스크탑 쉘과 애플리케이션 간에 네비게이팅하기 위한 도 6의 기법의 결과가 도시되어 있는 또 다른 예시적인 실시예를 나타내는 도면,
도 8은 이머시브 쉘 내의 대응하는 선택에 대해 구현될 수 있는 커맨드들을 전체로서 갖는 메뉴가 출력되는 예시적인 실시예를 나타내는 도면,
도 9는 이머시브 쉘 내에서 데스크탑 쉘이 동시에 디스플레이되는 예시적인 실시예에서의 절차를 나타내는 흐름도,
도 10은 애플리케이션과 데스크탑 쉘 사이에서 네비게이팅하기 위해 이머시브 쉘을 통한 네비게이션이 수행되는 예시적인 실시예에서의 절차를 나타내는 흐름도,
도 11은 애플리케이션을 나타내는 타일 및 데스크탑 쉘을 나타내는 타일을 포함하는 이머시브 쉘의 시작 화면이 디스플레이되는 예시적인 실시예에서의 절차를 나타내는 흐름도,
도 12는 이머시브 쉘이 1차 영역, 2차 영역을 포함하고 어느 한 부분에서 데스크탑 쉘로부터 생성된 데이터를 디스플레이 및 이동시키도록 구성된 예시적인 실시예에서의 절차를 나타내는 흐름도,
도 13은 데스크탑 쉘의 실행이 이머시브 쉘 내에서 런칭되는 예시적인 실시예에서의 절차를 나타내는 흐름도,
도 14는 제1 쉘로부터의 통지가 제2 쉘에 디스플레이되는 예시적인 실시예에서의 절차를 나타내는 흐름도,
도 15는 애플리케이션 및 데스크탑 쉘에 전체적으로 적용될 수 있는 커맨드들의 메뉴가 디스플레이되는 예시적인 실시예에서의 절차를 나타내는 흐름도,
도 16은 도 1을 참조하여 기술된 컴퓨팅 장치를 포함하는 예시적인 시스템을 나태는 도면,
도 17은 본 명세서에서 기술된 다양한 실시예들을 구현하는 데 사용될 수 있는 예시적인 컴퓨팅 장치를 도시한다.
개요
사용자가 일상적인 날에도 상호작용하는 컴퓨팅 장치들의 다양성이 급속히 성장하고 있다. 그러나, 사용자가 장치와 상호작용할 때 이용되는 종래의 기술들은 흔히 이들 구성에 최적화되었다. 따라서, 일치하는 기능에 액세스할 때에도 상이한 컴퓨팅 장치 구성에 의해 상이한 기술들이 이용될 수 있다. 또한, 새로운 구성의 개발은 사용자가 장치와 상호작용할 수 있는 새로운 방식으로 인해 사용자를 혼란스럽게 할 수 있고, 이는 심지어 사용자가 익숙하지 않은 장치 구성과의 상호작용을 포기하게 할 수 있다.
이머시브 애플리케이션으로서의 데스크탑이 기술된다. 하나 이상의 실시예에서, 운영 시스템은 이머시브 쉘을 지원할 수 있는데, 이 이머시브 쉘을 통해 사용자는 애플리케이션과 상호작용할 수 있고 따라서 그 쉘을 구현하는 컴퓨팅 장치의 데이터와 상호작용할 수 있다. 예를 들어, 이머시브 쉘은 디스플레이 장치의 디스플레이 영역 중 많은 부분을 소비하고 "크롬"(예를 들어, 메뉴 바와 같은 제어들의 표현들)의 사용을 제한하고 심지어 포기시키고, 슬레이트 컴퓨터 구성 및 전통적인 데스크탑 컴퓨터와 같은 다른 구성에 매우 적합할 수 있는 스크롤링 및 네비게이션 기법을 지원하도록 구성될 수 있다.
운영 시스템은 폴더, 아이콘 등을 포함하는 윈도우를 사용하는 계층적 파일 시스템을 통한 네비게이션에 적합하게 구성된 데스크탑 쉘을 지원할 수 있다. 이 예에서, 데스크탑 쉘은 이머시브 쉘 내에서 다른 애플리케이션이 액세스되는 방식과 유사하게 이머시브 쉘 내에서 액세스가능하다. 따라서, 데스크탑 쉘의 기능은 이머시브 쉘을 통해 쉽게 액세스가능하여 컴퓨팅 장치의 애플리케이션 및 파일을 통해 네비게이팅하기 위한 다양한 상이한 기법을 사용자에게 제공할 수 있다. 예를 들어, 사용자는 슬레이트 컴퓨터의 구성의 컴퓨팅 장치를 사용하여 애플리케이션을 액세스하기 위해 이머시브 쉘과 상호작용할 수 있고 사용자가 쉽게 이해하는 전통적인 방식으로 다른 기능에 대한 액세스를 얻기 위해 데스크탑을 액세스할 수 있다. 또한, 이들 기법은 컴퓨팅 장치의 리소스를 효율적으로 관리하는데 이용될 수 있다. 예를 들어, 이들 기법은 이머시브 쉘을 통해 데스크탑 쉘을 액세스하는 경우 추가적인 리소스에 대한 액세스를 제공하면서 이머시브 쉘 내에서 리소스(예를 들어, 전력, 프로세싱 및 메모리)를 보존하는데 사용될 수 있다. 또한, 이머시브 애플리케이션으로서의 데스크탑에 대한 추가적인 설명은 후속하는 단락에서 알 수 있다.
이하의 설명에서, 먼저 본 명세서에서 기술된 기법들을 이용하는 예시적인 환경이 설명된다. 그런 다음 예시적인 환경 및 다른 환경에서 수행될 수 있는 예시적인 절차들이 설명된다. 따라서, 예시적인 절차들의 실행은 예시적인 환경에 국한되지 않고 예시적인 환경은 예시적인 절차의 실행에 국한되지 않는다.
예시적인 환경
도 1은 본 명세서에서 기술한 기법들을 이용하도록 동작가능한 예시적인 구현에서의 환경(100)을 나타낸다. 예시된 환경(100)은 프로세싱 시스템(104) 및 이하에서 더 설명되는 바와 같이 다른 것도 고려되지만 메모리(106)로서 예시되어 있는 컴퓨터 판독가능 저장 매체를 구비한 컴퓨팅 장치(102)를 포함한다.
컴퓨팅 장치(102)는 다양한 방식으로 구성될 수 있다. 예를 들어, 컴퓨팅 장치는 데스크탑 컴퓨터, 모바일 스테이션, 오락용 기기, 디스플레이 장치에 통신가능하게 결합된 셋탑 박스, 무선 전화기, 게임 콘솔 등과 같은, 네트워크를 통해 통신할 수 있는 컴퓨터로서 구성될 수 있다. 따라서, 컴퓨팅 장치(102)는 많은 메모리 및 프로세서 리소스를 갖는 리소스가 많은 장치에서부터 제한된 메모리 및/또는 프로세싱 리소스를 갖는 리소스가 적은 장치(예를 들어, 전통적인 셋탑 박스, 핸드헬드 게임 콘솔)까지 이를 수 있다. 또한, 하나의 컴퓨팅 장치(102)만이 도시되어 있지만, 컴퓨팅 장치(102)는 예를 들어 웹 서비스, 원격 제어 및 셋탑 박스 결합, 이미지 캡처 장치 및 제스처를 캡처하도록 구성된 게임 콘솔 등에 의한 동작을 수행하기 위해 기업에 의해 이용되는 다수의 서버와 같은 복수의 상이한 장치를 나타낼 수 있다.
컴퓨팅 장치(102)는 또한 운영 시스템을 포함하는 것으로 도시되어 있다. 운영 시스템(108)은 컴퓨팅 장치(102) 상에서 실행가능한 애플리케이션에 대한 컴퓨팅 장치(102)의 기본 기능을 추상화(abstract)하도록 구성된다. 예를 들어, 운영 시스템(108)은 컴퓨팅 장치(102)의 프로세싱 시스템(104), 메모리(106), 네트워크 및/또는 디스플레이 장치(112) 기능을 추상화하여 이 기본 기능이 "어떻게" 구현되는지를 알지 않고도 애플리케이션(110)이 기록될 수 있다. 애플리케이션(110)은 예를 들어 어떻게 렌더링이 수행될 것인지를 이해하지 않고도 디스플레이 장치(112)에 의해 렌더링 및 디스플레이될 데이터를 운영 시스템(108)에 제공할 수 있다. 운영 시스템(108)은 또한 컴퓨팅 장치(102)의 사용자에 의해 네비게이션가능한 파일 시스템 및 사용자 인터페이스를 관리하는 것과 같은, 다양한 다른 기능을 나타낼 수 있다.
운영 시스템(108)은 또한 사용자가 컴퓨팅 장치(102)의 애플리케이션(110) 및 다른 데이터(이들 모두는 장치에 국부적이고 또한 네트워크를 통해 원격적임)와 상호작용할 때 이용하는 이머시브 쉘(116)를 제공하는 컴퓨팅 장치(102)의 기능을 나타내는 이머시브 환경 모듈(114)을 포함하는 것으로 도시되어 있다. 이머시브 쉘(116)은 예를 들어 전술한 추상화된 기능과 같은 컴퓨팅 장치(102)의 기능에 액세스하기 위해 컴퓨팅 장치(102)의 운영 시스템(108) 및 애플리케이션(110)과 상호작용하기 위한 입력을 수용하도록 구성된다. 이머시브 쉘(116)은 이하에서 더 설명되는 바와 같이 데스크탑 쉘(118)을 지원하도록 구성될 수 있다.
이머시브 쉘(116)은 윈도우 프레임을 거의 또는 전혀 사용하지 않고 애플리케이션(110)과의 상호작용을 지원하도록 구성될 수 있다. 또한, 이머시브 쉘(116)은 사용자가 다른 윈도우들에 대한 윈도우의 대응하는 윈도우 프레임의 레이아웃 프라이머시(primacy)(예를 들어, 윈도우가 다른 윈도우들 앞에서 활성상태인지 여부, 윈도우들의 순서 등)를 관리하도록 사용자에게 요구하지 않고서 애플리케이션(110)과의 상호작용을 지원할 수 있다. 운영 시스템(108)의 일부로서 도시되어 있지만, 이머시브 환경 모듈(114)은 예를 들어 네트워크를 통해 원격으로 동작하는 독립형 모듈 등과 같이 다양한 다른 방식으로 구현될 수 있다.
하나 이상의 실시예에서, 운영 시스템(108)의 이머시브 쉘(116)은 운영 시스템(108)과 따로 닫혀지거나 삭제되지 않도록 구성된다. 또한, 이머시브 쉘(116)은 디스플레이 장치(112)의 이용가능한 디스플레이 영역 중 많은 부분을 소비하도록 구성될 수 있다. 사용자는 다양한 방식으로, 예를 들어 커서 제어 장치를 통해, 하나 이상의 제스처를 사용하여, 음성 인식을 사용하여, 하나 이상의 깊이 감지 카메라를 이용하는 캡처를 통해 이머시브 쉘(116)과 상호작용할 수 있다.
따라서, 이머시브 환경 모듈(114)은, 애플리케이션(110)의 콘텐츠가 제공될 수 있고 그러한 제공이 애플리케이션(110)의 콘텐츠를 디스플레하는데 사용되는 윈도우의 크기, 위치, 프라이머시 등을 관리하도록 사용자에게 요구하지 않고서 수행될 수 있는 방식으로, 이머지브 쉘(116)을 관리할 수 있다.
예를 들어, 디스플레이 장치(112)에 의해 디스플레이되는 사용자 인터페이스 상에 도시되어 있는 바와 같이, 두 개의 애플리케이션으로부터의 데이터(122,124)를 "스냅(snapped)" 구성으로 디스플레이하도록 구성된 사용자가 인터페이스가 도시된다. 이 예에서, 데이터에 대응하는 애플리케이션 모두는 현재 데이터를 디스플레이하지 않는 다른 애플리케이션(110)을 위한 실행은 보류된 채 컴퓨팅 장치(102)에 의해 능동적으로 실행될 수 있다. 디스플레이 장치(112) 상에서 애플케이션들 각각에 의해 소비되는 디스플레이 영역의 양을 변경하기 위해 이동가능한 거터(gutter)가 데이터(122,124)의 디스플레이 사이에 배치된다.
이머시브 쉘(116)은 사용자가 애플리케이션(110)을 액세스하는 이머시브 경험을 제공하기 위한 다양한 기능을 지원할 수 있다. 이하의 설명에서, 이 기능은 데스크탑 쉘(118)과의 상호작용을 가능하게 하기 위해 이들 기법을 이용하는 것과 관련하여 설명된다. 그러나, 이들 기법은 이들 기법의 사상 및 범주를 벗어나지 않고서 애플리케이션(110)과의 상호작용을 관리하는데 사용될 수 있다.
도시되어 있는 바와 같이, 이머시브 쉘(104)은 데스크탑 쉘(118)을 포함한다. 데스크탑 쉘(118)은 이 예에서 애플리케이션(110) 및 다른 데이터와 상호작용하는 경우 운영 시스템(108)에 의해 출력되는 사용자 인터페이스의 다른 구성을 나타낸다. 예를 들어, 데스크탑 쉘(118)은 프레임을 갖는 윈도우를 통해 애플리케이션 및 대응하는 데이터를 제공하도록 구성될 수 있다. 이들 프레임은 사용자가 애플리케이션과 상호작용할 수 있게 해주는 제어, 및 사용자가 윈도우를 이동시키며 그 크기를 조정할 수 있도록 해주는 제어를 제공할 수 있다. 데스크탑 쉘(118)은 폴더들을 사용하여 계층적 파일 구조를 네비게이션하고 아이콘을 사용하여 데이터 및 애플리케이션을 나타내는 기법을 지원할 수 있다. 하나 이상의 실시예에서, 데스크탑 쉘(118)은, 또한 데스크탑 쉘(118)을 통한 상호작용을 위해 구체적으로 구성되나 이머시브 쉘(116)을 통한 액세스를 위해서는 구성되지 않은 애플리케이션(110)을 액세스하는데 사용될 수 있지만, 다른 실시예 또한 고려될 수 있다.
본 명세서에서 기술된 하나 이상의 기법에서, 이머시브 쉘(104)은 데스크탑 쉘(118)이 컴퓨팅 장치(102) 상에서 실행되었던 다른 애플리케이션였던 것처럼 데스크탑 쉘(118)에 대한 액세스를 제공한다. 이러한 식으로, 사용자는 보다 많은 전통적인 기능에 대해 데스탑 쉘(118)을 여전히 액세스하면서 이머시브 쉘(116)의 기능을 이용할 수 있다. 이머시브 쉘 내에서 이머시브 애플리케이션으로서 데스크탑을 구현하는 예는 후속하는 도면과 관련하여 알 수 있다.
일반적으로, 본 명세서에서 기술된 임의의 기능은 소프트웨어, 펌웨어, 하드웨어(예를 들어, 고정된 로직 회로) 또는 이들의 조합을 이용하여 구현될 수 있다. 본 명세서에서 사용된 "모듈", "기능" 및 "엔진"이라는 용어는 일반적으로 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합을 나타낸다. 소프트웨어 구현의 경우, 모듈, 기능 또는 엔진은 프로세서(예를 들어, CPU 또는 CPU들)에서 실행되는 경우 지정된 작업을 수행하는 프로그램 코드를 나타낸다. 프로그램 코드는 하나 이상의 컴퓨터 판독가능 메모리 장치에 저장될 수 있다. 이하에서 기술되는 기법의 특징들은 플랫폼 독립적이며, 이는 그 기법들이 다양한 프로세서를 갖는 다양한 상업용 컴퓨팅 플랫폼 상에서 구현될 수 있다는 것을 의미한다.
예를 들어, 컴퓨팅 장치(102)는 컴퓨팅 장치(102)의 하드웨어, 예를 들어 프로세서, 기능 블록 등이 동작들을 수행하도록 하는 개체(예를 들어, 소프트웨어)도 포함할 수 있다. 예를 들어, 컴퓨팅 장치(102)는 컴퓨팅 장치, 보다 구체적으로 컴퓨팅 장치(102)의 하드웨어가 동작을 수행하게 하는 명령어들을 유지하도록 구성될 수 있는 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 따라서, 명령어들은 동작들을 수행하도록 하드웨어를 구성하고 이러한 식으로 기능들을 수행하도록 하드웨어를 변형시키는 기능을 한다. 명령어들은 다양한 상이한 구성을 통해 컴퓨터 판독가능 매체에 의해 컴퓨팅 장치(102)에 제공될 수 있다.
컴퓨터 판독가능 매체의 그러한 하나의 구성은 신호를 포함하는 매체이고 네트워크를 통해 명령어들을 (예를 들어, 반송파로서) 컴퓨팅 장치의 하드웨어로 전송하도록 구성된다. 컴퓨터 판독가능 매체는 또한 컴퓨터 판독가능 저장 매체로서 구성될 수 있고 따라서 신호를 포함하는 매체가 아니다. 컴퓨터 판독가능 저장 매체의 예는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 광학 디스크, 플래시 메모리, 하드디스크 메모리, 및 명령어 및 다른 데이터를 저장하는데 자기, 광학 및 다른 기법을 사용할 수 있는 다른 메모리 장치를 포함한다.
도 2는 타일로서 구성된 애플리케이션들의 표현들(representation)을 선택함으로써 이머시브 환경 내로 애플리케이션의 런칭을 지원하는 것으로서 도 1의 컴퓨팅 장치(102)의 예시적인 구현에서의 시스템(200)을 나타낸다. 시스템(200)은 제1 스테이지(202) 및 제2 스테이지(204)를 포함하는 것으로 도시되어 있다. 제1 스테이지(202)에서, 컴퓨팅 장치(102)는 이머시브 쉘(116)의 시작 화면(start screen)을 출력하는 것으로서 도시되어 있다. 이 시작 화면은 컴퓨팅 장치(102)에 의해 실행되도록 선택가능한 애플리케이션들을 나타내는 복수의 타일을 포함한다. 전술한 바와 같이 본 발명의 사상 및 범주를 벗어나지 않고서 다양한 다른 표현이 고려된다.
타일의 선택은 다양한 방식으로 이루어질 수 있다. 예를 들어, 사용자는 마우스 또는 트랙 패드와 같은 커서 제어 장치를 사용하여, 선택될 타일 "위에" 디스플레이되도록 커서를 네비게이션하고 타일을 "클릭"하여 선택을 나타낼 수 있다. 제1 스테이지(202)에 도시되어 있는 바와 같이, 예를 들어, 커서는 소셜 네트워크 애플리케이션의 타일 위에 배치된 것으로 도시되어 있다. 또 다른 예에서, 예를 들어 대응하는 애플리케이션을 런칭하기 위해 원하는 표현을 탭핑(tapping)함으로써 제스처가 컴퓨팅 장치(102)에 의해 지원될 수 있다.
선택에 응답하여, 대응하는 애플리케이션(110)이 컴퓨팅 장치(102)에 의해 실행되도록 런칭될 수 있다. 이에 대한 예는 도 2의 제2 스테이지(204)에 도시되어 있으며, 소셜 네트워크 애플리케이션은 이머시브 쉘(116) 내로 런칭된다. 소셜 네트워크 애플리케이션은 디스플레이 장치(112)의 디스플레이 영역의 거의 전체를 소비하는 사용자 인터페이스(206)를 제공하는 것으로 도시되어 있다. 또한, 도시되어 있는 사용자 인터페이스(206)는 애플리케이션의 데이터와 함께 디스플레이되는 윈도우 또는 "크롬"을 포함하지 않는다.
이 기법은 컴퓨팅 장치(102)에 의한 실행되는 복수의 애플리케이션(110)을 런칭하기 위해 반복될 수 있다. 예를 들어, 사용자는 제1 스테이지(202)에 도시되어 있는 시작 화면으로 되돌아갈 수 있고 도 8과 관련하여 도시되어 있고 더 설명되는 바와 같이 커맨드(예를 들어, "참(charms)")의 메뉴(804)에서의 "시작" 선택을 선택함으로써 실행할 추가의 애플리케이션을 선택할 수 있다. 각 선택에 응답하여, 디스플레이 장치의 이용가능한 디스플레이 영역 전체를 소비하는 추가의 사용자 인터페이스가 출력될 수 있다.
사용자는 다양한 방식으로 실행을 위해 선택된 애플리케이션들을 통해 네비게이션할 수 있다. 예를 들어, 사용자는 디스플레이 장치의 좌측 에지(208)와 상호작용하여 소셜 네트워크 애플리케이션의 디스플레이가 사용자에 의해 런칭된 다른 애플리케이션에 대응하는 디스플레이로 대체되도록 할 수 있다.
전과 같이, 이러한 상호작용은 다양한 방식으로, 예를 들어 커서를 좌측 에지(208)에 근접하게 이동시킴으로써, 좌측 에지(208)를 포함하는 "스와이프(swipe)" 제스처 등을 통해 수행될 수 있다. 이러한 대체는 애플리케이션들을 통한 자동 사이클링에 의해 비-형식으로(non-modally), 선택된 애플리케이션(110)의 표현들을 갖는 메뉴의 출력을 통해 형식으로 수행될 수 있다. 좌측 에지(208)와의 상호작용이 애플리케이션(110)을 통한 네비게이션에 대해 설명되었지만, 본 발명의 사상 및 범주를 벗어나지 않고서 다른 에지 및 다른 네비게이션 기법이 사용될 수 있다.
이머시브 쉘(116) 내에서 다른 기능이 지원될 수 있다. 예를 들어, 상단 에지(210) 또는 하단 에지(212)와의 상호작용은 이머시브 쉘(116) 내에서 현재 디스플레이되고 있는 애플리케이션(110)에 맞춤화된 메뉴의 출력을 (예를 들어, 제스처 및/또는 커서 제어 장치를 통해) 야기할 수 있다. 다시 말해, 메뉴는 예를 들어 애플리케이션 및 다른 기능과의 상호작용을 포함할 수 있는, 메뉴에 포함시키기 위해 애플리케이션(110)에 의해 지정된 커맨드를 포함할 수 있다.
이머시브 쉘(116)은 복수의 애플리케이션(110)으로부터의 데이터의 디스플레이를 지원하기 위해 애플리케이션의 사용자 인터페이스의 "스냅핑(snapping)"을 지원할 수 있다. 도 1과 관련하여 앞서 도시하고 설명한 바와 같이, 예를 들어, 날씨 및 소셜 네트워크 애플리케이션으로부터의 데이터가 디스플레이 장치(112) 상에 동시에 디스플레이될 수 있다. 이 데이터는 각 애플리케이션에 의해 소비되는 디스플레이 장치의 디스플레이 영역의 양을 조절하도록 구성된 거터(126)에 의해 분리될 수 있다. 다양한 다른 이머시브 쉘(116) 기능이 이머시브 환경 모듈에 의해 지원될 수 있으며, 그에 대한 추가적인 예는 후속하는 도면과 관련하여 알 수 있다.
앞서 설명한 바와 같이, 이머시브 환경 모듈(114)은 데스크탑 쉘(118)이 컴퓨팅 장치(102)의 애플리케이션인 것 처럼 데스크탑 쉘(118)에 대한 액세스를 지원할 수 있다. 이에 대한 일 예는 데스크탑 쉘(118)을 나타내는 타일(214)로서 도시되어 있다. 이 예에서 타일(214)은 데스크탑 쉘(118)에서 상태의 일부로서 저장된 하나 이상의 윈도우를 디스플레이하도록 구성된다. 다시 말해, 타일(214)은 타일(214)의 선택시 출력될 수 있는 사용자 인터페이스의 적어도 일부를 나타낸다.
또한, 타일(214)은 데스크탑 그 자체의 뷰 및 표현에 포함된 특정 윈도우의 선택을 지원하도록 구성될 수 있다. 예를 들어, 사용자는 예컨대 커서 제어 장치, 제스처 등을 통해 데스크탑의 출력을 야기하기 위해 타일 내의 윈도우 밖에 있는 타일(214) 내의 영역을 선택할 수 있다. 또한, 사용자는 타일(214) 내의 특정 윈도우를 선택하여 데스크탑 쉘(118) 내의 그 윈도우를 직접 네비게이션할 수 있고, 이는 커서 제어 장치, 제스처 등을 사용하여 수행될 수 있다. 따라서, 데스크탑 쉘(118)은 시작 화면 내의 다른 애플리케이션들의 표현을 모방하는 방식으로 표현될 수 있다. 또한, 타일(214)은 데스크탑 쉘(118) 내에서 액세스가능한 애플리케이션으로 직접 네비게이션하는데 사용될 수 있다. 도시되어 있지는 않지만, 데스크탑 쉘(118)의 런칭은 애플리케이션(110)의 런칭에 포함된 스플래시 스크린과 유사한 "스플래시" 스크린의 출력을 포함할 수 있다.
애플리케이션(110) 및/또는 이 애플리케이션(110)과 연계하여 처리될 특정 데이터에 대해 직접 네비게이션하기 위해 다른 타일이 포함될 수 있다. 이에 대한 일 예는 스프레드시트 애플리케이션에 의해 출력될 특정 스프레드시트에 대응하는 타일(216)로 도시되어 있다. 이 타일(216)을 선택함으로써, 스프레드시트 애플리케이션은 데스크탑 쉘(118) 내에서 사무실 비용 스프레드시트와 같은 특정 데이터를 포함하도록 런칭될 수 있다. 워드 프로세싱 애플리케이션, 프리젠테이션 애플리케이션, 사진 편집 애플리케이션 등에 의해 처리될 특정 파일을 네비게이션하기 위한 다른 예가 또한 고려된다.
도 3은 소셜 네트워크 애플리케이션으로부터 데이터를 출력하고 이머시브 애플리케이션으로서 데스크탑 쉘(118)에 대한 액세스를 제공하는 이머시브 쉘(116)의 예시적인 구현(300)을 나타낸다. 이 예에서, 디스플레이 장치(112)에 의해 디스플레이된 사용자 인터페이스는 소셜 네트워크 애플리케이션 및 데스크탑 쉘(118) 각각으로부터의 데이터를 렌더링하는 것으로 도시되어 있는 1차 영역(302) 및 2차 영역(304)을 포함한다.
1차 영역(302) 및 2차 영역(304)은 거터(306)에 의해 분리되는 것으로 도시되어 있다. 거터(306)는 사용자가 거터(306)를 이동시켜 1차 영역(302) 및 2차 영역(304)에 의해 소비되는 디스플레이 영역의 양을 변경하도록 상호작용을 지원할 수 있다. 하나 이상의 실시예에서, 1차 영역(302)은 2차 영역보다 많은 디스플레이 장치(112)의 영역을 소비하도록 구성되고, 따라서 1차 영역은 디스플레이 장치(112)의 임의의 측면 상에 구현될 수 있다.
2차 영역(304)은 대응하는 애플리케이션(110)으로부터의 데이터의 디스플레이를 볼수 있도록 하면서 그 디스플레이를 "도킹" 또는 "스냅핑"하는 것으로 간주될 수 있다. 1차 영역(302) 및 2차 영역(304)은 도 5와 관련하여 더 설명되는 바와 같이 네비게이션을 지원하는데 이용될 수 있다.
도 3의 예시되어 있는 구현(300)에서, 사용자의 손(308)의 손가락은 2차 영역(304)에서 데스크탑 쉘(118)의 표현에서 이메일 애플리케이션에 대응하는 윈도우를 선택하는 것으로 도시되어 있다. 이것은 1차 영역(302)에 배치하기 위해 2차 영역(304)으로부터 데스크탑 쉘(118)을 프로그램에 따라 "언스냅(unsnap)"하는데 이용될 수 있다.
데스크탑 쉘(118)과 관련하여 앞서 설명한 타일(214)과 같이, 2차 영역(304)은 다양한 네비게이션 기법을 지원할 수 있다. 예를 들어, 사용자는 2차 영역(304) 내에서 이 영역의 윈도우 밖에 있는 영역을 선택하여 커서 제어 장치, 제스처 등을 통해 데스크탑의 출력을 야기할 수 있다. 또한, 사용자는 2차 영역(304) 내의 특정 윈도우를 선택하여, 예를 들어 그 윈도우를 데스크탑 쉘(118)에 의해 1차 영역(302) 내의 다른 윈도우의 "상단"에 디스플레이되는 "1차" 윈도우로 구성함으로써 데스크탑 쉘(118) 내에서 그 윈도우를 직접 네비게이션할 수 있다. 따라서, 2차 영역(304)은 데스크탑 쉘(118) 내에서 액세스가능한 애플리케이션으로 직접 네비게이팅하는데 사용될 수 있다.
도 3에 도시되어 있는 바와 같이, 예를 들어, 사용자의 손(308)의 손가락은 이머시브 쉘(116)의 2차 영역(304) 내의 윈도우를 선택하는 것으로 도시되어 있다. 이 선택에 응답하여, 이머시브 환경 모듈(114)은 데스크탑 쉘(118)이 사용자 인터페이스의 1차 영역(302)에 디스플레이되도록 할 수 있다.
또한, 이머시브 환경 모듈(114)은 사용자 상호작용에 준비된 것으로 2차 영역(304) 내에서 선택된 윈도우를 디스플레이할 수 있다. 예를 들어, 윈도우가 선택될 수 있고 포커스가 주어질 수 있으며, 따라서 컴퓨팅 장치(102)에 의해 수신된 입력은 선택된 윈도우에 대응하는 애플리케이션(110)으로 전달된다. 2차 영역(304)에서 이메일 윈도우를 선택한 결과에 대한 일 예는 후속하는 도면과 관련하여 도시되어 있다.
도 4는 도 3의 이머시브 환경에서 1차 영역(302)에서의 디스플레이를 위해 2차 영역(304)으로부터 데스크탑 쉘(118)을 선택한 결과가 도시되어 있는 예시적인 구현(400)을 나타낸다. 예시되어 있는 예에서, 데스크탑 쉘(118)은 디스플레이 장치(112) 상의 사용자 인터페이스의 1차 영역에 디스플레이된다. 또한, 도 3의 사용자 인터페이스의 1차 영역(302)에 처음으로 배치된 애플리케이션으로부터 렌더링된 데이터는 2차 영역(304)으로 이동된 것으로 도시되어 있다. 따라서, 이 예에서, 각 부분에서의 콘텐츠는 도 3의 선택에 응답하여 "스위칭"된다.
예시적인 구현(400)은 또한 통지(402)를 출력하는 것으로 도시되어 있다. 이 통지(402)는 다양한 정보를 포함할 수 있다. 예를 들어, 데스크탑 쉘(118)이 사용자 인터페이스 내에 디스플레이되는 경우, 통지는 데스크탑 쉘(118) 내의 애플리케이션의 실행에 관련된 정보를 포함할 수 있다. 이에 대한 예는 메시지의 송신자를 기술하는 이메일 메시지의 수신자, 예를 들어 "Sara", 및 메시지의 제목란, 예를 들어 "Ellie's B-day"을 나타내는 것으로 도 4에 도시되어 있다. 따라서, 이머시브 환경 모듈은 쉘 내에서 실행되는 애플리케이션에 속하는 데스크탑 쉘(118) 내에 통지를 드러낼 수 있다.
다른 통지가 또한 고려된다. 예를 들어, 통지(402)는 이머시브 쉘(116) 내에서 현재 디스플레이되지 않는 다른 애플리케이션의 실행을 설명할 수 있다. 예를 들어, 2차 영역(304)에 "상주"하고 "화면 밖에서" 실행되는 애플리케이션에 관한 통지가 디스플레이될 수 있다. 또 다른 예에서, 통지(402)는 데스크탑 쉘(118)이 디스플레이 장치(112) 상의 이머시브 쉘(116) 내에 디스플레이되고 있지 않더라도 데스크탑 쉘(118) 내의 애플리케이션의 실행을 설명할 수 있다. 다양한 다른 예가 고려된다.
도 5는 이머시브 쉘 내에서 데스크탑 쉘(118)로부터 애플리케이션으로 네비게이팅하기 위해 도 4의 사용자 인터페이스가 스크롤링되는 예시적인 환경(500)을 나타낸다. 이 예에서, 사용자의 손(502)의 손가락은 1차 영역(302)에 걸쳐 디스플레이 장치(112)에 근접하게 배치되는 것으로 도시되어 있다. 사용자의 손(502)의 손가락은 디스플레이 장치(112)의 좌측 에지(208)쪽으로 미끄러지는 것으로 (화살표를 사용하여) 도시되어 있다.
일 구현예에서, 이 제스처는 이머시브 환경 모듈(114)에 의해 인식될 수 있는데, 이는 데스크탑 쉘(118)로부터의 데이터의 디스플레이가 2차 영역(304)에 배치될 것으로 나타낸다. 따라서, 도시되어 있는 바와 같이, 2차 영역(304) 내에 데스크탑 쉘(118)로부터의 데이터를 배치하면 이전에 그 부분에 디스플레이된 애플리케이션으로부터의 데이터, 예를 들어 소셜 네트워크 애플리케이션으로부터의 데이터를 대체할 수 있다. 이 제스처는 계속되어 사용자에 의해 실행되도록 선택된 애플리케이션, 예를 들어 도 2의 선택된 타일을 네비게이팅할 수 있다.
따라서, 사용자 인터페이스의 1차 영역(302) 및 2차 영역(304)은 관심 있는 원하는 애플리케이션(110) 또는 데스크탑 쉘(118)을 찾기 위해 (데스크탑 쉘(118)을 포함하는) 애플리케이션(110)을 네비게이팅하는데 이용될 수 있다. 제스처가 설명되었지만, 이 동작은 다양한 입력에 의해, 예를 들어 1차 영역(302)으로부터 2차 영역(304)으로의 "클릭 및 드래그"를 통해, 1차 영역(302)으로부터 거터(306)를 지나는 이동 등을 통해 개시될 수 있다. 디스플레이 장치(102)의 좌측 에지(208)로의 이동이 설명되었지만, 디스플레이 장치의 다양한 에지, 제스처, 커맨드, 커서 이동, 및 다른 입력이 사용되어 전술한 특징들을 개시할 수 있다.
도 6은 이머시브 쉘 내에서 애플리케이션과 데스크탑 쉘(118) 사이에서 네비게이팅하기 위한 기법이 사용되는 또 다른 예시적인 구현(600)을 나타낸다. 이 예에서, 사용자의 손(602)의 손가락은 사용자 인터페이스의 1차 영역(302) 내에서 디스플레이 장치(112)의 상단 에지에 근접하게 배치되는 것으로 도시되어 있다. 이머시브 환경 모듈(114)은 임계치, 예를 들어 디스플레이 장치(112)의 디스플레이 영역의 거의 중간을 가로지르는 이동이 이루어지면 제스처를 인식할 수 있다.
이러한 제스처의 인식에 응답하여, 이머시브 환경 모듈(114)은 데스크탑 쉘(118)로부터의 데이터의 축소된 디스플레이(604)를 생성할 수 있다. 더 나아가, 이머시브 환경 모듈(114)은 이 축소된 디스플레이가 사용자의 손(602)의 손가락의 움직임을 따라가도록 할 수 있다. 따라서, 이것은 축소된 디스플레이 내에서 데스크탑 쉘(118)로부터의 데이터가 필요에 따라 사용자 인터페이스 내의 2차 영역(304)으로서 재배치될 수 있다는 것을 사용자에게 나타낼 수 있다.
예를 들어, 화살표를 사용하여 도시되어 있는 바와 같이, 제스처의 초기 부분은 비교적 긴 하향 화살표를 사용하여 도시되어 있는 축소된 디스플레이(604)를 야기하는데 사용될 수 있다. 후속하는 이동은 데스크탑 쉘(118)로부터의 데이터가 디스플레이 장치(112)의 어느 에지로 "스냅핑"될 것인지를 나타낼 수 있는데, 이 경우, 디스플레이 장치(112)의 우측 에지(606)를 가리키는 화살표로서 도시되어 있다. 사전정의된 거리 내에서, 이머시브 환경 모듈(114)이 데스크탑 쉘(118)로부터의 데이터의 디스플레이를 애니메이션을 사용하여 대응하는 에지쪽으로 "스냅핑"할 수 있으며, 그에 대한 결과는 후속하는 도면에 도시되어 있다.
도 7은 애플리케이션(110)과 이머시브 쉘(116) 내의 데스크탑 쉘(118) 사이에서 네비게이팅하기 위한 도 6의 기법의 결과가 도시되어 있는 또 다른 예시적인 구현(700)을 나타낸다. 이 예에서, 데스크탑 쉘(118)로부터의 데이터의 디스플레이는 디스플레이 장치(112)의 우측 에지(606)로 "스냅핑" 되었다. 이것은 소셜 네트워크 애플리케이션으로부터의 데이터가 이제 디스플레이 장치(112)의 좌측상에 위치하고 있는 사용자 인터페이스의 1차 영역(302)에 디스플레이되도록 사용자 인터페이스가 재구성되도록 하였다. 데스크탑 쉘(118)로부터의 데이터의 디스플레이는 사용자 인터페이스의 2차 영역(304)의 일부로서 구성된다. 따라서, 이 제스처는 제각기의 애플리케이션(110)으로부터 및 데스크탑 쉘(118)에 대한 데이터의 디스플레이를 네비게이팅 및/또는 재배치하는데 사용될 수 있다. 다시 말하지만, 디스플레이 장치의 다양한 에지, 제스처, 커맨드, 커서 움직임 및 그 밖의 다른 입력이 전술한 특징을 개시하는데 사용될 수 있다.
도 8은 이머시브 쉘(1160 내의 대응하는 선택에 대해 구현될 수 있는 커맨드들을 전체로서 갖는 메뉴가 출력되는 예시적인 구현(800)을 나타낸다. 이 예에서, 사용자의 손(802)은 디스플레이 장치(112)의 우측 에지(606) 부근에 위치하고 그로부터 떨어져 이동하는 것으로 도시되어 있다. 이 입력은 "참(charm)" 메뉴(804)를 출력하는 제스처로서 (예를 들어, 터치스크린 기능, 움직임 센서, 카메라 등을 이용하여) 검출될 수 있다.
이 예에서 메뉴(804)는 애플리케이션(110) 및/또는 이머시브 쉘(116) 내의 데스크탑 쉘(118)로부터 개시될 수 있는 커맨드들의 표현을 포함할 수 있다. 이러한 커맨드들의 예는 "검색(search)", "공유(share)", "시작(start)", "연결(connect)" 및 "설정(setting)"을 포함하는 것으로 도시되어 있다. 예를 들어, 시작 표현은 도 2의 시작 화면으로 다시 네비게이팅하기 위해 선택될 수 있다. 따라서, 사용자는 도 2의 시작 화면으로부터 타일을 선택할 수 있고, 그 타일에 의해 표현되는 애플리케이션(110)으로부터의 데이터가 사용자 인터페이스에 출력되도록 하며, 사용자가 이머시브 쉘(116)에서의 디스플레이를 위한 또 다른 애플리케이션을 선택할 수 있도록 도 2의 시작 화면의 출력을 또 다시 야기할 수 있는 시작 커맨드를 선택하는 제스처를 사용하여 메뉴(804)의 출력을 야기할 수 있다.
하나 이상의 구현에서, 표현되는 커맨드들은 대응하는 부분(예를 들어, 1차 영역(302))에 무엇이든 디스플레이되도록 적용된다. 따라서, 도시되어 있는 예에서, "설정" 표현의 선택은 데스크탑 쉘(118)의 설정에 관련된 메뉴의 출력을 야기할 수 있다. 데스크탑 쉘(118)의 스크린샷(screenshot)을 통신하기 위한 "공유", 데스크탑 쉘(118)을 프린트, 재생 또는 전달하기 위한 "연결", (예를 들어, 데스크탑 쉘(118) 및/또는 인터넷을 검색하기 위한) 검색 기능을 개시하는 "검색" 등의 선택에 의한 다양한 다른 예가 고려된다. 이 예에서는 디스플레이 장치의 우측 에지(606)을 포함하는 제스처가 기술되었지만, 디스플레이 장치의 다양한 에지, 제스처, 커맨드, 커서 움직임, 및 그 밖의 다른 입력이 사용되어 전술한 특징들을 개시할 수 있다.
하나 이상의 구현에서, 이머시브 애플리케이션들이 그들의 크기 알고 있고 반응하는 것처럼, 데스크탑 쉘은 이머시브 쉘(116) 내에서의 그의 크기를 "알고 있고" 그에 따라 반응한다. 예를 들어, 데스크탑 쉘(118)이 이하에서 더 설명되는 바와 같이 2차 영역에 디스플레이되는 경우, 그것은 그의 레이아웃 및 기능을 변경하여 보다 작은 크기를 수용할 수 있는데, 이는 이머시브 쉘(116) 내에서 실행되는 애플리케이션들에 의해 수행될 수 있다. 마찬가지로, 두 개의 애플리케이션이 화면 상에 있고 데스크탑 쉘(118)이 이머시브 쉘(116)의 1차 영역에 있는 경우, 레이아웃은 또한 데스크탑 쉘(116)에 의해 변경될 수 있다.
또 다른 예로서, 데스크탑 쉘(118) 내의 윈도우 상에서 최대화 버튼의 선택은 그 윈도우가 디스플레이 장치의 전체 화면을 채우도록 하지 않으며, 그 보다, 데스크탑 쉘(118)은 자신이 보다 작은 작업 공간을 가지고 있음을 이해하고, 따라서, 최대화된 애플리케이션은 1차 영역 내에서 데스크탑 쉘(118)에 할당된 공간을 "채운다". "스냅" 기능의 또 다른 예에서, 애플리케이션 또는 데스크탑 쉘의 데이터는 1차 또는 2차 영역에 대해 그의 크기를 조정하기 위해 화면의 에지로 드래그된다. 데스크탑 쉘(118)이 현재 이머시브 쉘(116) 내의 애플리케이션으로부터의 데이터와 함께 디스플레이되는 경우, 데스크탑 쉘(118)이 데스크탑 쉘(118)과 애플리케이션 사이의 경계로 드래그되면, 데스크탑 쉘(118)은 (화면의 에지에 커서가 있지 않더라도) 자동으로 크기가 조정되는데, 그 이유는 데스크탑 쉘(118)은 커서가 데스크탑 쉘(118)의 경계로 드래그되었음을 알고 있기 때문이다.
하나 이상의 실시예에서, 이머시브 쉘(116)은 이머시브 쉘(116) 내에서 실행되는 애플리케이션 또는 데스크탑 쉘(118)이 서로 간섭하지 않게 하도록 구성될 수 있다. 예를 들어, 이머시브 쉘(116) 내에 (그러나 데스크탑 쉘(188) 밖에) 화면 상에 두 개의 애플리케이션이 존재하는 경우, 애플리케이션(110) 또는 데스크탑 쉘(118)은 서로의 상단에 UI를 생성할 수 없고 따라서 디스플레이 장치 상에서 그들의 공간에 샌드박스(sandbox)된다. 따라서, 데스크탑 쉘(118)도 이머시브 쉘(116) 내의 다른 애플리케이션과 같이 샌드박스된다. 다양한 다른 예가 고려되며, 이에 대한 추가 설명은 후속하는 절차와 관련하여 알 수 있다.
예시적인 절차
후속하는 설명은 전술한 시스템 및 장치를 사용하여 구현될 수 있는 이머시브 애플리케이셔 기법을 설명한다. 각 절차의 특징은 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 절차들은 하나 이상의 장치에 의해 구현되는 동작들을 지정하는 블록들의 집합으로서 도시되어 있고 각 블록에 의해 동작을 수행하는 도시되어 있는 순서에 반드시 국한될 필요는 없다. 후속하는 설명에 있어서, 도 1의 환경(100), 도 2의 시스템(200) 및 도 3 내지 도 8의 예시적인 실시예를 참조할 것이다.
도 9는 데스크탑 쉘이 이머시브 쉘 내에 동시에 디스플레이되는 예시적인 구현에서의 절차(900)를 도시한다. 이머시브 쉘은 하나 이상의 기법을 사용하여 애플리케이션에의 액세스를 지원하도록 구성된 운영 시스템의 이머시브 쉘이 디스플레이된다(블록 902). 데스크탑 쉘은 이머시브 쉘 내에 동시에 디스플레이되고, 데스크탑 쉘은 애플리케이션에의 액세스를 지원하는 하나 이상의 기법을 사용하여 액세스가능하고 디스플레이된다(블록 904).
예를 들어, 기법들은 데스크탑 쉘(118)을 이머시브 쉘(116) 내의 애플리케이션으로서 취급하도록 구성될 수 있다. 이들 기법들은 데스크탑 쉘(118)이 이머시브 쉘(116) 내의 애플리케이션(110)과 함께 디스플레이되는 방식, 데스크탑 쉘(118)이 이머시브 쉘(116) 내에서 액세스되는 방식(예를 들어, 개체들 간의 네비게이션) 등을 포함할 수 있다. 예를 들어, 도 3 및 도 4에 도시되어 있는 바와 같이, 데스크탑 쉘(118)로부터의 데이터의 디스플레이는 이머시브 쉘(116) 내의 애플리케이션으로부터 수신된 데이터의 디스플레이와 함께 보여질 수 있다.
앞서 설명한 바와 같이, 데스크탑 쉘(116)은 다양한 상이한 기능을 제공할 수 있다. 예를 들어, 데스크탑 쉘(118)의 디스플레이는 도시되어 있는 바와 같이 데스크탑 쉘 내에서 실행가능한 복수의 애플리케이션에 대응하는 복수의 윈도우의 디스플레이를 포함할 수 있다. 데스크탑 쉘(118)은 데스크탑 쉘(118) 내에서 실행가능한 애플리케이션들의 아이콘으로서 구성된 복수의 표현(representations) 및 컴퓨팅 장치(102)의 계층적 파일 구조를 지원하는 폴더의 적어도 하나의 표현을 포함할 수 있다.
또한, 데스크탑 쉘(118) 내에 제공된 기능은 이머시브 쉘(116)과 다를 수 있어 사용자가 컴퓨팅 장치(102)과 상호작용하는데 다양한 기법에 노출될 수 있다. 예를 들어, 데스크탑 쉘은 하나 이상의 윈도우를 이용할 수 있고 데스크탑 쉘이 없는 이머시브 쉘은 그렇게 구성되지 않는다. 또 다른 예에서, 데스크탑 쉘은 크롬 및 태스크바를 이용하도록 구성되고 데스크탑 쉘 밖의 이머시브 쉘은 그렇게 구성되지 않는다. 또 다른 예에서, 데스크탑 쉘은 깊이의 디스플레이, 예를 들어 층형 윈도우를 사용하여 애플리케이션들 간의 상호작용에 대해 우선순위의 표시를 지원하도록 구성된다. 이러한 식으로, 하나의 애플리케이션으로부터의 데이터는 다른 애플리케이션으로부터의 데이터의 적어도 일부 위에 디스플레이되는 것으로 보이고 데스크탑 쉘 밖의 이머시브 쉘은 그렇게 구성되지 않는다.
데스크탑 쉘은 윈도우의 디스플레이 특성을 변경함으로써 통지를 발생시킨 애플리케이션에 대응하는 윈도우의 일부로서 데스크탑 쉘 내에 통지를 디스플레이하는데 사용될 수 있다(블록 906). 도 3에 도시되어 있는 바와 같이, 예를 들어, 이메일 애플리케이션에 대응하는 윈도우가 디스플레이된다. 통지를 출력하기 위해, 예를 들어 새로운 메시지가 수신되었음을 나타내기 위해, 윈도우 그 자체의 디스플레이 특성은 예를 들어 "플래시(flash)"로 변경될 수 있다. 이 예에서, 데스크탑 쉘(118)은 통지를 제공하면서 사용자 인터페이스의 에지에 도킹된다. 따라서, 데스크탑 쉘(118)이 도킹되어 있는 동안 윈도우가 "궁핍(needy) 상태"가 되면, 이 궁핍 상태는 태스크바에 의해 이용되는 바와 같이 도킹된 데스크탑 쉘 내에서 디스플레이 특성 변화를 사용하여 표시될 수 있다. 하나 이상의 구현예에서, 윈도우가 궁핍 상태가 될 때 데스크탑 쉘(118)이 화면 밖에 있는 경우, 데스크탑 쉘(118)은 사용자에게 알려주기 위해 자동으로 뷰(view) 내로 스크롤링될 수 있다. 이 예에서, 디스플렝 특성에 대한 변화는 윈도우의 프레임을 포함하나 윈도우 내의 콘텐츠는 포함하지 않으며, 다른 구현 또한 고려된다.
도 10은 애플리케이션과 데스크탑 쉘 간을 네비게이팅하기 위해 이머시브 쉘을 통해 네비게이션이 수행되는 예시적인 구현에서의 절차(1000)를 도시한다. 적어도 부분적으로 컴퓨팅 장치에 의한 운영 시스템의 실행을 통해 이머시브 쉘 출력을 이용하여 실행될 네비게이션을 지정하는 입력이 인식되고, 이머시브 쉘은 애플리케이션과 데스크탑 쉘 모두를 액세스하기 위한 일치하는 기법을 제공하도록 구성된다(블록 1002). 제스처, 커서 제어 장치로부터 수신된 입력 등과 같은 다양한 다른 입력이 인식될 수 있다. 그러한 하나의 입력은 도 3 및 도 4에 기술되어 있는 바와 같이 1차 영역과 2차 영역 간의 "스위칭"을 포함할 수 있다. 또 다른 입력은 도 6 및 도 7과 관련하여 기술한 재배치하는 것을 포함할 수 있다.
입력의 인식에 응답하여, 애플리케이션의 디스플레이 및 데스크탑 쉘의 디스프레이를 포함하는 이머시브 쉘의 디스플레이가 네비게이팅될 수 있다(블록 1004). 예를 들어, 이머시브 쉘(116)에서의 디스플레이는 애플리케이션(110)과 데스크탑 쉘(118) 간에 네비게이팅하기 위해 수평으로 스크롤링될 수 있고, 앞서 설명한 바와 같이 "상단 에지" 제스처, "스냅핑" 기법의 사용 등을 포함할 수 있다.
도 11은 애플리케이션을 나타내는 타일 및 데스크탑 쉘을 나타내는 타일을 포함하는 이머시브 쉘의 시작 화면이 디스플레이되는 예시적인 구현에서의 절차(1100)를 나타낸다. 애플리케이션을 나타내고 애플리케이션의 실행을 런칭하도록 선택가능한 제1 타일 및 데스크탑 쉘의 실행을 런칭하도록 선택가능한, 데스크탑 쉘을 나타내는 제2 타일을 포함하는 이머시브 쉘의 시작 화면이 디스플레이된다(블록 1102). 도 2에 도시되어 있는 바와 같이, 예를 들어, 이머시브 쉘의 시작 화면은 애플리케이션들을 나타내는 타일들을 포함할 수 있다. 타일의 선택에 의해 대응하는 애플리케이션이 런칭될 수 있다. 이머시브 환경 모듈(114)은 전술한 바와 같이 애플리케이션과 같이 데스크탑 쉘(118)을 취급하고 따라서 데스크탑 쉘(118)을 나타내는 타일(214)을 출력한다. 도시되어 있는 바와 같이, 타일(214)은 예를 들어 데스크탑 쉘(118) 내에서 실행될 애플리케이션의 윈도우를 나타내기 위해, 런칭된 경우 나타나는 데스크탑 쉘(118)의 "뷰"를 포함할 수 있다.
제2 타일의 선택을 나타내는 입력의 수신에 응답하여, 데스크탑 쉘의 실행이 이머시브 쉘 내에서 런칭된다(블록 1004). 예를 들어 도 4에 도시되어 있는 바와 같이 데스크탑 쉘(118)이 런칭되고 사용자 인터페이스의 1차 영역에 디스플레이되고 도 2의 제2 스테이지(204)에서의 애플리케이션과 같이 디스플레이 장치의 디스플레이 영역의 거의 전체를 소비할 수 있다.
도 12는 이머시브 쉘이 1차 영역, 2차 영역을 포함하고, 어느 한 부분에서 데스크탑 쉘로부터 생성된 데이터를 디스플레이하고 이동시키도록 구성된 예시적인 구현에서의 절차(1200)를 나타낸다. 1차 영역 및 2차 영역의 동시적 디스플레이를 포함하는 이머시브 쉘이 디스플레이되고, 1차 영역은 애플리케이션의 실행을 통해 얻어진 데이터를 포함하고, 2차 영역은 데스탑 쉘을 기술하는 데이터를 포함한다(블록 1202). 예를 들어 도 3에 도시되어 있는 바와 같이, 소셜 네트워크 애플리케이션으로부터의 데이터가 1차 영역(302)에 디스플레이되고 데스크탑 쉘(118)로부터의 데이터가 2차 영역(304)에 디스플레이된다.
데스크탑 쉘을 기술하는 데이터가 1차 영역에 배치될 것이라는 것을 나타내는 입력이 인식된다(1204). 예를 들어, 이머시브 쉘(116)의 1차 영역(302)으로 데스크탑 쉘을 드래그하는 제스처가 인식될 수 있다. 또 다른 예로, 마우스를 사용하여 "클릭 앤 드래그" 커맨드가 수신될 수 있다. 다양한 다른 예가 고려된다.
인식에 응답하여, 이머시브 쉘의 1차 영역에 데스크탑 쉘을 기술하는 데이터가 디스플레이된다(블록 1206). 또한, 1차 영역에 이전에 디스플레이된 데이터는 2차 영역으로 스위칭되고, 애플리케이션 및 이머시브 쉘(116) 내의 데스크탑 쉘을 통한 네비게이션을 지원하기 위해 화면 밖에서 스크롤링될 수 있다.
도 13은 데스크탑 쉘의 실행이 이머시브 쉘 내에서 런칭되는 예시적인 구현에서의 절차(1300)를 나타낸다. 운영 시스템의 데스크탑 쉘의 런칭을 개시하기 위해 운영 시스템의 1차 쉘과의 상호작용을 통해 제공된 입력이 수신된다(블록 1302). 예를 들어, 입력은 도 2의 시작 화면에서의 선택, 도 3의 제2 부분(304)의 선택, 제스처 및/또는 커서 제어 장치를 통해 애플리케이션(110) 및 데스크탑 쉘(118)의 디스플레이를 통한 스크롤링 등을 포함할 수 있다.
입력의 수신에 응답하여, 데스크탑 쉘의 실행이 런칭되고(블록 1304) 데스크탑 쉘의 실행의 데이터는 운영 시스템의 1차 쉘 내에 디스플레이된다(블록 1306). 도 2의 타일 예시의 경우, 실행은 타일(214)의 선택시 런칭될 수 있고 따라서 데스크탑 쉘(118)의 실행은 사전에 보류될 수 있는데, 이는 컴퓨팅 장치(102)의 리소스(예를 들어, 배터리, 프로세싱 등)를 보존하는데 이용될 수 있다. 스크롤링 예시에서와 마찬가지로, 애플리케이션(110) 및 데스크탑 쉘(118)의 실행은 개체들이 화면 밖에 있을 때 보류될 수 있다. 화면 밖의 경우 데스크탑 쉘(118)이 아닌 애플리케이션(110)이 보류되는 다른 실시예가 고려된다. 이 데이터는 예를 들어 사용자가 윈도우를 재배치하고 데스크탑 쉘(118) 내에서 실행되는 애플리케이션(110)과 상호작용할 수 있도록 하기 위해, 사용자 상호작용을 위해 이머시브 쉘(116)의 1차 영역(302) 내에 디스플레이될 수 있다.
도 14는 제1 쉘로부터의 통지가 제2 쉘 내에 디스플레이되는 예시적인 구현에서의 절차(1400)를 나타낸다. 컴퓨팅 장치의 운영 시스템의 제1 쉘에서 실행되는 애플리케이션으로부터 통지가 수신된다(블록 1402). 이 통지는 컴퓨팅 장치의 운영 시스템의 제2 쉘에 디스플레이된다.
예를 들어 애플리케이션은 운영 시스템(108)의 데스크탑 쉘(118) 내에서 실행될 수 있다. 통지는 예를 들어 전형적으로 컴퓨팅 장치에서의 "토스트(toast)" 통지, 팝업 창 등에 발견되는 다양한 상이한 데이터를 포함할 수 있다. 이 예에서, 애플리케이션은 데스크탑 쉘(118) 내에서 "화면 밖(off screen)"에서 실행될 수 있고, 데스크탑 쉘(118)이 "스냅핑"되는 경우 실행될 수 있으며 이머시브 쉘(116)의 2차 영역으로 "도킹"될 수 있다.
애플리케이션으로부터의 데이터는 다양한 방식으로 이머시브 쉘(116) 내에 디스플레이될 수 있다. 예를 들어, 통지는 "토스트"(예를 들어, 일정 기간 동안 등장하는 팝업)로서 디스플레이될 수 있고, 오디오 출력 등을 포함할 수 있다. 이러한 식으로, 통지는 운영 시스템의 다른 쉘 내에서 "벌어지고 있는 일(what is going on)"을 사용자가 계속 알 수 있도록 하는데 사용될 수 있다.
도 15는 전체적으로 애플리케이션 및 데스크탑 쉘에 적용될 수 있는 커맨드들의 메뉴가 디스플레이되는 예시적인 구현에서의 절차(1500)를 나타낸다. 이머시브 쉘은 이머시브 쉘 내에서 애플리케이션 및 데스크탑 쉘에의 액세스를 동시에 지원하도록 구성된 이머시브 쉘이 디스플레이되고, 데스크탑 쉘은 이머시브 쉘 내에서 애플리케이션들 중 하나로서 디스플레이 및 액세스 목적을 위해 취급된다(블록 1502). 전체로서 대응하는 상기 데스크탑 쉘 또는 애플리케이션에서 실행가능한 복수의 커맨드를 포함하는 메뉴가 이머시브 쉘에 의해 디스플레이된다(블록 1504).
도 8과 관련하여 앞서 설명한 바와 같이, 메뉴(804)는 애플리케이션(110) 및/또는 이머시브 쉘(116) 내의 데스크탑 쉘(118) 모두로부터 개시될 수 있는 커맨드들의 표현을 포함할 수 있다. 이러한 커맨드들의 예는 "검색", "공유", "시작", "연결" 및 "설정"을 포함하는 것으로 도시되어 있다.
표현된 커맨드는 도 8의 예에서의 1차 영역(302)인 대응하는 부분에서 무엇이 디스플레이되던 적용될 수 있다. 따라서, "설정" 표현의 선택은 데스크탑 쉘(118)의 설정에 관련된 메뉴의 출력을 야기할 수 있다. 데스크탑 쉘(118)의 스크린샷을 통신하기 위한 "공유", 데스크탑 쉘(118)의 인쇄, 재생 및 전송을 위한 "연결", (예를 들어 데스크탑 쉘(118) 및/또는 인터넷을 검색하기 위한) 검색 기능을 개시하기 위한 "검색" 등의 선택과 같은 다양한 다른 예가 고려된다. 본 발명의 사상 및 범주를 벗어나지 않는 한 다양한 다른 예가 고려된다.
예시적인 시스템 및 장치
도 16은 도 1과 관련하여 기술한 컴퓨팅 장치(102)를 포함하는 예시적인 시스템(1600)을 나타낸다. 예시적인 시스템(1600)은 개인용 컴퓨팅(PC), 텔레비전 장치 및/또는 이동 장치 상에 애플리케이션을 실행하는 경우 매끄러운 사용자 경험을 위한 유비쿼터스 환경을 가능하게 한다. 서비스 및 장치들은 애플리케이션을 이용하고, 비디오 게임을 하며, 비디오를 시청하는 등을 하는 동안 하나의 장치에서 그 다음 장치로 이동하는 경우 공통적인 사용자 경험을 위해 세 개의 모든 환경에서 실질적으로 유사하게 실행된다.
예시적인 시스템(1600)에서, 중앙 컴퓨팅 장치를 통해 복수의 장치들이 상호연결된다. 중앙 컴퓨팅 장치는 복수의 장치에 로컬일 수 있거나 또는 복수의 장치로부터 원격으로 위치할 수 있다. 일 실시예에서, 중앙 컴퓨팅 장치는 네트워크, 인터넷 또는 다른 데이터 통신 링크를 통해 복수의 장치에 연결되는 하나 이상의 서버 컴퓨터의 클라우드일 수 있다. 일 실시예에서, 이 연결 아키텍처는 공통적이고 매끄러운 경험을 복수의 장치의 사용자에게 제공하기 위해 복수의 장치에 걸쳐 기능이 전달될 수 있게 한다. 복수의 장치 각각은 상이한 물리적 요건 및 기능을 가질 수 있고, 중앙 컴퓨팅 장치는 장치에 맞춤화되고 또한 모든 장치에 공통적인 장치로의 경험의 전달을 가능하게 하는 플랫폼을 사용한다. 일 실시예에서, 일 부류의 타겟 장치들이 생성되고 경험들은 일반적인 부류의 장치들에 맞춤화된다. 물리적 특징, 사용의 유형, 또는 장치들의 다른 공통적인 특징에 의해 일 부류의 장치들이 정의될 수 있다.
다양한 구현에서, 컴퓨팅 장치(102)는 예를 들어 컴퓨터(1602), 이동장치(1604), 및 텔레비전(1606) 사용을 위한 다양한 상이한 구성을 취할 수 있다. 이들 구성 각각은 일반적으로 상이한 구성 및 기능을 가질 수 있는 장치들을 포함하고, 따라서, 컴퓨팅 장치(102)는 상이한 장치 부류들 중 하나 이상에 따라 구성될 수 있다. 예를 들어, 컴퓨팅 장치(102)는 개인용 컴퓨터, 데스크탑 컴퓨터, 멀티 스크린 컴퓨터, 랩탑 컴퓨터, 노트북 등을 포함하는 장치의 컴퓨터(1602)의 부류로서 구현될 수 있다.
컴퓨팅 장치(102)는 이동 전화기, 휴대용 음악 재생기, 휴대용 게임 장치, 태블릿 컴퓨터, 멀티 스크린 컴퓨터 등과 같은 이동 장치를 포함하는 이동장치(1602) 부류로서 구현될 수 있다. 컴퓨팅 장치(102)는 평상시의 보기 환경에서 일반적으로 대형 스크린을 갖는 또는 그에 연결된 장치를 포함하는 텔레비전 장치(1606) 부류로서 구현될 수 있다. 이들 장치는 텔레비전, 셋탑 박스, 게임 콘솔 등을 포함한다. 본 명세서에서 기술된 기법들은 이들 다양한 구성의 컴퓨팅 장치(102)에 의해 지원될 수 있고 본 명세서에서 기술된 특정 예시적인 기법에 국한되지 않는다. 따라서, 컴퓨팅 장치(102)는 본 명세서에서 기술된 기법들을 구현할 수 있는 이머시브 환경 모듈(114)을 포함하는 것으로 도시되어 있다.
클라우드(1608)는 콘텐츠 서비스(1612)를 위한 플랫폼(1610)을 포함하고 및/또는 그 플랫폼(1610)을 나타낸다. 플랫폼(1610)은 클라우드(1608)의 소프트웨어 리소스 및 하드웨어(예를 들어, 서버)의 기본 기능을 추상화한다. 콘텐츠 서비스(1612) 컴퓨터 프로세싱이 컴퓨팅 장치(102)로부터 원격인 서버 상에서 실행되는 동안 이용될 수 있는 애플리케이션 및/또는 데이터를 포함할 수 있다. 콘텐츠 서비스(1612)는 셀룰러 또는 와이파이 네트워크와 같은 가입자 네트워크를 통해 및/또는 인터넷을 통해 서비스로서 제공될 수 있다.
플랫폼(1610)은 컴퓨팅 장치(102)를 다른 컴퓨팅 장치와 연결하기 위한 리소스 및 기능을 추상화할 수 있다. 플랫폼(1610)은 또한 플랫폼(1610)을 통해 구현되는 콘텐츠 서비스(1612)에 대한 당면한 요구에 대응하는 스케일 레벨을 제공하기 위해 리소스의 스케일링을 추상화하는 역할을 할 수 있다. 따라서, 상호연결된 장치 환경에서, 본 명세서에서 기술한 기능의 구현은 시스템(1600)을 통해 분배될 수 있다. 예를 들어, 기능은 컴퓨팅 장치(102) 상에서 부분적으로 또한 클라우드(1608)의 기능을 추상화하는 플랫폼(1610)을 통해 구현될 수 있다. 다시 말해, 플랫폼(1610)은 이머시브 환경 모듈(114)의 기능의 전부 또는 일부를 구현하는데 이용될 수 있으며, 예를 들어, 이 기능은 플랫폼(1610) 및 컴퓨팅 장치(102) 사이에서 분배될 수 있다.
도 17은 도 1, 2 및 16을 참조하여 설명한 임의 유형의 컴퓨칭 장치로서 구현되어 본 명세서에서 기술한 기법의 실시예들을 구현할 수 있는 예시적인 장치(1700)의 다양한 구성요소들을 도시하고 있다. 장치(1700)는 장치 데이터(1704)(예를 들어, 수신된 데이터, 수신 중인 데이터, 브로드캐스팅될 예정인 데이터, 데이터의 데이터 패킷)의 유무선 통신을 가능하게 하는 통신 장치(1702)를 포함한다. 장치 데이터(1704)나 기타 장치 컨텐트는 장치의 구성 세팅, 장치 상에 저장된 미디어 컨텐트 및/또는 장치의 사용자와 연관된 데이터를 포함할 수 있다. 장치(1700) 상에 저장된 미디어 컨텐트는 임의 유형의 오디오, 비디오 및/또는 이미지 데이터를 포함할 수 있다. 이 장치(1700)는 사용자가 선택가능한 입력, 메시지, 음악, 텔레비전 미디어 컨텐트, 레코딩된 비디오 컨텐트 및 기타 유형의 비디오 및/또는 임의의 컨텐트나 데이터 소스로부터 수신된 이미지 데이터와 같이 임의 유형의 데이터, 미디어 컨텐트 및/또는 입력을 수신할 수 있는 하나 이상의 데이터 입력부(1706)를 포함한다.
이 장치(1700)는 통신 인터페이스(1708)를 포함하는데, 이는 직렬 및/또는 병렬 인터페이스, 무선 인터페이스, 임의 유형의 네트워크 인터페이스, 모뎀 및 임의의 기타 유형의 통신 인터페이스 중 하나 이상으로서 구현될 수 있다. 통신 인터페이스(1708)는 장치(1700)와 통신 네트워크 사이의 접속 및/또는 통신 링크를 제공하여, 다른 전기, 컴퓨팅, 통신 장치들이 장치(1700)와 데이터를 통신하도록 해준다.
이 장치(1700)는 하나 이상의 프로세서(예를 들어, 임의의 마이크로프로세서, 제어기 등)를 포함하여, 장치(1700)의 동작을 제어하고 본 명세서에서 기술된 기법의 실시예들을 구현하는 다양한 컴퓨터 실행가능 또는 판독가능 인스트럭션을 처리한다. 이에 더하여, 또는 이에 갈음하여, 장치(1700)는 하드웨어, 펌웨어, 또는 참조부호(1712)로 표시된 프로세싱 및 제어 회로를 이용하여 구현되는 고정 논리 회로의 임의의 하나 이상의 조합을 이용하여 구현될 수 있다. 도시하지는 않았지만 이 장치(1700)는 장치 내의 다양한 컴포넌트들을 연결하는 시스템 버스나 데이터 전송 시스템을 포함할 수 있다. 시스템 버스는 메모리 버스나 메모리 컨트롤러, 주변 버스, 범용 직렬 버스 및/또는 프로세서나 다양한 버스 아키텍쳐를 사용하는 로컬 버스와 같은 서로 다른 버스 구조들의 하나 이상의 조합을 포함할 수 있다.
장치(1700)는 하나 이상의 메모리 컴포넌트와 같은 컴퓨터 판독가능 매체(1714)도 포함하는데, 그 예로서 RAM, (ROM, 플래시 메모리, EPROM, EEPROM 등의) 비휘발성 메모리, 디스크 저장 장치가 있다. 디스크 저장 장치는 하드 디스크 드라이브, 기록가능 및/또는 재기록가능 CD, 임의 유형의 DVD 등과 같은 임의 유형의 자기 또는 광학 저장 장치로서 구현될 수 있다. 장치(1700)는 대용량 저장 매체 장치(1716)를 포함할 수도 있다.
컴퓨터 판독가능 매체(1714)는 다양한 장치 애플리케이션(1718), 기타 임의 유형의 정보 및/또는 장치(1700)의 동작적 특징과 관련된 데이터, 장치 데이터(1704)를 저장하는 데이터 저장 메커니즘을 제공한다. 이를테면, 운영 체제(1720)는 컴퓨터 판독가능 매체(1714)를 이용하여 컴퓨터 애플리케이션으로서 구현될 수 있고 프로세서(1710) 상에서 실행될 수 있다. 장치 애플리케이션(1718)은 장치 관리자(예를 들어, 제어 애플리케이션, 소프트웨어 애플리케이션, 신호 처리 및 제어 모듈, 특정 장치에 대한 네이티브(native) 코드, 특정 장치에 대한 하드웨어 추상화 계층 등)를 포함할 수 있다. 장치 애플리케이션(1718)은 본 명세서에서 기술된 기법의 실시예들을 구현할 임의의 시스템 컴포넌트나 모듈을 포함할 수 있다. 이 예에서 장치 애플리케이션(1718)은 소프트웨어 모듈 및/또는 컴퓨터 애플리케이션으로서 도시된 인터페이스 애플리케이션(1722) 및 입력/출력 모듈(1724)(입력/출력 모듈(114)과 동일할 수 있고 또는 다를 수 있음)을 포함한다. 입력/출력 모듈(1724)은 예를 들어 터치 스크린, 트랙 패드, 카메라 등과 같이 입력을 캡쳐하도록 구성된 장치와의 인터페이스를 제공하는 데 사용되는 소프트웨어를 나타낸다. 이와 달리, 또는 그에 부가하여, 인터페이스 애플리케이션(1722) 및 입력/출력 모듈(1724)은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로서 구현될 수 있다. 또한, 입력/출력 모듈(1724)은 시각적 및 청각적 입력을 각각 캡처하는 별개의 장치와 같은 다수의 입력 장치를 지원하도록 구성될 수 있다.
이 장치(1700)는 오디오 시스템(1728)에 오디오 데이터를 제공하고 및/또는 디스플레이 시스템(1730)에 비디오 데이터를 제공하는 오디오 및/또는 비디오 입출력 시스템(1726)을 포함한다. 오디오 시스템(1728) 및/또는 디스플레이 시스템(1730)은 오디오, 비디오, 이미지 데이터를 처리, 디스플레이 및/또는 기타 렌더링하는 임의의 장치를 포함할 수 있다. 비디오 신호와 오디오 신호는 장치(1700)로부터 오디오 장치 및/또는 디스플레이 장치로 RF(무선 주파수) 링크, S-비디오 링크, 복합 비디오 링크, 컴포넌트 비디오 링크, DVI(디지털 비디오 인터페이스), 아날로그 오디오 접속부 및 기타 유사한 통신 링크를 통해 통신될 수 있다. 일 실시예에서 오디오 시스템(1728) 및/또는 디스플레이 시스템(1730)은 장치(1700)의 외부 컴포넌트로서 구현된다. 이와는 달리, 오디오 시스템(1728) 및/또는 디스플레이 시스템(1730)이 예시적인 장치(1700) 내에 통합된 컴포넌트로 구현될 수도 있다.
결론
본 발명이 구조적 특징 및/또는 방법적 동작에 특유한 표현을 이용하여 기술되었지만, 첨부하는 특허청구범위에 정의된 본 발명이 기술된 구체적인 특징이나 동작으로 제한되는 것이 아님을 이해해야 한다. 오히려 구체적인 특징이나 동작은 청구항에 기재된 발명을 구현하는 예시적인 형태로서 개시된 것일 뿐이다.

Claims (20)

  1. 하나 이상의 컴퓨팅 장치에 의해 구현되는 방법으로서,
    운영 시스템의 이머시브 쉘(immersive shell)을 동작시키는 단계- 상기 이머시브 쉘은 하나 이상의 기법을 이용하여 애플리케이션들 또는 데스크탑 쉘에 대한 액세스를 지원하도록 구성됨 -와,
    상기 이머시브 쉘을 거터(gutter)에 의해서 1차 영역 및 2차 영역으로 분리하는 단계와,
    상기 운영 시스템에 대응하는 상기 데스크탑 쉘을 상기 이머시브 쉘 내에 동시에 디스플레이하는 단계- 상기 데스크탑 쉘의 전체는 상기 이머시브 쉘의 상기 2차 영역에 디스플레이 가능하고, 상기 데스크탑 쉘은 상기 애플리케이션들 중 하나 이상과 상호작용하도록 구성됨 -와,
    상기 애플리케이션들 중 복수의 제 1 실행가능한 애플리케이션을 사용자-제어가능한 프레임을 가진 제각기의 윈도우를 통해서 상기 데스크탑 쉘에 제공하는 단계- 상기 복수의 제 1 실행가능한 애플리케이션은 상기 데스크탑 쉘에서 실행가능함 -와,
    상기 복수의 제 1 실행가능한 애플리케이션 중 하나의 제 1 실행가능한 애플리케이션에 대응하고 상기 하나 이상의 기법과 관련된 입력을 수신하는 단계와,
    상기 하나 이상의 기법과 관련된 상기 입력에 응답하여,
    상기 1차 영역 내에서의 실행을 위해 상기 1차 영역에 상기 데스크탑 쉘의 전체를 디스플레이하는 단계와,
    상기 데스크탑 쉘에 제공된 상기 복수의 제 1 실행가능한 애플리케이션 중 나머지 애플리케이션들보다 상기 데스크탑 쉘 내에서 상기 하나의 제 1 실행가능한 애플리케이션에 포커스를 제공하는 단계와,
    상기 2차 영역에서의 실행을 위해 상기 2차 영역에 상기 애플리케이션들 중 제 2 실행가능한 애플리케이션을 디스플레이하는 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 데스크탑 쉘에서, 상기 하나 이상의 기법과 관련된 제 2 입력을 수신하는 단계- 상기 제 2 입력은 상기 데스크탑 쉘 중 상기 윈도우 밖의 영역을 나타냄- 와,
    상기 데스크탑 쉘을 상기 이머시브 쉘과 실질적으로 동일한 크기로 디스플레이하는 단계를 더 포함하는
    방법.
  3. 제1항에 있어서,
    상기 데스크탑 쉘에서, 상기 하나 이상의 기법과 관련된 제 2 입력을 수신하는 단계- 상기 제 2 입력은 상기 데스크탑 쉘 중 상기 윈도우 밖의 영역의 선택을 나타냄 -를 더 포함하는
    방법.
  4. 제3항에 있어서,
    상기 이머시브 쉘을 상기 거터에 의해서 상기 1차 영역 및 상기 2차 영역으로 분리하는 단계는, 상기 하나 이상의 기법과 관련된 다른 입력에 기초해서 상기 거터를 이동시키는 단계를 포함하는
    방법.
  5. 제3항에 있어서,
    상기 2차 영역에 디스플레이되는 상기 데스크탑 쉘에서, 상기 하나 이상의 기법과 관련된 또 다른 입력을 수신하는 단계- 상기 또 다른 입력은 상기 윈도우의 선택을 나타냄 -와,
    상기 이머시브 쉘의 상기 1차 영역에 상기 데스크탑 쉘을 디스플레이하는 단계와,
    상기 제각기의 윈도우 중 하나의 윈도우와 관련된, 상기 하나의 제 1 실행가능한 애플리케이션의 사용자 인터페이스를 상기 데스크탑 쉘에 디스플레이하는 단계를 더 포함하는
    방법.
  6. 제5항에 있어서,
    상기 1차 영역에 디스플레이되는 상기 데스크탑 쉘에서, 상기 하나 이상의 기법과 관련된 제 3 입력을 수신하는 단계- 상기 제 3 입력은 상기 하나의 제 1 실행가능한 애플리케이션의 상기 사용자 인터페이스의 선택을 나타냄 -와,
    상기 데스크탑 쉘의 상기 하나의 제 1 실행가능한 애플리케이션으로부터의 데이터를 상기 2차 영역에 디스플레이하는 단계를 더 포함하는
    방법.
  7. 제1항에 있어서,
    상기 데스크탑 쉘에서, 상기 하나 이상의 기법과 관련된 제 2 입력을 수신하는 단계- 상기 제 2 입력은 상기 데스크탑 쉘에서 사용자-제어가능한 프레임을 가진 윈도우의 선택을 나타냄 -와,
    상기 제각기의 윈도우 중 하나의 윈도우와 관련된, 상기 하나의 제 1 실행가능한 애플리케이션의 사용자 인터페이스를 상기 데스크탑 쉘에 디스플레이하는 단계를 더 포함하는
    방법.
  8. 제1항에 있어서,
    상기 이머시브 쉘 내에서 상기 데스크탑 쉘 밖에 타일을 디스플레이하는 단계- 상기 타일은 상기 이머시브 쉘 내에서 상기 데스크탑 쉘 밖에서 실행 가능한 애플리케이션에 대응함 -와,
    상기 하나 이상의 기법과 관련된 제 2 입력을 수신하는 단계- 상기 제 2 입력은 상기 타일의 선택을 나타냄 -와,
    상기 이머시브 쉘에, 상기 타일과 관련된, 상기 하나의 제 1 실행가능 애플리케이션의 사용자 인터페이스를 상기 이머시브 쉘과 실질적으로 동일한 크기로 디스플레이하는 단계를 더 포함하는
    방법.
  9. 제1항에 있어서,
    상기 하나 이상의 기법은
    커서 제어 장치와,
    키보드와,
    터치 패드와,
    터치 스크린과,
    제스처
    중 적어도 하나에 의한 입력을 제공하는 기법을 포함하는
    방법
  10. 하나 이상의 컴퓨팅 장치에 의해 구현되는 운영 시스템의 이머시브 쉘에서 네비게이팅하는 방법으로서,
    상기 운영 시스템의 이머시브 쉘을 동작시키는 단계- 상기 이머시브 쉘은 하나 이상의 기법을 이용하여 애플리케이션들 또는 데스크탑 쉘에 대한 액세스를 지원하도록 구성됨 -와,
    상기 이머시브 쉘을 거터에 의해서 1차 영역 및 2차 영역으로 분리하는 단계와,
    상기 운영 시스템에 대응하는 데스크탑 쉘을 상기 이머시브 쉘 내에 동시에 디스플레이하는 단계- 상기 데스크탑 쉘의 전체는 상기 이머시브 쉘의 상기 2차 영역에 디스플레이 가능하고, 상기 데스크탑 쉘은 상기 애플리케이션들 중 하나 이상과 상호작용하도록 구성됨 -와,
    복수의 제 1 실행가능한 애플리케이션을 사용자-제어가능한 프레임을 가진 제각기의 윈도우를 통해서 상기 데스크탑 쉘에 제공하는 단계- 상기 복수의 제 1 실행가능한 애플리케이션은 상기 데스크탑 쉘에서 실행가능함 -와,
    상기 이머시브 쉘의 상기 2차 영역 내에서 상기 데스크탑 쉘 밖에 타일을 디스플레이하는 단계- 상기 타일은 상기 이머시브 쉘 내에서 상기 데스크탑 쉘 밖의 실행가능한 애플리케이션에 대응함 -와,
    상기 복수의 제 1 실행가능한 애플리케이션 중 하나의 제 1 실행가능한 애플리케이션에 대응하고 하나 이상의 기법과 관련된 입력을 수신하는 단계와,
    상기 하나 이상의 기법과 관련된 상기 입력에 응답하여,
    상기 1차 영역 내에서의 실행을 위해 상기 1차 영역에 상기 데스크탑 쉘의 전체를 디스플레이하는 단계와,
    상기 데스크탑 쉘에 제공된 상기 복수의 제 1 실행가능한 애플리케이션 중 나머지 애플리케이션들보다 상기 데스크탑 쉘 내에서 상기 하나의 제 1 실행가능한 애플리케이션에 포커스를 제공하는 단계와,
    상기 2차 영역에서의 실행을 위해 상기 2차 영역에 상기 애플리케이션들 중 제 2 실행가능한 애플리케이션을 디스플레이하는 단계를 포함하는
    방법.
  11. 제10항에 있어서,
    상기 데스크탑 쉘에서, 상기 하나 이상의 기법과 관련된 제 2 입력을 수신하는 단계- 상기 제 2 입력은 상기 데스크탑 쉘 중 상기 윈도우 밖의 영역을 나타냄 -와,
    상기 데스크탑 쉘을 상기 이머시브 쉘과 실질적으로 동일한 크기로 디스플레이하는 단계를 더 포함하는
    방법.
  12. 제10항에 있어서,
    상기 하나 이상의 기법과 관련된 제 2 입력을 수신하는 단계- 상기 제 2 입력은 상기 타일의 선택을 나타냄 -와,
    상기 이머시브 쉘에, 상기 타일과 관련된, 상기 하나의 제 1 실행가능한 애플리케이션의 사용자 인터페이스를 상기 이머시브 쉘과 실질적으로 동일한 크기로 디스플레이하는 단계를 더 포함하는
    방법.
  13. 제10항에 있어서,
    상기 데스크탑 쉘에서, 상기 하나 이상의 기법과 관련된 제 2 입력을 수신하는 단계- 상기 제 2 입력은 상기 데스크탑 쉘 중 상기 윈도우 밖의 영역의 선택을 나타냄 -를 더 포함하고,
    상기 거터는 상기 하나 이상의 기법과 관련된 다른 입력에 기초해서 이동 가능한
    방법.
  14. 제13항에 있어서,
    상기 2차 영역에 디스플레이되는 상기 데스크탑 쉘에서, 상기 하나 이상의 기법과 관련된 제 3 입력을 수신하는 단계- 상기 제 3 입력은 상기 윈도우의 선택을 나타냄 -와,
    상기 이머시브 쉘의 상기 1차 영역에 상기 데스크탑 쉘을 디스플레이하는 단계와,
    상기 제각기의 윈도우 중 하나의 윈도우와 관련된, 상기 제 1 실행가능한 애플리케이션의 사용자 인터페이스를 상기 데스크탑 쉘에 디스플레이하는 단계를 더 포함하는
    방법.
  15. 제14항에 있어서,
    상기 1차 영역에 디스플레이되는 상기 데스크탑 쉘에서, 상기 하나 이상의 기법과 관련된 제 4 입력을 수신하는 단계- 상기 제 4 입력은 상기 하나의 제 1 실행가능한 애플리케이션의 상기 사용자 인터페이스의 선택을 나타냄 -와,
    상기 데스크탑 쉘의 상기 하나의 제 1 실행가능한 애플리케이션으로부터의 데이터를 상기 2차 영역에 디스플레이하는 단계를 더 포함하는
    방법.
  16. 시스템으로서,
    하나 이상의 프로세서와,
    동작을 수행하도록 상기 하나 이상의 프로세서에 의해 실행 가능한 명령어가 저장된 하나 이상의 컴퓨터 판독 가능 저장 매체
    를 포함하고,
    상기 동작은,
    운영 시스템의 이머시브 쉘을 동작시키는 것- 상기 이머시브 쉘은 하나 이상의 기법을 이용하여 애플리케이션들 또는 데스크탑 쉘에 대한 액세스를 지원하도록 구성됨 -과,
    상기 이머시브 쉘을 거터에 의해서 1차 영역 및 2차 영역으로 분리하는 것과,
    상기 운영 시스템에 대응하는 상기 데스크탑 쉘을 상기 이머시브 쉘 내에 동시에 디스플레이하는 것- 상기 데스크탑 쉘의 전체는 상기 이머시브 쉘의 상기 2차 영역에 디스플레이 가능하고, 상기 데스크탑 쉘은 상기 애플리케이션들 중 하나 이상과 상호작용하도록 구성됨 -과,
    상기 애플리케이션들 중 복수의 제 1 실행가능한 애플리케이션을 사용자-제어가능한 프레임을 가진 제각기의 윈도우를 통해서 상기 데스크탑 쉘에 제공하는 것- 상기 복수의 제 1 실행가능한 애플리케이션은 상기 데스크탑 쉘에서 실행가능함 -과,
    상기 이머시브 쉘의 상기 2차 영역 내에서 상기 데스크탑 쉘 밖에 타일을 디스플레이하는 것- 상기 타일은 상기 이머시브 쉘 내에서 상기 데스크탑 쉘 밖의 실행가능한 애플리케이션에 대응함 -과,
    상기 복수의 제 1 실행가능한 애플리케이션 중 하나의 제 1 실행가능한 애플리케이션에 대응하고 상기 하나 이상의 기법과 관련된 입력을 수신하는 것과,
    상기 하나 이상의 기법과 관련된 상기 입력에 응답하여,
    상기 1차 영역 내에서의 실행을 위해 상기 1차 영역에 상기 데스크탑 쉘의 전체를 디스플레이하는 것과,
    상기 데스크탑 쉘에 제공된 상기 복수의 제 1 실행가능한 애플리케이션 중 나머지 애플리케이션들보다 상기 데스크탑 쉘 내에서 상기 하나의 제 1 실행가능한 애플리케이션에 포커스를 제공하는 것과,
    상기 2차 영역에서의 실행을 위해 상기 2차 영역에 상기 애플리케이션들 중 제 2 실행가능한 애플리케이션을 디스플레이하는 것을 포함하는
    시스템.
  17. 제16항에 있어서,
    상기 이머시브 쉘을 상기 거터에 의해서 상기 1차 영역 및 상기 2차 영역으로 분리하는 것은, 상기 데스크탑 쉘에서, 상기 하나 이상의 기법과 관련된 입력을 수신할 때 수행되고,
    상기 입력은 상기 데스크탑 쉘 중 상기 윈도우 밖의 영역의 선택을 나타내며,
    상기 거터는 상기 하나 이상의 기법과 관련된 다른 입력에 기초해서 이동 가능한
    시스템.
  18. 제17항에 있어서,
    상기 동작은,
    상기 2차 영역에 디스플레이되는 상기 데스크탑 쉘에서, 상기 하나 이상의 기법과 관련된 제 3 입력- 상기 제 3 입력은 상기 윈도우의 선택을 나타냄 -을 수신하면, 상기 이머시브 쉘의 상기 1차 영역에 상기 데스크탑 쉘을 디스플레이하는 것과,
    상기 제각기의 윈도우 중 하나의 윈도우와 관련된, 상기 하나의 제 1 실행가능한 애플리케이션의 사용자 인터페이스를 상기 데스크탑 쉘에 디스플레이하는 것을 더 포함하는
    시스템.
  19. 제18항에 있어서,
    상기 동작은,
    상기 1차 영역에 디스플레이되는 상기 데스크탑 쉘에서, 상기 하나 이상의 기법과 관련된 제 4 입력- 상기 제 4 입력은 상기 하나의 제 1 실행가능한 애플리케이션의 상기 사용자 인터페이스의 선택을 나타냄 -을 수신하면, 상기 데스크탑 쉘의 상기 하나의 제 1 실행가능한 애플리케이션으로부터의 데이터를 상기 2차 영역에 디스플레이하는 것을 더 포함하는
    시스템.
  20. 제16항에 있어서,
    상기 동작은,
    상기 데스크탑 쉘에서, 상기 하나 이상의 기법과 관련된 제 2 입력을 수신하는 것- 상기 제 2 입력은 상기 데스크탑 쉘에서 사용자-제어가능한 프레임을 가진 윈도우의 선택을 나타냄 -과,
    상기 제각기의 윈도우 중 하나의 윈도우와 관련된, 상기 하나의 제 1 실행가능한 애플리케이션의 사용자 인터페이스를 상기 데스크탑 쉘에 디스플레이하는 것을 더 포함하는
    시스템.
KR1020187022045A 2011-05-27 2011-10-09 이머시브 애플리케이션으로서의 데스크탑 KR102118275B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/118,132 2011-05-27
US13/118,132 US8924885B2 (en) 2011-05-27 2011-05-27 Desktop as immersive application
PCT/US2011/055525 WO2012166184A1 (en) 2011-05-27 2011-10-09 Desktop as immersive application

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137031546A Division KR101885680B1 (ko) 2011-05-27 2011-10-09 이머시브 애플리케이션으로서의 데스크탑

Publications (2)

Publication Number Publication Date
KR20180088931A KR20180088931A (ko) 2018-08-07
KR102118275B1 true KR102118275B1 (ko) 2020-06-02

Family

ID=47220135

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187022045A KR102118275B1 (ko) 2011-05-27 2011-10-09 이머시브 애플리케이션으로서의 데스크탑
KR1020137031546A KR101885680B1 (ko) 2011-05-27 2011-10-09 이머시브 애플리케이션으로서의 데스크탑

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020137031546A KR101885680B1 (ko) 2011-05-27 2011-10-09 이머시브 애플리케이션으로서의 데스크탑

Country Status (6)

Country Link
US (2) US8924885B2 (ko)
EP (1) EP2715533A4 (ko)
JP (1) JP6151242B2 (ko)
KR (2) KR102118275B1 (ko)
CN (1) CN103562860B (ko)
WO (1) WO2012166184A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040216036A1 (en) * 2002-09-13 2004-10-28 Yahoo! Inc. Browser user interface
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9843665B2 (en) 2011-05-27 2017-12-12 Microsoft Technology Licensing, Llc Display of immersive and desktop shells
US10417018B2 (en) 2011-05-27 2019-09-17 Microsoft Technology Licensing, Llc Navigation of immersive and desktop shells
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US8893033B2 (en) * 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
US9727227B2 (en) * 2011-07-28 2017-08-08 Microsoft Technology Licensing, Llc Multi-touch remoting
WO2013028202A1 (en) * 2011-08-25 2013-02-28 Intel Corporation Collaborative graphics rendering using mobile devices to support remote display
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US10353566B2 (en) 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US8922575B2 (en) 2011-09-09 2014-12-30 Microsoft Corporation Tile cache
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US9223472B2 (en) 2011-12-22 2015-12-29 Microsoft Technology Licensing, Llc Closing applications
KR101919008B1 (ko) * 2012-02-24 2018-11-19 삼성전자주식회사 정보 제공 방법 및 이를 위한 이동 단말기
KR101894395B1 (ko) * 2012-02-24 2018-09-04 삼성전자주식회사 캡쳐 데이터 제공 방법 및 이를 위한 이동 단말기
JP6022215B2 (ja) 2012-05-31 2016-11-09 任天堂株式会社 投稿情報共有システム、情報処理システム、情報処理方法、プログラムおよびコンピュータプラットフォーム
JP6159511B2 (ja) 2012-06-01 2017-07-05 任天堂株式会社 情報処理システム、情報処理装置および情報処理方法
US9268457B2 (en) * 2012-07-13 2016-02-23 Google Inc. Touch-based fluid window management
US9619037B2 (en) * 2012-07-25 2017-04-11 Facebook, Inc. Custom gestures
KR102016975B1 (ko) * 2012-07-27 2019-09-02 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
JP6062722B2 (ja) 2012-11-16 2017-01-18 任天堂株式会社 情報処理システム、情報処理装置、情報処理方法、およびコンピュータプログラム
US20140195918A1 (en) * 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
KR102053861B1 (ko) * 2013-02-14 2019-12-09 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US20140298258A1 (en) * 2013-03-28 2014-10-02 Microsoft Corporation Switch List Interactions
US9575620B2 (en) * 2013-05-29 2017-02-21 Here Global B.V. Method, apparatus and computer program product for graphically enhancing the user interface of a device
JP5905417B2 (ja) * 2013-07-29 2016-04-20 京セラ株式会社 携帯端末および表示制御方法
USD737324S1 (en) * 2013-08-19 2015-08-25 Barktech, LLC Icon for a display screen or packaging with surface ornamentation
JP6098435B2 (ja) * 2013-08-22 2017-03-22 ソニー株式会社 情報処理装置、記憶媒体、および制御方法
KR102194795B1 (ko) * 2013-08-29 2020-12-23 삼성전자주식회사 전력 제어를 위한 전자 장치 및 방법
US9910884B2 (en) 2014-01-13 2018-03-06 Microsoft Technology Licensing, Llc Resuming items in their last-used presentation modes
CN105359074A (zh) * 2014-04-04 2016-02-24 微软技术许可有限责任公司 可扩展应用表示、活动水平和桌面表示
EP3126969A4 (en) 2014-04-04 2017-04-12 Microsoft Technology Licensing, LLC Expandable application representation
KR20160143752A (ko) * 2014-04-04 2016-12-14 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 확장가능한 애플리케이션 표시 및 태스크바
EP3126941A4 (en) * 2014-04-04 2017-07-26 Microsoft Technology Licensing, LLC Expandable application representation and sending content
EP3129847A4 (en) 2014-04-10 2017-04-19 Microsoft Technology Licensing, LLC Slider cover for computing device
CN105378582B (zh) 2014-04-10 2019-07-23 微软技术许可有限责任公司 计算设备的可折叠壳盖
WO2015154306A1 (en) * 2014-04-11 2015-10-15 Microsoft Technology Licensing, Llc Expandable application representation, milestones, and storylines
US9916059B2 (en) * 2014-07-31 2018-03-13 Microsoft Technology Licensing, Llc Application launcher sizing
US9674335B2 (en) 2014-10-30 2017-06-06 Microsoft Technology Licensing, Llc Multi-configuration input device
US9946432B2 (en) * 2015-01-05 2018-04-17 Microsoft Technology Licensing, Llc. Customizable bladed applications
US10331293B2 (en) * 2017-02-22 2019-06-25 International Business Machines Coporation Automated resizing of application windows based on interactive states

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590592B1 (en) 1999-04-23 2003-07-08 Xsides Corporation Parallel interface
US20080059893A1 (en) * 2006-08-31 2008-03-06 Paul Byrne Using a zooming effect to provide additional display space for managing applications
US7681134B1 (en) 2006-04-25 2010-03-16 Parallels Software International, Inc. Seamless integration and installation of non-host application into native operating system
US20110107272A1 (en) * 2009-11-04 2011-05-05 Alpine Electronics, Inc. Method and apparatus for controlling and displaying contents in a user interface

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265901A (ja) * 1992-03-17 1993-10-15 Fujitsu Ltd マルチウィンドウ制御方式
US5488685A (en) * 1993-01-27 1996-01-30 Apple Computer, Inc. Method and apparatus for providing visual cues in a graphic user interface
US5499334A (en) 1993-03-01 1996-03-12 Microsoft Corporation Method and system for displaying window configuration of inactive programs
US5487143A (en) * 1994-04-06 1996-01-23 Altera Corporation Computer user interface having tiled and overlapped window areas
US5564002A (en) 1994-08-01 1996-10-08 International Business Machines Corporation Method and apparatus for implementing a virtual desktop through window positioning
US5666498A (en) * 1996-03-29 1997-09-09 International Business Machines Corporation Method, memory and apparatus for automatically resizing a window
US6061695A (en) 1996-12-06 2000-05-09 Microsoft Corporation Operating system shell having a windowing graphical user interface with a desktop displayed as a hypertext multimedia document
TW347518B (en) * 1997-03-06 1998-12-11 Samsung Electronics Co Ltd Display screen split method of a computer system
US6269409B1 (en) 1997-09-02 2001-07-31 Lsi Logic Corporation Method and apparatus for concurrent execution of operating systems
US6330010B1 (en) 1997-11-21 2001-12-11 Xsides Corporation Secondary user interface
US6639613B1 (en) 1997-11-21 2003-10-28 Xsides Corporation Alternate display content controller
JP4072271B2 (ja) 1999-02-19 2008-04-09 株式会社日立製作所 複数のオペレーティングシステムを実行する計算機
US6570595B2 (en) * 1999-06-24 2003-05-27 Xoucin, Inc. Exclusive use display surface areas and persistently visible display of contents including advertisements
US6630943B1 (en) 1999-09-21 2003-10-07 Xsides Corporation Method and system for controlling a complementary user interface on a display surface
US6807666B1 (en) 1999-12-15 2004-10-19 Microsoft Corporation Methods and arrangements for providing multiple concurrent desktops and workspaces in a shared computing environment
US20040226041A1 (en) * 2000-02-18 2004-11-11 Xsides Corporation System and method for parallel data display of multiple executing environments
US20030179240A1 (en) 2002-03-20 2003-09-25 Stephen Gest Systems and methods for managing virtual desktops in a windowing environment
US7010755B2 (en) 2002-04-05 2006-03-07 Microsoft Corporation Virtual desktop manager
US6928619B2 (en) * 2002-05-10 2005-08-09 Microsoft Corporation Method and apparatus for managing input focus and z-order
TW594573B (en) 2002-12-02 2004-06-21 Tatung Corp Method for building up customized desktop of web page
US8024742B2 (en) 2003-09-30 2011-09-20 Jaluna S.A. Common program for switching between operation systems is executed in context of the high priority operating system when invoked by the high priority OS
US20050125739A1 (en) 2003-11-20 2005-06-09 Thompson Jeffrey W. Virtual desktop manager system and method
US8028247B2 (en) * 2004-03-05 2011-09-27 International Business Machines Corporation System and method for window navigation in GUI environment
US7761800B2 (en) 2004-06-25 2010-07-20 Apple Inc. Unified interest layer for user interface
US7424601B2 (en) 2004-07-07 2008-09-09 Yongyong Xu Methods and systems for running multiple operating systems in a single mobile device
US7549154B2 (en) 2004-11-23 2009-06-16 Microsoft Corporation Extensible architecture for auxiliary displays
US20060133586A1 (en) 2004-12-08 2006-06-22 Ntt Docomo, Inc. Information notification system and information notification method
US20060168528A1 (en) 2005-01-27 2006-07-27 Microsoft Corporation Method for arranging user interface glyphs on displays
US7478339B2 (en) 2005-04-01 2009-01-13 Microsoft Corporation Method and apparatus for application window grouping and management
US7546546B2 (en) 2005-08-24 2009-06-09 International Business Machines Corporation User defined contextual desktop folders
US7595810B2 (en) 2006-03-22 2009-09-29 Apple Inc. Methods of manipulating a screen space of a display device
US8443298B2 (en) * 2006-06-30 2013-05-14 International Business Machines Corporation Method and apparatus for repositioning a horizontally or vertically maximized display window
TWI357012B (en) * 2007-05-15 2012-01-21 Htc Corp Method for operating user interface and recording
JP5184832B2 (ja) * 2007-07-17 2013-04-17 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム
US9489216B2 (en) 2007-07-26 2016-11-08 Sap Se Active tiled user interface
US8850351B2 (en) * 2007-09-25 2014-09-30 Ati Technologies Ulc Method and tool for virtual desktop management
US20090172103A1 (en) * 2007-12-26 2009-07-02 Nokia Corporation Event based instant messaging notification
US9753712B2 (en) * 2008-03-20 2017-09-05 Microsoft Technology Licensing, Llc Application management within deployable object hierarchy
US8547347B2 (en) 2008-09-26 2013-10-01 Htc Corporation Method for generating multiple windows frames, electronic device thereof, and computer program product using the method
US20100269060A1 (en) 2009-04-17 2010-10-21 International Business Machines Corporation Navigating A Plurality Of Instantiated Virtual Desktops
US8171280B2 (en) 2009-06-22 2012-05-01 Matthew Laue Method of running multiple operating systems on an X86-based computer system having a dedicated memory region configured as a do not use region
US8832585B2 (en) * 2009-09-25 2014-09-09 Apple Inc. Device, method, and graphical user interface for manipulating workspace views
KR101690786B1 (ko) 2010-02-12 2016-12-28 삼성전자주식회사 멀티태스킹 수행 장치 및 방법
WO2011123840A2 (en) 2010-04-01 2011-10-06 Citrix Systems, Inc. Interacting with remote applications displayed within a virtual desktop of a tablet computing device
US10417018B2 (en) 2011-05-27 2019-09-17 Microsoft Technology Licensing, Llc Navigation of immersive and desktop shells
US9843665B2 (en) 2011-05-27 2017-12-12 Microsoft Technology Licensing, Llc Display of immersive and desktop shells

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590592B1 (en) 1999-04-23 2003-07-08 Xsides Corporation Parallel interface
US7681134B1 (en) 2006-04-25 2010-03-16 Parallels Software International, Inc. Seamless integration and installation of non-host application into native operating system
US20080059893A1 (en) * 2006-08-31 2008-03-06 Paul Byrne Using a zooming effect to provide additional display space for managing applications
US20110107272A1 (en) * 2009-11-04 2011-05-05 Alpine Electronics, Inc. Method and apparatus for controlling and displaying contents in a user interface

Also Published As

Publication number Publication date
WO2012166184A1 (en) 2012-12-06
EP2715533A1 (en) 2014-04-09
CN103562860A (zh) 2014-02-05
KR101885680B1 (ko) 2018-08-07
US8924885B2 (en) 2014-12-30
EP2715533A4 (en) 2014-11-05
CN103562860B (zh) 2017-02-08
JP2014515520A (ja) 2014-06-30
US20150121399A1 (en) 2015-04-30
KR20180088931A (ko) 2018-08-07
US20120304106A1 (en) 2012-11-29
KR20140027353A (ko) 2014-03-06
JP6151242B2 (ja) 2017-06-21

Similar Documents

Publication Publication Date Title
KR102118275B1 (ko) 이머시브 애플리케이션으로서의 데스크탑
US10613701B2 (en) Customizable bladed applications
US10417018B2 (en) Navigation of immersive and desktop shells
KR101895646B1 (ko) 이머시브 쉘 및 애플리케이션 쉘의 디스플레이
US10496268B2 (en) Content transfer to non-running targets
KR102298602B1 (ko) 확장가능한 애플리케이션 표시
US10191633B2 (en) Closing applications
CN109074276B (zh) 系统任务切换器中的选项卡
US9013366B2 (en) Display environment for a plurality of display devices
KR20170045257A (ko) 메시지 대화 이력의 신속 내비게이션
KR20160143755A (ko) 확장 가능 애플리케이션 표현, 액티비티 레벨들, 및 데스크탑 표현
KR20160140932A (ko) 확장 가능한 애플리케이션 표시 및 콘텐트 전송
US20140298245A1 (en) Display Instance Management
JP2017526068A (ja) 混合ビューへのジェスチャベースのアクセス

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant