KR20220130808A - 컴퓨터 생성 경험들을 제공하기 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들 - Google Patents

Abstract

컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트를 통해, 제1 컴퓨터 생성 환경을 디스플레이하고, 제2 디스플레이 생성 컴포넌트를 통해, 제1 디스플레이 생성 컴포넌트를 통해 제1 컴퓨터 생성 환경을 보기 위한 위치에 있는 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현, 및 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 동시에 디스플레이한다. 컴퓨팅 시스템은 각각의 기간에 걸친 사용자의 외관의 변화들을 나타내기 위해 사용자의 일부분의 시각적 표현을 변경하고, 각각의 기간에 걸친 제1 컴퓨터 생성 환경의 변화들을 나타내기 위해 하나 이상의 그래픽 요소들을 변경한다.

Description

컴퓨터 생성 경험들을 제공하기 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들

우선권 주장 및 관련 출원들

본 출원은 2020년 3월 16일자로 출원된 미국 가출원 제62/990,408호에 대한 우선권을 주장하는, 2021년 3월 12일자로 출원된, 발명의 명칭이 "DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING COMPUTER-GENERATED EXPERIENCES"인 미국 특허 출원 제17/200,676호의 계속출원이다.

기술분야

본 개시내용은, 대체적으로, 하나 이상의 디스플레이들을 통해 가상 현실 및 혼합 현실 경험들을 제공하는 전자 디바이스들을 포함하지만 이에 제한되지 않는, 컴퓨터 생성 경험들을 제공하는 하나 이상의 디스플레이 생성 컴포넌트들 및 하나 이상의 입력 디바이스들을 갖는 컴퓨팅 시스템에 관한 것이다.

증강 현실을 위한 컴퓨팅 시스템들의 개발은 최근에 상당히 증가하였다. 예시적인 증강 현실 환경들은, 물리적 세계의 표현들을 대체하거나 증강시키는 적어도 일부 가상 요소들을 포함한다. 컴퓨팅 시스템들 및 다른 전자 컴퓨팅 디바이스들에 대한 입력 디바이스들, 예를 들어 카메라들, 제어기들, 조이스틱들, 터치 감응형 표면들 및 터치 스크린 디스플레이들이 가상/증강 현실 환경들과 상호작용하기 위해 사용된다. 예시적인 가상 요소들은 가상 3차원 객체들, 디지털 이미지들, 비디오, 텍스트, 아이콘들, 및 버튼들 및 다른 그래픽들과 같은 제어 요소들을 포함한다.

그러나, 적어도 일부 가상 요소들(예를 들어, 애플리케이션들, 증강 현실 환경들, 혼합 현실 환경들, 및 가상 현실 환경들)을 포함하는 환경들과 상호작용하기 위한 방법들 및 인터페이스들은 번거롭고, 비효율적이고, 제한된다. 예를 들어, 가상 객체들과 연관된 액션들을 수행하기 위한 불충분한 피드백을 제공하는 시스템들, 증강 현실 환경에서 원하는 결과를 달성하기 위해 일련의 입력들을 요구하는 시스템들, 및 가상 객체들의 조작이 복잡하고, 지루하며, 에러가 발생하기 쉬운 시스템들은 사용자에게 상당한 인지 부담을 생성하고, 가상/증강 현실 환경과의 경험을 손상시킨다. 게다가, 이러한 방법들은 필요 이상으로 오래 걸려서, 에너지가 낭비된다. 이러한 후자의 고려사항은 배터리-작동형 디바이스들에서 특히 중요하다. 게다가, 가상 현실 및/또는 혼합 현실 경험들을 제공하는 많은 시스템들은 머리 장착형 디스플레이 디바이스들을 사용하며, 이는 사용자들의 얼굴들을 그들의 주변으로부터 물리적으로 차폐하고, 사용자들이 가상 현실 및 혼합 현실 경험들에 관여할 때 외부 세계와의 사회적 상호작용 및 정보 교환을 방해한다.

따라서, 컴퓨팅 시스템들과의 상호작용을 사용자에게 더 효율적이고 직관적으로 만드는 컴퓨터 생성 경험들을 사용자들에게 제공하기 위한 개선된 방법들 및 인터페이스들을 갖는 컴퓨팅 시스템들에 대한 필요성이 존재한다. 또한, 사용자들이 다양한 가상 현실 및 혼합 현실 경험들에 관여하는 동안 주변 환경과의 더 나은 사회적 상호작용, 에티켓 및 정보 교환을 용이하게 하는 컴퓨터 생성 경험들을 사용자들에게 제공하기 위한 개선된 방법들 및 인터페이스들을 갖는 컴퓨팅 시스템들에 대한 필요성이 존재한다. 그러한 방법들 및 인터페이스들은, 선택적으로, 컴퓨터 생성 현실 경험들을 사용자들에게 제공하기 위한 종래의 방법들을 보완하거나 대체한다. 그러한 방법들 및 인터페이스들은, 사용자가 제공된 입력들과 입력들에 대한 디바이스 응답들 사이의 접속을 이해하는 것을 도움으로써 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄여서, 이에 의해 더 효율적인 인간-기계 인터페이스를 생성한다. 그러한 방법들 및 인터페이스들은, 또한, 사용자가 컴퓨팅 시스템들에 의해 제공되는 가상 현실 경험 및/또는 혼합 현실 경험에 관여할 때, 예컨대 동일한 물리적 환경에 존재하는 사용자 및 다른 사람들의 부분에 대한 사회적 신호(social cue)들 및 시각적 정보의 부족으로 인한 실수들, 중단들 및 시간 지연들을 감소시킴으로써, 사용자의 경험을 개선한다.

개시된 시스템들에 의해, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 갖는 컴퓨팅 시스템에 대한 사용자 인터페이스들과 연관된 위의 결점들 및 다른 문제들이 감소되거나 제거된다. 일부 실시예들에서, 컴퓨팅 시스템은 하나 이상의 연관된 디스플레이들을 갖는 데스크톱 컴퓨터이다. 일부 실시예들에서, 컴퓨팅 시스템은 휴대용 디바이스(예컨대, 노트북 컴퓨터, 태블릿 컴퓨터, 또는 핸드헬드 디바이스)이다. 일부 실시예들에서, 컴퓨팅 시스템은 개인용 전자 디바이스(예컨대, 워치 또는 머리 장착형 디바이스와 같은 웨어러블 전자 디바이스)이다. 일부 실시예들에서, 컴퓨팅 시스템은 터치패드를 갖는다. 일부 실시예들에서, 컴퓨팅 시스템은 하나 이상의 카메라들을 갖는다. 일부 실시예들에서, 컴퓨팅 시스템은 터치 감응형 디스플레이("터치 스크린" 또는 "터치 스크린 디스플레이"로도 알려짐)를 갖는다. 일부 실시예들에서, 컴퓨팅 시스템은 하나 이상의 눈 추적 컴포넌트들을 갖는다. 일부 실시예들에서, 컴퓨팅 시스템은 하나 이상의 손 추적 컴포넌트들을 갖는다. 일부 실시예들에서, 컴퓨팅 시스템은 하나 이상의 디스플레이 생성 컴포넌트들에 추가하여 하나 이상의 출력 디바이스들을 갖고, 출력 디바이스들은 하나 이상의 촉각적 출력 생성기들 및 하나 이상의 오디오 출력 디바이스들을 포함한다. 일부 실시예들에서, 컴퓨팅 시스템은 그래픽 사용자 인터페이스(GUI), 하나 이상의 프로세서들, 메모리, 및 다수의 기능들을 수행하기 위해 메모리에 저장되는 하나 이상의 모듈들, 프로그램들 또는 명령어들의 세트들을 갖는다. 일부 실시예들에서, 사용자는 터치-감응형 표면 상의 스타일러스 및/또는 손가락 접촉들 및 제스처들, 카메라들 및 다른 이동 센서들에 의해 캡처된 GUI 또는 사용자의 신체에 대한 공간에서의 사용자의 눈들 및 손의 이동, 및 하나 이상의 오디오 입력 디바이스들에 의해 캡처된 음성 입력들을 통해 GUI와 상호작용한다. 일부 실시예들에서, 상호작용들을 통해 수행되는 기능들은, 선택적으로, 이미지 편집, 드로잉, 프레젠팅(presenting), 워드 프로세싱, 스프레드시트 작성, 게임 하기, 전화 걸기, 화상 회의, 이메일 보내기, 인스턴트 메시징(instant messaging), 운동 지원, 디지털 사진촬영, 디지털 비디오 녹화, 웹 브라우징, 디지털 음악 재생, 메모하기(note taking), 및/또는 디지털 비디오 재생을 포함한다. 이러한 기능들을 수행하기 위한 실행가능 명령어들은, 선택적으로, 하나 이상의 프로세서들에 의한 실행을 위해 구성된 비일시적 컴퓨터 판독가능 저장 매체 또는 다른 컴퓨터 프로그램 제품에 포함된다.

본 명세서에 개시된 바와 같이, 컴퓨팅 시스템은 적어도 2개의 디스플레이 생성 컴포넌트들을 포함하며, 이때 제1 디스플레이 생성 컴포넌트는 사용자를 향하고 사용자에게 3차원 컴퓨터 생성 경험들을 제공하며, 제2 디스플레이 생성 컴포넌트는 사용자로부터 멀리 향하고 사용자(예컨대, 사용자의 눈들의 이동) 및/또는 사용자가 현재 보고 있는 컴퓨터 생성 경험(예컨대, 사용자가 보는 콘텐츠 및 콘텐츠와 연관된 몰입 레벨과 관련된 메타데이터)과 관련된 상태 정보를 제공한다. 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트는, 선택적으로, 머리 장착형 디스플레이 디바이스(HMD)의 동일한 하우징으로 둘러싸이고, 각각, HMD를 착용한 사용자를 향해 내향으로 그리고 사용자를 둘러싸는 물리적 환경을 향해 외향으로 향하는 2개의 디스플레이들이다. 제2 디스플레이 생성 컴포넌트는, 선택적으로, 제1 디스플레이 생성 컴포넌트 뒤에 차폐된 사용자의 일부분의 시각적 표현을 포함하고 제1 디스플레이 생성 컴포넌트를 통해 사용자에게 현재 표시된 콘텐츠 및/또는 그와 연관된 몰입 레벨과 관련된 메타데이터를 포함하는 실시간 상태 정보를 제공하여서, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 컴퓨터 생성 콘텐츠를 보고 있는 동안, 사용자와의 상호작용을 불필요하게 회피하거나 사용자를 부적절하게 방해하는 것과는 대조적으로, 사용자의 주변 물리적 환경 내의 다른 사람 또는 사람들이 제2 디스플레이 생성 컴포넌트에 의해 제공되는 시각적 정보 및 메타데이터를 보고 그에 따라 행동할 수 있게, 예컨대 적절한 경우 사용자를 관여하게 할 수 있게 한다. 일부 실시예들에서, 컴퓨팅 시스템의 사용자는, 선택적으로, 제1 디스플레이 생성 컴포넌트를 통해 제공되는 컴퓨터 생성 환경에 관여할 때 그/그녀의 의도된 관여 레벨 및 프라이버시 요구들에 적합하도록 컴퓨팅 시스템의 상이한 모드들을 활성화하고, 컴퓨팅 시스템은 다양한 모드들과 관련된 상태 정보를 제공하여 사용자의 그러한 의도들 및 요구들을 주변 물리적 환경 내의 사람들에게 경고하여서, 주변 물리적 환경 내의 사람들에 의한 의도하지 않은, 바람직하지 않은, 그리고/또는 불필요한 중단들 및 상호작용들의 회피가 감소되게 한다.

본 명세서에 개시된 바와 같이, 컴퓨팅 시스템이 동일한 하우징 내에 적어도 2개의 디스플레이 생성 컴포넌트들을 포함할 때, 제2(예컨대, 외향 대면) 디스플레이 생성 컴포넌트는, 선택적으로, 현재 콘텍스트에 기초하여 컴퓨터 생성 경험들의 이용가능성을 나타내는 콘텍스트 정보를 디스플레이한다. 제1(예컨대, 내향 대면) 디스플레이 생성 컴포넌트가 사용자의 눈들 전방에 배치되었다는(예컨대, 사용자가 HMD를 내향 대면 디스플레이가 그의 눈들을 향하는 상태로 착용하고 있음, 또는 사용자가 HMD를 내향 대면 디스플레이가 그의 눈들 전방에 있는 상태로 유지하고 있음) 것을 검출하는 것에 응답하여, 컴퓨팅 시스템은 제1 디스플레이 생성 컴포넌트를 통해 사용자에게 컴퓨터 생성 경험을 제공한다. (예컨대, 사용자가 외향 대면 디스플레이를 보기 위한 위치에 있는 동안(사용자가 HMD를 그/그녀의 머리에 착용하고 있지 않은 동안, HMD가 테이블 위에 놓여 있는 동안 등)) 현재 콘텍스트에 기초하여 외향 대면 디스플레이를 통해 이용가능한 컴퓨터 생성 경험을 사용자에게 자동으로 경고하는 것, 및/또는 내향 대면 디스플레이가 사용자의 눈들 전방에 배치될 때(예컨대, 사용자가 HMD를 그/그녀의 머리에 착용하거나, HMD를 내부 디스플레이가 사용자의 얼굴 또는 눈들을 향하는 상태로 유지할 때) 현재 콘텍스트에 대응하는 컴퓨터 생성 경험을 자동으로 디스플레이하는 것은, 사용자가 어떤 컴퓨터 생성 경험이 다양한 콘텍스트에서 이용가능한지를 알아내고 원하는 컴퓨터 생성 경험들을 선택적으로 보는 데 필요한 입력들의 수, 복잡성 및 범위를 감소시킨다(예컨대, 항상 HMD를 착용할 필요가 없음, 및/또는 원하는 CGR 콘텐츠 아이템을 찾아내기 위해 선택가능 옵션들을 통해 브라우징할 필요가 없음, 및/또는 원하는 CGR 경험을 시작하기 위해 HMD를 착용하는 동안 디스플레이된 제어부들을 활성화함). 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트가 사용자에 의해 실제로 착용되는지(예컨대, 사용자의 손(들)으로 사용자의 눈들 전방에 유지되는 것과는 대조적으로, 사용자의 머리 또는 신체에 스트래핑(strapping)되는지) 여부에 따라, 컴퓨팅 시스템은, 선택적으로, 제1 디스플레이 생성 컴포넌트의 착용 상태에 대응하는 상이한 컴퓨터 생성 경험들을 제공한다(예컨대, 제1 디스플레이 생성 컴포넌트가 사용자에 의해 실제로 착용되지 않을 때, 이용가능한 컴퓨터 생성 경험의 미리보기(예컨대, 단축형, 2차원 또는 3차원, 상호작용형 등)를 디스플레이함, 및 제1 디스플레이 생성 컴포넌트가 사용자에 의해 착용될 때, 이용가능한 컴퓨터 생성 경험의 완전 버전을 디스플레이함). 사용자에 대한 디스플레이 생성 컴포넌트의 위치(예컨대, 그 위치가 사용자로 하여금 CGR 경험을 볼 수 있게 하는지 여부에 기초하여)뿐만 아니라, 디스플레이 생성 컴포넌트가 사용자에 의해 안전하게 착용되는지 여부(예컨대, 현재 위치에서 사용자의 손들이 자유로운지 또는 디스플레이 생성 컴포넌트를 유지하도록 요구되는지에 기초하여)에 따라, 컴퓨터 생성 경험의 상이한 버전들 또는 상이한 컴퓨터 생성 경험들을 선택적으로 디스플레이하는 것은, 의도된 결과를 트리거하는 데 필요한 입력들의 수를 감소시키고, 최대의 컴퓨터 생성 경험을 불필요하게 활성화하는 것을 회피하여, 그에 의해, 사용자가 단지 컴퓨터 생성 경험을 간략하게 미리보기하기를 원할 때 사용자의 시간을 절약하고, 디스플레이 생성 컴포넌트 및 컴퓨팅 시스템이 배터리들에 의해 전력을 공급받을 때 그들의 배터리 전력을 절약한다.

본 명세서에 개시된 바와 같이, 일부 실시예들에서, 컴퓨팅 시스템은 동일한 하우징 내에 또는 동일한 물리적 지지 구조물에 부착되는 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트를 포함한다. 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트는, 선택적으로, 투명하지 않고, 그들의 각각의 디스플레이 면들이 서로 반대인 방향들을 향한다. 하우징 또는 지지 구조물과 함께 디스플레이 생성 컴포넌트들은 다소 부피가 클 수 있고, 사용자의 머리/신체에 착용하고 벗는 데 번거로울 수 있다. 디스플레이 생성 컴포넌트들은 함께 또한 사용자와 주변 물리적 환경 내의 다른 사람들 사이에 상당한 물리적 장벽을 형성한다. 외부 디스플레이(예컨대, 제2 디스플레이 생성 컴포넌트)를 이용하여, 내부 디스플레이(예컨대, 제1 디스플레이 생성 컴포넌트) 상의 디스플레이된 CGR 콘텐츠의 메타데이터와 관련된 상태 정보(예컨대, 제목, 진행, 유형 등), 디스플레이된 CGR 콘텐츠와 연관된 몰입 레벨(예컨대, 완전 패스 스루(pass-through), 혼합 현실, 가상 현실 등), 및/또는 디스플레이된 CGR 콘텐츠의 시각적 특성들(예컨대, 색상 변경, 밝기 등), 컴퓨팅 시스템의 현재 디스플레이 모드(예컨대, 프라이버시 모드, 부모 통제 모드, 방해 금지 모드 등), 및/또는 사용자의 특성들(예컨대, 사용자의 눈들의 외관, 사용자의 식별자 등)을 보여줌으로써, 사용자와 주변 환경 내의 다른 사람들 사이의 물리적 장벽의 존재의 영향이 감소되고, 사용자가 디스플레이 생성 컴포넌트들을 물리적으로 떼어낼 것을 요구하지 않고서, 원하는 사회적 상호작용들에 대한 불필요한 방해 및 컴퓨터 생성 경험들에 대한 사용자의 관여에 대한 불필요한 중단들이 감소된다. 게다가, 외부 디스플레이를 이용하여, 콘텍스트 정보 및 콘텍스트 관련 컴퓨터 생성 경험들의 표시들을 보여줌으로써, 사용자는, 어떤 CGR 콘텐츠가 이용가능한지를 알아내기 위해 지속적으로 HMD를 집어 들고 내부 디스플레이를 사용자의 눈들 전방에 놓도록 요구되지 않는다. 사용자는, 또한, 이용가능한 CGR 경험을 미리보기하기 위해 HMD 상에 완전히 스트래핑하도록 요구되지 않는다. 사용자는, 그/그녀가 CGR 경험에 완전히 관여하기를(예컨대, 인 에어(in-air) 제스처들 및 마이크로 제스처들로 CGR 환경과 상호작용함) 원할 때에만 HMD를 완전히 착용하도록 요구된다. 이러한 방식으로, 사용자가 어떤 CGR 경험들이 이용가능한지를 알 필요를 손상시키지 않고서 그리고/또는 원하는 CGR 경험을 즐기는 사용자의 능력을 방해하지 않고서, 사용자가 HMD의 내부 디스플레이를 그의 눈들 전방에 놓고/놓거나 HMD를 그/그녀의 머리에 완전히 스트래핑하도록 요구되는 횟수가 감소된다.

본 명세서에 개시된 바와 같이, 컴퓨터 생성 경험은 현실 세계에서의 물리적 객체와의 사용자의 물리적 상호작용에 응답하여 컴퓨팅 시스템의 디스플레이 생성 컴포넌트(예컨대, 디바이스의 단일 디스플레이 생성 컴포넌트, HMD의 내부 디스플레이 등)를 통해 제공된다. 특히, 컴퓨팅 시스템은 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경 내의 위치에 컴퓨터 생성 경험이 이용가능하다는 시각적 표시를 디스플레이하며, 시각적 표시의 위치는 3차원 환경 내의 물리적 객체의 표현의 위치에 대응한다. 물리적 객체와 연관된 미리설정된 기준들을 충족시키는 제1 방식으로 물리적 객체와의 물리적 상호작용을 검출하는 것에 응답하여, 컴퓨팅 시스템은 물리적 객체 및 선택적으로 제1 방식의 물리적 상호작용과 연관된 컴퓨터 생성 경험을 디스플레이한다. 예를 들어, 컴퓨팅 시스템은, 미리설정된 기준들이 사용자의 물리적 객체 조작에 의해 충족되기 전에, 사용자의 손들 및 물리적 객체의 패스 스루 뷰를 디스플레이하고, 컴퓨팅 시스템은, 미리설정된 기준들이 충족된 후에, 물리적 객체를 조작하는 사용자의 손(들)의 컴퓨터 증강 표현을 디스플레이한다. 현실 세계에서의 물리적 객체와의 미리설정된 물리적 상호작용을 검출하는 것에 응답하여 컴퓨터 생성 경험을 자동으로 개시하는 것은, 물리적 객체와 상호작용하는 사용자의 경험을 향상시키고, 상호작용을 더 직관적으로 만들며, 물리적 객체와 상호작용할 때 사용자 실수들을 감소시킨다.

본 명세서에 개시된 바와 같이, 컴퓨팅 시스템은 하우징 내에 디스플레이 생성 컴포넌트(예컨대, 디바이스의 단일 디스플레이 생성 컴포넌트, HMD의 내부 디스플레이 등)를 포함하고, 디스플레이 생성 컴포넌트의 하우징 상에 사용자 인터페이스(예컨대, 버튼들, 터치 감응형 표면들 등)를 제공한다. 컴퓨팅 시스템은, 입력이 사용자 인터페이스를 통해 검출되었을 시에, 하우징을 터치하는 사용자의 손들(예컨대, 두 손 모두)의 미리 설정된 구성이 디스플레이 생성 컴포넌트의 하우징 상에서 검출되었는지 여부에 따라, 디스플레이 생성 컴포넌트의 하우징 상의 사용자 인터페이스를 통해 검출되는 입력과 연관된 동작을 수행할지 또는 동작의 수행을 보류할지를 결정한다. 디스플레이 생성 컴포넌트의 하우징 상에서 손 구성과 함께 입력을 검출하는 것에 응답하여 동작을 수행할지 여부를 선택하는 것은, 사용자의 의도적인 입력들과 소정 동작들을 트리거하기 위한 입력들을 제공하는 것 이외의 목적들을 위한 디스플레이 생성 컴포넌트의 하우징과의 다른 터치들을 자동으로 구별하고, 의도하지 않은 결과들을 회피하는 것을 도우며, 사용자 혼란을 감소시키고, 사용자가 디스플레이 생성 컴포넌트를 동작시키는 것을 더 빠르고 더 용이하게 한다.

일부 실시예들에 따르면, 방법은, 제1 디스플레이 생성 컴포넌트, 제2 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨팅 시스템에서 수행되며, 본 방법은, 제1 디스플레이 생성 컴포넌트를 통해, 제1 컴퓨터 생성 환경을 디스플레이하는 단계; 및 제1 디스플레이 생성 컴포넌트를 통해 제1 컴퓨터 생성 환경을 디스플레이하는 동안, 제2 디스플레이 생성 컴포넌트를 통해, 제1 디스플레이 생성 컴포넌트를 통해 제1 컴퓨터 생성 환경을 보기 위한 위치에 있는 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현, 및 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 단계를 포함하며, 여기에서 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 단계는, 각각의 기간에 걸친 사용자의 외관의 변화들을 나타내기 위해 사용자의 일부분의 시각적 표현을 변경하는 단계; 및 각각의 기간에 걸친 제1 컴퓨터 생성 환경의 변화들을 나타내기 위해, 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 변경하는 단계를 포함한다.

일부 실시예들에 따르면, 방법은, 제1 디스플레이 생성 컴포넌트, 제2 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨팅 시스템에서 수행되며, 본 방법은, 제1 디스플레이 생성 컴포넌트를 통해, 컴퓨터 생성 환경을 디스플레이하는 단계; 제1 디스플레이 생성 컴포넌트를 통해 컴퓨터 생성 환경을 디스플레이하는 동안, 제1 디스플레이 생성 컴포넌트를 통해 컴퓨터 생성 환경을 보기 위한 위치에 있는 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현, 및 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 것을 포함하여, 컴퓨팅 시스템에 대응하는 상태 정보를 제2 디스플레이 생성 컴포넌트를 통해 디스플레이하는 단계; 각각의 이벤트를 검출하는 단계; 및 각각의 이벤트를 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경의 몰입 레벨을 변경하고; 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현의 외관을 변경하는 것을 포함하여, 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보를 변경하는 단계를 포함한다.

일부 실시예들에 따르면, 방법은, 제1 디스플레이 생성 컴포넌트, 제2 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨팅 시스템에서 수행되며, 본 방법은, 제2 디스플레이 생성 컴포넌트를 통해 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 단계; 제2 디스플레이 생성 컴포넌트를 통해 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 동안, 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었다는 것을 검출하는 단계; 및 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었다는 것을 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제1 상태에 있었다는 결정에 따라 - 제1 상태는 제2 디스플레이 생성 컴포넌트를 통해 제1 사용자 인터페이스 요소를 디스플레이하는 것에 대응함 -, 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향에 있는 동안 제1 디스플레이 생성 컴포넌트를 통해 제1 사용자 인터페이스를 디스플레이하고; 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제2 상태에 있었다는 결정에 따라 - 제2 상태는 제2 디스플레이 생성 컴포넌트를 통해 제1 사용자 인터페이스 요소를 디스플레이하는 것 대신에 제2 디스플레이 생성 컴포넌트를 통해 제2 사용자 인터페이스 요소를 디스플레이하는 것에 대응함 -, 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향에 있는 동안, 제1 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스와는 상이한 제2 사용자 인터페이스를 디스플레이하는 단계를 포함한다.

일부 실시예들에 따르면, 방법은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨팅 시스템에서 수행되며, 본 방법은, 제1 디스플레이 생성 컴포넌트가 사용자에 대해 제1 미리정의된 구성으로 배치되는 것에 대응하는 제1 트리거 이벤트를 검출하는 단계; 및 제1 트리거 이벤트를 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트를 포함하는 컴퓨팅 시스템이 사용자에 대해 제1 미리정의된 구성에 있는 동안 사용자에 의해 착용되고 있다는 결정에 따라, 제1 디스플레이 생성 컴포넌트를 통해, 제1 컴퓨터 생성 경험을 제공하고; 제1 디스플레이 생성 컴포넌트를 포함하는 컴퓨팅 시스템이 사용자에 대해 제1 미리정의된 구성에 있는 동안 사용자에 의해 착용되고 있지 않다는 결정에 따라, 제1 디스플레이 생성 컴포넌트를 통해, 제1 컴퓨터 생성 경험과 구별되는 제2 컴퓨터 생성 경험을 제공하는 단계를 포함한다.

일부 실시예들에 따르면, 방법은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨팅 시스템에서 수행되며, 본 방법은, 물리적 환경 내의 물리적 객체의 위치에 대응하는 3차원 환경 내의 위치에 물리적 객체의 표현을 디스플레이하는 동안, 물리적 객체에 대응하는 컴퓨터 생성 경험이 제1 디스플레이 생성 컴포넌트를 통한 디스플레이를 위해 이용가능하다는 시각적 표시를 디스플레이하는 단계; 컴퓨터 생성 경험이 제1 디스플레이 생성 컴포넌트를 통한 디스플레이를 위해 이용가능하다는 시각적 표시를 디스플레이하는 동안, 물리적 환경 내의 물리적 객체와의 상호작용을 검출하는 단계; 및 물리적 환경 내의 물리적 객체와의 상호작용을 검출하는 것에 응답하여, 물리적 환경 내의 물리적 객체와의 상호작용이 물리적 객체에 대응하는 제1 기준들을 충족시킨다는 결정에 따라, 제1 디스플레이 생성 컴포넌트를 통해, 물리적 객체에 대응하는 컴퓨터 생성 경험을 디스플레이하고; 물리적 환경 내의 물리적 객체와의 상호작용이 제1 기준들을 충족시키지 않는다는 결정에 따라, 물리적 객체에 대응하는 컴퓨터 생성 경험을 디스플레이하는 것을 보류하는 단계를 포함한다.

일부 실시예들에 따르면, 방법은, 하우징, 하우징 내에 포함되는 제1 디스플레이 생성 컴포넌트, 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨팅 시스템에서 수행되며, 본 방법은, 제1 디스플레이 생성 컴포넌트를 포함하는 하우징 상에서 제1 손을 검출하는 단계; 및 제1 디스플레이 생성 컴포넌트를 포함하는 하우징 상에서 제1 손을 검출하는 것에 응답하여, 하우징 상에서 제2 손이 검출되는 것과 함께 제1 손이 검출된다는 결정에 따라, 제1 손과 연관된 동작의 수행을 보류하고; 하우징 상에서 다른 손을 검출하지 않고서 제1 손이 하우징 상에서 검출된다는 결정에 따라, 제1 손과 연관된 동작을 수행하는 단계를 포함한다.

일부 실시예들에 따르면, 컴퓨팅 시스템은 하나 이상의 디스플레이 생성 컴포넌트들(예컨대, 동일한 하우징 또는 상이한 하우징들로 둘러싸인, 하나 이상의 디스플레이들, 프로젝터들, 머리 장착형 디스플레이들 등), 하나 이상의 입력 디바이스들(예컨대, 하나 이상의 카메라들, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들), 선택적으로 하나 이상의 촉각적 출력 생성기들, 하나 이상의 프로세서들, 및 하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 하나 이상의 프로그램들은 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 하나 이상의 프로그램들은 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 또는 그의 수행을 야기하기 위한 명령어들을 포함한다. 일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체는, 하나 이상의 디스플레이 생성 컴포넌트들, 하나 이상의 입력 디바이스들(예컨대, 하나 이상의 카메라들, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들), 및 선택적으로 하나 이상의 촉각적 출력 생성기들을 갖는 컴퓨팅 시스템에 의해 실행될 때, 디바이스로 하여금 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하게 하거나 또는 그의 수행을 야기하는 명령어들을 저장하고 있다. 일부 실시예들에 따르면, 하나 이상의 디스플레이 생성 컴포넌트들, 하나 이상의 입력 디바이스들(예컨대, 하나 이상의 카메라들, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들), 선택적으로 하나 이상의 촉각적 출력 생성기들, 메모리, 및 메모리에 저장된 하나 이상의 프로그램들을 실행하기 위한 하나 이상의 프로세서들을 갖는 컴퓨팅 시스템 상에서의 그래픽 사용자 인터페이스는, 본 명세서에 기술되는 방법들 중 임의의 방법에서 기술된 바와 같이, 입력들에 응답하여 업데이트되는, 본 명세서에 기술된 방법들 중 임의의 방법에서 디스플레이되는 요소들 중 하나 이상을 포함한다. 일부 실시예들에 따르면, 컴퓨팅 시스템은, 하나 이상의 디스플레이 생성 컴포넌트들, 하나 이상의 입력 디바이스들(예컨대, 하나 이상의 카메라들, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들), 및 선택적으로 하나 이상의 촉각적 출력 생성기들; 및 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 또는 그의 수행을 야기하기 위한 수단을 포함한다. 일부 실시예들에 따르면, 하나 이상의 디스플레이 생성 컴포넌트들, 하나 이상의 입력 디바이스들(예컨대, 하나 이상의 카메라들, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들), 및 선택적으로 하나 이상의 촉각적 출력 생성기들을 갖는 컴퓨팅 시스템에 사용하기 위한 정보 프로세싱 장치는, 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 또는 그의 수행을 야기하기 위한 수단을 포함한다.

따라서, 하나 이상의 디스플레이 생성 컴포넌트들을 갖는 컴퓨팅 시스템들에는 컴퓨팅 시스템들과의 상호작용을 사용자에게 더 효율적이고 직관적으로 만드는 컴퓨터 생성 경험들을 사용자들에게 제공하기 위한 개선된 방법들 및 인터페이스들이 제공된다. 컴퓨팅 시스템들에는, 또한, 사용자들이 다양한 가상 현실 및 혼합 현실 경험들에 관여하는 동안 주변 환경과의 더 나은 사회적 상호작용, 에티켓 및 정보 교환을 용이하게 하는 컴퓨터 생성 경험들을 사용자들에게 제공하기 위한 개선된 방법들 및 인터페이스들이 제공된다. 그러한 방법들 및 인터페이스들은, 선택적으로, 컴퓨터 생성 현실 경험들을 사용자들에게 제공하기 위한 종래의 방법들을 보완하거나 대체한다. 그러한 방법들 및 인터페이스들은, 사용자가 제공된 입력들과 입력들에 대한 디바이스 응답들 사이의 접속을 이해하는 것을 도움으로써 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄여서, 이에 의해 더 효율적인 인간-기계 인터페이스를 생성한다. 그러한 방법들 및 인터페이스들은, 또한, 사용자가 컴퓨팅 시스템들에 의해 제공되는 가상 현실 경험 및/또는 혼합 현실 경험에 관여할 때, 예컨대 동일한 물리적 환경에 존재하는 사용자 및 다른 사람들의 부분에 대한 사회적 신호(social cue)들 및 시각적 정보의 부족으로 인한 실수들, 중단들 및 시간 지연들을 감소시킴으로써, 사용자의 경험을 개선한다.

전술된 다양한 실시예들이 본 명세서에 기술된 임의의 다른 실시예들과 조합될 수 있음에 주목한다. 본 명세서에 기술된 특징들 및 이점들은 모두를 포함하는 것은 아니며, 특히, 많은 추가적인 특징들 및 이점들이 도면, 명세서 및 청구범위를 고려하여 당업자에게 명백할 것이다. 그에 부가하여, 본 명세서에 사용된 표현은 주로 이해의 편의 및 설명을 위해 선택되었고, 본 발명의 요지를 상세히 기술하거나 제한하기 위해 선택되지 않았을 수 있다는 것에 주목해야 한다.

다양하게 기술된 실시예들의 더 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1은 일부 실시예들에 따른, CGR 경험들을 제공하기 위한 컴퓨팅 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른, 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된 컴퓨팅 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른, CGR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨팅 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른, 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨팅 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른, 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨팅 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6은 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시하는 흐름도이다.
도 7a 내지 도 7e는 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트(예컨대, 상이한 방향들을 향하는 별개의 디스플레이들, 동일한 하우징으로 둘러싸이지만 상이한 방향들을 향하는(예컨대, 백투백(back to back) 상태로 서로 반대인 방향들을 향함, 동일한 사용자가 그들을 동시에 볼 수 없도록 상이한 각도들을 향함 등) 디스플레이들)를 포함하는 컴퓨팅 시스템을 예시한다. 일부 실시예들에서, 컴퓨팅 시스템은, 일부 실시예들에 따르면, 제1 디스플레이 생성 컴포넌트를 통해 사용자에게 콘텐츠를 디스플레이하면서 제2 디스플레이 생성 컴포넌트를 통해 사용자 및/또는 콘텐츠와 연관된 동적으로 업데이트된 상태 정보(예컨대, 제1 디스플레이 생성 컴포넌트 뒤의 사용자의 외관의 변화들에 대응하는 표현들, 콘텐츠의 메타데이터, 콘텐츠 재생과 연관된 몰입 레벨의 변화들 등)를 디스플레이한다.
도 7f 내지 도 7j는 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트(예컨대, 상이한 방향들을 향하는 별개의 디스플레이들, 동일한 하우징으로 둘러싸이지만 상이한 방향들을 향하는(예컨대, 백투백(back to back) 상태로 서로 반대인 방향들을 향함, 동일한 사용자가 그들을 동시에 볼 수 없도록 상이한 각도들을 향함 등) 디스플레이들)를 포함하는 컴퓨팅 시스템을 예시한다. 일부 실시예들에서, 컴퓨팅 시스템은, 일부 실시예들에 따르면, 컴퓨팅 시스템과 연관된 콘텍스트 정보(예컨대, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트의 위치, 사용자의 아이덴티티, 현재 시간 등)에 기초하여 제2 디스플레이 생성 컴포넌트를 통해 상이한 컴퓨터 생성 경험들의 표시들을 디스플레이하고, 사용자에 대한 제1 디스플레이 생성 컴포넌트의 공간적 관계의 변화(예컨대, 사용자의 눈들을 향하지 않는 것으로부터 사용자의 눈들을 향하는 것으로의, 테이블 위에 또는 가방 안에 놓인 것으로부터 사용자의 눈 높이로 들어 올려지는 것으로의 등) 및/또는 착용 상태의 변화(예컨대, 사용자의 손에 의해 지지되는 것으로부터 사용자의 머리/코/귀들에 의해 지지되는 것으로의, 사용자의 머리/신체에 착용되지 않는 것으로부터 사용자의 머리/신체에 착용되는 것으로의 등)에 응답하여 제1 디스플레이 생성 컴포넌트를 통한 콘텍스트 정보에 대응하는 상이한 컴퓨터 생성 경험들의 디스플레이를 트리거한다. 일부 실시예들에서, 컴퓨팅 시스템은 단일 디스플레이 생성 컴포넌트만을 포함하고/하거나, 사용자에 대해 미리설정된 구성으로 배치되고 디스플레이 생성 컴포넌트의 착용 상태에 기초하여 상이한 컴퓨터 생성 경험들을 디스플레이하는 것을 시작하기 전에, 이용가능한 컴퓨터 생성 경험들의 표시들을 디스플레이하지 않는다.
도 7k 내지 도 7m은 일부 실시예들에 따른, 혼합 현실 환경에서 물리적 객체의 표현에 대응하는 위치에 컴퓨터 생성 경험의 이용가능성의 표시를 디스플레이하고, 현실 세계에서의 물리적 객체와의 미리설정된 물리적 상호작용을 검출하는 것에 응답하여, 물리적 객체에 대응하는 컴퓨터 생성 경험의 디스플레이를 트리거하는 것을 예시한다.
도 7n 내지 도 7q는 일부 실시예들에 따른, 입력이 검출되었을 시에 하우징 상에서 한 손이 검출되었는지 또는 두 손이 검출되었는지에 따라, 디스플레이 생성 컴포넌트의 하우징 상에서 검출된 입력에 응답하여 동작을 수행할지 여부를 선택하는 것을 예시한다.
도 8은 일부 실시예들에 따른, 컴퓨터 생성 환경 및 컴퓨터 생성 환경과 연관된 상태 정보와 컴퓨터 생성 환경을 보기 위한 위치에 있는 사용자와 연관된 상태 정보를 디스플레이하는 방법의 흐름도이다.
도 9는 일부 실시예들에 따른, 컴퓨터 생성 환경 및 컴퓨터 생성 환경과 연관된 상태 정보와 컴퓨터 생성 환경을 보기 위한 위치에 있는 사용자와 연관된 상태 정보를 디스플레이하는 방법의 흐름도이다.
도 10은 일부 실시예에 따른, 콘텍스트 정보에 기초하여 컴퓨터 생성 경험을 제공하는 방법의 흐름도이다.
도 11은 일부 실시예들에 따른, 디스플레이 생성 컴포넌트의 착용 상태에 기초하여 컴퓨터 생성 경험을 제공하는 방법의 흐름도이다.
도 12는 일부 실시예들에 따른, 현실 세계에서의 물리적 객체와의 미리설정된 물리적 상호작용을 검출하는 것에 기초하여 컴퓨터 생성 경험의 디스플레이를 트리거하는 방법의 흐름도이다.
도 13은 일부 실시예들에 따른, 디스플레이 생성 컴포넌트의 하우징 상에서의 입력에 응답하여 동작을 수행하는 방법의 흐름도이다.

본 개시내용은 일부 실시예들에 따른, 컴퓨터 생성 현실(CGR) 경험을 사용자에게 제공하기 위한 사용자 인터페이스들에 관한 것이다.

본 명세서에 설명되는 시스템들, 방법들, 및 GUI들은 다수의 방식들로 가상/증강 현실 환경들과의 사용자 인터페이스 상호작용들을 개선시킨다.

일부 실시예들에서, 컴퓨팅 시스템은 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트(예컨대, 별개의 디스플레이들, 동일한 하우징으로 둘러싸이지만 상이한 방향들을 향하는(예컨대, 백투백 상태로 서로 반대인 방향들을 향함, 동일한 사용자가 그들을 동시에 볼 수 없도록 상이한 각도들을 향함 등) 디스플레이들)를 포함한다. 제1 디스플레이 생성 컴포넌트는 제1 디스플레이 생성 컴포넌트를 통해 제시되는 콘텐츠를 보기 위한 위치에 있는 사용자(예컨대, 사용자는 디스플레이 생성 컴포넌트의 디스플레이 면(예컨대, 프로젝터에 의해 조명되는 물리적 환경의 면, 사용자의 망막 상에 이미지를 형성하는 광을 방출하는 디스플레이의 면 등)을 향하고 있음)에게 컴퓨터 생성 경험들을 제공하는 컴퓨터 생성 환경을 디스플레이한다. 제1 디스플레이 생성 컴포넌트는, 선택적으로, 컴퓨터 생성 경험이 제1 디스플레이 생성 컴포넌트에 의해 제공될 때 제1 디스플레이 생성 컴포넌트를 통해 여전히 인지가능한 주변 물리적 환경으로부터의 상이한 양들의 시각적 및 오디오 정보에 대응하는 상이한 몰입 레벨들을 컴퓨터 생성 경험에 제공한다. 정상 작동 동안(예컨대, 사용자가 제1 디스플레이 생성 컴포넌트를 포함하는 HMD를 착용하고/하거나 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향하고 있을 때), 제1 디스플레이 생성 컴포넌트는 주변 물리적 환경에 대한 사용자의 직접 뷰를 차단하고, 동시에, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 표시된 콘텐츠를 보는 위치에 있을 때 사용자의 얼굴 또는 눈들에 대한 다른 사람들의 뷰를 차단한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는, HMD가 사용자의 머리에 배치될 때 사용자의 눈들을 향하는 HMD의 내부 디스플레이이다. 종래에는, 사용자가 디스플레이 생성 컴포넌트를 통해 표시되는 콘텐츠를 보기 위한 위치에 있을 때, 사용자는, 출현들의 상이한 레벨들로 컴퓨터 생성 환경을 디스플레이하는 것 사이에서 스위칭함으로써(예컨대, 완전 패스 스루 모드, 혼합 현실 모드, 또는 가상 현실 모드 사이에서 스위칭함), 물리적 환경을 보거나 물리적 환경을 보지 않기 위한 옵션을 갖는다. 그러나, 디스플레이 생성 컴포넌트의 후면을 향하는 주변 환경 내의 다른 사람들은 사용자의 주의 상태, 어떤 콘텐츠가 디스플레이 생성 컴포넌트 상에 표시되고 있는지, 및/또는 사용자가 주변 환경 및 그 안의 사람들을 볼 수 있는지 여부에 관한 시각적 단서들을 거의 또는 전혀 갖지 않는다. 디스플레이 생성 컴포넌트의 2개의 면들 상에서의 시각적 정보(및 선택적으로 오디오 정보)의 이러한 불균형은 사용자와 주변 환경 내의 다른 사람들 사이의 사회적 상호작용을 부자연스럽고 비효율적으로 만든다. 많은 고려사항들은, 사용자와 관련된 상태 정보 및/또는 제1 디스플레이 생성 컴포넌트를 통해 사용자에게 디스플레이되는 콘텐츠를 주변 환경 내의 사람들에게 전달하는 적절한 양의 시각적 정보를 디스플레이하기 위해 제2 디스플레이 생성 컴포넌트를 사용하는 컴퓨팅 시스템으로부터 이익을 얻을 수 있다. 제2 디스플레이 생성 컴포넌트에 의한 상태 정보의 디스플레이는, 선택적으로, 제1 디스플레이 생성 컴포넌트가 사용 중인 동안 디스플레이되거나, 또는 선택적으로, 동일한 물리적 환경 내의 다른 사람들의 존재를 검출하는 것에 응답하여 그리고/또는 다른 사람들이 (예컨대, 동일한 룸에 들어가는 것, 사용자의 방향으로 보는 것, 사용자에게 손을 흔드는 것 등에 의해) 사용자를 사회적 담론에 관여하게 하기를 원할 수 있다는 표시들을 검출하는 것에 응답하여 트리거된다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트 상에 상태 정보를 표시하는 것은 사용자의 외관의 변화들(예컨대, 제1 디스플레이 생성 컴포넌트에 의해 차단되는 사용자의 일부분의 변화들)에 따라 동적으로 업데이트되는 사용자의 일부분(예컨대, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠를 보기 위한 위치에 있을 때 제1 디스플레이 생성 컴포넌트에 의해 차단되는 사용자의 일부분)의 표현을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 상태 정보를 표시하는 것은, 또한, 제1 디스플레이 생성 컴포넌트를 통해 현재 표시되어 있는 콘텐츠의 시각적 표시를 제공하는 그래픽 요소들을 (예컨대, 사용자의 일부분의 표현을 표시하는 것과 동시에) 디스플레이하는 것을 포함한다. 제2 디스플레이 생성 컴포넌트를 사용하여, 제1 디스플레이 생성 컴포넌트를 통해 표시된 콘텐츠를 보는 사용자와 관련된 업데이트된 상태 정보 및 콘텐츠의 상태와 연관된 메타데이터(예컨대, 제목, 진행, 몰입 레벨, 디스플레이 모드 등)를 디스플레이하는 이러한 방법 및 시스템은, 컴퓨터 생성 경험을 주변 환경에 완전히 드러내지 않고서, 사용자가 컴퓨터 생성 경험에 관여하는 동안 사용자의 주변 환경 내의 다른 사람들이 사용자의 현재 상태에 대한 유용한 통찰력을 얻도록 허용한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트에 의해 차단되는 사용자의 일부분(예컨대, 사용자의 눈들 또는 얼굴)의 표현 및 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠의 상태를 보여주는 그래픽 요소들은 제2 디스플레이 생성 컴포넌트의 상이한 디스플레이 층들 상에 각각 디스플레이되고 서로 독립적으로 업데이트된다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트의 상이한 디스플레이 층들 상의 사용자의 일부분의 표현 및 콘텐츠의 상태를 보여주는 그래픽 요소들에 대한 업데이트들은 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트 둘 모두를 수용하는 머리 장착형 디스플레이 디바이스 뒤의 사용자의 상태에 대한 더 사실적인 뷰를 제공한다. 제2 디스플레이 생성 컴포넌트 상에 표시된 상태 정보는, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 컴퓨터 생성 경험에 관여할 때 주변 환경 내의 사람들과 사회적으로 연결된 상태로 유지될 수 있게 한다. 사용자의 눈들의 상태 및 사용자에게 표시된 콘텐츠의 상태를 보여주는 제2 디스플레이 생성 컴포넌트 상의 동적으로 업데이트된 상태 정보는, 예컨대 적절한 사회적 상호작용을 그러한 상호작용들이 사용자에 의해 요구될 때 장려하는 것, 사용자의 사회적 관여 허가에 대한 시각적 단서들의 부족으로 인한 주변 환경 내의 다른 사람들에 의한 사회적 상호작용들의 불필요한 회피를 감소시키는 것, 컴퓨터 생성 경험에 대한 사용자의 관여를 중단시키기 위한 적합한 시간을 다른 사람들에게 알리는 것, 방해받지 않은 상태로 있고자 하는 사용자의 요구에 대한 시각적 단서들의 부족으로 인한 사용자의 관여 경험들에 대한 반갑지 않은 중단들을 감소시키는 것 등에 의해, 사용자가 공공 또는 반-공공 환경에 있을 때 컴퓨터 생성 경험에 대한 사용자의 관여를 개선한다.

위에서 설명된 바와 같이, 많은 고려사항들은, 사용자와 관련된 상태 정보 및 제1 디스플레이 생성 컴포넌트를 통해 사용자에게 디스플레이되는 콘텐츠를 주변 환경 내의 다른 사람들에게 전달하는 적절한 양의 시각적 정보를 디스플레이하기 위해 제2 디스플레이 생성 컴포넌트를 사용하는 컴퓨팅 시스템으로부터 이익을 얻을 수 있다. 일부 실시예들에서, 상태 정보는, 제1 디스플레이 생성 컴포넌트가 사용 중인 동안, 제2 디스플레이 생성 컴포넌트 상에 디스플레이된다. 일부 실시예들에서, 상태 정보는, 오직, 동일한 물리적 환경 내의 다른 사람들의 존재를 검출하는 것에 응답하여 그리고/또는 동일한 물리적 환경 내의 다른 사람들이 (예컨대, 동일한 룸에 들어가는 것, 사용자의 방향으로 보는 것, 사용자에게 손을 흔드는 것 등에 의해) 사용자를 사회적 담론에 관여하게 하기를 원할 수 있다는 어떤 표시를 검출하는 것에 응답하여 디스플레이된다. 제2 디스플레이 생성 컴포넌트 상에 상태 정보를 표시하는 것은, 선택적으로, 사용자의 일부분(예컨대, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠를 보기 위한 위치에 있을 때 제1 디스플레이 생성 컴포넌트에 의해 차단되는 사용자의 일부분)의 표현을 디스플레이하는 것, 및 제1 디스플레이 생성 컴포넌트를 통해 현재 표시되어 있는 콘텐츠의 시각적 표시를 제공하는 그래픽 요소들을 디스플레이하는 것을 포함한다. 게다가, 일부 실시예들에서, 사용자의 일부분의 표현은 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 경험의 몰입 레벨의 변화와 함께 업데이트된다. 제2 디스플레이 생성 컴포넌트를 사용하여, 제1 디스플레이 생성 컴포넌트를 통해 표시된 콘텐츠를 보는 사용자와 관련된 그리고 사용자가 보는 콘텐츠와 관련된 상태 정보를 디스플레이하고, 콘텐츠의 제공과 연관된 몰입 레벨의 변화에 따라 사용자의 일부분의 표현의 외관을 업데이트하는 것을 포함하여, 상태 정보를 업데이트하는 이러한 방법 및 시스템은, 컴퓨터 생성 경험을 주변 환경에 완전히 드러내지 않고서, 사용자가 컴퓨터 생성 경험에 관여하는 동안 사용자의 주변 환경 내의 다른 사람들이 사용자의 현재 상태에 대한 유용한 통찰력을 얻도록 허용한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트에 의해 차단되는 사용자의 일부분(예컨대, 사용자의 눈들 또는 얼굴)의 표현에 대한 업데이트들 및 제1 디스플레이 생성 컴포넌트에 의해 디스플레이되는 콘텐츠의 상태를 보여주는 그래픽 요소들에 대한 업데이트들은 상이한 디스플레이 층들 상에 표시되고 서로 독립적으로 업데이트된다. 상이한 디스플레이 층들 상에 사용자의 일부분의 표현 및 콘텐츠의 상태를 보여주는 그래픽 요소들을 디스플레이하는 것은 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트 둘 모두를 수용하는 머리 장착형 디스플레이 디바이스 뒤의 사용자의 상태에 대한 더 사실적인 뷰를 제공한다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트를 통해 표시된 상태 정보(예컨대, 사용자의 표현 및 콘텐츠의 상태를 보여주는 그래픽 요소들을 포함함)는, 선택적으로, 사용자 및 사용자와 동일한 물리적 환경 내의 다른 사람들의 상이한 요구들에 대응하는 컴퓨팅 시스템의 많은 상이한 사용 모드들의 시각적 표시들을 제공한다. 이는, 사용자가 컴퓨터 생성 경험에 관여할 때 주변 환경 내의 사람들과 사회적으로 연결된 상태로 유지될 수 있게 한다. 사용자의 눈들의 상태 및 사용자에게 표시된 콘텐츠의 상태를 보여주는 제2 디스플레이 생성 컴포넌트 상의 동적으로 업데이트된 상태 정보는, 예컨대 적절한 사회적 상호작용을 그러한 상호작용들이 사용자에 의해 요구될 때 장려하는 것, 사용자의 사회적 관여 허가에 대한 시각적 단서들의 부족으로 인한 주변 환경 내의 다른 사람들에 의한 사회적 상호작용들의 불필요한 회피를 감소시키는 것, 컴퓨터 생성 경험에 대한 사용자의 관여를 중단시키기 위한 적합한 시간을 다른 사람들에게 알리는 것, 방해받지 않은 상태로 있고자 하는 사용자의 요구에 대한 시각적 단서들의 부족으로 인한 사용자의 관여 경험들에 대한 반갑지 않은 중단들을 감소시키는 것 등에 의해, 사용자가 공공 또는 반-공공 환경에 있을 때 컴퓨터 생성 경험에 대한 사용자의 관여를 개선한다.

일부 실시예들에서, 컴퓨팅 시스템은 2개의 상이한 방향들을 향하는 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트(예컨대, 별개의 디스플레이들, 동일한 하우징으로 둘러싸이지만 상이한 방향들을 향하는(예컨대, 백투백 상태로 서로 반대인 방향들을 향함, 동일한 사용자가 그들을 동시에 볼 수 없도록 상이한 각도들을 향함 등) 디스플레이들)를 포함한다. 제1 디스플레이 생성 컴포넌트는, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 제시되는 콘텐츠를 보기 위한 위치에 있게 될 때(예컨대, 프로젝터에 의해 조명되는 물리적 환경의 면을 향함, 사용자의 망막 상에 이미지를 형성하는 광을 방출하는 디스플레이의 면을 향함 등) 사용자에게 컴퓨터 생성 경험들을 제공하는 컴퓨터 생성 환경을 디스플레이한다. 사용자가 (예컨대, 디스플레이 생성 컴포넌트, 또는 사용자 그 자신, 또는 둘 모두를 이동시킴으로써) 제1 디스플레이 생성 컴포넌트를 그 상에 디스플레이된 콘텐츠를 보기 위한, 사용자에 대한 위치 및 배향으로 배치하기 전에, 사용자는 제2 디스플레이 생성 컴포넌트 상에 제시된 콘텐츠를 보기 위한 위치에 있을 수 있다. 예시적인 시나리오에서, 제1 디스플레이 생성 컴포넌트는, HMD가 사용자의 머리에 배치될 때 사용자의 눈들을 향하는 HMD의 내부 디스플레이이고, 제2 디스플레이 생성 컴포넌트는, HMD가 테이블 상에 또는 사용자의 얼굴로부터 멀리 연장된 사용자의 손 안에 있고 사용자의 머리에 배치되지 않거나 사용자의 눈들에 가깝게 유지되지 않을 때 사용자가 볼 수 있는 HMD의 외부 디스플레이이다. 본 명세서에 개시된 바와 같이, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트를 이용하여, 콘텍스트 정보(예컨대, 위치, 시간, 사용자 아이덴티티, 사용자의 인가 레벨 등)에 기초하여, 상이한 컴퓨터 생성 경험들의 이용가능성의 표시를 디스플레이하고, 제1 디스플레이 생성 컴포넌트가 사용자에 대해, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 표시된 콘텐츠를 볼 수 있게 하는 미리결정된 위치 및 배향으로 이동되는 것(예컨대, 제1 디스플레이 생성 컴포넌트는 이동의 결과로서 사용자의 눈들을 향함)을 검출하는 것에 응답하여, 선택된 컴퓨터 생성 경험의 디스플레이를 트리거한다. 디스플레이되는 컴퓨터 생성 경험은, 선택적으로, 제1 디스플레이 생성 컴포넌트가 사용자에 대해 미리결정된 위치 및 배향으로 이동되는 것에 대응하는 시간에 제2 디스플레이 생성 컴포넌트의 상태에 기초하여 선택된다. 콘텍스트 정보에 기초하여 제2 디스플레이 생성 컴포넌트 상에 컴퓨터 생성 경험들의 이용가능성을 나타내는 것, 및 제2 디스플레이 생성 컴포넌트(및 콘텍스트 정보)의 상태 및 사용자에 대한 제1 디스플레이 생성 컴포넌트의 배향의 변화에 기초하여 제1 디스플레이 생성 컴포넌트 상에서의 선택된 컴퓨터 생성 경험들의 디스플레이를 자동으로 트리거하는 것은, 원하는 결과를 달성하는(예컨대, 현재 콘텍스트와 관련 있는 이용가능한 경험들과 관련된 정보를 얻고, 원하는 컴퓨터 생성 경험을 시작함) 데 필요한 시간 및 입력들의 수를 감소시키고, 종래의 사용자 인터페이스를 사용하여 이용가능한 컴퓨터 생성 경험들을 통해 브라우징하고 그를 시작하는 데 대한 사용자 실수들 및 그에 소비되는 시간을 감소시킨다.

일부 실시예들에서, 사용자는 제1 디스플레이 생성 컴포넌트를 그 상에 디스플레이되는 콘텐츠를 보기 위한, 사용자에 대한 위치 및 배향으로 상이한 방식들, 예컨대 즉흥적이거나 일시적인 방식(예컨대, 일정 거리를 두고 사용자의 눈들 전방에 유지됨 또는 손에 의해 사용자의 눈들에 가깝게 유지됨) 또는 더 형식적이고 확립된 방식(예컨대, 사용자의 손에 의해 지지되지 않고서 사용자의 머리 또는 얼굴에 스트래핑되거나 달리 착용됨)으로 배치할 수 있다. 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트가 사용자에 대해, 사용자가 제1 디스플레이 생성 컴포넌트 상에 디스플레이되는 콘텐츠를 볼 수 있게 하는 위치 및 배향으로 배치되는 방식에 따라 상이한 컴퓨터 생성 경험들(예컨대, 컴퓨터 생성 경험의 상이한 버전들, 사용자의 상이한 특성들 또는 콘텍스트 속성들에 대응하는 상이한 컴퓨터 생성 경험들, 경험의 미리보기 대 실제 경험 등)을 선택적으로 디스플레이한다. 제1 디스플레이 생성 컴포넌트가 사용자에 대해 미리정의된 구성으로 배치되는 것에 대응하는 트리거 이벤트에 응답하여, 그리고 제1 디스플레이 생성 컴포넌트가 그 위치 및 배향으로 유지되는 방식(예컨대, 사용자의 손들의 지지가 있거나 없음, 사용자의 손들 이외의 다른 메커니즘의 지지가 있거나 없음 등)에 따라, 상이한 컴퓨터 생성 경험들을 선택적으로 디스플레이하는 것은(예컨대, 제1 디스플레이 생성 컴포넌트에 의해 제공되는 사용자 인터페이스에서의 추가 사용자 입력들 없이 제1 디스플레이 생성 컴포넌트를 통한 컴퓨터 생성 경험의 디스플레이를 자동으로 시작함), 원하는 결과를 달성하는(예컨대, 원하는 컴퓨터 생성 경험을 시작함) 데 필요한 시간 및 입력들의 수를 감소시키고, 종래의 사용자 인터페이스를 사용하여 이용가능한 컴퓨터 생성 경험들을 통해 브라우징하고 그를 시작하는 데 대한 사용자 실수들 및 그에 소비되는 시간을 감소시킨다.

일부 실시예들에서, 제2 디스플레이 생성 컴포넌트 상에 정보(예컨대, 사용자의 눈들과 관련된 상태 정보, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠의 상태, 컴퓨팅 시스템의 디스플레이 모드, 이용가능한 컴퓨터 생성 경험들의 표시 등)를 디스플레이하는 것은, 사용자가 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트 둘 모두를 포함하는 HMD를 착용하고 벗어야 하는 횟수를 감소시키고/시키거나 예컨대 주변 물리적 환경 내의 다른 사람들을 대하기 위해 컴퓨터 생성 경험을 활성화 또는 정지시키고/시키거나 바람직한 컴퓨터 생성 경험을 찾는 것을 돕는다. 이는, 사용자의 시간을 절약하고 전력 사용량을 감소시키며 사용자 실수들을 감소시키는 것을 돕고, 사용자가 디스플레이 생성 컴포넌트들을 사용할 때 사용자 경험을 개선한다. 일부 실시예들에서, 현실 세계에서의 물리적 객체의 물리적 조작의 미리설정된 방식들이 검출되고, 물리적 객체와 관련된 컴퓨터 생성 경험들을 개시하기 위한 트리거들로서 사용된다. 일부 실시예들에서, 물리적 객체와 관련된 컴퓨터 생성 경험들을 개시하기 전에, 이용가능한 컴퓨터 생성 경험들의 시각적 표시(들), 및 선택적으로, 컴퓨터 생성 경험들을 개시하는 방법에 관한 시각적 가이드(예컨대, 미리보기들 및 애니메이션들)가 혼합 현실 환경 내의 물리적 객체의 표현의 위치에 대응하는 혼합 현실 환경 내의 위치들에 디스플레이된다. 컴퓨터 생성 경험의 이용가능성에 관한 시각적 표시 및/또는 컴퓨터 생성 경험을 트리거하는 데 필요한 물리적 조작들에 관한 시각적 가이드를 디스플레이하는 것에 더하여, 물리적 객체의 미리설정된 물리적 조작들을 사용하여 물리적 객체와 연관된 컴퓨터 생성 경험의 디스플레이를 트리거하는 것은, 사용자가 원하는 결과(예컨대, 원하는 컴퓨터 생성 경험에 진입함)를 더 직관적으로, 더 빠르게, 그리고 더 적은 입력들로 달성하도록 허용한다. 이러한 사용자 상호작용 휴리스틱은, 또한, 사용자가 물리적 객체와 상호작용할 때 사용자 실수들을 감소시키는 것을 도와, 그에 의해 인간-기계 인터페이스를 더 효율적으로 만들며, 이는 배터리-작동형 컴퓨팅 시스템들에 대한 전력을 절약한다.

일부 실시예들에서, 디스플레이 생성 컴포넌트는 하우징의 다양한 부분들 근처에서의 또는 그 상에서의 터치 또는 호버 입력들을 검출하기 위한 센서들을 포함하는(또는 달리, 연관된 외부 센서들을 갖는) 하우징 내에 포함된다. (예컨대, 이동 패턴(예컨대, 탭, 스와이프 등), 지속기간(예컨대, 긺, 짧음 등), 세기(예컨대, 약함, 강함 등) 등에 기초한) 상이한 유형들의 그리고 하우징의 외부 상의 또는 그 근처의 상이한 위치들에서의 터치 입력들 및/또는 호버 입력들이 디스플레이 생성 컴포넌트 또는 디스플레이 생성 컴포넌트에 의해 디스플레이되는 컴퓨터 생성 환경과 연관된 상이한 동작들을 트리거하는 데 사용된다. 상호작용 휴리스틱이, 입력이 검출되는 시점에 하우징 상에서 한 손이 검출되는지 또는 두 손이 검출되는지에 따라 동작이 수행되어야 하는지 여부를 결정하는 데 사용된다. 하우징 상에서 검출되는 손들의 수를, 사용자가 입력을 제공하고자 하는지 또는 단순히 그의 손으로 디스플레이 생성 컴포넌트의 위치를 조정하고 있는지의 표시자로서 사용하는 것은, 디스플레이 생성 컴포넌트의 우발적이거나 의도하지 않은 동작을 감소시키는 것을 돕고 그에 의해 인간-기계 인터페이스를 더 효율적으로 만들며, 이는 배터리-작동형 컴퓨팅 시스템들에 대한 전력을 절약한다.

도 1 내지 도 6은 사용자들에게 CGR 경험들을 제공하기 위한 예시적인 컴퓨팅 시스템들의 설명을 제공한다. 도 7a 내지 도 7e는 일부 실시예들에 따른, 컴퓨팅 시스템이 제1 디스플레이 생성 컴포넌트를 통해 사용자에게 콘텐츠를 디스플레이하면서 제2 디스플레이 생성 컴포넌트를 통해 사용자 및/또는 콘텐츠와 연관된 동적으로 업데이트된 상태 정보를 디스플레이하는 것을 예시한다. 도 7f 내지 도 7j는 일부 실시예들에 따른, 컴퓨팅 시스템이 콘텍스트 정보에 기초하여 제2 디스플레이 생성 컴포넌트를 통해 상이한 컴퓨터 생성 경험들의 표시들을 디스플레이하고, 사용자에 대한 공간적 관계의 변화를 검출하는 것에 응답하여, 그리고 선택적으로, 사용자에 대한 제1 디스플레이 생성 컴포넌트의 착용 상태에 따라, 제1 디스플레이 생성 컴포넌트를 통해 콘텍스트 정보에 대응하는 상이한 컴퓨터 생성 경험들의 디스플레이를 트리거하는 것을 예시한다. 도 7k 내지 도 7m은 일부 실시예들에 따른, 증강 현실 환경에서 물리적 객체와 연관된 컴퓨터 생성 경험의 이용가능성의 표시를 디스플레이하고, 물리적 객체와의 미리설정된 물리적 상호작용을 검출하는 것에 응답하여, 물리적 객체에 대응하는 컴퓨터 생성 경험의 디스플레이를 트리거하는 것을 예시한다. 도 7n 내지 도 7q는 일부 실시예들에 따른, 하우징 상에서 입력이 검출되었을 시에 하우징 상에서 한 손이 검출되었는지 또는 두 손이 검출되었는지의 결정에 따라, 디스플레이 생성 컴포넌트의 하우징 상에서 검출된 입력과 연관된 동작을 수행할지 여부를 선택하는 것을 예시한다. 도 8은 일부 실시예들에 따른, 컴퓨터 생성 환경 및 상태 정보를 디스플레이하는 방법의 흐름도이다. 도 9는 일부 실시예들에 따른, 컴퓨터 생성 환경 및 상태 정보를 디스플레이하는 방법의 흐름도이다. 도 10은 일부 실시예에 따른, 콘텍스트 정보에 기초하여 컴퓨터 생성 경험을 제공하는 방법의 흐름도이다. 도 11은 일부 실시예들에 따른, 디스플레이 생성 컴포넌트의 착용 상태에 기초하여 컴퓨터 생성 경험을 제공하는 방법의 흐름도이다. 도 12는 일부 실시예들에 따른, 물리적 객체와의 물리적 상호작용에 기초하여 컴퓨터 생성 경험의 디스플레이를 트리거하는 방법의 흐름도이다. 도 13은 일부 실시예들에 따른, 디스플레이 생성 컴포넌트의 하우징 상에서 검출된 입력에 응답하여 동작을 수행하는 방법의 흐름도이다. 도 7a 내지 도 7q의 사용자 인터페이스들은 각각 도 8 내지 도 13의 프로세스들을 예시하기 위해 사용된다.

일부 실시예들에서, 도 1에 도시된 바와 같이, CGR 경험은 컴퓨팅 시스템(101)을 포함하는 동작 환경(100)을 통해 사용자에게 제공된다. 컴퓨팅 시스템(101)은 제어기(110)(예를 들어, 휴대용 전자 디바이스 또는 원격 서버의 프로세서들), 하나 이상의 디스플레이 생성 컴포넌트들(120)(예를 들어, 동일한 하우징으로 둘러싸이고 상이한 방향들을 향하거나 또는 별개의 하우징들로 둘러싸인, 하나 이상의 머리 장착형 디바이스(HMD)들, 내부 디스플레이 및 외부 디스플레이를 갖는 HMD, 하나 이상의 디스플레이들, 하나 이상의 프로젝터들, 하나 이상의 터치 스크린들 등), 하나 이상의 입력 디바이스들(125)(예를 들어, 눈 추적 디바이스(130), 손 추적 디바이스(140), 다른 입력 디바이스들(150)), 하나 이상의 출력 디바이스들(155)(예를 들어, 스피커들(160), 촉각적 출력 생성기들(170), 및 다른 출력 디바이스들(180)), 하나 이상의 센서들(190)(예를 들어, 이미지 센서들, 광 센서들, 깊이 센서들, 촉각 센서들, 배향 센서들, 근접 센서들, 온도 센서들, 위치 센서들, 모션 센서들, 속도 센서들 등), 및 선택적으로, 하나 이상의 주변 디바이스들(195)(예를 들어, 홈 어플라이언스들, 웨어러블 디바이스들 등)을 포함한다. 일부 실시예들에서, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190) 및 주변 디바이스들(195) 중 하나 이상은 (예를 들어, 머리 장착형 디바이스에서(예를 들어, HMD의 하우징 또는 HMD의 외향 대면 디스플레이 상에서) 또는 핸드헬드 디바이스에서) 디스플레이 생성 컴포넌트(120)와 통합된다.

CGR 경험을 설명할 때, (예를 들어, CGR 경험을 생성하는 컴퓨팅 시스템으로 하여금 컴퓨팅 시스템(101)에 제공된 다양한 입력들에 대응하는 오디오, 시각적 및/또는 촉각적 피드백을 생성하게 하는, CGR 경험을 생성하는 컴퓨팅 시스템(101)에 의해 검출된 입력들로) 사용자가 감지할 수 있고/있거나 사용자가 상호작용할 수 있는 몇몇 관련되지만 구별되는 환경들을 구별하여 지칭하기 위해 다양한 용어들이 사용된다. 다음은 이들 용어의 서브세트이다:

물리적 환경: 물리적 환경은 사람들이 전자 시스템들의 도움없이 감지하고 그리고/또는 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 공원과 같은 물리적 환경들은 물리적 물품들, 예컨대 물리적 나무들, 물리적 건물들, 및 물리적 사람들을 포함한다. 사람들은, 예컨대 시각, 촉각, 청각, 미각, 및 후각을 통해, 물리적 환경을 직접 감지하고/하거나 그와 상호작용할 수 있다.

컴퓨터-생성 현실: 대조적으로, 컴퓨터-생성 현실(CGR) 환경은 사람들이 전자 시스템을 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 시뮬레이션된 환경을 지칭한다. CGR에서, 사람의 신체적 움직임들, 또는 이들의 표현들의 서브세트가 추적되고, 이에 응답하여, CGR 환경에서 시뮬레이션된 하나 이상의 가상 객체들의 하나 이상의 특성들이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다. 예를 들어, CGR 시스템은 사람이 고개를 돌리는 것을 검출할 수 있고, 이에 응답하여, 그 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 물리적 환경에서 그러한 뷰들 및 소리들이 변경되는 방식과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예를 들어, 접근성 이유들 때문에), CGR 환경에서의 가상 객체(들)의 특성(들)에 대한 조정들은 신체적 움직임들의 표현들(예를 들어, 음성 커맨드들)에 응답하여 이루어질 수 있다. 사람은, 시각, 청각, 촉각, 미각, 및 후각을 포함하는 그들의 감각들 중 임의의 하나를 사용하여 CGR 객체를 감지하고/하거나 그와 상호작용할 수 있다. 예를 들어, 사람은 3D 공간에서의 포인트 오디오 소스들의 지각을 제공하는 3D 또는 공간적 오디오 환경을 생성하는 오디오 객체들을 감지하고/하거나 그와 상호작용할 수 있다. 다른 예에서, 오디오 객체들은 오디오 투명성을 가능하게 할 수 있으며, 이는 선택적으로, 물리적 환경으로부터의 주변 소리들을 컴퓨터 생성 오디오와 함께 또는 그것 없이 통합한다. 일부 CGR 환경들에서, 사람은 오디오 객체들만을 감지하고/하거나 그와 상호작용할 수 있다.

CGR의 예들은 가상 현실 및 혼합 현실(mixed reality)을 포함한다.

가상 현실: 가상 현실(VR) 환경은 하나 이상의 감각들에 대한 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계된 시뮬레이션된 환경을 지칭한다. VR 환경은 사람이 감지하고/하거나 그와 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 예를 들어, 나무들, 빌딩들, 및 사람들을 표현하는 아바타들의 컴퓨터 생성 형상화가 가상 객체들의 예들이다. 사람은, 컴퓨터 생성 환경에서의 사람의 존재의 시뮬레이션을 통해 그리고/또는 컴퓨터 생성 환경에서의 사람의 신체적 움직임들의 서브세트의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 감지하고/하거나 그와 상호작용할 수 있다.

혼합 현실: 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계되는 VR 환경과는 대조적으로, 혼합 현실(MR) 환경은 컴퓨터-생성 감각 입력들(예를 들어, 가상 객체들)을 포함하는 것에 부가하여, 물리적 환경으로부터의 감각 입력들, 또는 그들의 표현을 통합하도록 설계된 시뮬레이션된 환경을 지칭한다. 가상 연속체(virtuality continuum)에서, 혼합 현실 환경은 한쪽의 완전히 물리적인 환경과 다른 쪽의 가상 현실 환경 사이의 임의의 곳에 있지만, 포함하지는 않는다. 일부 MR 환경들에서, 컴퓨터 생성 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 응답할 수 있다. 또한, MR 환경을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 위치 및/또는 배향을 추적하여 가상 객체들이 실제 객체들(즉, 물리적 환경으로부터의 물리적 물품들 또는 물리적 물품들의 표현들)과 상호작용할 수 있게 할 수 있다. 예를 들어, 시스템은 움직임들을 고려하여 가상 나무가 물리적 땅에 대하여 고정되어 있는 것처럼 보이도록 할 수 있다.

혼합 현실들의 예들은 증강 현실 및 증강 가상을 포함한다.

증강 현실: 증강 현실(AR) 환경은 하나 이상의 가상 객체들이 물리적 환경, 또는 그의 표현 위에 중첩되어 있는 시뮬레이션된 환경을 지칭한다. 예를 들어, AR 환경을 제시하기 위한 전자 시스템은 사람이 직접 물리적 환경을 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 투명 또는 반투명 디스플레이 상에 가상 객체들을 제시하도록 구성될 수 있다. 대안적으로, 시스템은 불투명 디스플레이, 및 물리적 환경의 표현들인 물리적 환경의 이미지들 또는 비디오를 캡처하는 하나 이상의 이미징 센서들을 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 합성하고, 합성물을 불투명 디스플레이 상에 제시한다. 사람은 시스템을 사용하여 물리적 환경의 이미지들 또는 비디오에 의해 물리적 환경을 간접적으로 보고, 물리적 환경 위에 중첩된 가상 객체들을 인지한다. 본 명세서에 사용되는 바와 같이, 불투명 디스플레이 상에 보여지는 물리적 환경의 비디오는 "패스 스루(pass-through) 비디오"로 불리는데, 이는 시스템이 하나 이상의 이미지 센서(들)를 사용하여 물리적 환경의 이미지들을 캡처하고, AR 환경을 불투명 디스플레이 상에 제시할 시에 이들 이미지들을 사용하는 것을 의미한다. 추가로 대안적으로, 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하는 투영 시스템을 가질 수 있다. 증강 현실 환경은 또한 물리적 환경의 표현이 컴퓨터 생성 감각 정보에 의해 변환되는 시뮬레이션된 환경을 지칭한다. 예를 들어, 패스 스루 비디오를 제공할 시에, 시스템은 하나 이상의 센서 이미지들을 변환하여 이미징 센서들에 의해 캡처된 관점과 상이한 선택 관점(예를 들어, 시점)을 부과할 수 있다. 다른 예로서, 물리적 환경의 표현은 그것의 일부들을 그래픽적으로 수정(예를 들어, 확대)함으로써 변환될 수 있어서, 수정된 부분은 원래 캡처된 이미지들의 표현일 수 있지만, 실사 버전은 아닐 수 있다. 추가적인 예로서, 물리적 환경의 표현은 그의 일부들을 그래픽적으로 제거하거나 또는 흐리게 함으로써 변환될 수 있다.

증강 가상: 증강 가상(AV) 환경은 가상 또는 컴퓨터 생성 환경이 물리적 환경으로부터의 하나 이상의 감각 입력들을 통합하는 시뮬레이션된 환경을 지칭한다. 감각 입력들은 물리적 환경의 하나 이상의 특성들의 표현들일 수 있다. 예를 들어, AV 공원은 가상 나무들 및 가상 빌딩들을 가질 수 있지만, 사람들의 얼굴들은 물리적 사람들을 촬영한 이미지들로부터 실사처럼 재현될 수 있다. 다른 예로서, 가상 객체는 하나 이상의 이미징 센서들에 의해 이미징되는 물리적 물품의 형상 또는 색상을 채용할 수 있다. 추가적인 예로서, 가상 객체는 물리적 환경에서 태양의 위치에 부합하는 그림자들을 채용할 수 있다.

하드웨어: 사람이 다양한 CGR 환경들을 감지하고/하거나 그와 상호작용할 수 있게 하는 많은 상이한 유형의 전자 시스템들이 있다. 예들은 헤드 장착형 시스템들, 투영 기반 시스템들, 헤드업(head-up) 디스플레이(HUD)들, 디스플레이 능력이 통합된 차량 앞유리들, 디스플레이 능력이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예를 들어, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예를 들어, 햅틱 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다. 헤드 장착형 시스템은 하나 이상의 스피커(들) 및 통합 불투명 디스플레이를 가질 수 있다. 대안적으로, 헤드 장착형 시스템은 외부 불투명 디스플레이(예를 들어, 스마트폰)를 수용하도록 구성될 수 있다. 헤드 장착형 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서들, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰들을 통합할 수 있다. 헤드 장착형 시스템은 불투명 디스플레이보다는, 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명하게 되도록 구성될 수 있다. 투사-기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투사하는 망막 투사 기술을 채용할 수 있다. 투영 시스템들은, 또한, 가상 객체들을 물리적 환경 내에, 예를 들어 홀로그램으로서, 또는 물리적 표면 상에 투영하도록 구성될 수 있다. 일부 실시예들에서, 제어기(110)는 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된다. 일부 실시예들에서, 제어기(110)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 제어기(110)는 도 2에 관해 아래에서 더 상세히 설명된다. 일부 실시예들에서, 제어기(110)는 장면(105)(예를 들어, 물리적 설정/환경)에 대해 로컬 또는 원격인 컴퓨팅 디바이스이다. 예를 들어, 제어기(110)는 장면(105) 내에 위치된 로컬 서버이다. 다른 예에서, 제어기(110)는 장면(105)의 외부에 위치된 원격 서버(예를 들어, 클라우드 서버, 중앙 서버 등)이다. 일부 실시예들에서, 제어기(110)는 하나 이상의 유선 또는 무선 통신 채널들(144)(예를 들어, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 디스플레이 생성 컴포넌트들(120)(예를 들어, 동일한 하우징으로 또는 상이한 하우징들로 둘러싸인, 하나 이상의 HMD들, 디스플레이들, 프로젝터들, 터치 스크린들 등)과 통신가능하게 결합된다. 다른 예에서, 제어기(110)는 디스플레이 생성 컴포넌트(들)(120)(예를 들어, 디스플레이 및 하나 이상의 프로세서들을 포함하는 HMD 또는 휴대용 전자 디바이스 등)의 인클로저(예를 들어, 물리적 하우징), 입력 디바이스들(125) 중 하나 이상, 출력 디바이스들(155) 중 하나 이상, 센서들(190) 중 하나 이상, 및/또는 주변 디바이스들(195) 중 하나 이상 내에 포함되거나, 상기 중 하나 이상과 동일한 물리적 인클로저 또는 지지 구조를 공유한다.

일부 실시예들에서, 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나는 CGR 경험(예를 들어, 적어도 CGR 경험의 시각적 컴포넌트)을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(들)(120)는, 소프트웨어, 펌웨어 및/또는 하드웨어의 적합한 조합을 포함한다. 디스플레이 생성 컴포넌트(120)의 일례가 도 3과 관련하여 아래에서 더 상세히 설명된다. 일부 실시예들에서, 제어기(110)의 기능성들은 디스플레이 생성 컴포넌트(들)(120)에 의해 제공되고/되거나 그와 조합된다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트들(120) 중 적어도 하나는, 사용자가 장면(105) 내에 가상으로 그리고/또는 물리적으로 존재하는 동안 CGR 경험을 사용자에게 제공한다.

일부 실시예들에서, 디스플레이 생성 컴포넌트(들)는 사용자의 신체의 일부(예를 들어, 그의 머리, 그의 손 등)에 착용된다. 이와 같이, 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나는 CGR 콘텐츠를 디스플레이하기 위해 제공되는 하나 이상의 CGR 디스플레이들을 포함한다. 예를 들어, 다양한 실시예들에서, 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나는 사용자의 시야를 둘러싼다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나는 CGR 콘텐츠를 제시하도록 구성된 핸드헬드 디바이스(예를 들어, 스마트폰 또는 태블릿)이고, 사용자는 사용자의 시야를 향해 지향된 디스플레이 및 장면(105)을 향해 지향된 카메라를 갖는 디바이스를 유지한다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자의 머리에 착용된 인클로저 내에 배치된다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자 전방의 지지부(예를 들어, 삼각대) 상에 배치된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나는 사용자가 디스플레이 생성 컴포넌트(120)를 착용하거나 유지하지 않는 CGR 콘텐츠를 제공하도록 구성된 CGR 챔버, 인클로저 또는 룸이다. CGR 콘텐츠를 디스플레이하기 위한 하나의 유형의 하드웨어(예를 들어, 핸드헬드 디바이스 또는 삼각대 상의 디바이스)를 참조하여 설명된 많은 사용자 인터페이스들은 CGR 콘텐츠를 디스플레이하기 위한 다른 유형의 하드웨어(예를 들어, HMD 또는 다른 웨어러블 컴퓨팅 디바이스) 상에서 구현될 수 있다. 예를 들어, 핸드헬드 또는 삼각대 장착형 디바이스 전방의 공간에서 발생하는 상호작용들에 기초하여 트리거된 CGR 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는, 상호작용들이 HMD 전방의 공간에서 발생하고 CGR 콘텐츠의 응답들이 HMD를 통해 디스플레이되는 HMD를 이용하여 유사하게 구현될 수 있다. 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손)에 대한 핸드헬드 또는 삼각대 장착형 디바이스의 이동에 기초하여 트리거되는 CGR 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손)에 대한 HMD의 이동에 의해 이동이 야기되는 HMD로 구현될 수 있다.

동작 환경(100)의 관련 특징부들이 도 1에 도시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다.

도 2는 일부 실시예들에 따른, 제어기(110)의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, 제어기(110)는 하나 이상의 프로세싱 유닛들(202)(예를 들어, 마이크로프로세서들, 주문형 집적 회로(ASIC)들, 필드-프로그래밍가능 게이트 어레이(FPGA)들, 그래픽 프로세싱 유닛(GPU)들, 중앙 프로세싱 유닛(CPU)들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들(206), 하나 이상의 통신 인터페이스들(208)(예를 들어, 범용 직렬 버스(USB), FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, 모바일 통신들을 위한 글로벌 시스템(GSM), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 글로벌 포지셔닝 시스템(GPS), 적외선(IR), 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(210), 메모리(220), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(204)을 포함한다.

일부 실시예들에서, 하나 이상의 통신 버스들(204)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들(206)은 키보드, 마우스, 터치패드, 조이스틱, 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 하나 이상의 이미지 센서들, 하나 이상의 디스플레이들 등 중 적어도 하나를 포함한다.

메모리(220)는 동적-랜덤 액세스 메모리(DRAM), 정적 랜덤-액세스 메모리(SRAM), 더블-데이터-레이트 랜덤-액세스 메모리(DDR RAM), 또는 다른 랜덤-액세스 솔리드-스테이트(solid-state) 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(220)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(220)는 선택적으로, 하나 이상의 프로세싱 유닛들(202)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(220)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(220) 또는 메모리(220)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(230) 및 CGR 경험 모듈(240)을 포함하는 그들의 서브세트를 저장한다.

운영 체제(230)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 경험 모듈(240)은 하나 이상의 사용자들에 대한 하나 이상의 CGR 경험들(예를 들어, 하나 이상의 사용자들에 대한 단일 CGR 경험, 또는 하나 이상의 사용자들의 개개의 그룹들에 대한 다수의 CGR 경험들)을 관리하고 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 경험 모듈(240)은 데이터 획득 유닛(241), 추적 유닛(242), 조정 유닛(246), 및 데이터 송신 유닛(248)을 포함한다.

일부 실시예들에서, 데이터 획득 유닛(241)은 도 1의 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나 이상 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상으로부터 데이터(예를 들어, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(241)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.

일부 실시예들에서, 추적 유닛(242)은 장면(105)을 맵핑하도록 그리고 도 1의 장면(105)에 대해 그리고 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 대해 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나 이상의 디스플레이 생성 컴포넌트의 포지션/위치를 추적하도록 구성된다. 이를 위해, 다양한 실시예들에서, 추적 유닛(242)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다. 일부 실시예들에서, 추적 유닛(242)은 손 추적 유닛(244), 및 눈 추적 유닛(243)을 포함한다. 일부 실시예들에서, 손 추적 유닛(244)은 도 1의 장면(105)에 대해, 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하도록 구성된다. 손 추적 유닛(244)은 도 4와 관련하여 아래에서 더욱 상세히 설명된다. 일부 실시예들에서, 눈 추적 유닛(243)은 장면(105)에 대해(예를 들어, 물리적 환경 및/또는 사용자(예를 들어, 사용자의 손)에 대해) 또는 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나를 통해 디스플레이되는 CGR 콘텐츠에 대해 사용자의 시선(또는 더 광범위하게는 사용자의 눈들, 얼굴 또는 머리)의 위치 및 이동을 추적하도록 구성된다. 눈 추적 유닛(243)은 도 5와 관련하여 아래에서 더욱 상세히 설명된다.

일부 실시예들에서, 조정 유닛(246)은 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나에 의해 그리고 선택적으로, 출력 디바이스들(155) 및/또는 주변 디바이스들(195) 중 하나 이상에 의해 사용자에게 제시되는 CGR 경험을 관리 및 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, 조정 유닛(246)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.

일부 실시예들에서, 데이터 송신 유닛(248)은 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나 이상 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(248)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.

데이터 획득 유닛(241), 추적 유닛(242)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)이 단일 디바이스(예를 들어, 제어기(110)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(241), 추적 유닛(242)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.

게다가, 도 2는 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 2에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.

도 3은 일부 실시예들에 따른, 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나의 디스플레이 생성 컴포넌트의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, 디스플레이 생성 컴포넌트(들)(120)를 포함하는 컴퓨팅 시스템(예를 들어, HMD)은, 또한, 동일한 하우징 내에, 하나 이상의 프로세싱 유닛들(302)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들 및 센서들(306), 하나 이상의 통신 인터페이스들(308)(예를 들어, USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(310), 하나 이상의 CGR 디스플레이들(312), 하나 이상의 선택적인 내부 및/또는 외부 대면 이미지 센서들(314), 메모리(320), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(304)을 포함한다.

일부 실시예들에서, 하나 이상의 통신 버스들(304)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들 및 센서들(306)은 관성 측정 유닛(inertial measurement unit, IMU), 가속도계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 하나 이상의 심도 센서들(예를 들어, 구조화된 광, 빛의 비행시간 등) 등 중 적어도 하나를 포함한다.

일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 CGR 경험 및 선택적으로, CGR 경험과 관련된 상태 정보를 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 홀로그래픽, 디지털 광 프로세싱(DLP), 액정 디스플레이(LCD), 실리콘 액정 표시장치(LCoS), 유기 발광 전계-효과 트랜지터리(OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(QD-LED), 마이크로-전자기계 시스템(MEMS), 및/또는 유사한 디스플레이 유형들에 대응한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다. 예를 들어, HMD는 단일 CGR 디스플레이를 포함한다. 다른 예에서, HMD는 사용자의 각각의 눈에 대한 CGR 디스플레이를 포함한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 및 VR 콘텐츠를 제시할 수 있다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 또는 VR 콘텐츠를 제시할 수 있다. 일부 실시예들에서, HMD는, HMD가 사용자의 머리에 배치될 때 사용자의 눈들을 향하는 하나 이상의 CGR 디스플레이들 및 사용자의 눈들로부터 멀리 향하는(예컨대, 외부 환경을 향하는) 하나 이상의 CGR 디스플레이들을 포함한다. 일부 실시예들에서, 컴퓨팅 시스템은 CGR 룸 또는 CGR 인클로저이고, CGR 룸 또는 CGR 인클로저는 CGR 룸 또는 인클로저 내의 사용자들에게 CGR 콘텐츠를 제공하는 CGR 디스플레이들을 내측에 포함하고, 선택적으로, CGR 콘텐츠와 관련된 상태 정보 및 내측의 사용자들의 상태를 디스플레이하는 하나 이상의 주변 디스플레이들을 외측에 포함한다.

일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 눈들을 포함하는 사용자의 얼굴의 적어도 일부분에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 눈-추적 카메라로 지칭될 수 있음). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 손(들) 및 선택적으로 사용자의 팔(들)의 적어도 일부에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 손-추적 카메라로 지칭될 수 있음). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 디스플레이 생성 컴포넌트(들)(120)가 존재하지 않았다면 사용자에 의해 보여질 장면에 대응하는 이미지 데이터를 획득하기 위해 전방-대면하도록 구성된다(그리고 장면 카메라로 지칭될 수 있음). 하나 이상의 선택적인 이미지 센서들(314)은 하나 이상의 RGB 카메라들(예를 들어, 상보성 금속-산화물-반도체(CMOS) 이미지 센서 또는 CCD(charge-coupled device) 이미지 센서를 가짐), 하나 이상의 적외선(IR) 카메라들, 하나 이상의 이벤트-기반 카메라들 등을 포함할 수 있다.

메모리(320)는 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(320)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(320)는 선택적으로, 하나 이상의 프로세싱 유닛들(302)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(320)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(320) 또는 메모리(320)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(330) 및 CGR 제시 모듈(340)을 포함하는 그들의 서브세트를 저장한다.

운영 체제(330)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 제시 모듈(340)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 사용자에게 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 모듈(340)은 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 데이터 송신 유닛(348), 및 선택적으로, 사용자 및 CGR 콘텐츠와 관련된 상태 정보를 디스플레이하기 위한 다른 동작 유닛들을 포함한다.

일부 실시예들에서, 데이터 획득 유닛(342)은 적어도 도 1의 제어기(110)로부터 데이터(예컨대, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(342)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.

일부 실시예들에서, CGR 제시 유닛(344)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠 및 연관된 상태 정보를 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 유닛(344)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.

일부 실시예들에서, CGR 맵 생성 유닛(346)은 미디어 콘텐츠 데이터에 기초하여 CGR 맵(예를 들어, 컴퓨터 생성 현실을 생성하기 위해 컴퓨터 생성 객체들이 배치될 수 있는 혼합 현실 장면의 3D 맵 또는 물리적 환경의 맵)을 생성하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 맵 생성 유닛(346)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.

일부 실시예들에서, 데이터 송신 유닛(348)은 적어도 제어기(110) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(348)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.

데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)이 단일 디바이스(예컨대, 도 1의 디스플레이 생성 컴포넌트(120)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.

게다가, 도 3은 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 3에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.

도 4는 손 추적 디바이스(140)의 예시적인 실시예의 개략적인 그림 예시이다. 일부 실시예들에서, 손 추적 디바이스(140)(도 1)는 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 도 1의 장면(105)에 대해(예를 들어, 사용자를 둘러싸는 물리적 환경의 일부에 대해, 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나에 대해, 또는 사용자의 일부(예를 들어, 사용자의 얼굴, 눈들, 또는 손)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해) 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하기 위해 손 추적 유닛(244)(도 2)에 의해 제어된다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나의 디스플레이 생성 컴포넌트의 일부이다(예를 들어, (예를 들어, 머리 장착형 디바이스에서) 디스플레이 생성 컴포넌트(들)와 동일한 하우징에 내장되거나 그에 부착됨). 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(들)(120)와 별개이다(예를 들어, 별개의 하우징들에 위치되거나 또는 별개의 물리적 지지 구조들에 부착됨).

일부 실시예들에서, 손 추적 디바이스(140)는 적어도 인간 사용자의 손(406)을 포함하는 3차원 장면 정보를 캡처하는 이미지 센서들(404)(예를 들어, 하나 이상의 IR 카메라들, 3D 카메라들, 심도 카메라들 및/또는 컬러 카메라들 등)을 포함한다. 이미지 센서들(404)은 손가락들 및 이들 각자의 위치들이 구별될 수 있게 하기에 충분한 해상도로 손 이미지들을 캡처한다. 이미지 센서들(404)은 통상적으로, 또한 사용자의 신체의 다른 부분들, 또는 가능하게는 신체 전부의 이미지들을 캡처하고, 원하는 해상도로 손의 이미지들을 캡처하기 위한 향상된 배율을 갖는 전용 센서 또는 줌 능력들을 가질 수 있다. 일부 실시예들에서, 이미지 센서들(404)은 또한 손(406) 및 장면의 다른 요소들의 2D 컬러 비디오 이미지들을 캡처한다. 일부 실시예들에서, 이미지 센서들(404)은 장면(105)의 물리적 환경을 캡처하거나 또는 장면(105)의 물리적 환경을 캡처하는 이미지 센서들의 역할을 하기 위해 다른 이미지 센서들과 함께 사용된다. 일부 실시예들에서, 이미지 센서들(404)은, 이미지 센서들에 의해 캡처된 손 이동이 제어기(110)로의 입력들로서 취급되는 상호작용 공간을 정의하기 위해 이미지 센서들의 시야 또는 그의 일부가 사용되는 방식으로 사용자 또는 사용자의 환경에 대해 위치설정된다.

일부 실시예들에서, 이미지 센서들(404)은 3D 맵 데이터(및 가능하게는 또한 컬러 이미지 데이터)를 포함하는 프레임들의 시퀀스를, 맵 데이터로부터 고레벨 정보를 추출하는 제어기(110)에 출력한다. 이러한 고레벨 정보는 통상적으로, 애플리케이션 프로그램 인터페이스(API)를 통해 제어기 상에서 실행되는 애플리케이션에 제공되며, 제어기는 그에 따라 디스플레이 생성 컴포넌트(들)(120)를 구동시킨다. 예를 들어, 사용자는 자신의 손(408)을 이동시키고 자신의 손 자세를 변경함으로써 제어기(110) 상에서 실행되는 소프트웨어와 상호작용할 수 있다.

일부 실시예들에서, 이미지 센서들(404)은 손(406)을 포함하는 장면 상에 스폿들의 패턴을 투영하고 투영된 패턴의 이미지를 캡처한다. 일부 실시예들에서, 제어기(110)는 패턴 내의 스폿들의 횡방향 시프트들에 기초하여, 삼각측량에 의해 장면 내의 포인트들(사용자의 손의 표면 상의 포인트들을 포함함)의 3D 좌표들을 컴퓨팅한다. 이러한 접근법은 그것이 사용자가 임의의 종류의 비콘(beacon), 센서 또는 다른 마커를 유지하거나 착용할 것을 요구하지 않는다는 점에서 유리하다. 이는 이미지 센서들(404)로부터 특정 거리에서 미리 결정된 기준 평면에 대한 장면 내의 포인트들의 심도 좌표들을 제공한다. 본 개시내용에서, 이미지 센서들(404)은, 장면 내의 포인트들의 심도 좌표들이 이미지 센서들에 의해 측정된 z 성분들에 대응하도록 x, y, z 축들의 직교 세트를 정의하는 것으로 가정된다. 대안적으로, 손 추적 디바이스(440)는 단일 또는 다수의 카메라들 또는 다른 유형들의 센서들에 기초하여, 입체 이미징 또는 비행 시간 측정들과 같은 다른 3D 맵핑 방법들을 사용할 수 있다.

일부 실시예들에서, 손 추적 디바이스(140)는 사용자의 손(예를 들어, 전체 손 또는 하나 이상의 손가락들)을 이동시키는 동안 사용자의 손을 포함하는 심도 맵들의 시간적 시퀀스를 캡처 및 프로세싱한다. 이미지 센서들(404) 및/또는 제어기(110) 내의 프로세서 상에서 실행되는 소프트웨어는 이러한 심도 맵들에서 손의 패치 디스크립터들을 추출하기 위해 3D 맵 데이터를 프로세싱한다. 소프트웨어는, 각각의 프레임에서 손의 포즈를 추정하기 위해, 이전 학습 프로세스에 기초하여, 데이터베이스(408)에 저장된 패치 디스크립터들에 이들 디스크립터들을 매칭한다. 포즈는 전형적으로 사용자의 손 관절들 및 손가락 팁들의 3D 위치들을 포함한다.

소프트웨어는 또한 제스처들을 식별하기 위해 시퀀스에서 다수의 프레임들에 걸친 손들 및/또는 손가락들의 궤적을 분석할 수 있다. 본 명세서에 설명된 포즈 추정 기능들은 모션 추적 기능들과 인터리빙될 수 있어서, 패치-기반 포즈 추정은 2개(또는 그 초과)의 프레임들마다 단 한번만 수행되는 한편, 나머지 프레임들에 걸쳐 발생하는 포즈의 변화들을 발견하기 위해 추적이 사용된다. 포즈, 모션 및 제스처 정보는 위에서 언급된 API를 통해 제어기(110) 상에서 실행되는 애플리케이션 프로그램에 제공된다. 이 프로그램은, 예를 들어, 포즈 및/또는 제스처 정보에 응답하여, 디스플레이 생성 컴포넌트(120) 상에 제시된 이미지들을 이동 및 수정하거나, 또는 다른 기능들을 수행할 수 있다.

일부 실시예들에서, 소프트웨어는, 예를 들어 네트워크를 통해 전자적 형태로 제어기(110)에 다운로드될 수 있거나, 또는 그것은 대안적으로는 광학, 자기, 또는 전자 메모리 매체들과 같은 유형적인 비일시적 매체들 상에 제공될 수 있다. 일부 실시예들에서, 데이터베이스(408)는 마찬가지로 제어기(110)와 연관된 메모리에 저장된다. 대안적으로 또는 추가적으로, 컴퓨터의 설명된 기능들 중 일부 또는 전부는 주문형 또는 반-주문형 집적회로 또는 프로그래밍가능 디지털 신호 프로세서(DSP)와 같은 전용 하드웨어로 구현될 수 있다. 제어기(110)가 예시적으로 이미지 센서들(440)과 별개의 유닛으로서 도 4에 도시되지만, 제어기의 프로세싱 기능들의 일부 또는 전부는 적합한 마이크로프로세서 및 소프트웨어에 의해, 또는 손 추적 디바이스(402)의 하우징 내의 또는 달리 이미지 센서들(404)과 관련된 전용 회로에 의해 수행될 수 있다. 일부 실시예들에서, 이들 프로세싱 기능들의 적어도 일부가 (예를 들어, 텔레비전 세트, 핸드헬드 디바이스, 또는 머리 장착형 디바이스 내의) 디스플레이 생성 컴포넌트(들)(120) 또는 게임 콘솔 또는 미디어 플레이어와 같은, 임의의 다른 적합한 컴퓨터화된 디바이스와 통합된 적합한 프로세서에 의해 수행될 수 있다. 이미지 센서들(404)의 감지 기능들은 센서 출력에 의해 제어될 컴퓨터 또는 다른 컴퓨터화된 장치 내에 마찬가지로 통합될 수 있다.

도 4는 일부 실시예들에 따른, 이미지 센서들(404)에 의해 캡처된 심도 맵(410)의 개략적인 표현을 더 포함한다. 위에서 설명된 바와 같이, 심도 맵은 각자의 심도 값들을 갖는 픽셀들의 행렬을 포함한다. 손(406)에 대응하는 픽셀들(412)은 이 맵에서 배경 및 손목으로부터 분할되었다. 심도 맵(410) 내의 각각의 픽셀의 밝기는 그의 심도 값, 즉, 이미지 센서들(404)로부터 측정된 z 거리에 역으로 대응하며, 회색 음영은 심도가 증가함에 따라 더 어두워진다. 제어기(110)는 인간 손의 특성들을 갖는 이미지의 컴포넌트(즉, 이웃 픽셀들의 그룹)를 식별 및 분할하기 위해 이러한 심도 값들을 프로세싱한다. 이러한 특성들은, 예를 들어, 심도 맵들의 시퀀스의 프레임마다 전체 크기, 형상 및 모션을 포함할 수 있다.

도 4는 또한, 일부 실시예들에 따른, 제어기(110)가 궁극적으로 손(406)의 심도 맵(410)으로부터 추출하는 손 골격(414)을 개략적으로 예시한다. 도 4에서, 골격(414)은 오리지널 심도 맵으로부터 분할된 손 배경(416) 상에 중첩된다. 일부 실시예들에서, 손(예를 들어, 너클들, 손가락 팁들, 손바닥의 중심, 손목에 연결되는 손의 단부 등에 대응하는 포인트들) 및 선택적으로, 손에 연결된 손목 또는 팔 상의 핵심 특징 포인트들이 손 골격(414) 상에 식별 및 위치된다. 일부 실시예들에서, 다수의 이미지 프레임들에 걸친 이러한 핵심 특징 포인트들의 위치 및 이동들은, 일부 실시예들에 따라, 손에 의해 수행되는 손 제스처들 또는 손의 현재 상태를 결정하기 위해 제어기(110)에 의해 사용된다.

도 5는 눈 추적 디바이스(130)(도 1)의 예시적인 실시예를 예시한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 장면(105)에 대한 또는 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나를 통해 디스플레이된 CGR 콘텐츠에 대한 사용자의 시선의 위치 및 이동을 추적하기 위해 눈 추적 유닛(244)(도 2)에 의해 제어된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나와 통합된다. 예를 들어, 일부 실시예들에서, 디스플레이 생성 컴포넌트(들)(120)가 머리 장착형 디바이스, 예를 들어, 헤드셋, 헬멧, 고글, 또는 안경, 또는 웨어러블 프레임에 배치된 핸드헬드 디바이스의 일부일 때, 머리 장착형 디바이스는 사용자가 보기 위한 CGR 콘텐츠를 생성하는 컴포넌트 및 CGR 콘텐츠에 대한 사용자의 시선을 추적하기 위한 컴포넌트 둘 모두를 포함한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(들)(120)와 별개이다. 예를 들어, 디스플레이 생성 컴포넌트(들)가 핸드헬드 디바이스 또는 CGR 챔버에 의해 제공될 때, 눈 추적 디바이스(130)는, 선택적으로, 핸드헬드 디바이스 또는 CGR 챔버와 별개의 디바이스이다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스 또는 머리 장착형 디바이스의 일부이다. 일부 실시예들에서, 머리 장착형 눈 추적 디바이스(130)는, 선택적으로, 또한 머리 장착된 디스플레이 생성 컴포넌트(들) 중 적어도 하나 또는 머리 장착되지 않은 디스플레이 생성 컴포넌트(들) 중 적어도 하나와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착형 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착되지 않은 디스플레이 생성 컴포넌트의 일부이다.

일부 실시예들에서, 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나는 사용자의 눈들 전방에서 좌측 및 우측 이미지들을 포함하는 프레임들을 디스플레이하기 위한 디스플레이 메커니즘(예를 들어, 좌측 및 우측 근안 디스플레이 패널들)을 사용하여 3D 가상 뷰들을 사용자에게 제공한다. 예를 들어, 머리 장착형 디스플레이 생성 컴포넌트는 디스플레이와 사용자의 눈들 사이에 위치된 좌측 및 우측 광학 렌즈들(본 명세서에서 눈 렌즈들로 지칭됨)을 포함할 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나는 디스플레이를 위해 사용자의 환경의 비디오를 캡처하는 하나 이상의 외부 비디오 카메라들을 포함하거나 그에 결합될 수 있다. 일부 실시예들에서, 머리 장착형 디스플레이 생성 컴포넌트는 사용자가 물리적 환경을 직접 보고 투명 또는 반투명 디스플레이 상에 가상 객체들을 디스플레이할 수 있게 하는 투명 또는 반투명 디스플레이를 가질 수 있다. 일부 실시예에서, 디스플레이 생성 컴포넌트(들)(120) 중 적어도 하나는 가상 객체들을 물리적 환경 내에 투영한다. 가상 객체들은, 예를 들어, 물리적 표면 상에 또는 홀로그래프로서 투영되어, 개인이 시스템을 사용하여, 물리적 환경 상에 중첩된 가상 객체들을 관찰하게 할 수 있다. 그러한 경우들에서, 좌측 및 우측 눈들에 대한 별개의 디스플레이 패널들 및 이미지 프레임들이 필요하지 않을 수 있다.

도 5에 도시된 바와 같이, 일부 실시예들에서, 시선 추적 디바이스(130)는 적어도 하나의 눈 추적 카메라(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들), 및 사용자의 눈들을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스들(예를 들어, LED들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)을 포함한다. 눈 추적 카메라들은 눈들로부터 직접적으로 광원들로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈들을 향해 지향될 수 있거나, 또는 대안적으로, 가시광이 통과할 수 있게 하면서 눈들로부터 눈 추적 카메라들로 IR 또는 NIR 광을 반사하는 디스플레이 패널들과 사용자의 눈들 사이에 위치된 "핫" 미러들을 향해 지향될 수 있다. 시선 추적 디바이스(130)는 선택적으로 사용자의 눈들의 이미지들을 (예를 들어, 60-120 fps(frames per second)로 캡처된 비디오 스트림으로서) 캡처하고, 이미지들을 분석하여 시선 추적 정보를 생성하고, 시선 추적 정보를 제어기(110)에 통신한다. 일부 실시예들에서, 사용자의 2개의 눈들은 각자의 눈 추적 카메라들 및 조명 소스들에 의해 개별적으로 추적된다. 일부 실시예들에서, 사용자의 오직 하나의 눈만이 각자의 눈 추적 카메라 및 조명 소스들에 의해 추적된다.

일부 실시예들에서, 눈 추적 디바이스(130)는, 특정 동작 환경(100)에 대한 눈 추적 디바이스의 파라미터들, 예를 들어 LED들, 카메라들, 핫 미러들(존재하는 경우), 눈 렌즈들 및 디스플레이 스크린의 3D 기하학적 관계 및 파라미터들을 결정하기 위해 디바이스-특정 교정 프로세스를 사용하여 교정된다. 디바이스-특정 교정 프로세스는 AR/VR 장비를 최종 사용자에게 전달하기 전에 공장 또는 다른 설비에서 수행될 수 있다. 디바이스-특정 교정 프로세스는 자동화된 교정 프로세스 또는 수동 교정 프로세스일 수 있다. 사용자-특정 교정 프로세스는 특정 사용자의 눈 파라미터들, 예를 들어 동공 위치, 중심와 위치, 광학 축, 시각 축, 눈 간격 등의 추정을 포함할 수 있다. 디바이스-특정 및 사용자-특정 파라미터들이 눈 추적 디바이스(130)에 대해 결정되면, 일부 실시예들에 따라, 눈 추적 카메라들에 의해 캡처된 이미지들은 디스플레이에 대한 사용자의 현재의 시각 축 및 시선 포인트를 결정하기 위해 글린트-보조 방법을 사용하여 프로세싱될 수 있다.

도 5에 도시된 바와 같이, 눈 추적 디바이스(130)(예를 들어, 130A 또는 130B)는 눈 렌즈(들)(520), 및 눈 추적이 수행되는 사용자의 얼굴의 면 상에 위치설정된 적어도 하나의 눈 추적 카메라(540)(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들)를 포함하는 시선 추적 시스템, 및 사용자의 눈(들)(592)을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스(530)(예를 들어, NIR 발광 다이오드(LED)들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)를 포함한다. 눈 추적 카메라들(540)은 (예를 들어, 도 5의 상단 부분에 도시된 바와 같이) 가시광이 통과하게 허용하면서 눈(들)(592)으로부터 IR 또는 NIR 광을 반사하는 디스플레이(510)(예를 들어, 머리 장착형 디스플레이의 좌측 또는 우측 디스플레이 패널, 머리 장착형 디스플레이의 내부 디스플레이, 또는 핸드헬드 디바이스의 디스플레이, 프로젝터 등)와 사용자의 눈(들)(592) 사이에 위치된 미러들(550) 쪽으로 지향될 수 있거나 또는 (예를 들어, 도 5의 하단 부분에 도시된 바와 같이) 눈(들)(592)으로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈(들)(592)을 향해 지향될 수 있다.

일부 실시예들에서, 제어기(110)는 AR 또는 VR 프레임들(562)(예를 들어, 좌측 및 우측 디스플레이 패널들에 대한 좌측 및 우측 프레임들)을 렌더링하고, 프레임들(562)을 디스플레이(510)에 제공한다. 제어기(110)는, 예를 들어 디스플레이를 위해 프레임들(562)을 프로세싱할 때, 다양한 목적들을 위해 눈 추적 카메라들(540)로부터의 시선 추적 입력(542)을 사용한다. 제어기(110)는 선택적으로, 글린트-보조 방법들 또는 다른 적합한 방법들을 사용하여 눈 추적 카메라들(540)로부터 획득된 시선 추적 입력(542)에 기초하여 디스플레이(510) 상의 사용자의 시선 포인트를 추정한다. 시선 추적 입력(542)으로부터 추정된 시선의 포인트는 선택적으로, 사용자가 현재 보고 있는 방향을 결정하는 데 사용된다.

다음은 사용자의 현재 시선 방향에 대한 몇몇 가능한 사용 사례들을 설명하며, 제한하려는 의도가 아니다. 예시적인 사용 사례로서, 제어기(110)는 사용자의 시선의 결정된 방향에 기초하여 가상 콘텐츠를 상이하게 렌더링할 수 있다. 예를 들어, 제어기(110)는 주변 영역들에서보다 사용자의 현재 시선 방향으로부터 결정된 중심와 구역에서 더 높은 해상도로 가상 콘텐츠를 생성할 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 가상 콘텐츠를 위치설정하거나 이동시킬 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 특정 가상 콘텐츠를 디스플레이할 수 있다. AR 애플리케이션들에서의 다른 예시적인 사용 사례로서, 제어기(110)는 결정된 방향으로 포커싱하도록 CGR 경험의 물리적 환경을 캡처하기 위한 외부 카메라들에 지시할 수 있다. 이어서, 외부 카메라들의 자동 초점 메커니즘은 사용자가 현재 디스플레이(510) 상에서 보고 있는 환경 내의 객체 또는 표면에 포커싱할 수 있다. 다른 예시적인 사용 사례로서, 눈 렌즈들(520)은 포커싱가능한 렌즈들일 수 있고, 시선 추적 정보는, 사용자가 현재 보고 있는 가상 객체가 사용자의 눈들(592)의 수렴에 매칭하기 위해 적절한 버전스(vergence)를 갖도록 눈 렌즈들(520)의 초점을 조정하기 위해 제어기에 의해 사용된다. 제어기(110)는, 사용자가 보고 있는 가까운 객체들이 올바른 거리에 나타나게 초점을 조정하도록 눈 렌즈들(520)을 지향시키기 위해 시선 추적 정보를 레버리지할 수 있다.

일부 실시예들에서, 눈 추적 디바이스는 디스플레이(예를 들어, 디스플레이(510)), 2개의 눈 렌즈들(예를 들어, 눈 렌즈(들)(520)), 눈 추적 카메라들(예를 들어, 눈 추적 카메라(들)(540)) 및 웨어러블 하우징에 장착된 광원들(예를 들어, 광원들(530)(예를 들어, IR 또는 NIR LED들))을 포함하는 머리 장착형 디바이스의 일부이다. 광원들은 광(예를 들어, IR 또는 NIR 광)을 사용자의 눈(들)(592)을 향해 방출한다. 일부 실시예들에서, 광원들은 도 5에 도시된 바와 같이 렌즈들 각각 주위에 링들 또는 원들로 배열될 수 있다. 일부 실시예들에서, 8개의 광원들(530)(예를 들어, LED들)이 예로서 각각의 렌즈(520) 주위에 배열된다. 그러나, 더 많거나 또는 더 적은 광원들(530)이 사용될 수 있고, 광원들(530)의 다른 배열들 및 위치들이 사용될 수 있다.

일부 실시예들에서, 디스플레이(510)는 가시광 범위에서 광을 방출하고, IR 또는 NIR 범위에서 광을 방출하지 않아서, 시선 추적 시스템에 잡음을 도입시키지 않는다. 눈 추적 카메라(들)(540)의 위치 및 각도는 예로서 주어진 것이며, 제한하려는 의도가 아님에 유의한다. 일부 실시예들에서, 단일 눈 추적 카메라(540)는 사용자의 얼굴의 각각의 면 상에 위치된다. 일부 실시예들에서, 2개 이상의 NIR 카메라들(540)이 사용자의 얼굴의 각각의 면 상에서 사용될 수 있다. 일부 실시예들에서, 더 넓은 시야(FOV)를 갖는 카메라(540) 및 더 좁은 FOV를 갖는 카메라(540)가 사용자의 얼굴의 각각의 면 상에서 사용될 수 있다. 일부 실시예들에서, 하나의 파장(예를 들어, 850 nm)에서 동작하는 카메라(540) 및 상이한 파장(예를 들어, 940 nm)에서 동작하는 카메라(540)가 사용자의 얼굴의 각각의 면 상에서 사용될 수 있다.

도 5에 예시된 바와 같은 시선 추적 시스템의 실시예들은, 예를 들어, 컴퓨터 생성 현실(예를 들어, 가상 현실, 증강 현실 및/또는 증강 가상을 포함함) 경험들을 사용자에게 제공하기 위해 컴퓨터 생성 현실(예를 들어, 가상 현실 및/또는 혼합 현실을 포함함) 애플리케이션들에서 사용될 수 있다.

도 6은 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시한다. 일부 실시예들에서, 시선 추적 파이프라인은 글린트-보조 시선 추적 시스템(예를 들어, 도 1 및 도 5에 예시된 바와 같은 눈 추적 디바이스(130))에 의해 구현된다. 글린트-보조 시선 추적 시스템은 추적 상태를 유지할 수 있다. 초기에, 추적 상태는 오프 또는 "아니오"이다. 추적 상태에 있을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 윤곽 및 글린트를 추적하기 위해 현재 프레임을 분석할 때 이전 프레임으로부터의 이전 정보를 사용한다. 추적 상태에 있지 않을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 및 글린트를 검출하려고 시도하고, 성공적인 경우, 추적 상태를 "예"로 초기화하고, 추적 상태에서 다음 프레임으로 계속된다.

도 6에 도시된 바와 같이, 시선 추적 카메라들은 사용자의 좌측 및 우측 눈들의 좌측 및 우측 이미지들을 캡처할 수 있다. 이어서, 캡처된 이미지들은 610에서 시작하는 프로세싱을 위해 시선 추적 파이프라인에 입력된다. 요소(600)로 돌아가는 화살표에 의해 표시된 바와 같이, 시선 추적 시스템은, 예를 들어 초당 60 내지 120 프레임의 레이트로 사용자의 눈들의 이미지들을 캡처하는 것을 계속할 수 있다. 일부 실시예들에서, 캡처된 이미지들의 각각의 세트는 프로세싱을 위해 파이프라인에 입력될 수 있다. 그러나, 일부 실시예들에서 또는 일부 조건들 하에서, 캡처된 모든 프레임들이 파이프라인에 의해 프로세싱되는 것은 아니다.

610에서, 현재 캡처된 이미지들에 대해, 추적 상태가 예이면, 방법은 요소(640)로 진행한다. 610에서, 추적 상태가 아니오이면, 620에서 표시된 바와 같이, 이미지들에서 사용자의 동공들 및 글린트들을 검출하기 위해 이미지들이 분석된다. 630에서, 동공들 및 글린트들이 성공적으로 검출되면, 방법은 요소(640)로 진행한다. 그렇지 않으면, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 복귀한다.

640에서, 요소(410)로부터 진행하면, 이전 프레임들로부터의 이전 정보에 부분적으로 기초하여 동공들 및 글린트들을 추적하기 위해 현재 프레임들이 분석된다. 640에서, 요소(630)로부터 진행하면, 추적 상태는 현재 프레임들에서 검출된 동공들 및 글린트들에 기초하여 초기화된다. 요소(640)에서의 프로세싱의 결과들은 추적 또는 검출의 결과들이 신뢰할 수 있음을 검증하기 위해 체크된다. 예를 들어, 동공 및 시선 추정을 수행하기에 충분한 수의 글린트들이 현재 프레임들에서 성공적으로 추적되거나 검출되는지를 결정하기 위해 결과들이 체크될 수 있다. 650에서, 결과들이 신뢰될 수 없다면, 추적 상태는 아니오로 설정되고, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 리턴한다. 650에서, 결과들이 신뢰되면, 방법은 요소(670)로 진행한다. 670에서, 추적 상태는 (이미 예가 아니라면) 예로 설정되고, 동공 및 글린트 정보는 사용자의 시선 포인트를 추정하기 위해 요소(680)에 전달된다.

도 6은 특정 구현에서 사용될 수 있는 눈 추적 기술의 일 예로서의 역할을 하도록 의도된다. 당업자들에 의해 인식되는 바와 같이, 현재 존재하거나 미래에 개발될 다른 눈 추적 기술들은, 다양한 실시예들에 따라, 사용자들에게 CGR 경험들을 제공하기 위해 컴퓨팅 시스템(101)에서 본 명세서에 설명된 글린트-보조 눈 추적 기술 대신에 또는 그와 조합하여 사용될 수 있다.

본 개시내용에서, 컴퓨팅 시스템과의 상호작용들과 관련하여 다양한 입력 방법들이 설명된다. 하나의 입력 디바이스 또는 입력 방법을 사용하여 일 예가 제공되고 다른 입력 디바이스 또는 입력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 입력 디바이스 또는 입력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨팅 시스템과의 상호작용들과 관련하여 다양한 출력 방법들이 설명된다. 하나의 출력 디바이스 또는 출력 방법을 사용하여 일 예가 제공되고 다른 출력 디바이스 또는 출력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 출력 디바이스 또는 출력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨팅 시스템을 통한 가상 환경 또는 혼합 현실 환경과의 상호작용들과 관련하여 다양한 방법들이 설명된다. 가상 환경과의 상호작용들을 사용하여 일 예가 제공되고 혼합 현실 환경을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 방법들과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 따라서, 본 개시내용은, 각각의 예시적인 실시예의 설명에서 실시예의 모든 특징들을 철저히 열거하지 않으면서 다수의 예들의 특징들의 조합들인 실시예들을 개시한다.

사용자 인터페이스들 및 연관된 프로세스들

이제, 하나 이상의 디스플레이 생성 컴포넌트들, 하나 이상의 입력 디바이스들 및 (선택적으로) 하나 이상의 카메라들을 갖는 컴퓨팅 시스템, 예를 들어 휴대용 다기능 디바이스 또는 머리 장착형 디바이스 상에서 구현될 수 있는 사용자 인터페이스("UI")들 및 연관된 프로세스들의 실시예들에 대해 주목한다.

도 7a 내지 도 7e는 일부 실시예들에 따른, 적어도 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100)) 및 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102))를 포함하는 컴퓨팅 시스템(예컨대, 도 1의 컴퓨팅 시스템(101) 또는 도 4의 컴퓨팅 시스템(140) 등)을 예시하며, 여기에서 컴퓨팅 시스템은 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100))를 통해 사용자에게 컴퓨터 생성 콘텐츠를 디스플레이하면서 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102))를 통해 사용자 및/또는 콘텐츠와 연관된 동적으로 업데이트된 상태 정보를 디스플레이한다. 도 7a 내지 도 7e는 도 8 내지 도 13에서의 프로세스들을 포함한, 아래에서 설명되는 프로세스들을 예시하기 위해 사용된다.

도 7a의 좌측 부분에 도시된 바와 같이, 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100))가 위치 A(7000-a)에 존재하고, CGR 콘텐츠(예컨대, 3차원 영화, 가상 현실 게임, 비디오, 사용자 인터페이스 객체들을 포함하는 3차원 환경 등)를 디스플레이하고 있다. 제1 사용자(7202)도 위치 A(7000-a)에 존재한다.

도 7a의 우측 부분에 도시된 바와 같이, 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102))는 위치 B(7000-b)에 존재하고, 제1 사용자(7202) 및/또는 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100))를 통해 제시된 CGR 콘텐츠에 대응하는 상태 정보를 디스플레이하고 있다. 도 7a에 예시된 예시적인 시나리오에서, 제2 사용자(7204)도 위치 B(7000-b)에 존재한다.

도 7a에 도시된 바와 같이, 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100))와 제1 사용자(7202) 사이의 공간적 관계는, 제1 사용자(7202)가 제1 디스플레이 생성 컴포넌트를 통해 제시된 CGR 콘텐츠를 보기 위한 위치에 있도록 한다. 예를 들어, 제1 사용자(7202)는 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향하고 있다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는 HMD의 내부 디스플레이이고, 동일한 위치 A(7000-a)에서의 디스플레이(7100)와 제1 사용자(7202)의 공존에 의해 표현되는 공간적 관계는, 제1 사용자가 HMD를 HMD의 내부 디스플레이가 사용자의 눈들을 향하는 상태로 착용하거나 유지하는 것에 대응한다. 일부 실시예들에서, 제1 사용자는, 제1 사용자가 제1 디스플레이 생성 컴포넌트의 투영 시스템에 의해 조명되는 물리적 환경의 일부분을 향하고 있을 때 제1 디스플레이 생성 컴포넌트를 통해 제시된 CGR 콘텐츠를 보기 위한 위치에 있다. 예를 들어, 가상 콘텐츠가 물리적 환경의 일부분 상에 투영되고, 가상 콘텐츠 및 물리적 환경의 일부분은 사용자가 물리적 환경의 일부분의 카메라 뷰를 통해, 또는 사용자가 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향하고 있을 때 제1 디스플레이 생성 컴포넌트의 투명 부분을 통해 본다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는, 사용자가 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향하고 있을 때 사용자의 망막 상에 이미지들을 형성하는 광을 방출한다. 예를 들어, 가상 콘텐츠는 LCD 또는 LED 디스플레이에 의해 디스플레이되는 물리적 환경의 뷰의 일부분에 오버레이되거나 그를 대체하는 LCD 또는 LED 디스플레이에 의해 디스플레이되고, LCD 또는 LED 디스플레이의 디스플레이 면을 향하는 사용자는 물리적 환경의 일부분의 뷰와 함께 가상 콘텐츠를 볼 수 있다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는 제1 사용자 전방의 물리적 환경의 카메라 뷰를 디스플레이하거나, 또는 제1 사용자 전방의 물리적 환경의 일부분이 제1 사용자에게 보이게 하는 투명 또는 반투명 부분을 포함한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 통해 제1 사용자에게 보이게 되는 물리적 환경의 일부분은 제2 디스플레이 생성 컴포넌트(7102)의 디스플레이 면에 대응하는 물리적 환경의 일부분(예컨대, 제2 디스플레이 생성 컴포넌트의 디스플레이 면 및 선택적으로 제2 사용자(7204)를 포함하는 위치 B(7000-b))이다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트의 디스플레이 면은, 제1 사용자가 제1 디스플레이 생성 컴포넌트에 의해 표시된 콘텐츠를 보기 위한 위치에 있을 때(예컨대, 제1 사용자가 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향하고 있을 때) 제1 사용자로부터 멀리 향하는 제2 디스플레이 생성 컴포넌트의 면, 및 제1 사용자의 미리설정된 부분을 향하는 다른 사람들(예컨대, 제2 사용자(7204) 또는 물리적 환경에서 제1 사용자의 얼굴 또는 눈들을 향하고 있는 다른 사람들)이 볼 수 있는 이미지들을 형성하는 광을 방출하는 면이다.

도 7a에 도시된 바와 같이, 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102))와 제2 사용자(7204) 사이의 공간적 관계는, 제2 사용자(7204)가 제2 디스플레이 생성 컴포넌트를 통해 제시된 상태 정보를 보기 위한 위치에 있도록 한다. 예를 들어, 제2 사용자(7204)는 제2 디스플레이 생성 컴포넌트의 디스플레이 면 전방에 있고/있거나 그를 향하고 있다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트는 CGR 콘텐츠를 제1 사용자(7202)에게 제시하고 있는 내부 디스플레이(예컨대, 디스플레이(7100)에 의해 표현됨)를 또한 포함하는 HMD의 외부 디스플레이이다. 그러한 실시예에서, 동일한 위치 B(7000-b)에서의 디스플레이(7102)와 제2 사용자(7204)의 공존에 의해 표현되는 공간적 관계는, 제2 사용자가 HMD의 외부 디스플레이가 향하고 있는 물리적 환경의 일부분에 있는 것에 대응한다(예컨대, 물리적 환경은 또한 제1 디스플레이 생성 컴포넌트 및 제1 사용자(7202)를 호스팅하고 있음). 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는 제1 사용자 전방의 물리적 환경의 카메라 뷰를 디스플레이하거나, 또는 제1 사용자 전방의 물리적 환경의 일부분이 제1 사용자에게 보이게 하는 투명 또는 반투명 패스 스루 부분을 포함하고, 카메라 뷰에 포함된 물리적 환경의 일부분 또는 패스 스루 부분은, 또한, 제2 디스플레이 생성 컴포넌트의 디스플레이 면 전방에 있는 물리적 환경의 일부분이다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트는 제1 디스플레이 생성 컴포넌트와 백투백 상태로 위치되어서, 제2 디스플레이 생성 컴포넌트(7102)의 디스플레이 면 전방에 있는 물리적 환경의 일부분(예컨대, 제2 디스플레이 생성 컴포넌트의 디스플레이 면 및 선택적으로 제2 사용자(7204)를 포함하는 위치 B(7000-b))이 또한 제1 사용자 전방에 그리고 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트가 제1 사용자의 얼굴을 차단하고 있지 않은 경우 제1 사용자의 시야 내에 있게 한다.

위에 기재되어 있고 여기에서 반복될 바와 같이, 도 7a(및 도 7b 내지 도 7j)는 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100)) 및 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102))가 물리적 환경의 2개의 별개의 분리된 부분들에 위치되는 것으로 도시하지만, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트는, 선택적으로, 동일한 하우징(예컨대, 단일 HMD의 하우징) 내에 포함되거나 동일한 지지 구조물에 부착되고(예컨대, 서로 또는 단일 벽 또는 표면의 2개의 면들 상에 백투백 상태로 부착됨) 상이한(예컨대, 실질적으로 서로 반대인) 방향들을 향하고 있는 2개의 디스플레이 생성 컴포넌트들이라는 것이 이해되어야 한다. 이와 같이, 위치 A(7000-a)는, 제1 디스플레이 생성 컴포넌트를 통해 제시된 콘텐츠(예컨대, CGR 콘텐츠)를 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향하는 제1 사용자(예컨대, 제1 사용자(7202))가 볼 수 있고 제2 디스플레이 생성 컴포넌트를 통해 제시된 콘텐츠(예컨대, 상태 정보)를 제1 사용자(예컨대, 제1 사용자(7202))가 볼 수 없는 물리적 환경의 제1 부분을 나타내고; 위치 B(7000-b)는, 제1 디스플레이 생성 컴포넌트를 통해 제시된 콘텐츠(예컨대, CGR 콘텐츠)를 제2 디스플레이 생성 컴포넌트의 디스플레이 면을 향하는 다른 사용자(예컨대, 제2 사용자(7204))가 볼 수 없고 제2 디스플레이 생성 컴포넌트를 통해 제시된 콘텐츠(예컨대, 상태 정보)를 상기 다른 사용자(예컨대, 제2 사용자(7204))가 볼 수 있는 동일한 물리적 환경의 제2 부분을 나타낸다. 본 명세서에 제시되는 개시내용에서, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트는 동일한 컴퓨팅 시스템(예컨대, HMD, 디스플레이 생성 컴포넌트들과 별도로 수용되는 휴대용 전자 디바이스, 상이한 방향들을 향하는 2개의 디스플레이들을 갖는 휴대용 전자 디바이스, 원격 서버 컴퓨터 등)에 의해 제어되고, 컴퓨팅 시스템의 사용자는, 달리 명시되지 않는 한, 대체적으로, 적어도 제1 디스플레이 생성 컴포넌트를 제어하여 그것 또는 그/그녀 자신을 그/그녀가 제1 디스플레이 생성 컴포넌트를 통해 표시된 CGR 콘텐츠를 볼 수 있게 하는 위치에 배치하는 사람을 지칭한다.

도 7a에 도시된 바와 같이, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트를 제어하는 컴퓨팅 시스템은 제1 이미지 센서(예컨대, 카메라(7104)) 및 제2 이미지 센서(예컨대, 카메라(7106))와 통신한다. 제1 이미지 센서는, 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100))의 디스플레이 면을 향하는 제1 사용자의 적어도 일부분(예컨대, 제1 사용자(7202)의 얼굴 및/또는 눈들)을 포함하고 제2 사용자(7204)(또는, 제1 디스플레이 생성 컴포넌트가 제1 사용자에 의해 착용된 HMD의 내부 디스플레이인 경우에, 임의의 다른 사용자)를 포함하지 않는 물리적 환경의 일부분(예컨대, 위치 A(7000-a))의 이미지들을 캡처하도록 구성된다. 제2 이미지 센서는, 제1 사용자의 일부분(예컨대, 제1 사용자(7202)의 얼굴 또는 눈들)을 포함하지 않지만 제2 사용자의 적어도 일부분(예컨대, 제1 디스플레이 생성 컴포넌트에 의해 제공되는 제1 사용자(7202)의 시야 내에 있는 제2 사용자(7204)의 일부분)을 포함하는 물리적 환경의 일부분(예컨대, 위치 B(7000-b))의 이미지들을 캡처하도록 구성된다. 앞서 논의된 바와 같이, 일부 실시예들에서, 제2 이미지 센서(7106)에 의해 캡처되는 물리적 환경의 일부분은, 제1 사용자의 눈들이 제2 디스플레이 생성 컴포넌트의 존재(및 선택적으로, 제1 디스플레이 생성 컴포넌트의 존재)에 의해 물리적으로 차단되지 않는 경우 제1 사용자의 시야 내에 있는 물리적 환경의 일부분을 포함한다. 유사하게, 일부 실시예들에서, 제1 이미지 센서(7104)에 의해 캡처되는 물리적 환경의 일부분은 제1 디스플레이 생성 컴포넌트의 존재(및 선택적으로, 제2 디스플레이 생성 컴포넌트의 존재)에 의해 물리적으로 차단되는 사용자의 일부분(예컨대, 사용자의 얼굴 또는 눈들)을 포함한다. 일부 실시예들에서, 컴퓨팅 시스템은, 또한, 제1 사용자 및/또는 제2 사용자에 의해 제공되는 제스처 입력들을 식별하기 위하여 제1 사용자 및/또는 제2 사용자의 손들 및 손목들의 이미지들을 수신하기 위해 제1 이미지 센서, 제2 이미지 센서 및/또는 다른 이미지 센서들과 통신한다. 일부 실시예들에서, 제1 이미지 센서(7104)는, 또한, 제1 사용자에 의해 제공되는 시선 입력들을 캡처하는 데 사용된다. 일부 실시예들에서, 제1 이미지 센서 및 제2 이미지 센서는, 선택적으로, 제1 사용자 및/또는 제2 사용자의 제스처 입력들을 캡처하기 위한 이미지 센서들로서의 역할을 한다.

일부 실시예들에서, 컴퓨팅 시스템은, 선택적으로, 위치 A(7000-a)에 존재하는 제1 사용자에게 오디오 출력들(예컨대, CGR 콘텐츠의 소리들)을 그리고 선택적으로, 위치 B(7000-b)에 존재하는 제2 사용자에게 오디오 출력들(예컨대, 상태 표시 소리들 또는 경고들, CGR 콘텐츠의 소리들 등)을 각각 제공하는 하나 이상의 오디오 출력 디바이스들을 제어한다. 일부 실시예들에서, 컴퓨팅 시스템은, 선택적으로, 위치 B로부터 전파되는 소리들로부터 위치 A 및 제1 사용자를 (예컨대, 하나 이상의 능동 또는 수동 잡음 억제 또는 소거 컴포넌트들을 통해) 부분적으로 또는 완전히 차폐하고, 선택적으로, 위치 A로부터 전파되는 소리들로부터 위치 B 및 제2 사용자를 부분적으로 또는 완전히 차폐한다. 일부 실시예들에서, 능동 소리 차폐 또는 소리 패스 스루의 양은 제1 디스플레이 생성 컴포넌트를 통해 표시된 CGR 콘텐츠와 연관된 현재 몰입 레벨에 기초하여(예컨대, 패스 스루 모드에 있을 때에는 소리 차폐 없음, 혼합 현실 모드에 있을 때에는 부분 소리 차폐, 가상 현실 모드에 있을 때에는 전체 소리 차폐 등) 그리고 선택적으로, 위치 B에 다른 사용자가 존재하는지 여부에 기초하여(예컨대, 위치 B에 아무도 존재하지 않을 때에는 소리 차폐 없음, 위치 B에 사람들이 존재하거나 위치 B에서 잡음 레벨이 임계 레벨을 초과할 때에는 소리 차폐 등) 컴퓨팅 시스템에 의해 결정된다.

일부 실시예들에서, 도 7a에 도시된 바와 같이, 컴퓨팅 시스템은, 제1 사용자(7202)가 CGR 콘텐츠를 보기 위한 위치에 있는(예컨대, 제1 사용자(7202)가 제1 디스플레이 생성 컴포넌트와 위치 A에 함께 위치되고 적어도 부분적으로 그의 디스플레이 면을 향함, 제1 사용자가 HMD를 그녀의 머리에 착용하여, HMD를 내부 디스플레이가 그녀의 눈들 전방에 있는 상태로 유지하고 있음 등) 동안 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), 또는 HMD의 내부 디스플레이)를 통해 CGR 콘텐츠(7002)(예컨대, 도 7a에 7002-a로 도시됨)를 디스플레이한다. 도 7a에 예시된 순간에, 컴퓨팅 시스템은 영화 X(예컨대, 3차원 영화, 2차원 영화, 상호작용형 컴퓨터 생성 경험 등)를 디스플레이하고 있다. 영화는, 제1 디스플레이 생성 컴포넌트를 통해, 영화의 콘텐츠가 물리적 환경의 표현들(예컨대, 위치 B(예컨대, 제1 디스플레이 생성 컴포넌트의 존재에 의해 차단되는, 제1 사용자 전방에 있는 물리적 환경의 일부분)의 표현)과 동시에 보이는 혼합 현실 모드에서 디스플레이된다. 일부 실시예들에서, 이러한 혼합 현실 모드는 제1 디스플레이 생성 컴포넌트를 통해 제시된 CGR 콘텐츠와 연관된 중간 몰입 레벨에 대응한다. 일부 실시예들에서, 중간 몰입 레벨은, 또한, 물리적 환경(예컨대, 위치 B(예컨대, 제1 사용자를 둘러싸는 물리적 환경의 일부분)으로부터 전파되는 소리들의 부분 차폐 또는 부분 패스 스루에 대응한다. 이러한 예에서, 물리적 환경의 표현은 제2 디스플레이 생성 컴포넌트(7102) 전방에서(예컨대, 또한 제1 디스플레이 생성 컴포넌트(7100)의 후면 전방에서) 위치 B(7000-b)에 위치되는 제2 사용자(7204)의 표현(7010)(예컨대, 도 7a에 7010-a로 도시됨)을 포함한다. 일부 실시예들에서, 물리적 환경의 표현은, 사용자의 눈들이 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트의 존재에 의해 차단되지 않는 경우(예컨대, 제1 사용자가 HMD를 착용하고 있지 않거나 HMD를 그/그녀의 눈들 전방에 유지하고 있지 않은 경우) 제1 사용자의 시야 내에 있을 물리적 환경의 일부분의 카메라 뷰를 포함한다. 혼합 현실 모드에서, CGR 콘텐츠(7002)(예컨대, 영화 X, 3차원 증강 현실 환경, 사용자 인터페이스들, 가상 객체들 등)는, 물리적 환경의 표현의 전부는 아니지만 그의 적어도 일부분을 오버레이하거나 대체하도록 디스플레이된다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는, 물리적 환경의 일부분이 제1 사용자에게 보이게 하는 투명 부분을 포함한다. 일부 실시예들에서, 혼합 현실 모드에서, CGR 콘텐츠(7002)(예컨대, 영화 X, 3차원 증강 현실 환경, 사용자 인터페이스들, 가상 객체들 등)는 물리적 환경 내의 물리적 표면들 또는 빈 공간 상에 투영되며, 물리적 환경과 함께 투명 부분을 통해 보이고, 제1 디스플레이 생성 컴포넌트의 투명 부분을 통해 볼 수 있거나, 제1 디스플레이 생성 컴포넌트에 의해 제공되는 물리적 환경의 카메라 뷰를 통해 볼 수 있다. 일부 실시예들에서, CGR 콘텐츠(7002)는 디스플레이의 일부분을 오버레이하도록 디스플레이되고, 제1 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분을 통해 보이는 물리적 환경의 전부는 아니지만 그의 적어도 일부분의 뷰를 차단한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트(7100)는 물리적 환경의 뷰를 제공하지 않고, 하나 이상의 센서들(예컨대, 카메라들, 모션 센서들, 다른 자세 센서들 등)에 의해 현재 캡처된 바와 같은 물리적 환경의 실시간 시각적 표현(들)(예컨대, 양식화된 표현 또는 세그먼트화된 카메라 이미지들)으로 증강되는 완전 가상 환경(예컨대, 카메라 뷰 또는 투명 패스 스루 부분 없음)을 제공한다. 혼합 현실 모드(예컨대, 카메라 뷰 또는 투명 디스플레이에 기초한 증강 현실, 또는 물리적 환경의 가상화된 표현에 기초한 증강 가상)에서, 제1 사용자는 컴퓨터 생성 환경에 완전히 몰입되지 않고, 제1 사용자 및 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경에 직접 대응하는 감각 정보(예컨대, 시각 및 청각)를 여전히 수신하고 있다.

도 7a에 도시된 바와 같이, 컴퓨팅 시스템이 제1 디스플레이 생성 컴포넌트(7100)를 통해 혼합 현실 모드에서 CGR 콘텐츠(7002-a)(예컨대, 영화 X, 3차원 증강 현실 환경, 사용자 인터페이스들, 가상 객체들 등)를 디스플레이하는 것과 동시에, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102), 또는 HMD의 외부 디스플레이)를 통해 제1 사용자 및 CGR 콘텐츠와 관련된 상태 정보를 디스플레이한다. 도 7a의 우측 부분에 도시된 바와 같이, 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102), 또는 HMD의 외부 디스플레이)는 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100) 또는 HMD의 내부 디스플레이)를 통해 디스플레이되고 있는 CGR 콘텐츠(7002)의 상태를 나타내는 하나 이상의 그래픽 요소들뿐만 아니라, 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), 또는 HMD의 내부 디스플레이)의 디스플레이 면 전방에 있는 제1 사용자(7202)의 적어도 일부분의 표현(7006)(예컨대, 도 7a에 7006-a로 도시됨)을 디스플레이한다. 이러한 예에서, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되고 있는 CGR 콘텐츠의 상태를 나타내는 하나 이상의 그래픽 요소들은, 선택적으로, CGR 콘텐츠의 식별자(예컨대, 영화 X의 제목), CGR 콘텐츠의 현재 진행을 보여주는 진행 바(7004)(예컨대, 도 7a에 7004-a로 도시됨), 및 CGR 콘텐츠의 시각적 표현(7008)(예컨대, 도 7a에 7008-a로 도시됨)을 포함한다. 일부 실시예들에서, CGR 콘텐츠의 시각적 표현(7008)은 (예컨대, 블러링, 왜곡 등을 통해) CGR 콘텐츠의 일부를 난독화하고, 단지 CGR 콘텐츠의 변화감 및 색상들 또는 톤들을 전달한다. 도 7a의 우측 부분에 도시된 바와 같이, 제1 사용자(7202)의 일부분의 표현(7006)은, 선택적으로, 제1 사용자의 얼굴의 카메라 뷰, 또는 제1 사용자의 얼굴의 카메라 뷰에 기초하여 생성되는 그래픽 표현을 포함한다. 일부 실시예들에서, 제1 사용자(7202)의 일부분의 표현은, 선택적으로, 제1 사용자의 눈들의 카메라 뷰, 또는 제1 디스플레이 생성 컴포넌트의 디스플레이 면 전방에 있는 제1 사용자의 눈들의 카메라 뷰에 기초하여 생성되는 그래픽 표현을 포함한다. 일부 실시예들에서, 제1 사용자(7202)의 일부분의 표현은 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되고 있는 CGR 콘텐츠의 상태를 나타내는 하나 이상의 그래픽 요소들의 디스플레이 층(들)과는 상이한 디스플레이 층에 디스플레이된다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트에 의한 CGR 콘텐츠의 상태의 표현 및 제1 사용자의 일부분의 표현의 동시 디스플레이는, CGR 콘텐츠가 혼합 현실 모드에서 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되고 있고 제1 사용자에게 CGR 콘텐츠와 함께 물리적 환경의 뷰가 제공된다는 표시를 제공한다. 제2 디스플레이 생성 컴포넌트 상에, 제1 사용자의 얼굴 및/또는 눈들의 시각적 표현 및 제1 사용자의 얼굴 및/또는 눈들이 제1 디스플레이 생성 컴포넌트의 존재(및 선택적으로 제2 디스플레이 생성 컴포넌트의 존재)에 의해(예컨대, 내부 디스플레이 및 외부 디스플레이를 포함하는 HMD의 존재에 의해) 차폐되는 동안 제1 사용자가 보고 있는 CGR 콘텐츠의 상태의 표현을 디스플레이함으로써, 제1 사용자의 주변 물리적 환경 내의 다른 사용자들에게, 제1 사용자와의 상호작용을 개시 또는 자제하거나 제1 사용자의 존재 하에서 적절한 방식으로 행동하기 위한 추가 정보가 제공된다.

도 7b는 도 7a에 후속하며, 추후에, CGR 콘텐츠가 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100) 또는 HMD의 내부 디스플레이) 상에서 추가로 진행되었고, 제1 사용자의 외관이 변경되었음을 예시한다. 예를 들어, 제1 사용자의 외관의 변화는 위치 A(7000-a) 내에서의(예를 들어, 제1 사용자가 여전히 HMD를 착용하고 있고/있거나 HMD의 내부 디스플레이를 향하고 있는 동안의) 제1 디스플레이 생성 컴포넌트에 대한 제1 사용자(7202)의 적어도 일부분(예컨대, 제1 사용자의 눈들 또는 얼굴)의 이동(예컨대, 이동은 제1 사용자의 안구들의 옆으로의 이동들, 사용자의 눈들의 깜박임, 사용자의 눈들의 감음 또는 뜸, 사용자의 안구들의 상하 이동 등을 포함하고/하거나; 이동은 제1 디스플레이 생성 컴포넌트의 디스플레이 면에 대한 사용자의 얼굴 또는 머리의 이동(예컨대, 제1 디스플레이 생성 컴포넌트로부터 멀리 이동하거나 그를 향해 이동하는 것 등)을 포함함)에 기인한다. 이때, CGR 콘텐츠(7002)는 여전히 혼합 현실 모드에서 디스플레이되고, 물리적 환경(예컨대, 제2 사용자(7204)를 포함하는 위치 B)의 표현(7010)(예컨대, 7010-b로 도시됨)은 제1 디스플레이 생성 컴포넌트를 통해 CGR 콘텐츠(7002)와 동시에 디스플레이된 상태로 유지된다. 일부 실시예들에서, 물리적 환경의 외관의 임의의 변화들(예컨대, 제1 디스플레이 생성 컴포넌트, 제2 디스플레이 생성 컴포넌트 및/또는 제1 사용자에 대한 제2 사용자(7204)의 이동 등)도 제1 디스플레이 생성 컴포넌트에 의해 표시된 물리적 환경의 표현(7010)에 의해 반영된다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트에 대한 제1 사용자의 일부분의 이동(예컨대, 제1 사용자의 눈들 또는 얼굴의 이동)에 따라, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트(7102)를 통해 디스플레이되는 표현(7006)(예컨대, 도 7b에 7006-b로 도시됨)을 업데이트한다. 예를 들어, 제1 사용자(7202) 또는 그의 일부분(예컨대, 사용자의 얼굴 또는 눈들)이 제1 디스플레이 생성 컴포넌트(7100)의 제1 에지(예컨대, 제1 디스플레이 생성 컴포넌트의 디스플레이 면의 좌측 에지, 제1 디스플레이 생성 컴포넌트의 디스플레이 면의 상단 에지 등)를 향하는 방향으로 이동하였을 때, 제2 디스플레이 생성 컴포넌트의 디스플레이 면 상에 표시된 제1 사용자의 일부분의 표현(7006)도 제2 디스플레이 생성 컴포넌트의 대응하는 제2 에지(예컨대, 제2 디스플레이 생성 컴포넌트의 디스플레이 면의 우측 에지(예컨대, 제1 디스플레이 생성 컴포넌트의 디스플레이 면의 좌측 에지에 대응함), 제2 디스플레이 생성 컴포넌트의 디스플레이 면의 상단 에지(예컨대, 제1 디스플레이 생성 컴포넌트의 디스플레이 면의 상단 에지에 대응함) 등)를 향해 이동한다. 제1 사용자의 일부분의 표현(7006)을 업데이트하는 것에 더하여, 컴퓨팅 시스템은, 또한, 제2 디스플레이 생성 컴포넌트 상의 CGR 콘텐츠의 상태의 표현을 업데이트한다. 예를 들어, 진행 바(7004)(예컨대, 도 7b에 7004-b로 도시됨)는, CGR 콘텐츠의 재생이 도 7a에 도시된 시간 이후로 제1 양만큼 진행되었음을 보여주도록 업데이트된다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102), HMD의 외부 디스플레이 등) 상에 표시된 바와 같은 CGR 콘텐츠의 표현(7008)(예컨대, 도 7b에 7008-b로 도시됨)도 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD의 내부 디스플레이 등) 상에 표시된 CGR 콘텐츠(7002)의 현재 외관에 따라 업데이트된다. 일부 실시예들에서, 제1 사용자의 일부분의 외관의 실시간 업데이트를 보여주고(예컨대, 제1 디스플레이 생성 컴포넌트 뒤에서의 제1 사용자의 얼굴 및 눈들의 변화들 및 이동들을 보여줌), 제1 디스플레이 생성 컴포넌트에 의해 표시된 CGR 콘텐츠의 상태의 실시간 또는 주기적 업데이트를 보여주는 것은, 제1 사용자 주위의 물리적 환경 내에 있는(예컨대, 위치 B에 있는) 다른 사람들이 제1 사용자의 주의 상태 및 현재 시점에 제1 사용자를 관여하게 하는 것이 적절한지 또는 차단하는 것이 적절한지에 관한 정보를 얻도록 허용한다. 일부 실시예들에서, 제1 사용자 및 CGR 콘텐츠의 외관에 대한 변화들이 제2 디스플레이 생성 컴포넌트에 의해 표시된 상태 정보에 대한 업데이트들에 의해 반영되는 동안, 물리적 환경의 외관의 임의의 변화들(예컨대, 제1 디스플레이 생성 컴포넌트, 제2 디스플레이 생성 컴포넌트 및/또는 제1 사용자에 대한 제2 사용자(7204)의 이동 등)도 제1 디스플레이 생성 컴포넌트에 의해 표시된 물리적 환경의 표현(7010)에 의해 반영된다.

도 7c는 도 7a에 후속하며, 추후에, CGR 콘텐츠가 제1 디스플레이 생성 컴포넌트(7100) 상에서 추가로 진행되었고, 제2 사용자(7204)가 제2 디스플레이 생성 컴포넌트(7204)에 대해 이동하였고 도 7a에 도시된 시나리오와 비교하여 상이한 각도로부터 제2 디스플레이 생성 컴포넌트를 보고 있음을 예시한다. 이때, CGR 콘텐츠(7002)는 여전히 혼합 현실 모드에서 디스플레이되고, 물리적 환경(예컨대, 제2 사용자(7204)를 포함하는 위치 B)의 표현(7010)(예컨대, 7010-c로 도시됨)은 제1 디스플레이 생성 컴포넌트(7100)를 통해 동시에 디스플레이된 상태로 유지된다. 제2 디스플레이 생성 컴포넌트에 대한(그리고 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트가 서로에 대해 고정된 공간적 관계를 가질 때(예컨대, HMD의 동일한 하우징 내에서 백투백 상태로 고정됨) 제1 디스플레이 생성 컴포넌트에 대한) 제2 사용자(7204)의 이동에 따라, 컴퓨팅 시스템은 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100) 또는 HMD의 내부 디스플레이)를 통해 디스플레이되는 표현(7010)(예컨대, 도 7c에 7010-c로 도시됨)을 업데이트한다. 예를 들어, 제2 사용자(7204) 또는 그의 일부분이 제2 디스플레이 생성 컴포넌트(7102)의 디스플레이 면의 제3 에지(예컨대, 우측 에지, 상단 에지 등)를 향하는 방향으로 이동하였을 때, 제1 디스플레이 생성 컴포넌트(7100)의 디스플레이 면 상에 표시된 제2 사용자의 일부분의 표현(7010)도 제1 디스플레이 생성 컴포넌트의 대응하는 제4 에지(예컨대, 제1 디스플레이 생성 컴포넌트의 디스플레이 면의 좌측 에지(예컨대, 제2 디스플레이 생성 컴포넌트의 디스플레이 면의 우측 에지에 대응함), 제1 디스플레이 생성 컴포넌트의 디스플레이 면의 상단 에지(예컨대, 제2 디스플레이 생성 컴포넌트의 디스플레이 면의 상단 에지에 대응함))를 향해 이동한다. 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD의 내부 디스플레이 등) 상에 표시된 CGR 콘텐츠의 변화들에 따라, 컴퓨팅 시스템은, 또한, 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102), HMD의 외부 디스플레이 등) 상에 표시된 CGR 콘텐츠의 상태의 표현을 업데이트한다. 예를 들어, 진행 바(7004)(예컨대, 도 7c에 7004-c로 도시됨)는, CGR 콘텐츠의 재생이 도 7a에 도시된 시간 이후로 제2 양만큼 그리고 도 7b에 도시된 시간 이후로 제3 양만큼 진행되었음을 보여주도록 업데이트된다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102), HMD의 외부 디스플레이 등) 상에 표시된 바와 같은 CGR 콘텐츠(7002)의 표현(7008)(예컨대, 도 7c에 7008-c로 도시됨)도 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD의 내부 디스플레이 등) 상에 표시된 CGR 콘텐츠(7002)의 현재 외관에 따라 업데이트된다. 도 7a 및 도 7b에 도시된 상태 정보(예컨대, 표현(7006), 표현(7008), 진행 바(7004) 등을 포함함)의 외관의 대조는, 제1 디스플레이 생성 컴포넌트와 제2 디스플레이 생성 컴포넌트에 의해 표시된 상태 정보에 표현된 제1 사용자(7202)의 일부분 사이의 동일한 상대적 공간 위치에 대해, 제1 사용자(7202)의 일부분의 표현(7006)이 CGR 콘텐츠의 표현(7008)의 깊이와는 상이한 깊이로 그리고 선택적으로 다른 상태 정보(예컨대, 진행 바(7004))의 깊이와는 상이한 깊이로 디스플레이됨을 예시한다. 제2 디스플레이 생성 컴포넌트(7102)의 디스플레이 면으로부터의 또는 제2 사용자(7204)의 위치로부터의 디스플레이 깊이들의 차이는 시각적 시차 효과를 가져온다. 예를 들어, 제2 사용자(7204)가 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102), HMD의 외부 디스플레이 등)에 대해 이동함에 따라, 제1 사용자(7202)의 일부분의 표현(7006) 및 CGR 콘텐츠의 표현(7008)은 제2 디스플레이 생성 컴포넌트의 디스플레이 면 상에서 상이한 양들만큼 이동하는 것처럼 보인다(그리고 서로에 대해 이동하는 것처럼 보임). 일부 실시예들에서, CGR 콘텐츠의 표현(7008)은 제1 사용자의 일부분의 표현(7006)과 다른 상태 정보(예컨대, CGR 콘텐츠의 제목, 진행 바(7004) 등)의 표현들 사이의 확산된 층으로서 디스플레이된다. 일부 실시예들에서, 제1 사용자의 일부분의 표현은, 제2 디스플레이 생성 컴포넌트에 의해 표시된 CGR 콘텐츠의 표현 및 다른 상태 정보의 표현들에 대한 디스플레이 층들과 비교하여 제2 디스플레이 생성 컴포넌트의 디스플레이 면으로부터 가장 멀리 떨어진 디스플레이 층에 디스플레이된다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트는, 제1 사용자의 머리에 착용되거나 사용자의 얼굴 전방에 배치되는 HMD에서 백투백 상태로(예컨대, 그들의 각각의 디스플레이 면들이 상이한 방향들(예컨대, 실질적으로 서로 반대인 방향들)을 향하는 상태로) 위치된다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트는 하나 이상의 이미지 프로세싱 필터들을 사용하여 제1 사용자의 눈들의 실제 이미지들에 기초하여 생성되는 제1 사용자의 눈들의 시각적 표현을 보여준다. 예를 들어, 제1 사용자의 눈들의 시각적 표현은, 선택적으로, 제1 사용자의 눈들의 카메라 이미지의 불투명도 감소, 투명도 증가, 색상 포화도 레벨 감소, 휘도 레벨 감소, 픽셀 해상도 감소, 색상 해상도 감소 등에 의해 생성된다. 일부 실시예들에서, 제1 사용자의 눈들의 각각의 카메라 이미지의 다양한 디스플레이 속성들에 적용되는 수정의 양은, 선택적으로, 제2 디스플레이 생성 컴포넌트(7102)에 의해 동시에 표시되는 CGR 콘텐츠의 표현(7008)의 다양한 디스플레이 속성들의 값들에 대해 특정된다. 예를 들어, CGR 콘텐츠의 표현이 (예컨대, 제1 범위의 휘도 값들로) 비교적 어두울 때, 눈들의 표현도 (예컨대, 제1 범위의 휘도 값들에 기초하여 선택되는, 제2 범위의 휘도 값들, 제2 범위의 투명도 값들, 제2 범위의 색상 포화도 값들로) 더 어둡게, 더 반투명하게 그리고/또는 덜 색상 포화되게 되며; CGR 콘텐츠의 표현이 (예컨대, 제1 범위의 휘도 값들보다 큰 제2 범위의 휘도 값들로) 더 밝을 때, 눈들의 표현은 (예컨대, 제2 범위의 휘도 값들에 기초하여 선택되는, 제3 범위의 휘도 값들, 제3 범위의 투명도 값들, 제3 범위의 색상 포화도 값들로) 더 밝게, 덜 반투명하게 그리고/또는 더 색상 포화되게 된다. 일부 실시예들에서, 다른 디스플레이 속성들(예컨대, 색상 포화도, 픽셀 해상도, 색상 해상도, 톤 등)이 사용자의 일부분(예컨대, 사용자의 얼굴 또는 눈들)의 표현의 디스플레이 속성들에 대한 값 범위들을 선택하기 위한 기초로서 사용된다. 일부 실시예들에서, 제1 사용자의 눈들의 표현은, 표현이 제2 디스플레이 생성 컴포넌트에 의해 디스플레이될 때 제1 사용자의 눈들의 원래 외관을 변경하는, 블러 필터, 컬러 필터, 휘도 필터 등과 같은 하나 이상의 미리설정된 이미지 필터들을 적용함으로써 생성된다.

일부 실시예들에서, 제2 디스플레이 생성 컴포넌트에 의해 표시되는 CGR 콘텐츠의 표현(예컨대, 표현(7008))은 제1 디스플레이 생성 컴포넌트에 의해 디스플레이되는 CGR 콘텐츠(예컨대, 모든 가시적 콘텐츠, 단지 미디어 콘텐츠, 또는 선택적으로, 물리적 환경의 패스 스루 뷰를 제외한 가시적 콘텐츠) 상에 확산 필터를 적용함으로써 생성된다. 예를 들어, 장면의 색상 및 톤들은 CGR 콘텐츠의 표현(7008)에 의해 보존되지만, CGR 콘텐츠 내의 객체들의 윤곽들은 블러링되고 CGR 콘텐츠의 표현(7008)에서 명확하게 정의되지 않는다. 일부 실시예들에서, CGR 콘텐츠의 표현은 반투명하며, 그를 통해 제1 사용자의 일부분의 표현(7006)이 보인다. 일부 실시예들에서, CGR 콘텐츠와 연관된 메타데이터를 나타내는 그래픽 사용자 인터페이스 요소들(예컨대, 진행 바(7004), CGR 콘텐츠의 제목 등)은 제2 디스플레이 생성 컴포넌트에 의해 (예컨대, CGR 콘텐츠의 표현(7008)과 동일한 디스플레이 층에 또는 그와는 상이한 디스플레이 층에, 그리고/또는 제1 사용자의 일부분의 표현(7006)의 동일한 디스플레이 층에 또는 그와는 상이한 디스플레이 층에) 디스플레이된다. 일부 실시예들에서, CGR 콘텐츠와 연관된 메타데이터를 나타내는 그래픽 사용자 인터페이스 요소들은, CGR 콘텐츠의 표현(7008) 및/또는 제1 사용자의 일부분의 표현(7006)과 비교하여, 더 높은 픽셀 해상도, 더 높은 색상 해상도, 더 높은 색상 포화도, 더 큰 불투명도, 더 큰 휘도 및/또는 더 양호하게 정의된 윤곽들로 디스플레이된다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트에 의해 제시된 CGR 콘텐츠(7002)가 변경되지 않는 동안, 제1 사용자의 일부분(예컨대, 제1 사용자의 얼굴 또는 눈들)은 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD의 내부 디스플레이)에 대해 이동한다. 그러한 경우에, 사용자의 일부분의 표현(7006)은, 선택적으로, 표현(7006) 및 CGR 콘텐츠의 진행 바(7004)가 업데이트되지 않고서 제2 디스플레이 생성 컴포넌트(7102) 상에서 업데이트된다. 일부 실시예들에서, CGR 콘텐츠는 디스플레이되지 않거나 또는 일시정지되고, 제1 사용자는 CGR 콘텐츠의 동시 디스플레이 없이 제1 디스플레이 생성 컴포넌트를 통해 물리적 환경의 패스 스루 뷰를 보고 있으며, 제2 디스플레이 생성 컴포넌트는, 선택적으로, CGR 콘텐츠의 어떠한 표현도 디스플레이하지 않거나 또는 정적 또는 일시정지 상태에서 CGR 콘텐츠의 표현을 표시하지 않고서, (예컨대, 사용자의 일부분의 이동 또는 다른 변화들로 인한) 제1 사용자의 일부분의 외관의 변화에 따라 제1 사용자의 일부분의 표현을 업데이트한다.

일부 실시예들에서, CGR 콘텐츠는 제1 디스플레이 생성 컴포넌트 상에서 변경되는 반면, 제1 사용자의 일부분은 그의 외관을 변경하지 않는다(예컨대, 이동하지 않거나 또는 다른 이유들로 인해 변경되지 않음). 따라서, 제1 사용자의 일부분의 표현(7006)은 변경되지 않은 상태로 유지되고, 제2 디스플레이 생성 컴포넌트는 제1 디스플레이 생성 컴포넌트에 의해 표시된 CGR 콘텐츠의 변화들에 따라 CGR 콘텐츠의 표현(7008) 및 CGR 콘텐츠의 상태의 다른 표시자들(예컨대, 진행 바(7004))만을 업데이트한다.

일부 실시예들에서, CGR 콘텐츠 및 제1 사용자의 일부분의 외관 둘 모두의 변화들이 동일한 기간 동안(예컨대, 동시에 및/또는 서로의 미리설정된 시간 윈도우 동안 등) 검출될 때, 제2 디스플레이 생성 컴포넌트는, 검출되는 변화들에 따라, 사용자의 일부분의 시각적 표현 및 CGR 콘텐츠의 상태를 보여주는 하나 이상의 그래픽 요소들(예컨대, CGR 콘텐츠의 표현(7008) 및 진행 바(7004)) 둘 모두를 업데이트한다.

도 7a 내지 도 7c는, 제2 디스플레이 생성 컴포넌트(7102)를 통해, (예컨대, 제1 사용자의 눈들의 이동 또는 표정들의 변화, 조명의 변화 등으로 인한) 제1 사용자의 외관의 변화들에 따라, 제1 사용자(7202)(예컨대, 제1 사용자의 눈들 또는 얼굴)의 시각적 표현(예컨대, 표현(7006))의 외관을 업데이트하고, 제2 디스플레이 생성 컴포넌트(7102)를 통해, CGR 환경의 변화들에 따라, 제1 디스플레이 생성 컴포넌트(7100)를 통해 표시된 CGR 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들(예컨대, 진행 바(7004), CGR 콘텐츠(7002)의 표현(7008) 등)을 업데이트하는 것을 예시한다. 도 7a 내지 도 7c에 도시된 예시적인 시나리오에서, CGR 콘텐츠 및 제1 사용자(7202)의 주의 상태와 연관된 몰입 레벨은 변경되지 않고, CGR 콘텐츠의 제시와 연관된 중간 몰입 레벨에 대응한다. 일부 실시예들에서, CGR 콘텐츠의 제시와 연관된 몰입 레벨 및 제1 사용자의 대응하는 주의 상태는, 선택적으로, 일정 기간에 걸쳐 변경되는데, 예컨대, 더 몰입적인 레벨 및 더 관여된 사용자 주의 상태로 증가되거나, 또는 덜 몰입적인 레벨 및 덜 관여된 사용자 주의 상태로 감소된다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트에 의해 표시된 상태 정보는, CGR 콘텐츠가 제1 디스플레이 생성 컴포넌트에 의해 제시되는 몰입 레벨의 변화들에 기초하여 업데이트된다. 일부 실시예들에서, 상태 정보에 대한 업데이트는 제1 사용자의 일부분의 표현에 대한 업데이트(예컨대, 제1 사용자의 일부분의 표현의 가시성을 업데이트하는 것, 제1 사용자의 일부분의 표현의 외관을 업데이트하는 것 등)를 포함한다.

일부 실시예들에서, 컴퓨팅 시스템은 CGR 콘텐츠(7002)를 적어도 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨로 디스플레이하도록 구성된다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 CGR 콘텐츠가 하나 이상의 이벤트들(예컨대, 애플리케이션 또는 경험의 자연적 종료 또는 진행; 사용자 입력에 응답한 경험의 시작, 정지 및/또는 일시정지; 사용자 입력, 컴퓨팅 디바이스의 상태의 변화, 외부 환경의 변화에 응답하여 경험의 몰입 레벨들을 변경하는 것 등)의 시퀀스에 응답하여 상이한 몰입 레벨들 사이에서 전이되게 한다. 일부 실시예들에서, 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨은 CGR 환경에 존재하는 가상 콘텐츠의 양을 증가시키는 것 및/또는 CGR 환경에 존재하는 주변 물리적 환경의 표현들(예컨대, 위치 B 또는 제2 디스플레이 생성 컴포넌트(7102)의 디스플레이 면 전방의 물리적 환경의 일부분의 표현)의 양을 감소시키는 것에 대응한다. 일부 실시예들에서, 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨은 컴퓨터 생성 콘텐츠에 대한 증가하는 이미지 충실도(예컨대, 증가하는 픽셀 해상도, 증가하는 색상 해상도, 증가하는 색상 포화도, 증가하는 휘도, 증가하는 불투명도, 증가하는 이미지 상세사항들 등) 및/또는 공간 범위(예컨대, 각도 범위, 공간 깊이 등), 및/또는 주변 물리적 환경의 표현들(예컨대, 위치 B 또는 제2 디스플레이 생성 컴포넌트의 디스플레이 면 전방의 물리적 환경의 일부분의 표현)에 대한 감소하는 이미지 충실도 및/또는 공간 범위를 갖는 상이한 콘텐츠 디스플레이 모드들에 대응한다. 일부 실시예들에서, 제1 몰입 레벨은, 물리적 환경(예컨대, 위치 B 또는 제2 디스플레이 생성 컴포넌트의 디스플레이 면 전방의 물리적 환경의 일부분)이 제1 디스플레이 생성 컴포넌트를 통해(예컨대, 물리적 환경의 카메라 뷰로서 또는 제1 디스플레이 생성 컴포넌트의 투명 부분을 통해) 제1 사용자에게 완전히 보이는 패스 스루 모드이다. 일부 실시예들에서, 패스 스루 모드에서 제시되는 CGR 콘텐츠는, 물리적 환경의 뷰로서 동시에 보이는 최소량의 가상 요소들을 갖거나 물리적 환경에 대한 사용자의 뷰에 대해 주변에 있는 가상 요소들(예컨대, 디스플레이의 주변 영역에 디스플레이되는 표시자들 및 제어부들)만을 갖는 물리적 환경의 패스 스루 뷰를 포함한다. 도 7e는 일부 실시예들에 따른, CGR 콘텐츠(7002)와 연관된 제1 몰입 레벨의 일례를 예시한다. 예를 들어, 물리적 환경(예컨대, 제2 디스플레이 생성 컴포넌트의 디스플레이 면 전방의 물리적 환경의 일부분(예컨대, 또한 제1 사용자 전방의 물리적 환경의 일부분))의 뷰가 제1 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 중심 및 대부분의 영역을 차지하고, 단지 몇 개의 제어부들(예컨대, 영화의 제목, 진행 바, 재생 제어부(예컨대, 재생 버튼) 등)만이 제1 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 주변 영역에 디스플레이된다. 일부 실시예들에서, 제2 몰입 레벨은, 물리적 환경의 패스 스루 뷰가 컴퓨팅 시스템에 의해 생성된 가상 요소들로 증강되는 혼합 현실 모드이며, 여기에서 가상 요소들은 사용자의 시야의 중심 및/또는 대부분의 영역을 차지한다(예컨대, 가상 콘텐츠는 컴퓨터 생성 환경의 뷰에서 물리적 환경과 통합됨). 일부 실시예들에 따른, CGR 콘텐츠(7002)와 연관된 제2 몰입 레벨의 일례가 도 7a 내지 도 7c에 예시되어 있다. 일부 실시예들에서, 제3 몰입 레벨은, 물리적 환경에 대한 사용자의 뷰가 제1 디스플레이 생성 컴포넌트에 의해 제공되는 가상 콘텐츠의 뷰에 의해 완전히 대체되거나 차단되는 가상 현실 모드이다. 도 7d는 일부 실시예들에 따른, CGR 콘텐츠(7002)와 연관된 제3 몰입 레벨의 일례를 예시한다.

도 7c에 후속하는 도 7d에 도시된 바와 같이, 컴퓨팅 시스템은 혼합 현실 모드에서 CGR 콘텐츠(7002)를 디스플레이하는 것으로부터, 물리적 환경(예컨대, 제2 사용자(7204)를 포함하는 위치 B(예컨대, 제2 디스플레이 생성 컴포넌트(7102)의 디스플레이 면 전방에 있는 물리적 환경의 일부분))의 표현 없이 가상 현실 모드에서 CGR 콘텐츠(7002)(예컨대, 영화 X, 7002-d로 도시됨)를 디스플레이하는 것으로 스위칭하였다. 일부 실시예들에서, 컴퓨팅 시스템에 의해 수행되는 스위칭은 제1 사용자로부터의 요청(예컨대, CGR 콘텐츠의 몰입 레벨을 변경하기 위한 미리설정된 기준들을 충족시키는 제스처 입력(예컨대, 제1 사용자의 손들을 HMD로부터 멀리 들어올리는 것))에 응답하여 이루어진다. 제1 디스플레이 생성 컴포넌트(7100)를 통해 혼합 현실 모드에서 CGR 콘텐츠(7002)를 디스플레이하는 것으로부터 가상 현실 모드에서 CGR 콘텐츠(7002)를 디스플레이하는 것으로 스위칭하는 것과 함께, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트(7102)를 통해 디스플레이되는 상태 정보를 변경한다. 도 7d에 도시된 바와 같이, CGR 콘텐츠(7002)를 나타내는 하나 이상의 그래픽 요소들(예컨대, 제목, 진행 바(7004)(예컨대, 도 7d에 7004-d로 도시됨), 및 표현(7008)(예컨대, 도 7d에 7008-d로 도시됨))이 여전히 디스플레이되고 제1 디스플레이 생성 컴포넌트(7100)에 의해 표시된 CGR 콘텐츠(7002)(예컨대, 도 7d에 7002-d로 도시됨)의 변화들에 따라 계속 업데이트되지만, 제1 사용자의 일부분(예컨대, 제1 사용자의 눈들 또는 얼굴)의 표현(7006)은 더 이상 제2 디스플레이 생성 컴포넌트(7100)에 의해 디스플레이되지 않는다. 일부 실시예들에서, 제1 사용자의 일부분의 표현을 디스플레이하는 것을 완전히 중지하는 대신에, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트 상의 다른 상태 정보의 표현(예컨대, CGR 콘텐츠의 표현, CGR 콘텐츠 또는 사용자와 관련된 메타데이터의 표현 등)에 비해 제1 사용자의 일부분의 표현의 가시성을 감소시킨다(예컨대, 휘도를 감소시킴, 색상 해상도를 감소시킴, 불투명도를 감소시킴, 픽셀 해상도를 감소시킴 등). 일부 실시예들에서, 제1 사용자의 일부분의 표현(7006)은, 선택적으로, 제1 디스플레이 생성 컴포넌트에 의해 표시된 CGR 콘텐츠와 연관된 몰입 레벨의 증가를 나타내기 위해, 그의 이전의 외관에 비해 감소된 가시성으로(예컨대, 전혀 보이지 않게, 또는 감소된 휘도, 증가된 투명도, 감소된 불투명도, 감소된 색상 포화도, 증가된 블러 레벨 등으로) 디스플레이된다. 다른 상태 정보(예컨대, CGR 콘텐츠의 표현(7008) 및 진행 바(7004))는 제1 디스플레이 생성 컴포넌트에 의해 표시된 CGR 콘텐츠(7002)의 변화들에 따라 연속적으로 또는 주기적으로 업데이트되는 한편, 그러한 다른 상태 정보는 (예컨대, 그의 이전의 외관에 비한 가시성의 감소가 CGR 콘텐츠의 외관의 변화에 기인하지 않는 한, 그러한 감소 없이) 제2 디스플레이 생성 컴포넌트(7102)에 의해 디스플레이된 상태로 유지된다.

일부 실시예들에서, 혼합 현실 모드로부터 가상 현실 모드로의 스위칭은, 제1 사용자의 눈들이 제1 디스플레이 생성 컴포넌트 및/또는 제2 디스플레이 생성 컴포넌트의 존재에 의해 차단되지 않았을 때 제1 사용자가 가졌을 추정된 시야를 빠져나가는 제2 사용자(7204)의 이동에 의해 트리거된다. 일부 실시예들에서, 혼합 현실 모드로부터 가상 현실 모드로의 스위칭은 제1 사용자를 둘러싸는 물리적 환경을 빠져나가는(예컨대, 제1 사용자가 차지한 룸 밖으로) 제2 사용자(7204)의 이동에 의해 트리거된다. 일부 실시예들에서, 컴퓨팅 시스템은, 다른 사용자가 물리적 환경에 존재하지 않을 때, 물리적 환경의 표현(예컨대, 위치 B의 표현(예컨대, 제1 사용자 전방의 물리적 환경의 일부분의 표현) 등)을 디스플레이하는 것을 중지한다. 일부 실시예들에서, 위치 B에 대한 제1 사용자의 뷰가 제1 디스플레이 생성 컴포넌트 및/또는 제2 디스플레이 생성 컴포넌트의 존재에 의해 차단되지 않았을 때 제1 사용자가 가졌을 추정된 시야 내로 그리고/또는 제1 사용자를 둘러싸는 물리적 환경 내로(예컨대, 제1 사용자가 차지한 룸 내로) 진입하는 제2 사용자(7204)의 이동, 제2 사용자에 의해 수행되는 미리정의된 제스처(예컨대, 제2 사용자가 제1 사용자에게 손을 흔드는 것), 제2 사용자가 제1 사용자의 임계 거리 범위 내로 이동하는 것 등이, 선택적으로, 가상 현실 모드로부터 혼합 현실 모드로의 스위칭을 트리거하기 위한 조건들로서 사용된다. 일부 실시예들에서, 디스플레이 모드를 가상 현실 모드로부터 혼합 현실 모드로 스위칭하는 것과 함께, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트(7102)에 의해 표시된 상태 정보의 요소들 중에서 제1 사용자의 일부분의 표현(7006)의 가시성의 레벨을 복원한다(예컨대, 표현이 보이지 않는 경우 제1 사용자의 일부분의 표현의 디스플레이를 복원함, 또는 사용자의 일부분의 표현의 휘도, 색상 포화도, 픽셀 해상도, 불투명도 및/또는 색상 해상도 등을 증가시킴 등). 이에 대응하여, 혼합 현실 모드에서, 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD의 내부 디스플레이 등)는, 컴퓨터 생성 가상 콘텐츠(예컨대, 영화 X)와 함께, 제2 디스플레이 생성 컴포넌트의 디스플레이 면 전방의(그리고 이에 대응하여, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트가 제1 사용자에 의해 착용된 HMD의 동일한 하우징으로 백투백 상태로 둘러싸일 때, 제1 사용자 전방의) 물리적 환경의 일부분의 표현(예컨대, 표현(7010))을 디스플레이한다.

도 7e(예컨대, 도 7c 또는 도 7d에 후속함)에 도시된 바와 같이, 컴퓨팅 시스템은 (예컨대, 도 7a 내지 도 7c에 도시된 바와 같은) 혼합 현실 모드 또는 (예컨대, 도 7d에 도시된 바와 같은) 가상 현실 모드에서 CGR 콘텐츠를 디스플레이하는 것으로부터, 물리적 환경(예컨대, 제2 사용자(7204)를 포함하는 위치 B(예컨대, 제2 디스플레이 생성 컴포넌트(7102)의 디스플레이 면 전방에 있는 물리적 환경의 일부분))의 표현(예컨대, 도 7e에 7010-e로 도시됨)만을 갖고서 그리고 선택적으로, 디스플레이의 주변 영역(예컨대, 디스플레이의 상부 및 하부 에지) 상에 최소량의 가상 콘텐츠(예컨대, 표시자들(예컨대, 영화 X의 제목, 진행 바, 재생 제어부 등)만 있음 그리고 재생 콘텐츠 없음)를 갖고서 완전 패스 스루 모드 또는 현실 모드(예컨대, 영화 X는 완료되어 더 이상 표시되지 않음)에서 CGR 콘텐츠(예컨대, CGR 콘텐츠(7002))를 디스플레이하는 것으로 스위칭하였다. 일부 실시예들에서, 디스플레이 모드의 스위칭은 CGR 콘텐츠의 재생의 종료 또는 일시정지 및/또는 제1 사용자로부터의 요청(예컨대, CGR 콘텐츠의 몰입 레벨을 변경하기 위한 미리설정된 기준들을 충족시키는 제스처 입력(예컨대, 제1 사용자의 눈썹들 위에 손을 얹는 것, HMD의 측부를 손가락들로 집어 아래로 당기는 것 등))에 응답하여 컴퓨팅 시스템에 의해 수행된다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트(7100)를 통해 혼합 현실 모드 또는 가상 현실 모드에서 CGR 콘텐츠를 디스플레이하는 것으로부터 완전 패스 스루 모드 또는 현실 모드에서 CGR 콘텐츠를 디스플레이하는 것으로 스위칭하는 것과 함께, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트(7102)를 통해 디스플레이되는 상태 정보를 변경한다. 도 7e에 도시된 바와 같이, CGR 콘텐츠의 외관 및 상태를 나타내는 하나 이상의 그래픽 요소들(예컨대, 제목, 진행 바(7004)(예컨대, 도 7c에 7004-c 및 도 7d에 7004-d 등으로 도시됨), 및 표현(7008)(예컨대, 도 7c에 7008-c 및 도 7d에 7008-d 등으로 도시됨))은 더 이상 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되지 않고, 제1 사용자의 일부분의 표현(7006)(예컨대, 도 7e에 7006-e로 도시됨)은 제2 디스플레이 생성 컴포넌트에 의해 증가된 가시성으로 완전히 디스플레이된다(예컨대, 이전에 보이지 않은 경우 보이게 됨, 또는 증가된 휘도, 감소된 투명도, 증가된 불투명도, 증가된 색상 포화도, 증가된 픽셀 해상도, 증가된 색상 해상도, 감소된 블러 레벨 등으로 디스플레이됨). 일부 실시예들에서, 제1 사용자의 일부분의 표현(7006)은, 선택적으로, 제1 디스플레이 생성 컴포넌트에 의해 표시된 CGR 콘텐츠와 연관된 몰입 레벨의 감소를 나타내기 위해, 그의 이전의 외관에 비해 증가된 가시성으로 디스플레이된다. 일부 실시예들에서, 제1 사용자의 일부분의 표현(7006)은, 제1 사용자(7202)의 일부분의 표현(7006)이 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 동안, 제1 사용자(7202)의 외관의 변화들에 따라 연속적으로 업데이트된다.

일부 실시예들에서, 혼합 현실 모드 또는 가상 현실 모드로부터 완전 패스 스루 모드 또는 현실 모드로의 스위칭은, 제1 사용자의 눈들이 제1 디스플레이 생성 컴포넌트 및/또는 제2 디스플레이 생성 컴포넌트의 존재에 의해 차단되지 않았을 때 제1 사용자가 가졌을 추정된 시야 내로의 제2 사용자(7204)의 이동에 의해 트리거된다. 일부 실시예들에서, 혼합 현실 모드 또는 가상 현실 모드로부터 완전 패스 스루 모드 또는 현실 모드로의 스위칭은 제1 사용자(7202)로부터의 임계 거리 내의(예컨대, 제1 사용자로부터 팔의 길이 내의, 제1 사용자로부터 3 피트 내의 등) 개인 공간 내로의 제2 사용자(7204)의 이동에 의해 트리거된다. 일부 실시예들에서, 컴퓨팅 시스템은 완전 패스 스루 모드 또는 현실 모드에 진입하였고(예컨대, CGR 콘텐츠를 디스플레이하는 것을 중지함), 미리설정된 조건이 충족될 때, 예컨대 미리설정된 사람(예컨대, 배우자, 교사, 팀원, 자녀 등)이 제1 사용자(7202)의 추정된 시야에 진입할 때, 제1 디스플레이 생성 컴포넌트를 통해 물리적 환경(예컨대, 위치 B, 제1 사용자 전방의 물리적 환경 등)의 표현만을 디스플레이한다. 일부 실시예들에서, 제1 사용자(7202)의 추정된 시야를 빠져나가고/빠져나가거나 제1 사용자(7202)로부터의 임계 거리 내의 개인 공간을 빠져나가는 제2 사용자(7204)의 이동, 및/또는 다른 조건들이 완전 패스 스루 모드 또는 현실 모드로부터 다시 혼합 현실 모드 또는 가상 현실 모드(예컨대, 미리설정된 모드 또는 이전 모드)로의 자동 스위칭을 트리거하는 데 사용된다. 일부 실시예들에서, 디스플레이 모드를 완전 패스 스루 모드로부터 가상 현실 모드 또는 혼합 현실 모드로 스위칭하는 것과 함께, 컴퓨팅 시스템은 제1 사용자의 일부분의 표현(7006)의 가시성의 레벨을 복원하고(예컨대, 디스플레이하는 것을 완전히 중지함 또는 그를 완전히 보이지 않게 하지 않고서 그의 가시성을 감소시킴 등), 제2 디스플레이 생성 컴포넌트(7102)에 의해 표시된 상태 정보의 요소들 중에서 CGR 콘텐츠의 표현(7008)의 가시성의 레벨을 복원한다(예컨대, 그의 가시성을 증가시킴).

도 7c 내지 도 7e는 일부 실시예들에 따른, 제2 몰입 레벨(예컨대, 혼합 현실 모드)로부터 아래로 제1 몰입 레벨(예컨대, 패스 스루 모드)로의 그리고 위로 제3 몰입 레벨(예컨대, 가상 현실 모드)로의 전이, 및 제1 디스플레이 생성 컴포넌트(7100)에 의해 표시된 정보 및 제2 디스플레이 생성 컴포넌트(7102)에 의해 표시된 정보의 대응하는 변화들을 예시하였다. 일부 실시예들에서, 3가지 몰입 레벨들 중 임의의 2가지 몰입 레벨들 사이의 직접 전이들이 그러한 직접 전이들에 대한 각각의 기준들을 충족시키는 상이한 이벤트들에 응답하여 가능하다. 이에 대응하여, 제1 디스플레이 생성 컴포넌트에 의해 디스플레이되는 정보 및 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 정보는, CGR 콘텐츠가 제1 디스플레이 생성 컴포넌트(7100)에 의해 디스플레이되는 현재 몰입 레벨을 반영하도록 업데이트된다(예컨대, 정보의 상이한 컴포넌트들(예컨대, CGR 콘텐츠, 물리적 환경의 표현, CGR 콘텐츠의 표현, 제1 사용자의 일부분의 표현, CGR 콘텐츠와 연관된 정적 메타데이터의 표현 등)의 가시성을 변경함).

일부 실시예들에서, 도 7e에 도시된 바와 같이, 제1 사용자의 일부분의 표현(7006)(예컨대, 제1 사용자의 얼굴 또는 눈들의 표현)은, 컴퓨팅 시스템이 혼합 현실 모드를 사용하여 CGR 콘텐츠를 디스플레이하는 것으로부터 완전 패스 스루 모드 또는 현실 모드를 사용하여 CGR 콘텐츠를 디스플레이하는 것으로 스위칭한 결과로서, CGR 콘텐츠의 표현의 동시 디스플레이 없이(예컨대, CGR 콘텐츠, 제목 또는 진행 바 등의 확산된 버전의 오버레이 없이) 또는 CGR 콘텐츠의 표현에 비해 증가된 가시성으로(예컨대, 표현(7006)의 가시성이 그의 이전 레벨에 비해 증가됨, CGR 콘텐츠의 표현의 가시성이 그 자체의 이전 레벨에 비해 감소됨, 및/또는 CGR 콘텐츠를 표현하기 위한 그래픽 요소들 중 일부가 더 이상 디스플레이되지 않음 등) 디스플레이된다.

일부 실시예들에서, 제1 사용자의 일부분의 표현(7006)(예컨대, 제1 사용자의 얼굴 또는 눈들의 표현)은, 컴퓨팅 시스템이 가상 현실 모드 또는 패스 스루 모드를 사용하여 CGR 콘텐츠를 디스플레이하는 것으로부터 혼합 현실 모드를 사용하여 CGR 콘텐츠를 디스플레이하는 것으로 스위칭한 결과로서, CGR 콘텐츠의 표현(7008)과 함께(예컨대, CGR 콘텐츠의 확산된 버전의 오버레이로)(예컨대, CGR 콘텐츠의 표현(7008)에 비해 유사한 가시성(예컨대, 표현(7006)의 가시성 및/또는 표현(7008)의 가시성은 그들의 각각의 이전 레벨들에 비해 증가하거나 감소함)으로) 디스플레이된다.

일부 실시예들에서, 제1 사용자의 일부분의 표현(7006)(예컨대, 제1 사용자의 얼굴 또는 눈들의 표현)은, 컴퓨팅 시스템이 혼합 현실 모드를 사용하여 CGR 콘텐츠를 디스플레이하는 것으로부터 가상 현실 모드를 사용하여 CGR 콘텐츠를 디스플레이하는 것으로 스위칭할 때, CGR 콘텐츠의 표현(7008)과 함께 디스플레이되지 않거나(예컨대, CGR 콘텐츠의 확산된 버전과 함께 디스플레이되지 않음) CGR 콘텐츠의 표현(7008)에 비해 감소된 가시성으로 디스플레이된다.

일부 실시예들에서, 컴퓨팅 시스템은 개인 모드, 방해 금지(Do-Not-Disturb, DND) 모드(DND 모드), 부모 통제 모드 등과 같은 다른 특수 디스플레이 모드들을 사용하여 CGR 콘텐츠를 디스플레이할 수 있다. 이들 특수 디스플레이 모드들 중 하나 이상이 켜질 때, 상태 정보가 제2 디스플레이 생성 컴포넌트 상에 디스플레이 및/또는 업데이트되는 방식은, 그러한 특수 모드들이 켜지지 않을 때 상태 정보가 제2 디스플레이 생성 컴포넌트 상에 디스플레이 및/또는 업데이트되는 방식(예컨대, 도 7a 내지 도 7e와 관련하여 위에서 설명된 바와 같은 방식들)으로부터 조정된다.

예를 들어, 개인 모드는, 선택적으로, 제1 디스플레이 생성 컴포넌트에 의해 현재 디스플레이되는 CGR 콘텐츠와 연관된 상태 정보 및/또는 제1 사용자의 주의 상태와 연관된 상태 정보를 숨기기 위해 컴퓨팅 시스템 또는 제1 사용자에 의해 활성화된다. 일부 실시예들에서, (예컨대, 제1 사용자의 요청에 응답하여) 개인 모드가 켜져 있는 동안, 제1 사용자의 일부분의 표현(7006) 및/또는 CGR 콘텐츠의 표현(7008)은 더 이상 업데이트되지 않고/않거나 디스플레이되는 것이 중지되고/되거나 제2 디스플레이 생성 컴포넌트 상의 다른 플레이스홀더(placeholder) 콘텐츠로 대체되어서, 그들이 더 이상 제1 사용자의 일부분의 외관에서 검출되는 변화들 및/또는 제1 디스플레이 생성 컴포넌트에 의해 디스플레이되고 있는 CGR 콘텐츠에서 검출되는 변화들을 반영하지 않게 한다. 일부 실시예들에서, 개인 모드는 (예컨대, 컴퓨팅 시스템이 혼합 현실 모드 또는 가상 현실 모드를 사용하여 CGR 콘텐츠를 제1 사용자에게 디스플레이하고 있을 때, 및/또는 CGR 콘텐츠가 시작되기 전에 등) 컴퓨팅 시스템에 의해 검출되는 사용자 요청(예컨대, HMD 상에서의 제1 사용자에 의한 미리설정된 제스처 입력, 미리설정된 음성 명령 등)에 응답하여 활성화된다. 일부 실시예들에서, 개인 모드는, 사용자가 제1 임계 프라이버시 레벨(예컨대, 디폴트 프라이버시 레벨, 제1 사용자와 연관된 프라이버시 레벨 등)을 초과하는 미리설정된 프라이버시 레벨과 연관되는 소정 CGR 콘텐츠에 액세스하는 것에 응답하여 활성화된다. 일부 실시예들에서, 프라이버시 모드가 켜져 있는 동안, 제1 사용자의 일부분의 표현(7006) 및/또는 CGR 콘텐츠의 표현(7008)은 더 이상 업데이트되지 않고/않거나 디스플레이되는 것이 중지되고/되거나 다른 플레이스홀더 콘텐츠로 대체되어서, 그들이 더 이상 CGR 콘텐츠가 제1 디스플레이 생성 컴포넌트에 의해 디스플레이되는 몰입 레벨의 변화들을 반영하지 않게 한다. 개인 모드는, 제1 사용자가 더 많은 프라이버시를 누리도록 그리고 그/그녀 자신의 주의 상태, 몰입 레벨, 및 그/그녀가 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 콘텐츠를 통해 제1 디스플레이 생성 컴포넌트를 사용하여 보고 있는 콘텐츠에 관한 정보를 덜 공유하도록 허용한다.

일부 실시예들에서, DND 모드는, 제1 사용자가 그/그녀가 CGR 콘텐츠에 관여하는 동안 외부 환경 내의 다른 사람들에 의해 중단되거나 방해받기를 원하지 않는다는 것을 외부 환경에 나타내기 위해, 제1 사용자에 의해 사전에 그리고/또는 미리설정된 조건들에 기초하여 컴퓨팅 시스템에 의해 자동으로 켜진다. 일부 실시예들에서, DND 모드는, 선택적으로, 컴퓨팅 시스템 내에서 그리고/또는 주변 환경에서 발생하는 다른 침입 이벤트들에 적용가능하다. 예를 들어, 일부 실시예들에서, DND 모드의 활성화에 응답하여, 컴퓨팅 시스템은, 선택적으로, 주변 환경으로부터의 소리들을 차단하기 위해 잡음 소거를 활성화하고/하거나, 제1 디스플레이 생성 컴포넌트 상에서의 통지들 및/또는 경고들의 제시를 정지/일시정지시키고/시키거나, 통지들 및/또는 경고들이 제1 디스플레이 생성 컴포넌트에 의해 표시된 CGR 환경에서 제시되는 방식의 침입성을 감소시키고/시키거나(예컨대, 오디오 경고보다는 시각적 경고를 선택함, 음성 출력보다는 짧은 경고음을 선택함, 통지 및 경고의 시각적 현저함을 감소시킴 등), 제1 사용자에게 통지하지 않고서 전화들을 음성메일로 자동으로 전송하고/하거나, 제2 디스플레이 생성 컴포넌트 상에 방해 금지 사인을 디스플레이하고/하거나, 기타 등등 한다. 일부 실시예들에서, 컴퓨팅 시스템이 제1 사용자에 대한 이벤트들의 침입성을 감소시키기 위해 사용하는 하나 이상의 방식들은, 물리적 환경의 표현(예컨대, 표현(7010), 위치 B의 표현, 제1 사용자 전방의 물리적 환경의 일부분의 표현 등)이 제1 디스플레이 생성 컴포넌트 상에 디스플레이되는 방법에 대한 변화들 및/또는 상태 정보가 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 방법에 대한 변화들을 수반한다. 일부 실시예들에서, DND 모드는, 선택적으로, 컴퓨팅 시스템이 혼합 현실 모드 또는 가상 현실 모드를 사용하여 CGR 콘텐츠를 디스플레이하고 있는 동안 켜진다. 일부 실시예들에서, DND 모드가 켜지는 것에 응답하여, 컴퓨팅 시스템은, 선택적으로, DND 모드가 활성임을 나타내기 위해 제2 디스플레이 생성 컴포넌트를 통해 시각적 표시자(예컨대, HMD의 외부 디스플레이 상의 텍스트 라벨 "DND", HMD의 외부 디스플레이 주위에서 적색 에지가 조명됨 등)를 디스플레이한다. 일부 실시예들에서, DND 모드가 컴퓨팅 시스템 상에서 활성인 동안, CGR 콘텐츠의 표현은, 선택적으로, 제1 디스플레이 생성 컴포넌트에 의해 디스플레이되는 CGR 콘텐츠의 변화에 따라 업데이트되지만, 제1 사용자의 일부분의 표현은 (예컨대, 제1 사용자의 일부분의 외관의 변화들(예컨대, 제1 사용자의 눈들의 변화들) 및/또는 CGR 콘텐츠가 제1 디스플레이 생성 컴포넌트에 의해 디스플레이되는 몰입 레벨의 변화들에 관계없이) 더 이상 업데이트되지 않거나, 플레이스홀더 콘텐츠에 의해 대체되거나, 또는 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 것이 중지된다.

일부 실시예들에서, 부모 모드는 (예컨대, 도 7a 내지 도 7e와 관련하여 설명된 바와 같은) 제2 디스플레이 생성 컴포넌트에 의한 상태 정보의 정상 디스플레이를 오버라이드(override)하기 위해 켜진다. 부모 모드는, 부모, 교사 또는 감독자가 제1 사용자에게 제시되는 CGR 콘텐츠 및 선택적으로, CGR 콘텐츠를 변경하고/하거나 그와 상호작용하기 위해 제1 사용자에 의해 제공되는 입력들을 보고 모니터링할 수 있도록 켜진다. 일부 실시예들에서, 부모 모드는, 선택적으로, CGR 콘텐츠가 제1 디스플레이 생성 컴포넌트에 의해 제시되고 있는 동안, 제2 사용자에 의해(예컨대, 미리설정된 제스처 입력, HMD의 제2 디스플레이 생성 컴포넌트 또는 하우징 상에서의 터치 입력, 음성 명령 등을 통해) 켜진다. 일부 실시예들에서, 부모 모드는, 선택적으로, 특정 CGR 콘텐츠가 제1 디스플레이 생성 컴포넌트 상에서 시작되기 전에 (예컨대, 제1 디스플레이 생성 컴포넌트에 의해 제시되는 사용자 인터페이스와의 상호작용, 제2 디스플레이 생성 컴포넌트에 의해 제시되는 사용자 인터페이스와의 상호작용, 컴퓨팅 시스템의 하우징 또는 다른 입력 디바이스들과의 상호작용 등을 통해) 켜지고, 특정 CGR 콘텐츠가 제1 디스플레이 생성 컴포넌트에 의해 디스플레이되는 동안 켜진 상태로 유지된다. 일부 실시예들에서, 부모 모드가 켜져 있는 동안, 컴퓨팅 시스템은, 몰입 레벨의 변화들 및/또는 개인 모드가 켜져 있는지 여부에 관계없이, 동시에 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트 둘 모두를 통해 동일한 CGR 콘텐츠를 디스플레이한다. 일부 실시예들에서, 컴퓨팅 시스템은 제1 디스플레이 생성 컴포넌트에 의해 표시된 CGR 콘텐츠의 가상 콘텐츠 부분만을 제2 디스플레이 생성 컴포넌트 상에 디스플레이한다. 일부 실시예들에서, 부모 모드가 켜져 있는 동안, 컴퓨팅 시스템은 (예컨대, 부모 모드가 단지 제1 사용자 자신이 아닌, 제1 사용자에게 표시된 콘텐츠를 모니터링하는 데 사용되는 경우) 제2 디스플레이 생성 컴포넌트를 사용하여 표시되는 상태 정보의 일부로서 제1 사용자의 일부분의 표현(7006)을 디스플레이하지 않는다. 일부 실시예들에서, 부모 모드가 켜져 있는 동안, 컴퓨팅 시스템은 (예컨대, 부모 모드가 제1 사용자에게 표시된 콘텐츠뿐만 아니라 제1 사용자의 주의 상태 및 외관을 모니터링하는 데 사용되는 경우) CGR 콘텐츠와 유사한 가시성으로 사용자의 일부분의 표현(7006) 및 CGR 콘텐츠를 디스플레이한다(예컨대, 표현(7006)의 가시성은, 부모 모드가 켜지지 않았을 때 그가 가졌던 이전 가시성 레벨과 비교하여 향상됨). 일부 실시예들에서, 부모 모드 동안 사용자의 일부분의 표현이 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는지 여부는, 부모 모드가 활성화되는 방식(예컨대, 제1 유형의 입력 사용 대 제2 유형의 입력 사용, 제1 제어부 사용 대 제2 제어부 사용 등)에 따라 결정된다. 일부 실시예들에서, 부모 모드 동안 사용자의 일부분의 표현이 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는지 여부는, 개인 모드가 켜져 있는지 여부에 따라 결정된다. 예를 들어, 개인 모드가 켜져 있는 경우, 사용자의 일부분의 표현은 제2 디스플레이 생성 컴포넌트에 의해 CGR 콘텐츠와 함께 디스플레이되지 않고; 개인 모드가 켜져 있지 않은 경우, 사용자의 일부분의 표현은 제2 디스플레이 생성 컴포넌트에 의해 CGR 콘텐츠와 함께 디스플레이된다. 일부 실시예들에서, 부모 모드가 켜져 있는 동안, CGR 콘텐츠가 제1 디스플레이 생성 컴포넌트에 의해 디스플레이되는 몰입 레벨의 변화는 제2 디스플레이 생성 컴포넌트에 의해 표시된 정보를 변경하지 않는다(예컨대, 선택적으로, 제1 사용자의 일부분의 표현의 현재 가시성 레벨이 변경되지 않은 상태로, 또는 제1 사용자의 표현의 디스플레이 없이, 동일한 CGR 콘텐츠가 여전히 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트 둘 모두 상에 표시됨).

일부 실시예들에서, 제2 디스플레이 생성 컴포넌트에 의해 표시되는 상태 정보의 가시성 및 정보 밀도는, 제2 사용자가 제2 디스플레이 생성 컴포넌트에 의해 표시된 콘텐츠를 볼 수 있게 하는 위치에(예컨대, 제2 디스플레이 생성 컴포넌트의 디스플레이 면 바로 또는 부분적으로 전방에) 존재하는 제2 사용자의 거리에 따라 컴퓨팅 시스템에 의해 동적으로 조정된다. 예를 들어, 제2 사용자가 제2 디스플레이 생성 컴포넌트의 디스플레이 면에 더 가깝게 이동할 때(예컨대, 임계 거리 내로 이동함, 임계 시야각 내로 이동함 등)(예컨대, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트가 제1 사용자에 의해 착용된 HMD의 동일한 하우징 내에 백투백 상태로 배치될 때 제1 사용자 및 제1 디스플레이 생성 컴포넌트에 더 가깝게 이동함), 컴퓨팅 시스템은 제1 사용자의 상태와 CGR 콘텐츠의 상태 및 메타데이터를 제2 사용자에게 알리기 위해 제2 디스플레이 생성 컴포넌트 상에 제공되는 정보 상세사항들(예컨대, 그래픽 특징부들의 상세사항들, 단위 디스플레이 영역당 텍스트 문자들의 양, 색상 해상도, 픽셀 해상도 등)의 양을 변경한다(예컨대, 증가시킴). 이에 대응하여, 제2 사용자가 제2 디스플레이 생성 컴포넌트의 디스플레이 면으로부터 더 멀리 이동할 때(예컨대, 임계 거리를 넘어 이동함, 임계 시야각 밖으로 이동함 등), 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트 상에 제공되는 정보 상세사항들의 양을 반대 방향으로 변경한다(예컨대, 정보 상세사항들의 양을 감소시킴).

일부 실시예들에서, 컴퓨팅 시스템은, 미리설정된 기준들(예컨대, 사람들이 룸에 들어가거나 제1 사용자의 임계 거리 내로 접근함, 다른 사용자들이 제1 사용자를 향해 손을 흔들거나 제스처를 취함 등)을 충족시키는 주변 물리적 환경의 변화들을 검출하는 것에 응답하여, 완전히 몰입적인 모드에서 컴퓨터 생성 경험을 디스플레이하는 것(예컨대, 가상 현실 환경을 디스플레이함, 또는 제3 몰입 레벨로 CGR 콘텐츠를 디스플레이함)으로부터 덜 몰입적인 모드에서 컴퓨터 생성 경험을 디스플레이하는 것(예컨대, 가상 현실 환경에서 물리적 환경의 표시들을 디스플레이함(예컨대, 물리적 환경 내의 사람들과 객체들의 윤곽들을 시각적 왜곡들, 그림자들 등으로서 디스플레이함), 컴퓨터 생성 환경의 뷰에 패스 스루 부분(예컨대, 물리적 환경의 카메라 뷰)을 디스플레이함 등)으로 자동으로 전이한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경의 몰입 레벨을 자동으로 변경하는 것과 함께, 컴퓨팅 시스템은, 또한, 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현의 가시성을 증가시키는 것(예컨대, 사용자의 시각적 표현의 가시성을 증가시키는 것은 사용자의 일부분의 시각적 표현을 디스플레이하지 않는 것으로부터 사용자의 일부분의 시각적 표현을 디스플레이하는 것으로 스위칭하는 것, 또는 사용자의 일부분의 시각적 표현의 휘도, 선명도, 불투명도 및/또는 해상도를 증가시키는 것을 포함함)을 포함하여, 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보를 변경한다. 이러한 방식으로, 제1 사용자와 주변 환경 내의 다른 사람들을 분리하는 시각적 장벽(예컨대, 제1 사용자의 얼굴 상의 디스플레이 생성 컴포넌트들의 존재)이 동시에 감소되어, 제1 사용자와 주변 사용자들 사이의 더 많은 정보에 입각한 상호작용들을 촉진한다. 일부 실시예들에서, 컴퓨팅 시스템이 제2 사용자의 액션에 응답하여(예컨대, 제2 사용자가 제1 사용자에게 손을 흔드는 것에 응답하여, 그리고/또는 제2 사용자가 제1 사용자에게 너무 가깝게 이동하는 것에 응답하여 등) 제1 디스플레이 생성 컴포넌트 상에 표시된 콘텐츠에 대한 몰입 레벨을 감소시키는 경우에, 컴퓨팅 시스템은 CGR 콘텐츠의 표현을 디스플레이하는 것을 중지하거나 CGR 콘텐츠의 표현을 디스플레이하지 않고, (예컨대, 제2 사용자에게 제1 사용자가 제1 디스플레이 생성 컴포넌트를 통해 그/그녀를 볼 수 있음을 알려주기 위해) 제2 디스플레이 생성 컴포넌트 상에 제1 사용자의 일부분(예컨대, 제1 사용자의 얼굴 또는 눈들)의 표현만을 디스플레이한다. 일부 실시예들에서, 컴퓨팅 시스템이 제2 사용자의 액션에 응답하여(예컨대, 제2 사용자가 HMD를 착용하는 것에 응답하여, 그리고/또는 제2 사용자가 제1 사용자로부터 멀리 걸어가는 것에 응답하여 등) 제1 디스플레이 생성 컴포넌트 상에 표시된 콘텐츠에 대한 몰입 레벨을 증가시키는 경우에, 컴퓨팅 시스템은 CGR 콘텐츠의 표현을 재디스플레이하고, 제2 디스플레이 생성 컴포넌트 상에 제1 사용자의 일부분(예컨대, 제1 사용자의 얼굴 또는 눈들)의 표현을 디스플레이하는 것을 중지한다(또는 그의 휘도, 선명도, 불투명도, 색상 및 픽셀 해상도 등을 감소시킴).

컴퓨팅 시스템의 사용자 인터페이스들 및 동작 모드들에 관한 더 많은 상세사항들은 도 7f 내지 도 7q와 도 8 내지 도 13, 및 수반되는 설명들과 관련하여 제공된다.

도 7f 내지 도 7i는, 적어도 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD의 내부 디스플레이 등) 및 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102), HMD의 외부 디스플레이 등)를 포함하는 컴퓨팅 시스템(예컨대, 도 1의 컴퓨팅 시스템(101) 또는 도 4의 컴퓨팅 시스템(140))을 예시하며, 여기에서 컴퓨팅 시스템의 제1 디스플레이 생성 컴포넌트는, 컴퓨팅 시스템이 제1 디스플레이 생성 컴포넌트가 미리결정된 공간적 관계(예컨대, 사용자(예컨대, 제1 사용자(7202)) 또는 사용자의 일부분(예컨대, 제1 사용자의 얼굴 또는 눈들)에 대한 미리결정된 배향(예컨대, 디스플레이 면이 제1 사용자의 얼굴 또는 눈들을 향하는 상태))로 배치되었다고 결정할 때 사용자(예컨대, 제1 사용자(7202))에게 시각적 콘텐츠(예컨대, 사용자 인터페이스들, 컴퓨터 생성 경험들, 미디어 콘텐츠 등)를 디스플레이하도록 구성된다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD의 내부 디스플레이 등)를 통해 사용자에게 시각적 콘텐츠를 디스플레이하기 전에, 컴퓨팅 시스템은, 콘텐츠의 디스플레이를 트리거하기 위한 조건들(예컨대, 제1 디스플레이 생성 컴포넌트와 사용자 사이의 공간적 관계에 관한 조건들)이 충족되는 경우 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 데 이용가능한 시각적 콘텐츠(예컨대, 사용자 인터페이스들, 컴퓨터 생성 경험들(예컨대, AR 콘텐츠, VR 콘텐츠 등), 미디어 콘텐츠 등)에 관하여 사용자에게 촉구하는 하나 이상의 사용자 인터페이스 요소들을 디스플레이하기 위해 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102), HMD의 외부 디스플레이 등)를 사용한다. 일부 실시예들에서, 하나 이상의 사용자 인터페이스 요소들은, 이용가능한 콘텐츠가 이제 제1 디스플레이 생성 컴포넌트를 통한 디스플레이를 위해 이용가능하게 된 것에 기초하여 콘텍스트 정보(예컨대, 현재 시간, 위치, 외부 조건, 사용자 아이덴티티, 및/또는 컴퓨팅 시스템의 현재 상태, 또는 다른 프롬프트들, 통지들 등)를 전달하는 사용자 인터페이스 객체들을 포함한다. 도 7f 및 도 7g와 도 7h 및 도 7i는, 제1 디스플레이 생성 컴포넌트와 사용자 사이의 미리설정된 공간적 관계가 만족되기 전에 제2 디스플레이 생성 컴포넌트들에 의해 표시된 상이한 사용자 인터페이스 객체들에 의해 반영된 바와 같은 컴퓨팅 시스템의 상이한 상태들에 기초하여, 상이한 컴퓨터 생성 경험들이 제1 디스플레이 생성 컴포넌트들에 의해 디스플레이되는 것을 예시하기 위한 2가지 유사한 예들을 예시한다.

도 7f 및 도 7h의 각각의 좌측 부분들에 도시된 바와 같이, 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100))는 위치 A(7000-a)에 존재하며, 이때 어떠한 사용자도 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향하지 않는다. 그 결과, 제1 디스플레이 생성 컴포넌트는 그때 어떠한 CGR 콘텐츠도 디스플레이하고 있지 않다. 도 7f 및 도 7h의 각각의 우측 부분들에 도시된 바와 같이, 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102))는 위치 B(7000-b)에 존재하고, 도 7f에 예시된 컴퓨팅 시스템의 현재 콘텍스트 상태가 주어지면 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 데 이용가능한 제1 컴퓨터 생성 경험(7024)에 대응하는 제1 사용자 인터페이스 요소(예컨대, 원(7012)) 및 도 7h에 예시된 컴퓨팅 시스템의 현재 콘텍스트 상태가 주어지면 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 데 이용가능한 제2 컴퓨터 생성 경험(7030)에 대응하는 제2 사용자 인터페이스 요소(예컨대, 정사각형(7026))를 포함한 하나 이상의 사용자 인터페이스 요소들을 각각 디스플레이하고 있다. 컴퓨팅 시스템의 콘텍스트 상태들은, 예를 들어, 현재 시간, 제1 디스플레이 생성 컴포넌트의 현재 위치(이는, 또한, 일부 실시예들에서, 제1 사용자 및 제2 디스플레이 생성 컴포넌트의 위치임), 제2 디스플레이 생성 컴포넌트의 디스플레이 면 전방에 존재하는 제1 사용자(7202)의 사용자 아이덴티티 또는 인가 레벨, 컴퓨팅 시스템에 의한 각각의 애플리케이션에 대한 통지의 수신 또는 생성, 컴퓨팅 시스템 상에서의 미리설정된 이벤트들의 발생 및/또는 다른 콘텍스트 정보 등에 기초하여 결정된다.

도 7f 및 도 7h에 예시된 예시적인 시나리오에서, 제1 사용자(7202)는 위치 B(7000-b)에 존재하는 것으로 도시되어 있다. 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102), HMD의 외부 디스플레이 등)와 제1 사용자(7202) 사이의 공간적 관계는, 일부 실시예들에서, 제1 사용자(7202)가 제2 디스플레이 생성 컴포넌트를 통해 제시된 하나 이상의 사용자 인터페이스 요소들(예컨대, 각각 사용자 인터페이스 요소(7012) 및 사용자 인터페이스 요소(7026))을 보기 위한 위치에 있도록 한다. 예를 들어, 제1 사용자(7202)는, 하나 이상의 사용자 인터페이스 요소들이 디스플레이될 때, 제2 디스플레이 생성 컴포넌트의 디스플레이 면을 향하고 있다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트는, HMD의 외부 디스플레이 상에 표시된 사용자 인터페이스 요소들에 대응하는 CGR 콘텐츠를 제시하도록 구성되는 내부 디스플레이(예컨대, 디스플레이(7100)에 의해 표현되는 제1 디스플레이 생성 컴포넌트)를 또한 포함하는 HMD의 외부 디스플레이이다. 그러한 실시예에서, 동일한 위치 B(7000-b)에서의 디스플레이(7102)와 제1 사용자(7202)의 공존에 의해 표현되는 공간적 관계는, 제1 사용자가 HMD의 외부 디스플레이가 향하고 있는 물리적 환경(예컨대, 또한 제2 디스플레이 생성 컴포넌트 및 제1 사용자(7202)를 호스팅하고 있는 물리적 환경)의 일부분에 있는 것에 대응한다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트는 제1 디스플레이 생성 컴포넌트와 백투백 상태로 위치되어서, 제2 디스플레이 생성 컴포넌트(7102)의 디스플레이 면 전방에 있는 물리적 환경의 일부분(예컨대, 제2 디스플레이 생성 컴포넌트의 디스플레이 면을 포함하는 위치 B(7000-b))이, 또한, 제1 디스플레이 생성 컴포넌트에 의해 제공되는 패스 스루 뷰 내에 있게 한다. 예를 들어, 제1 사용자(7102)가 제1 디스플레이 생성 컴포넌트의 디스플레이 면으로 이동하는 경우(예컨대, 위치 A(7000-a)로 이동함, 및/또는 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향함 등), 제2 디스플레이 생성 컴포넌트(7102)의 디스플레이 면 전방의 물리적 환경의 일부분에 위치된 물리적 객체(7014)(또는 도 7h의 물리적 객체(7014) 및 물리적 객체(7028) 둘 모두)는 제1 디스플레이 생성 컴포넌트에 의해 제공되는 패스 스루 뷰 내에 있을 것이다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 사용자가 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 콘텐츠를 보기 위한 위치에 있다는 것을 검출하는 것에 응답하여, 하나 이상의 사용자 인터페이스 요소들만을 디스플레이하고, 사용자가 제2 디스플레이 생성 컴포넌트에 의해 제시된 콘텐츠를 보도록 허용하는 제2 디스플레이 생성 컴포넌트에 대한 위치에 어떠한 사용자도 위치되지 않을 때, 제2 디스플레이 생성 컴포넌트를 사용하여 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 것을 중지한다. 일부 실시예들에서, 컴퓨팅 시스템은, 컴퓨팅 시스템의 현재 상태 또는 콘텍스트에 기초하여 제1 컴퓨터 생성 경험의 이용가능성을 나타내는 이벤트(예컨대, 시간 기반 경고 또는 위치 기반 통지가 컴퓨팅 시스템 상에서 생성됨, 사용자가 가방에서 HMD를 꺼냄, 사용자가 HMD를 켬, 사용자가 HMD를 충전소에 연결함 등)를 검출하는 것에 응답하여, 하나 이상의 사용자 인터페이스 요소들을 디스플레이한다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트가 어떠한 CGR 콘텐츠도 디스플레이하고 있지 않을 때(예컨대, 제1 디스플레이 생성 컴포넌트가 활성이 아님, 절전 상태에 있음 등), 제2 디스플레이 생성 컴포넌트 상에 하나 이상의 사용자 인터페이스 객체들만을 개시한다. 일부 실시예들에서, 제1 사용자(7202)가 제1 디스플레이 생성 컴포넌트와 위치 A에 공존하지 않거나 제1 디스플레이 생성 컴포넌트에 의해 디스플레이되는 콘텐츠를 보기 위한 위치에 있지 않은 것을 보여주는 도 7f 및 도 7h의 예시는, 제1 사용자가 (예컨대, 내부 디스플레이가 그/그녀의 얼굴을 향하는 상태에서 HMD를 위로 올림으로써, 또는 HMD를 그/그녀의 머리에 착용함으로써) HMD의 내부 디스플레이를 사용자의 얼굴 또는 눈들 전방에 놓지 않은 것에 대응한다. 일부 실시예들에서, 하나 이상의 사용자 인터페이스 객체들은, 제1 사용자가 제2 디스플레이 생성 컴포넌트 상에 표시된 콘텐츠를 보기 위한 위치에 있는지 여부에 관계없이, 제2 디스플레이 생성 컴포넌트 상에 디스플레이된다.

도 7f에 후속하는 도 7g, 및 도 7h에 후속하는 도 7i에 도시된 바와 같이, 컴퓨팅 시스템이 제2 디스플레이 생성 컴포넌트를 사용하여 하나 이상의 사용자 인터페이스 객체들(예컨대, 각각 원(7012) 또는 정사각형(7026))을 디스플레이하고 있는 동안, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100) 또는 HMD의 내부 디스플레이)가 (예컨대, 제1 사용자(7202)의 이동, 제1 디스플레이 생성 컴포넌트의 이동, 또는 둘 모두로 인해) 이제 제1 사용자(7202)에 대해 미리설정된 공간적 관계에 있다는 것을 검출한다. 도 7f 및 도 7g에 도시된 예에서, 제1 사용자(7202)는 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD의 내부 디스플레이 등)의 디스플레이 면 전방의 위치 A(7000-a)로 이동하였고; 제1 사용자가 제1 디스플레이 생성 컴포넌트의 디스플레이 면 전방의 위치 A(7000-a)로 이동하였다는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트를 통해, 제2 디스플레이 생성 컴포넌트 상에 이전에 표시된 하나 이상의 사용자 인터페이스 객체들(예컨대, 각각 원(7012) 또는 정사각형(7026))에 대응하는 각각의 컴퓨터 생성 경험(예컨대, 각각 제1 컴퓨터 생성 경험(7024) 또는 제2 컴퓨터 생성 경험(7030))을 디스플레이한다. 예를 들어, 도 7g에 도시된 바와 같이, 컴퓨팅 시스템은, 제1 사용자 인터페이스 객체(예컨대, 원(7012))가 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 동안(도 7f) 제1 디스플레이 생성 컴포넌트와 제1 사용자의 상대 이동이 제1 디스플레이 생성 컴포넌트 및 제1 사용자(또는 제1 사용자의 얼굴 또는 눈들)를 미리설정된 공간적 관계 또는 구성(예컨대, 제1 사용자가 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향하고 있음, 또는 HMD가 사용자의 눈들 전방에 배치됨, HMD가 사용자의 머리에 배치됨 등)으로 배치하였다는 것을 나타내는 이벤트에 응답하여, 제1 컴퓨터 생성 경험(7024)을 디스플레이한다. 도 7i에 도시된 바와 같이, 컴퓨팅 시스템은, 제2 사용자 인터페이스 객체(예컨대, 정사각형(7026))가 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 동안(도 7h) 제1 디스플레이 생성 컴포넌트와 제1 사용자의 상대 이동이 제1 디스플레이 생성 컴포넌트 및 제1 사용자(또는 제1 사용자의 얼굴 또는 눈들)를 미리설정된 공간적 관계 또는 구성(예컨대, 제1 사용자가 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향하고 있음, 또는 HMD가 사용자의 눈들 전방에 배치됨, HMD가 사용자의 머리에 배치됨 등)으로 배치하였다는 것을 나타내는 이벤트에 응답하여, 제2 컴퓨터 생성 경험(7030)을 디스플레이한다.

도 7f에 후속하는 도 7g에 도시된 바와 같이, 제1 컴퓨터 생성 경험(7024)의 일례는 제2 디스플레이 생성 컴포넌트의 디스플레이 면 전방의 물리적 환경의 일부분(예컨대, HMD를 착용하고/하거나 HMD의 내부 디스플레이를 향하는 제1 사용자 전방의 물리적 환경의 일부분이기도 한, HMD의 외부 디스플레이 전방의 물리적 환경의 일부분)을 보여주는 증강 현실 경험이다. 제1 컴퓨터 생성 경험은 선택적으로 물리적 객체(7014)의 표현(7014')을 포함하며, 이는 일부 가상 콘텐츠(예컨대, 물리적 객체(7014)의 표현(7014') 위에 놓여 있는 가상 볼(7020), 및/또는 일부 다른 가상 객체들)로 증강된다. 일부 실시예들에서, 제1 컴퓨터 생성 경험은 순수한 가상 경험이고, 제1 디스플레이 생성 컴포넌트 및/또는 제2 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현을 포함하지 않는다.

도 7h에 후속하는 도 7i에 도시된 바와 같이, 제2 컴퓨터 생성 경험(7030)의 일례는 제2 디스플레이 생성 컴포넌트의 디스플레이 면 전방의 물리적 환경의 일부분(예컨대, HMD를 착용하고/하거나 HMD의 내부 디스플레이를 향하는 제1 사용자 전방의 물리적 환경의 일부분이기도 한, HMD의 외부 디스플레이 전방의 물리적 환경의 일부분)을 보여주는 증강 현실 경험이다. 제2 컴퓨터 생성 경험은, 선택적으로, 함께 적층되는 물리적 객체(7014) 및 물리적 객체(7028)를 포함하며, 이는 일부 가상 콘텐츠(예컨대, 물리적 객체들(7014, 7028)의 표현들(7014', 7028') 옆에 놓여 있는 가상 박스(7032), 또는 일부 다른 가상 객체들)로 증강된다. 일부 실시예들에서, 제2 컴퓨터 생성 경험은 순수한 가상 경험이고, 제1 디스플레이 생성 컴포넌트 및/또는 제2 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현을 포함하지 않는다.

일부 실시예들에서, 본 개시내용에 앞서 기재된 바와 같이, 제1 디스플레이 생성 컴포넌트는 HMD의 내부 디스플레이이고, 제2 디스플레이 생성 컴포넌트는 HMD의 외부 디스플레이이며, 동일한 위치 A(7000-a)에서의 디스플레이(7100)와 제1 사용자(7202)의 공존에 의해 표현되는 공간적 관계는, 제1 사용자가 HMD를 HMD의 내부 디스플레이가 사용자의 눈들 또는 얼굴을 향하는 상태로 착용하거나 유지하는 것에 대응한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는 제1 사용자 전방의 물리적 환경의 카메라 뷰를 디스플레이하거나, 또는 제1 사용자 전방의 물리적 환경의 일부분이 제1 사용자에게 보이게 하는 투명 또는 반투명 부분을 포함한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 통해 제1 사용자에게 보이게 되는 물리적 환경은 제2 디스플레이 생성 컴포넌트의 디스플레이 면 전방에 있는 물리적 환경의 일부분(예컨대, 제2 디스플레이 생성 컴포넌트의 디스플레이 면 및 물리적 객체(7014)(및 선택적으로 물리적 객체(7028)) 전방의 영역, HMD의 외부 디스플레이 전방의 영역 등을 포함하는 위치 B(7000-b))이다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트를 통한 컴퓨터 생성 경험의 디스플레이를 트리거하기 위해, 제1 디스플레이 생성 컴포넌트가 제1 사용자 또는 제1 사용자의 각각의 부분에 대해 미리정의된 배향으로 이동될 것(예컨대, HMD의 내부 디스플레이가 사용자의 눈들 또는 얼굴을 향하도록 배향될 것, 제1 사용자가 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향하도록 이동할 것, 및/또는 HMD의 내부 디스플레이가 사용자의 얼굴에 대해 직립할 것 등)을 요구한다. 일부 실시예들에서, 각각의 컴퓨터 생성 경험은 컴퓨팅 시스템의 현재 상태(예컨대, 콘텍스트 정보(예컨대, 시간, 위치, 어떤 물리적 객체가 사용자 전방에 존재하는지, 사용자의 아이덴티티, 컴퓨팅 시스템 상에서 생성되는 새로운 통지들 또는 경고들 등)에 기초하여 결정되는 하나 이상의 상태들) 및/또는 사용자와 제1 디스플레이 생성 컴포넌트 사이의 미리설정된 공간적 관계로의 이동이 시작 및/또는 완료될 때 어느 사용자 인터페이스 요소(들)(예컨대, 선택된 컴퓨터 생성 경험의 아이덴티티 및 특성들을 전달하는 사용자 인터페이스 요소들 및/또는 선택된 컴퓨터 생성 경험에 사용되는 콘텍스트 정보를 전달하는 사용자 인터페이스 요소들 중 하나 이상 등)가 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는지에 따라 선택된다. 도 7f 및 도 7g에 도시된 예들에서, 컴퓨팅 시스템의 현재 상태는 디스플레이 생성 컴포넌트(들) 및/또는 제2 디스플레이 생성 컴포넌트의 디스플레이 면 전방에 존재하는 물리적 객체(들)의 현재 위치(및 선택적으로 또한, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트 둘 모두를 수용하는 HMD의 외부 디스플레이 전방에 존재하는 물리적 객체들 및 현재 위치)에 기초하여 결정된다.

도 7a 내지 도 7e와 관련하여 위에 기재되어 있고 여기에서 반복될 바와 같이, 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100)) 및 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102))는 물리적 환경의 2개의 별개의 분리된 부분들에 위치되는 것으로 도 7f 내지 도 7i에 도시되어 있지만, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트는, 선택적으로, 동일한 하우징(예컨대, 단일 HMD의 하우징) 내에 포함되거나 동일한 지지 구조물에 부착되고(예컨대, 서로 또는 단일 벽 또는 표면의 2개의 면들 상에 백투백 상태로 부착됨) 상이한 방향들을 향하고 있는(예컨대, 서로 반대인 방향들을 향하고 있음, 상이한 각도들을 향하고 있음 등) 2개의 디스플레이 생성 컴포넌트들이라는 것이 이해되어야 한다. 일부 실시예들에 따르면, 사용자는 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트의 하우징 또는 지지 구조물을 이동(예컨대, 회전, 방향전환, 또는 수직 또는 수평으로 플립핑(flipping))시켜, 제1 디스플레이 생성 컴포넌트를 그/그녀 자신 또는 그/그녀의 얼굴 또는 눈들에 대해 미리설정된 공간적 구성으로 이동시킬 수 있다. 일부 실시예들에 따르면, 사용자는 그/그녀의 머리를 디스플레이 생성 컴포넌트들의 하우징 내로 삽입하거나 디스플레이 생성 컴포넌트들의 지지 구조물을 그/그녀의 신체의 일부(예컨대, 머리, 어깨들, 코, 귀들 등)에 부착하여, 제1 디스플레이 생성 컴포넌트를 그/그녀 자신 또는 그/그녀의 얼굴 또는 눈들에 대해 미리설정된 공간적 구성으로 이동시킬 수 있다. 이와 같이, 위치 B(7000-b)에서의 제1 사용자와 제2 디스플레이 생성 컴포넌트의 공존 및 위치 A(7000-a)에서의 제1 사용자와 제1 디스플레이 생성 컴포넌트의 공존은, 컴퓨터 생성 경험의 디스플레이를 트리거하기 위한 사용자와 제1 디스플레이 생성 컴포넌트 사이의 미리설정된 공간적 관계가 만족되고 제2 디스플레이 생성 컴포넌트가 이용가능한 CGR 경험을 보여주는 사용자 인터페이스 요소들을 디스플레이하고 있기 전의 제1 시간, 및 미리설정된 공간적 관계가 사용자 및/또는 디스플레이 생성 컴포넌트(들)의 이동으로 인해 만족된 후 및 이용가능한 CGR 경험이 제1 디스플레이 생성 컴포넌트를 통해 디스플레이될 때의 제2 시간을 각각 나타낸다.

일부 실시예들에서, 제2 디스플레이 생성 컴포넌트는 저해상도인, 더 작은, 더 단순한, 평면-입체(mono-stereoscopic)인, 단색인, 저출력인 그리고/또는 이차적인 디스플레이인 한편, 제1 디스플레이 생성 컴포넌트는 컴퓨팅 시스템의 더 높은 해상도인, 더 큰, 더 복잡한, 입체인, 풀 컬러인, 전출력인 그리고/또는 일차적인 디스플레이이다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트는 상태 정보, 이벤트 정보, 컴퓨팅 시스템과 관련된 상태 정보, 특히, 사용자가 현재 콘텍스트와 관련된 추가의 이용가능한 콘텐츠를 보기 위해 제1 디스플레이 생성 컴포넌트를 사용자의 눈들에 대해 미리설정된 공간적 관계로 배치하기 위한 통지들 및 프롬프트들을 디스플레이하기 위해 컴퓨팅 시스템에 의해 사용된다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트는, 제1 디스플레이 생성 컴포넌트가 사용자의 눈들 전방에 배치되지 않을 때(또는 더 일반적으로는, 사용자가 제1 디스플레이 생성 컴포넌트 상에 디스플레이되는 CGR 콘텐츠를 충분히 즐기기 위한 위치에 있지 않을 때), 및/또는 (예컨대, 단일 HMD의 일부들로서의) 컴퓨팅 시스템의 디스플레이 생성 컴포넌트들이 책상 위에, 사용자의 손들 안에, 컨테이너(예컨대, 배낭, 홀더, 케이스 등) 내에, 또는 대기 상태(예컨대, 충전소에 연결됨, 저전력 모드로 설정됨 등) 등으로 배치될 때, 컴퓨팅 시스템에 의해 사용된다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트를 사용하여 정보를 디스플레이하는 동안, 컴퓨팅 시스템은 (예컨대, 제1 디스플레이 생성 컴포넌트의 하우징에 부착되거나 그로 둘러싸인 센서들(예컨대, 모션 센서들, 배향 센서들, 이미지 센서들, 터치 센서들 등), 및/또는 외부 센서들(예컨대, 모션 센서들, 배향 센서들, 이미지 센서들 등)을 사용하여) 사용자(예컨대, 제1 사용자, 또는 임의의 사용자)와 제1 디스플레이 생성 컴포넌트 사이의 공간적 관계를 계속 모니터링한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트와 사용자 사이의 상대 이동을 검출하는 것에 응답하여(예컨대, 사용자가, 동일한 하우징으로 둘러싸이거나 동일한 지지 구조물에 부착된 디스플레이 생성 컴포넌트들을 집어 들고 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 사용자의 눈들 또는 얼굴을 향해 방향전환시키는 것에 응답하여, 그리고/또는 사용자가 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트를 포함하는 HMD를 그/그녀의 머리에 착용하는 것에 응답하여 등), 사용자와 제1 디스플레이 생성 컴포넌트 사이의 미리설정된 공간적 관계가 충족된다는 결정에 따라, 컴퓨팅 시스템은 미리설정된 공간적 관계가 충족될 때의 컴퓨팅 시스템의 상태(예컨대, 선택적으로, 이는 상대 이동의 시작 시에 정보(예컨대, 컴퓨터 생성 경험의 이용가능성을 나타내는 하나 이상의 사용자 인터페이스 객체들)가 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되고 있었을 때 컴퓨팅 시스템이 가졌던 동일한 상태임)에 대응하는 컴퓨터 생성 경험을 디스플레이한다.

일부 실시예들에서, 도 7g 및 도 7i에 도시된 바와 같이, 컴퓨팅 시스템이, 제1 디스플레이 생성 컴포넌트를 통해, 현재 콘텍스트(예컨대, 도 7f 및 도 7h에 사용자 인터페이스 객체들(7012, 7026)에 의해 표시된 바와 같은 컴퓨팅 시스템의 각각의 상태들)에 대응하는 각각의 컴퓨터 생성 경험을 디스플레이하고 있을 때, 컴퓨팅 시스템은, 선택적으로, 제2 디스플레이 생성 컴포넌트를 사용하여 상태 정보(예컨대, 각각 상태 정보(7022, 7034))를 디스플레이한다. 일부 실시예들에서, 디스플레이된 상태 정보는 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 콘텐츠에 관한 정보, 및 선택적으로, 제1 디스플레이 생성 컴포넌트를 통해 컴퓨터 생성 콘텐츠를 보고 있는 사용자의 상태(예컨대, 사용자의 얼굴 또는 눈들의 외관)를 전달한다. 컴퓨팅 시스템이 제1 디스플레이 생성 컴포넌트를 사용하여 컴퓨터 생성 콘텐츠를 디스플레이하고 있는 동안 제2 디스플레이 생성 컴포넌트를 사용한 상태 정보의 디스플레이와 관련된 다른 태양들 및 상세사항들이 도 7a 내지 도 7e 및 수반되는 설명들뿐만 아니라 도 8 내지 도 13과 관련하여 설명되는 프로세스들과 관련하여 설명된다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트는, 일단 제1 디스플레이 생성 컴포넌트가 콘텐츠를 디스플레이하기 시작하면, 그리고/또는 사용자와 제1 디스플레이 생성 컴포넌트 사이의 미리설정된 공간적 관계가 충족되면, 어떠한 콘텐츠(예컨대, 사용자 인터페이스 요소들(7012 또는 7026) 등)도 디스플레이하는 것을 중지한다. 일부 실시예들에서, 컴퓨팅 시스템은 제1 디스플레이 생성 컴포넌트를 사용하여 컴퓨터 생성 경험을 디스플레이할 때 상태 정보 또는 임의의 다른 콘텐츠를 디스플레이하지 않는다. 일부 실시예들에서, 컴퓨팅 시스템은 제1 디스플레이 생성 컴포넌트를 사용하여 컴퓨터 생성 경험을 디스플레이할 때 제2 디스플레이 생성 컴포넌트를 사용하여 다른 정보(예컨대, 디지털 시계, 일기 예보, 컴퓨터 생성 경험의 지속기간 또는 제1 사용자가 제1 디스플레이 생성 컴포넌트를 사용하도록 할당된 시간에 기초한 카운트 다운 타이머 등)를 디스플레이한다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 각각의 컴퓨터 생성 경험은, 가상 콘텐츠가 물리적 환경(예컨대, 위치 B, 제1 사용자 전방에 있는 물리적 환경의 일부분 등)의 표현들과 동시에 보이는 혼합 현실 경험이다. 일부 실시예들에서, 물리적 환경의 표현은, 사용자의 눈들이 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트의 존재에 의해 차단되지 않는 경우(예컨대, 제1 사용자가 HMD를 착용하고 있지 않거나 HMD를 그/그녀의 눈들 전방에 유지하고 있지 않은 경우) 제1 사용자의 시야 내에 있을 물리적 환경의 일부분의 카메라 뷰를 포함한다. 혼합 현실 모드에서, CGR 콘텐츠(예컨대, 영화, 3차원 증강 현실 환경, 사용자 인터페이스들, 및/또는 가상 객체들 등)는, 물리적 환경의 표현의 전부는 아니지만 그의 적어도 일부분을 오버레이하거나 대체하도록 디스플레이된다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는, 물리적 환경의 일부분이 제1 사용자에게 보이게 하는 투명 부분을 포함하며, 혼합 현실 모드에서, CGR 콘텐츠(예컨대, 영화, 3차원 증강 현실 환경, 사용자 인터페이스들, 가상 객체들 등)는 물리적 환경 내의 물리적 표면들 또는 빈 공간 상에 투영되고, 물리적 환경과 함께 투명 부분을 통해 보인다. 일부 실시예들에서, CGR 콘텐츠는 디스플레이의 일부분 상에 디스플레이되고, 제1 디스플레이 생성 컴포넌트의 투명 또는 반투명 부분을 통해 보이는 물리적 환경의 전부는 아니지만 그의 적어도 일부분의 뷰를 차단한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트(7100)는 물리적 환경의 뷰를 제공하지 않고, 하나 이상의 센서들(예컨대, 카메라들, 모션 센서들, 다른 자세 센서들 등)에 의해 현재 캡처된 바와 같은 물리적 환경의 실시간 시각적 표현(들)(예컨대, 양식화된 표현 또는 세그먼트화된 카메라 이미지들)으로 증강되는 완전 가상 환경(예컨대, 카메라 뷰 또는 투명 패스 스루 부분 없음)을 제공한다. 일부 실시예들에서, 혼합 현실 모드(예컨대, 카메라 뷰 또는 투명 디스플레이에 기초한 증강 현실, 또는 물리적 환경의 가상화된 표현에 기초한 증강 가상)에서, 제1 사용자는 컴퓨터 생성 환경에 완전히 몰입되지 않고, 제1 사용자 및 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경에 직접 대응하는 감각 정보(예컨대, 시각, 청각 등)를 여전히 제공받는다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트가 완전 몰입 환경을 디스플레이하고 있는 동안, 제2 디스플레이 생성 컴포넌트는, 선택적으로, 사용자의 눈들의 상태에 관한 정보 없이(예컨대, CGR 콘텐츠에 관한 상태 정보만) 또는 어떠한 상태 정보도 전혀 디스플레이하지 않고서 상태 정보를 디스플레이한다.

일부 실시예들에서, 컴퓨팅 시스템은, 선택적으로, 제1 디스플레이 생성 컴포넌트를 통한 디스플레이를 위한 상이한 컴퓨터 생성 경험들의 이용가능성에 대응하는 임의의 수의 상이한 상태들을 갖는다. 컴퓨팅 시스템의 각각의 상이한 상태는, 선택적으로, 컴퓨팅 시스템이 그 상태에 진입하고/하거나 그 상태로 유지될 때 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 하나 이상의 사용자 인터페이스 요소들의 대응하는 세트를 갖는다. 컴퓨팅 시스템의 각각의 상이한 상태는, 선택적으로, 대응하는 이벤트 또는 이벤트들의 세트 및/또는 하나 이상의 미리설정된 기준들의 대응하는 세트의 만족에 의해 트리거된다. 컴퓨팅 시스템의 2가지 상태들, 이러한 2가지 상태들에 대응하는 2개의 사용자 인터페이스 객체들, 및 2개의 상이한 컴퓨터 생성 경험들이 도 7f 내지 도 7i와 관련하여 설명되는 예들에 도시되어 있지만, 제3 상태, 제3 사용자 인터페이스 요소 및 제3 컴퓨터 생성 경험이, 선택적으로, 예들에서 설명되는 2가지 상태들, 사용자 인터페이스 요소들 및 컴퓨터 생성 경험들과 관련하여 설명되는 것과 유사한 방식으로 컴퓨팅 시스템에 의해 구현된다. 일부 실시예들에서, 임의의 유한한 수의 상태들, 사용자 인터페이스 요소들 및 컴퓨터 생성 경험들이 선택적으로 구현된다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트에 의해 제공되는 컴퓨터 생성 경험들은 몰입 경험(예컨대, AR 또는 VR 경험)이고, 물리적 환경에서의 제1 사용자의 액션들(예컨대, 제스처들, 이동, 말, 및/또는 시선 등)을 고려한다. 예를 들어, 사용자의 손들이 물리적 환경에서 이동할 때 또는 사용자가 물리적 환경에서 이동할(예컨대, 방향전환하거나 걸을) 때, 컴퓨터 생성 3차원 환경의 사용자 인터페이스 및/또는 사용자의 뷰는 사용자의 손의 이동(예컨대, AR 환경에서 가상 윈도우를 밀어 엶, AR 환경에서 제시되는 홈 스크린 또는 메뉴에서 사용자 인터페이스 요소를 활성화함 등) 또는 사용자의 이동(예컨대, 사용자의 시점이 AR 환경 또는 가상 3차원 게임 세계에 대해 이동함 등)을 반영하도록 업데이트된다.

일부 실시예들에서, 상이한 컴퓨터 생성 경험들(예컨대, 제1 컴퓨터 생성 경험, 제2 컴퓨터 생성 경험 등)은 동일한 물리적 환경의 표현들을 그러나 (예컨대, 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 하나 이상의 사용자 인터페이스 요소들(예컨대, 원(7012), 정사각형(7026) 등)에 의해 표시된 바와 같이) 컴퓨팅 시스템의 상태에 기초하여 선택되는 상이한 가상 요소들을 포함하는 AR 경험들이다. 예를 들어, 일부 실시예들에서, 컴퓨터 생성 경험은, 선택적으로, 제1 사용자가 위치되는 동일한 룸의 뷰를 포함한다. 사용자가 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 그/그녀의 눈들 전방에 배치하기 직전에 컴퓨팅 시스템이 제2 디스플레이 생성 컴포넌트 상에 여러 상이한 이벤트 리마인더들 중 각각의 하나를 디스플레이하였다는 결정에 따라, 컴퓨팅 시스템은 각각의 이벤트 리마인더에 대응하는 이벤트에 대한 각각의 소개 비디오를 디스플레이하면서, 룸의 벽들의 표현들 상에 여러 상이한 테마의 가상 벽지들 중 각각의 하나를 갖는 룸의 표현을 디스플레이한다.

일부 실시예들에서, 상이한 컴퓨터 생성 경험들은, 콘텍스트(예컨대, 관련 콘텍스트 정보(예컨대, 위치, 시간, 사용자 아이덴티티, 통지 또는 경고의 수신 등)에 기초하여 결정되는 바와 같은 컴퓨팅 시스템의 상태 및/또는 제2 디스플레이 생성 컴포넌트 상에 표시되는 것)에 따라, 증강 현실 경험들이거나 또는 가상 경험들이다. 일부 실시예들에서, 컴퓨터 생성 경험이 AR 모드 및 VR 모드 중 하나의 모드에서 시작된 후에, 경험은 (예컨대, 사용자 요청에 응답하여, 다른 미리설정된 조건들이 충족되는 것에 응답하여 등) AR 모드 및 VR 모드 중 다른 하나의 모드로 전이될 수 있다.

일부 실시예들에서, 컴퓨팅 시스템은, 컴퓨팅 시스템의 상태에 기초하여 제2 디스플레이 생성 컴포넌트를 사용하여 다양한 애플리케이션들의 각각의 사용자 인터페이스들 및/또는 사용자 인터페이스 객체들을 디스플레이하도록 구성된다. 예를 들어, 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트 상에 디스플레이되는 하나 이상의 사용자 인터페이스 요소들은, 스케줄링된 이벤트들, 약속들, 휴일들 및/또는 리마인더들 등을 갖는 전자 캘린더(예컨대, 소셜 캘린더, 작업 캘린더, 일일 플래너, 주간 플래너, 월간 캘린더, 날짜들 및 주들을 월별로 보여주는 표준 캘린더 등)의 요소들을 포함한다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트와 제1 사용자 사이의 미리설정된 공간적 구성(예컨대, 제1 사용자 또는 그의 눈들이 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향하고 있음, 제1 사용자가 그/그녀로 하여금 제1 디스플레이 생성 컴포넌트에 의해 디스플레이되는 콘텐츠를 볼 수 있게 하는 위치에 있음 등)이 만족될 때, 제1 디스플레이 생성 컴포넌트를 통해 상이한 컴퓨팅 생성 경험들을 디스플레이하며, 여기에서, 디스플레이되는 특정 컴퓨터 생성 경험은, 제1 디스플레이 생성 컴포넌트 및 제1 사용자를 미리설정된 공간적 구성에 있게 하는 이동이 시작 및/또는 완료되기 직전에 어떤 캘린더 콘텐츠가 제2 디스플레이 생성 컴포넌트 상에 표시되었는지에 기초한다. 예를 들어, 제2 디스플레이 생성 컴포넌트 상에 표시된 하나 이상의 사용자 인터페이스 요소들이 제1 캘린더 이벤트에 대응한다는(예컨대, 사용자 인터페이스 요소들이 제1 캘린더 이벤트에 대한 이벤트 정보, 경고, 통지, 캘린더 데이터, 메모 등을 보여줌) 결정에 따라, 컴퓨팅 시스템은 제1 캘린더 이벤트에 대응하는 제1 컴퓨터 생성 경험(예컨대, 상세 및/또는 상호작용 정보(예컨대, 미리보기, 비디오들, 장소 및 참석자들의 모델들 등))을 디스플레이한다. 제2 디스플레이 생성 컴포넌트 상에 표시된 하나 이상의 사용자 인터페이스 요소들이 제2 캘린더 이벤트에 대응한다는(예컨대, 사용자 인터페이스 요소들이 제2 캘린더 이벤트에 대한 이벤트 정보, 경고, 통지, 캘린더 데이터, 메모 등을 보여줌) 결정에 따라, 컴퓨팅 시스템은 제2 캘린더 이벤트에 대응하는 제2 컴퓨터 생성 경험(예컨대, 상세 및/또는 상호작용 정보(예컨대, 미리보기, 비디오들, 장소 및 참석자들의 모델들 등))을 디스플레이한다. 일부 실시예들에서, 양면 HMD가 사용자에 의해 착용되고 있지 않을(예컨대, 외부 디스플레이가 사용자를 향하는 상태로 책상 위에 놓일) 때, HMD의 외부 디스플레이는, 현재 날짜, 시간, 날씨 정보, 지리적 위치, 및/또는 당일 동안의 또는 미리설정된 기간 후에(예컨대, 다음 2시간 후에, 다음 5분 후에 등) 다가오는 태스크들 또는 스케줄링된 약속들의 목록을 포함하여, 캘린더를 디스플레이하는 데 사용된다. 사용자가 HMD를 집어 들고 (예컨대, HMD를 들어 올림으로써 또는 HMD를 그/그녀의 머리에 착용함으로써 등) HMD의 내부 디스플레이를 그/그녀의 눈들 전방에 놓을 때, HMD의 내부 디스플레이는 캘린더의 상세사항들을 디스플레이한다(예컨대, 금주 또는 금월을 포함하는 더 완전한 캘린더를 보여줌, 당일의 모든 스케줄링된 이벤트들을 보여줌, 다음에 다가오는 이벤트의 더 많은 상세사항들을 보여줌 등). 일부 실시예들에서, 제1 캘린더 이벤트에 대응하는 하나 이상의 사용자 인터페이스 요소들은 제1 캘린더 이벤트에 대한 통지를 포함하고, 제2 캘린더 이벤트에 대응하는 사용자 인터페이스 요소들은 제2 캘린더 이벤트에 대한 통지이다.

일부 실시예들에서, 컴퓨팅 시스템은, 제2 디스플레이 생성 컴포넌트를 사용하여, 사진들, 및/또는 2차원 이미지들을 갖는 비디오 클립들과 같은 미디어 객체들을 디스플레이하고, 제1 디스플레이 생성 컴포넌트를 사용하여, 제2 디스플레이 생성 컴포넌트 상에 디스플레이되는 미디어 객체들에 대응하는 3차원 경험들 또는 전체 길이 미디어 콘텐츠를 디스플레이한다. 예를 들어, 제2 디스플레이 생성 컴포넌트 상에 표시된 사용자 인터페이스 요소들은, 선택적으로, 긴 비디오로부터의 스냅샷 또는 클립, 3차원 비디오의 감소된 해상도 또는 2차원 버전, 상호작용형 컴퓨터 환경에 대응하는 비상호작용형 사용자 인터페이스 등을 포함하고; 제1 디스플레이 생성 컴포넌트는, 그러한 확장된 콘텐츠의 디스플레이를 트리거하기 위한 기준들이 충족되었을 때(예컨대, 제1 디스플레이 생성 컴포넌트 및 제1 사용자가 미리설정된 공간적 구성 및 선택적으로 다른 조건들(예컨대, 사용자가 앉았음, HMD에 충분한 전력이 있음 등)로 배치되었을 때) 긴 비디오, 3차원 비디오, 상호작용형 컴퓨터 환경 등을 디스플레이한다. 일부 실시예들에서, 양면 HMD가 사용자에 의해 착용되고 있지 않을(예컨대, 외부 디스플레이가 사용자를 향하는 상태로 책상 위에 놓일) 때, HMD의 외부 디스플레이는 HMD의 내부 디스플레이를 통해 디스플레이될 수 있는 이용가능한 미디어 아이템의 시각적 표현을 디스플레이하는 데 사용된다. 일부 실시예들에서, 이용가능한 미디어 아이템은 HMD의 현재 위치, 및/또는 미디어 아이템의 제공자에 의해 특정된 미디어 아이템의 이용가능성 등에 따라 변경된다. 사용자가 HMD를 집어 들고 내부 디스플레이를 그/그녀의 눈들 전방에 놓을 때, 제1 디스플레이 생성 컴포넌트는 미디어 아이템의 실제 콘텐츠를 디스플레이한다(예컨대, 더 완전한 영화, 더 몰입적인 경험을 보여줌, 및/또는 미디어 아이템의 더 많은 상호작용 능력들을 가능하게 함 등).

일부 실시예들에서, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트를 사용하여 착신 통신 요청(예컨대, 착신 전화 통화, 오디오/비디오 채팅 요청, 화상 회의 요청 등)의 경고를 디스플레이하고, 컴퓨팅 시스템은, 일단 제1 디스플레이 생성 컴포넌트가 (예컨대, 제1 사용자, 제1 디스플레이 생성 컴포넌트, 또는 둘 모두의 이동에 의해) 제1 사용자에 대해 미리설정된 물리적 구성으로 배치되면, 제1 디스플레이 생성 컴포넌트를 사용하여 대응하는 통신 환경을 디스플레이한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 통신 환경은, 각각의 참가자의 가상 아바타 또는 이미지가 존재하는 시뮬레이션된 환경을 보여준다(예컨대, 아바타들은 제1 사용자 전방에 있는 테이블의 표현 주위에, 또는 제1 사용자 전방의 테이블 표면 상에 토킹 헤드(talking head)들로서 앉아 있음 등). 일부 실시예들에서, 컴퓨팅 시스템은, 제1 사용자에 대한 미리설정된 물리적 구성으로의 제1 디스플레이 생성 컴포넌트의 배치를 검출하는 것에 응답하여, 착신 통신 요청을 수락하고 (예컨대, 제1 디스플레이 생성 컴포넌트 및 컴퓨팅 시스템의 다른 컴포넌트들을 사용하여) 대응하는 통신 세션을 시작한다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 사용자에 대한 미리설정된 물리적 구성으로의 제1 디스플레이 생성 컴포넌트의 배치를 검출하는 것에 응답하여, 착신 통신 요청에 대응하는 애플리케이션을 시작하고, 제1 사용자가 착신 통신 요청을 수락하도록 선택할 수 있는 애플리케이션의 사용자 인터페이스를 (예컨대, 제1 디스플레이 생성 컴포넌트를 사용하여) 디스플레이한다. 일부 실시예들에서, 양면 HMD가 사용자에 의해 착용되고 있지 않을(예컨대, 외부 디스플레이가 사용자를 향하는 상태로 책상 위에 놓일) 때, HMD의 외부 디스플레이는, 착신 통신 요청이 컴퓨팅 시스템에 의해 수신될 때 그러한 요청에 대한 통지를 디스플레이하는 데 사용된다. 일부 실시예들에서, 통지는, 발신자의 아이덴티티 및 요청되는 통신 세션의 유형의 표시를 제공한다. 사용자가 HMD를 집어 들고 (예컨대, HMD를 그/그녀의 손을 사용하여 들어 올림으로써, 또는 HMD를 그/그녀의 머리에 착용함으로써 등) HMD의 내부 디스플레이를 그/그녀의 눈들 전방에 놓을 때, HMD의 내부 디스플레이는 수신된 통신 요청에 대응하는 통신 인터페이스를 디스플레이하고, 사용자는 HMD의 내부 디스플레이를 사용하여 발신자와의 통신을 시작할 수 있다. 일부 실시예들에서, 컴퓨팅 시스템은 착신 통신 요청의 특성들(예컨대, 요청자의 아이덴티티, 시각, 통화의 주제 등)에 따라 상이한 애플리케이션들을 시작한다(또는 동일한 애플리케이션의 상이한 모드들을 시작함). 예를 들어, 동료로부터의 착신 요청의 경우, 컴퓨팅 시스템은, 통신 세션을 시작하기 전에, 제1 사용자로부터의 미리설정된 입력을 기다리는 사용자 인터페이스를 제1 디스플레이 생성 컴포넌트 상에 디스플레이하고; 가족 구성원으로부터의 착신 요청의 경우, 컴퓨팅 시스템은, 사용자 인터페이스를 디스플레이하고/하거나 제1 사용자로부터의 미리설정된 입력을 요구하지 않고서, 통신 세션을 시작한다. 다른 예에서, 사용자의 집에 도달한 착신 요청의 경우, 컴퓨팅 시스템은 캐주얼 복장을 한 제1 사용자의 아바타와의 통신 세션을 시작하고; 사용자의 사무실에 도달한 착신 요청의 경우, 컴퓨팅 시스템은 비즈니스 복장을 한 제1 사용자의 아바타와의 통신 세션을 시작한다. 다른 예에서, 전화 통화에 대한 착신 요청의 경우, 컴퓨팅 시스템은 각각의 참가자에 대한 클로즈업 토킹 헤드 표현을 디스플레이하고; 비디오 채팅에 대한 착신 요청의 경우, 컴퓨팅 시스템은 참가자들의 실제 물리적 모션들을 보여주는 각각의 참가자의 전신 표현들을 디스플레이한다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트 상에 표시된 하나 이상의 사용자 인터페이스 요소들은 컴퓨터 생성 경험의 특성들(예컨대, 통신 세션의 사용자 인터페이스 또는 환경의 특성들)을 결정하기 위해 컴퓨팅 시스템에 의해 사용되는 착신 통신 요청들의 특정 특성들을 시각적으로 나타낸다. 일부 실시예들에서, 컴퓨터 생성 경험의 선택된 특성들은, 또한, 컴퓨터 생성 경험이 제1 디스플레이 생성 컴포넌트에 의해 디스플레이되기 전에, 제2 디스플레이 생성 컴포넌트에 의해 표시된 하나 이상의 사용자 인터페이스 요소들에 의해 시각적으로 표현된다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트를 사용하여 컴퓨터 생성 경험을 디스플레이하기 전에 수신되는 사용자 입력(예컨대, 제2 디스플레이 생성 컴포넌트 상에서의 터치 제스처들, 제1 디스플레이 생성 컴포넌트 및/또는 제2 디스플레이 생성 컴포넌트의 하우징 상에서의 터치 제스처들, 인 에어 제스처들, 음성 명령들 등)에 따라, 컴퓨터 생성 경험의 특성들을 수정한다.

일부 실시예들에서, 컴퓨팅 시스템은, 다양한 파라미터들(예컨대, 사용자의 거리, 사용자의 아이덴티티, 사용자의 제스처 등)에 따라, 제2 디스플레이 생성 컴포넌트 상에 디스플레이되는 콘텐츠(예컨대, 하나 이상의 사용자 인터페이스 요소들)를 수정한다. 예를 들어, 제1 사용자가 제2 디스플레이 생성 컴포넌트로부터 떨어진 제1 거리(예컨대, 제1 거리는 제1 임계 거리보다 작지만 제2 임계 거리보다 큼)에 있는 것을 검출하는 것에 따라, 컴퓨팅 시스템은 각각의 컴퓨터 생성 경험의 이용가능성을 나타내기 위해 하나 이상의 사용자 인터페이스 요소들의 제1 버전(예컨대, 큰 단순 아이콘들 또는 텍스트)을 디스플레이하고; 제1 사용자가 제2 디스플레이 생성 컴포넌트로부터 떨어진 제2 거리(예컨대, 제2 거리는 제2 임계 거리보다 작음)에 있는 것을 검출하는 것에 따라, 컴퓨팅 시스템은 각각의 컴퓨터 생성 경험의 이용가능성을 나타내기 위해 하나 이상의 사용자 인터페이스 요소들의 제2 버전(예컨대, 그래픽들, 더 많은 상세사항들 등)을 디스플레이한다(예컨대, 제1 사용자가 제2 디스플레이 생성 컴포넌트에 더 가깝게 이동하였을 때 하나 이상의 사용자 인터페이스 요소들의 제1 버전의 디스플레이를 대체함). 다른 예에서, 제2 디스플레이 생성 컴포넌트의 임계 거리 내의 사용자를 검출하는 것에 따라, 컴퓨팅 시스템은 각각의 컴퓨터 생성 경험의 이용가능성을 나타내기 위해 하나 이상의 사용자 인터페이스 요소들의 일반 버전(예컨대, 큰 단순 아이콘들 또는 텍스트)을 디스플레이하고; 사용자의 아이덴티티를 검출하는 것에 따라(예컨대, 제1 디스플레이 생성 컴포넌트/제2 디스플레이 생성 컴포넌트(예컨대, HMD)를 집어 들 때 사용자의 지문을 검출하는 것에 응답하여, 또는 사용자가 제2 디스플레이 생성 컴포넌트에 더 가깝게 이동하는 것에 응답하여 등), 컴퓨팅 시스템은 사용자의 아이덴티티에 대응하는 하나 이상의 사용자 인터페이스 요소들의 사용자 특정 버전(예컨대, 사용자의 선호도들, 사용 이력, 인구통계 등에 기초하여 맞춤화됨)을 디스플레이한다.

일부 실시예들에서, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트가 제1 사용자에 대해 미리설정된 물리적 구성으로 배치되는 것을 검출하기 전에, 선택가능 옵션들(예컨대, 하나 이상의 사용자 인터페이스 요소들, 및/또는 하나 이상의 사용자 인터페이스 요소들 이외의 사용자 인터페이스 객체들)을 포함하는 사용자 인터페이스를 디스플레이하고, 선택가능 옵션들 중 하나 이상을 선택하는 사용자 입력을 검출하며, 여기에서 선택가능 옵션들은 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 데 이용가능한 하나 이상의 사용자 인터페이스 요소들에 대응하는 컴퓨터 생성 경험을 맞춤화하기 위한 선호도들을 포함한다. 제1 디스플레이 생성 컴포넌트가 제1 사용자에 대해 미리설정된 물리적 구성으로 배치될 때, 컴퓨팅 시스템은 사용자 선택 옵션(들)에 기초하여 맞춤화되는 컴퓨터 생성 경험을 디스플레이한다. 일부 실시예들에서, 선택가능 옵션들은, 컴퓨터 생성 경험이 제1 디스플레이 생성 컴포넌트를 통해 제시될 수 있는 컴퓨팅 시스템의 2가지 이상의 모드들(예컨대, AR 모드, VR 모드, 2D 모드, 개인 모드, 부모 통제 모드, DND 모드 등)의 세트에 대응한다.

일부 실시예들에서, 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 하나 이상의 사용자 인터페이스 요소들은 제1 디스플레이 생성 컴포넌트에 의해 디스플레이되는 데 이용가능한 3차원 경험의 미리보기를 포함한다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트에 의해 제공되는 미리보기는 뷰포트(viewport)를 3차원 경험으로 시뮬레이션하는 3차원 미리보기이다. 사용자는 제2 디스플레이 생성 컴포넌트에 대해 그의 머리를 이동시킬 수 있고, 3차원 경험에 표현되는 3차원 환경의 상이한 부분들을 볼 수 있다. 일부 실시예들에서, 미리보기는, 사용자가 제2 디스플레이 생성 컴포넌트를 집어 들고/집어 들거나(예컨대, 양면 HMD를 집어 듦) 제2 디스플레이 생성 컴포넌트를 제1 사용자에 대해 미리설정된 공간적 구성으로 놓을(예컨대, HMD를 외부 디스플레이가 사용자의 눈들을 향하는 상태로 유지할) 때 시작된다. 일부 실시예들에서, 미리보기가 제1 디스플레이 생성 컴포넌트 상에서 시작된 후에, 사용자가 제1 디스플레이 생성 컴포넌트를 제1 사용자와의 미리설정된 공간적 관계로 놓는 것(예컨대, 사용자가 HMD를 내부 디스플레이가 사용자의 얼굴 또는 눈들을 향하는 상태로 유지함, 사용자가 HMD를 사용자의 머리에 착용함 등)을 검출하는 것에 응답하여, 컴퓨팅 시스템은 제1 디스플레이 생성 컴포넌트 상에서 컴퓨터 생성 경험을 시작한다.

도 7h 내지 도 7j는 일부 실시예들에 따른, 컴퓨터 생성 경험들의 제시 동안 제1 디스플레이 생성 컴포넌트가 제1 사용자에 대해 미리설정된 공간적 관계 또는 구성으로 유지되는 방식에 따라 상이한 컴퓨터 생성 경험들을 디스플레이하는 것을 예시한다. 일부 실시예들에서, 상이한 컴퓨터 생성 경험들은 서로 관련된다. 예를 들어, 상이한 컴퓨터 생성 경험들은 각각 3차원 컴퓨터 생성 경험의 미리보기 및 3차원 컴퓨터 생성 경험 그 자체이거나; 또는 그들은 각각 컴퓨터 생성 경험의 세그먼트 또는 수정 버전 및 컴퓨터 생성 경험의 완전 버전 등이다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트의 디스플레이 면이 제1 사용자 또는 제1 사용자의 미리 설정된 부분(예컨대, 사용자의 눈들 또는 얼굴)을 향하고 있을 때, 및/또는 사용자가 제1 디스플레이 생성 컴포넌트 상에 표시된 콘텐츠를 보기 위한 위치에 있을 때(예컨대, 사용자가 HMD를 착용하고 있음, HMD를 유지하고 있음, HMD를 손으로 위로 들어 올림, HMD를 미리설정된 뷰잉 스테이션에 배치함, HMD를 미리설정된 출력 디바이스에 연결함 등), 제1 디스플레이 생성 컴포넌트가 제1 사용자에 대해 미리설정된 공간적 관계 또는 구성으로 배치된다고 결정한다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트(또는 선택적으로, 제1 디스플레이 생성 컴포넌트(및 선택적인 제2 디스플레이 생성 컴포넌트)를 둘러싸는 전체 HMD)가 제1 사용자에 의해 착용되고 있는지(예컨대, 그에 스트래핑되어 있는지, 사용자의 손(들)의 지지 없이 사용자의 눈들 전방에 유지되는지) 여부에 기초하여, 컴퓨터 생성 경험들 중 어느 것을 제1 디스플레이 생성 컴포넌트 상에 디스플레이할지를 결정한다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트 이외의 디바이스 또는 센서(예컨대, 제1 디스플레이 생성 컴포넌트의 하우징 상의 스트랩 또는 버클, 제1 디스플레이 생성 컴포넌트의 하우징에 부착된 터치 또는 위치 센서 등)의 상태에 기초하여, 제1 디스플레이 생성 컴포넌트가 제1 사용자에 의해 착용되고 있는지 여부를 결정한다. 예를 들어, 스트랩 또는 버클은 선택적으로 개방 상태 및 폐쇄 상태를 가지며, 제1 디스플레이 생성 컴포넌트가 제1 사용자에 의해 착용되고 있을 때, 스트랩 또는 버클은 폐쇄 상태에 있고; 제1 디스플레이 생성 컴포넌트가 사용자의 전방에 단지 일시적으로 배치되고(예컨대, 사용자의 손에 의해 눈 높이로 들어 올려짐) 사용자에 의해 착용되고 있지 않을 때, 스트랩 또는 버클은 개방 상태에 있다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트의 하우징 상의 터치 또는 위치 센서는, 제1 디스플레이 생성 컴포넌트의 하우징이 사용자의 코, 귀들, 머리, 및/또는 사용자의 손들 이외의 사용자 신체의 다른 부분들에 놓여 있고 그에 의해 지지될 때, 제1 상태("예" 상태)로 스위칭하고; 터치 또는 위치 센서는, 제1 디스플레이 생성 컴포넌트의 하우징이 사용자의 손(들)에 의해 지지되고 있을 때, 제2 상태("아니오" 상태)로 스위칭한다. 일부 실시예들에서, 사용자가 제1 디스플레이 생성 컴포넌트 상에 디스플레이되는 컴퓨터 생성 경험을 보기 위해 제1 디스플레이 생성 컴포넌트(또는 제1 디스플레이 생성 컴포넌트를 포함하는 HMD)가 제1 사용자에 대해 미리설정된 구성으로 유지되는 방식을 구별함으로써, 컴퓨팅 시스템은 사용자에게 제시되는 콘텐츠의 상호작용 모델 및 깊이를 더 적절하게 조정할 수 있다. 예를 들어, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트가 사용자의 손(들)에 의해 제1 사용자에 대해 미리설정된 구성으로 유지되지 않을 때에만, 입력(예컨대, 인 에어 제스처들, 마이크로 제스처들, 제1 디스플레이 생성 컴포넌트의 하우징과 별개의 제어 디바이스 상에 제공되는 입력 등)으로서 사용자의 손의 이동을 필요로 하는 제1 상호작용 모델을 인에이블하고; 제1 디스플레이 생성 컴포넌트가 사용자의 손(들)에 의해 제1 사용자에 대해 미리설정된 구성으로 유지되는 동안, 컴퓨팅 시스템은, 사용자의 손(들)이 제1 디스플레이 생성 컴포넌트의 하우징으로부터 멀리 이동할 것을 요구하지 않는 다른 유형들의 상호작용 모델들(예컨대, 말 상호작용, 시선 상호작용, 제1 디스플레이 생성 컴포넌트의 하우징 상에서의 터치 상호작용 등)만을 인에이블한다.

도 7i에서, 제1 사용자(7202)는 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD의 내부 디스플레이 등)와 위치 A(7000-a)에 함께 위치되고, 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향하고 있다. 이는 일부 실시예들에 따른, 제1 디스플레이 생성 컴포넌트가 제1 사용자 또는 제1 사용자의 미리설정된 부분에 대해 미리설정된 구성에 있는(예컨대, 제1 디스플레이 생성 컴포넌트가 사용자의 얼굴 또는 눈들 전방에 배치됨) 예시적인 시나리오를 예시하기 위한 것이다. 도 7i에 도시된 예시적인 시나리오에서, 제1 사용자(7202)는 그녀의 손으로 센서 객체(7016)를 유지하고 있다. 사용자의 손에 대한 센서 객체(7016)의 이러한 위치는, 제1 디스플레이 생성 컴포넌트가 제1 사용자(7202)에 의해 착용되지 않을 때의 제1 디스플레이 생성 컴포넌트의 상태에 대응한다. 제1 디스플레이 생성 컴포넌트가 제1 사용자에 의해 착용되지 않을 때의 제1 디스플레이 생성 컴포넌트의 상태에 대응하는 다른 예시적인 시나리오는, 제1 디스플레이 생성 컴포넌트가 HMD의 디스플레이(예컨대, HMD의 내부 디스플레이, HMD의 단일 디스플레이 등)이고, HMD의 디스플레이가 (예컨대, 사용자의 머리, 코, 귀들, 또는 사용자의 손이 아닌 사용자의 다른 부분들에 의해 지지되고 있는 것과는 대조적으로) 제1 사용자의 손에 의해 제1 사용자의 눈들을 향하도록 유지되고 있거나 들어 올려지고 있을 때이다. 일부 실시예들에서, 센서 객체(7016)가 제1 사용자의 손으로 유지될 때(이는, 또한, 제1 디스플레이 생성 컴포넌트가 사용자의 얼굴 또는 눈들 전방에 배치될 때, 사용자의 손에 의해 지지되고 있거나 또는 제1 사용자에 의해 착용되고 있지 않은 것에 대응함)의 시나리오에서, 컴퓨팅 시스템은 제2 컴퓨터 생성 경험(7030)(예컨대, 도 7h에 예시된 컴퓨팅 시스템의 제2 상태에 대응하는 경험)을 디스플레이한다.

도 7j에서, 제1 사용자는 제1 디스플레이 생성 컴포넌트와 위치 A(7000-a)에 함께 위치되고, 제1 디스플레이 생성 컴포넌트(7100)의 디스플레이 면을 향하고 있다. 이는 일부 실시예들에 따른, 제1 디스플레이 생성 컴포넌트(7100)가 제1 사용자 또는 제1 사용자의 미리설정된 부분에 대해 미리설정된 구성에 있는(예컨대, 제1 디스플레이 생성 컴포넌트가 사용자의 얼굴 또는 눈들 전방에 배치됨) 다른 예시적인 시나리오를 예시하기 위한 것이다. 도 7j에 도시된 시나리오에서, 제1 사용자(7202)는 더 이상 그녀의 손으로 센서 객체(7016)를 유지하고 있지 않지만, 제1 사용자(7202)가 이제 센서 객체(7016)를 착용하고 있도록, 센서 객체를 그녀의 신체(예컨대, 그녀의 등)에 배치하였다. 사용자의 손 및 신체에 대한 센서 객체(7016)의 이러한 위치는, 제1 디스플레이 생성 컴포넌트(7100)가 제1 사용자에 의해 착용될 때의 제1 디스플레이 생성 컴포넌트의 상태에 대응한다. 제1 디스플레이 생성 컴포넌트가 제1 사용자에 의해 착용될 때의 제1 디스플레이 생성 컴포넌트의 상태에 대응하는 다른 예시적인 시나리오는, 제1 디스플레이 생성 컴포넌트가 HMD의 디스플레이(예컨대, HMD의 내부 디스플레이)이고, HMD가 제1 사용자의 머리에 정상적으로 착용될(예컨대, 사용자의 손(들)에 의해 지지되고 있는 것과는 대조적으로, 사용자의 코, 귀들 및/또는 머리에 스트래핑됨, 그에 버클로 채워짐, 그에 완전히 놓임) 때이다. 일부 실시예들에서, 센서 객체(7016)가 사용자에 의해 착용되고 제1 사용자의 손으로 유지되지 않는 시나리오(이는, 또한, 제1 디스플레이 생성 컴포넌트가 사용자의 얼굴 또는 눈들 전방에 배치될 때, 사용자에 의해 착용되고 있고 사용자의 손에 의해 지지되고 있지 않은 것에 대응함)에서, 컴퓨팅 시스템은 제3 컴퓨터 생성 경험(7036)(예컨대, 도 7h에 예시된 컴퓨팅 시스템의 제2 상태(예컨대, 정사각형(7026)을 보여줌)에 또한 대응하지만, 센서 객체(7016)의 상태(및 이에 대응하여, 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100) 또는 HMD의 내부 디스플레이)의 착용 상태)로 인해 제2 컴퓨터 생성 경험(예컨대, 도 7i의 경험(7030))과는 상이한 다른 경험)을 디스플레이한다.

도 7j에 도시된 바와 같이, 컴퓨팅 시스템은, 제1 사용자(7202)가 그녀의 손을 공중에서 이동시켜 인 에어 제스처를 제공하는 것을 (예컨대, 카메라(7104) 및/또는 다른 센서들을 사용하여) 검출하고, 이에 응답하여 가상 객체(7032)를 물리적 객체(7028)의 표현(7028')의 상단 상으로 이동시킨다. 일부 실시예들에서, 컴퓨팅 시스템은, 제3 컴퓨터 생성 경험(7036)을 디스플레이하는 동안, 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD의 내부 디스플레이, HMD의 단일 디스플레이 등)의 하우징 상에 제공된 입력 디바이스들(예컨대, 터치 감응형 표면들, 버튼들, 스위치들 등) 중 적어도 일부를 디스에이블시킨다. 일부 실시예들에서, 컴퓨팅 시스템은 (예컨대, 센서 객체(7016), 또는 다른 센서들 등의 상태에 기초하여 결정된 바와 같이) 제1 디스플레이 생성 컴포넌트가 제1 사용자(7202)에 의해 착용되지 않았을 때 인에이블되지 않았던 적어도 하나의 상호작용 모델(예컨대, 인 에어 손 제스처들, 마이크로 제스처들, 및/또는 제1 디스플레이 생성 컴포넌트의 하우징과 별개의 입력 디바이스들을 통해 검출되는 입력 등을 지원하는 상호작용 모델들)을 인에이블한다. 일부 실시예들에서, 제3 컴퓨터 생성 경험(7036) 및 제2 컴퓨터 생성 경험(7030)은, 대응하는 콘텐츠(예컨대, 동일한 콘텐츠, 또는 동일한 콘텐츠의 상이한 버전들)를 그러나 상이한 상호작용 모델들(예컨대, 상이한 상호작용 모델들, 또는 상호작용 모델들의 중첩되지만 상이한 세트들 등)을 갖는 관련된 경험들이다.

도 7i 및 도 7j에 도시된 바와 같이, 일부 실시예들에서, 컴퓨팅 시스템은 선택적으로 제2 디스플레이 생성 컴포넌트(예컨대, 제1 디스플레이 생성 컴포넌트와는 상이한 하우징에 포함되는 디스플레이(예컨대, 디스플레이(7102)), 또는 제1 디스플레이 생성 컴포넌트와 동일한 하우징(예컨대, 내부 디스플레이 및 외부 디스플레이를 갖는 HMD)에 (예컨대, 백투백 상태로 또는 달리 상이한 방향들을 향하는 상태로) 포함되는 디스플레이)를 포함한다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트는, 선택적으로, 제1 디스플레이 생성 컴포넌트를 통해 표시된 콘텐츠와 관련된 상태 정보(예컨대, 콘텐츠의 변경된 시각적 표현)를 디스플레이하고, 선택적으로, 제1 사용자의 상태와 관련된 상태 정보(예컨대, 사용자의 얼굴 또는 눈들의 이미지들 또는 표현들) 및/또는 컴퓨팅 시스템의 동작 모드(예컨대, 혼합 현실 모드, 가상 현실 모드, 완전 패스 스루 모드, 부모 통제 모드, 개인 모드, DND 모드 등)를 디스플레이한다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트는, 또한, 제1 디스플레이 생성 컴포넌트에 의한 디스플레이를 위해 이용가능한 컴퓨터 생성 경험들에 대응하는 사용자 인터페이스 요소들을 디스플레이한다. 제2 디스플레이 생성 컴포넌트의 동작들 및 제1 디스플레이 생성 컴포넌트의 대응하는 동작들에 대한 더 많은 상세사항들은 도 7a 내지 도 7e와 도 7f 내지 도 7i, 및 도 8 내지 도 13과 관련하여 설명되는 프로세스와 관련하여 설명된다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트가 사용자에 대해 미리설정된 구성에 배치될 때, 제1 디스플레이 생성 컴포넌트가 사용자에 의해 착용되고 있는지 여부에 기초하여 상이한 컴퓨터 생성 경험들을 디스플레이하는 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트 이외의 다른 디스플레이 생성 컴포넌트를 갖지 않으며, 그에 따라, 상태 정보 및/또는 본 명세서에 기재된 컴퓨터 생성 경험들의 이용가능성을 나타내는 사용자 인터페이스 요소들을 디스플레이하지 않는다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트가 제1 사용자에 의해 착용되고 있는지 여부(예컨대, HMD가 사용자의 머리에 스트래핑되거나 버클로 채워지고 사용자의 손(들)의 지지 없이 사용자의 눈들 전방에 유지될 수 있는지, 또는 단지 사용자의 손(들)에 의해 사용자의 눈들 전방에 유지되고 있고 사용자의 손(들)의 지지가 없으면 떨어져 나갈 것인지)에 따라, 제1 디스플레이 생성 컴포넌트가 제1 사용자에 대해 미리설정된 구성으로 배치될 때(예컨대, 제1 디스플레이 생성 컴포넌트의 디스플레이 면이 사용자의 눈들 또는 얼굴을 향하고 있고/있거나 사용자의 얼굴로부터의 임계 거리 내에 있음 등), 컴퓨팅 시스템은, 선택적으로, 제1 디스플레이 생성 컴포넌트를 사용하여 상이한 유형들의 사용자 인터페이스들(예컨대, 시스템 사용자 인터페이스(예컨대, 애플리케이션 개시 사용자 인터페이스, 홈 스크린, 멀티태스킹 사용자 인터페이스, 구성 사용자 인터페이스 등) 대 애플리케이션 사용자 인터페이스(예컨대, 카메라 사용자 인터페이스, 적외선 스캐너 사용자 인터페이스(예컨대, 현재 물리적 환경의 히트 맵(heat map)을 보여줌), 증강 현실 측정 애플리케이션(예컨대, 카메라 뷰에서 물리적 객체들의 측정치들을 자동으로 디스플레이함) 등))을 디스플레이한다. 일부 실시예들에서, 컴퓨팅 시스템은, 컴퓨팅 시스템이 제1 디스플레이 생성 컴포넌트를 사용하여 애플리케이션 사용자 인터페이스를 디스플레이하고 있을 때, 제1 디스플레이 생성 컴포넌트의 하우징 상에 배치된 입력 디바이스(예컨대, 터치 센서, 접촉 세기 센서, 버튼, 스위치 등)를 통해 검출되는 사용자 입력에 응답하여, 카메라 뷰 내에 캡처된 물리적 환경의 사진 또는 비디오를 촬영한다.

일부 실시예들에서, 컴퓨팅 시스템은, 사용자가 제1 디스플레이 생성 컴포넌트를 그/그녀의 눈들 전방에 유지하고 있고 제1 디스플레이 생성 컴포넌트를 착용하고 있지 않은 동안 검출되는 사용자 입력에 대한 응답을 결정할 때, 제1 사용자 전방에서 검출되는 마이크로 제스처 입력들 및/또는 인 에어 제스처 입력들(예컨대, 마이크로 제스처 입력들 및 인 에어 제스처 입력들은 제1 디스플레이 생성 컴포넌트의 하우징을 유지하고 있지 않은 사용자의 손에 의해 수행됨)보다, 제1 디스플레이 생성 컴포넌트의 하우징 상에 위치된 터치 기반 입력 디바이스들 상에서 검출되는 터치 입력들을 우선순위화한다. 일부 실시예들에서, 컴퓨팅 시스템은, 사용자가 제1 디스플레이 생성 컴포넌트를 착용하고 있을 때(예컨대, 사용자의 손들이 제1 디스플레이 생성 컴포넌트를 지지하도록 요구되지 않을 때) 검출되는 사용자 입력에 대한 응답을 결정할 때, 제1 디스플레이 생성 컴포넌트의 하우징 상에 위치된 터치 기반 입력 디바이스들 상에서 검출되는 터치 입력들보다, 제1 사용자 전방에서 검출되는 마이크로 제스처 입력들 및/또는 인 에어 제스처 입력들을 우선순위화한다. 일부 실시예들에서, 다수의 유형들의 입력들(예컨대, 제1 디스플레이 생성 컴포넌트로부터 떨어져 손에 의해 수행되는 입력들, 제1 디스플레이 생성 컴포넌트 또는 그의 하우징을 터치하는 손에 의해 수행되는 입력들 등)을 동시에 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트가 사용자에 대해 미리설정된 구성에 있는 동안 사용자에 의해 착용되고 있다는(예컨대, 제1 디스플레이 생성 컴포넌트를 포함하는 HMD가 사용자의 머리에 스트래핑됨, 버클로 채워짐, 사용자의 손에 의해 지지되고 있지 않음 등) 결정에 따라, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트 및 그의 하우징으로부터 떨어져 위치된 손에 의해 수행되는 제스처들(예컨대, 인 에어 제스처들, 마이크로 제스처들 등)(예컨대, 제스처는 HMD 상의 카메라, 기계적 또는 터치 감응형 입력 디바이스, 또는 사용자의 손에 착용된 센서 등에 의해 캡처됨)에 기초하여, 디스플레이된 컴퓨터 생성 경험과의 상호작용을 가능하게 한다. 제1 디스플레이 생성 컴포넌트가 사용자에 대해 미리설정된 구성에 있는 동안 사용자에 의해 착용되고 있지 않다는(예컨대, 사용자의 머리에 스트래핑되지 않음, 버클로 채워지지 않음, 사용자의 손에 의해 지지되고 있음 등) 결정에 따라, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트 또는 그의 하우징 상에서 손에 의해 수행되는 제스처들(예컨대, 터치 제스처들, 물리적 제어부들의 조작 등)(예컨대, 제스처는 HMD의 하우징의 터치 감응형 표면, HMD의 하우징 상의 버튼 또는 스위치 등에 의해 캡처됨)에 기초하여, 디스플레이된 컴퓨터 생성 경험과의 상호작용을 가능하게 한다.

도 7k 내지 도 7m은, 적어도 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD의 내부 디스플레이, HMD의 단일 디스플레이 등) 및 선택적으로 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102), HMD의 외부 디스플레이 등)를 포함하는 컴퓨팅 시스템(예컨대, 도 1의 컴퓨팅 시스템(101) 또는 도 4의 컴퓨팅 시스템(140))을 예시하며, 여기에서 컴퓨팅 시스템은, 물리적 환경에서의 사용자와 물리적 객체 사이의 물리적 상호작용들(예컨대, 악기를 집어 들고 악기를 연주함, 책을 집어 들고 책을 펼침, 박스를 잡고 박스를 엶 등)에 따라, 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD의 내부 디스플레이, HMD의 단일 디스플레이 등)를 통해 사용자에게 컴퓨터 생성 경험(예컨대, 증강 현실 경험, 증강 가상 경험, 가상 현실 경험 등)을 디스플레이한다. 일부 실시예들에서, 물리적 객체에 대응하는 미리설정된 기준들을 충족시키는 소정 물리적 상호작용들만이 컴퓨터 생성 경험의 디스플레이를 트리거할 수 있다. 일부 실시예들에서, 상이한 컴퓨터 생성 경험들이, 선택적으로, 기준들의 다수의 세트들 중 어느 것이 물리적 객체와의 물리적 상호작용에 의해 충족되는지에 따라 디스플레이된다. 일부 실시예들에서, 상이한 컴퓨터 생성 경험들은 물리적 객체를 동작시키는 상이한 모드들(예컨대, 탭핑, 스트러밍(strumming), 스트로킹, 개방, 스윙잉(swinging) 등)에 대응하는 상이한 증강 현실 경험들을 포함한다. 도 7k 내지 도 7m은 도 8 내지 도 13에서의 프로세스들을 포함한, 아래에서 설명되는 프로세스들을 예시하기 위해 사용된다.

도 7k에 도시된 바와 같이, 사용자(예컨대, 사용자(7202))는 벽들 및 바닥을 갖는 룸에 물리적 객체(예컨대, 박스 뚜껑(7042) 및 박스 몸체(7040)를 포함하는 객체, 책, 악기 등)를 포함하는 장면(105)에 존재한다. 도 7k에서, 사용자는 그의 손(7036)으로 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD, 핸드헬드 디바이스 등)를 유지하고 있다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는 사용자의 손(7036)으로 유지되지 않지만, 사용자의 신체(예컨대, 머리, 귀들, 코 등)에 놓인 하우징 또는 지지 구조물에 의해 지지된다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트(예컨대, 헤드업 디스플레이, 프로젝터 등)는 제1 사용자의 눈들 또는 얼굴 전방에 배치되고, 사용자의 신체의 일부가 아닌 다른 지지 구조물들(예컨대, 테이블 상판, TV 스탠드 등)에 의해 지지된다.

일부 실시예들에서, 도 7k에 도시된 바와 같이, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD의 디스플레이 등)를 통해, 물리적 환경(예컨대, 물리적 객체를 포함하는 룸)의 증강 현실 뷰(105')를 제공한다. 물리적 환경의 증강 현실 뷰에서, 물리적 환경의 일부분의 뷰는 물리적 객체의 표현(예컨대, 박스 뚜껑(7042)에 대한 표현(7042'), 및 박스 몸체(7040)에 대한 표현(7040')을 포함함) 및 선택적으로 주변 환경의 표현들(예컨대, 물리적 객체를 지지하는 지지 구조물(7044)의 표현(7044'), 및 룸의 벽들 및 바닥의 표현들)을 포함한다. 환경 내의 물리적 객체들의 표현들에 더하여, 컴퓨팅 시스템은, 또한, 물리적 객체(예컨대, 뚜껑(7042) 및 몸체(7040)를 포함하는 박스, 환경 내의 다른 물리적 객체 등)에 대응하는 하나 이상의 컴퓨터 생성 경험들이 제1 디스플레이 생성 컴포넌트를 통한 디스플레이를 위해 이용가능하다는 시각적 표시(예컨대, 라벨(7046), 또는 다른 시각적 표시들 등)를 포함한 일부 가상 콘텐츠(예컨대, 사용자 인터페이스 객체들, 물리적 객체들의 시각적 증강들 등)를 디스플레이한다. 도 7k(B)에 도시된 바와 같이, 일부 실시예들에서, 시각적 표시(예컨대, 라벨(7046))는 물리적 객체의 위치에 대응하는 위치에서(예컨대, 박스 뚜껑(7042)의 위치에서) 물리적 환경의 뷰에 디스플레이된다. 예를 들어, 라벨(7046)은 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 물리적 환경의 뷰에서 박스 뚜껑(7042) 위에 놓여 있는 것처럼 보인다.

일부 실시예들에서, 시각적 표시(예컨대, 라벨(7046), 또는 다른 시각적 표시들 등)는 제1 디스플레이 생성 컴포넌트에 의해 디스플레이되는 데 이용가능한 컴퓨터 생성 경험에 관한 설명 정보(예컨대, 아이콘들, 그래픽들, 텍스트, 애니메이션들, 비디오 클립들, 이미지들 등)를 포함한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트에 의해 표시된 물리적 환경의 증강 현실 뷰가 물리적 객체의 임계 부분 미만의 표현만을 포함하도록(예컨대, 물리적 객체의 50% 미만, 또는 물리적 객체의 주요 부분(예컨대, 박스의 뚜껑(7042), 책의 제목 텍스트, 악기의 소리 생성 부분 등)을 포함하지 않고서 등), 컴퓨팅 시스템의 제1 디스플레이 생성 컴포넌트 또는 하나 이상의 카메라들이 물리적 환경에서 이동할 때, 및/또는 물리적 객체가 물리적 환경에서 이동할 때, 컴퓨팅 시스템은 증강 현실 환경의 뷰에 시각적 표시를 디스플레이하는 것을 중지한다(또는 디스플레이하는 것을 보류함).

일부 실시예들에서, 시각적 표시는 컴퓨터 생성 경험의 디스플레이를 트리거하는 데 필요한 물리적 상호작용에 관한 프롬프트들 또는 안내 정보(예컨대, 애니메이션화된 일러스트레이션들, 물리적 객체의 표현의 특정 부분들을 가리키는 표시자들 등)를 포함한다. 일부 실시예들에서, 컴퓨팅 시스템은, 미리설정된 제1 기준들(예컨대, 사용자가 컴퓨터 생성 경험을 보는 데 관심이 있다고 평가하는 데 사용되는 기준들, 사용자의 존재를 검출하기 위해 사용되는 기준들, 물리적 객체 상에서의 사용자의 손 접촉을 검출하기 위한 기준들 등)을 충족시키는 일부 사용자 입력들을 검출하는 것에 응답하여, 컴퓨터 생성 경험의 디스플레이를 트리거하는 데 필요한 물리적 상호작용에 관한 프롬프트들 또는 안내 정보만을 디스플레이한다. 도 7l에 예시된 바와 같이, 일부 실시예들에서, 컴퓨팅 시스템은, 컴퓨터 시스템이 사용자가 그/그녀의 손으로 물리적 객체를 터치하고 있지만 컴퓨터 생성 경험의 디스플레이를 트리거하기 위한 필요한 상호작용을 수행하고 있지 않다는 것(예컨대, 손(7038)이 물리적 객체의 박스 뚜껑(7042) 또는 박스 몸체(7040)를 터치하고 있지만, 박스 뚜껑(7042)을 열고 있지 않음)을 검출할 때, 사용자에게 박스 뚜껑(7042)을 열 것을 촉구하기 위해, 박스 뚜껑(7042)의 위치에 대응하는 증강 현실 환경의 뷰 내의 위치에 프롬프트 또는 안내 정보(예컨대, 애니메이션화된 화살표(7048), 또는 다른 시각적 효과들 또는 가상 객체들 등)를 디스플레이한다. 일부 실시예들에서, 프롬프트 및 안내 정보는, 사용자가 물리적 객체와 상호작용하고 있는 방식에 따라 업데이트된다(예컨대, 화살표의 방향, 애니메이션의 시퀀스 등). 일부 실시예들에서, 사용자의 손의 표현(예컨대, 손(7038)의 표현(7038'))은, 사용자가 그 손을 사용하여 물리적 환경에서 물리적 객체를 조작함에 따라 물리적 환경의 증강 현실 뷰(105')에 표시된다. 프롬프트들 및 안내 정보는, 일단 물리적 객체와의 필요한 물리적 상호작용(예컨대, 뚜껑(7048)을 엶, 다른 일부 다른 상호작용들(예컨대, 뚜껑(7048)을 벗긴 후 지지부(7044)로부터 박스(7040)를 집어 듦) 등)이 검출되면, 제1 디스플레이 생성 컴포넌트를 통한 디스플레이를 위해 이용가능한 실제 컴퓨터 생성 경험과는 상이하다는 것에 유의한다. 일부 실시예들에서, 컴퓨팅 시스템은, 컴퓨터 생성 경험의 디스플레이를 트리거하기 위한 기준들을 충족시키지 않는, 물리적 객체와의 물리적 상호작용들에 응답하여, 어떠한 프롬프트 또는 안내 정보도 디스플레이하지 않는다(예컨대, 컴퓨팅 시스템은 컴퓨터 생성 경험을 디스플레이하지 않고 프롬프트 및 안내 정보를 디스플레이하지 않지만, 선택적으로, 컴퓨터 생성 경험이 디스플레이되는 데 이용가능하다는 것을 나타내기 위해 시각적 표시(예컨대, 라벨(7046))의 디스플레이를 유지함).

도 7m에 도시된 바와 같이, 일부 실시예들에서, 컴퓨팅 시스템이 사용자가 컴퓨터 생성 경험의 디스플레이를 트리거하는 데 필요한, 물리적 객체와의 물리적 상호작용을 수행하였다는 것을 검출할 때, 컴퓨팅 시스템은 컴퓨터 생성 경험을 디스플레이한다. 예를 들어, 사용자의 손(7038)이 박스 몸체(7040)로부터 박스 뚜껑(7042)을 들어 올리는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템은, 물리적 객체와의 필요한 물리적 상호작용이 컴퓨터 생성 경험의 디스플레이를 트리거하기 위한 미리설정된 기준들을 충족시켰다고 결정하고, 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD의 내부 디스플레이, HMD의 단일 디스플레이 등)를 사용하여 컴퓨터 생성 경험을 디스플레이한다. 도 7m에서, 컴퓨터 생성 경험은, 사용자의 손(7038)의 표현(7038'), 박스 뚜껑(7042)의 표현(7042'), 및 박스 몸체(7040)의 표현(7040')을 물리적 환경에서의 그들의 물리적 위치들 및 배향들에 대응하는 위치들에서 그리고 배향들로 보여주는 증강 현실 경험이다. 게다가, 일부 실시예들에서, 증강 현실 경험은, 또한, 물리적 환경의 표현과 동시에 가상 콘텐츠(예컨대, 박스 몸체(7040) 밖으로 튀어나오는 것처럼 보이고 박스 몸체 내측에 가상 그림자를 드리우는 가상 볼(7050), 박스(7040) 아래의 물리적 지지부(7044)의 표현을 대체하는 가상 플랫폼(7052) 등)를 보여준다. 게다가, 일부 실시예들에서, 물리적 환경 내의 벽들의 표현들은 증강 현실 경험에서 가상 오버레이들로 대체된다. 일부 실시예들에서, 일단 컴퓨터 생성 경험이 시작되면 사용자가 물리적 객체와 계속 상호작용함에 따라, 컴퓨팅 시스템은 물리적 객체(예컨대, 박스 몸체(7040), 박스 뚜껑(7042) 등)의 사용자의 물리적 조작들에 따른, 그리고 선택적으로, 컴퓨팅 시스템의 다양한 입력 디바이스들을 통해 검출되는 다른 입력들(예컨대, 제스처 입력들, 터치 입력들, 시선 입력들, 음성 입력들 등)에 따른 증강 현실 환경의 변화들을 디스플레이한다. 일부 실시예들에서, 컴퓨터 생성 경험은 물리적 객체와의 지속적인 물리적 상호작용에 따라 결정되는 방식으로 진행된다. 예를 들어, 사용자가 물리적 환경에서 박스 뚜껑(7042)을 이동시키는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템은 박스 뚜껑(7042)의 표현(7042')을 이동시켜 가상 볼(7050)을 박스 몸체(7040)의 표현(7040') 위의 빈 공간에 밀어 넣고; 사용자가 박스 뚜껑(7042)을 다시 박스 몸체(7040) 상에 놓는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템은 박스 뚜껑(7042)의 표현(7042')을 다시 박스 몸체(7040)의 표현(7040') 상에 디스플레이하고, 가상 볼(7050)을 디스플레이하는 것을 중지한다. 일부 실시예들에서, 컴퓨팅 시스템은, 컴퓨터 생성 경험의 디스플레이를 트리거하기 위해 필요한 물리적 상호작용을 수행할 때, 사용자가 물리적 객체와 물리적으로 접촉할 것을 요구하고; 컴퓨팅 시스템은, 사용자가 임계 시간 초과 동안 물리적 객체와의 물리적 접촉을 중지하였다는 결정에 따라, 컴퓨터 생성 경험을 디스플레이하는 것을 중지한다. 예를 들어, 일부 실시예들에서, 컴퓨팅 시스템은, 물리적 객체가 사용자의 손으로부터 해제되는 것을 검출할 시에 즉시, 컴퓨터 생성 경험을 디스플레이하는 것을 중지한다. 일부 실시예들에서, 컴퓨팅 시스템은, 물리적 객체가 사용자의 손으로부터의 그의 해제 후 다른 물리적 표면 상에 랜딩(landing)하여 정지하였다는 것을 검출할 시에, 컴퓨터 생성 경험을 디스플레이하는 것을 중지한다.

일부 실시예들에서, 컴퓨터 생성 경험의 디스플레이를 트리거하기 위한 기준들 전에 물리적 객체와의 사용자의 물리적 상호작용을 검출하는 것에 응답하여 제공되는 시각적 피드백은 컴퓨터 생성 경험의 미리보기를 포함하고, 그가 검출될 때 물리적 상호작용의 특성들에 따라 동적으로 업데이트되는 시각적 특성들을 갖는다. 예를 들어, 애니메이션, 시각적 효과 및/또는 가상 객체의 정도(예컨대, 크기, 치수들, 각도 범위 등), 시각적 피드백에서의 상세사항들의 양, 시각적 피드백의 밝기, 색상 포화도, 시각적 선명도 등, 기타 등등은, 선택적으로, 물리적 환경에서의 물리적 객체와의 상호작용의 특성 값(예컨대, 특성 값은 이동 거리, 이동의 각도 범위, 이동 속도, 상호작용의 유형, 미리결정된 기준점까지의 거리 등을 포함함)에 따라 (예컨대, 실시간으로 동적으로, 주기적으로 등) 조정된다. 예를 들어, 일부 실시예들에서, 물리적 객체가 책일 때, 책의 표지가 물리적 환경에서 사용자에 의해 천천히 펼쳐짐에 따라, 컴퓨터 생성 경험의 색상과 광이 표지와 첫 페이지 사이의 갭으로부터 나오고, 표지가 점점 더 펼쳐짐에 따라, 더 밝아지고 더 포화된다. 완전한 컴퓨터 생성 경험은, 선택적으로, 책의 표지가 임계량을 넘어 펼쳐지고 제1 기준들이 충족될 때 3차원 환경에서 시작된다. 다른 예에서, 사용자가 박스 뚜껑(7042)의 코너를 조금 들어 올릴 때, 가상 광이 박스 몸체(7040)의 표현(7040')으로부터 나오는 것으로 표시되고, 가상 볼(7050)이 잠깐 표시된다. 사용자가 박스 뚜껑(7042)의 코너를 더 높이 들어 올림에 따라, 더 많은 가상 광이 박스 몸체(7040)의 표현(7040')으로부터 나오는 것으로 표시되고, 가상 볼(7050)이 박스 몸체(7040)의 표현(7040')에서 움직이기 시작한다. 사용자가 최종적으로 박스 몸체(7040)로부터 멀리 박스 뚜껑(7042)을 들어 올릴 때, 컴퓨터 생성 경험이 시작되고, 전체 3차원 환경이 변화하며, 룸의 표현이 가상 플랫폼(7052)으로 대체되고, 가상 볼(7050)이 박스의 표현(7040') 밖으로 튀어나온다.

일부 실시예들에서, 컴퓨터 생성 경험은, 선택적으로, 하나 초과의 유형의 물리적 상호작용에 의해 트리거된다. 다시 말해서, 물리적 객체와 연관된 컴퓨터 생성 경험을 트리거하기 위한 기준들은, 선택적으로, 물리적 객체와 상호작용하는 제1 방식 및 물리적 객체와 상호작용하는 제2 방식에 의해 충족된다. 예를 들어, 책과 연관된 컴퓨터 생성 경험은, 선택적으로, 사용자가 책을 집어 들고 그를 책 표지가 사용자의 얼굴에 대해 똑바로 세워진 상태로 책꽂이 상에 기대 놓는 것에 응답하여, 그리고 사용자가 책을 집어 들고 그/그녀의 손으로 표지를 펼치는 것에 응답하여 시작된다. 일부 실시예들에서, 컴퓨터 생성 경험은, 선택적으로, 컴퓨터 생성 경험의 상이한 부분들로부터 시작된다. 예를 들어, 물리적 객체와 연관된 컴퓨터 생성 경험을 트리거하기 위한 기준들은, 선택적으로, 물리적 객체와 상호작용하는 동일한 방식으로 그러나 상이한 파라미터 값들(예컨대, 상이한 페이지들, 상이한 속도, 상이한 시간 등)로 충족된다. 예를 들어, 책과 연관된 컴퓨터 생성 경험은, 선택적으로, 사용자가 책을 집어 들고 그를 첫 페이지부터 펼치는 것에 응답하여, 컴퓨터생성 경험의 제1 부분으로부터 시작되고; 선택적으로, 사용자가 책을 집어 들고 이전에 북 마킹된 페이지부터 펼치는 것에 응답하여, 컴퓨터 생성 경험의 상이한 제2 부분으로부터 시작된다. 다른 예에서, 책을 천천히 펼치는 것은 부드러운 배경 음악 및/또는 더 차분한 색상들로 컴퓨터 생성 경험을 트리거하고, 책을 빨리 펼치는 것은 더 경쾌한 배경 음악 및 더 밝은 색상들로 컴퓨터 생성 경험을 트리거한다. 책의 예는 단지 예시적인 것이다. 동일한 원리들이 다른 유형들의 물리적 객체들 및 다른 트리거링 물리적 상호작용들과 연관된 다른 컴퓨터 생성 경험들에 적용된다. 일부 실시예들에서, 상이한 컴퓨터 생성 경험들이 동일한 물리적 객체와 연관되고, 물리적 객체와 상호작용하는 상이한 방식들에 의해 트리거된다. 예를 들어, 박스는 2개의 상이한 컴퓨터 생성 경험들과 연관되며, 제1 컴퓨터 생성 경험은, 사용자가 박스의 뚜껑을 열 때 트리거되고(예컨대, 가상 볼들이 사용자가 뚜껑으로 밀기 위해 박스 밖으로 튀어나옴), 제2 컴퓨터 생성 경험은, 사용자가 박스를 거꾸로 뒤집을 때 트리거된다(예컨대, 가상 벌레가 박스의 하단으로부터 나오고, 박스의 하단에서 이동하는 사용자의 손가락을 뒤쫓음). 일부 실시예들에서, 물리적 객체와 상호작용하는 상이한 방식들은 상이한 입력 양식(input modality)들을 가능하게 하는 컴퓨터 생성 경험의 상이한 버전들을 트리거한다. 예를 들어, 책이 한 손에 의해 유지되고 다른 손에 의해 펼쳐질 때, 한 손 인 에어 제스처들(예컨대, 에어 탭 제스처들, 손 흔들기, 수화 제스처들 등) 및 마이크로 제스처들이 컴퓨터 생성 경험과 상호작용하기 위해 인에이블되고, 터치 제스처들은 컴퓨터 생성 경험과 상호작용하기 위해 인에이블되지 않는다. 책이 두 손에 의해 펼쳐져 유지될 때, 인 에어 제스처들이 디스에이블되고, 책의 후방, 전방 및/또는 측부 표면들 상에서의 터치 제스처들(예컨대, 탭들, 스와이프들 등)이 컴퓨터 생성 경험과 상호작용하기 위해 인에이블된다.

도 7n 내지 도 7q는 일부 실시예들에 따른, 입력 시에 하우징 상에서 한 손이 검출되었는지 또는 두 손이 검출되었는지에 따라, 디스플레이 생성 컴포넌트의 하우징 상에서 검출된 입력에 응답하여 동작을 수행할지 여부를 선택하는 것을 예시한다. 일부 실시예들에서, 두 손이 디스플레이 생성 컴포넌트의 하우징 상에서(예컨대, 디스플레이 생성 컴포넌트를 포함하는 HMD의 하우징 상에서, 디스플레이 생성 컴포넌트의 프레임들 상에서) 동시에 검출될 때, 입력 양식으로서의 터치 입력들이 디스에이블된다. 일부 실시예들에서, 컴퓨팅 시스템은, 한 손(예컨대, 터치 입력을 제공하는 손)만이 디스플레이 생성 컴포넌트의 하우징을 터치하고 있는 한, 디스플레이 생성 컴포넌트의 하우징 상에서(예컨대, 디스플레이 생성 컴포넌트의 구조물 상에 또는 그 주위에 배치된 터치 감응형 표면 또는 다른 터치 센서들 상에서) 사용자의 어느 한 손에 의해 수행되는 터치 입력에 응답할 것이고; 컴퓨팅 시스템이, 터치 입력이 검출되는 시점에 추가의 손이 또한 디스플레이 생성 컴포넌트의 하우징을 터치하고 있다는 것을 검출하는 경우, 컴퓨팅 시스템은 터치 입력을 무시하고, 터치 입력에 대응하는 동작(예컨대, 제어부를 활성화함, 컴퓨터 생성 경험과 상호작용함 등)을 수행하는 것을 보류한다. 일부 실시예들에서, 컴퓨팅 시스템은 한 손에 의해 제공되는 터치 입력들을 검출하는 데 사용되는 동일한 센서들 및 입력 디바이스들을 사용하여 양손의 존재를 검출한다. 일부 실시예들에서, 카메라들이 사용자의 손들의 위치들을 캡처하는 데 사용되고, 카메라들로부터의 이미지들은, 터치 입력이 디스플레이 생성 컴포넌트의 하우징 상에 존재하는 하나 이상의 터치 센서들에 의해 검출될 때, 사용자의 손들 둘 모두가 디스플레이 생성 컴포넌트의 하우징을 터치하고 있는지를 결정하기 위해, 컴퓨팅 시스템에 의해 사용된다. 일부 실시예들에서, 터치 입력들, 및/또는 디스플레이 생성 컴포넌트의 하우징을 사용자의 한 손이 터치하거나 지지하고 있는지 또는 사용자의 양손이 터치하거나 지지하고 있는지를 검출하기 위한 다른 수단이 구현된다. 예를 들어, 다양한 실시예들에 따르면, 위치 센서들, 근접 센서들, 기계적 센서들 등이 디스플레이 생성 컴포넌트의 하우징 상에서의 사용자의 손(들)의 존재 및 자세를 검출하는 데 사용될 수 있다.

도 7n에서, 사용자(예컨대, 사용자(7202))는, 물리적 객체(예컨대, 박스(7052)), 벽들(7054, 7056) 및 바닥(7058)을 포함하는 물리적 장면(105)에 존재한다. 사용자(7202)는 스탠드에 의해 지지되는 디스플레이 생성 컴포넌트(7100)(예컨대, 태블릿 디스플레이 디바이스, 프로젝터, HMD, HMD의 내부 디스플레이, 헤드업 디스플레이 등) 전방에 서 있다. 디스플레이 생성 컴포넌트(7100)는 물리적 환경(105)의 뷰를 디스플레이한다. 예를 들어, 일부 실시예들에서 물리적 환경의 뷰는 물리적 환경의 카메라 뷰이다. 일부 실시예들에서, 물리적 환경의 뷰는 디스플레이 생성 컴포넌트의 투명 부분을 통해 제공된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(7100)는, 물리적 환경의 뷰 및 물리적 환경의 뷰의 일부분 상에 오버레이되거나 그를 대체하여 디스플레이되는 가상 객체들 및 콘텐츠 둘 모두를 갖는 증강 현실 환경을 디스플레이한다. 도 7n에 도시된 바와 같이, 물리적 환경의 뷰는 박스(7052)의 표현(7052'), 벽들(7054, 7056)의 표현들(7054', 7056'), 및 바닥(7058)의 표현(7058')을 포함한다. 도 7n에서, 사용자(7202)는 디스플레이 생성 컴포넌트의 하우징을 터치하고 있지 않으며, 컴퓨팅 시스템은 디스플레이 생성 컴포넌트의 하우징 상에서의 어떠한 터치 입력도 검출하지 않는다. 일부 실시예들에서, 사용자의 손(7038)의 표현(7038')은 물리적 환경의 표현의 일부로서 디스플레이 생성 컴포넌트(7100)를 통해 표시된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(7100)는, 그의 하우징 상에서 임의의 터치 입력이 검출되기 전에, 가상 환경을 디스플레이하거나 아무것도 디스플레이하지 않는다.

일부 실시예들에서, 터치 입력들에 더하여, 컴퓨팅 시스템은, 선택적으로, 디스플레이 생성 컴포넌트의 하우징 근처에서의 호버 입력들을 검출하도록 구성된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트의 하우징 상에 위치된 근접 센서들은, 사용자의 손가락들 또는 손들이 디스플레이 생성 컴포넌트의 하우징에 접근하는 것을 검출하도록 그리고 디스플레이 생성 컴포넌트의 하우징에 대한 손가락들 또는 손들의 근접(예컨대, 터치 입력들을 검출하도록 구성되는 하우징의 일부분들, 하우징의 다른 부분들 등에 대한 근접)에 기초하여 입력 신호들을 생성하도록 구성된다. 일부 실시예들에서, 컴퓨팅 시스템은 (예컨대, 디스플레이 생성 컴포넌트의 하우징의 상이한 부분들에 위치된 근접 센서들을 사용하여) 디스플레이 생성 컴포넌트의 하우징 근처의 상이한 위치들에서의 각각의 호버 입력들을 검출하도록 그리고 호버 입력들의 위치들에 따라 상이한 피드백을 제공하도록 구성된다. 일부 실시예들에서, 컴퓨팅 시스템은, 검출되는 호버 입력들의 호버 거리들(예컨대, 하우징의 표면 또는 하우징의 터치 감응형 부분들로부터의 손가락 끝(들)의 거리들)에 기초하여, 시각적 피드백의 다양한 특성들의 값들을 조정한다.

도 7o에 도시된 바와 같이, 일부 실시예들에서, 컴퓨팅 시스템은, 손(7038) 또는 그의 일부분(예컨대, 손(7038)의 손가락, 또는 손(7038)의 두 손가락 등)이 디스플레이 생성 컴포넌트(7100)의 하우징의 제1 터치 감응형 부분(예컨대, 디스플레이 생성 컴포넌트(7100)의 하우징의 좌측 에지의 상부 부분, HMD의 좌측 또는 상단 에지 부분 등)으로부터의 임계 거리 내로 이동하였다는 것을 검출한다. 손(7038) 또는 그의 일부분이 디스플레이 생성 컴포넌트(7100)의 하우징의 제1 터치 감응형 부분으로부터의 임계 거리 내로 이동하였다는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템은, 선택적으로, 손(7038) 또는 그의 일부분의 위치에 대응하는 위치들에 하나 이상의 사용자 인터페이스 객체들을 디스플레이한다. 예를 들어, 사용자 인터페이스 객체(7060)가 디스플레이 생성 컴포넌트(7100)의 하우징의 좌측 에지의 상부 부분(또는 HMD의 좌측 또는 상단 에지 부분 등) 근처에, 손(7038) 또는 손(7038)의 들어 올린 손가락 옆에 디스플레이된다. 일부 실시예들에서, 컴퓨팅 시스템은, 디스플레이 생성 컴포넌트의 하우징 근처에서의 손(7038) 또는 그의 일부분의 위치의 변화들(예컨대, 더 가깝게/더 멀리 이동함, 및/또는 좌측 에지를 따라 위아래로 이동함 등)에 따라, 디스플레이되는 하나 이상의 사용자 인터페이스 객체들의 위치들을 동적으로 업데이트한다(예컨대, 사용자 인터페이스 객체(7060)를 하우징의 좌측 에지로부터 더 가깝게 또는 더 멀리, 그리고/또는 하우징의 좌측 에지를 따라 위아래로 이동시킴). 일부 실시예들에서, 컴퓨팅 시스템은, 디스플레이 생성 컴포넌트의 하우징 근처에서의 손 또는 그의 일부분의 위치의 변화들에 따라, 디스플레이되는 하나 이상의 사용자 인터페이스 객체들의 외관을 동적으로 업데이트한다(예컨대, 크기, 형상, 색상, 불투명도, 해상도, 콘텐츠 등을 변경함). 일부 실시예들에서, 컴퓨팅 시스템은, 선택적으로, 디스플레이 생성 컴포넌트의 하우징 근처에서의 손(7038)의 자세의 변화(예컨대, 한 손가락 대신에 두 손가락을 들어 올림, 상이한 손가락을 들어 올림 등)에 따라, 디스플레이 생성 컴포넌트의 하우징의 제1 터치 감응형 부분 근처에 디스플레이되는 사용자 인터페이스 객체(들)의 유형들을 변경한다(예컨대, 제1 제어부(예컨대, 볼륨 제어부, 전력 제어부 등)의 표현을 디스플레이하는 것으로부터 제2 제어부(예컨대, 디스플레이 밝기 제어부, WiFi 제어부 등)의 표현을 디스플레이하는 것으로 변경함, 제1 유형의 어포던스(예컨대, 스크롤 바, 버튼 등)를 디스플레이하는 것으로부터 제2 유형의 어포던스(예컨대, 스크롤 휠, 스위치 등)를 디스플레이하는 것으로 변경함 등). 일부 실시예들에서, 하나 이상의 사용자 인터페이스 객체들은, 손(7038)이 디스플레이 생성 컴포넌트의 하우징의 제1 터치 감응형 부분에 더 가깝게 이동함에 따라, 제어부의 단순한 표시(예컨대, 작은 점, 희미한 그림자 등)로부터 제어부의 더 구체적이고 명확한 표현(예컨대, 컴퓨팅 시스템 또는 디스플레이 생성 컴포넌트의 상태를 나타내기 위한 그래픽들 및/또는 텍스트를 그들 상에 갖는 버튼 또는 스위치)으로 성장한다. 일부 실시예들에서, 하나 이상의 사용자 인터페이스 객체들(예컨대, 사용자 인터페이스 객체(7060), 또는 다른 사용자 인터페이스 객체들 등)은 물리적 환경의 뷰와 동시에 디스플레이된다. 일부 실시예들에서, 하나 이상의 사용자 인터페이스 객체들은, 예컨대 손(7038)에 의한 호버 입력의 검출 전에 가상 환경이 디스플레이되는 경우, 가상 환경과 동시에 디스플레이된다. 일부 실시예들에서, 하나 이상의 사용자 인터페이스 객체들은, 예컨대 호버 입력을 검출하기 전에 디스플레이 생성 컴포넌트가 물리적 환경의 뷰 또는 임의의 다른 가상 콘텐츠를 디스플레이하고 있지 않은 경우, 물리적 환경의 뷰 또는 임의의 다른 가상 콘텐츠의 동시 디스플레이 없이 디스플레이된다.

일부 실시예들에서, 도 7o에 도시된 바와 같이, 컴퓨팅 시스템은, 예컨대 디스플레이 생성 컴포넌트의 하우징 상의 제1 터치 감응형 부분 근처에서의 호버 입력을 검출한 후에, 디스플레이 생성 컴포넌트의 하우징 상의 제1 터치 감응형 부분에서의 터치 입력을 검출한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트의 하우징의 터치 감응형 부분의 제1 부분에서의 터치 입력을 검출하는 것에 응답하여, 다른 손이 디스플레이 생성 컴포넌트의 하우징 상에서 검출되지 않고서 터치 입력이 검출된다는 결정에 따라, 컴퓨팅 시스템은 터치 입력에 대응하는 제1 동작을 수행한다. 예를 들어, 도 7o에 도시된 바와 같이, 디스플레이 생성 컴포넌트의 하우징의 좌측 에지의 상부 부분 상에서의 터치 입력을 검출하는 것에 응답하여, 컴퓨팅 시스템은, 물리적 환경의 뷰와 조합하여 일부 가상 콘텐츠(예컨대, 가상 오버레이(7062))를 포함하는 증강 현실 경험을 활성화하였다(예컨대, 가상 오버레이(7062)는 박스(7052)의 위치에 대응하는 위치에 디스플레이되어서, 오버레이(7062)가 증강 현실 환경에서 박스(7052)의 표현(7052')의 전방 표면 상에 배치되는 것처럼 보이게 함). 일부 실시예들에서, 사용자의 손(7038) 또는 손의 일부분의 초기 터치 다운은, 터치가 디스플레이 생성 컴포넌트의 하우징 상에서 검출되고 터치가 컴퓨팅 시스템 상에서 임의의 특정 동작을 개시하기 위한 기준들을 아직 충족시키지 않는다는 시각적 피드백만을 야기한다(예컨대, 사용자 인터페이스 객체들(예컨대, 사용자 인터페이스 객체(7060))은, 그들이 디스플레이되지 않았거나 단지 표시들로서 디스플레이되는 경우, 그들의 완전히 기능적인 상태로 디스플레이됨, 사용자 인터페이스 객체들(예컨대, 사용자 인터페이스 객체(7060))은, 터치가 검출되었다는 것을 나타내기 위해 그들의 외관들을 변경함 등). 일부 실시예들에서, 컴퓨팅 시스템은 하나 이상의 유효한 터치 입력들을 검출하기 위한 기준들에 대해 손(7038)에 의해 제공되는 터치 입력을 평가하며, 터치 입력이 하나 이상의 사용자 인터페이스 객체들(예컨대, 사용자 인터페이스 객체(7060), 또는 사용자 인터페이스 객체(7060) 대신에 디스플레이되는 다른 사용자 인터페이스 객체 등)과 연관된 제1 동작(예컨대, 디스플레이 밝기를 낮춤, 볼륨을 낮춤, AR 모드로 스위칭함 등)을 트리거하기 위한 기준들(예컨대, 상향 방향으로의 스와이프, 더블 탭 입력, 한 손가락 탭 등을 검출하기 위한 기준들)을 충족시킨다는 결정에 따라, 컴퓨팅 시스템은 하나 이상의 사용자 인터페이스 객체들과 연관된 제1 동작을 수행하고; 터치 입력이 하나 이상의 사용자 인터페이스 객체들(예컨대, 사용자 인터페이스 객체(7060), 또는 사용자 인터페이스 객체(7060) 대신에 디스플레이되는 다른 사용자 인터페이스 객체 등)과 연관된 제2 동작(예컨대, 디스플레이 밝기를 높임, 볼륨을 높임, VR 모드로 스위칭함 등)을 트리거하기 위한 기준들(예컨대, 하향 방향으로의 스와이프, 단일 탭, 두 손가락 탭 등을 검출하기 위한 기준들)을 충족시킨다는 결정에 따라, 컴퓨팅 시스템은 하나 이상의 사용자 인터페이스 객체와 연관된 제2 동작을 수행한다.

일부 실시예들에서, 도 7p에 도시된 바와 같이, 컴퓨팅 시스템은, 사용자의 손(7038)이 디스플레이 생성 컴포넌트의 하우징의 제2 터치 감응형 부분(예컨대, 디스플레이 생성 컴포넌트의 하우징의 좌측 에지의 하부 부분, HMD의 하부 좌측 에지, HMD의 상단 우측 에지 등)에 접근하는 것을 검출하고, 선택적으로, 이에 응답하여 하나 이상의 사용자 인터페이스 객체들(예컨대, 사용자 인터페이스 객체(7064), 또는 다른 사용자 인터페이스 객체)을 디스플레이한다. 컴퓨팅 시스템이 디스플레이 생성 컴포넌트의 하우징의 제2 터치 감응형 부분 상에서의 터치 입력을 검출하는 경우, 터치 입력이 검출될 때 한 손(예컨대, 손(7038))만이 디스플레이 생성 컴포넌트의 하우징을 터치하고 있다는 결정에 따라, 컴퓨팅 시스템은 손(7038) 또는 그의 일부분에 의해 수행되는 터치 입력에 대응하는 제2 동작을 수행한다. 이러한 예에서, 제어부(7064)의 활성화는, 물리적 환경의 뷰와 조합하여 디스플레이되는 일부 가상 콘텐츠(예컨대, 가상 볼(7066), 다른 가상 객체 등)를 포함한 증강 현실 경험이 시작되게 한다(예컨대, 가상 볼(7066)은 바닥(7058)의 위치에 대응하는 위치에 디스플레이되어서, 가상 볼(7066)이 바닥(7058)의 표현(7058')의 표면 상에 놓여 있는 것처럼 보이게 함). 이러한 예시적인 시나리오와 관련된 다른 특징부들은 도 7o와 관련하여 설명되는 것들과 유사하며, 여기에서 유일한 차이점들은, 손(7038)이 디스플레이 생성 컴포넌트의 하우징의 제1 터치 감응형 부분 근처에서 그리고/또는 그에서 검출되는 것에 기인할 것이고, 특정 시각적 피드백 및 수행된 동작(들)은 디스플레이 생성 컴포넌트의 하우징의 제1 터치 감응형 부분 상에서 또는 그 근처에서 검출된 터치 입력에 대응하였다. 간결함을 위해, 유사한 특징부들은 본 명세서에서 반복적으로 설명되지 않는다.

도 7q는, 손(7038)에 의한 터치 입력이 디스플레이 생성 컴포넌트의 하우징 상에서 검출될 때, 다른 손(예컨대, 손(7035))이 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD 등)의 하우징을 터치(예컨대, 유지, 지지, 달리 그와 접촉 등)하고 있는 것을 예시한다. 도 7q에서, 손(7038)은 각각 하우징의 제1 터치 감응형 부분 및 디스플레이 생성 컴포넌트의 하우징의 제2 터치 감응형 부분을 터치하고 있고, 제1 동작(예컨대, 도 7o에서 가상 오버레이(7062)를 디스플레이하는 것) 및 제2 동작(예컨대, 도 7p에서 가상 볼(7066)을 디스플레이하는 것)의 이전에 각각 트리거된 수행과 동일한 터치 입력들을 제공하고 있다. 그러나, 손(7038)에 의한 터치 입력들 중 하나가 검출되는 시점에, 다른 손(예컨대, 손(7036))이 또한 디스플레이 생성 컴포넌트의 하우징을 터치하고 있는 동안 터치 입력들이 검출된다는 결정에 따라(예컨대, 다른 손이 터치 입력이 검출되는 면의 반대편인 하우징의 면을 터치하고 있다는 결정, 다른 손이 하우징 상의 어딘가를 터치하고 있다는 결정 등에 따라), 컴퓨팅 시스템은 검출된 터치 입력에 대응하는 동작을 수행하는 것을 보류한다. 예를 들어, 도 7q에 도시된 바와 같이, 컴퓨팅 시스템은 여전히, 선택적으로, 유효한 터치 입력들을 제공한 손(7038)의 위치 근처에 사용자 인터페이스 객체들(예컨대, 사용자 인터페이스 객체(7060), 사용자 인터페이스 객체(7064) 등)을 디스플레이하지만, 다른 손(7036)이 디스플레이 생성 컴포넌트의 하우징을 터치하고 있을 때, 대응하는 컴퓨터 생성 경험들을 시작하지 않는다. 일부 실시예들에서, 컴퓨팅 시스템은, 두 손으로부터의 호버 입력들이 디스플레이 생성 컴포넌트의 하우징의 터치 감응형 부분들 근처에서 동시에 검출되는 경우, 및/또는 터치 입력들이 디스플레이 생성 컴포넌트의 하우징의 2개의 면들 상에서 동시에 검출될 때, 어떠한 사용자 인터페이스 객체들도 디스플레이하지 않는다. 일부 실시예들에서, 두 손이, 디스플레이 생성 컴포넌트(예컨대, HMD, 다른 유형들의 디스플레이 생성 컴포넌트 등)에 접근하고/하거나 디스플레이 생성 컴포넌트를 터치하는 것으로 동시에 검출될 때, 사용자가 디스플레이 생성 컴포넌트에 입력을 제공하기보다는 디스플레이 생성 컴포넌트를 떼어내기를 원할 가능성이 더 크다. 따라서, 사용자의 명시적 지시들이 없으면 그러한 호버 또는 터치 입력들을 무시하는 것이 더 유리하다(예컨대, 사용자 혼란을 감소시킴, 전력을 절약함 등).

일부 실시예들에서, 디스플레이 생성 컴포넌트의 하우징 상에서 검출되는 터치 입력에 따라 수행되는 동작은 컴퓨팅 시스템의 상태를 변경한다. 예를 들어, 터치 입력이 제1 기준들을 충족시킨다는 결정에 따라, 컴퓨팅 시스템은 제1 상태로 스위칭하고; 터치 입력이 제1 기준들과는 상이한 제2 기준들을 충족시킨다는 결정에 따라, 컴퓨팅 시스템은 제1 상태와는 상이한 제2 상태로 스위칭한다. 일부 실시예들에서, 제1 기준들 및 제2 기준들은, 터치 입력이 하우징 상의 상이한 위치들에서 검출될 것을 요구하는 상이한 위치 기반 기준들을 갖는다. 일부 실시예들에서, 제1 기준들 및 제2 기준들은, 터치 입력이 상이한 세기 임계치들을 충족시킬 것을 요구하는 상이한 세기 기반 기준들을 갖는다. 일부 실시예들에서, 제1 기준들 및 제2 기준들은, 터치 입력이 하우징 상에서 상이한 임계 시간 동안 임계량 미만의 이동으로 검출될 것을 요구하는 상이한 지속기간 기반 기준들을 갖는다. 일부 실시예들에서, 제1 기준들 및 제2 기준들은, 터치 입력이 상이한 임계 거리들을 초과하여 이동할 것을 요구하는 상이한 거리 기반 기준들을 갖는다. 일부 실시예들에서, 제1 기준들 및 제2 기준들은, 터치 입력이 상이한 수의 접촉들 및/또는 접촉들의 이동 패턴들을 포함할 것을 요구하는 상이한 터치 패턴 기준들을 갖는다. 일부 실시예들에서, 제1 기준들 및 제2 기준들은, 터치 입력이, 상이한 속도 임계치들 및/또는 방향 요건들을 충족시키는 접촉(들)의 이동을 포함할 것을 요구하는 상이한 이동 기준들을 갖는다. 일부 실시예들에서, 제1 기준들 및 제2 기준들은 터치 입력을 제공하는 손에 대한 상이한 자세 요건들을 갖는다. 일부 실시예들에서, 제1 기준들 및 제2 기준들은 위에서 언급된 기준들(예컨대, 위치, 세기, 지속기간, 이동, 및/또는 접촉들의 수, 손 자세 등과 관련된 기준들) 중 둘 이상의 기준들의 상이한 조합들을 갖는다.

일부 실시예들에서, 터치 입력에 따라 수행되는 동작은 디스플레이 생성 컴포넌트에 의해 디스플레이되는 콘텐츠와 연관된 몰입 레벨을 변경한다. 예를 들어, 컴퓨팅 시스템은, 선택적으로, 한 손만이 디스플레이 생성 컴포넌트의 하우징 상에서 검출될 때 수행되는 제1 터치 입력에 응답하여, 컴퓨팅 시스템이 물리적 환경의 뷰를 갖는 패스 스루 모드(예컨대, 혼합 현실 모드)에서 컴퓨터 생성 경험을 디스플레이하는 제1 상태로부터, 컴퓨터 시스템이 물리적 환경의 패스 스루 뷰를 갖지 않는 몰입 모드(예컨대, 가상 현실 모드)에서 동일한 컴퓨터 생성 경험을 디스플레이하는 제2 상태로 변경된다. 일부 실시예들에서, 컴퓨팅 시스템은, 한 손만이 디스플레이 생성 컴포넌트의 하우징을 터치하고 있는 동안, 제2 터치 입력이 디스플레이 생성 컴포넌트의 하우징 상에서 검출될 때, 제2 상태로부터 다시 제1 상태로 스위칭한다. 일부 실시예들에서, 컴퓨팅 시스템은, 선택적으로, 한 손만이 디스플레이 생성 컴포넌트의 하우징 상에서 검출될 때 수행되는 제3 터치 입력을 검출하는 것에 응답하여, 컴퓨팅 시스템이 어떠한 컴퓨터 생성 경험도 디스플레이하고 있지 않은(예컨대, 아무것도 디스플레이하고 있지 않음, 또는 물리적 환경의 완전 패스 스루 뷰를 디스플레이하고 있음(예컨대, 현실 모드)) 제3 상태로부터 제1 상태(예컨대, 패스 스루 모드 또는 혼합 현실 모드) 또는 제2 상태(예컨대, 몰입 모드 또는 가상 현실 모드)로 변경된다. 일부 실시예들에서, 컴퓨팅 시스템이 디스플레이 생성 컴포넌트를 통해 몰입 모드(예컨대, 물리적 환경의 패스 스루 뷰가 없는 가상 현실 모드 등)에서 컴퓨터 생성 콘텐츠를 디스플레이하고 있을 때, 양손이 디스플레이 생성 컴포넌트의 하우징 상에서 검출되는 경우, 컴퓨팅 시스템은, 선택적으로, 특수 동작으로서, 패스 스루 뷰 또는 가장 가까운 물리적 객체들이 가상 콘텐츠에 시각적으로 표시되는 특수 모드로 다시 스위칭한다. 사용자는, 그/그녀가 물리적 환경에서의 그의 위치에 확신이 없을 때(예컨대, 그가 무언가에 부딪칠 것을 두려워할 때) 양손을 HMD의 하우징 상에 본능적으로 놓을 수 있고, 가상 콘텐츠를 정지시키지 않고서 가상 콘텐츠에 가장 가까운 물리적 객체(들)를 시각적으로 표시하는 것은, 사용자가 몰입 경험을 완전히 정지시키지 않고서 그 자신을 재배향시키는 것을 도울 수 있다. 일부 실시예들에서, 컴퓨팅 시스템은 터치 입력에 따라 디스플레이 생성 컴포넌트 또는 오디오 생성 컴포넌트의 오디오 기능을 변경한다. 예를 들어, 제1 터치 입력에 따라, 컴퓨팅 시스템은 제1 오디오 출력 모드(예컨대, 오디오 패스 스루 모드, 또는 다른 오디오 출력 모드)로부터 제2 오디오 출력 모드(예컨대, 오디오 몰입 모드, 또는 다른 오디오 출력 모드)로 변경되고/되거나, 제1 오디오 차단 모드(예컨대, 잡음 소거 없음 모드, 또는 다른 오디오 차단 모드)로부터 제2 오디오 차단 모드(예컨대, 완전 잡음 소거 모드, 또는 다른 오디오 차단 모드)로 변경된다. 일부 실시예들에서, 오디오 출력 모드는 터치 입력에 의해 야기되는 몰입 레벨의 변화와 함께 변경된다.

일부 실시예들에서, 하나 이상의 사용자 인터페이스 객체들(예컨대, 도 7o 내지 도 7q의 사용자 인터페이스 객체들(7060, 7064)) 및/또는 컴퓨터 생성 경험들(예컨대, 도 7o 및 도 7p의 가상 오버레이(7062) 및 가상 볼(7066))을 디스플레이하는 동안, 컴퓨팅 시스템은, 터치 입력이 검출되는 것이 중지되었다는 것을 검출하고, 컴퓨팅 시스템은, 선택적으로, 사용자 인터페이스 객체들 및/또는 컴퓨터 생성 경험들을 디스플레이하는 것을 중지한다.

일부 실시예들에서, 하나 초과의 디스플레이 생성 컴포넌트가 동일한 하우징으로 둘러싸인다. 사용자를 향하고 있는 디스플레이 생성 컴포넌트에 더하여, 다른 디스플레이 생성 컴포넌트가 선택적으로 포함되고 사용자로부터 멀리 향한다. 일부 실시예들에서, 2개의 디스플레이 생성 컴포넌트들을 포함하는 컴퓨팅 시스템이 도 7a 내지 도 7j와 관련하여 설명되고, 제2 디스플레이 생성 컴포넌트는, 선택적으로, 제1 디스플레이 생성 컴포넌트 및 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 보고 있는 사용자의 상태와 관련된 상태 정보 및/또는 콘텍스트 정보를 디스플레이하는 데 사용된다. 일부 실시예들에서, 터치 입력에 응답하여, 제1 디스플레이 생성 컴포넌트의 프라이버시 모드의 온/오프 상태가 변경되고, 컴퓨팅 시스템은, 터치 입력 및 프라이버시 모드의 변화에 따라, 제2 디스플레이 생성 컴포넌트 상에 표시된 상태 정보를 조정한다. 일부 실시예들에서, 컴퓨팅 시스템은, 컴퓨터 생성 경험과 연관된 몰입 레벨에 대한 변화들이 제1 디스플레이 생성 컴포넌트의 하우징(및 선택적으로, 또한, 제2 디스플레이 생성 컴포넌트의 하우징) 상에서 검출되는 터치 입력에 의해 야기될 때, 제1 디스플레이 생성 컴포넌트를 통해 표시된 컴퓨터 생성 경험과 연관된 몰입 레벨에 대한 변화들에 따라, 제2 디스플레이 생성 컴포넌트 상에 표시된 상태 정보를 조정한다. 일부 실시예들에서, 상태 정보는, 또한, 제1 디스플레이 생성 컴포넌트의 디스플레이 면 전방의 사용자의 눈들의 상태를 포함하고, 사용자의 눈들의 표현은, 또한, 터치 입력에 응답하여 업데이트된다. 한 손만이 제1 디스플레이 생성 컴포넌트의 하우징 상에서 검출될 때 제1 디스플레이 생성 컴포넌트의 하우징 상에서 검출되는 터치 입력의 결과로서 제1 디스플레이 생성 컴포넌트의 상태에 대한 변화들과 함께 제공되는, 제2 디스플레이 생성 컴포넌트의 상태에 대해 이루어진 변화들의 다른 태양들이 도 7a 내지 도 7j와 관련하여 설명된다.

일부 실시예들에서, 본 명세서에 설명된 다양한 예들 및 실시예들에서 사용되는 입력 제스처들은 선택적으로, 일부 실시예들에 따라 가상 또는 혼합 현실 환경과 상호작용하기 위해 제스처 직전에 또는 제스처 동안 동작들을 수행하도록 사용자의 전체 손 또는 팔을 이들의 자연스러운 위치(들) 및 자세(들)로부터 멀리 이동시키는 주요 이동을 요구함이 없이 다른 손가락(들) 또는 사용자의 손의 일부(들)에 대한 사용자의 손가락(들)의 이동에 의해 수행되는 이산적인 작은 모션 제스처를 포함한다.

일부 실시예들에서, 입력 제스처들은 센서 시스템(예를 들어, 도 1의 센서들(190); 도 3의 이미지 센서들(314))에 의해 캡처된 데이터 또는 신호들을 분석함으로써 검출된다. 일부 실시예들에서, 센서 시스템은 하나 이상의 이미징 센서들(예를 들어, 모션 RGB 카메라들, 적외선 카메라들, 심도 카메라들 등과 같은 하나 이상의 카메라들)을 포함한다. 예를 들어, 하나 이상의 이미징 센서들은 디스플레이 생성 컴포넌트(예를 들어, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120)(예를 들어, 디스플레이 및 터치-감응형 표면으로서의 역할을 하는 터치-스크린 디스플레이, 입체 디스플레이, 패스-스루 부분을 갖는 디스플레이 등))를 포함하는 컴퓨팅 시스템(예를 들어, 도 1의 컴퓨팅 시스템(101)(예를 들어, 휴대용 전자 디바이스(7100) 또는 HMD))의 컴포넌트들이거나 그에 데이터를 제공한다. 일부 실시예들에서, 하나 이상의 이미징 센서들은 디바이스의 디스플레이 반대편의 디바이스의 면 상에 하나 이상의 후방 카메라들을 포함한다. 일부 실시예들에서, 입력 제스처들은 머리 장착형 시스템의 센서 시스템(예를 들어, 사용자의 좌측 눈에 대한 좌측 이미지 및 사용자의 우측 눈에 대한 우측 이미지를 제공하는 입체 디스플레이를 포함하는 VR 헤드셋)에 의해 검출된다. 예를 들어, 머리 장착형 시스템의 컴포넌트들인 하나 이상의 카메라들이 머리 장착형 시스템의 전방 및/또는 밑면에 장착된다. 일부 실시예들에서, 하나 이상의 이미징 센서들은, 이미징 센서들이 머리 장착형 시스템의 이미지들 및/또는 머리 장착형 시스템의 사용자를 캡처하도록, 머리 장착형 시스템이 사용되는 공간에 위치된다(예를 들어, 룸 내의 다양한 위치들에서 머리 장착형 시스템 주위에 배열됨). 일부 실시예들에서, 입력 제스처들은 헤드 업 디바이스의 센서 시스템(예를 들어, 헤드 업 디스플레이, 그래픽들을 디스플레이하는 능력을 갖는 자동차 앞유리, 그래픽들을 디스플레이하는 능력을 갖는 윈도우, 그래픽들을 디스플레이하는 능력을 갖는 렌즈)에 의해 검출된다. 예를 들어, 하나 이상의 이미징 센서들이 자동차의 내부 표면들에 부착된다. 일부 실시예들에서, 센서 시스템은 하나 이상의 심도 센서들(예를 들어, 센서들의 어레이)을 포함한다. 예를 들어, 하나 이상의 심도 센서들은 하나 이상의 광-기반(예를 들어, 적외선) 센서들 및/또는 하나 이상의 음향-기반(예를 들어, 초음파) 센서들을 포함한다. 일부 실시예들에서, 센서 시스템은 광 방출기(예를 들어, 적외선 방출기) 및/또는 음향 방출기(예를 들어, 초음파 방출기)와 같은 하나 이상의 신호 방출기들을 포함한다. 예를 들어, 광(예를 들어, 미리 결정된 패턴을 갖는 적외선 광 방출기들의 어레이로부터의 광)이 손(예를 들어, 손(7200)) 상에 투영되는 동안, 광의 조명 하의 손의 이미지는 하나 이상의 카메라들에 의해 캡처되고, 캡처된 이미지는 손의 위치 및/또는 구성을 결정하기 위해 분석된다. 터치-감응형 표면들의 신호들 또는 다른 직접 접촉 메커니즘 또는 근접-기반 메커니즘들을 사용하는 것과 대조적으로, 입력 제스처들을 결정하기 위해 손으로 지향된 이미지 센서들로부터의 신호들을 사용하는 것은, 특정 입력 디바이스 또는 입력 영역에 의해 부과된 제약들을 경험하지 않고서, 사용자가 자신의 손으로 입력 제스처들을 제공할 때 큰 모션들을 실행할지 또는 비교적 정지된 것이 남아 있을지 여부를 자유롭게 선택할 수 있게 한다.

일부 실시예들에서, 마이크로 탭 입력은 사용자의 손의 검지 손가락 위에서(예를 들어, 엄지 손가락에 인접한 검지 손가락의 면 위에서) 엄지 손가락의 탭 입력이다. 일부 실시예들에서, 검지 손가락의 면으로부터 엄지 손가락의 리프트 오프를 요구하지 않고 탭 입력이 검출된다. 일부 실시예들에서, 엄지 손가락의 하향 이동 후에 엄지 손가락의 상향 이동이 뒤따르고 엄지 손가락은 임계 시간 미만 동안 검지 손가락의 면과 접촉한다는 결정에 따라 탭 입력이 검출된다. 일부 실시예들에서, 엄지 손가락이 상승된 위치로부터 터치-다운 위치로 이동하고 적어도 제1 임계 시간(예를 들어, 탭 시간 임계치 또는 탭 시간 임계치보다 긴 다른 시간 임계치) 동안 터치-다운 위치에 유지된다는 결정에 따라 탭-홀드 입력이 검출된다. 일부 실시예들에서, 컴퓨팅 시스템은 검지 손가락 상의 엄지 손가락에 의한 탭-홀드 입력을 검출하기 위해, 손 전체가 적어도 제1 임계 시간 동안의 위치에서 실질적으로 정지 상태로 유지될 것을 요구한다. 일부 실시예들에서, 터치-홀드 입력은, 손 전체가 실질적으로 정지된 상태로 유지될 것을 요구하지 않으면서 검출된다(예를 들어, 엄지 손가락이 검지 손가락의 면 상에 놓인 동안 손 전체가 이동할 수 있음). 일부 실시예들에서, 탭-홀드-드래그 입력은, 엄지 손가락이 검지 손가락의 면 상에서 터치 다운하고 엄지 손가락이 검지 손가락의 면 상에 놓여 있는 동안에 손 전체가 움직일 때 검출된다.

일부 실시예들에서, 마이크로 플릭(micro flick) 제스처는 검지 손가락에 걸친(예를 들어, 손바닥 면으로부터 검지 손가락의 뒷면으로의) 엄지 손가락의 이동에 의한 푸시 또는 플릭 입력이다. 일부 실시예들에서, 엄지 손가락의 확장 이동은, 예를 들어, 엄지 손가락에 의한 상향 플릭 입력에서와 같이, 검지 손가락의 면으로부터 멀어지는 상향 이동을 수반한다. 일부 실시예들에서, 검지 손가락은 엄지 손가락의 전방 및 상향 이동 동안 엄지 손가락의 방향과 반대 방향으로 이동한다. 일부 실시예들에서, 엄지 손가락이 확장된 위치로부터 후퇴 위치로 이동함으로써, 역방향 플릭 입력이 수행된다. 일부 실시예들에서, 검지 손가락은 엄지 손가락의 후방 및 하향 이동 동안 엄지 손가락의 방향과 반대 방향으로 이동한다.

일부 실시예들에서, 마이크로 스와이프 제스처는 검지 손가락을 따라(예를 들어, 엄지 손가락에 인접한 검지 손가락의 면을 따라 또는 손바닥의 면 상에서) 엄지 손가락의 이동에 의한 스와이프 입력이다. 일부 실시예들에서, 검지 손가락은 선택적으로 확장된 상태(예를 들어, 실질적으로 일직선) 또는 말려진 상태에 있다. 일부 실시예들에서, 검지 손가락은 스와이프 입력 제스처에서 엄지 손가락의 이동 동안 확장된 상태와 말려진 상태 사이에서 이동한다.

일부 실시예들에서, 다양한 손가락들의 상이한 지골(phalange)들은 상이한 입력들에 대응한다. 다양한 손가락들(예를 들어, 검지 손가락, 중지 손가락, 약지 손가락, 및 선택적으로, 새끼 손가락)의 다양한 지골들에 걸친 엄지 손가락의 마이크로 탭 입력은 선택적으로 상이한 동작들에 맵핑된다. 유사하게, 일부 실시예들에서, 상이한 푸시 또는 클릭 입력들은 각자의 사용자 인터페이스 접촉에서 상이한 동작들을 트리거하기 위해 상이한 손가락들 및/또는 손가락의 상이한 부분들에 걸쳐 엄지 손가락에 의해 수행될 수 있다. 유사하게, 일부 실시예들에서, 상이한 손가락들을 따라 그리고/또는 상이한 방향들로 (예를 들어, 손가락의 원위 또는 근위 단부를 향해) 엄지 손가락에 의해 수행되는 상이한 스와이프 입력들은 각자의 사용자 인터페이스 상황에서 상이한 동작들을 트리거한다.

일부 실시예들에서, 컴퓨팅 시스템은 탭 입력들, 플릭 입력들 및 스와이프 입력들이 엄지 손가락의 이동 유형들에 기초하여 상이한 유형들의 입력들로서 취급되는 것으로 취급한다. 일부 실시예들에서, 컴퓨터 시스템은 엄지 손가락에 의해 탭핑되거나, 터치되거나, 스와이프되는 상이한 손가락 위치들을 갖는 입력들을 주어진 입력 유형(예를 들어, 탭 입력 유형, 플릭 입력 유형, 스와이프 입력 유형 등)의 상이한 서브-입력-유형들(예를 들어, 근위, 중간, 원위 하위 유형들, 또는 검지, 중지, 약지, 또는 새끼 하위 유형들)로 취급한다. 일부 실시예들에서, 움직이는 손가락(예를 들어, 엄지 손가락)에 의해 수행되는 이동의 양, 및/또는 손가락의 이동과 연관된 다른 이동 메트릭들(예를 들어, 속도, 초기 속도, 종료 속도, 지속기간, 방향, 이동 패턴 등)은 손가락 입력에 의해 트리거되는 동작에 정량적으로 영향을 미치는 데 사용된다.

일부 실시예들에서, 컴퓨터 시스템은 엄지 손가락에 의한 이동들의 시퀀스, 예를 들어, 탭-스와이프 입력(예를 들어, 손가락 상의 엄지 손가락의 터치 다운에 이은 손가락의 면을 따른 스와이프), 탭-플릭 입력(예를 들어, 손가락 위에서 엄지 손가락의 터치 다운에 이은 손가락의 손바닥 측으로부터 후방 측으로 손가락에 걸친 플릭), 더블 탭 입력(예를 들어, 대략 동일한 위치에서 손가락의 면 상의 2개의 연속적인 탭들) 등을 조합하는 조합 입력 유형들을 인식한다.

일부 실시예들에서, 제스처 입력들은 엄지 손가락 대신에 검지 손가락에 의해 수행된다(예를 들어, 검지 손가락이 엄지 손가락 상에서 탭 또는 스와이프를 수행하거나, 또는 엄지 손가락과 검지 손가락이 핀치 제스처를 수행하도록 서로를 향해 이동하는 것 등). 일부 실시예들에서, 손목 이동(예를 들어, 수평 방향 또는 수직 방향으로의 손목의 플릭)은 손가락 이동 입력들에 대해 바로 앞서, (예를 들어, 임계 시간 내에서) 바로 후속하여, 또는 동시에 수행되어, 손목 이동에 의한 수정자 입력이 없는 손가락 이동 입력들과 비교하여, 현재 사용자 인터페이스 상황에서 추가적인 동작들, 상이한 동작들 또는 수정된 동작들을 트리거한다. 일부 실시예들에서, 사용자의 손바닥이 사용자의 얼굴을 향하도록 수행된 손가락 입력 제스처들은 사용자의 손바닥이 사용자의 얼굴로부터 멀리 향하게 하여 수행되는 손가락 입력 제스처들과 상이한 유형의 제스처들로서 취급된다. 예를 들어, 사용자의 손바닥이 사용자를 향하여 수행되는 탭 제스처는, 사용자의 손바닥이 사용자의 얼굴로부터 멀리 향하도록 수행된 탭 제스처에 응답하여 수행되는 동작(예를 들어, 동일한 동작)과 비교하여 추가된(또는 감소된) 프라이버시 보호를 갖는 동작을 수행한다.

본 개시내용에 제공된 예들에서 일 유형의 동작을 트리거하기 위해 하나의 유형의 손가락 입력이 사용될 수 있지만, 다른 실시예들에서 동일한 유형의 동작을 트리거하기 위해 다른 유형들의 손가락 입력이 선택적으로 사용된다.

도 7a 내지 도 7q에 관한 추가 설명들은 아래의 도 8 내지 도 13과 관련하여 설명되는 방법들(8000, 9000, 10000, 11000, 12000, 13000)을 참조하여 아래에서 제공된다.

도 8은 일부 실시예들에 따른, 컴퓨터 생성 환경 및 컴퓨터 생성 환경과 연관된 상태 정보와 컴퓨터 생성 환경을 보기 위한 위치에 있는 사용자와 연관된 상태 정보를 디스플레이하는 방법(8000)의 흐름도이다.

방법(8000)은, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트(예컨대, 별개의 디스플레이들, 동일한 하우징으로 둘러싸이지만 상이한 방향들을 향하는(예컨대, 백투백 상태로 서로 반대인 방향들을 향함, 동일한 사용자가 그들을 동시에 볼 수 없도록 상이한 각도들을 향함 등) 디스플레이들)를 포함하는 컴퓨팅 시스템에 관한 것이다. 제1 디스플레이 생성 컴포넌트는 제1 디스플레이 생성 컴포넌트를 통해 제시되는 콘텐츠를 보기 위한 위치에 있는 사용자(예컨대, 사용자는 디스플레이 생성 컴포넌트의 디스플레이 면(예컨대, 프로젝터에 의해 조명되는 물리적 환경의 면, 사용자의 망막 상에 이미지를 형성하는 광을 방출하는 디스플레이의 면 등)을 향하고 있음)에게 컴퓨터 생성 경험들을 제공하는 컴퓨터 생성 환경을 디스플레이한다. 제1 디스플레이 생성 컴포넌트는, 선택적으로, 컴퓨터 생성 경험이 제1 디스플레이 생성 컴포넌트에 의해 제공될 때 제1 디스플레이 생성 컴포넌트를 통해 여전히 인지가능한 주변 물리적 환경으로부터의 상이한 양들의 시각적 및 오디오 정보에 대응하는 상이한 몰입 레벨들을 컴퓨터 생성 경험에 제공한다. 정상 작동 동안(예컨대, 사용자가 제1 디스플레이 생성 컴포넌트를 포함하는 HMD를 착용하고/하거나 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향하고 있을 때), 제1 디스플레이 생성 컴포넌트는 주변 물리적 환경에 대한 사용자의 직접 뷰를 차단하고, 동시에, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 표시된 콘텐츠를 보는 위치에 있을 때 사용자의 얼굴 또는 눈들에 대한 다른 사람들의 뷰를 차단한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는, HMD가 사용자의 머리에 배치될 때 사용자의 눈들을 향하는 HMD의 내부 디스플레이이다. 종래에는, 사용자가 디스플레이 생성 컴포넌트를 통해 표시되는 콘텐츠를 보기 위한 위치에 있을 때, 사용자는, 출현들의 상이한 레벨들로 컴퓨터 생성 환경을 디스플레이하는 것 사이에서 스위칭함으로써(예컨대, 완전 패스 스루 모드, 혼합 현실 모드, 또는 가상 현실 모드 사이에서 스위칭함), 물리적 환경을 보거나 물리적 환경을 보지 않기 위한 옵션을 갖는다. 그러나, 디스플레이 생성 컴포넌트의 후면을 향하는 주변 환경 내의 다른 사람들은 사용자의 주의 상태, 어떤 콘텐츠가 디스플레이 생성 컴포넌트 상에 표시되고 있는지, 및/또는 사용자가 주변 환경 및 그 안의 사람들을 볼 수 있는지 여부에 관한 시각적 단서들을 거의 또는 전혀 갖지 않는다. 디스플레이 생성 컴포넌트의 2개의 면들 상에서의 시각적 정보(및 선택적으로 오디오 정보)의 이러한 불균형은 사용자와 주변 환경 내의 다른 사람들 사이의 사회적 상호작용을 부자연스럽고 비효율적으로 만든다. 많은 고려사항들은, 사용자와 관련된 상태 정보 및/또는 제1 디스플레이 생성 컴포넌트를 통해 사용자에게 디스플레이되는 콘텐츠를 주변 환경 내의 사람들에게 전달하는 적절한 양의 시각적 정보를 디스플레이하기 위해 제2 디스플레이 생성 컴포넌트를 사용하는 컴퓨팅 시스템으로부터 이익을 얻을 수 있다. 제2 디스플레이 생성 컴포넌트에 의한 상태 정보의 디스플레이는, 선택적으로, 제1 디스플레이 생성 컴포넌트가 사용 중인 동안 디스플레이되거나, 또는 선택적으로, 동일한 물리적 환경 내의 다른 사람들의 존재를 검출하는 것에 응답하여 그리고/또는 다른 사람들이 (예컨대, 동일한 룸에 들어가는 것, 사용자의 방향으로 보는 것, 사용자에게 손을 흔드는 것 등에 의해) 사용자를 사회적 담론에 관여하게 하기를 원할 수 있다는 표시들을 검출하는 것에 응답하여 트리거된다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트 상에 상태 정보를 표시하는 것은 사용자의 외관의 변화들(예컨대, 제1 디스플레이 생성 컴포넌트에 의해 차단되는 사용자의 일부분의 변화들)에 따라 동적으로 업데이트되는 사용자의 일부분(예컨대, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠를 보기 위한 위치에 있을 때 제1 디스플레이 생성 컴포넌트에 의해 차단되는 사용자의 일부분)의 표현을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 상태 정보를 표시하는 것은, 또한, 제1 디스플레이 생성 컴포넌트를 통해 현재 표시되어 있는 콘텐츠의 시각적 표시를 제공하는 그래픽 요소들을 (예컨대, 사용자의 일부분의 표현을 표시하는 것과 동시에) 디스플레이하는 것을 포함한다. 제2 디스플레이 생성 컴포넌트를 사용하여, 제1 디스플레이 생성 컴포넌트를 통해 표시된 콘텐츠를 보는 사용자와 관련된 업데이트된 상태 정보 및 콘텐츠의 상태와 연관된 메타데이터(예컨대, 제목, 진행, 몰입 레벨, 디스플레이 모드 등)를 디스플레이하는 이러한 방법 및 시스템은, 컴퓨터 생성 경험을 주변 환경에 완전히 드러내지 않고서, 사용자가 컴퓨터 생성 경험에 관여하는 동안 사용자의 주변 환경 내의 다른 사람들이 사용자의 현재 상태에 대한 유용한 통찰력을 얻도록 허용한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트에 의해 차단되는 사용자의 일부분(예컨대, 사용자의 눈들 또는 얼굴)의 표현 및 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠의 상태를 보여주는 그래픽 요소들은 제2 디스플레이 생성 컴포넌트의 상이한 디스플레이 층들 상에 각각 디스플레이되고 서로 독립적으로 업데이트된다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트의 상이한 디스플레이 층들 상의 사용자의 일부분의 표현 및 콘텐츠의 상태를 보여주는 그래픽 요소들에 대한 업데이트들은 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트 둘 모두를 수용하는 머리 장착형 디스플레이 디바이스 뒤의 사용자의 상태에 대한 더 사실적인 뷰를 제공한다. 제2 디스플레이 생성 컴포넌트 상에 표시된 상태 정보는, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 컴퓨터 생성 경험에 관여할 때 주변 환경 내의 사람들과 사회적으로 연결된 상태로 유지될 수 있게 한다. 사용자의 눈들의 상태 및 사용자에게 표시된 콘텐츠의 상태를 보여주는 제2 디스플레이 생성 컴포넌트 상의 동적으로 업데이트된 상태 정보는, 예컨대 적절한 사회적 상호작용을 그러한 상호작용들이 사용자에 의해 요구될 때 장려하는 것, 사용자의 사회적 관여 허가에 대한 시각적 단서들의 부족으로 인한 주변 환경 내의 다른 사람들에 의한 사회적 상호작용들의 불필요한 회피를 감소시키는 것, 컴퓨터 생성 경험에 대한 사용자의 관여를 중단시키기 위한 적합한 시간을 다른 사람들에게 알리는 것, 방해받지 않은 상태로 있고자 하는 사용자의 요구에 대한 시각적 단서들의 부족으로 인한 사용자의 관여 경험들에 대한 반갑지 않은 중단들을 감소시키는 것 등에 의해, 사용자가 공공 또는 반-공공 환경에 있을 때 컴퓨터 생성 경험에 대한 사용자의 관여를 개선한다.

일부 실시예들에서, 방법(8000)은, 제1 디스플레이 생성 컴포넌트(예컨대, 도 7a 내지 도 7q의 디스플레이(7100), HMD의 내부 디스플레이 등), 제2 디스플레이 생성 컴포넌트(예컨대, 도 7a 내지 도 7j의 디스플레이(7102), HMD의 외부 디스플레이 등) 및 하나 이상의 입력 디바이스들(예컨대, 카메라들, 제어기들, 터치 감응형 표면들, 조이스틱들, 버튼들, 장갑들, 워치들, 모션 센서들, 배향 센서들 등)을 포함하는 컴퓨팅 시스템(예컨대, 도 1의 컴퓨팅 시스템(101))에서 수행된다(8002). 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 컴포넌트는 각각 헤드업 디스플레이, 머리 장착형 디스플레이(HMD), 디스플레이, 터치스크린, 프로젝터 등이거나, 또는 헤드업 디스플레이, 머리 장착형 디스플레이(HMD), 디스플레이, 터치스크린, 프로젝터 등의 그리고/또는 그의 동일한 하우징으로 둘러싸인 별개의 디스플레이들이다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는 사용자를 향하는 디스플레이 컴포넌트이고, 사용자에게 CGR 경험을 제공하며, 제2 디스플레이 생성 컴포넌트는 사용자로부터 멀리 그리고 사용자의 외부 환경을 향하는 디스플레이 컴포넌트이고, 선택적으로, 외부 환경 내의 다른 사용자들에게 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이된 콘텐츠, 동작 상태 등) 및/또는 사용자(예컨대, 사용자의 눈들의 이동, 사용자의 주의 상태 등)와 관련된 상태 정보를 제공한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트는 제1 디스플레이 생성 컴포넌트에 대응하는 제1 면 상에 제1 사용자 인터페이스를 그리고 제2 디스플레이 생성 컴포넌트에 대응하는 제2 면 상에 제2 사용자 인터페이스를 디스플레이하는 양면 디스플레이 디바이스(예컨대, 양면 HMD)를 형성한다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 및 제2 디스플레이 생성 컴포넌트들 및 하나 이상의 입력 디바이스들 중 적어도 일부와 동일한 하우징으로 둘러싸인 하나 이상의 프로세서들 및 메모리를 갖는 통합 디바이스이다. 일부 실시예들에서, 컴퓨팅 시스템은, 디스플레이 생성 컴포넌트들 및/또는 하나 이상의 입력 디바이스들과 별개인 하나 이상의 프로세서들 및 메모리를 포함하는 컴퓨팅 컴포넌트(예컨대, 서버, 스마트 폰 또는 태블릿 디바이스와 같은 모바일 전자 디바이스, 워치, 손목밴드 또는 이어폰들과 같은 웨어러블 디바이스, 데스크톱 컴퓨터, 랩톱 컴퓨터 등)를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트들 및 하나 이상의 입력 디바이스들은 동일한 하우징 내에 통합되고 그로 둘러싸인다. 일부 실시예들에서, 방법(8000)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨팅 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨팅 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(8000)에서의 일부 동작들이 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다.

컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트를 통해, 제1 컴퓨터 생성 환경(예컨대, 하나 이상의 가상 객체들 중 적어도 하나, 및 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현들을 포함하는 컴퓨터 생성 환경(예컨대, 가상 콘텐츠만을 갖는 순수한 가상 환경을 디스플레이함(예컨대, VR 뷰), 가상 콘텐츠 및 주변 물리적 환경의 표현들 둘 모두를 포함하는 혼합 현실 환경을 디스플레이함(예컨대, 컴퓨팅 시스템의 주변 환경의 AR 뷰), 또는 어떠한 가상 콘텐츠 없이 주변 물리적 환경의 표현들을 디스플레이함(예컨대, 완전 패스 스루 뷰)))을 디스플레이한다(예컨대, HMD의 내부 디스플레이를 사용하여 디스플레이함)(8004). 제1 디스플레이 생성 컴포넌트를 통해 제1 컴퓨터 생성 환경을 디스플레이하는 동안, 컴퓨팅 시스템은, 제2 디스플레이 생성 컴포넌트를 통해, 제1 디스플레이 생성 컴포넌트를 통해 제1 컴퓨터 생성 환경을 보기 위한 위치에 있는(예컨대, 사용자가 HMD를 착용하고 있고, 사용자의 얼굴 또는 눈들이 HMD의 내부 디스플레이를 향하고 있으며, HMD가 사용자의 얼굴 또는 눈들에 대한 다른 사람들의 직접 뷰 및 주변 환경에 대한 사용자의 직접 뷰를 차단하고 있을 때) 컴퓨팅 시스템의 사용자(예컨대, 제1 사용자(7202))의 일부분의 시각적 표현(예컨대, 도 7a 내지 도 7e의 표현(7006))(예컨대, 시각적 표현은 사용자의 눈들의 컴퓨터 생성 이미지(예컨대, 사용자의 눈들의 카메라 뷰에 기초하여 생성된 사실적인 또는 양식화된 이미지) 또는 카메라 뷰임), 및 제1 컴퓨터 생성 환경 내의 콘텐츠(예컨대, 도 7a 내지 도 7e의 콘텐츠(7002))의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들(예컨대, 도 7a 내지 도 7e의 표현(7008), 진행 바(7004), 영화의 제목 등)(예컨대, 아이콘들, 그래픽들, 텍스트, 색상들, 및/또는 그의 애니메이션화된 시각적 변화들)을 동시에 디스플레이한다(8006). 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 것은, 각각의 기간에 걸친 사용자의 외관의 변화들(예컨대, 제1 디스플레이 생성 컴포넌트에 대한 사용자의 일부분의 이동으로 인한 변화들)을 나타내기 위해 사용자의 일부분의 시각적 표현을 변경하는 것(예컨대, 도 7a 내지 도 7e의 표현(7006)을 변경함)(예컨대, 각각의 기간 동안(예컨대, 사용자가 제1 몰입 레벨로 제1 컴퓨터 생성 환경을 보고 있는 동안(예컨대, 사용자는 HMD를 통해 제공되는 패스 스루 뷰를 통해 외부 환경을 볼 수 있음)) HMD 뒤의 사용자의 눈들의 실시간 이동에 따른 사용자의 눈들의 컴퓨터 생성 이미지 또는 카메라 뷰에 대한 실시간 업데이트들을 디스플레이함); 및 각각의 기간에 걸친 제1 컴퓨터 생성 환경의 변화들을 나타내기 위해, 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 변경하는 것(예컨대, 도 7a 내지 도 7e의 표현(7008), 진행 바(7004) 등을 변경함)(예컨대, 각각의 기간 동안 제1 컴퓨터 생성 환경에서 발생하는 실시간 또는 주기적 변화들에 따른 하나 이상의 그래픽 요소들에 대한 실시간 또는 주기적 업데이트들을 디스플레이함)을 포함한다. 일부 실시예들에서, 사용자의 일부분의 시각적 표현은 제1 디스플레이 깊이에서 HMD의 외측 디스플레이 상에 디스플레이되고, 하나 이상의 그래픽 요소들은 제1 디스플레이 깊이와는 상이한(예컨대, 제2 디스플레이 생성 컴포넌트의 외측 뷰어로부터 더 깊거나 더 먼) 제2 디스플레이 깊이에서 HMD의 외측 디스플레이 상에 디스플레이된다(예컨대, 사용자의 눈들의 이미지는 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 디스플레이하는 제2 그래픽 층 뒤의 제1 그래픽 층에 디스플레이됨). 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 컴포넌트는 동일한 디바이스(예컨대, 머리 장착형 디스플레이, 또는 양면 디스플레이 디바이스) 내에 각각 통합되며, 이때 통합 디바이스가 정상 동작 동안 사용자에 대한 위치에 배치될 때(예컨대, HMD가 사용자의 머리에 착용되고/되거나 사용자의 눈들 전방에 배치될 때), 제1 디스플레이 생성 컴포넌트는 사용자를 향하고, 제2 디스플레이 생성 컴포넌트는 외부 환경을 향한다. 이는, 예를 들어, 제1 사용자의 일부분의 외관의 변화들 및 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 경험의 변화들이 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 상태 정보로 하여금 또한 변화하게 하는 도 7a 내지 도 7c에 예시되어 있다.

일부 실시예들에서, 각각의 기간에 걸친 사용자의 외관의 변화들을 나타내기 위해 사용자의 일부분의 시각적 표현을 변경하는 것은, 제1 디스플레이 생성 컴포넌트에 대한 제1 방향으로의 사용자의 일부분의 이동(예컨대, 안구들 또는 안검들의 상하 이동)에 따라, 제2 디스플레이 생성 컴포넌트 상에 제1 방향으로의(예컨대, 위아래로의, 사용자의 일부분의 이동과 실질적으로 동일한 방향으로의) 사용자의 일부분의 시각적 표현의 이동을 디스플레이하는 것; 및 제1 디스플레이 생성 컴포넌트에 대한 제2 방향으로의 사용자의 일부분의 이동(예컨대, 안구들의 옆으로의 이동)에 따라 - 제2 방향은 제1 방향에 실질적으로 수직임 -, 제2 디스플레이 생성 컴포넌트 상에 제2 방향과 실질적으로 반대인 제3 방향으로의 사용자의 일부분의 시각적 표현의 이동을 디스플레이하는 것을 포함한다. 예를 들어, 제1 디스플레이 생성 컴포넌트의 디스플레이 면의 좌측 에지 및 제2 디스플레이 생성 컴포넌트의 디스플레이 면의 우측 에지가 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트의 하우징의 동일한 면 상에 있고, 제1 디스플레이 생성 컴포넌트의 디스플레이 면의 우측 에지 및 제2 디스플레이 생성 컴포넌트의 디스플레이 면의 좌측 에지가 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트의 하우징의 동일한 면 상에 있으면, 안구가 제1 디스플레이 생성 컴포넌트의 디스플레이 면의 좌측 에지를 향해 이동하고 있을 때, 안구의 표현은 제2 디스플레이 생성 컴포넌트의 디스플레이 면의 우측 에지를 향해 이동하고; 안구가 제1 디스플레이 생성 컴포넌트의 디스플레이 면의 우측 에지를 향해 이동하고 있을 때, 안구의 표현은 제2 디스플레이 생성 컴포넌트의 디스플레이 면의 좌측 에지를 향해 이동한다. 예를 들어, 제2 디스플레이 생성 컴포넌트 상의 눈들의 이미지(예컨대, HMD의 외측 디스플레이 상에 표시됨)는 사용자 눈들의 미러 이미지가 아니라, 외측에서 본 바와 같은 사용자의 눈들의 카메라 피드이다. 다시 말해서, HMD의 외측 디스플레이는, 사용자의 눈들에 대한 외측 뷰어의 직접 뷰를 물리적으로 차단하면서 사용자의 눈들의 의사 패스 스루 뷰를 제공하는 역할을 한다. 제1 디스플레이 생성 컴포넌트에 대한 제1 방향으로의 사용자의 일부분의 이동에 따라, 제1 방향으로의 제1 사용자의 일부분의 시각적 표현의 이동을 디스플레이하는 것, 및 제1 디스플레이 생성 컴포넌트에 대한 제2 방향으로의 사용자의 일부분의 이동에 따라 - 제2 방향은 제1 방향에 실질적으로 수직임 -, 제2 디스플레이 생성 컴포넌트 상에 제2 방향과 실질적으로 반대인 제3 방향으로의 사용자의 일부분의 시각적 표현의 이동을 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 방향 또는 제2 방향으로의 사용자의 일부분의 이동에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 것은 시각적 표현의 제1 디스플레이 속성(예컨대, 하나 이상의 그래픽 요소들, 또는 HMD의 내부 디스플레이 상에 표시되는 사용자의 눈들의 시각적 표현을 생성하기 위한 기초의 역할을 하는 하나 이상의 카메라들에 의해 캡처된 바와 같은 사용자의 눈들의 원래 원시 이미지와 비교하여, 감소된 불투명도, 감소된 색상 포화도, 감소된 휘도, 증가된 블러 반경 등)에 대해 특정되는 미리정의된 특성 값(예컨대, 80% 불투명도, 30% 투명도, 25% 감소된 포화도, [0.2, 0.8]의 감소된 휘도 범위 등)에 따라 사용자의 일부분의 시각적 표현을 생성하는 것을 포함한다. 시각적 표현의 제1 디스플레이 속성에 대해 특정되는 미리정의된 특성 값에 따라 사용자의 일부분의 시각적 표현을 생성하는 것을 포함하여, 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들을 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백을 제공한다(예컨대, 하나 이상의 그래픽 요소들과 비교하여 사용자의 일부분의 시각적 표현을 시각적으로 구별함). 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 시각적 표현의 제1 디스플레이 속성에 대해 특정되는 미리정의된 특성 값은 사용자의 일부분의 시각적 표현의 불투명도에 대한 미리정의된 양의 감소를 포함한다(이는, 선택적으로, 사용자의 일부분의 시각적 표현의 반투명도의 증가로서 구현됨). 일부 실시예들에서, 사용자의 일부분의 시각적 표현은 불투명도의 미리정의된 감소로 디스플레이되지만, 제1 디스플레이 생성 컴포넌트(예컨대, HMD의 내부 디스플레이) 상에 현재 표시된 제1 컴퓨터 생성 환경의 콘텐츠의 표시를 제공하기 위한 하나 이상의 그래픽 요소들은 그러한 불투명도의 감소 없이 제2 디스플레이 생성 컴포넌트(예컨대, HMD의 외부 디스플레이) 상에 디스플레이된다. 특정되는 사용자의 일부분의 시각적 표현의 불투명도에 대한 미리정의된 양의 감소에 따라 사용자의 일부분의 시각적 표현을 생성하는 것을 포함하여, 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들을 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백을 제공한다(예컨대, 하나 이상의 그래픽 요소들과 비교하여 사용자의 일부분의 시각적 표현을 시각적으로 구별함). 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 것은 사용자의 일부분의 시각적 표현 상에 미리정의된 시각적 효과(예컨대, 블러 필터, 컬러 필터, 휘도 필터 등)를 적용하는 것(예컨대, 시각적 표현이 HMD의 내부 디스플레이 상에 디스플레이될 때 사용자의 눈들의 시각적 표현에 블러 필터(예컨대, 가우시안 블러 필터(Gaussian blur filter))를 적용함)을 포함한다. 일부 실시예들에서, 사용자의 일부분의 시각적 표현은 미리정의된 시각적 효과(예컨대, 블러 필터)로 디스플레이되지만, 제1 디스플레이 생성 컴포넌트(예컨대, HMD의 내부 디스플레이) 상에 현재 표시된 제1 컴퓨터 생성 환경의 콘텐츠의 표시를 제공하기 위한 하나 이상의 그래픽 요소들은 그러한 미리정의된 시각적 효과 없이(예컨대, 블러 필터 없이) 제2 디스플레이 생성 컴포넌트(예컨대, HMD의 외부 디스플레이) 상에 디스플레이된다. 사용자의 일부분의 시각적 표현 상에 미리정의된 시각적 효과를 적용하는 것은 (예컨대, 하나 이상의 그래픽 요소들과 비교하여 사용자의 일부분의 시각적 표현을 시각적으로 구별함으로써) 사용자에게 개선된 시각적 피드백을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제2 디스플레이 생성 컴포넌트를 통해 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 것은, 제1 컴퓨터 생성 환경의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들과 사용자의 일부분의 시각적 표현 사이에 확산된 유색 층을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 사용자의 일부분의 시각적 표현은 제1 그래픽 층 상에 디스플레이되고, 하나 이상의 그래픽 요소들은 제2 그래픽 층 상에 디스플레이되며, 확산된 유색 층은 제1 그래픽 층과 제2 그래픽 층 사이에 있는 제3 그래픽 층 상에 디스플레이되고, 선택적으로, 제3 그래픽 층은 제2 그래픽 층보다 제1 그래픽 층에 더 가깝다. 제1 컴퓨터 생성 환경의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들과 사용자의 일부분의 시각적 표현 사이에 확산된 유색 층을 디스플레이하는 것은 (예컨대, 하나 이상의 그래픽 요소들과 비교하여 사용자의 일부분의 시각적 표현을 시각적으로 구별함으로써) 사용자에게 개선된 시각적 피드백을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제2 디스플레이 생성 컴포넌트를 통해 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 것은 사용자의 일부분의 시각적 표현을 제1 그래픽 해상도로 디스플레이하는 것, 및 제1 컴퓨터 생성 환경의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 제1 그래픽 해상도와는 상이한(예컨대, 그보다 큰, 또는 그보다 작은) 제2 그래픽 해상도로 디스플레이하는 것을 포함한다. 일부 실시예들에서, 사용자의 눈들의 표현은 제1 컴퓨터 생성 환경의 콘텐츠의 표시를 제공하기 위한 하나 이상의 그래픽 요소들보다 더 낮은 해상도로 디스플레이된다. 사용자의 일부분의 시각적 표현을 제1 그래픽 해상도로 디스플레이하는 것, 및 제1 컴퓨터 생성 환경의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 제1 그래픽 해상도와는 상이한 제2 그래픽 해상도로 디스플레이하는 것은 (예컨대, 하나 이상의 그래픽 요소들과 비교하여 사용자의 일부분의 시각적 표현을 시각적으로 구별함으로써) 사용자에게 개선된 시각적 피드백을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 것은, (예컨대, 제1 컴퓨터 생성 환경 내의 콘텐츠가 미리정의된 기준들에 따라 변경되지 않은 상태로 유지되는 동안(예컨대, 전혀 변경되지 않음, 또는 몰입 레벨이 변경되지 않은 상태로 유지됨, 또는 콘텐츠의 챕터가 변경되지 않은 상태로 유지됨 등)) 사용자의 외관의 제1 변화(예컨대, 제1 디스플레이 생성 컴포넌트가 사용자의 얼굴에 대해 제자리에 고정되어 있는 동안, 사용자의 안구들 또는 안검들이 제1 디스플레이 생성 컴포넌트에 대해 임계 이동량을 초과하여 이동하였음)가 검출된다는 결정에 따라, 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 변경하지 않고서, 사용자의 외관의 제1 변화에 따라 사용자의 일부분의 시각적 표현을 변경하는 것(예컨대, HMD 뒤의 사용자의 눈들을 향하는 카메라에 의해 캡처된 바와 같은 사용자의 안구들의 실제 이동 및 눈들의 깜박임에 따라, 외측 디스플레이 상에 사용자의 안구들의 실시간 이동 및 눈들의 깜박임을 표시함)(예컨대, 사용자가 보는 제1 컴퓨터 생성 환경의 콘텐츠 및 현재 상태에 관한 정보를 외측 뷰어들에게 제공하는 오버레이를 변경하지 않고서, (예컨대, 사용자가 제1 몰입 레벨로 제1 컴퓨터 생성 환경을 보고 있는 동안(예컨대, 사용자는 HMD를 통해 제공되는 패스 스루 뷰를 통해 외부 환경을 볼 수 있음)) HMD 뒤의 사용자의 눈들의 실시간 이동에 따른 사용자의 눈들의 컴퓨터 생성 이미지 또는 카메라 뷰에 대한 실시간 업데이트들을 디스플레이함)을 포함한다. 일부 실시예들에서, 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들은 사용자의 일부분의 시각적 표현만큼 빈번하게 업데이트되지 않으며, 따라서 하나 이상의 그래픽 요소들에 대해 이루어진 업데이트들 사이의 어느 정도의 시간 간격 동안, 제1 컴퓨터 생성 환경 내의 콘텐츠가 변경되었더라도, 하나 이상의 그래픽 요소들은 변경되지 않는다. 예를 들어, 사용자의 눈들의 표현은 HMD 뒤의 사용자의 눈들의 이동에 따라 실시간으로 외측 디스플레이 상에서 업데이트되는 한편, 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 그래픽 요소들은 20초마다, 30초마다, 또는 활성 애플리케이션의 변화, 제1 컴퓨터 생성 환경의 관여 또는 몰입 레벨의 변화 등과 같은 일부 미리정의된 트리거 이벤트들에 따라 업데이트된다. 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 변경하지 않고서, 사용자의 외관의 제1 변화에 따라 사용자의 일부분의 시각적 표현을 변경하는 것(예컨대, 사용자의 외관의 제1 변화에 관한 개선된 시각적 피드백). 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 것은, 사용자의 외관이 변경되지 않은 상태로 유지되는 동안(예컨대, 사용자의 눈들이 제1 디스플레이 생성 컴포넌트에 대해 임계량을 초과하여 이동하고 있지 않음(예컨대, 사용자가 그의 안구들을 깜박이거나 이동시키고 있지 않음)), 제1 컴퓨터 생성 환경 내의 콘텐츠의 제2 변화(예컨대, 미리정의된 기준들에 따라 변경되는 제1 컴퓨터 생성 환경 내의 콘텐츠(예컨대, 조금이라도 변경되는 임의의 것, 또는 몰입 레벨의 변화, 또는 디스플레이되는 콘텐츠의 챕터의 변화 등))가 검출된다는 결정에 따라, 사용자의 일부분의 시각적 표현을 변경하지 않고서(예컨대, HMD 뒤의 사용자의 눈들을 향하는 카메라에 의해 캡처된 바와 같은 사용자의 눈들의 안구들 및 안검들의 실제 부동(stillness)을 보여줌), 제1 컴퓨터 생성 환경 내의 콘텐츠의 제2 변화에 따라 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들 중 적어도 하나를 변경하는 것(예컨대, 사용자가 보는 제1 컴퓨터 생성 환경의 콘텐츠 및 현재 상태에 관한 정보를 외측 뷰어들에게 제공하는 오버레이에 대한 업데이트들을 디스플레이함(예컨대, 제1 디스플레이 컴포넌트를 통해 디스플레이되는 영화의 진행 바를 보여줌, 콘텐츠의 몰입 레벨의 표시자, 몰입 레벨의 변화에 기초한 사용자의 주의 상태 또는 관여 레벨, 사용자의 주의 상태 또는 관여 레벨 등에 대한 업데이트를 보여줌))을 포함한다. 사용자의 일부분의 시각적 표현을 변경하지 않고서, 제1 컴퓨터 생성 환경 내의 콘텐츠의 제2 변화에 따라 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들 중 적어도 하나를 변경하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 컴퓨터 생성 환경 내의 콘텐츠의 제2 변화에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 것은, 사용자의 외관의 제3 변화(예컨대, 제1 디스플레이 생성 컴포넌트가 사용자의 얼굴에 대해 제자리에 고정되어 있는 동안, 사용자의 안구들 또는 안검들이 제1 디스플레이 생성 컴포넌트에 대해 임계 이동량을 초과하여 이동하였음)가 제1 컴퓨터 생성 환경 내의 콘텐츠의 제4 변화(예컨대, 미리정의된 기준들에 따라 변경되는 제1 컴퓨터 생성 환경 내의 콘텐츠(예컨대, 조금이라도 변경되는 임의의 것, 또는 몰입 레벨의 변화, 또는 디스플레이되는 콘텐츠의 챕터의 변화 등))와 함께 검출된다는 결정에 따라서, 제1 컴퓨터 생성 환경 내의 콘텐츠의 제4 변화에 따라 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 변경하는 것과 함께(예컨대, 그와 동시에, 동일한 기간 동안), 사용자의 외관의 제3 변화에 따라 사용자의 일부분의 시각적 표현을 변경하는 것(예컨대, HMD 뒤의 사용자의 눈들을 향하는 카메라에 의해 캡처된 바와 같은 사용자의 안구들의 실제 이동 및 눈들의 깜박임에 따라, 외측 디스플레이 상에 사용자의 안구들의 실시간 이동 및 눈들의 깜박임을 표시함)(예컨대, 사용자가 보는 제1 컴퓨터 생성 환경의 콘텐츠 및 현재 상태에 관한 정보를 외측 뷰어들에게 제공하는 오버레이를 변경하면서, (예컨대, 사용자가 제1 몰입 레벨로 제1 컴퓨터 생성 환경을 보고 있는 동안(예컨대, 사용자는 HMD를 통해 제공되는 패스 스루 뷰를 통해 외부 환경을 볼 수 있음)) HMD 뒤의 사용자의 눈들의 실시간 이동에 따른 사용자의 눈들의 컴퓨터 생성 이미지 또는 카메라 뷰에 대한 실시간 업데이트들을 디스플레이함)을 포함한다. 제1 컴퓨터 생성 환경 내의 콘텐츠의 제4 변화에 따라 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 변경하는 것과 함께, 사용자의 외관의 제3 변화에 따라 사용자의 일부분의 시각적 표현을 변경하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 사용자의 외관의 제3 변화 및 제1 컴퓨터 생성 환경 내의 콘텐츠의 제4 변화에 관한 개선된 시각적 피드백)을 제공한다.

일부 실시예들에서, 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 것은 사용자의 일부분의 시각적 표현과 동시에 콘텐츠의 수정된 버전을 디스플레이하는 것(예컨대, 사용자의 눈들의 이미지의 원래의 또는 수정된 버전 위의 디스플레이 층에 현재 디스플레이된 콘텐츠의 확산된 이미지를 디스플레이함)을 포함하며, 여기에서 콘텐츠의 수정된 버전은, 콘텐츠의 이미지에 적용될 때, (예컨대, 감소된 해상도 및/또는 더 제한된 색상 팔레트 등으로 인해 이미지가 더 흐리게, 어둡게, 색상이 차분하게, 더 거칠게 보이도록) 이미지의 이미지 충실도를 감소시키는 하나 이상의 이미지 필터들(예컨대, 하나 이상의 블러 필터들, 입력 이미지 또는 비디오의 해상도, 선명도, 밝기, 색상 포화도를 감소시키는 하나 이상의 필터들 등)로 생성된다. 일부 실시예들에서, 각각의 기간에 걸친 제1 컴퓨터 생성 환경의 변화들을 나타내기 위해, 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 변경하는 것은, 콘텐츠가 변경됨에 따라 콘텐츠의 이미지들에 하나 이상의 이미지 필터들을 적용함으로써 콘텐츠의 수정된 버전을 업데이트하는 것을 포함한다. 사용자의 일부분의 시각적 표현과 동시에, 이미지의 이미지 충실도를 감소시키는 하나 이상의 이미지 필터들로 생성되는 콘텐츠의 수정된 버전을 디스플레이하는 것, 및 콘텐츠가 변경됨에 따라 콘텐츠의 이미지들에 이미지 충실도를 감소시키는 하나 이상의 이미지 필터들을 적용함으로써 각각의 기간에 걸친 제1 컴퓨터 생성 환경의 변화들을 나타내기 위해 하나 이상의 그래픽 요소들을 변경하는 것은, (예컨대, 하나 이상의 그래픽 요소들과 비교하여 사용자의 일부분의 시각적 표현을 시각적으로 구별함으로써) 사용자에게 개선된 시각적 피드백을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 사용자의 일부분의 시각적 표현은 사용자의 눈들의 이미지(예컨대, 제1 디스플레이 생성 컴포넌트 전방의 사용자의 눈들의 카메라 뷰, 사용자의 눈들의 카메라 뷰의 수정된(예컨대, 블러링된, 확산된, 어두워진, 및/또는 감소된 불투명도 등의) 버전)를 포함한다. 사용자의 눈들의 이미지를 포함하여, 사용자의 일부분의 시각적 표현을 디스플레이하는 것은, (예컨대, 사용자의 일부분의 시각적 표현을 시각적으로 구별함으로써, 사용자의 일부분(예컨대, 사용자의 눈들)의 검출된 이동에 관한 개선된 시각적 피드백을 제공함으로써) 사용자에게 개선된 시각적 피드백을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 사용자의 일부분의 시각적 표현은 사용자의 눈들의 하나 이상의 이미지들에 기초하여 생성되는 가상 객체(예컨대, 복수의 2차원 이미지들 또는 3차원 모델인 한 쌍의 가상 눈들)를 포함하며, 여기에서 가상 객체의 외관(예컨대, 색상, 크기, 구조 등) 및 이동(예컨대, 안검들 및 안구들의 이동 등)은 컴퓨팅 시스템의 하나 이상의 센서들에 의해 캡처되는 사용자의 눈들의 외관 및 이동에 대응한다(예컨대, 사용자의 눈들의 카툰(cartoon) 버전이 제1 디스플레이 생성 컴포넌트 전방의 사용자의 눈들의 카메라 뷰에 기초하여 생성되고, 사용자의 눈들의 카툰 버전은 사용자의 눈들을 향하는 카메라에 의해 캡처된 바와 같은 사용자의 눈들의 이동에 따라 이동함). 사용자의 눈들의 하나 이상의 이미지들에 기초하여 생성되는 가상 객체 - 가상 객체의 외관 및 이동은 하나 이상의 센서들에 의해 캡처되는 사용자의 눈들의 외관 및 이동에 대응함 - 를 포함하여, 사용자의 일부분의 시각적 표현을 디스플레이하는 것은, (예컨대, 사용자의 일부분의 시각적 표현을 시각적으로 구별함으로써, 사용자의 눈들의 검출된 외관 및 이동에 관한 개선된 시각적 피드백을 제공함으로써) 사용자에게 개선된 시각적 피드백을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 각각의 기간에 걸친 사용자의 외관의 변화들을 나타내기 위해 사용자의 일부분의 시각적 표현을 변경하는 것은, 사용자에 대응하는 눈 추적 데이터(예컨대, 사용자의 안구들의 이동, 및 사용자의 시선의 초점의 방향 및 위치)를 획득하는 것(예컨대, 눈 추적 데이터는, 선택적으로, 사용자의 눈들을 향하는 하나 이상의 카메라에 의해 캡처되고, 사용자의 시선을 결정하기 위한 그리고 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠와 상호작용하기 위한 입력으로서 사용됨); 및 사용자에 대응하는 눈 추적 데이터에 기초하여 사용자의 일부분의 시각적 표현을 업데이트하는 것(예컨대, 눈 추적 데이터에 따라 사용자의 일부분(예컨대, 사용자의 얼굴, 또는 눈들 근처의 영역)의 시각적 표현에서 사용자의 눈들의 이동을 나타냄)을 포함한다. 사용자에 대응하는 눈 추적 데이터를 획득하는 것 및 사용자에 대응하는 눈 추적 데이터에 기초하여 사용자의 일부분의 시각적 표현을 업데이트하는 것을 포함하여, 각각의 기간에 걸친 사용자의 외관의 변화들을 나타내기 위해 사용자의 일부분의 시각적 표현을 변경하는 것은, 사용자에게 개선된 시각적 피드백을 제공한다(예컨대, 사용자에 대응하는 눈 추적 데이터에 기초하여, 사용자의 눈들의 외관 및 이동에 관한 더 정확한 시각적 피드백을 제공함). 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

도 8에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에서 설명되는 다른 방법들(예컨대, 방법들(9000, 10000, 11000, 12000, 13000))과 관련하여 본 명세서에서 설명되는 다른 프로세스들의 상세사항들이 도 8과 관련하여 위에서 설명된 방법(8000)과 유사한 방식으로 또한 적용가능하다는 것에 주목해야 한다. 예를 들어, 방법(8000)을 참조하여 전술된 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들 및/또는 애니메이션들은, 선택적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(9000, 10000, 11000, 12000, 13000))을 참조하여 본 명세서에 기술되는 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.

도 9는 일부 실시예들에 따른, 컴퓨터 생성 환경 및 컴퓨터 생성 환경과 연관된 상태 정보와 컴퓨터 생성 환경을 보기 위한 위치에 있는 사용자와 연관된 상태 정보를 디스플레이하는 방법(9000)의 흐름도이다.

방법(9000)은, 또한, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템에 관한 것이다. 위에서 설명된 바와 같이, 많은 고려사항들은, 사용자와 관련된 상태 정보 및 제1 디스플레이 생성 컴포넌트를 통해 사용자에게 디스플레이되는 콘텐츠를 주변 환경 내의 다른 사람들에게 전달하는 적절한 양의 시각적 정보를 디스플레이하기 위해 제2 디스플레이 생성 컴포넌트를 사용하는 컴퓨팅 시스템으로부터 이익을 얻을 수 있다. 일부 실시예들에서, 상태 정보는, 제1 디스플레이 생성 컴포넌트가 사용 중인 동안, 제2 디스플레이 생성 컴포넌트 상에 디스플레이된다. 일부 실시예들에서, 상태 정보는, 오직, 동일한 물리적 환경 내의 다른 사람들의 존재를 검출하는 것에 응답하여 그리고/또는 동일한 물리적 환경 내의 다른 사람들이 (예컨대, 동일한 룸에 들어가는 것, 사용자의 방향으로 보는 것, 사용자에게 손을 흔드는 것 등에 의해) 사용자를 사회적 담론에 관여하게 하기를 원할 수 있다는 어떤 표시를 검출하는 것에 응답하여 디스플레이된다. 제2 디스플레이 생성 컴포넌트 상에 상태 정보를 표시하는 것은, 선택적으로, 사용자의 일부분(예컨대, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠를 보기 위한 위치에 있을 때 제1 디스플레이 생성 컴포넌트에 의해 차단되는 사용자의 일부분)의 표현을 디스플레이하는 것, 및 제1 디스플레이 생성 컴포넌트를 통해 현재 표시되어 있는 콘텐츠의 시각적 표시를 제공하는 그래픽 요소들을 디스플레이하는 것을 포함한다. 게다가, 일부 실시예들에서, 사용자의 일부분의 표현은 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 경험의 몰입 레벨의 변화와 함께 업데이트된다. 제2 디스플레이 생성 컴포넌트를 사용하여, 제1 디스플레이 생성 컴포넌트를 통해 표시된 콘텐츠를 보는 사용자와 관련된 그리고 사용자가 보는 콘텐츠와 관련된 상태 정보를 디스플레이하고, 콘텐츠의 제공과 연관된 몰입 레벨의 변화에 따라 사용자의 일부분의 표현의 외관을 업데이트하는 것을 포함하여, 상태 정보를 업데이트하는 이러한 방법 및 시스템은, 컴퓨터 생성 경험을 주변 환경에 완전히 드러내지 않고서, 사용자가 컴퓨터 생성 경험에 관여하는 동안 사용자의 주변 환경 내의 다른 사람들이 사용자의 현재 상태에 대한 유용한 통찰력을 얻도록 허용한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트에 의해 차단되는 사용자의 일부분(예컨대, 사용자의 눈들 또는 얼굴)의 표현에 대한 업데이트들 및 제1 디스플레이 생성 컴포넌트에 의해 디스플레이되는 콘텐츠의 상태를 보여주는 그래픽 요소들에 대한 업데이트들은 상이한 디스플레이 층들 상에 표시되고 서로 독립적으로 업데이트된다. 상이한 디스플레이 층들 상에 사용자의 일부분의 표현 및 콘텐츠의 상태를 보여주는 그래픽 요소들을 디스플레이하는 것은 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트 둘 모두를 수용하는 머리 장착형 디스플레이 디바이스 뒤의 사용자의 상태에 대한 더 사실적인 뷰를 제공한다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트를 통해 표시된 상태 정보(예컨대, 사용자의 표현 및 콘텐츠의 상태를 보여주는 그래픽 요소들을 포함함)는, 선택적으로, 사용자 및 사용자와 동일한 물리적 환경 내의 다른 사람들의 상이한 요구들에 대응하는 컴퓨팅 시스템의 많은 상이한 사용 모드들의 시각적 표시들을 제공한다. 이는, 사용자가 컴퓨터 생성 경험에 관여할 때 주변 환경 내의 사람들과 사회적으로 연결된 상태로 유지될 수 있게 한다. 사용자의 눈들의 상태 및 사용자에게 표시된 콘텐츠의 상태를 보여주는 제2 디스플레이 생성 컴포넌트 상의 동적으로 업데이트된 상태 정보는, 예컨대 적절한 사회적 상호작용을 그러한 상호작용들이 사용자에 의해 요구될 때 장려하는 것, 사용자의 사회적 관여 허가에 대한 시각적 단서들의 부족으로 인한 주변 환경 내의 다른 사람들에 의한 사회적 상호작용들의 불필요한 회피를 감소시키는 것, 컴퓨터 생성 경험에 대한 사용자의 관여를 중단시키기 위한 적합한 시간을 다른 사람들에게 알리는 것, 방해받지 않은 상태로 있고자 하는 사용자의 요구에 대한 시각적 단서들의 부족으로 인한 사용자의 관여 경험들에 대한 반갑지 않은 중단들을 감소시키는 것 등에 의해, 사용자가 공공 또는 반-공공 환경에 있을 때 컴퓨터 생성 경험에 대한 사용자의 관여를 개선한다.

일부 실시예들에서, 방법(9000)은, 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7100), HMD의 내부 디스플레이 등), 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이(7102), HMD의 외부 디스플레이 등)(예컨대, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 컴포넌트는 각각 헤드업 디스플레이, 머리 장착형 디스플레이(HMD), 디스플레이, 터치스크린, 프로젝터 등이거나, 또는 헤드업 디스플레이, 머리 장착형 디스플레이(HMD), 디스플레이, 터치스크린, 프로젝터 등의 그리고/또는 그의 동일한 하우징으로 둘러싸인 별개의 디스플레이들임) 및 하나 이상의 입력 디바이스들(예컨대, 카메라들, 제어기들, 터치 감응형 표면들, 조이스틱들, 버튼들, 장갑들, 워치들, 모션 센서들, 배향 센서들 등)을 포함하는 컴퓨팅 시스템(예컨대, 도 1의 컴퓨팅 시스템(101))에서 수행된다(9002). 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는 사용자를 향하는 디스플레이 생성 컴포넌트이고, 사용자에게 CGR 경험을 제공하며, 제2 디스플레이 생성 컴포넌트는 사용자로부터 멀리 그리고 사용자의 외부 환경을 향하는 디스플레이 생성 컴포넌트이고, 외부 환경 내의 다른 사용자들에게 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이된 콘텐츠, 동작 상태 등) 및/또는 사용자(예컨대, 사용자의 눈들의 이동, 사용자의 주의 상태 등)와 관련된 상태 정보를 제공한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트는 제1 디스플레이 생성 컴포넌트에 대응하는 제1 면 상에 제1 사용자 인터페이스를 그리고 제2 디스플레이 생성 컴포넌트에 대응하는 제2 면 상에 제2 사용자 인터페이스를 디스플레이하는 양면 디스플레이 디바이스(예컨대, 양면 HMD)를 형성한다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 및 제2 디스플레이 생성 컴포넌트들 및 하나 이상의 입력 디바이스들 중 적어도 일부와 동일한 하우징으로 둘러싸인 하나 이상의 프로세서들 및 메모리를 갖는 통합 디바이스이다. 일부 실시예들에서, 컴퓨팅 시스템은, 디스플레이 생성 컴포넌트들 및/또는 하나 이상의 입력 디바이스들과 별개인 하나 이상의 프로세서들 및 메모리를 포함하는 컴퓨팅 컴포넌트(예컨대, 서버, 스마트 폰 또는 태블릿 디바이스와 같은 모바일 전자 디바이스, 워치, 손목밴드 또는 이어폰들과 같은 웨어러블 디바이스, 데스크톱 컴퓨터, 랩톱 컴퓨터 등)를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들은 동일한 하우징 내에 통합되고 그로 둘러싸인다.

방법(9000)에서, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트를 통해, 컴퓨터 생성 환경(예컨대, 도 7a 내지 도 7e의 콘텐츠(7002))을 디스플레이한다(예컨대, HMD의 내부 디스플레이, 또는 사용자를 향하는 제1 디스플레이 등을 사용하여 디스플레이함)(예컨대, 가상 콘텐츠만을 갖는 순수한 가상 환경을 디스플레이함(예컨대, VR 뷰), 가상 콘텐츠 및 주변 물리적 환경의 표현들 둘 모두를 포함하는 혼합 현실 환경을 디스플레이함(예컨대, AR 뷰), 또는 어떠한 가상 콘텐츠 없이 주변 물리적 환경의 표현들을 디스플레이함(예컨대, 완전 패스 스루 뷰))(9004). 제1 디스플레이 생성 컴포넌트를 통해 컴퓨터 생성 환경을 디스플레이하는 동안, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트를 통해 컴퓨터 생성 환경을 보기 위한 위치에 있는 컴퓨팅 시스템의 사용자(예컨대, 제1 사용자(7202))의 일부분의 시각적 표현(예컨대, 표현(7006)), 및 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들(예컨대, 표현(7008), 진행 바(7004) 등)을 동시에 디스플레이하는 것을 포함하여, 컴퓨팅 시스템에 대응하는 상태 정보(예컨대, 표현(7006), 표현(7008), 진행 바(7004) 등)를 제2 디스플레이 생성 컴포넌트를 통해 디스플레이한다(예컨대, HMD의 외부 디스플레이, 또는 사용자의 얼굴로부터 멀리 외부 환경을 향하는 제2 디스플레이를 사용하여 상태 정보를 디스플레이함)(7006). 컴퓨팅 시스템은 각각의 이벤트를 검출한다(예컨대, 제1 디스플레이 생성 컴포넌트를 통해 컴퓨터 생성 환경을 디스플레이하고, 컴퓨팅 시스템에 대응하는 상태 정보(예컨대, 시각적 표현 및 하나 이상의 그래픽 요소들의 동시 디스플레이를 포함함)를 제2 디스플레이 생성 컴포넌트를 통해 디스플레이하는 동안(예컨대, 컴퓨터 생성 환경이, 제1 몰입 레벨(예컨대, 현실 모드 또는 패스 스루 모드)보다 크고 제3 몰입 레벨(예컨대, 가상 현실 모드)보다 작은 제2 몰입 레벨(예컨대, 혼합 현실 모드, 또는 가상 현실 모드 동안 제공되는 일시적인 패스 스루 모드)로 제공되는 동안), 컴퓨팅 시스템은 각각의 이벤트(예컨대, 컴퓨터 생성 환경의 몰입의 변화를 트리거하는 이벤트)를 검출함)(9008). 각각의 이벤트를 검출하는 것(예컨대, 컴퓨터 생성 경험의 자연적 종료를 검출함, 통지를 검출함, 현재 모드를 중단시키거나 종료하는 사용자 입력을 검출함)에 응답하여, 컴퓨팅 시스템은 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경의 몰입 레벨을 변경하고(예컨대, 더 몰입적인 모드로 변경하거나 덜 몰입적인 모드로 변경하거나, 또는 하나 이상의 특수 모드들 중 하나의 특수 모드로 변경함); 컴퓨팅 시스템은, 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현의 외관을 변경하는 것(예컨대, 사용자의 일부분의 시각적 표현의 가시성을 증가 또는 감소시킴(예컨대, 사용자의 시각적 표현의 가시성을 감소시키는 것은 사용자의 일부분의 시각적 표현을 디스플레이하는 것을 완전히 중지하는 것을 포함함))을 포함하여, 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보를 변경한다(예컨대, 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들의 외관을 변경함(예컨대, 하나 이상의 그래픽 요소들의 가시성을 증가 또는 감소시킴(예컨대, 가시성을 감소시키는 것은 디스플레이를 중지하는 것, 하나 이상의 그래픽 요소들을 변환하는 것 등을 포함함) 또는 추가 그래픽 요소들을 디스플레이함 등))(9010). 이는, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 경험의 몰입 레벨을 변경하는 것이 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 상태 정보로 하여금 또한 변화하게 하는 도 7c 내지 도 7e에 예시되어 있다.

일부 실시예들에서, 컴퓨팅 시스템은 컴퓨터 생성 환경을 적어도 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨로 디스플레이하도록 구성된다(예컨대, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경이 하나 이상의 이벤트들(예컨대, 애플리케이션 또는 경험의 자연적 종료 또는 진행; 사용자 입력에 응답한 경험의 시작, 정지 또는 일시정지 등)의 시퀀스에 응답하여 상이한 몰입 레벨들 사이에서 전이되게 함). 일부 실시예들에서, 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨은 컴퓨터 생성 환경에 존재하는 가상 콘텐츠의 양을 증가시키는 것 및/또는 컴퓨터 생성 환경에 존재하는 주변 물리적 환경의 표현들의 양을 감소시키는 것에 대응한다. 일부 실시예들에서, 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨은 컴퓨터 생성 콘텐츠에 대한 증가하는 이미지 충실도 및/또는 공간 범위(예컨대, 각도 범위, 공간 깊이 등), 및/또는 주변 물리적 환경의 표현들에 대한 감소하는 이미지 충실도 및/또는 공간 범위를 갖는 상이한 콘텐츠 디스플레이 모드들에 대응한다. 일부 실시예들에서, 제1 몰입 레벨은, 물리적 환경이 제1 디스플레이 생성 컴포넌트를 통해(예컨대, 물리적 환경의 카메라 뷰로서 또는 제1 디스플레이 생성 컴포넌트의 투명 부분을 통해) 사용자에게 완전히 보이는 패스 스루 모드이고, 컴퓨터 생성 환경은, 물리적 환경의 뷰로서 동시에 보이는 최소량의 가상 요소들을 갖거나 물리적 환경에 대한 사용자의 뷰에 대해 주변에 있는 가상 요소들(예컨대, 디스플레이의 주변 영역에 디스플레이되는 표시자들 및 제어부들)을 포함하는 물리적 환경의 패스 스루 뷰를 포함한다. 일부 실시예들에서, 제2 몰입 레벨은, 물리적 환경의 패스 스루 뷰가 컴퓨팅 시스템에 의해 생성된 가상 요소들로 증강되는 혼합 현실 모드이며, 가상 요소들은 물리적 환경에 대한 사용자의 뷰의 중심 부분에 대응하는 컴퓨터 생성 환경 내의 위치들을 갖고/갖거나, 물리적 환경 내의 위치들 및 객체들에 대응하는 컴퓨터 생성 환경 내의 위치들을 갖는다(예컨대, 가상 콘텐츠는 컴퓨터 생성 환경의 뷰에서 물리적 환경과 통합됨). 일부 실시예들에서, 제3 몰입 레벨은, 물리적 환경에 대한 사용자의 뷰가 제1 디스플레이 생성 컴포넌트에 의해 제공되는 가상 콘텐츠의 뷰에 의해 완전히 대체되거나 차단되는 가상 현실 모드이다. 일부 실시예들에서, 4가지 상이한 몰입 레벨들이 있으며, 여기에서 제1 몰입 레벨은 제1 디스플레이 생성 컴포넌트의 패스 스루 모드에 대응하고, 제2 몰입 레벨은 제1 디스플레이 생성 컴포넌트의 2가지 별개의 하위 모드들에 대응하는 2가지 하위 레벨들 A 및 B(예컨대, 물리적 환경의 패스 스루 뷰가 사용자 인터페이스 또는 사용자 인터페이스 객체들의 배경에 디스플레이되는 동안 사용자 인터페이스 또는 사용자 인터페이스 객체들이 사용자의 시야의 주요 부분에 디스플레이되고 있는 제2 레벨 A; 및 가상 요소들이 물리적 환경의 증강 현실 뷰에서 물리적 환경 내의 물리적 객체들의 표현들과 통합되는 제2 레벨 B)를 포함하며, 제3 몰입 레벨은 제1 디스플레이 생성 컴포넌트의 가상 현실 모드에 대응한다. 컴퓨터 생성 환경을 적어도 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨로 디스플레이하는 것은 사용자에게 개선된 시각적 피드백(예컨대, 각각의 이벤트가 검출되었다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 각각의 이벤트를 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경의 몰입 레벨을 변경하는 것은, 각각의 이벤트가 제1 기준들을 충족시키는 이벤트라는 결정에 따라(예컨대, 제1 기준들은, 컴퓨터 생성 환경이 현재 제2 몰입 레벨로 디스플레이되어 있을 때 충족되고, 각각의 이벤트는, 컴퓨팅 시스템에 의해 제공되는 혼합 현실 또는 증강 현실 경험을 일시정지시키기 위해 사용자가 그의 양손을 HMD의 측부들 상에 놓는 것을 검출하는 것을 포함함), 컴퓨터 생성 환경을 제2 몰입 레벨로 디스플레이하는 것으로부터 컴퓨터 생성 환경을 제1 몰입 레벨로 디스플레이하는 것으로 스위칭하는 것(예컨대, 혼합 현실 모드 또는 증강 현실 모드로부터 완전 패스 스루 모드로 스위칭함); 및 각각의 이벤트가 제1 기준들과는 상이한 제2 기준들을 충족시키는 이벤트라는 결정에 따라(예컨대, 제2 기준들은, 컴퓨터 생성 환경이 현재 제2 몰입 레벨로 디스플레이되어 있을 때 충족되고, 각각의 이벤트는, 가상 현실 경험이 시작되게 하는 사용자 입력을 검출하는 것을 포함함), 컴퓨터 생성 환경을 제2 몰입 레벨(예컨대, 혼합 현실 모드의 하위 모드 B)로 디스플레이하는 것으로부터 컴퓨터 생성 환경을 제3 몰입 레벨(예컨대, 가상 현실 모드)로 디스플레이하는 것으로 스위칭하는 것을 포함한다. 일부 실시예들에서, 각각의 이벤트를 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경의 몰입 레벨을 변경하는 것은, 각각의 이벤트가 제3 기준들을 충족시키는 이벤트라는 결정에 따라(예컨대, 제3 기준들은, 컴퓨터 생성 환경이 현재 제3 몰입 레벨로 디스플레이되어 있을 때 충족되고, 각각의 이벤트는, 컴퓨팅 시스템에 의해 제공되는 가상 경험을 일시정지시키기 위해 사용자가 그의 양손을 HMD의 측부들 상에 놓는 것을 검출하는 것 또는 가상 현실 경험의 종료를 야기하는 사용자 입력을 검출하는 것(예컨대, 사용자의 시야의 주요 부분에 그래픽 사용자 인터페이스(예컨대, 홈 스크린, 애플리케이션 개시 사용자 인터페이스) 또는 사용자 인터페이스 객체들(예컨대, 애플리케이션 개시 아이콘들, 콘텐츠 아이템들 및 경험들의 표현들 등)을 재디스플레이하는 것, 또는 가상 현실 경험의 증강 현실 버전으로 돌아가기 위한 사용자 입력을 검출하는 것; 또는 가상 현실 콘텐츠가 물리적 환경의 패스 스루 뷰와 함께 계속 디스플레이되는 동안 물리적 환경의 패스 스루 뷰를 일시적으로 활성화하는 사용자 입력(예컨대, 사용자가 바라보는 자세에서 그의 손을 HMD의 상단 에지 위에 놓음)을 검출하는 것)을 포함함), 컴퓨터 생성 환경을 제3 몰입 레벨(예컨대, 가상 현실 모드)로 디스플레이하는 것으로부터 컴퓨터 생성 환경을 제2 몰입 레벨(예컨대, 혼합 현실 모드, 또는 선택적으로 가상 현실 콘텐츠의 동시 디스플레이를 갖는 일시적인 패스 스루 모드)로 디스플레이하는 것으로 스위칭하는 것을 포함한다. 일부 실시예들에서, 컴퓨터 생성 환경이 현재 제1 몰입 레벨로 디스플레이되어 있고, 컴퓨팅 시스템에 의해 제공되는 애플리케이션 또는 경험이 선택되기 전에, 컴퓨터 시스템이, 사용자가 HMD를 착용하고/하거나 HMD를 그의 머리에 착용한 상태에서 앉은 후에 HMD로부터 그의 손들을 떼는 것을 검출할 때, 컴퓨팅 시스템은 컴퓨터 생성 환경을 제1 몰입 레벨로 디스플레이하는 것으로부터 컴퓨터 생성 환경을 제2 몰입 레벨로 디스플레이하는 것으로 스위칭한다(예컨대, 완전 패스 스루 모드로부터 혼합 현실 모드(예컨대, 혼합 현실 모드의 하위 모드 A)로 스위칭함, 또는 그래픽 사용자 인터페이스(예컨대, 홈 스크린, 애플리케이션 개시 사용자 인터페이스) 또는 사용자 인터페이스 객체들(예컨대, 애플리케이션 개시 아이콘들, 콘텐츠 아이템들 및 경험들의 표현들 등)의 디스플레이가 사용자의 시야의 주요 부분에 디스플레이되게 함). 각각의 이벤트가 제1 기준들을 충족시키는 이벤트라는 결정에 따라, 컴퓨터 생성 환경을 제2 몰입 레벨로 디스플레이하는 것으로부터 컴퓨터 생성 환경을 제1 몰입 레벨로 디스플레이하는 것으로 스위칭하는 것, 및 각각의 이벤트가 제1 기준들과는 상이한 제2 기준들을 충족시키는 이벤트라는 결정에 따라, 컴퓨터 생성 환경을 제2 몰입 레벨로 디스플레이하는 것으로부터 컴퓨터 생성 환경을 제3 몰입 레벨로 디스플레이하는 것으로 스위칭하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제2 몰입 레벨로부터 제1 몰입 레벨로의 스위칭으로부터의, 또는 제2 몰입 레벨로부터 제3 몰입 레벨로의 스위칭을 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, (예컨대, 하나 이상의 이벤트들의 시퀀스 중 제1 이벤트에 응답하여) 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경의 몰입 레벨을 변경하는 것은 컴퓨터 생성 환경을 제2 몰입 레벨(예컨대, 제2 몰입 레벨은 혼합 현실 모드(예컨대, 제2 몰입 레벨의 하위 모드 A, 제2 몰입 레벨의 하위 모드 B, 물리적 환경의 증강 현실 뷰)에 대응함)로 디스플레이하는 것으로부터 컴퓨터 생성 환경을 제1 몰입 레벨(예컨대, 제1 몰입 레벨은 현실 모드, 또는 완전 패스 스루 모드에 대응함)로 디스플레이하는 것으로 스위칭하는 것을 포함하며, 여기에서 제1 몰입 레벨로 디스플레이되는 컴퓨터 생성 환경은 임계량 미만의 컴퓨터 생성 콘텐츠를 갖는(가상 콘텐츠가 없거나 디스플레이의 주변 영역에 가상 제어부들 및 상태 정보만 있음) 물리적 환경의 뷰를 제공한다. 일부 실시예들에서, 제2 몰입 레벨을 갖는 컴퓨터 생성 환경은 임계량 초과의 컴퓨터 생성 콘텐츠를 갖는(예컨대, 사용자 인터페이스 또는 사용자 인터페이스 객체들이 디스플레이의 중심 부분에 있고/있거나 물리적 환경 내의 물리적 표면들 및 객체들의 표현들과 시각적으로 통합됨) 물리적 환경의 뷰를 제공한다. 일부 실시예들에서, (예컨대, 하나 이상의 이벤트들의 시퀀스 중 제1 이벤트에 응답하여) 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보를 변경하는 것은, 컴퓨터 생성 환경을 제2 몰입 레벨로 디스플레이하는 것으로부터 컴퓨터 생성 환경을 제1 몰입 레벨로 디스플레이하는 것으로 스위칭하는 것과 함께(예컨대, 혼합 현실 모드로부터 현실 또는 패스 스루 모드로 스위칭하는 것과 함께), 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들과 함께 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현을 디스플레이하는 것으로부터 하나 이상의 그래픽 요소들 없이 사용자의 일부분의 시각적 표현을 디스플레이하는 것으로 스위칭하는 것을 포함한다(예컨대, 제1 디스플레이 생성 컴포넌트 상에서 혼합 현실 모드로부터 현실 또는 완전 패스 스루 모드로 스위칭할 때, 제2 디스플레이 생성 컴포넌트는 사용자의 눈들의 표현들과 함께, 제1 디스플레이 생성 컴포넌트 상에 표시된 콘텐츠에 대한 상태 표시자들을 디스플레이하는 것으로부터 사용자가 보고 있는 콘텐츠에 대한 상태 표시자들 없이 사용자의 눈들의 표현들만을 디스플레이하는 것으로 스위칭함). 컴퓨터 생성 환경을 제2 몰입 레벨로 디스플레이하는 것으로부터 컴퓨터 생성 환경을 제1 몰입 레벨로 디스플레이하는 것으로 스위칭할 때 임계량 미만의 컴퓨터 생성 콘텐츠와 함께 물리적 환경의 뷰를 디스플레이하는 것, 및 디스플레이되는 상태 정보를 변경하는 것과 함께, 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들과 함께 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현을 디스플레이하는 것으로부터 하나 이상의 그래픽 요소들 없이 사용자의 일부분의 시각적 표현을 디스플레이하는 것으로 스위칭하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 현재 몰입 레벨에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 컴퓨팅 시스템은, 컴퓨터 생성 환경이 제1 디스플레이 생성 컴포넌트(및 제2 디스플레이 생성 컴포넌트)를 둘러싸는 물리적 환경의 표현 및 적어도 임계량의 가상 객체들을 포함하는 혼합 현실 환경이라는 결정에 따라, 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시(예컨대, 제1 디스플레이 생성 컴포넌트를 통해 표시된 콘텐츠의 확산된 버전인 가상 오버레이)를 제공하는 하나 이상의 그래픽 요소들과 사용자의 일부분의 시각적 표현(예컨대, 사용자의 눈들 또는 눈들 근처의 얼굴의 일부분의 표현)을 동시에 디스플레이한다(예컨대, 컴퓨팅 시스템은, 물리적 환경의 표현과 적어도 임계량의 가상 객체들의 공존이 컴퓨터 생성 환경에서 제2 몰입 레벨을 야기할 때(예컨대, AR 경험이 제1 디스플레이 생성 컴포넌트(예컨대, HMD의 내부 디스플레이)를 통해 제공될 때), 제2 디스플레이 생성 컴포넌트(예컨대, HMD의 외부 디스플레이)를 통해, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되고 있는 콘텐츠의 힌트를 보여주는 오버레이와 함께 사용자의 눈들의 실시간 이미지를 디스플레이함). 컴퓨터 생성 환경이 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현 및 적어도 임계량의 가상 객체들을 포함하는 혼합 현실 환경이라는 결정에 따라, 하나 이상의 그래픽 요소들과 사용자의 일부분의 시각적 표현을 동시에 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경 및 적어도 임계량의 가상 객체들에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, (예컨대, 하나 이상의 이벤트들의 시퀀스 중 제2 이벤트에 응답하여) 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경의 몰입 레벨을 변경하는 것은 컴퓨터 생성 환경을 제2 몰입 레벨(예컨대, 제2 몰입 레벨은 혼합 현실 모드(예컨대, 제2 몰입 레벨의 하위 모드 A, 제2 몰입 레벨의 하위 모드 B, 물리적 환경의 증강 현실 뷰)에 대응함)로 디스플레이하는 것으로부터 컴퓨터 생성 환경을 제3 몰입 레벨(예컨대, 제3 몰입 레벨은 가상 현실 모드에 대응함)로 디스플레이하는 것으로 스위칭하는 것을 포함하며, 여기에서 제3 몰입 레벨로 디스플레이되는 컴퓨터 생성 환경은 물리적 환경의 임계량 미만의 표현을 갖는(예컨대, 물리적 환경의 카메라 뷰 또는 패스 스루 뷰가 없음, 또는 물리적 환경의 이름, 위치 및/또는 날씨를 설명하는 텍스트 정보만 있음) 가상 환경(예컨대, 가상 3차원 환경)을 제공한다. 일부 실시예들에서, 제2 몰입 레벨로 디스플레이되는 컴퓨터 생성 환경은 임계량 초과의 컴퓨터 생성 콘텐츠(예컨대, 사용자 인터페이스 또는 사용자 인터페이스 객체들이 디스플레이의 중심 부분에 있고/있거나 물리적 환경 내의 물리적 표면들 및 객체들의 표현들과 시각적으로 통합됨) 및 물리적 환경의 임계량 초과의 표현(예컨대, 카메라 뷰 또는 제1 디스플레이 생성 컴포넌트의 투명 패스 스루 부분을 통한 뷰를 포함함)을 갖는 물리적 환경의 뷰를 제공한다. 일부 실시예들에서, (예컨대, 하나 이상의 이벤트들의 시퀀스 중 제2 이벤트에 응답하여) 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보를 변경하는 것은, 컴퓨터 생성 환경을 제2 몰입 레벨로 디스플레이하는 것으로부터 컴퓨터 생성 환경을 제3 몰입 레벨로 디스플레이하는 것으로 스위칭하는 것과 함께(예컨대, 혼합 현실 모드로부터 가상 현실 모드로 스위칭하는 것과 함께), 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들과 함께 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현을 디스플레이하는 것으로부터 사용자의 일부분의 시각적 표현 없이 하나 이상의 그래픽 요소들을 디스플레이하는 것으로 스위칭하는 것을 포함한다(예컨대, 제1 디스플레이 생성 컴포넌트 상에서 혼합 현실 모드로부터 가상 현실 모드로 스위칭할 때, 제2 디스플레이 생성 컴포넌트는 사용자의 눈들의 표현들과 함께, 제1 디스플레이 생성 컴포넌트 상에 표시된 콘텐츠에 대한 상태 표시자들을 디스플레이하는 것으로부터, 사용자의 눈들의 표현들을 디스플레이하지 않고서 사용자가 보고 있는 콘텐츠에 대한 상태 표시자들만을 디스플레이하는 것으로 스위칭함). 하나 이상의 그래픽 요소들과 함께 사용자의 일부분의 시각적 표현을 디스플레이하는 것으로부터 사용자의 일부분의 시각적 표현 없이 하나 이상의 그래픽 요소들을 디스플레이하는 것으로 스위칭하는 것과 함께, 컴퓨터 생성 환경을 제2 몰입 레벨로 디스플레이하는 것으로부터 컴퓨터 생성 환경을 물리적 환경의 임계량 미만의 표현을 갖는 가상 환경을 제공하는 제3 몰입 레벨로 디스플레이하는 것으로 스위칭하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 변경된 몰입 레벨 및 변경된 상태 정보에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 통해 컴퓨터 생성 환경을 디스플레이하고, 컴퓨팅 시스템에 대응하는 상태 정보를 제2 디스플레이 생성 컴포넌트를 통해 디스플레이하는 동안(예컨대, 컴퓨터 생성 환경이, 제1 몰입 레벨(예컨대, 현실 모드 또는 패스 스루 모드)보다 크고 제3 몰입 레벨(예컨대, 가상 현실 모드)보다 작은 제2 몰입 레벨(예컨대, 혼합 현실 모드, 또는 가상 현실 모드 동안 제공되는 일시적인 패스 스루 모드)로 제공되는 동안), 컴퓨팅 시스템은 컴퓨팅 디바이스의 프라이버시 모드를 활성화하라는 제1 사용자 요청을 검출하며(예컨대, (예컨대, 사용자가 HMD 상의 블라인드를 끌어 내리고 있는 것처럼) 핀치 제스처로 유지되는 손의 하향 이동인 사용자 입력을 검출함, 또는 개인 모드를 활성화하라는 요청(예컨대, 제1 디스플레이 생성 컴포넌트 상에 후속하여 디스플레이되는 모든 애플리케이션들에 적용되는 시스템 요청, 또는 현재 디스플레이된 애플리케이션에 적용되는 애플리케이션 특정 요청)에 대응하는 컴퓨터 생성 환경 내의 제어부를 활성화하는 사용자 입력을 검출함, 또는 사용자가 컴퓨터 생성 환경에서 "개인"으로 표시되는 콘텐츠에 액세스하고 있을 때 등), 여기에서 프라이버시 모드는, 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 하나 이상의 그래픽 요소들(예컨대, 제1 디스플레이 생성 컴포넌트를 통해 현재 표시된 컴퓨터 생성 환경의 콘텐츠에 기초하여 생성되고 그를 반영하는 오버레이)이 제1 임계 가시성 미만의 가시성(예컨대, 임계 해상도, 밝기, 불투명도 및/또는 선명도 미만; 임계량 초과의 블러링; 또는 전혀 디스플레이되지 않거나 보이지 않음)을 가질 것을 요구한다. 제1 사용자 요청을 검출하는 것에 응답하여, 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들의 가시성이 프라이버시 모드에 대응하는 제1 임계 가시성을 초과하는 동안 제1 사용자 요청이 수신된다는 결정에 따라, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트 상의 하나 이상의 그래픽 요소들의 가시성을 프라이버시 모드에 대응하는 제1 임계 가시성 미만으로 감소시킨다(예컨대, 페이드 아웃(fade out)함, 추가로 블러링함, 더 반투명하게 함, 또는 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 디스플레이하는 것을 중지함). 제1 사용자 요청을 검출하는 것에 응답하여, 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들의 가시성이 프라이버시 모드에 대응하는 제1 임계 가시성을 초과하지 않는 동안 제1 사용자 요청이 수신된다는 결정에 따라, 컴퓨팅 시스템은 하나 이상의 그래픽 요소들의 가시성을 프라이버시 모드에 대응하는 제1 임계 가시성 미만으로 유지한다(예컨대, 하나 이상의 그래픽 요소들을 디스플레이하지 않음 또는 그들을 최소로 보이고 변경되지 않은 상태로 유지함). 일부 실시예들에서, 프라이버시 모드가 활성인 동안, 하나 이상의 그래픽 요소들은 디스플레이되지 않거나 또는 최소의 정보를 디스플레이하는 상태에 진입하고, 컴퓨터 생성 환경의 콘텐츠가 제1 디스플레이 생성 컴포넌트 상에서 계속 변경될 때에도 제2 디스플레이 생성 컴포넌트 상에서 변경되지 않은 상태로 유지된다. 하나 이상의 그래픽 요소들의 가시성이 프라이버시 모드에 대응하는 제1 임계 가시성을 초과하는 동안, 프라이버시 모드를 활성화하라는 제1 사용자 요청이 수신된다는 결정에 따라, 제2 디스플레이 생성 컴포넌트 상의 하나 이상의 그래픽 요소들의 가시성을 프라이버시 모드에 대응하는 제1 임계 가시성 미만으로 감소시키는 것, 및 하나 이상의 그래픽 요소들의 가시성이 프라이버시 모드에 대응하는 제1 임계 가시성을 초과하지 않는 동안, 프라이버시 모드를 활성화하라는 제1 사용자 요청이 수신된다는 결정에 따라, 하나 이상의 그래픽 요소들의 가시성을 프라이버시 모드에 대응하는 제1 임계 가시성 미만으로 유지하는 것은, 추가의 디스플레이된 제어부들(예컨대, 하나 이상의 그래픽 요소들의 가시성을 감소시키거나 유지하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 프라이버시 모드는, 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 사용자의 일부분의 시각적 표현이 제2 임계 가시성 미만의 가시성(예컨대, 임계 해상도, 밝기, 불투명도 및/또는 선명도 미만; 임계량 초과의 블러링; 또는 전혀 디스플레이되지 않거나 보이지 않음)을 가질 것을 요구한다. 일부 실시예들에서, 제1 사용자 요청을 검출하는 것에 응답하여, 사용자의 일부분의 시각적 표현의 가시성이 프라이버시 모드에 대응하는 제2 임계 가시성을 초과하는 동안 제1 사용자 요청이 수신된다는 결정에 따라, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트 상의 사용자의 일부분의 시각적 표현의 가시성을 프라이버시 모드에 대응하는 제2 임계 가시성 미만으로 감소시킨다(예컨대, 페이드 아웃함, 추가로 블러링함, 더 반투명하게 함, 또는 사용자의 눈들의 표현을 디스플레이하는 것을 중지함). 일부 실시예들에서, 제1 사용자 요청을 검출하는 것에 응답하여, 사용자의 일부분의 시각적 표현의 가시성이 프라이버시 모드에 대응하는 제2 임계 가시성을 초과하지 않는 동안 제1 사용자 요청이 수신된다는 결정에 따라, 사용자의 일부분의 시각적 표현의 가시성을 프라이버시 모드에 대응하는 제2 임계 가시성 미만으로 유지한다(예컨대, 사용자의 눈들의 표현을 디스플레이하지 않음 또는 그를 최소로 보이고 변경되지 않은 상태로 유지함). 일부 실시예들에서, 프라이버시 모드가 활성인 동안, 사용자의 눈들의 시각적 표현은 디스플레이되지 않거나 또는 최소로 보이는 상태에 진입하고/하거나, 눈들이 제1 디스플레이 생성 컴포넌트 뒤에서 계속 이동할 때에도 제2 디스플레이 생성 컴포넌트 상에서 변경되지 않은 상태로 유지된다. 사용자의 일부분의 시각적 표현의 가시성이 프라이버시 모드에 대응하는 제2 임계 가시성을 초과하는 동안 제1 사용자 요청이 수신된다는 결정에 따라, 제2 디스플레이 생성 컴포넌트 상의 사용자의 일부분의 시각적 표현의 가시성을 프라이버시 모드에 대응하는 제2 임계 가시성 미만으로 감소시키는 것, 및 사용자의 일부분의 시각적 표현의 가시성이 프라이버시 모드에 대응하는 제2 임계 가시성을 초과하지 않는 동안 제1 사용자 요청이 수신된다는 결정에 따라, 사용자의 일부분의 시각적 표현의 가시성을 프라이버시 모드에 대응하는 제2 임계 가시성 미만으로 유지하는 것은, 추가의 디스플레이된 제어부들(예컨대, 사용자의 일부분의 가시성을 감소시키거나 유지하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 프라이버시 모드가 컴퓨팅 시스템 상에서 활성인 동안, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경의 몰입 레벨을 변경하는(예컨대, 제2 몰입 레벨로부터 제1 몰입 레벨로, 제2 몰입 레벨로부터 제3 몰입 레벨로, 제3 몰입 레벨로부터 제2 몰입 레벨로, 제3 몰입 레벨로부터 제1 몰입 레벨로, 제1 몰입 레벨로부터 제3 몰입 레벨로, 기타 등등으로 변경함) 제2 각각의 이벤트를 검출한다. 제2 각각의 이벤트, 및 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경의 몰입 레벨의 대응하는 변화를 검출하는 것에 응답하여, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보를 변경하는 것을 보류한다(예컨대, 제2 디스플레이 생성 컴포넌트 상의 하나 이상의 그래픽 요소들의 현재 가시성(예컨대, 최소 가시성 또는 전혀 보이지 않음) 및 외관을 변경하는 것을 보류함; 및 제2 디스플레이 생성 컴포넌트 상의 사용자의 눈들의 시각적 표현의 현재 가시성(예컨대, 최소 가시성 또는 전혀 보이지 않음) 및 외관을 변경하는 것을 보류함). 제2 각각의 이벤트 및 컴퓨터 생성 환경의 몰입 레벨의 대응하는 변화를 검출하는 것에 응답하여, 그리고 프라이버시 모드가 컴퓨팅 시스템 상에서 활성인 동안, 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보를 변경하는 것을 보류하는 것은, 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보를 변경하는 것을 보류하는 데 필요한 입력들의 수를 감소시킨다(예컨대, 사용자는, 프라이버시 모드가 활성인 동안, 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보에 대한 변경들을 방지하거나 실행취소하기 위한 추가 입력들을 수행할 필요가 없음). 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 통해 컴퓨터 생성 환경을 디스플레이하는 동안(예컨대, 컴퓨터 생성 환경이 제2 몰입 레벨(예컨대, 혼합 현실 모드, 또는 가상 현실 모드 동안 제공되는 일시적인 패스 스루 모드) 또는 제3 몰입 레벨(예컨대, 가상 현실 모드)로 제공되고, 제2 디스플레이 생성 컴포넌트가 상태 정보(예컨대, 사용자의 눈들의 시각적 표현, 및 제1 디스플레이 생성 컴포넌트를 통해 현재 디스플레이된 컴퓨터 생성 환경의 콘텐츠를 나타내는 그래픽 요소들)를 디스플레이하고 있는 동안), 컴퓨팅 시스템은 컴퓨팅 디바이스의 방해 금지(DND) 모드를 활성화하라는 제2 사용자 요청을 검출한다(예컨대, 손이 HMD의 전면을 덮는 것인 사용자 입력을 검출함, 방해 금지 모드를 활성화하라는 요청(예컨대, 제1 디스플레이 생성 컴포넌트 상에 후속하여 디스플레이되는 모든 애플리케이션들에 적용되는 시스템 요청, 또는 현재 디스플레이된 애플리케이션에 적용되는 애플리케이션 특정 요청)에 대응하는 컴퓨터 생성 환경 내의 제어부를 활성화하는 사용자 입력을 검출함, 또는 사용자가 "DND" 플래그로 표시된 콘텐츠에 액세스하고 있을 때 등). 일부 실시예들에서, 컴퓨팅 디바이스의 DND 모드를 활성화하라는 제2 요청을 검출하는 것에 응답하여, 컴퓨팅 시스템은, 선택적으로, 컴퓨팅 시스템 또는 다른 애플리케이션들(예컨대, 현재 디스플레이된 컴퓨터 생성 환경에 대응하는 애플리케이션과는 상이한 애플리케이션들, 또는 애플리케이션들의 선택된 서브세트(예컨대, 이전에 사용자에 의해 특정된 중요하지 않은 애플리케이션들 등) 등)에 의해 생성된 통지들을 뮤팅(muting)하거나 그를 디스플레이하는 것을 보류하거나 또는 그들을 덜 침입적인 방식으로 디스플레이함으로써(예컨대, 팝업 통지를 디스플레이하는 것으로부터 배지를 디스플레이하는 것 또는 버즈(buzz)를 제공하는 것 등으로 변경함, 오디오 경고를 출력하는 것으로부터 오디오 경고를 출력하지 않는 것으로 변경함 등) 컴퓨터 생성 경험에 대한 중단들을 감소시킨다. 일부 실시예들에서, DND 모드를 활성화하라는 제2 요청을 검출하는 것에 응답하여, 컴퓨팅 시스템은 착신 통신 요청들(예컨대, 착신 통화들, 착신 채팅 요청들 등)에 대한 오디오 및/또는 시각적 경고를 자동으로 끄고, 선택적으로, 착신 통신 요청에 대응하는 컴퓨팅 시스템의 음성메일 시스템 또는 자동응답 특징부를 활성화함으로써 착신 통신 요청에 응답한다. 일부 실시예들에서, DND 모드를 활성화하라는 제2 요청을 검출하는 것에 응답하여, 컴퓨팅 시스템은 주변 환경으로부터 제1 사용자의 귀들로 전파되는 잡음 또는 소리를 감소시키기 위해 잡음 소거 시스템 또는 다른 메커니즘들을 켠다. 일부 실시예들에서, DND 모드를 활성화하라는 제2 요청을 검출하는 것에 응답하여, 컴퓨팅 시스템은, 컴퓨터 생성 경험이 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 몰입 레벨을 증가시킨다. 일부 실시예들에서, 위에 기재된 다수의 동작들은 제2 사용자 요청을 검출하는 것에 응답하여 수행된다. 일부 실시예들에서, 제2 사용자 요청을 검출하는 것에 응답하여(그리고 선택적으로, DND 모드를 활성화하기 위해 수행되는 하나 이상의 다른 동작들을 수행하는 것과 함께), DND 모드가 활성임을 나타내기 위해 제2 디스플레이 생성 컴포넌트를 통해 시각적 표시자(예컨대, HMD의 외부 디스플레이 상의 텍스트 라벨 "DND", HMD의 외부 디스플레이 주위에서 적색 에지가 조명됨 등)를 디스플레이한다. 컴퓨팅 디바이스의 DND 모드를 활성화하라는 제2 사용자 요청을 검출하는 것에 응답하여, DND 모드가 활성임을 나타내는 시각적 표시자를 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, DND 모드가 활성이라는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, DND 모드가 컴퓨팅 시스템 상에서 활성인 동안, 컴퓨팅 시스템은 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경의 몰입 레벨을 변경하는(예컨대, 제2 몰입 레벨로부터 제1 몰입 레벨로, 제2 몰입 레벨로부터 제3 몰입 레벨로, 제3 몰입 레벨로부터 제2 몰입 레벨로, 제3 몰입 레벨로부터 제1 몰입 레벨로, 제1 몰입 레벨로부터 제3 몰입 레벨로, 기타 등등으로 변경함) 제3 각각의 이벤트를 검출한다. 제3 각각의 이벤트, 및 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경의 몰입 레벨의 대응하는 변화를 검출하는 것에 응답하여, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보를 변경하는 것을 보류한다(예컨대, 제2 디스플레이 생성 컴포넌트 상의 하나 이상의 그래픽 요소들의 현재 가시성(예컨대, 정상 가시성, 최소 가시성 또는 전혀 보이지 않음) 및 외관을 변경하는 것을 보류함; 및 제2 디스플레이 생성 컴포넌트 상의 사용자의 눈들의 시각적 표현의 현재 가시성(예컨대, 정상 가시성, 최소 가시성 또는 전혀 보이지 않음) 및 외관을 변경하는 것을 보류함). 제3 각각의 이벤트 및 몰입 레벨의 대응하는 변화를 검출하는 것에 응답하여, 그리고 DND 모드가 컴퓨팅 시스템 상에서 활성인 동안, 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보를 변경하는 것을 보류하는 것은, 제2 디스플레이 생성 컴포넌트를 통해 상태 정보를 디스플레이하는 데 필요한 입력들의 수를 감소시킨다(예컨대, 사용자는, DND 모드가 활성인 동안, 디스플레이된 상태 정보에 대한 임의의 변경들을 방지하거나 실행취소하기 위한 추가 입력들을 수행할 필요가 없음). 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 통해 컴퓨터 생성 환경을 디스플레이하는 동안(예컨대, 컴퓨터 생성 환경이 제2 몰입 레벨(예컨대, 혼합 현실 모드, 또는 가상 현실 모드 동안 제공되는 일시적인 패스 스루 모드) 또는 제3 몰입 레벨(예컨대, 가상 현실 모드)로 제공되는 동안), 컴퓨팅 시스템은 컴퓨팅 디바이스의 부모 통제 모드를 활성화하라는 제3 사용자 요청을 검출한다(예컨대, HMD의 하우징 상에서의 지문 입력인 사용자 입력을 검출함, 또는 부모 통제 모드를 활성화하라는 요청(예컨대, 제1 디스플레이 생성 컴포넌트 상에 후속하여 디스플레이되는 모든 애플리케이션들에 적용되는 시스템 요청, 또는 현재 디스플레이된 애플리케이션에 적용되는 애플리케이션 특정 요청)에 대응하는 컴퓨터 생성 환경 내의 제어부를 활성화하는 사용자 입력을 검출함, 또는 사용자가 컴퓨터 생성 환경에서 "통제"로 표시되는 콘텐츠에 액세스하고 있을 때, 또는 원격 요청이 제어 디바이스(예컨대, 부모의 모바일 디바이스)로부터 수신될 때 등). 부모 통제 모드는, 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 하나 이상의 그래픽 요소들(예컨대, 제1 디스플레이 생성 컴포넌트를 통해 현재 표시된 컴퓨터 생성 환경의 콘텐츠에 기초하여 생성되고 그를 반영하는 오버레이)이 제3 임계 가시성 초과의 가시성(예컨대, 임계 해상도, 밝기, 불투명도 및/또는 선명도 초과; 임계량 미만의 블러링; 또는 제1 디스플레이 생성 컴포넌트 상에 표시된 것과 동일한 콘텐츠를 보여줌)을 가질 것을 요구한다. 제3 사용자 요청을 검출하는 것에 응답하여, 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들의 가시성이 부모 통제 모드에 대응하는 제3 임계 가시성 미만인 동안 제3 사용자 요청이 수신된다는 결정에 따라, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트 상의 하나 이상의 그래픽 요소들의 가시성을 부모 통제 모드에 대응하는 제3 임계 가시성 초과로 증가시킨다(예컨대, 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들의 충실도 및 해상도를 증가시킴; 또는 하나 이상의 그래픽 요소들 대신에 컴퓨터 생성 환경의 콘텐츠를 디스플레이함). 일부 실시예들에서, 제3 사용자 요청에 응답하여, 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들의 가시성이 부모 통제 모드에 대응하는 제3 임계 가시성을 이미 초과하는 동안 제3 사용자 요청이 수신된다는 결정에 따라, 컴퓨팅 시스템은 하나 이상의 그래픽 요소들의 가시성을 부모 통제 모드에 대응하는 제3 임계 가시성 초과로 유지한다. 일부 실시예들에서, 부모 통제 모드가 활성인 동안, 컴퓨터 생성 환경의 콘텐츠는 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트 둘 모두 상에 디스플레이되고, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트 둘 모두 상에서 계속 변경된다. 일부 실시예들에서, 부모 통제 모드는 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠를 보기 위한 위치에 있는 사용자 이외의 사람(예컨대, 부모, 교사, 감독자, 관리자 등)에 의해 (예컨대, 컴퓨터 생성 경험이 시작되기 전에 또는 컴퓨터 생성 경험이 디스플레이되고 있는 동안에) 인에이블된다. 부모 통제 모드는, 제1 디스플레이 생성 컴포넌트의 디스플레이 면이 제1 디스플레이 생성 컴포넌트의 물리적 하드웨어에 의해 멀리 향하고/거나 차단되고 콘텐츠가 외측 뷰어들에게 보이지 않을 때, 부모들, 교사들, 감독자들, 관리자들이 제1 디스플레이 생성 컴포넌트(예컨대, HMD의 내부 디스플레이) 상에서 일어나는 활동들을 모니터링하도록 허용한다. 하나 이상의 그래픽 요소들의 가시성이 부모 통제 모드에 대응하는 제3 임계 가시성 미만인 동안, 부모 통제 모드를 활성화하라는 제3 사용자 요청이 수신된다는 결정에 따라, 하나 이상의 그래픽 요소들의 가시성을 부모 통제 모드에 대응하는 제3 임계 가시성 초과로 증가시키는 것은, 하나 이상의 그래픽 요소들의 가시성을 제3 임계 가시성 초과로 증가시키는 데 필요한 입력들의 수를 감소시킨다(예컨대, 사용자는 부모 통제 모드를 활성화하기 위한 별개의 입력 및 하나 이상의 그래픽 요소들의 가시성을 증가시키기 위한 별개의 입력을 수행할 필요가 없음). 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 부모 통제 모드가 컴퓨팅 시스템 상에서 활성인 동안, 컴퓨팅 시스템은 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경의 몰입 레벨을 변경하는(예컨대, 제2 몰입 레벨로부터 제1 몰입 레벨로, 제2 몰입 레벨로부터 제3 몰입 레벨로, 제3 몰입 레벨로부터 제2 몰입 레벨로, 제3 몰입 레벨로부터 제1 몰입 레벨로, 제1 몰입 레벨로부터 제3 몰입 레벨로, 기타 등등으로 변경함) 제4 각각의 이벤트를 검출한다. 제4 각각의 이벤트, 및 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경의 몰입 레벨의 대응하는 변화를 검출하는 것에 응답하여, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보를 변경하는 것을 보류한다(예컨대, 현재 가시성을 변경하는 것을 보류함(예컨대, 컴퓨터 생성 환경의 콘텐츠의 완전 가시성을 유지함); 및 제2 디스플레이 생성 컴포넌트 상의 사용자의 눈들의 시각적 표현의 현재 가시성(예컨대, 정상 가시성, 최소 가시성 또는 전혀 보이지 않음) 및 외관을 변경하는 것을 보류함). 제4 각각의 이벤트 및 몰입 레벨의 대응하는 변화를 검출하는 것에 응답하여, 그리고 부모 통제 모드가 컴퓨팅 시스템 상에서 활성인 동안, 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보를 변경하는 것을 보류하는 것은, 제2 디스플레이 생성 컴포넌트를 통해 상태 정보를 디스플레이하는 데 필요한 입력들의 수를 감소시킨다(예컨대, 사용자는, 부모 통제 모드가 활성인 동안, 디스플레이된 상태 정보에 대한 임의의 변경들을 방지하거나 실행취소하기 위한 추가 입력들을 수행할 필요가 없음). 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 것은, 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보(예컨대, 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들을 포함함)의 외부 시점으로부터, 제1 깊이에서 사용자의 일부분의 시각적 표현을 디스플레이하는 것, 및 제1 깊이보다 작은 제2 깊이에서 하나 이상의 그래픽 요소들을 디스플레이하는 것을 포함한다. 예를 들어, 상태 정보의 뷰어가 제2 디스플레이 생성 컴포넌트 주위로 이동할 때, 뷰어들은, 뷰어로부터의 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들의 상이한 깊이들(예컨대, 시뮬레이션된 시차 효과)로 인해, 사용자의 일부분의 시각적 표현이 하나 이상의 그래픽 요소들에 대해 이동하는 것을 본다. 상태 정보의 외부 시점으로부터, 제1 깊이에서 사용자의 일부분의 시각적 표현을 디스플레이하는 것, 및 제1 깊이보다 작은 제2 깊이에서 하나 이상의 그래픽 요소들을 디스플레이하는 것을 포함하여, 사용자의 일부분의 시각적 표현 및 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 것은, (예컨대, 깊이에 의해 사용자의 일부분 및 하나 이상의 그래픽 요소들을 시각적으로 구별함으로써) 사용자에게 개선된 시각적 피드백을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들은, 적어도, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 바와 같은 컴퓨터 생성 환경 내의 콘텐츠의 진행을 나타내는 진행 표시자를 포함한다. 예를 들어, 미디어 아이템이 컴퓨터 생성 환경에서 재생되고 있는 경우, 진행 표시자는, 선택적으로, 미디어 아이템의 전체 지속기간에 대한 미디어 아이템의 현재 재생 위치를 보여주는 진행 바(예컨대, 책의 현재 페이지/챕터, 영화의 현재 재생 위치, 게임의 현재 챕터 또는 태스크 번호, 시험의 현재 문제 번호 등을 보여주는 진행 바)를 디스플레이한다. 적어도, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 바와 같은 컴퓨터 생성 환경 내의 콘텐츠의 진행을 나타내는 진행 표시자를 포함하여, 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 디스플레이하는 것은, 사용자에게 (예컨대, 컴퓨터 생성 환경 내의 콘텐츠의 진행에 관한) 개선된 시각적 피드백을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들은 제1 디스플레이 속성(예컨대, 색상, 밝기 등)을 가지며, 그의 값은 컴퓨터 생성 환경 내의 콘텐츠의 제1 디스플레이 속성의 값에 기초한다(그러나 그와는 상이함). 예를 들어, 콘텐츠가, 주로 청색인 색상들을 포함하는 경우, 제2 디스플레이 생성 컴포넌트를 통해 표시되는 오버레이도, 주로 청색인 색상들을 갖고; 콘텐츠가, 주로 분홍색인 색상들로 변경되는 경우, 오버레이도, 주로 분홍색인 색상들로 변경된다. 일부 실시예들에서, 오버레이는 컴퓨터 생성 환경 내의 콘텐츠의 이미지 상에 적용되는 넓은 블러 반경을 갖는 블러 필터를 사용함으로써 생성되어서, 객체들의 윤곽이 명확하게 보이지 않게 하지만, 콘텐츠의 큰 패치 색상들 및 전체 색상 톤들이 제2 디스플레이 생성 컴포넌트를 통해 표시되는 오버레이 상에서 대부분 보존되게 한다. 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 제1 디스플레이 속성 - 그의 값은 컴퓨터 생성 환경 내의 콘텐츠의 제1 디스플레이 속성의 값에 기초함 - 으로 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 생성 환경 내의 콘텐츠의 제1 디스플레이 속성에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들은 컴퓨터 생성 환경의 콘텐츠의 하나 이상의 하위 부분들을 포함한다(예컨대, 콘텐츠의 이미지의 조각들이 스크램블링(scrambling)되거나, 또는 콘텐츠의 이미지의 하나 이상의 하위 부분들이 제2 디스플레이 생성 컴포넌트를 통해 표시됨). 예를 들어, 일부 실시예들에서, 컴퓨터 생성 환경의 콘텐츠의 이미지는 미리정의된 크기 및/또는 형상의 조각들로 분할되고, 이러한 조각들은 하나 이상의 스크램블링 알고리즘들에 따라 스크램블링되며, 여기에서 조각들의 크기는, 상이한 콘텐츠(예컨대, 장면들의 변화들)가 뷰어가 그들을 구별하기에 충분한 차이들을 갖는 스크램블링된 이미지들을 생성할 수 있도록 충분히 크고, 콘텐츠의 정확한 이미지가 뷰어에게 식별가능하지 않도록 충분히 더 작다. 일부 실시예들에서, 컴퓨터 생성 환경의 콘텐츠의 시각적 표시는 오버레이 주위로 이동하는 작은 스포트라이트(spotlight)에 의해 제공되어, 오버레이의 일부분에 대응하는 콘텐츠가 스포트라이트에 의해 조명되게 하고 오버레이의 뷰어에게 보이게 한다. 컴퓨터 생성 환경의 콘텐츠의 하나 이상의 하위 부분들을 포함하여, 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 생성 환경의 콘텐츠에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들은 컴퓨터 생성 환경의 콘텐츠를 식별하는 메타데이터를 포함한다. 예를 들어, 콘텐츠가 영화인 경우, 하나 이상의 그래픽 요소들은 선택적으로 영화의 제목, 영화의 장르, 영화의 연도 등을 포함한다. 콘텐츠가 게임인 경우, 하나 이상의 그래픽 요소들은 선택적으로 게임의 제목, 게임의 현재 챕터, 게임의 제작자 등을 포함한다. 콘텐츠가 시험인 경우, 메타데이터는 시험의 주제, 시험의 총 기간, 시험 응시자의 이름 등을 포함한다. 컴퓨터 생성 환경의 콘텐츠를 식별하는 메타데이터를 포함하여, 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 컴퓨터 생성 환경의 콘텐츠를 식별하는 메타데이터에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 디스플레이하는 것은, 제2 디스플레이 생성 컴포넌트에 대한, 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보를 보기 위한 위치에 있는 제2 사용자의 제1 이동(예컨대, 사용자 및/또는 제1 디스플레이 생성 컴포넌트를 향한 또는 그로부터 멀어지는 이동)을 검출하는 것; 및 제2 디스플레이 생성 컴포넌트에 대한 제2 사용자의 제1 이동을 검출하는 것에 응답하여, 제2 사용자와 제2 디스플레이 생성 컴포넌트 사이의 거리가 제1 임계 거리 초과로부터 제1 임계 거리 미만으로 감소하였다는 결정에 따라, 하나 이상의 그래픽 요소들에 의해 제공되는 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시의 정보 밀도를 증가시키도록 하나 이상의 그래픽 요소들의 디스플레이를 업데이트하는 것을 포함한다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트에 대한 제2 사용자의 제1 이동을 검출하는 것에 응답하여, 제2 사용자와 제2 디스플레이 생성 컴포넌트 사이의 거리가 제1 임계 거리 초과로부터 제1 임계 거리 미만으로 증가하였다는 결정에 따라, 하나 이상의 그래픽 요소들에 의해 제공되는 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시의 정보 밀도를 감소시키도록 하나 이상의 그래픽 요소들의 디스플레이를 업데이트한다. 일부 실시예들에서, 정보 밀도들의 3가지 이상의 레벨들이 둘 이상의 임계 거리들에 대해 하나 이상의 그래픽 요소들에 의해 제공된다. 일부 실시예들에서, 제2 디스플레이 생성 컴포넌트에 대한 제2 사용자의 이동이 제2 사용자와 제2 디스플레이 생성 컴포넌트 사이의 거리로 하여금 각각의 거리 임계치를 가로지르게 하지 않을 때, 시각적 표시의 정보 밀도는 제2 사용자의 이동의 결과로서 변경되지 않는다. 일부 실시예들에서, 정보 밀도는 오버레이에 존재하는 표시자 객체들의 수에 기초하여 결정되고, 표시자 객체들의 수의 감소는 정보 밀도의 감소에 대응한다. 일부 실시예들에서, 정보 밀도는 하나 이상의 그래픽 요소들에 의해 제공되는 정보 상세사항들의 양(예컨대, 그래픽 특징부들의 상세사항들, 단위 디스플레이 영역당 텍스트 문자들의 양 등)에 기초하여 결정되고, 정보 상세사항들의 양의 감소는 정보 밀도의 감소에 대응한다. 일부 실시예들에서, 정보 밀도는 하나 이상의 그래픽 요소들의 선명도 및 해상도에 기초하여 결정되고, 하나 이상의 그래픽 요소들의 선명도 및 해상도의 감소는 정보 밀도의 감소에 대응한다. 제2 디스플레이 생성 컴포넌트에 대한 제2 사용자의 제1 이동을 검출하는 것에 응답하여, 하나 이상의 그래픽 요소들에 의해 제공되는 콘텐츠의 시각적 표시의 정보 밀도를 증가시키도록 하나 이상의 그래픽 요소들의 디스플레이를 업데이트하는 것은, 하나 이상의 그래픽 요소들을 편안하게 디스플레이하는 데 필요한 입력들의 수를 감소시킨다(예컨대, 사용자는, 제2 사용자가 제2 디스플레이 생성 컴포넌트에 대해 이동할 때 콘텐츠의 시각적 표시의 정보 밀도를 조정하기 위한 추가 입력들을 수행할 필요가 없음). 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 통해 컴퓨터 생성 환경을 디스플레이하고, 컴퓨팅 시스템에 대응하는 상태 정보를 제2 디스플레이 생성 컴포넌트를 통해 디스플레이하는 동안, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보를 보기 위한 위치에 있는 제3 사용자에 의해 트리거되는 제5 각각의 이벤트(예컨대, 제3 사용자의 이동, 존재, 제스처 등)를 검출한다. 제5 각각의 이벤트(예컨대, 사용자 및/또는 제1 디스플레이 생성 컴포넌트를 향한 또는 그로부터 멀어지는 이동, 컴퓨팅 시스템의 사용자와 동일한 룸에서의 제3 사용자의 존재, 제3 사용자의 제스처 등)를 검출하는 것에 응답하여, 제5 각각의 이벤트가 제4 기준들(예컨대, 제4 기준들은 컴퓨팅 시스템의 사용자와 제3 사용자 사이의 상호작용이 일어날 가능성의 임계 척도(measure)를 제공함)을 충족시킨다는 결정에 따라 - 제4 기준들은, 제5 각각의 이벤트의 결과로서 상호작용의 미리설정된 척도가 미리설정된 임계치 미만으로부터 미리설정된 임계치 초과로 증가하였을 것을 그리고 제4 기준들이 충족되기 위해 컴퓨터 생성 환경이 제3 몰입 레벨(예컨대, 가상 현실 모드)로 디스플레이될 것을 요구함 -, 컴퓨팅 시스템은 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경의 몰입 레벨을 제3 몰입 레벨(예컨대, 가상 현실 모드)로부터 제2 몰입 레벨로 변경하며(예컨대, 덜 몰입적인 모드(예컨대, 혼합 현실 모드)로 변경함, 또는 가상 콘텐츠가 계속 진행되는 상태에서 일시적인 패스 스루 모드로 변경함), 여기에서 제2 몰입 레벨로 디스플레이되는 컴퓨터 생성 환경은 제3 몰입 레벨로 디스플레이되는 컴퓨터 생성 환경보다 물리적 환경의 증가된 양의 표현을 포함한다(예컨대, 제3 사용자의 표현은 제2 몰입 레벨로 디스플레이되는 컴퓨터 생성 환경에서 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되고, 제3 사용자의 표현은 제2 몰입 레벨로 디스플레이되는 컴퓨터 생성 환경에서 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되지 않음). 제5 각각의 이벤트를 검출하는 것에 응답하여, 그리고 제5 각각의 이벤트가, 제5 각각의 이벤트의 결과로서 상호작용의 미리설정된 척도가 미리설정된 임계치 미만으로부터 미리설정된 임계치 초과로 증가하였을 것을 그리고 컴퓨터 생성 환경이 제3 몰입 레벨로 디스플레이될 것을 요구하는 제4 기준들을 충족시킨다는 결정에 따라, 몰입 레벨을 제3 몰입 레벨로부터 제3 몰입 레벨과 비교하여 물리적 환경의 증가된 양의 표현을 포함하는 제2 몰입 레벨로 변경하는 것은, 추가 사용자 입력(예컨대, 몰입 레벨을 변경하기 위한 추가 사용자 입력, 물리적 환경의 표현들의 양을 증가시키기 위한 추가 사용자 입력 등)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 몰입 레벨을 변경한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제5 각각의 이벤트(예컨대, 사용자 및/또는 제1 디스플레이 생성 컴포넌트를 향한 또는 그로부터 멀어지는 이동, 컴퓨팅 시스템의 사용자와 동일한 룸에서의 제3 사용자의 존재, 제3 사용자의 제스처 등)를 검출하는 것에 응답하여, 제5 각각의 이벤트가 제4 기준들(예컨대, 제4 기준들은 컴퓨팅 시스템의 사용자와 제3 사용자 사이의 상호작용이 일어날 가능성의 임계 척도를 제공함)을 충족시킨다는 결정에 따라, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경의 몰입 레벨을 제3 몰입 레벨로부터 제2 몰입 레벨로 변경하는 것과 함께, 컴퓨팅 시스템은 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현의 가시성을 증가시키는 것을 포함하여, 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보를 변경한다(예컨대, 사용자의 시각적 표현의 가시성을 증가시키는 것은 사용자의 일부분의 시각적 표현을 디스플레이하지 않는 것으로부터 사용자의 일부분의 시각적 표현을 디스플레이하는 것으로 스위칭하는 것, 또는 사용자의 일부분의 시각적 표현의 밝기, 선명도, 해상도를 증가시키는 것을 포함함). 컴퓨터 생성 환경의 몰입 레벨을 제3 몰입 레벨로부터 제2 몰입 레벨로 변경하는 것과 함께, 그리고 제4 기준들을 충족시키는 제5 각각의 이벤트를 검출하는 것에 응답하여, 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현의 가시성을 증가시키는 것을 포함하여, 디스플레이되는 상태 정보를 변경하는 것은, 추가 사용자 입력(예컨대, 상태 정보를 변경하기 위한 추가 사용자 입력, 사용자의 일부분의 시각적 표현의 가시성을 증가시키기 위한 추가 사용자 입력 등)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 디스플레이되는 상태 정보를 변경한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제5 각각의 이벤트를 검출하는 것은 컴퓨팅 시스템의 사용자를 둘러싸는 미리정의된 영역 내로의 제3 사용자의 진입을 검출하는 것을 포함한다. 예를 들어, 제3 사용자가 컴퓨팅 시스템의 사용자와 동일한 룸에 들어갈 때, 또는 제3 사용자가 컴퓨팅 시스템의 사용자의 임계 거리 내로 이동할 때, 및/또는 제3 사용자가 컴퓨팅 시스템의 사용자에게 접근하고 있을 때, 기타 등등일 때, 컴퓨팅 시스템은, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경에서 제3 사용자의 표현을 (예컨대, 컴퓨터 생성 환경의 콘텐츠 상에 드리워진 그림자로서, 또는 물리적 환경의 패스 스루 뷰의 일부로서) 보도록 허용하기 위해 컴퓨터 생성 환경의 콘텐츠의 몰입 레벨을 변경한다. 동시에, 사용자의 눈들의 표현이 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되어서, 제3 사용자가, 컴퓨팅 시스템의 사용자가 제3 사용자를 볼 수 있다는 것을 알게 되도록 한다. 컴퓨터 생성 환경의 몰입 레벨을 제3 몰입 레벨로부터 제2 몰입 레벨로 변경하는 것과 함께, 그리고 제4 기준들을 충족시키고 컴퓨터 시스템의 사용자를 둘러싸는 미리정의된 영역 내로의 제3 사용자의 진입을 검출하는 것을 포함하는 제5 각각의 이벤트를 검출하는 것에 응답하여, 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현의 가시성을 증가시키는 것을 포함하여, 디스플레이되는 상태 정보를 변경하는 것은, 추가 사용자 입력(예컨대, 상태 정보를 변경하기 위한 추가 사용자 입력, 사용자의 일부분의 시각적 표현의 가시성을 증가시키기 위한 추가 사용자 입력 등)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 디스플레이되는 상태 정보를 변경한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제5 각각의 이벤트를 검출하는 것은, 제3 사용자가 컴퓨팅 시스템의 사용자를 향해 미리정의된 제스처(예컨대, 그/그녀의 손을 흔듦, 또는 검지 손가락으로 가리킴 등)를 수행하는 것을 검출하는 것을 포함한다. 예를 들어, 제3 사용자가 컴퓨팅 시스템의 사용자에게 손을 흔들 때(예컨대, 그가 컴퓨팅 시스템의 사용자와 동일한 룸에 들어간 후, 또는 제3 사용자가 컴퓨팅 시스템의 사용자의 임계 거리 내로 이동할 때, 및/또는 제3 사용자가 컴퓨팅 시스템의 사용자에게 접근하고 있을 때, 기타 등등일 때), 컴퓨팅 시스템은, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 컴퓨터 생성 환경에서 제3 사용자의 표현을 (예컨대, 컴퓨터 생성 환경의 콘텐츠 상에 드리워진 그림자로서, 또는 물리적 환경의 패스 스루 뷰의 일부로서) 보도록 허용하기 위해 컴퓨터 생성 환경의 콘텐츠의 몰입 레벨을 변경한다. 동시에, 사용자의 눈들의 표현이 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되어서, 제3 사용자가, 컴퓨팅 시스템의 사용자가 제3 사용자를 볼 수 있다는 것을 알게 되도록 한다. 컴퓨터 생성 환경의 몰입 레벨을 제3 몰입 레벨로부터 제2 몰입 레벨로 변경하는 것과 함께, 그리고 제4 기준들을 충족시키고 제3 사용자가 컴퓨팅 시스템의 사용자를 향해 미리정의된 제스처를 수행하는 것을 검출하는 것을 포함하는 제5 각각의 이벤트를 검출하는 것에 응답하여, 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현의 가시성을 증가시키는 것을 포함하여, 디스플레이되는 상태 정보를 변경하는 것은, 추가 사용자 입력(예컨대, 상태 정보를 변경하기 위한 추가 사용자 입력, 사용자의 일부분의 시각적 표현의 가시성을 증가시키기 위한 추가 사용자 입력 등)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 디스플레이되는 상태 정보를 변경한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

도 9에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에서 설명되는 다른 방법들(예컨대, 방법들(8000, 10000, 11000, 12000, 13000))과 관련하여 본 명세서에서 설명되는 다른 프로세스들의 상세사항들이 도 9와 관련하여 위에서 설명된 방법(9000)과 유사한 방식으로 또한 적용가능하다는 것에 주목해야 한다. 예를 들어, 방법(9000)을 참조하여 전술된 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들 및/또는 애니메이션들은, 선택적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(8000, 10000, 11000, 12000, 13000))을 참조하여 본 명세서에 기술되는 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.

도 10은 일부 실시예들에 따른, 콘텍스트 정보에 기초하여 컴퓨터 생성 경험을 제공하는 방법(10000)의 흐름도이다. 방법(10000)은, 2개의 상이한 방향들을 향하는 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트(예컨대, 별개의 디스플레이들, 동일한 하우징으로 둘러싸이지만 상이한 방향들을 향하는(예컨대, 백투백 상태로 서로 반대인 방향들을 향함, 동일한 사용자가 그들을 동시에 볼 수 없도록 상이한 각도들을 향함 등) 디스플레이들)를 포함하는 컴퓨팅 시스템에 관한 것이다. 제1 디스플레이 생성 컴포넌트는, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 제시되는 콘텐츠를 보기 위한 위치에 있게 될 때(예컨대, 프로젝터에 의해 조명되는 물리적 환경의 면을 향함, 사용자의 망막 상에 이미지를 형성하는 광을 방출하는 디스플레이의 면을 향함 등) 사용자에게 컴퓨터 생성 경험들을 제공하는 컴퓨터 생성 환경을 디스플레이한다. 사용자가 (예컨대, 디스플레이 생성 컴포넌트, 또는 사용자 그 자신, 또는 둘 모두를 이동시킴으로써) 제1 디스플레이 생성 컴포넌트를 그 상에 디스플레이된 콘텐츠를 보기 위한, 사용자에 대한 위치 및 배향으로 배치하기 전에, 사용자는 제2 디스플레이 생성 컴포넌트 상에 제시된 콘텐츠를 보기 위한 위치에 있을 수 있다. 예시적인 시나리오에서, 제1 디스플레이 생성 컴포넌트는, HMD가 사용자의 머리에 배치될 때 사용자의 눈들을 향하는 HMD의 내부 디스플레이이고, 제2 디스플레이 생성 컴포넌트는, HMD가 테이블 상에 또는 사용자의 얼굴로부터 멀리 연장된 사용자의 손 안에 있고 사용자의 머리에 배치되지 않거나 사용자의 눈들에 가깝게 유지되지 않을 때 사용자가 볼 수 있는 HMD의 외부 디스플레이이다. 본 명세서에 개시된 바와 같이, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트를 이용하여, 콘텍스트 정보(예컨대, 위치, 시간, 사용자 아이덴티티, 사용자의 인가 레벨 등)에 기초하여, 상이한 컴퓨터 생성 경험들의 이용가능성의 표시를 디스플레이하고, 제1 디스플레이 생성 컴포넌트가 사용자에 대해, 사용자가 제1 디스플레이 생성 컴포넌트를 통해 표시된 콘텐츠를 볼 수 있게 하는 미리결정된 위치 및 배향으로 이동되는 것(예컨대, 제1 디스플레이 생성 컴포넌트는 이동의 결과로서 사용자의 눈들을 향함)을 검출하는 것에 응답하여, 선택된 컴퓨터 생성 경험의 디스플레이를 트리거한다. 디스플레이되는 컴퓨터 생성 경험은, 선택적으로, 제1 디스플레이 생성 컴포넌트가 사용자에 대해 미리결정된 위치 및 배향으로 이동되는 것에 대응하는 시간에 제2 디스플레이 생성 컴포넌트의 상태에 기초하여 선택된다. 콘텍스트 정보에 기초하여 제2 디스플레이 생성 컴포넌트 상에 컴퓨터 생성 경험들의 이용가능성을 나타내는 것, 및 제2 디스플레이 생성 컴포넌트(및 콘텍스트 정보)의 상태 및 사용자에 대한 제1 디스플레이 생성 컴포넌트의 배향의 변화에 기초하여 제1 디스플레이 생성 컴포넌트 상에서의 선택된 컴퓨터 생성 경험들의 디스플레이를 자동으로 트리거하는 것은, 원하는 결과를 달성하는(예컨대, 현재 콘텍스트와 관련 있는 이용가능한 경험들과 관련된 정보를 얻고, 원하는 컴퓨터 생성 경험을 시작함) 데 필요한 시간 및 입력들의 수를 감소시키고, 종래의 사용자 인터페이스를 사용하여 이용가능한 컴퓨터 생성 경험들을 통해 브라우징하고 그를 시작하는 데 대한 사용자 실수들 및 그에 소비되는 시간을 감소시킨다.

일부 실시예들에서, 방법(10000)은, 제1 디스플레이 생성 컴포넌트, 제2 디스플레이 생성 컴포넌트(예컨대, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 컴포넌트는 각각 헤드업 디스플레이, 머리 장착형 디스플레이(HMD), 디스플레이, 터치스크린, 프로젝터 등이거나, 또는 헤드업 디스플레이, 머리 장착형 디스플레이(HMD), 디스플레이, 터치스크린, 프로젝터 등의 그리고/또는 그의 동일한 하우징으로 둘러싸인 별개의 디스플레이들임) 및 하나 이상의 입력 디바이스들(예컨대, 카메라들, 제어기들, 터치 감응형 표면들, 조이스틱들, 버튼들, 장갑들, 워치들, 모션 센서들, 배향 센서들 등)을 포함하는 컴퓨팅 시스템에서 수행된다(10002). 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트는 사용자를 향하는 디스플레이 컴포넌트이고, 사용자에게 CGR 경험을 제공하며, 제2 디스플레이 생성 컴포넌트는 사용자로부터 멀리 그리고 사용자의 외부 환경을 향하는 디스플레이 컴포넌트이고, 선택적으로, 외부 환경 내의 다른 사용자들에게 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이된 콘텐츠, 동작 상태 등) 및/또는 사용자(예컨대, 사용자의 눈들의 이동, 사용자의 주의 상태 등)와 관련된 상태 정보를 제공한다. 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트는 제1 디스플레이 생성 컴포넌트에 대응하는 제1 면 상에 제1 사용자 인터페이스를 그리고 제2 디스플레이 생성 컴포넌트에 대응하는 제2 면 상에 제2 사용자 인터페이스를 디스플레이하는 양면 디스플레이 디바이스(예컨대, 양면 HMD)를 형성한다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 및 제2 디스플레이 생성 컴포넌트들 및 하나 이상의 입력 디바이스들 중 적어도 일부와 동일한 하우징으로 둘러싸인 하나 이상의 프로세서들 및 메모리를 갖는 통합 디바이스이다. 일부 실시예들에서, 컴퓨팅 시스템은, 디스플레이 생성 컴포넌트들 및/또는 하나 이상의 입력 디바이스들과 별개인 하나 이상의 프로세서들 및 메모리를 포함하는 컴퓨팅 컴포넌트(예컨대, 서버, 스마트 폰 또는 태블릿 디바이스와 같은 모바일 전자 디바이스, 워치, 손목밴드 또는 이어폰들과 같은 웨어러블 디바이스, 데스크톱 컴퓨터, 랩톱 컴퓨터 등)를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트들 및 하나 이상의 입력 디바이스들은 동일한 하우징 내에 통합되고 그로 둘러싸인다. 방법(10000)에서, 컴퓨팅 시스템은 제2 디스플레이 생성 컴포넌트(예컨대, 양면 HMD의 제2 디스플레이 또는 외부 디스플레이 등)를 통해 하나 이상의 사용자 인터페이스 요소들(예컨대, 도 7f 및 도 7h의 객체(7012), 객체(7026) 등)을 디스플레이한다(예컨대, 하나 이상의 사용자 인터페이스 요소들은 제1 디스플레이 생성 컴포넌트(예컨대, 양면 HMD의 제1 디스플레이 또는 내부 디스플레이)를 통해 컴퓨팅 시스템에 의해 제공될 수 있는 각각의 경험에 대응함)(10004). 제2 디스플레이 생성 컴포넌트(예컨대, 양면 HMD의 제2 디스플레이 또는 외부 디스플레이 등)를 통해 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 동안, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트(예컨대, 양면 HMD의 제1 디스플레이 또는 내부 디스플레이 등)가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었다는 것(예컨대, HMD의 내부 디스플레이가 사용자의 얼굴 또는 눈들을 향하는 상태로, HMD가 사용자의 얼굴 또는 눈들 전방에 배치되었음)(예컨대, 제1 사용자(7202)가 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향하고 있는 도 7g 및 도 7i에 도시된 바와 같이)을 검출한다(10006). 제1 디스플레이 생성 컴포넌트(예컨대, 양면 HMD의 제1 디스플레이 또는 내부 디스플레이 등)가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었다는 것(예컨대, HMD의 내부 디스플레이가 사용자의 얼굴 또는 눈들을 향하는 상태로, HMD가 사용자의 얼굴 또는 눈들 전방에 배치되었음)을 검출하는 것에 응답하여(예컨대, 이는 선택 및/또는 활성화 입력으로, 그리고 제1 디스플레이 생성 컴포넌트를 사용자의 각각의 부분에 대해 미리결정된 배향으로 놓는 상이한 액션(예컨대, 활성화 및 선택 입력과는 상이함)을 통해 하나 이상의 사용자 인터페이스 요소를 활성화하는 것과 구별됨), 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제1 상태에 있었다는 결정에 따라 - 제1 상태는 제2 디스플레이 생성 컴포넌트를 통해 제1 사용자 인터페이스 요소(예컨대, 도 7f의 객체(7012))를 디스플레이하는 것(예컨대, 제1 디스플레이 생성 컴포넌트를 통해 컴퓨팅 시스템에 의해 디스플레이되는 데 이용가능한 제1 컴퓨터 생성 경험(예컨대, 제1 사용자 인터페이스를 포함함)에 대응하는 제1 애플리케이션 미리보기 또는 제1 아이콘 또는 아바타를 디스플레이함)에 대응함 -, 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향에 있는 동안 제1 디스플레이 생성 컴포넌트를 통해 제1 사용자 인터페이스(예컨대, 도 7g의 경험(7024))를 디스플레이하고; 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제2 상태에 있었다는 결정에 따라 - 제2 상태는 제2 디스플레이 생성 컴포넌트를 통해 제1 사용자 인터페이스 요소를 디스플레이하는 것 대신에 제2 디스플레이 생성 컴포넌트를 통해 제2 사용자 인터페이스 요소(예컨대, 도 7h의 객체(7026))를 디스플레이하는 것(예컨대, 제1 디스플레이 생성 컴포넌트를 통해 컴퓨팅 시스템에 의해 디스플레이되는 데 이용가능한 제2 컴퓨터 생성 경험(예컨대, 제2 사용자 인터페이스를 포함함)에 대응하는 제2 애플리케이션 미리보기 또는 제2 아이콘 또는 아바타를 디스플레이함)에 대응함 -, 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향에 있는 동안, 제1 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스와는 상이한 제2 사용자 인터페이스(예컨대, 도 7i의 경험(7030), 또는 도 7j의 경험(7036) 등)를 디스플레이한다(10010). 이는, 예를 들어, 제1 디스플레이 생성 컴포넌트가 제1 사용자에 대해 미리설정된 구성으로 배치되기 직전의 컴퓨팅 시스템(및 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 사용자 인터페이스 객체)의 상태에 따라, 제1 디스플레이 생성 컴포넌트가, 제1 디스플레이 생성 컴포넌트가 제1 사용자에 대해 미리설정된 구성으로 배치되는 것에 응답하여, 컴퓨팅 시스템(및 디스플레이 사용자 인터페이스 객체)의 상태에 대응하는 다수의 상이한 경험들로부터 선택되는 경험을 디스플레이하는 도 7f 내지 도 7i에 예시되어 있다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트(예컨대, 양면 HMD의 제1 디스플레이 또는 내부 디스플레이 등)가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었다는 것(예컨대, HMD의 내부 디스플레이가 사용자의 얼굴 또는 눈들을 향하는 상태로, HMD가 사용자의 얼굴 또는 눈들 전방에 배치되었음)을 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제3 상태에 있었다는 결정에 따라 - 제3 상태는 제2 디스플레이 생성 컴포넌트를 통해 제3 사용자 인터페이스 요소를 디스플레이하는 것(예컨대, 제1 디스플레이 생성 컴포넌트를 통해 컴퓨팅 시스템에 의해 디스플레이되는 데 이용가능한 제3 컴퓨터 생성 경험(예컨대, 제3 사용자 인터페이스를 포함함)에 대응하는 제3 애플리케이션 미리보기 또는 제3 아이콘 또는 아바타를 디스플레이함)에 대응함 -, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향에 있는 동안, 제1 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 및 제2 사용자 인터페이스와는 상이한 제3 사용자 인터페이스를 디스플레이한다. 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제3 사용자 인터페이스 요소를 디스플레이하는 것에 대응하는 제3 상태에 있었다는 결정에 따라, 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향에 있는 동안, 제1 디스플레이 생성 컴포넌트를 통해, 제1 사용자 인터페이스 및 제2 사용자 인터페이스와는 상이한 제3 사용자 인터페이스를 디스플레이하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 사용자 인터페이스, 제2 사용자 인터페이스 및/또는 제3 사용자 인터페이스를 디스플레이하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 사용자 인터페이스는 제1 가상 콘텐츠를 포함하는 제1 3차원 환경(예컨대, AR 환경, VR 환경, 혼합 현실 환경 등)이고, 제2 사용자 인터페이스는 제1 가상 콘텐츠와는 상이한 제2 가상 콘텐츠를 포함하는 제2 3차원 환경(예컨대, AR 환경, VR 환경, 혼합 현실 환경 등)이다. 예를 들어, 사용자의 손들이 물리적 환경에서 이동할 때 또는 사용자가 물리적 환경에서 이동할(예컨대, 방향전환하거나 걸을) 때, 제1 사용자 인터페이스 및 제2 사용자 인터페이스는 제1 3차원 환경 및 제2 3차원 환경에 대한 사용자의 손들의 이동 또는 사용자의 이동을 반영하도록 업데이트된다. 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제1 상태에 있었다는 결정에 따라, 제1 가상 콘텐츠를 포함하는 제1 3차원 환경을 디스플레이하는 것; 및 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제2 상태에 있었다는 결정에 따라, 제1 가상 콘텐츠와는 상이한 제2 가상 콘텐츠를 포함하는 제2 3차원 환경을 디스플레이하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 가상 콘텐츠를 포함하는 제1 3차원 환경 및/또는 제1 가상 콘텐츠와는 상이한 제2 가상 콘텐츠를 포함하는 제2 3차원 환경을 디스플레이하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 사용자 인터페이스는 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현 없이 제1 가상 콘텐츠를 포함하는 제1 3차원 환경이고(예컨대, 제1 3차원 환경은 VR 환경임), 제2 사용자 인터페이스는 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현 없이 제2 가상 콘텐츠를 포함하는, 제1 3차원 환경과는 상이한 제2 3차원 환경이다(예컨대, 제2 3차원 환경은 VR 환경임). 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제1 상태에 있었다는 결정에 따라, 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현 없이 제1 가상 콘텐츠를 포함하는 제1 3차원 환경을 디스플레이하는 것; 및 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제2 상태에 있었다는 결정에 따라, 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현 없이 제2 가상 콘텐츠를 포함하는, 제1 3차원 환경과는 상이한 제2 3차원 환경을 디스플레이하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현 없이 제1 가상 콘텐츠를 포함하는 제1 3차원 환경 및/또는 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현 없이 제2 가상 콘텐츠를 포함하는, 제1 3차원 환경과는 상이한 제2 3차원 환경을 디스플레이하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 사용자 인터페이스는 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현과 함께 제1 가상 콘텐츠를 포함하는 제1 3차원 환경이고(예컨대, 제1 3차원 환경은 AR 환경임), 제2 사용자 인터페이스는 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현과 함께 제2 가상 콘텐츠를 포함하는, 제1 3차원 환경과는 상이한 제2 3차원 환경이다(예컨대, 제2 3차원 환경은 AR 환경임). 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제1 상태에 있었다는 결정에 따라, 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현과 함께 제1 가상 콘텐츠를 포함하는 제1 3차원 환경을 디스플레이하는 것; 및 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제2 상태에 있었다는 결정에 따라, 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현과 함께 제2 가상 콘텐츠를 포함하는, 제1 3차원 환경과는 상이한 제2 3차원 환경을 디스플레이하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현과 함께 제1 가상 콘텐츠를 포함하는 제1 3차원 환경 및/또는 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현과 함께 제2 가상 콘텐츠를 포함하는, 제1 3차원 환경과는 상이한 제2 3차원 환경을 디스플레이하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 사용자 인터페이스는 제1 3차원 환경이고, 제2 사용자 인터페이스는 제2 3차원 환경이며, 여기에서 제1 3차원 환경 및 제2 3차원 환경 중 하나는 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현과 함께 제1 가상 콘텐츠를 포함하고(예컨대, 3차원 환경들 중 하나는 AR 환경임), 제1 3차원 환경 및 제2 3차원 환경 중 하나는 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현 없이 제2 가상 콘텐츠를 포함한다(예컨대, 3차원 환경들 중 하나는 VR 환경임). 일부 실시예들에서, 일단 AR 모드 및 VR 모드 중 하나의 모드에서 경험이 시작되면, 경험은 AR 모드 및 VR 모드 중 다른 하나의 모드로 전이될 수 있다. 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제1 상태에 있었다는 결정에 따라, 제1 3차원 환경을 디스플레이하는 것; 및 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제2 상태에 있었다는 결정에 따라, 제2 3차원 환경을 디스플레이하는 것은 - 제1 3차원 환경 및 제2 3차원 환경 중 하나는 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현과 함께 제1 가상 콘텐츠를 포함하고, 제1 3차원 환경 및 제2 3차원 환경 중 하나는 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현 없이 제2 가상 콘텐츠를 포함함 -, 추가의 디스플레이된 제어부들(예컨대, 제1 3차원 환경 및/또는 제2 3차원 환경을 디스플레이하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 것은 캘린더의 요소들(예컨대, 스케줄링된 이벤트들, 약속들, 휴일들 및 리마인더들 등을 갖는 캘린더(예컨대, 소셜 캘린더, 또는 작업 캘린더, 일일 플래너, 또는 주간 플래너, 월간 캘린더, 날짜들 및 주들을 월별로 보여주는 표준 캘린더 등)의 요소들)을 디스플레이하는 것을 포함하고, 제1 사용자 인터페이스 및 제2 사용자 인터페이스는 캘린더에 대응하는 각각의 사용자 인터페이스들이다(예컨대, 제1 사용자 인터페이스 및 제2 사용자 인터페이스는 캘린더 내의 이벤트들에 대응하는 이벤트 정보, 또는 제2 디스플레이 생성 컴포넌트 상에 디스플레이될 통지를 트리거한 이벤트, 약속, 리마인더에 관한 메모들 등을 포함함). 일부 실시예들에서, 양면 HMD가 사용자에 의해 착용되고 있지 않을(예컨대, 외부 디스플레이가 사용자를 향하는 상태로 책상 위에 놓일) 때, HMD의 외부 디스플레이는, 현재 날짜, 시간, 날씨 정보, 지리적 위치, 및 당일 동안의 또는 미리설정된 기간 후에(예컨대, 다음 2시간 후에 등) 다가오는 태스크들 또는 스케줄링된 약속들의 목록을 포함하여, 캘린더를 디스플레이하는 데 사용된다. 사용자가 HMD를 집어 들고 내부 디스플레이를 그/그녀의 눈들 전방에 놓을 때, 제1 디스플레이 생성 컴포넌트는 캘린더의 상세사항들을 디스플레이한다(예컨대, 금주 또는 금월을 보여주는 더 완전한 캘린더를 보여줌, 당일의 모든 스케줄링된 이벤트들을 보여줌, 다음에 다가오는 이벤트의 더 많은 상세사항들을 보여줌 등). 캘린더의 요소를 디스플레이하는 것, 및 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제1 상태에 있었다는 결정에 따라, 캘린더에 대응하는 제1 사용자 인터페이스를 디스플레이하는 것, 및 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제2 상태에 있었다는 결정에 따라, 캘린더에 대응하는 제2 사용자 인터페이스를 디스플레이하는 것을 포함하여, 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 것은, 추가의 디스플레이된 제어부들(예컨대, 캘린더에 대응하는 제1 사용자 인터페이스 및/또는 캘린더에 대응하는 제2 사용자 인터페이스를 디스플레이하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 상태의 컴퓨팅 시스템은 캘린더에 대응하는 제1 이벤트(예컨대, 제1 통지 또는 리마인더)를 검출하였고, 하나 이상의 사용자 인터페이스 요소들의 일부로서, 제1 이벤트에 대응하는 제1 통지를 디스플레이하며; 제1 사용자 인터페이스는 제1 통지보다 제1 이벤트의 더 많은 상세사항들을 포함하는, 제1 이벤트에 대응하는 사용자 인터페이스이다. 유사하게, 제2 상태의 컴퓨팅 시스템은 캘린더에 대응하는 제2 이벤트(예컨대, 제2 통지 또는 리마인더)를 검출하였고, 하나 이상의 사용자 인터페이스 요소들의 일부로서, 제2 이벤트에 대응하는 제2 통지를 디스플레이하며; 제2 사용자 인터페이스는 제2 통지보다 제2 이벤트의 더 많은 상세사항들을 포함하는, 제2 이벤트에 대응하는 사용자 인터페이스이다. 캘린더에 대응하는 제1 이벤트를 검출하는 것; 하나 이상의 사용자 인터페이스 요소들의 일부로서, 제1 이벤트에 대응하는 제1 통지를 디스플레이하는 것; 및 제1 통지보다 제1 이벤트의 더 많은 상세사항을 포함하는 제1 이벤트를 포함하여, 제1 인터페이스를 디스플레이하는 것은, 제1 이벤트의 추가 상세사항들을 디스플레이하는 데 필요한 입력들의 수를 감소시킨다(예컨대, 사용자는, 제1 이벤트의 더 많은 상세사항들을 디스플레이하기 위해, 제1 디스플레이 생성 컴포넌트를 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동시킨 후에, 추가 입력들을 수행할 필요가 없음). 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 것은 각각의 미디어 아이템(예컨대, 뮤직 비디오의 커버 아트(cover art), 영화, 비디오 클립, 3차원 영화 등)의 시각적 표현(예컨대, 비디오 클립, 미리보기, 이미지 등)을 디스플레이하는 것을 포함하고, 제1 사용자 인터페이스 및 제2 사용자 인터페이스는 미디어 아이템의 콘텐츠를 재생한다(예컨대, 제1 사용자 인터페이스 및 제2 사용자 인터페이스는 미디어 아이템들의 전체 콘텐츠(예컨대, 3차원, 애니메이션, 상호작용형 등)를 보여줌). 일부 실시예들에서, 양면 HMD가 사용자에 의해 착용되고 있지 않을(예컨대, 외부 디스플레이가 사용자를 향하는 상태로 책상 위에 놓일) 때, HMD의 외부 디스플레이는 HMD의 내부 디스플레이를 통해 디스플레이될 수 있는 이용가능한 미디어 아이템의 시각적 표현을 디스플레이하는 데 사용된다. 일부 실시예들에서, 이용가능한 미디어 아이템은 HMD의 현재 위치, 및/또는 미디어 아이템의 제공자에 의해 특정된 아이템의 이용가능성 등에 따라 변경된다. 사용자가 HMD를 집어 들고 내부 디스플레이를 그/그녀의 눈들 전방에 놓을 때, 제1 디스플레이 생성 컴포넌트는 미디어 아이템의 실제 콘텐츠를 디스플레이한다(예컨대, 더 완전한 영화, 또는 더 몰입적인 경험을 보여줌, 미디어 아이템의 더 많은 상호작용 능력들을 가능하게 함 등). 각각의 미디어 아이템의 시각적 표현을 포함하여, 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 것; 및 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제1 상태에 있었다는 결정에 따라, 미디어 아이템의 콘텐츠를 재생하는 제1 사용자 인터페이스를 디스플레이하는 것, 및 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제2 상태에 있었다는 결정에 따라, 미디어 아이템의 콘텐츠를 재생하는 제2 사용자 인터페이스를 디스플레이하는 것은, 추가의 디스플레이된 제어부들(예컨대, 미디어 아이템의 콘텐츠를 재생하는 제1 사용자 인터페이스 및/또는 미디어 아이템의 콘텐츠를 재생하는 제2 사용자 인터페이스를 디스플레이하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 상태의 컴퓨팅 시스템은 제1 미디어 아이템의 이용가능성에 대응하는 제3 이벤트(예컨대, 제1 이용가능한 미디어 콘텐츠를 갖는 위치로의 위치 변화)를 검출하였고, 컴퓨팅 시스템은 하나 이상의 사용자 인터페이스 요소들의 일부로서 제1 미디어 아이템의 제1 시각적 표현을 디스플레이하며; 제1 사용자 인터페이스는 제1 미디어 아이템을 재생하는 사용자 인터페이스이다. 유사하게, 제2 상태의 컴퓨팅 시스템은 제2 미디어 아이템의 이용가능성에 대응하는 제4 이벤트(예컨대, 제2 이용가능한 미디어 콘텐츠를 갖는 위치로의 위치 변화)를 검출하였고, 컴퓨팅 시스템은 하나 이상의 사용자 인터페이스 요소들의 일부로서 제2 미디어 아이템의 제2 시각적 표현을 디스플레이하며; 제2 사용자 인터페이스는 제2 미디어 객체를 재생하는 사용자 인터페이스이다. 제1 미디어 아이템의 이용가능성에 대응하는 제3 이벤트를 검출하는 것; 하나 이상의 사용자 인터페이스 요소들의 일부로서 제1 미디어 아이템의 제1 시각적 표현을 디스플레이하는 것; 및 제1 미디어 아이템을 재생하는 제1 사용자 인터페이스를 디스플레이하는 것은, 제1 미디어 아이템을 재생하는 데 필요한 입력들의 수를 감소시킨다(예컨대, 사용자는, 제1 미디어 아이템을 재생하기 위해, 제1 디스플레이 생성 컴포넌트를 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동시킨 후에, 추가 입력들을 수행할 필요가 없음). 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 것은 각각의 착신 통신 요청(예컨대, 전화 통화, 인터넷 통화, 화상 회의 통화 등)의 통지를 디스플레이하는 것을 포함하고, 제1 사용자 인터페이스 및 제2 사용자 인터페이스는 각각의 착신 통신 요청에 대응하는 통신 인터페이스들이다(예컨대, 제1 사용자 인터페이스 및 제2 사용자 인터페이스는 통신 세션들의 발신자의 얼굴들 또는 회의 콘텐츠(예컨대, 3차원, 애니메이션, 상호작용형 등)를 보여주는 통신 인터페이스들임). 일부 실시예들에서, 양면 HMD가 사용자에 의해 착용되고 있지 않을(예컨대, 외부 디스플레이가 사용자를 향하는 상태로 책상 위에 놓일) 때, HMD의 외부 디스플레이는, 착신 통신 요청이 컴퓨팅 시스템에 의해 수신될 때 그러한 요청에 대한 통지를 디스플레이하는 데 사용된다. 일부 실시예들에서, 통지는, 발신자의 아이덴티티 및 요청되는 통신 세션의 유형의 표시를 제공한다. 사용자가 HMD를 집어 들고 내부 디스플레이를 그/그녀의 눈들 전방에 놓을 때, 제1 디스플레이 생성 컴포넌트는 수신된 통신 요청에 대응하는 통신 인터페이스를 디스플레이하고, 사용자는 제1 디스플레이 생성 컴포넌트를 사용하여 발신자와의 통신을 시작할 수 있다. 각각의 착신 통신 요청의 통지를 포함하여, 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 것; 및 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제1 상태에 있었다는 결정에 따라, 각각의 착신 통신 요청에 대응하는 통신 인터페이스인 제1 사용자 인터페이스를 디스플레이하는 것, 및 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었을 때, 컴퓨팅 시스템이 제2 상태에 있었다는 결정에 따라, 각각의 착신 통신 요청에 대응하는 통신 인터페이스인 제2 사용자 인터페이스를 디스플레이하는 것은, 추가의 디스플레이된 제어부들(예컨대, 각각의 착신 통신 요청에 대응하는 통신 인터페이스인 제1 사용자 인터페이스 및/또는 각각의 착신 통신 요청에 대응하는 통신 인터페이스인 제2 사용자 인터페이스를 디스플레이하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 상태의 컴퓨팅 시스템은 제1 통신 요청에 대응하는 제5 이벤트(예컨대, (예컨대, 제1 발신자로부터의, 제1 통신 프로토콜을 사용한 등) 제1 통신 요청의 수신)를 검출하였고, 컴퓨팅 시스템은 하나 이상의 사용자 인터페이스 요소들의 일부로서 제1 통신 요청의 제1 시각적 표현(예컨대, 발신자의 아바타를 보여줌, 및/또는 요청되는 통신 세션의 유형을 식별함)을 디스플레이하며; 제1 사용자 인터페이스는 제1 통신 요청에 대응하는 제1 통신 세션을 제공하는 사용자 인터페이스이다. 유사하게, 제2 상태의 컴퓨팅 시스템은 제2 통신 요청에 대응하는 제6 이벤트(예컨대, (예컨대, 제2 발신자로부터의, 제2 통신 프로토콜을 사용한 등) 제2 통신 요청의 수신)를 검출하였고, 컴퓨팅 시스템은 하나 이상의 사용자 인터페이스 요소들의 일부로서 제2 통신 요청의 제2 시각적 표현(예컨대, 발신자의 아바타를 보여줌, 및/또는 요청되는 통신 세션의 유형을 식별함)을 디스플레이하며; 제2 사용자 인터페이스는 제2 통신 요청에 대응하는 제2 통신 세션을 제공하는 사용자 인터페이스이다. 제1 통신 요청에 대응하는 제5 이벤트를 검출하는 것; 하나 이상의 사용자 인터페이스 요소들의 일부로서 제1 통신 요청의 제1 시각적 표현을 디스플레이하는 것; 및 제1 통신 요청에 대응하는 제1 통신 세션을 제공하는 제1 사용자 인터페이스를 디스플레이하는 것은, 제1 통신 요청에 대응하는 제1 통신 세션을 개시하는 데 필요한 입력들의 수를 감소시킨다(예컨대, 사용자는, 제1 통신 요청에 대응하는 제1 통신 세션을 개시하기 위해, 제1 디스플레이 생성 컴포넌트를 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동시킨 후에, 추가 입력들을 수행할 필요가 없음). 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 것은, (예컨대, 컴퓨팅 시스템의 카메라들에 의해 캡처된 사용자의 이미지들을 사용한 얼굴 인식에 기초하여, 디스플레이 생성 컴포넌트들의 하우징 상의 지문 센서에 기초하여, 다른 센서 신호들(예컨대, 사용자에게 부착된 RFID 태그들)에 기초하여 등) 사용자가 제1 아이덴티티를 갖는다는 결정에 따라서, 제1 아이덴티티에 대응하는 규칙들의 제1 세트에 따라 하나 이상의 사용자 인터페이스 요소들의 디스플레이를 맞춤화하는 것; 및 사용자가 제1 아이덴티티와는 상이한 제2 아이덴티티를 갖는다는 결정에 따라서(예컨대, 제1 아이덴티티 및 제2 아이덴티티는 상이한 연령 그룹들, 성별 그룹, 사람들, 인가 레벨들, 보안 허가 레벨들, 상이한 역할들, 상이한 할당들, 상이한 선호도들 등에 대응함), 제2 아이덴티티에 대응하는 규칙들의 제2 세트에 따라 하나 이상의 사용자 인터페이스 요소들의 디스플레이를 맞춤화하는 것 - 규칙들의 제2 세트는 규칙들의 제1 세트와는 상이함(예컨대, 규칙들은 사용자들의 상이한 아이덴티티들에 기초하여 하나 이상의 사용자 인터페이스 요소들의 콘텐츠, 형태, 정보의 양 등에 상이한 제한들을 두는 것과 관련됨) - 을 포함한다. 사용자가 제1 아이덴티티를 갖는다는 결정에 따라 그리고 제1 아이덴티티에 대응하는 규칙들의 제1 세트에 따라, 하나 이상의 사용자 인터페이스 요소들의 디스플레이를 맞춤화하는 것; 및 사용자가 제1 아이덴티티와는 상이한 제2 아이덴티티를 갖는다는 결정에 따라 그리고 제2 아이덴티티에 대응하는, 규칙들의 제1 세트와는 상이한, 규칙들의 제2 세트에 따라, 하나 이상의 사용자 인터페이스 요소들의 디스플레이를 맞춤화하는 것은, 추가 사용자 입력(예컨대, 원하는 맞춤화를 선택하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 하나 이상의 사용자 인터페이스 요소들의 디스플레이를 맞춤화한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트(예컨대, 양면 HMD의 제1 디스플레이 또는 내부 디스플레이 등)가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었다는 것(예컨대, HMD의 내부 디스플레이가 사용자의 얼굴 또는 눈들을 향하는 상태로, HMD가 사용자의 얼굴 또는 눈들 전방에 배치되었음)을 검출하기 전에, 컴퓨팅 시스템은, 제2 디스플레이 생성 컴포넌트를 통해(그리고 하나 이상의 사용자 인터페이스 요소들과 동시에), 제1 사용자 인터페이스 및 제2 사용자 인터페이스 중 각각의 하나가 제1 디스플레이 생성 컴포넌트를 통해 제시되는 데 이용가능한 컴퓨팅 시스템의 둘 이상의 모드들(예컨대, AR 모드, VR 모드, 2D 모드, 개인 모드, 부모 통제 모드, DND 모드 등)의 세트에 대응하는 선택가능 옵션들을 디스플레이한다. 컴퓨팅 시스템은 컴퓨팅 시스템의 둘 이상의 모드들의 세트 중 하나에 대응하는 각각의 선택가능 옵션을 선택하는 사용자 입력을 검출한다. 사용자 입력을 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트(예컨대, 양면 HMD의 제1 디스플레이 또는 내부 디스플레이 등)가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었다는(예컨대, HMD의 내부 디스플레이가 사용자의 얼굴 또는 눈들을 향하는 상태로, HMD가 사용자의 얼굴 또는 눈들 전방에 배치되었음) 결정에 따라, 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향에 있는 동안, 컴퓨팅 시스템은 각각의 선택가능 옵션에 대응하는 모드에서 제1 디스플레이 생성 컴포넌트를 통해 제1 사용자 인터페이스 및 제2 사용자 인터페이스 중 각각의 하나를 디스플레이한다. 컴퓨팅 시스템의 둘 이상의 모드들의 세트 중 하나에 대응하는 각각의 선택가능 옵션을 선택하는 사용자 입력을 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향에 있는 동안, 각각의 선택가능 옵션에 대응하는 모드에서 제1 사용자 인터페이스 및 제2 사용자 인터페이스 중 각각의 하나를 디스플레이하는 것은, 원하는 모드에서 제1 또는 제2 사용자 인터페이스를 디스플레이하는 데 필요한 입력들의 수를 감소시킨다(예컨대, 사용자는, 제1 디스플레이 생성 컴포넌트가 이동된 후 원하는 모드를 선택(또는 재선택)하기 위해 추가 입력들을 수행할 필요가 없음). 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 하나 이상의 사용자 인터페이스 요소들은, 일단 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되면 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 데 이용가능한 3차원 경험의 미리보기를 포함한다. 일부 실시예들에서, 미리보기는, 사용자가 제2 디스플레이 생성 컴포넌트(예컨대, HMD의 외부 디스플레이가 사용자를 향하는 상태의 양면 HMD)를 집어 들 때 시작된다. 일부 실시예들에서, 미리보기는 3차원 경험으로의 뷰포트를 제공한다. 일단 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되면 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 데 이용가능한 3차원 경험의 미리보기를 포함하는 것은, 사용자에게 개선된 피드백(예컨대, 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되는 경우 이용가능한 3차원 경험들에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

도 10에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에서 설명되는 다른 방법들(예컨대, 방법들(8000, 9000, 11000, 12000, 13000))과 관련하여 본 명세서에서 설명되는 다른 프로세스들의 상세사항들이 도 10과 관련하여 위에서 설명된 방법(10000)과 유사한 방식으로 또한 적용가능하다는 것에 주목해야 한다. 예를 들어, 방법(10000)을 참조하여 전술된 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들 및/또는 애니메이션들은, 선택적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(8000, 9000, 11000, 12000, 13000))을 참조하여 본 명세서에 기술되는 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.

도 11은 일부 실시예들에 따른, 디스플레이 생성 컴포넌트의 착용 상태에 기초하여 컴퓨터 생성 경험을 제공하는 방법(11000)의 흐름도이다.

일부 실시예들에서, 사용자는 제1 디스플레이 생성 컴포넌트를 그 상에 디스플레이되는 콘텐츠를 보기 위한, 사용자에 대한 위치 및 배향으로 상이한 방식들, 예컨대 즉흥적이거나 일시적인 방식(예컨대, 일정 거리를 두고 사용자의 눈들 전방에 유지됨 또는 손에 의해 사용자의 눈들에 가깝게 유지됨) 또는 더 형식적이고 확립된 방식(예컨대, 사용자의 손에 의해 지지되지 않고서 사용자의 머리 또는 얼굴에 스트래핑되거나 달리 착용됨)으로 배치할 수 있다. 방법(11000)은, 제1 디스플레이 생성 컴포넌트가 사용자에 대해, 사용자가 제1 디스플레이 생성 컴포넌트 상에 디스플레이되는 콘텐츠를 볼 수 있게 하는 위치 및 배향으로 배치되는 방식에 따라 상이한 컴퓨터 생성 경험들(예컨대, 컴퓨터 생성 경험의 상이한 버전들, 사용자의 상이한 특성들 또는 콘텍스트 속성들에 대응하는 상이한 컴퓨터 생성 경험들, 경험의 미리보기 대 실제 경험 등)을 선택적으로 디스플레이하는 컴퓨팅 시스템에 관한 것이다. 제1 디스플레이 생성 컴포넌트가 사용자에 대해 미리정의된 구성으로 배치되는 것에 대응하는 트리거 이벤트에 응답하여, 그리고 제1 디스플레이 생성 컴포넌트가 그 위치 및 배향으로 유지되는 방식(예컨대, 사용자의 손들의 지지가 있거나 없음, 사용자의 손들 이외의 다른 메커니즘의 지지가 있거나 없음 등)에 따라, 상이한 컴퓨터 생성 경험들을 선택적으로 디스플레이하는 것은(예컨대, 제1 디스플레이 생성 컴포넌트에 의해 제공되는 사용자 인터페이스에서의 추가 사용자 입력들 없이 제1 디스플레이 생성 컴포넌트를 통한 컴퓨터 생성 경험의 디스플레이를 자동으로 시작함), 원하는 결과를 달성하는(예컨대, 원하는 컴퓨터 생성 경험을 시작함) 데 필요한 시간 및 입력들의 수를 감소시키고, 종래의 사용자 인터페이스를 사용하여 이용가능한 컴퓨터 생성 경험들을 통해 브라우징하고 그를 시작하는 데 대한 사용자 실수들 및 그에 소비되는 시간을 감소시킨다.

일부 실시예들에서, 방법(11000)은, 제1 디스플레이 생성 컴포넌트(예컨대, 헤드업 디스플레이, 머리 장착형 디스플레이(HMD), 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 입력 디바이스들(예컨대, 카메라들, 제어기들, 터치 감응형 표면들, 조이스틱들, 버튼들, 장갑들, 워치들, 모션 센서들, 배향 센서들 등)을 포함하는 컴퓨팅 시스템에서 수행된다(11000). 일부 실시예들에서, 컴퓨팅 시스템은 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트를 포함한다(예컨대, 제1 디스플레이 생성 컴포넌트는 사용자를 향하는 디스플레이이고, 사용자에게 CGR 경험을 제공하며, 제2 디스플레이 생성 컴포넌트는 사용자로부터 멀리 그리고 사용자의 외부 환경을 향하는 디스플레이이고, 선택적으로, 외부 환경 내의 다른 사용자들에게 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이된 콘텐츠, 동작 상태 등) 및/또는 사용자(예컨대, 사용자의 눈들의 이동, 사용자의 주의 상태 등)와 관련된 상태 정보를 제공함). 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트는 제1 디스플레이 생성 컴포넌트에 대응하는 제1 면 상에 제1 사용자 인터페이스를 그리고 제2 디스플레이 생성 컴포넌트에 대응하는 제2 면 상에 제2 사용자 인터페이스를 디스플레이하는 양면 디스플레이 디바이스(예컨대, 양면 HMD)를 형성한다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트 및 선택적으로 제2 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들 중 적어도 일부와 동일한 하우징으로 둘러싸인 하나 이상의 프로세서들 및 메모리를 갖는 통합 디바이스이다. 일부 실시예들에서, 컴퓨팅 시스템은, 디스플레이 생성 컴포넌트(들) 및/또는 하나 이상의 입력 디바이스들과 별개인 하나 이상의 프로세서들 및 메모리를 포함하는 컴퓨팅 컴포넌트를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(들) 및 하나 이상의 입력 디바이스들은 동일한 하우징 내에 통합되고 그로 둘러싸인다. 방법(11000)에서, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트가 사용자에 대해 제1 미리정의된 구성으로 배치되는 것(예컨대, 도 7i 및 도 7j에서 제1 사용자(7202)가 제1 디스플레이 생성 컴포넌트의 디스플레이 면을 향하고 있음)(예컨대, HMD가 사용자의 얼굴 또는 눈들 전방, 또는 사용자의 코 위 등에 배치됨)에 대응하는 제1 트리거 이벤트(예컨대, 하나 이상의 센서들(예컨대, 카메라들, 적외선 센서들, 모션 센서들, 용량성 센서들, 광 센서들 등)로부터의 입력에 기초함)를 검출한다(11002). 제1 트리거 이벤트를 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트를 포함하는 컴퓨팅 시스템이 사용자에 대해 제1 미리정의된 구성에 있는(예컨대, 도 7j에 도시된 바와 같이, 제1 사용자가 제1 디스플레이 생성 컴포넌트를 착용하는 것에 대응하는, 제1 디스플레이 생성 컴포넌트와 연관된 센서 객체(7016)를 착용하고 있음) 동안 사용자에 의해 착용되고 있다는(예컨대, 사용자의 머리에 스트래핑됨, 버클로 채워짐, 사용자의 손에 의해 지지되고 있지 않음 등) 결정에 따라, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트를 통해, 제1 컴퓨터 생성 경험(예컨대, 도 7j의 경험(7036))(예컨대, 완전 AR 또는 VR 경험을 디스플레이함, 홈 스크린 사용자 인터페이스를 디스플레이함 등)을 제공하고; 제1 디스플레이 생성 컴포넌트를 포함하는 컴퓨팅 시스템이 사용자에 대해 제1 미리정의된 구성에 있는(예컨대, 도 7i에 도시된 바와 같이, 제1 사용자가 제1 디스플레이 생성 컴포넌트를 착용하지 않는 것에 대응하는, 제1 디스플레이 생성 컴포넌트와 연관된 센서 객체(7016)를 그녀의 손으로 유지하고 있음) 동안 사용자에 의해 착용되고 있지 않다는(예컨대, 사용자의 머리에 스트래핑되지 않음, 버클로 채워지지 않음, 사용자의 손에 의해 지지되고 있음 등) 결정에 따라, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트를 통해, 제1 컴퓨터 생성 경험(예컨대, 완전 AR 또는 VR 경험을 디스플레이함, 홈 스크린 사용자 인터페이스를 디스플레이함 등)과 구별되는 제2 컴퓨터 생성 경험(예컨대, 도 7i의 경험(7030))(예컨대, AR 또는 VR 경험의 미리보기를 디스플레이함, 카메라 사용자 인터페이스를 디스플레이함 등)을 제공한다(11004). 이는, 예를 들어, 예컨대, 제1 디스플레이 생성 컴포넌트가 제1 사용자(7202)에 대해 미리설정된 구성으로 배치될 때 (예컨대, 제1 디스플레이 생성 컴포넌트와 연관된 센서 객체(7106)의 상태에 기초하여 결정되는 바와 같은) 제1 디스플레이 생성 컴포넌트의 착용 상태에 따라, 컴퓨팅 시스템이 상이한 컴퓨터 생성 경험들(예컨대, 각각 경험(7036) 또는 경험(7030))을 디스플레이하는 도 7h 내지 도 7j에 예시되어 있다. 일부 실시예들에서, 컴퓨팅 시스템은, 또한, 2개의 컴퓨터 생성 경험들 중 하나가 전이 전에 컴퓨팅 시스템의 상태에 기초하여 시작된 후에 제1 디스플레이 생성 컴포넌트의 착용 상태가 변경될 때 2개의 상이한 경험들을 디스플레이하는 것 사이에서 전이한다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 포함하는 컴퓨팅 시스템이 사용자에 대해 제1 미리정의된 구성에 있는 동안 사용자에 의해 착용되고 있다는(예컨대, 사용자의 머리에 스트래핑됨, 버클로 채워짐, 사용자의 손에 의해 지지되고 있지 않음 등) 결정에 따라, 컴퓨팅 시스템은, 제1 컴퓨터 생성 경험과의 상호작용을 위해, 적어도, 제1 디스플레이 생성 컴포넌트 또는 그의 하우징과 접촉하지 않는 사용자의 손(또는 손들)의 이동에 기초하는 제1 입력 방식(예컨대, 인 에어 손 제스처 입력 방식, 마이크로 제스처 입력 방식, 제1 디스플레이 생성 컴포넌트 및 그의 하우징과 별개인 터치 감응형 표면들을 사용한 터치 제스처 입력 방식 등)을 제공하고(예컨대, 컴퓨팅 시스템은, 사용자의 손들이 사용자의 눈들 전방에서 HMD의 위치를 유지하는 데 필요하지 않을 때, 다른 입력 디바이스들 상에서의 인 에어 손 제스처들 또는 제어 입력들을 통한 제1 컴퓨터 생성 경험과의 상호작용을 허용함); 제1 디스플레이 생성 컴포넌트를 포함하는 컴퓨팅 시스템이 사용자에 대해 제1 미리정의된 구성에 있는 동안 사용자에 의해 착용되고 있지 않다는(예컨대, 사용자의 머리에 스트래핑되지 않음, 버클로 채워지지 않음, 사용자의 손에 의해 지지되고 있음 등) 결정에 따라, 컴퓨팅 시스템은, 제2 컴퓨터 생성 경험과의 상호작용을 위해, 제1 디스플레이 생성 컴포넌트 또는 그의 하우징과 접촉하지 않는 사용자의 손의 이동에 기초하는 제1 입력 방식을 제공하지 않는다(예컨대, 사용자의 손들 중 적어도 하나가 사용자의 눈들 전방에서 제1 디스플레이 컴포넌트의 위치를 유지하는 데 필요하기 때문에, 컴퓨팅 시스템은 제2 컴퓨터 생성 경험과의 상호작용에 대해 자유로운 손의 이동에 의존하는 입력 메커니즘들을 디스에이블시키고; 대신에, 사용자는 제1 디스플레이 생성 컴포넌트 또는 그의 하우징 상에서의, 또는 다른 입력 디바이스들 상에서의 제어 입력들을 통해 제2 컴퓨터 생성 경험과 상호작용할 수 있음). 컴퓨팅 시스템이 사용자에 대해 제1 미리정의된 구성에 있는 동안 사용자에 의해 착용되고 있다는 결정에 따라, 적어도, 제1 디스플레이 생성 컴포넌트 또는 그의 하우징과 접촉하지 않는 사용자의 손의 이동에 기초하는 제1 입력 방식을 제공하는 것, 및 컴퓨터 시스템이 제1 미리정의된 구성에 있는 동안 사용자에 의해 착용되고 있지 않다는 결정에 따라, 제1 입력 방식을 제공하지 않는 것은, 추가 사용자 입력(예컨대, 특정 입력 방식을 선택하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 적절한 입력 방식을 제공한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 포함하는 컴퓨팅 시스템이 사용자에 대해 제1 미리정의된 구성에 있는 동안 사용자에 의해 착용되고 있지 않다는(예컨대, 사용자의 머리에 스트래핑되지 않음, 버클로 채워지지 않음, 사용자의 손에 의해 지지되고 있음 등) 결정에 따라, 컴퓨팅 시스템은, 제2 컴퓨터 생성 경험과의 상호작용을 위해, 적어도, 제1 디스플레이 생성 컴포넌트 또는 그의 하우징과 접촉하는(그리고 선택적으로 그의 위치를 유지하는) 사용자의 손들 중 적어도 한 손의 이동에 기초하는 제2 입력 방식(예컨대, 제1 디스플레이 생성 컴포넌트 또는 그의 하우징 상에 있는 터치 감응형 표면들을 사용한 터치 제스처 입력 방식, 제1 디스플레이 생성 컴포넌트 또는 그의 하우징 상의 물리적 제어기(예컨대, 스위치, 버튼 등) 상에서의 물리적 입력 등)을 제공한다(예컨대, 컴퓨팅 시스템은, 사용자의 손들이 사용자의 눈들 전방에서 HMD의 위치를 유지하기 위해 HMD를 들고 있을 때, 제2 컴퓨터 생성 경험과의 상호작용을 허용함). 컴퓨팅 시스템이 사용자에 대해 제1 미리정의된 구성에 있는 동안 사용자에 의해 착용되고 있지 않다는 결정에 따라, 적어도, 제1 디스플레이 생성 컴포넌트 또는 그의 하우징과 접촉하는 사용자의 손들 중 적어도 한 손의 이동에 기초하는 제2 입력 방식을 제공하는 것은, 추가 사용자 입력(예컨대, 제2 입력 방식을 인에이블하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 적어도 제2 입력 방식을 제공한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 포함하는 컴퓨팅 시스템이 사용자에 대해 제1 미리정의된 구성에 있는 동안 사용자에 의해 착용되고 있다는(예컨대, 사용자의 머리에 스트래핑됨, 버클로 채워짐, 사용자의 손에 의해 지지되고 있지 않음 등) 결정에 따라, 컴퓨팅 시스템은, 제1 컴퓨터 생성 경험과의 상호작용을 위해, 제1 디스플레이 생성 컴포넌트 또는 그의 하우징 상에 배치되는 적어도 하나의 입력 디바이스(예컨대, 터치 감응형 표면, 스위치, 버튼 등)에 대한 제2 입력 방식(예컨대, 제1 디스플레이 생성 컴포넌트 또는 그의 하우징 상에 있는 터치 감응형 표면들을 사용한 터치 제스처 입력 방식, 제1 디스플레이 생성 컴포넌트 또는 그의 하우징 상의 물리적 제어기(예컨대, 스위치, 버튼 등) 상에서의 물리적 입력 등)을 디스에이블시킨다(예컨대, 컴퓨팅 시스템은, 예컨대 사용자의 손들이 제1 컴퓨터 생성 경험 동안 HMD를 유지하고 있지 않기 때문에, HMD 상에 배치된 입력 디바이스들 상에서의 입력들에 기초하는 제1 컴퓨터 생성 경험과의 상호작용들을 디스에이블시킴). 컴퓨팅 시스템이 제1 미리정의된 구성에 있는 동안 사용자에 의해 착용되고 있다는 결정에 따라, 제1 디스플레이 생성 컴포넌트 또는 그의 하우징 상에 배치되는 적어도 하나의 입력 디바이스에 대한 제2 입력 방식을 디스에이블시키는 것은, 추가 사용자 입력(예컨대, 제2 입력 방식을 수동으로 디스에이블시키기 위한 추가 사용자 입력)을 요구하지 않고서 적어도 하나의 입력 디바이스에 대한 제2 입력 방식을 디스에이블시킨다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 컴퓨팅 시스템은 제1 컴퓨터 생성 경험 및 제2 컴퓨터 생성 경험 둘 모두에서 제1 가상 콘텐츠를 제공하고; 컴퓨팅 시스템은, 제1 가상 콘텐츠가 제1 컴퓨터 생성 경험에서 제공될 때, (예컨대, 제2 상호작용 방식을 인에이블하지 않고서) 제1 가상 콘텐츠에 대한 제1 상호작용 방식을 인에이블하며; 컴퓨팅 시스템은, 제1 가상 콘텐츠가 제2 컴퓨터 생성 경험에서 제공될 때, (예컨대, 제1 상호작용 방식을 인에이블하지 않고서) 제1 가상 콘텐츠에 대한, 제1 상호작용 방식과는 상이한 제2 상호작용 방식을 인에이블한다. 예를 들어, 일부 실시예들에서, HMD는, (1) HMD가 사용자의 얼굴에 스트래핑된 상태에서 AR/VR 경험이 제공될(그리고 사용자의 손들이 HMD로부터 떼어질) 때, 컴퓨팅 시스템이 사용자로 하여금 인 에어 손 제스처들, 또는 손 제어기들, 마이크로 제스처들, 및 사용자의 손이 HMD 상의 입력 디바이스를 터치하거나 조작할 것을 요구하지 않는 다른 입력 메커니즘들을 사용하여 AR/VR 환경과 상호작용하도록 허용하고(그리고 선택적으로, HMD 하우징 상에 제공된 입력 디바이스들을 통해 이루어지는 입력들을 통해 수행되는 동일한 상호작용들을 디스에이블시킴); (2) HMD가 사용자의 머리에 스트래핑되지 않고서 사용자의 손에 의해 사용자의 얼굴에 유지되는 동안 AR/VR 경험이 제공될 때, 컴퓨팅 시스템이 사용자로 하여금 HMD 하우징 상에 제공된 입력 디바이스들을 통해 이루어지는 AR/VR 환경 입력들과 상호작용하도록 허용하는(그리고 선택적으로, 인 에어 손 제스처들, 또는 손 제어기들, 마이크로 제스처들, 및 사용자의 손이 HMD 상의 입력 디바이스를 터치하거나 조작할 것을 요구하지 않는 다른 입력 메커니즘들을 사용하여 수행되는 동일한 상호작용들을 디스에이블시킴) 것을 제외하고는, 동일한 AR/VR 경험을 디스플레이한다. 제1 컴퓨터 생성 경험에서 제공되는 제1 가상 콘텐츠에 대한 제1 상호작용 방식을 인에이블하는 것; 및 제2 컴퓨터 생성 경험에서 제공되는 제1 가상 콘텐츠에 대한, 제1 상호작용 방식과는 상이한 제2 상호작용 방식을 인에이블하는 것은 - 컴퓨팅 시스템은 제1 컴퓨터 생성 경험 및 제2 컴퓨터 생성 경험 둘 모두에서 제1 가상 콘텐츠를 제공함 -, 추가 사용자 입력(예컨대, 제1 또는 제2 상호작용 방식을 인에이블하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 적절한 상호작용 방식을 인에이블한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 컴퓨터 생성 경험은 상이한 컴퓨터 생성 경험들에 대응하는 복수의 사용자 인터페이스 객체들을 포함하며, 여기에서 복수의 사용자 인터페이스 객체들 각각은, 사용자 입력(예컨대, 시선 입력, 마이크로 제스처 입력, 인 에어 제스처 입력 등)에 의해 활성화될 때, 컴퓨팅 시스템으로 하여금 사용자 인터페이스 객체에 대응하는 각각의 컴퓨터 생성 경험을 시작하게 하고; 제2 컴퓨터 생성 경험은 컴퓨팅 시스템의 카메라(예컨대, 물리적 환경의 카메라 뷰 및 선택적으로 하나 이상의 카메라 제어부들(예컨대, 스틸 사진, 비디오, 슬로 모션, 파노라마 등))를 제어하기 위한 카메라 사용자 인터페이스이다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트의 하우징 상에 배치된 입력 디바이스(예컨대, 터치 센서, 접촉 세기 센서, 버튼, 스위치 등)를 통해 검출되는 사용자 입력에 응답하여, 카메라 뷰 내의 물리적 환경의 사진 또는 비디오를 촬영한다. 상이한 컴퓨터 생성 경험들에 대응하는 복수의 사용자 인터페이스 객체들을 포함하여, 제1 컴퓨터 생성 경험을 제공하는 것; 및 컴퓨팅 시스템의 카메라를 제어하기 위한 카메라 사용자 인터페이스를 포함하여, 제2 컴퓨터 생성 경험을 제공하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 컴퓨터 생성 경험 및/또는 제2 컴퓨터 생성 경험에 대한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 포함하는 컴퓨팅 시스템이 사용자에 대해 제1 미리정의된 구성에 있는 동안 사용자에 의해 착용되고 있다는(예컨대, 사용자의 머리에 스트래핑됨, 버클로 채워짐, 사용자의 손에 의해 지지되고 있지 않음 등) 결정에 따라, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트 및 그의 하우징으로부터 떨어져 손에 의해 수행되는 제스처들(예컨대, 인 에어 제스처들, 마이크로 제스처들 등)(예컨대, 제스처는 HMD 상의 카메라에 의해 캡처됨)에 기초하여, 제1 컴퓨터 생성 경험과의 상호작용을 가능하게 하고; 제1 디스플레이 생성 컴포넌트를 포함하는 컴퓨팅 시스템이 사용자에 대해 제1 미리정의된 구성에 있는 동안 사용자에 의해 착용되고 있지 않다는(예컨대, 사용자의 머리에 스트래핑되지 않음, 버클로 채워지지 않음, 사용자의 손에 의해 지지되고 있음 등) 결정에 따라, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트 또는 그의 하우징 상에서 손에 의해 수행되는 제스처들(예컨대, 터치 제스처들, 물리적 제어부들의 조작 등)(예컨대, 제스처는 HMD의 하우징의 터치 감응형 표면에 의해 캡처됨)에 기초하여, 제2 컴퓨터 생성 경험과의 상호작용을 가능하게 한다. 컴퓨팅 시스템이 사용자에 대해 제1 미리정의된 구성에 있는 동안 사용자에 의해 착용되고 있다는 결정에 따라, 제1 디스플레이 생성 컴포넌트 및 그의 하우징으로부터 떨어져 손에 의해 수행되는 제스처들에 기초하여, 제1 컴퓨터 생성 경험과의 상호작용을 가능하게 하는 것; 및 컴퓨팅 시스템이 사용자에 대해 제1 미리정의된 구성에 있는 동안 사용자에 의해 착용되고 있지 않다는 결정에 따라, 제1 디스플레이 생성 컴포넌트 또는 그의 하우징 상에서 손에 의해 수행되는 제스처들에 기초하여, 제2 컴퓨터 생성 경험과의 상호작용을 가능하게 하는 것은, 추가 사용자 입력(예컨대, 상호작용들이 제1 디스플레이 생성 컴포넌트 또는 그의 하우징으로부터 떨어져 손에 의해 수행되는 제스처들에 기초하는지 또는 제1 디스플레이 생성 컴포넌트 또는 그의 하우징 상에서 손에 의해 수행되는 제스처들에 기초하는지를 특정하기 위한 추가 사용자 입력)을 요구하지 않고서, 적절한 방식으로 각각의 컴퓨터 생성 경험과의 상호작용을 가능하게 한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

도 11에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에서 설명되는 다른 방법들(예컨대, 방법들(8000, 9000, 10000, 12000, 13000))과 관련하여 본 명세서에서 설명되는 다른 프로세스들의 상세사항들이 도 11과 관련하여 위에서 설명된 방법(11000)과 유사한 방식으로 또한 적용가능하다는 것에 주목해야 한다. 예를 들어, 방법(11000)을 참조하여 전술된 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들 및/또는 애니메이션들은, 선택적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(8000, 9000, 10000, 11000, 12000))을 참조하여 본 명세서에 기술되는 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.

방법들(8000, 9000, 10000, 11000)과 관련하여 설명된 바와 같이, 제2 디스플레이 생성 컴포넌트 상에 정보(예컨대, 사용자의 눈들과 관련된 상태 정보, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠의 상태, 컴퓨팅 시스템의 디스플레이 모드, 이용가능한 컴퓨터 생성 경험들의 표시 등)를 디스플레이하는 것은, 사용자가 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트 둘 모두를 포함하는 HMD를 착용하고 벗어야 하는 횟수를 감소시키고/시키거나 예컨대 주변 물리적 환경 내의 다른 사람들을 대하기 위해 컴퓨터 생성 경험을 활성화 또는 정지시키고/시키거나 바람직한 컴퓨터 생성 경험을 찾는 것을 돕는다. 이는, 사용자의 시간을 절약하고 전력 사용량을 감소시키며 사용자 실수들을 감소시키는 것을 돕고, 사용자가 디스플레이 생성 컴포넌트들을 사용할 때 사용자 경험을 개선한다.

도 12는 일부 실시예들에 따른, 현실 세계에서의 물리적 객체와의 미리설정된 물리적 상호작용을 검출하는 것에 기초하여 컴퓨터 생성 경험의 디스플레이를 트리거하는 방법(12000)의 흐름도이다.

방법(12000)은, 객체와의 물리적 상호작용을 사용하여 객체와 관련된 컴퓨터 생성 경험들을 트리거하는 것에 관한 것이다. 일부 실시예들에서, 현실 세계에서의 물리적 객체의 물리적 조작의 미리설정된 방식들이 검출되고, 물리적 객체와 관련된 컴퓨터 생성 경험들을 개시하기 위한 트리거들로서 사용된다. 일부 실시예들에서, 물리적 객체와 관련된 컴퓨터 생성 경험들을 개시하기 전에, 이용가능한 컴퓨터 생성 경험들의 시각적 표시(들), 및 선택적으로, 컴퓨터 생성 경험들을 개시하는 방법에 관한 시각적 가이드(예컨대, 미리보기들 및 애니메이션들)가 혼합 현실 환경 내의 물리적 객체의 표현의 위치에 대응하는 혼합 현실 환경 내의 위치들에 디스플레이된다. 컴퓨터 생성 경험의 이용가능성에 관한 시각적 표시 및/또는 컴퓨터 생성 경험을 트리거하는 데 필요한 물리적 조작들에 관한 시각적 가이드를 디스플레이하는 것에 더하여, 물리적 객체의 미리설정된 물리적 조작들을 사용하여 물리적 객체와 연관된 컴퓨터 생성 경험의 디스플레이를 트리거하는 것은, 사용자가 원하는 결과(예컨대, 원하는 컴퓨터 생성 경험에 진입함)를 더 직관적으로, 더 빠르게, 그리고 더 적은 입력들로 달성하도록 허용한다. 이러한 사용자 상호작용 휴리스틱은, 또한, 사용자가 물리적 객체와 상호작용할 때 사용자 실수들을 감소시키는 것을 도와, 그에 의해 인간-기계 인터페이스를 더 효율적으로 만들며, 이는 배터리-작동형 컴퓨팅 시스템들에 대한 전력을 절약한다.

일부 실시예들에서, 방법(12000)은, 제1 디스플레이 생성 컴포넌트(예컨대, 헤드업 디스플레이, 머리 장착형 디스플레이(HMD), 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 입력 디바이스들(예컨대, 카메라들, 제어기들, 터치 감응형 표면들, 조이스틱들, 버튼들, 장갑들, 워치들, 모션 센서들, 배향 센서들 등)을 포함하는 컴퓨팅 시스템에서 수행된다(12002). 일부 실시예들에서, 컴퓨팅 시스템은 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트를 포함한다(예컨대, 제1 디스플레이 생성 컴포넌트는 사용자를 향하는 디스플레이이고, 사용자에게 CGR 경험을 제공하며, 제2 디스플레이 생성 컴포넌트는 사용자로부터 멀리 그리고 사용자의 외부 환경을 향하는 디스플레이이고, 선택적으로, 외부 환경 내의 다른 사용자들에게 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이된 콘텐츠, 동작 상태 등) 및/또는 사용자(예컨대, 사용자의 눈들의 이동, 사용자의 주의 상태 등)와 관련된 상태 정보를 제공함). 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트는 제1 디스플레이 생성 컴포넌트에 대응하는 제1 면 상에 제1 사용자 인터페이스를 그리고 제2 디스플레이 생성 컴포넌트에 대응하는 제2 면 상에 제2 사용자 인터페이스를 디스플레이하는 양면 디스플레이 디바이스(예컨대, 양면 HMD)를 형성한다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트 및 선택적으로 제2 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들 중 적어도 일부와 동일한 하우징으로 둘러싸인 하나 이상의 프로세서들 및 메모리를 갖는 통합 디바이스이다. 일부 실시예들에서, 컴퓨팅 시스템은, 디스플레이 생성 컴포넌트(들) 및/또는 하나 이상의 입력 디바이스들과 별개인 하나 이상의 프로세서들 및 메모리를 포함하는 컴퓨팅 컴포넌트를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(들) 및 하나 이상의 입력 디바이스들은 동일한 하우징 내에 통합되고 그로 둘러싸인다.

방법(12000)에서, 물리적 환경 내의 물리적 객체의 위치에 대응하는 3차원 환경(예컨대, 혼합 현실 환경, 또는 디스플레이 생성 컴포넌트의 투명 부분을 통해 보이는 바와 같은 물리적 환경의 뷰 또는 카메라 뷰) 내의 위치에 물리적 객체의 표현을 디스플레이하는 동안, 컴퓨팅 시스템은 (예컨대, 사용자가 물리적 객체와 접촉하거나 달리 3차원 환경 내의 물리적 객체의 표현과 상호작용하기 전에) 물리적 객체(예컨대, 도 7k의, 박스 뚜껑(7042) 및 박스 몸체(7040)를 포함하는 박스)에 대응하는 컴퓨터 생성 경험(예컨대, 가상 현실 경험, 또는 증강 현실 경험)이 제1 디스플레이 생성 컴포넌트를 통한 디스플레이를 위해 이용가능하다는 시각적 표시(예컨대, 도 7k의 라벨(7046), 또는 다른 시각적 표시 등)(예컨대, 물리적 객체의 위치에 대응하는 위치에 디스플레이되는 팝업 라벨, 시각적 효과(예컨대, 반짝이는 효과(shimmering effect), 스포트라이트, 윤곽 등))를 디스플레이한다(예컨대, 컴퓨터 생성 경험을 시작하지 않고서 3차원 환경에서 물리적 객체의 표현 위에 팝업을 디스플레이함(예컨대, 팝업은, 물리적 객체의 표현이 제1 디스플레이 생성 컴포넌트를 통해 표시된 시야 내로 들어오는 것에 응답하여, 또는 시선 입력이 물리적 객체의 표현 상에서 검출되는 것에 응답하여 디스플레이됨))(12004). 컴퓨터 생성 경험이 제1 디스플레이 생성 컴포넌트를 통한 디스플레이를 위해 이용가능하다는 시각적 표시를 디스플레이하는 동안, 컴퓨팅 시스템은 물리적 환경 내의 물리적 객체와의 상호작용(예컨대, 도 7l 및 도 7m에 도시된 상호작용들)을 검출한다(예컨대, 사용자의 손이 물리적 객체를 향해 뻗쳐지고/지거나 물리적 객체와 접촉하고/하거나 물리적 객체를 집어 드는 것을 검출함)(예컨대, (예컨대, 물리적 객체를 직접 터치하는 것 또는 이동시키는 것을 통한) 물리적 환경 내의 물리적 객체와의 상호작용은 (예컨대, 3차원 환경 내의 물리적 객체의 표현 또는 가상 제어부에 대한 사용자의 제스처 및/또는 시선 입력들을 통한) 물리적 객체 또는 3차원 환경에서 디스플레이되는 물리적 객체의 표현과 연관된 가상 제어부와의 상호작용과는 상이함)(12006). 물리적 환경 내의 물리적 객체와의 상호작용을 검출하는 것에 응답하여, (예컨대, 도 7m에 도시된 바와 같이) 물리적 환경 내의 물리적 객체와의 상호작용이 물리적 객체에 대응하는 제1 기준들을 충족시킨다는 결정에 따라(예컨대, 물리적 객체는 악기이고, 제1 기준들은 악기를 사용자의 손에 의해 집어 들 때 충족됨; 물리적 객체는 책이고, 제1 기준들은, 책이 사용자에 의해 펼쳐질 때 충족됨; 물리적 객체는 태블릿 컴퓨터이고, 제1 기준들은, 태블릿 컴퓨터가 사용자의 얼굴 전방에 유지될 때 충족됨 등), 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트를 통해, 물리적 객체에 대응하는 컴퓨터 생성 경험(예컨대, 도 7m의 경험(7054))을 디스플레이하고(예컨대, 물리적 객체가 악기일 때, 악기를 연주하기 위한 시각적 가이드들을 디스플레이함, 물리적 객체가 책일 때, 책의 콘텐츠에 대응하는 애니메이션화된 콘텐츠 또는 비디오를 디스플레이함, 물리적 객체가 태블릿 컴퓨터일 때, 태블릿 컴퓨터의 표면을 오버레이하는 가상 콘텐츠를 디스플레이함 등); 물리적 환경 내의 물리적 객체와의 상호작용이 제1 기준들을 충족시키지 않는다는 결정에 따라, 컴퓨팅 시스템은, 물리적 객체에 대응하는 컴퓨터 생성 경험을 디스플레이하는 것을 보류한다(예컨대, 도 7l에 도시된 바와 같이, 경험(7054)이 디스플레이되지 않음)(예컨대, 시각적 표시의 디스플레이를 유지하면서)(12008). 일부 실시예들에서, 물리적 객체에 대응하는 제1 기준들을 충족시키는 물리적 환경 내의 물리적 객체와의 직접적인 상호작용이 없으면, 컴퓨팅 시스템은 컴퓨터 생성 경험을 시작하지 않고, 제1 디스플레이 생성 컴포넌트는 물리적 객체에 대응하는 컴퓨터 생성 경험이 제1 디스플레이 생성 컴포넌트를 통한 디스플레이를 위해 이용가능하다는 시각적 표시를 계속 디스플레이하거나, 또는 제1 디스플레이 생성 컴포넌트는 컴퓨터 생성 경험이 어떻게 시작될 수 있는지에 관해 사용자에게 안내하는 시각적 프롬프트(예컨대, 시각적 표시 및 실제 컴퓨터 생성 경험과 구별됨)를 디스플레이한다. 일부 실시예들에서, 시각적 프롬프트는 물리적 환경 내의 물리적 객체와의 어떤 사용자 상호작용을 검출하는 것에 응답하여 디스플레이되지만, 이러한 상호작용은 물리적 객체에 대응하는 제1 기준들을 아직 충족시키지 않는다. 이는, 예를 들어, 물리적 객체와의 미리설정된 물리적 상호작용이 검출될 때 컴퓨터 생성 경험이 디스플레이되고, 미리설정된 물리적 상호작용이 검출되지 않았을 때 디스플레이되지 않는 도 7k 내지 도 7m에 예시되어 있다.

일부 실시예들에서, 컴퓨팅 시스템은, 물리적 환경의 제1 부분의 표현을 디스플레이하는 것으로부터 물리적 환경의 제2 부분의 표현을 디스플레이하는 것으로 스위칭하는 것을 포함하여, (예컨대, 컴퓨팅 시스템의 하나 이상의 카메라들의 이동을 검출하는 것 또는 디스플레이 생성 컴포넌트(예컨대, 헤드업 디스플레이, HMD 등)의 이동을 검출하는 것, 및/또는 물리적 환경에 대한 사용자의 머리 또는 눈들의 이동을 검출하는 것에 응답하여) 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경의 뷰를 변경한다. 3차원 환경의 뷰를 변경하는 것에 응답하여, 물리적 환경의 제1 부분이 물리적 객체의 임계 부분 미만의 부분을 포함하고(예컨대, 물리적 객체가 제1 디스플레이 생성 컴포넌트의 시야 내에서 보이는 물리적 환경의 일부분의 완전히 또는 대부분 외측에 있음), 물리적 환경의 제2 부분이 물리적 객체의 임계 부분 초과의 부분을 포함한다는(예컨대, 물리적 객체가 제1 디스플레이 생성 컴포넌트의 시야 내에서 보이는 물리적 환경의 일부분의 완전히 또는 대부분 내측에 있음) 결정에 따라, 컴퓨팅 시스템은 물리적 환경 내의 물리적 객체의 위치에 대응하는 3차원 환경의 뷰 내의 위치에 시각적 표시를 디스플레이하고(예컨대, 물리적 객체가 사용자의 시야 내로 들어올 때, 제1 디스플레이 생성 컴포넌트를 통해 시각적 표시를 디스플레이함); 물리적 환경의 제1 부분이 물리적 객체의 임계 부분 초과의 부분을 포함하고, 물리적 환경의 제2 부분이 물리적 객체의 임계 부분 미만의 부분을 포함한다는 결정에 따라, 컴퓨팅 시스템은 3차원 환경의 뷰에 시각적 표시를 디스플레이하는 것을 중지한다(예컨대, 물리적 객체가 사용자의 시야를 벗어날 때, 제1 디스플레이 생성 컴포넌트를 통해 시각적 표시를 디스플레이하는 것을 중지함). 물리적 환경의 제1 부분이 물리적 객체의 임계 부분 미만의 부분을 포함하고, 물리적 환경의 제2 부분이 물리적 객체의 임계 부분 초과의 부분을 포함한다는 결정에 따라, 물리적 환경 내의 물리적 객체의 위치에 대응하는 3차원 환경 내의 위치에 시각적 표시를 디스플레이하는 것; 및 물리적 환경의 제1 부분이 물리적 객체의 임계 부분 초과의 부분을 포함하고, 물리적 환경의 제2 부분이 물리적 객체의 임계 부분 미만의 부분을 포함한다는 결정에 따라, 3차원 환경의 뷰에 시각적 표시를 디스플레이하는 것을 중지하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 물리적 환경의 제1 또는 제2 부분이 물리적 객체의 임계 부분 초과의 부분을 포함하는지 또는 물리적 객체의 임계 부분 미만의 부분을 포함하는지에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 물리적 환경 내의 물리적 객체와의 상호작용을 검출하는 것에 응답하여, 물리적 환경 내의 물리적 객체와의 상호작용이 물리적 객체에 대응하는 제1 기준들과는 상이한, 물리적 객체에 대응하는 제2 기준들을 충족시킨다는 결정에 따라, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트를 통해, 컴퓨터 생성 경험의 이용가능성을 나타내는 시각적 피드백을 디스플레이하며, 여기에서 시각적 피드백은 시각적 표시와 상이하고 컴퓨터 생성 경험과 상이하다. 물리적 객체와의 상호작용이 제1 기준들과는 상이한 제2 기준들을 충족시킨다는 결정에 따라, 시각적 표시와 상이하고 컴퓨터 생성 경험과 상이한, 컴퓨터 생성 경험의 이용가능성을 나타내는 시각적 피드백을 디스플레이하는 것은, 개선된 시각적 피드백(예컨대, 컴퓨터 생성 경험의 이용가능성에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 시각적 피드백은 제1 기준들을 충족시키는 물리적 객체와의 상호작용의 유형에 대한 안내를 제공한다(예컨대, 시각적 피드백은 컴퓨터 생성 경험을 시작하기 위해 물리적 환경 내의 물리적 객체와 어떻게 상호작용하는지를 보여주는 애니메이션임). 예를 들어, 사용자가 책을 집어 들었을 때, 사용자에게 책의 표지를 펼칠 것을 촉구하는 애니메이션화된 화살표가 책의 표지 근처에 나타난다. 다른 예에서, 사용자가 현악기를 집어 들었을 때, 사용자에게 그/그녀의 손가락들로 또는 픽(pick) 또는 활로 현악기의 현들을 켜거나 튕길 것을 촉구하는 반짝이는 효과가 현악기의 현들에 대응하는 위치에 적용된다. 다른 예에서, 사용자가 태블릿 컴퓨터를 집어 들었을 때, 사용자에게 태블릿 컴퓨터를 그/그녀의 얼굴을 향하도록 이동시킬 것을 촉구하기 위해 태블릿 컴퓨터의 애니메이션화된 와이어프레임 이미지가 사용자의 얼굴을 향해 이동한다. 제1 기준들을 충족시키는 물리적 객체와의 상호작용의 유형에 대한 안내를 제공하는 시각적 피드백을 디스플레이하는 것은 사용자에게 개선된 시각적 피드백(예컨대, 제1 기준들을 충족시키는 방법에 대해 사용자에게 안내하기 위한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 3차원 환경에서의 시각적 피드백의 위치는, 물리적 객체가 물리적 환경 내의 물리적 객체와의 상호작용에 응답하여 이동하는 동안 물리적 객체의 현재 위치에 기초하여 선택된다. 예를 들어, 사용자가 책을 집어 든 후, 펼쳐지지 않은 책이 물리적 환경에서 사용자의 손으로 이동될 때, 애니메이션화된 화살표가 3차원 환경에서 책의 표지를 따라간다. 유사하게, 사용자가 현악기를 집어 든 후, 현악기가 사용자의 손들에서 물리적 환경에서 전체적으로 이동함에 따라, 반짝이는 효과가 현악기의 현들을 따라간다. 유사하게, 사용자가 태블릿 컴퓨터를 집어 들었을 때, 사용자에게 제시되는 각각의 애니메이션화된 시퀀스에서, 태블릿 컴퓨터의 와이어프레임 이미지는, 태블릿 컴퓨터가 사용자에 의해 유지되는 동안 상이한 배향들 및 위치들을 가질 수 있을 때에도, 항상 태블릿 컴퓨터의 현재 위치로부터 시작되고, 사용자를 향하도록 방향전환되며, 사용자의 얼굴을 향해 이동한다. 물리적 객체가 물리적 환경 내의 물리적 객체와의 상호작용에 응답하여 이동하는 동안 물리적 객체의 현재 위치에 기초하여 선택되는 3차원 환경 내의 위치에 시각적 피드백을 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 물리적 객체가 이동하고 있다는 개선된 시각적 피드백, 및 물리적 객체의 현재 위치에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 시각적 피드백의 제1 특성의 값(예컨대, 애니메이션, 시각적 효과 및/또는 가상 객체의 정도(예컨대, 크기, 치수들, 각도 범위 등), 시각적 피드백에서의 상세사항들의 양, 시각적 피드백의 밝기, 색상 포화도, 시각적 선명도 등, 기타 등등)은 물리적 환경 내의 물리적 객체와의 상호작용의 제2 특성의 값(예컨대, 이동 거리, 이동의 각도 범위, 이동 속도, 상호작용의 유형들, 미리결정된 기준점까지의 거리 등)에 따라 (예컨대, 실시간으로 동적으로) 조정된다. 예를 들어, 일부 실시예들에서, 시각적 피드백은, 페이지의 표지가 물리적 환경에서 사용자에 의해 천천히 펼쳐질 때 디스플레이되는 3차원 컴퓨터 생성 경험의 미리보기를 보여주고, 디스플레이되는 미리보기의 양은 증가하고 있지만 책의 표지와 첫 페이지 사이의 갭에 의해 계속 제한된다. 표지가 임계량을 넘어 펼쳐지고 제1 기준들이 충족될 때, 미리보기가 디스플레이되는 것이 중지되고, 완전한 컴퓨터 생성 경험이 3차원 환경에서 시작된다. 다른 예에서, 사용자가 악기의 현들을 무작위로 튕길 때, 시각적 피드백은 튕겨진 현들로부터 나오는 소량의 스파클(sparkle)들을 보여주고; 사용자가 악기를 계속 연주하고 사용자의 손가락 이동의 리듬들이 점점 더 규칙적이고 인식가능하게 될 때, 컴퓨팅 시스템은 악기 상에서의 사용자의 손가락 이동의 리듬들 및 위치들에 따라 음악 및 대응하는 시각적 효과들을 생성하고; 궁극적으로, 악기 상에서의 사용자의 손가락 이동이 충분히 규칙적이고 리드미컬하기 때문에 제1 기준들이 충족될 때, 컴퓨터 생성 경험의 미리보기가 최대의 컴퓨터 생성 경험으로 변환된다(예컨대, 다른 악기들의 음악 반주가 추가됨, 및 가상 댄서들이 3차원 환경에 추가됨 등). 물리적 환경 내의 물리적 객체와의 상호작용의 제2 특성의 값에 따라 조정되는 시각적 피드백의 제1 특성의 값을 갖는 시각적 피드백을 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 물리적 환경 내의 물리적 객체와의 상호작용의 제2 특성에 관한 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 물리적 환경 내의 물리적 객체와의 상호작용의 제1 특성의 제1 양의 변화(예컨대, 이동 거리, 이동의 각도 범위, 이동 속도, 또는 미리결정된 기준점까지의 거리 등의 제1 양의 변화)는 시각적 피드백의 제2 특성의 값의 제1 양의 변화(예컨대, 애니메이션, 시각적 효과 및/또는 가상 객체의 정도(예컨대, 크기, 치수들, 각도 범위 등), 시각적 피드백에서의 상세사항들의 양, 시각적 피드백의 밝기, 색상 포화도, 시각적 선명도 등, 기타 등등의 제1 양의 변화)를 야기하고; 물리적 환경 내의 물리적 객체와의 상호작용의 제1 특성의 제2 양의 변화(예컨대, 이동 거리, 이동의 각도 범위, 이동 속도, 또는 미리결정된 기준점까지의 거리 등의 제2 양의 변화)는 시각적 피드백의 제2 특성의 값의 제2 양의 변화(예컨대, 애니메이션, 시각적 효과 및/또는 가상 객체의 정도(예컨대, 크기, 치수들, 각도 범위 등), 시각적 피드백에서의 상세사항들의 양, 시각적 피드백의 밝기, 색상 포화도, 시각적 선명도 등, 기타 등등의 제2 양의 변화)를 야기한다. 예를 들어, 경험은, 책이 펼쳐짐에 따라 점진적으로 나타나는 것과 같이, 상호작용이 일어남에 따라 점진적으로 나타난다(예컨대, 페이드 인(fade in)함, 또는 증가하는 양의 공간을 차지함). 물리적 환경 내의 물리적 객체와의 상호작용의 제1 특성의 제1 양의 변화에 따라, 시각적 피드백의 제2 특성의 값을 제1 양만큼 변경하는 것; 및 물리적 환경 내의 물리적 객체와의 상호작용의 제1 특성의 제2 양의 변화에 따라, 시각적 피드백의 제2 특성의 값을 제2 양만큼 변경하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 물리적 환경 내의 물리적 객체와의 상호작용에 관한 개선되고 연속적인 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 통해, 물리적 객체에 대응하는 컴퓨터 생성 경험을 디스플레이하는 것은, 물리적 객체와의 상호작용이 제1 미리결정된 입력 양식에 대응한다는 결정에 따라(예컨대, 상호작용은, 태블릿 컴퓨터를 집어 들고 그를 사용자의 얼굴 전방으로 들어 올리는 것임, 상호작용은, 악기를 집어 들고 그를 사용자의 신체에 걸쳐 놓는 것임, 또는 상호작용은, 책을 집어 들고 표지를 펼치는 것임 등), 제1 미리결정된 입력 양식에 대응하는 컴퓨터 생성 경험의 제1 버전을 디스플레이하는 것(예컨대, 제1 디스플레이 생성 컴포넌트는 사용자의 얼굴 전방에 확대된 3차원 사용자 인터페이스를 디스플레이하고, 사용자 인터페이스는 3차원 사용자 인터페이스에 대한 인 에어 제스처 입력들 및 시선 입력들에 응답함; 제1 디스플레이 생성 컴포넌트는, 악기에 대응하는 위치에서, 기타 또는 베이스에 대응하는 현들을 디스플레이하고, 사용자의 손가락들의 튕기는 모션들에 응답함; 또는 제1 디스플레이 생성 컴포넌트는 책의 각각의 챕터의 미리보기를 순서대로 디스플레이하고, 다음 챕터의 미리보기로 이동하기 위한 인 에어 스와이프 또는 현재 미리보기된 챕터에 대응하는 CGR을 시작하기 위한 인 에어 탭에 응답함 등); 및 물리적 객체와의 상호작용이 제2 미리결정된 입력 양식에 대응한다는 결정에 따라(예컨대, 상호작용은, 태블릿 컴퓨터를 집어 들고 그를 가로 배향으로 회전시키며 그를 사용자 전방의 책상 위에 놓는 것임, 상호작용은, 악기를 집어 들고 그를 사용자의 무릎 위에 또는 사용자의 꼰 다리들 사이의 바닥 위에 놓는 것임, 또는 상호작용은, 책을 집어 들고 책을 가운데로부터 펼치는 것임 등), 제2 미리결정된 입력 양식에 대응하는 컴퓨터 생성 경험의 제2 버전을 디스플레이하는 것(예컨대, 제1 디스플레이 생성 컴포넌트는 책상 위의 태블릿 컴퓨터의 위치에 대응하는 위치에 가상 키보드를 디스플레이하고, 사용자가 가상 키보드 상의 상이한 키들에 대응하는 위치들에서 책상을 탭핑할 때 3차원 환경에서 사용자에 의해 입력된 텍스트를 디스플레이함(예컨대, 태블릿 컴퓨터 상에 표시된 사용자 인터페이스는 숨겨짐); 제1 디스플레이 생성 컴포넌트는 하나 이상의 드럼 표면들을 디스플레이하고, 공중에서의 또는 사용자의 무릎 상에서의 사용자의 손가락들의 탭핑에 응답하여 드럼 비트들을 생성함; 또는 제1 디스플레이 생성 컴포넌트는 현재 펼쳐져 있는 책의 일부분에 대응하는 3차원 영화를 디스플레이함 등)을 포함한다. 물리적 객체와의 상호작용이 제1 미리결정된 입력 양식에 대응한다는 결정에 따라, 제1 미리결정된 입력 양식에 대응하는 컴퓨터 생성 경험의 제1 버전을 디스플레이하는 것; 및 물리적 객체와의 상호작용이 제2 미리결정된 입력 양식에 대응한다는 결정에 따라, 제2 미리결정된 입력 양식에 대응하는 컴퓨터 생성 경험의 제2 버전을 디스플레이하는 것은, 추가 사용자 입력(예컨대, 컴퓨터 생성 경험의 제1 또는 제2 버전을 선택하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 컴퓨터 생성 경험의 제1 또는 제2 버전을 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 컴퓨터 생성 경험은 가상 현실 경험이고, 컴퓨터 생성 경험을 디스플레이하는 것은 3차원 환경에서 물리적 객체의 표현(예컨대, 사실적 렌더링, 패스 스루 뷰, 또는 카메라 뷰)을 디스플레이하는 것을 중지하는 것(예컨대, 물리적 환경에 대한 사용자의 뷰가 제1 디스플레이 생성 컴포넌트의 존재에 의해 차단되지 않는 경우 물리적 객체의 물리적 위치가 사용자의 시야 내에 있더라도, 물리적 객체의 표현(예컨대, 물리적 객체의 카메라 뷰 또는 제1 디스플레이 생성 컴포넌트의 투명 부분을 통해 보이는 바와 같은 물리적 객체의 뷰)은 더 이상 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되거나 보이지 않음)을 포함한다. 일부 실시예들에서, 물리적 객체의 윤곽 또는 존재의 표시(예컨대, 물리적 객체의 그림자, 윤곽, 가상화된 표현, 또는 양식화된 표현)가, 선택적으로, 컴퓨터 생성 경험 동안, 물리적 환경 내의 물리적 객체의 위치에 대응하는 위치에 디스플레이된다. 물리적 환경 내의 물리적 객체와의 상호작용이 물리적 객체에 대응하는 제1 기준들을 충족시킨다는 결정에 따라, 3차원 환경에서 물리적 객체의 표현을 디스플레이하는 것을 중지하는 것을 포함하여, 가상 현실 경험인 컴퓨터 생성 경험을 디스플레이하는 것; 및 물리적 환경 내의 물리적 객체와의 상호작용이 제1 기준들을 충족시키지 않는다는 결정에 따라, 컴퓨터 생성 경험을 디스플레이하는 것을 보류하는 것은, 추가의 디스플레이된 제어부들(예컨대, 가상 현실 경험인 컴퓨터 생성 경험을 디스플레이하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 컴퓨터 생성 경험은 증강 현실 경험이고, 컴퓨터 생성 경험을 디스플레이하는 것은 3차원 환경에서 물리적 객체의 표현(예컨대, 사실적 렌더링, 패스 스루 뷰, 또는 카메라 뷰)의 디스플레이를 유지하는 것(예컨대, 물리적 환경에 대한 사용자의 뷰가 제1 디스플레이 생성 컴포넌트의 존재에 의해 차단되지 않는 경우 물리적 객체의 물리적 위치가 사용자의 시야 내에 있을 때, 물리적 객체의 표현(예컨대, 물리적 객체의 카메라 뷰 또는 제1 디스플레이 생성 컴포넌트의 투명 부분을 통해 보이는 바와 같은 물리적 객체의 뷰)은 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되거나 보임)을 포함한다. 일부 실시예들에서, 가상 오버레이들이 물리적 객체와의 사용자의 경험을 증강시키기 위해 컴퓨터 생성 경험 동안 물리적 환경 내의 물리적 객체의 위치에 대응하는 위치들에 디스플레이된다. 물리적 환경 내의 물리적 객체와의 상호작용이 물리적 객체에 대응하는 제1 기준들을 충족시킨다는 결정에 따라, 3차원 환경에서 물리적 객체의 표현의 디스플레이를 유지하는 것을 포함하여, 증강 현실 경험인 컴퓨터 생성 경험을 디스플레이하는 것; 및 물리적 환경 내의 물리적 객체와의 상호작용이 제1 기준들을 충족시키지 않는다는 결정에 따라, 컴퓨터 생성 경험을 디스플레이하는 것을 보류하는 것은, 추가의 디스플레이된 제어부들(예컨대, 가상 현실 경험인 컴퓨터 생성 경험을 디스플레이하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

도 12에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에서 설명되는 다른 방법들(예컨대, 방법들(8000, 9000, 10000, 11000, 13000))과 관련하여 본 명세서에서 설명되는 다른 프로세스들의 상세사항들이 도 12와 관련하여 위에서 설명된 방법(12000)과 유사한 방식으로 또한 적용가능하다는 것에 주목해야 한다. 예를 들어, 방법(12000)을 참조하여 전술된 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들 및/또는 애니메이션들은, 선택적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(8000, 9000, 10000, 11000, 11000))을 참조하여 본 명세서에 기술되는 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.

도 13은 일부 실시예들에 따른, 디스플레이 생성 컴포넌트의 하우징 상에서의 입력에 응답하여 동작을 수행하는 방법(13000)의 흐름도이다.

일부 실시예들에서, 디스플레이 생성 컴포넌트는 하우징의 다양한 부분들 근처에서의 또는 그 상에서의 터치 또는 호버 입력들을 검출하기 위한 센서들을 포함하는(또는 달리, 연관된 외부 센서들을 갖는) 하우징 내에 포함된다. (예컨대, 이동 패턴(예컨대, 탭, 스와이프 등), 지속기간(예컨대, 긺, 짧음 등), 세기(예컨대, 약함, 강함 등) 등에 기초한) 상이한 유형들의 그리고 하우징의 외부 상의 또는 그 근처의 상이한 위치들에서의 터치 입력들 및/또는 호버 입력들이 디스플레이 생성 컴포넌트 또는 디스플레이 생성 컴포넌트에 의해 디스플레이되는 컴퓨터 생성 환경과 연관된 상이한 동작들을 트리거하는 데 사용된다. 상호작용 휴리스틱이, 입력이 검출되는 시점에 하우징 상에서 한 손이 검출되는지 또는 두 손이 검출되는지에 따라 동작이 수행되어야 하는지 여부를 결정하는 데 사용된다. 하우징 상에서 검출되는 손들의 수를, 사용자가 입력을 제공하고자 하는지 또는 단순히 그의 손으로 디스플레이 생성 컴포넌트의 위치를 조정하고 있는지의 표시자로서 사용하는 것은, 디스플레이 생성 컴포넌트의 우발적이거나 의도하지 않은 동작을 감소시키는 것을 돕고 그에 의해 인간-기계 인터페이스를 더 효율적으로 만들며, 이는 배터리-작동형 컴퓨팅 시스템들에 대한 전력을 절약한다.

일부 실시예들에서, 방법(13000)은, 하우징, 하우징 내에 포함되는 제1 디스플레이 생성 컴포넌트(예컨대, 제1 디스플레이 생성 컴포넌트 및 하우징은 헤드업 디스플레이, 머리 장착형 디스플레이(HMD), 디스플레이, 터치스크린, 프로젝터 등을 구성함), 및 하나 이상의 입력 디바이스들(예컨대, 카메라들, 제어기들, 터치 감응형 표면들, 조이스틱들, 버튼들, 장갑들, 워치들, 모션 센서들, 배향 센서들 등)을 포함하는 컴퓨팅 시스템에서 수행된다(13002). 일부 실시예들에서, 컴퓨팅 시스템은, 헤드업 디스플레이, 머리 장착형 디스플레이(HMD), 디스플레이, 터치스크린, 프로젝터 등의 동일한 하우징 내에 포함되는 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트를 포함한다(예컨대, 제1 디스플레이 생성 컴포넌트는 사용자를 향하는 디스플레이 컴포넌트이고, 사용자에게 CGR 경험을 제공하며, 제2 디스플레이 생성 컴포넌트는 사용자로부터 멀리 그리고 사용자의 외부 환경을 향하는 디스플레이 컴포넌트이고, 선택적으로, 외부 환경 내의 다른 사용자들에게 제1 디스플레이 생성 컴포넌트(예컨대, 디스플레이된 콘텐츠, 동작 상태 등) 및/또는 사용자(예컨대, 사용자의 눈들의 이동, 사용자의 주의 상태 등)와 관련된 상태 정보를 제공함). 일부 실시예들에서, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트는 제1 디스플레이 생성 컴포넌트에 대응하는 제1 면 상에 제1 사용자 인터페이스를 그리고 제2 디스플레이 생성 컴포넌트에 대응하는 제2 면 상에 제2 사용자 인터페이스를 디스플레이하는 양면 디스플레이 디바이스(예컨대, 양면 HMD)를 형성한다. 일부 실시예들에서, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트 및 선택적으로 제2 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들 중 적어도 일부와 동일한 하우징으로 둘러싸인 하나 이상의 프로세서들 및 메모리를 갖는 통합 디바이스이다. 일부 실시예들에서, 컴퓨팅 시스템은, 디스플레이 생성 컴포넌트(들) 및/또는 하나 이상의 입력 디바이스들과 별개인 하나 이상의 프로세서들 및 메모리를 포함하는 컴퓨팅 컴포넌트를 포함한다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(들) 및 하나 이상의 입력 디바이스들은 동일한 하우징 내에 통합되고 그로 둘러싸인다.

방법(13000)에서, 컴퓨팅 시스템은 (예컨대, 각각 도 7o, 도 7p 및 도 7q에 도시된 바와 같이) 제1 디스플레이 생성 컴포넌트를 포함하는 하우징 상에서 제1 손을 검출한다(13004). 제1 디스플레이 생성 컴포넌트를 포함하는 하우징 상에서 제1 손을 검출하는 것에 응답하여, (예컨대, 도 7q에 도시된 바와 같이) 하우징 상에서 제2 손이 검출되는 것과 함께 제1 손이 검출된다는 결정에 따라, 컴퓨팅 시스템은 제1 손과 연관된 동작(예컨대, 하우징 상에서 제1 손에 의해 제공되는 입력에 대응하는 동작)의 수행을 보류하고; (예컨대, 도 7q 및 도 7p에 도시된 바와 같이) 하우징 상에서 다른 손을 검출하지 않고서 제1 손이 하우징 상에서 검출된다는 결정에 따라, 컴퓨팅 시스템은 제1 손과 연관된 동작(예컨대, 하우징 상에서 제1 손에 의해 제공되는 입력에 대응하는 동작)을 수행한다(13006).

일부 실시예들에서, 컴퓨팅 시스템은 다수의 동작 상태들을 갖고, 제1 손과 연관된 동작을 수행하는 것은, 하우징 상의 제1 손이 제1 기준들(예컨대, 제1 손 터치 또는 제스처 기준들)을 충족시킨다는 결정에 따라, 제1 기준들에 대응하는 제1 방식으로 컴퓨팅 시스템의 동작 상태를 변경하는 제1 동작을 수행하는 것; 및 하우징 상의 제1 손이 제1 기준들과는 상이한 제2 기준들(예컨대, 제2 손 터치 또는 제스처 기준들)을 충족시킨다는 결정에 따라, 제2 기준들에 대응하는, 제1 방식과는 상이한 제2 방식으로 컴퓨팅 시스템의 동작 상태를 변경하는 제2 동작을 수행하는 것을 포함한다. 하우징 상의 제1 손이 제1 기준들을 충족시킨다는 결정에 따라, 제1 기준들에 대응하는 제1 방식으로 컴퓨팅 시스템의 동작 상태를 변경하는 제1 동작을 수행하는 것; 및 하우징 상의 제1 손이 제1 기준들과는 상이한 제2 기준들을 충족시킨다는 결정에 따라, 제2 기준들에 대응하는, 제1 방식과는 상이한 제2 방식으로 컴퓨팅 시스템의 동작 상태를 변경하는 제2 동작을 수행하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 동작을 수행하고/하거나 제2 동작을 수행하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 기준들은 제1 위치 기준을 포함하고, 제1 위치 기준은, 제1 위치 기준이 충족되기 위해, 제1 손이 하우징의 제1 미리결정된 부분(예컨대, 하우징의 좌측 면, 상단 에지, 상부 좌측 코너 등) 상에서 검출될 것을 요구하며, 제2 기준들은 제2 위치 기준을 포함하고, 제2 위치 기준은, 제2 위치 기준이 충족되기 위해, 제1 손이 하우징의 제2 미리결정된 부분(예컨대, 하우징의 우측 면, 하단 에지, 하부 좌측 코너 등) 상에서 검출될 것을 요구하며, 하우징의 제2 미리결정된 부분은 하우징의 제1 미리결정된 부분과는 상이하다. 일부 실시예들에서, 하우징은 하우징과의 접촉 위치들을 검출하기 위한 하나 이상의 센서들(예컨대, 하우징의 외측 상에서의 손 및/또는 손가락들의 터치 위치들 및 선택적으로 접촉 세기들을 검출하는 터치 및/또는 세기 센서들)을 포함한다. 제1 손이 하우징의 제1 미리결정된 부분 상에서 검출될 것을 요구하는 제1 기준들에 대응하는 제1 방식으로 컴퓨팅 시스템의 동작 상태를 변경하는 제1 동작을 수행하는 것; 및 제1 손이 하우징의 제1 미리결정된 부분과는 상이한, 하우징의 제2 미리결정된 부분 상에서 검출될 것을 요구하는 제2 기준들에 대응하는, 제1 방식과는 상이한 제2 방식으로 컴퓨팅 시스템의 동작 상태를 변경하는 제2 동작을 수행하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 동작을 수행하고/하거나 제2 동작을 수행하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 기준들은, 제1 기준들이 충족되기 위해 제1 손이 하우징에 대해 제1 이동을 행할 것을 요구하는 제1 이동 기준을 포함하고(예컨대, 제1 손의 제1 이동을 검출하는 것은 제1 미리결정된 방향으로의(예컨대, 하우징의 에지를 따라 상단으로부터 하단으로의, 하우징의 측부를 따라 전방으로부터 후방으로의, 또는 시계 방향으로의 등) 하우징 상에서의 제1 손에 의한 하나 이상의 접촉들의 이동을 검출하는 것 및/또는 제1 미리결정된 이동 패턴을 따르는 것(예컨대, 일직선으로 이동함, 또는 외향으로 나선형으로 이동함 등), 및/또는 제1 미리결정된 손 자세(예컨대, 제1 손이 하우징 상에서 터치 다운한 후, 제1 손의 4개의 손가락들이 손바닥을 하향으로 향하게 한 상태에서 내뻗쳐짐; 또는 하우징 상에서의 터치 다운 후, 제1 손의 2개의 손가락들이 서로를 향해 핀칭(pinching)됨 등) 및/또는 하우징에 대한 제1 공간적 관계(예컨대, 제1 손이 하우징의 상단 에지 위로부터 하우징에 접근함, 제1 손이 하우징의 좌측으로부터 하우징에 접근함 등)를 형성하는 것을 포함함), 제2 기준들은, 제2 기준들이 충족되기 위해 제1 손이 하우징에 대해 제2 이동을 행할 것을 요구하는 제2 이동 기준을 포함하며(예컨대, 제1 손의 제2 이동을 검출하는 것은 제2 미리결정된 방향으로의(예컨대, 하우징의 에지를 따라 하단으로부터 상단으로의, 또는 하우징의 측부를 따라 후방으로부터 전방으로의 등) 하우징 상에서의 제1 손에 의한 하나 이상의 접촉들의 이동을 검출하는 것 및/또는 제2 미리결정된 이동 패턴을 따르는 것(예컨대, 지그재그 방식으로, 또는 내향으로 나선형으로, 기타 등등으로 이동함), 및/또는 제2 미리결정된 손 자세(예컨대, 제1 손이 하우징 상에서 터치 다운한 후, 제1 손의 2개의 손가락들이 3개의 손가락들을 내뻗은 상태에서 하우징을 핀칭함; 또는 하우징 상에서의 터치 다운 후, 제1 손의 3개의 손가락들이 2개의 손가락들을 하우징으로부터 멀리 뻗은 상태에서 하우징과 접촉하여 유지됨 등) 및/또는 하우징에 대한 제2 공간적 관계(예컨대, 제1 손이 하우징의 상부 우측 코너 위로부터 하우징에 접근함, 제1 손이 하우징의 하부 좌측 코너로부터 하우징에 접근함 등)를 형성하는 것을 포함함), 제2 이동은 제1 이동과는 상이하다. 제1 손이 하우징에 대해 제1 이동을 행할 것을 요구하는 제1 기준들에 대응하는 제1 방식으로 컴퓨팅 시스템의 동작 상태를 변경하는 제1 동작을 수행하는 것; 및 제1 손이 하우징에 대해 제2 이동을 행할 것을 요구하는 제2 기준들에 대응하는, 제1 방식과는 상이한 제2 방식으로 컴퓨팅 시스템의 동작 상태를 변경하는 제2 동작을 수행하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 동작을 수행하고/하거나 제2 동작을 수행하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 기준들은, 제1 기준들이 충족되기 위해 제1 손이 하우징 상에 있는 동안 제1 미리결정된 자세로 있을 것을 요구하는 제1 자세 기준을 포함하고(예컨대, 제1 미리결정된 자세의 제1 손을 검출하는 것은, 손가락들이 완전히 내뻗쳐지고 손바닥이 하우징의 좌측 면을 향하는 상태의 제1 손을 검출하는 것; 또는 제1 손이 손바닥 면을 하우징의 좌측 면을 향하게 한 상태에서 주먹을 쥐는 것을 검출하는 것 등을 포함함), 제2 기준들은, 제2 기준들이 충족되기 위해 제1 손이 하우징 상에 있는 동안 제2 미리결정된 자세로 있을 것을 요구하는 제2 자세 기준을 포함하며(예컨대, 제2 미리결정된 자세의 제1 손을 검출하는 것은, 손가락들이 완전히 내뻗쳐지고 손바닥이 하우징의 상단 에지 위에서 하향으로 향하는 상태의 제1 손을 검출하는 것; 또는 제1 손이 2개 또는 3개의 손가락들만으로 하우징을 핀칭하는 것을 검출하는 것 등을 포함함), 제2 미리결정된 자세는 제1 미리결정된 자세와는 상이하다. 제1 손이 하우징 상에 있는 동안 제1 미리결정된 자세로 있을 것을 요구하는 제1 기준들에 대응하는 제1 방식으로 컴퓨팅 시스템의 동작 상태를 변경하는 제1 동작을 수행하는 것; 및 제1 손이 하우징 상에 있는 동안 제1 미리결정된 자세와는 상이한 제2 미리결정된 자세로 있을 것을 요구하는 제2 기준들에 대응하는, 제1 방식과는 상이한 제2 방식으로 컴퓨팅 시스템의 동작 상태를 변경하는 제2 동작을 수행하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 동작을 수행하고/하거나 제2 동작을 수행하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 포함하는 하우징 상에서 제1 손을 검출하는 것에 응답하여, 그리고 하우징 상에서 다른 손을 검출하지 않고서 제1 손이 하우징 상에서 검출된다는 결정에 따라, 컴퓨팅 시스템은, 시각 조정 기준들(예컨대, 제1 기준들은 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠의 시각적 몰입 레벨을 감소시키기 위한(그리고 제1 디스플레이 생성 컴포넌트를 통해 제공되는 패스 스루 콘텐츠를 활성화 및/또는 증가시키기 위한) 시각 조정 기준들임)이 충족된다는 결정에 따라 - 시각 조정 기준들은, 시각 조정 기준들이 충족되기 위해, 컴퓨팅 시스템이 제1 동작 상태(예컨대, 완전 몰입 콘텐츠 또는 반몰입 콘텐츠를 제공하는 몰입 상태)로 동작하고 있는 동안 제1 손에 의해 서로 함께 충족되어야 하는 각각의 위치 기준 및 각각의 자세 기준을 포함함(예컨대, 시각 조정 기준들은, 제1 손이 제1 디스플레이 생성 컴포넌트를 포함하는 하우징에 대해 제1 위치에 위치되는 동안 제1 자세로 있을 것을 요구함(예컨대, 시각 조정 기준들은, 제1 손의 적어도 4개의 손가락들의 적어도 제1 원위 부분들(예컨대, 원위 지골들, 중간 지골들까지, 근위 지골들까지, 또는 중수골들까지)이 제1 손의 손바닥 면을 하향으로 향하게 한 상태에서 하우징의 상단 부분 위로 뻗쳐질 것을 요구함(예컨대, 사용자가 멀리 떨어진 위치를 보기를 원하는 것처럼))) -, 컴퓨팅 시스템의 동작 상태를 제1 동작 상태로부터 제1 동작 상태와는 상이한 제2 동작 상태로 변경하는 것을 포함하여, 제1 손과 연관된 동작을 수행하며, 여기에서 제1 디스플레이 생성 컴포넌트는, 컴퓨팅 시스템이 제1 동작 상태에 있었을 때와 비교하여, 컴퓨팅 시스템이 제2 동작 상태에 있는 동안, 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 증가된 뷰를 제공한다(예컨대, 물리적 환경의 뷰에 대해 더 넓은 시야, 더 높은 선명도 또는 투명도, 증가된 밝기, 더 선명한 초점, 덜한 블러, 덜한 컴퓨터 생성 시각적 난독화 등으로, 또는 전혀 뷰 없음으로부터 물리적 환경의 어느 정도의 양의 뷰로 전이함). 일부 실시예들에서, 사용자의 손이 HMD의 하우징에 대해 제1 위치에 위치되는 동안 제1 자세에 있다는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템은, 사용자를 향하는 제1 디스플레이 생성 컴포넌트가 사용자를 둘러싸는 물리적 환경의 패스 스루 뷰를 보여주는(예컨대, 물리적 환경의 카메라 뷰가 제1 디스플레이 생성 컴포넌트에 의해 디스플레이됨, 또는 사용자가, 동시에 디스플레이된 가상 콘텐츠와 함께 또는 그것 없이, 제1 디스플레이 생성 컴포넌트의 투명 부분을 통해 보도록 허용하기 위해 제1 디스플레이 생성 컴포넌트가 더 투명해짐) 패스 스루 모드로(예컨대, 완전 몰입 모드로부터 반몰입 모드(예컨대, 제1, 반 패스 스루 모드)로 또는 반몰입 모드로부터 비몰입 모드(예컨대, 제2, 완전 패스 스루 모드)로) 전이하라는 명령어들을 실행한다. 일부 실시예들에서, 시각 조정 기준들은, 제1 손이 시각 조정 기준들의 각각의 위치 기준 및 각각의 자세 기준을 충족시키는 위치 및 자세로 하우징 상에서 검출되지만 제2 손이 제1 손과 함께 하우징 상에서 동시에 검출될 때 충족되지 않으며; 그 결과, 컴퓨팅 시스템은 제1 동작 상태로부터 제2 동작 상태로 전이하지 않는다. 게다가, 제1 손이 시각 조정 기준들의 각각의 위치 기준 및 각각의 자세 기준 중 어느 하나를 충족시키지 않기 때문에 시각 조정 기준들이 충족되지 않는다는 결정에 따라, 컴퓨팅 시스템은 또한 제1 동작 상태로부터 제2 동작 상태로 전이하지 않는다. 컴퓨팅 시스템의 동작 상태를 제1 동작 상태로부터 제1 동작 상태와는 상이한 제2 동작 상태로 변경하는 것; 및 컴퓨팅 시스템이 제1 동작 상태로 동작하고 있는 동안 각각의 위치 기준 및 각각의 자세 기준이 제1 손에 의해 서로 함께 충족되어야 한다는 결정에 따라, 컴퓨팅 시스템이 제2 동작 상태에 있는 동안, 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 증가된 뷰를 제공하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 증가된 뷰를 제공하기 위한 추가의 디스플레이된 제어부들, 제1 동작 상태로부터 제2 동작 상태로 변경하기 위한 추가의 디스플레이된 제어부들 등)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 컴퓨팅 시스템이 제2 동작 상태에 있는 동안(예컨대, 제1 디스플레이 생성 컴포넌트가 주변 물리적 환경의 제1 또는 제2 패스 스루 뷰를 디스플레이하고 있음), 컴퓨팅 시스템은, (예컨대, 하우징에 대한 제1 손의 자세 및/또는 위치를 변경하는 제1 손의 이동으로 인해) 시각 조정 기준들이 더 이상 제1 손에 의해 충족되지 않는다는 것을 검출하고; 시각 조정 기준들이 더 이상 제1 손에 의해 충족되지 않는다는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템은 컴퓨팅 시스템의 동작 상태를 제2 동작 상태로부터 제1 동작 상태로 복원한다(예컨대, 컴퓨팅 시스템이 제1 동작 상태에 있는 동안, 제1 디스플레이 생성 컴포넌트는, 컴퓨팅 시스템이 제2 동작 상태에 있을 때와 비교하여, 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 감소된 뷰를 제공함(예컨대, 물리적 환경의 뷰에 대해 더 좁은 시야, 더 낮은 선명도 또는 투명도, 감소된 밝기, 더 소프트한 초점, 더한 블러, 더한 컴퓨터 생성 시각적 난독화 등으로, 또는 물리적 환경의 어느 정도의 양의 뷰로부터 물리적 환경의 뷰가 전혀 없음으로 전이함)). 예를 들어, 사용자가 그/그녀의 손을 HMD의 상단으로부터 멀리 이동시켰다는 것을 검출하는 것에 응답하여, 컴퓨팅 디바이스는 물리적 환경의 패스 스루 뷰를 디스플레이하는 것을 중지하고, 제1 디스플레이 생성 컴포넌트를 통해 몰입 가상 콘텐츠를 계속 디스플레이한다. 시각 조정 기준들이 더 이상 제1 손에 의해 충족되지 않는다는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템의 동작 상태를 제2 동작 상태로부터 제1 동작 상태로 복원하는 것은, 추가 사용자 입력(예컨대, 컴퓨팅 시스템의 동작 상태를 제2 동작 상태로부터 제1 동작 상태로 복원하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작 상태를 복원한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 포함하는 하우징 상에서 제1 손을 검출하는 것에 응답하여, 그리고 하우징 상에서 다른 손을 검출하지 않고서 제1 손이 하우징 상에서 검출된다는 결정에 따라, 컴퓨팅 시스템은, 오디오 조정 기준들(예컨대, 제2 기준들은 제1 디스플레이 생성 컴포넌트와 동일한 하우징 내에 포함되는 제1 오디오 생성 컴포넌트(예컨대, HMD의 스피커들 또는 이어폰들)를 통해 제공되는 콘텐츠의 오디오 몰입 레벨을 감소시키기 위한 그리고/또는 제1 오디오 생성 컴포넌트를 통해 제공되는 패스 스루 오디오(예컨대, 물리적 환경으로부터의 소리)를 종료 및/또는 감소시키기 위한 오디오 조정 기준들임)이 충족된다는 결정에 따라 - 오디오 조정 기준들은, 오디오 조정 기준들이 충족되기 위해, 컴퓨팅 시스템이 제3 동작 상태(예컨대, 완전 몰입 오디오를 제공하는 오디오 몰입 상태(예컨대, 완전 잡음 소거 및 컴퓨터 생성 콘텐츠에 대한 주변 소리를 가짐), 또는 반 오디오 몰입 상태(예컨대, 잡음 소거를 갖지 않지만 컴퓨터 생성 콘텐츠에 대한 정상 오디오 볼륨을 좌측 오디오 채널 및 우측 오디오 채널 둘 모두 상에서 가짐))로 동작하고 있는 동안 제1 손에 의해 서로 함께 충족되어야 하는 각각의 위치 기준 및 각각의 자세 기준을 포함함(예컨대, 오디오 조정 기준들은, 제1 손이 제1 디스플레이 생성 컴포넌트 및 제1 오디오 생성 컴포넌트를 포함하는 하우징에 대해 제2 위치에 위치되는 동안 제2 자세로 있을 것을 요구함(예컨대, 오디오 조정 기준들은, 제1 손의 손바닥 면이 전방으로 향하는 상태에서, 제1 손이 사용자의 머리의 측부 옆에(예컨대, 동일한 하우징 내에 제1 디스플레이 생성 컴포넌트 및 제1 오디오 생성 컴포넌트 둘 모두를 포함하는 HMD의 측부 옆에) 적어도 반개방 상태로 있을 것을 요구함(예컨대, 사용자가 무언가를 듣기를 원하는 것처럼))) -, 컴퓨팅 시스템의 동작 상태를 제3 동작 상태로부터 제3 동작 상태와는 상이한 제4 동작 상태로 변경하는 것을 포함하여, 제1 손과 연관된 동작을 수행하며, 여기에서 컴퓨팅 시스템의 제1 오디오 생성 컴포넌트(예컨대, 제1 오디오 생성 컴포넌트는 제1 디스플레이 생성 컴포넌트와 동일한 하우징 내에 포함되거나, 또는 제1 오디오 생성 컴포넌트는 하우징에 의해 제1 디스플레이 생성 컴포넌트로부터 분리되어 컴퓨팅 시스템의 동작 동안 사용자의 귀(예컨대, 제1 손 옆에 있는 사용자의 머리의 측부 상의 귀) 위에 또는 그 내에 배치됨)는, 컴퓨팅 시스템이 제3 동작 상태에 있었을 때와 비교하여, 컴퓨팅 시스템이 제4 동작 상태에 있는 동안, 제1 오디오 생성 컴포넌트를 둘러싸는 물리적 환경으로부터 증가된 양의 패스 스루 소리를 제공한다(예컨대, 제1 오디오 생성 컴포넌트에 의해 제공되는 활성 컴퓨터 생성 잡음 소거가 없거나 감소된 상태로, 제1 디스플레이 생성 컴포넌트를 통해 제공되는 컴퓨터 생성 시각적 콘텐츠를 수반하는 오디오의 감소된 볼륨 또는 뮤팅으로, 외부 물리적 환경으로부터의 소리에 대한 감소된 오디오 난독화 등으로). 일부 실시예들에서, 사용자의 손이 HMD의 하우징에 대해 제2 위치에 위치되는 동안 제2 자세에 있다는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템은, 제1 손 옆에 있는 사용자의 머리의 측부 상의 또는 사용자의 머리의 양쪽 측부들 상의 제1 오디오 생성 컴포넌트가 사용자를 둘러싸는 물리적 환경으로부터의 소리의 증가된 오디오 패스 스루를 제공하는(예컨대, 컴퓨터 생성 오디오 콘텐츠의 볼륨 또는 충실도가 감소됨, 및/또는 제1 오디오 생성 컴포넌트에 의한 주변 물리적 환경으로부터의 소리들의 차단, 소거 및/또는 난독화가 동시에 디스플레이된 가상 콘텐츠와 함께 또는 그것 없이 감소됨) 오디오 패스 스루 모드로(예컨대, 완전 몰입 모드로부터 반몰입 모드(예컨대, 제3, 반 패스 스루 모드)로 또는 반몰입 모드로부터 비몰입 모드(예컨대, 제4, 완전 패스 스루 모드)로) 전이하라는 명령어들을 실행한다. 일부 실시예들에서, 오디오 조정 기준들은, 제1 손이 시각 조정 기준들의 각각의 위치 기준 및 각각의 자세 기준을 충족시키는 위치 및 자세로 하우징 상에서 검출되지만 제2 손이 제1 손과 함께 하우징 상에서 동시에 검출될 때 충족되지 않으며; 그 결과, 컴퓨팅 시스템은 제3 동작 상태로부터 제4 동작 상태로 전이하지 않는다. 게다가, 제1 손이 오디오 조정 기준들의 각각의 위치 기준 및 각각의 자세 기준 중 어느 하나를 충족시키지 않기 때문에 오디오 조정 기준들이 충족되지 않는다는 결정에 따라, 컴퓨팅 시스템은 또한 제3 동작 상태로부터 제4 동작 상태로 전이하지 않는다. 컴퓨팅 시스템의 제1 오디오 생성 컴포넌트가, 컴퓨팅 시스템이 제3 동작 상태에 있었을 때와 비교하여, 컴퓨팅 시스템이 제4 동작 상태에 있는 동안, 제1 오디오 생성 컴포넌트를 둘러싸는 물리적 환경으로부터 증가된 양의 패스 스루 소리를 제공하는, 그리고 각각의 위치 기준 및 각각의 자세 기준이 제1 손에 의해 서로 함께 충족된다는 결정에 따라, 컴퓨팅 시스템의 동작 상태를 제3 동작 상태로부터 제3 동작 상태와는 상이한 제4 동작 상태로 변경하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 오디오 생성 컴포넌트를 둘러싸는 물리적 환경으로부터의 패스 스루 소리의 양을 증가시키기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 컴퓨팅 시스템이 제4 동작 상태에 있는 동안(예컨대, 제1 오디오 생성 컴포넌트가, 외부 소리가 컴퓨터 생성 간섭들 및/또는 난독화들이 없거나 감소된 상태로 사용자의 귀로 통과하게 하고 있음), 컴퓨팅 시스템은, (예컨대, 하우징에 대한 제1 손의 자세 및/또는 위치를 변경하는 제1 손의 이동으로 인해) 오디오 조정 기준들이 더 이상 제1 손에 의해 충족되지 않는다는 것을 검출한다. 오디오 조정 기준들이 더 이상 제1 손에 의해 충족되지 않는다는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템은 컴퓨팅 시스템의 동작 상태를 제4 동작 상태로부터 제3 동작 상태로 복원한다(예컨대, 컴퓨팅 시스템이 제3 동작 상태에 있는 동안, 제1 오디오 생성 컴포넌트는, 컴퓨팅 시스템이 제4 동작 상태에 있을 때와 비교하여, 제1 오디오 생성 컴포넌트를 둘러싸는 물리적 환경으로부터의 소리의 증가된 간섭 및 난독화를 제공함(예컨대, 컴퓨터 생성 콘텐츠에 대한 더 높은 볼륨, 더 강한 잡음 소거 효과, 더 많은 백색 잡음으로, 또는 외부 소리에 대한 오디오 차단, 소거 또는 난독화 없음으로부터 외부 소리에 대한 어느 정도의 레벨의 컴퓨터 생성 오디오 차단, 소거 또는 난독화로 전이함)). 예를 들어, 사용자가 그/그녀의 손을 HMD의 측부로부터 멀리 이동시켰다는 것을 검출하는 것에 응답하여, 컴퓨팅 디바이스는, 컴퓨터 생성 콘텐츠의 정상 볼륨을 재개함으로써 그리고/또는 물리적 환경으로부터의 외부 소리에 대한 잡음 소거를 증가시킴으로써, 외부 소리가 사용자의 귀로 통과하게 하는 것을 중지하고, 제1 오디오 생성 컴포넌트를 통해 몰입 오디오 콘텐츠를 계속 생성한다. 오디오 조정 기준들이 더 이상 제1 손에 의해 충족되지 않는다는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템의 동작 상태를 제4 동작 상태로부터 제3 동작 상태로 복원하는 것은, 추가 사용자 입력(예컨대, 동작 상태를 제4 동작 상태로부터 제3 동작 상태로 변경하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작 상태를 복원한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 포함하는 하우징 상에서 제1 손을 검출하는 것에 응답하여, 그리고 하우징 상에서 다른 손을 검출하지 않고서 제1 손이 하우징 상에서 검출된다는 결정에 따라, 컴퓨팅 시스템은, 프라이버시 조정 기준들(예컨대, 제1 기준들 또는 제2 기준들 또는 제3 기준들은 컴퓨팅 시스템의 제2 디스플레이 생성 컴포넌트 상에 컴퓨팅 시스템의 동작 상태에 대한 상태 정보를 디스플레이하는 것과 디스플레이하지 않는 것 사이에서 토글링하기 위한 프라이버시 조정 기준들이며(예컨대, 제2 디스플레이 생성 컴포넌트는 제1 디스플레이 생성 컴포넌트와 동일한 하우징 내에 포함되고, 사용자로부터 멀리 향하고 있음), 여기에서 상태 정보는 제1 오디오/디스플레이 생성 컴포넌트(들)를 통해 제공되는 오디오/시각적 콘텐츠의 몰입 레벨에 기초함)이 충족된다는 결정에 따라 - 프라이버시 조정 기준들은, 프라이버시 조정 기준들이 충족되기 위해 제1 손에 의해 서로 함께 충족되어야 하는 각각의 이동 기준 및 각각의 자세 기준을 포함함(예컨대, 프라이버시 조정 기준들은, 제1 손이 제1 디스플레이 생성 컴포넌트를 포함하는 하우징에 대해 제1 방향으로 이동하는 동안 제3 자세로 있을 것을 요구함(예컨대, 프라이버시 조정 기준들은, 제1 손의 엄지 손가락과 검지 손가락이 핀치 제스처를 형성할 것을 요구하고, 제1 손이 핀치 제스처를 유지하는 동안, 하우징의 측부 옆에 있는 제1 손의 하향 또는 상향 이동을 요구함)(예컨대, 사용자가 창문 위로 블라인드를 끌어 내리거나 끌어 올리고 있는 것처럼))) -, 컴퓨팅 시스템의 동작 상태를 제5 동작 상태로부터 제5 동작 상태와는 상이한 제6 동작 상태로 변경하는 것을 포함하여, 제1 손과 연관된 동작을 수행하며, 여기에서 컴퓨팅 시스템의 제2 디스플레이 생성 컴포넌트(예컨대, 제2 디스플레이 생성 컴포넌트는 제1 디스플레이 생성 컴포넌트와 동일한 하우징 내에 포함되거나, 또는 제2 디스플레이 생성 컴포넌트는 하우징에 의해 제1 디스플레이 생성 컴포넌트로부터 분리되어 컴퓨팅 시스템의 동작 동안 제1 디스플레이 생성 컴포넌트와 백투백 상태로 배치됨)는 (예컨대, 제1 디스플레이 생성 컴포넌트가 콘텐츠를 디스플레이하고 있음에 따라 실시간으로) 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠에 관한 제1 양의 상태 정보를 제공하는 것과 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠에 관한 제2 양의 상태 정보를 제공하는 것 사이에서 스위칭한다(예컨대, 그로부터 스위칭함, 또는 그들 사이에서 토글링함). 일부 실시예들에서, 프라이버시 조정 기준들은, 제1 손이 프라이버시 조정 기준들의 각각의 이동 기준 및 각각의 자세 기준을 충족시키는 이동 및 자세로 하우징 상에서 검출되지만 제2 손이 제1 손과 함께 하우징 상에서 동시에 검출될 때 충족되지 않으며; 그 결과, 컴퓨팅 시스템은 제5 동작 상태로부터 제6 동작 상태로 전이하지 않는다. 게다가, 제1 손이 프라이버시 조정 기준들의 각각의 이동 기준 및 각각의 자세 기준 중 어느 하나를 충족시키지 않기 때문에 프라이버시 조정 기준들이 충족되지 않는다는 결정에 따라, 컴퓨팅 시스템은 또한 제5 동작 상태로부터 제6 동작 상태로 전이하지 않는다. 각각의 이동 기준 및 각각의 자세 기준이 제1 손에 의해 서로 함께 충족된다는 결정에 따라, 컴퓨팅 시스템의 동작 상태를 제5 동작 상태로부터 제5 동작 상태와는 상이한 제6 동작 상태로 변경하는 것 - 컴퓨팅 시스템은 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠에 관한 제1 양의 상태 정보를 제공하는 것과 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠에 관한 제2 양의 상태 정보를 제공하는 것 사이에서 스위칭함 - 은, 추가의 디스플레이된 제어부들(예컨대, 제1 양의 상태 정보 및 제2 양의 상태 정보를 제공하는 것 사이에서 스위칭하기 위한 추가의 디스플레이된 제어부들, 제5 동작 상태로부터 제6 동작 상태로 변경하기 위한 추가의 디스플레이된 제어부들 등)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 상태 정보는, 또한, 제1 디스플레이 생성 컴포넌트의 콘텐츠 디스플레이 면을 향하는 사용자의 눈들의 표현을 포함하고, 컴퓨팅 시스템의 동작 상태를 제5 동작 상태로부터 제5 동작 상태와는 상이한 제6 동작 상태로 변경하는 것은 제1 디스플레이 생성 컴포넌트를 통해 사용자의 눈들의 표현을 디스플레이하는 것과 사용자의 눈들의 표현을 디스플레이하지 않는 것 사이에서 스위칭하는 것을 포함한다(예컨대, 사용자의 눈들의 표현들은, 제1 디스플레이 생성 컴포넌트가 컴퓨터 생성 콘텐츠를 사용자에게 디스플레이하는 동안 사용자의 눈들의 실시간 이미지들에 기초함). 각각의 이동 기준 및 각각의 자세 기준이 제1 손에 의해 서로 함께 충족된다는 결정에 따라, 사용자의 눈들의 표현을 디스플레이하는 것과 사용자의 눈들의 표현을 디스플레이하지 않는 것 사이에서 스위칭하는 것을 포함하여, 컴퓨팅 시스템의 동작 상태를 제5 동작 상태로부터 제6 동작 상태로 변경하는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 양의 상태 정보 및 제2 양의 상태 정보를 제공하는 것 사이에서 스위칭하기 위한 추가의 디스플레이된 제어부들, 제5 동작 상태로부터 제6 동작 상태로 변경하기 위한 추가의 디스플레이된 제어부들 등)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 컴퓨팅 시스템이 제6 동작 상태(예컨대, 제6 동작 상태는 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 상태 정보를 갖는 낮은 프라이버시 상태이거나, 또는 제6 동작 상태는 제2 디스플레이 생성 컴포넌트에 의해 디스플레이되는 상태 정보가 없거나 감소된 높은 프라이버시 상태임)에 있는 동안, 컴퓨팅 시스템은, (예컨대, 제1 손의 자세를 변경하는 제1 손의 이동, 또는 제1 손이 하우징의 측부로부터 멀리 이동함으로 인해) 프라이버시 조정 기준들이 더 이상 제1 손에 의해 충족되지 않는다는 것을 검출한다. 프라이버시 조정 기준들이 더 이상 제1 손에 의해 충족되지 않는다는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템은 컴퓨팅 시스템의 동작 상태를 제6 동작 상태로 유지한다. 프라이버시 조정 기준들이 더 이상 제1 손에 의해 충족되지 않는다는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템의 동작 상태를 제6 동작 상태로 유지하는 것은, 제6 동작 상태를 유지하는 데 필요한 입력들의 수를 감소시킨다(예컨대, 사용자는 제6 동작 상태를 유지하기 위해 추가 입력들을 수행할 필요가 없고, 제1 손은 제6 동작 상태를 유지하기 위해 프라이버시 조정 기준들을 계속 충족시킬 필요가 없음). 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 컴퓨팅 시스템이 제6 동작 상태에 있는 동안(예컨대, 제2 디스플레이 생성 컴포넌트가 제1 디스플레이 생성 컴포넌트를 통해 제공되는 컴퓨터 생성 콘텐츠에 대응하는 상태 정보를 디스플레이하고 있음(예컨대, 낮은 프라이버시 상태)), 컴퓨팅 시스템은, 프라이버시 조정 기준들이 제1 손에 의해 다시 충족된다는 것을 검출한다(예컨대, 제1 손이 제1 디스플레이 생성 컴포넌트의 하우징으로부터 멀리 이동한 후에, 프라이버시 조정 기준들의 각각의 이동 기준 및 각각의 자세 기준을 충족시키는 동일한 제스처가 검출됨). 컴퓨팅 시스템이 제6 동작 상태에 있는 동안, 프라이버시 조정 기준들이 다시 충족된다는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템은 컴퓨팅 시스템의 동작 상태를 제6 동작 상태로부터 제5 동작 상태로 변경하며, 여기에서 컴퓨팅 시스템의 제2 디스플레이 생성 컴포넌트는, 마지막으로 프라이버시 조정 기준들이 충족되었던 것에 응답하여 이루어진, (예컨대, 제1 디스플레이 생성 컴포넌트가 콘텐츠를 디스플레이하고 있음에 따라 실시간으로) 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠에 관한 제1 양의 상태 정보를 제공하는 것과 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠에 관한 제2 양의 상태 정보를 제공하는 것 사이의 스위칭을 반전시킨다. 컴퓨팅 시스템이 제6 동작 상태에 있는 동안, 프라이버시 조정 기준들이 다시 충족된다는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템의 동작 상태를 제6 동작 상태로부터 제5 동작 상태로 변경하는 것 - 컴퓨팅 시스템은, 마지막으로 프라이버시 조정 기준들이 충족되었던 것에 응답하여 이루어진, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠에 관한 제1 양의 상태 정보를 제공하는 것과 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠에 관한 제2 양의 상태 정보를 제공하는 것 사이의 스위칭을 반전시킴 - 은, 추가의 디스플레이된 제어부들(예컨대, 제1 양의 상태 정보 및 제2 양의 상태 정보 사이에서 스위칭하기 위한 추가의 디스플레이된 제어부들, 제6 동작 상태로부터 제5 동작 상태로 변경하기 위한 추가의 디스플레이된 제어부들 등)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 프라이버시 조정 기준들이 충족된다는 결정에 따라, 컴퓨팅 시스템의 동작 상태를 제5 동작 상태로부터 제6 동작 상태로 변경하는 것은, 제1 손이 프라이버시 조정 기준들의 각각의 이동 기준 및 각각의 자세 기준을 충족시키면서 제1 방향(예컨대, 하향 또는 상향)으로 이동한다는 결정에 따라, 제2 디스플레이 생성 컴포넌트가 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠에 관한 상태 정보의 양을 증가시키는 것(예컨대, 제1 양의 상태 정보를 디스플레이하는 것으로부터 제2 양의 상태 정보를 디스플레이하는 것으로 스위칭함 - 제1 양은 제2 양보다 적음 -; 또는 어떠한 상태 정보도 디스플레이하지 않는 것으로부터 일부 상태 정보를 디스플레이하는 것으로 스위칭함); 및 제1 손이 제1 방향과는 상이한(예컨대, 제1 방향에 역평행한) 제2 방향(예컨대, 상향 또는 하향)으로 이동한다는 결정에 따라, 제2 디스플레이 생성 컴포넌트가 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠에 관한 상태 정보의 양을 감소시키는 것(예컨대, 제2 양의 상태 정보를 디스플레이하는 것으로부터 제1 양의 상태 정보를 디스플레이하는 것으로 스위칭함 - 제1 양은 제2 양보다 적음 -; 또는 일부 상태 정보를 디스플레이하는 것으로부터 어떠한 상태 정보도 디스플레이하지 않는 것으로 스위칭함)을 포함한다. 일부 실시예들에서, 컴퓨팅 시스템의 동작 상태를 제5 동작 상태로부터 제6 동작 상태로 변경하는 것은, 제1 손이 프라이버시 조정 기준들의 각각의 이동 기준 및 각각의 자세 기준을 충족시키면서 제1 방향(예컨대, 하향 또는 상향)으로 이동한다는 결정에 따라, 콘텐츠가 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 동안, 제2 디스플레이 생성 컴포넌트가 사용자의 눈들의 표현을 디스플레이하지 않는 것으로부터 사용자의 눈들의 표현을 디스플레이하는 것으로 스위칭하는 것; 및 제1 손이 프라이버시 조정 기준들의 각각의 이동 기준 및 각각의 자세 기준을 충족시키면서 제2 방향(예컨대, 상향 또는 하향)으로 이동한다는 결정에 따라, 콘텐츠가 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 동안, 제2 디스플레이 생성 컴포넌트가 사용자의 눈들의 표현을 디스플레이하는 것으로부터 사용자의 눈들의 표현을 디스플레이하지 않는 것으로 스위칭하는 것을 추가로 포함한다. 제1 손이 프라이버시 조정 기준들의 각각의 이동 기준 및 각각의 자세 기준을 충족시키면서 제1 방향으로 이동한다는 결정에 따라, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠에 관한 상태 정보의 양을 증가시키는 것; 및 제1 손이 제1 방향과는 상이한 제2 방향으로 이동한다는 결정에 따라, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠에 관한 상태 정보의 양을 감소시키는 것은, 추가의 디스플레이된 제어부들(예컨대, 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상태 정보의 양을 증가 및/또는 감소시키기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 제1 디스플레이 생성 컴포넌트를 포함하는 하우징 상에서 제1 손을 검출하는 것에 응답하여, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트를 통해(예컨대, 제1 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 주변 영역 주위에), 컴퓨팅 시스템의 하나 이상의 기능들에 대응하는 각각의 시각적 표현들(예컨대, 컴퓨팅 시스템의 오디오 생성 컴포넌트(들)의 현재 상태를 보여주는 볼륨 제어부, 컴퓨팅 시스템의 현재 프라이버시 모드의 표현 또는 제어부, 제1 디스플레이 생성 컴포넌트의 몰입 상태의 표현 또는 제어부, 카메라 셔터 제어부, 카메라 모드 선택 제어부 등)을 디스플레이한다. 일부 실시예들에서, 이들 시각적 표현들은 제1 디스플레이 생성 컴포넌트의 하우징 상의 접촉들의 위치들에 또는 그 근처에 선택적으로 디스플레이된다. 일부 실시예들에서, 시각적 표현들의 상이한 서브세트들이 제1 디스플레이 생성 컴포넌트의 하우징 상의 접촉들의 상이한 손 자세들 및/또는 위치들에 따라 디스플레이된다. 제1 디스플레이 생성 컴포넌트를 포함하는 하우징 상에서 제1 손을 검출하는 것에 응답하여, 컴퓨팅 시스템의 하나 이상의 기능들에 대응하는 각각의 시각적 표현들을 디스플레이하는 것은, 추가 사용자 입력(예컨대, 컴퓨팅 시스템의 하나 이상의 기능들에 대응하는 각각의 가상 표현들을 디스플레이하기 위한 추가 사용자 입력)을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 컴퓨팅 시스템의 하나 이상의 기능들에 대응하는 각각의 시각적 표현을 디스플레이한다. 추가 사용자 입력을 요구하지 않고서 한 세트의 조건들이 충족되었을 때 동작을 수행하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 제1 손이 제1 디스플레이 생성 컴포넌트를 포함하는 하우징에 접근하는 것을 검출하는 것에 응답하여, 컴퓨팅 시스템은, 제1 디스플레이 생성 컴포넌트를 통해(예컨대, 제1 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 주변 영역 주위에), 제1 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 주변 영역으로부터 나오는 컴퓨팅 시스템의 하나 이상의 기능들에 대응하는 각각의 시각적 표현들을 보여주는 애니메이션화된 전이를 디스플레이한다(예컨대, 시각적 표현들은, 제1 손의 손가락들이 하우징을 향해 이동함에 따라 크기가 커지고, 시각적 표현들은, 제1 손이 제1 디스플레이 생성 컴포넌트의 하우징에 접근함에 따라, 제1 손의 손가락들의 현재 위치들에 기초하여, 제1 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 주변 경계 주위로 이동함). 시야의 주변 영역으로부터 나오는 각각의 시각적 표현들을 보여주는 애니메이션화된 전이를 디스플레이하는 것은, 사용자에게 개선된 시각적 피드백(예컨대, 제1 손이 제1 디스플레이 생성 컴포넌트를 포함하는 하우징에 접근하고 있다는 개선된 시각적 피드백)을 제공한다. 개선된 피드백을 제공하는 것은 디바이스의 작동성을 향상시키며, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

일부 실시예들에서, 하우징 상에서 다른 손을 검출하지 않는 것과 함께 제1 손이 검출된다는 결정에 따라, 제1 손과 연관된 동작을 수행하는 것은, 제1 손이 컴퓨팅 시스템의 제1 기능에 대응하는 제1 시각적 표현에 대응하는 제1 위치에서 하우징과 접촉하고, 제1 손이 제1 기능과 연관된 각각의 제어부 활성화 기준들(예컨대, 탭 입력, 누르기 입력, 터치-홀드 입력, 스와이프 입력 등을 검출하기 위한 기준들)을 충족시킨다는 결정에 따라, 컴퓨팅 시스템의 제1 기능을 활성화하는 것(예컨대, 컴퓨팅 시스템의 카메라를 사용하여 스냅샷을 촬영함, 제1 디스플레이 생성 컴포넌트 상의 상태 정보를 켬/끔 등); 및 제1 손이 컴퓨팅 시스템의 제2 기능에 대응하는 제2 시각적 표현에 대응하는 제2 위치에서 하우징과 접촉하고, 제1 손이 제2 기능과 연관된 각각의 제어부 활성화 기준들(예컨대, 탭 입력, 누르기 입력, 터치-홀드 입력, 스와이프 입력 등을 검출하기 위한 기준들)을 충족시킨다는 결정에 따라, 컴퓨팅 시스템의 제2 기능을 활성화하는 것(예컨대, 컴퓨팅 시스템의 카메라를 사용하여 비디오를 시작함, 컴퓨팅 시스템의 오디오 생성 컴포넌트에 대한 볼륨을 높이거나 잡음 소거를 켬 등)을 포함한다. 일부 실시예들에서, 제어부들은 제1 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 주변 영역들 주위의 미리결정된 위치들 옆에 디스플레이되며, 여기에서 이러한 위치들은 하우징의 외측 상에 형성된 각각의 물리적 텍스처들(예컨대, 범프(bump)들, 리지(ridge)들, 라인들, 또는/또는 거친 패턴들 등)에 대응한다. 일부 실시예들에서, 상이한 기능들의 시각적 표현들은 하우징 상의 상이한 유형들의 표면 텍스처들에 대응하는 위치들에 디스플레이된다. 예를 들어, 볼륨을 조정하기 위한 제어부는 제1 디스플레이 생성 컴포넌트의 하우징 상의 융기된 리지의 위치에 대응하는, 제1 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 제1 주변 부분에 디스플레이되는 한편(예컨대, 사용자는 그들의 손가락을 융기된 리지를 따라 이동시켜 컴퓨팅 시스템의 오디오 생성 컴포넌트의 볼륨을 조정할 수 있음), 카메라를 사용하여 스냅샷을 촬영하기 위한 제어부는 제1 디스플레이 생성 컴포넌트의 하우징 상의 둥근 범프의 위치에 대응하는, 제1 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 제2 주변 부분에 디스플레이된다(예컨대, 사용자는 둥근 범프를 눌러 스냅샷을 촬영할 수 있거나, 둥근 범프를 눌러 유지하여 컴퓨팅 시스템의 카메라를 사용한 비디오 캡처를 시작할 수 있음). 제1 손이 컴퓨팅 시스템의 제1 기능에 대응하는 제1 시각적 표현에 대응하는 제1 위치에서 하우징과 접촉하고, 제1 손이 제1 기능과 연관된 각각의 제어부 활성화 기준들을 충족시킨다는 결정에 따라, 컴퓨팅 시스템의 제1 기능을 활성화하는 것; 및 제1 손이 컴퓨팅 시스템의 제2 기능에 대응하는 제2 시각적 표현에 대응하는 제2 위치에서 하우징과 접촉하고, 제1 손이 제2 기능과 연관된 각각의 제어부 활성화 기준들을 충족시킨다는 결정에 따라, 컴퓨팅 시스템의 제2 기능을 활성화하는 것은, 추가의 디스플레이된 제어부들(예컨대, 컴퓨팅 시스템의 제1 및/또는 제2 기능들을 활성화하기 위한 추가의 디스플레이된 제어부들)로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가의 디스플레이된 제어부들로 UI를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것은 디바이스의 작동성을 향상시키고, 이는, 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

도 13에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에서 설명되는 다른 방법들(예컨대, 방법들(8000, 9000, 10000, 11000, 12000))과 관련하여 본 명세서에서 설명되는 다른 프로세스들의 상세사항들이 도 13과 관련하여 위에서 설명된 방법(13000)과 유사한 방식으로 또한 적용가능하다는 것에 주목해야 한다. 예를 들어, 방법(13000)을 참조하여 전술된 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들 및/또는 애니메이션들은, 선택적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(8000, 9000, 10000, 11000, 12000))을 참조하여 본 명세서에 기술되는 제스처들, 시선 입력들, 물리적 객체들, 사용자 인터페이스 객체들 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.

도 8, 도 9, 도 10, 도 11, 도 12 및 도 13을 참조하여 전술된 동작들은, 선택적으로, 도 1 내지 도 6에 도시된 컴포넌트들에 의해 구현된다. 일부 실시예들에서, 방법들(8000, 9000, 10000, 11000, 12000, 13000)의 태양들/동작들은 이들 방법들 사이에서 상호교환, 대체, 및/또는 추가될 수 있다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.

전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 기술되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 본 발명의 원리들 및 그의 실제적인 응용들을 가장 잘 설명하여, 그에 의해 당업자들이 본 발명 및 다양한 설명된 실시예들을 고려되는 특정 용도에 적합한 바와 같은 다양한 변형들을 갖고서 가장 잘 사용하는 것을 가능하게 하도록, 실시예들이 선택 및 설명되었다.

Claims (110)

1. 방법으로서,
   제1 디스플레이 생성 컴포넌트, 제2 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨팅 시스템에서,
   상기 제1 디스플레이 생성 컴포넌트를 통해, 제1 컴퓨터 생성 환경을 디스플레이하는 단계; 및
   상기 제1 디스플레이 생성 컴포넌트를 통해 상기 제1 컴퓨터 생성 환경을 디스플레이하는 동안, 상기 제2 디스플레이 생성 컴포넌트를 통해,
   상기 제1 디스플레이 생성 컴포넌트를 통해 상기 제1 컴퓨터 생성 환경을 보기 위한 위치에 있는 상기 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현, 및
   상기 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 단계를 포함하고, 상기 사용자의 일부분의 시각적 표현 및 상기 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 단계는,
   각각의 기간에 걸친 상기 사용자의 외관의 변화들을 나타내기 위해 상기 사용자의 일부분의 시각적 표현을 변경하는 단계; 및
   상기 각각의 기간에 걸친 상기 제1 컴퓨터 생성 환경의 변화들을 나타내기 위해, 상기 제1 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들을 변경하는 단계를 포함하는, 방법.
2. 제1항에 있어서, 상기 각각의 기간에 걸친 상기 사용자의 외관의 변화들을 나타내기 위해 상기 사용자의 일부분의 시각적 표현을 변경하는 단계는,
   상기 제1 디스플레이 생성 컴포넌트에 대한 제1 방향으로의 상기 사용자의 일부분의 이동에 따라, 상기 제2 디스플레이 생성 컴포넌트 상에 상기 제1 방향으로의 상기 사용자의 일부분의 시각적 표현의 이동을 디스플레이하는 단계; 및
   상기 제1 디스플레이 생성 컴포넌트에 대한 제2 방향으로의 상기 사용자의 일부분의 이동에 따라 - 상기 제2 방향은 상기 제1 방향에 실질적으로 수직임 -, 상기 제2 디스플레이 생성 컴포넌트 상에 상기 제2 방향과 실질적으로 반대인 제3 방향으로의 상기 사용자의 일부분의 시각적 표현의 이동을 디스플레이하는 단계를 포함하는, 방법.
3. 제1항에 있어서, 상기 사용자의 일부분의 시각적 표현 및 상기 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 단계는 상기 시각적 표현의 제1 디스플레이 속성에 대해 특정되는 미리정의된 특성 값에 따라 상기 사용자의 일부분의 시각적 표현을 생성하는 단계를 포함하는, 방법.
4. 제3항에 있어서, 상기 시각적 표현의 제1 디스플레이 속성에 대해 특정되는 상기 미리정의된 특성 값은 상기 사용자의 일부분의 시각적 표현의 불투명도에 대한 미리정의된 양의 감소를 포함하는, 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 사용자의 일부분의 시각적 표현 및 상기 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 단계는 상기 사용자의 일부분의 시각적 표현 상에 미리정의된 시각적 효과를 적용하는 단계를 포함하는, 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 제2 디스플레이 생성 컴포넌트를 통해 상기 사용자의 일부분의 시각적 표현 및 상기 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 단계는, 상기 제1 컴퓨터 생성 환경의 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들과 상기 사용자의 일부분의 시각적 표현 사이에 확산된 유색 층을 디스플레이하는 단계를 포함하는, 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 제2 디스플레이 생성 컴포넌트를 통해 상기 사용자의 일부분의 시각적 표현 및 상기 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 단계는 상기 사용자의 일부분의 시각적 표현을 제1 그래픽 해상도로 디스플레이하는 단계, 및 상기 제1 컴퓨터 생성 환경의 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들을 상기 제1 그래픽 해상도와는 상이한 제2 그래픽 해상도로 디스플레이하는 단계를 포함하는, 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 사용자의 일부분의 시각적 표현 및 상기 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 단계는,
   상기 사용자의 외관의 제1 변화가 검출된다는 결정에 따라, 상기 제1 컴퓨터 생성 환경 내의 상기 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들을 변경하지 않고서, 상기 사용자의 외관의 상기 제1 변화에 따라 상기 사용자의 일부분의 시각적 표현을 변경하는 단계를 포함하는, 방법.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 사용자의 일부분의 시각적 표현 및 상기 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 단계는,
   상기 사용자의 외관이 변경되지 않은 상태로 유지되는 동안, 상기 제1 컴퓨터 생성 환경 내의 상기 콘텐츠의 제2 변화가 검출된다는 결정에 따라, 상기 사용자의 일부분의 시각적 표현을 변경하지 않고서, 상기 제1 컴퓨터 생성 환경 내의 상기 콘텐츠의 상기 제2 변화에 따라 상기 제1 컴퓨터 생성 환경 내의 상기 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들 중 적어도 하나를 변경하는 단계를 포함하는, 방법.
10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 사용자의 일부분의 시각적 표현 및 상기 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 단계는,
    상기 사용자의 외관의 제3 변화가 상기 제1 컴퓨터 생성 환경 내의 상기 콘텐츠의 제4 변화와 함께 검출된다는 결정에 따라서, 상기 제1 컴퓨터 생성 환경 내의 상기 콘텐츠의 상기 제4 변화에 따라 상기 제1 컴퓨터 생성 환경 내의 상기 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들을 변경하는 단계와 함께, 상기 사용자의 외관의 상기 제3 변화에 따라 상기 사용자의 일부분의 시각적 표현을 변경하는 단계를 포함하는, 방법.
11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 사용자의 일부분의 시각적 표현 및 상기 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 단계는 상기 사용자의 일부분의 시각적 표현과 동시에 상기 콘텐츠의 수정된 버전을 디스플레이하는 단계를 포함하고, 상기 콘텐츠의 수정된 버전은, 상기 콘텐츠의 이미지에 적용될 때, 상기 이미지의 이미지 충실도를 감소시키는 하나 이상의 이미지 필터들로 생성되며;
    상기 각각의 기간에 걸친 상기 제1 컴퓨터 생성 환경의 변화들을 나타내기 위해, 상기 제1 컴퓨터 생성 환경 내의 콘텐츠의 상기 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들을 변경하는 단계는, 상기 콘텐츠가 변경됨에 따라 상기 콘텐츠의 이미지들에 상기 하나 이상의 이미지 필터들을 적용함으로써 상기 콘텐츠의 수정된 버전을 업데이트하는 단계를 포함하는, 방법.
12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 사용자의 일부분의 시각적 표현은 상기 사용자의 눈들의 이미지를 포함하는, 방법.
13. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 사용자의 일부분의 시각적 표현은 상기 사용자의 눈들의 하나 이상의 이미지들에 기초하여 생성되는 가상 객체를 포함하고, 상기 가상 객체의 외관 및 이동은 상기 컴퓨팅 시스템의 하나 이상의 센서들에 의해 캡처되는 상기 사용자의 눈들의 외관 및 이동에 대응하는, 방법.
14. 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 각각의 기간에 걸친 상기 사용자의 외관의 변화들을 나타내기 위해 상기 사용자의 일부분의 시각적 표현을 변경하는 단계는,
    상기 사용자에 대응하는 눈 추적 데이터를 획득하는 단계; 및
    상기 사용자에 대응하는 상기 눈 추적 데이터에 기초하여 상기 사용자의 일부분의 시각적 표현을 업데이트하는 단계를 포함하는, 방법.
15. 방법으로서,
    제1 디스플레이 생성 컴포넌트, 제2 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨팅 시스템에서,
    상기 제1 디스플레이 생성 컴포넌트를 통해, 컴퓨터 생성 환경을 디스플레이하는 단계;
    상기 제1 디스플레이 생성 컴포넌트를 통해 상기 컴퓨터 생성 환경을 디스플레이하는 동안,
    상기 제1 디스플레이 생성 컴포넌트를 통해 상기 컴퓨터 생성 환경을 보기 위한 위치에 있는 상기 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현, 및
    상기 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 것을 포함하여, 상기 컴퓨팅 시스템에 대응하는 상태 정보를 상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이하는 단계;
    각각의 이벤트를 검출하는 단계; 및
    상기 각각의 이벤트를 검출하는 것에 응답하여,
    상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 컴퓨터 생성 환경의 몰입 레벨을 변경하고;
    상기 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현의 외관을 변경하는 것을 포함하여, 상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 상태 정보를 변경하는 단계를 포함하는, 방법.
16. 제15항에 있어서,
    상기 컴퓨팅 시스템은 상기 컴퓨터 생성 환경을 적어도 제1 몰입 레벨, 제2 몰입 레벨 및 제3 몰입 레벨로 디스플레이하도록 구성되는, 방법.
17. 제16항에 있어서, 상기 각각의 이벤트를 검출하는 것에 응답하여, 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 컴퓨터 생성 환경의 몰입 레벨을 변경하는 것은,
    상기 각각의 이벤트가 제1 기준들을 충족시키는 이벤트라는 결정에 따라, 상기 컴퓨터 생성 환경을 상기 제2 몰입 레벨로 디스플레이하는 것으로부터 상기 컴퓨터 생성 환경을 상기 제1 몰입 레벨로 디스플레이하는 것으로 스위칭하는 것; 및
    상기 각각의 이벤트가 상기 제1 기준들과는 상이한 제2 기준들을 충족시키는 이벤트라는 결정에 따라, 상기 컴퓨터 생성 환경을 상기 제2 몰입 레벨로 디스플레이하는 것으로부터 상기 컴퓨터 생성 환경을 상기 제3 몰입 레벨로 디스플레이하는 것으로 스위칭하는 것을 포함하는, 방법.
18. 제15항 내지 제17항 중 어느 한 항에 있어서,
    상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 컴퓨터 생성 환경의 몰입 레벨을 변경하는 것은 상기 컴퓨터 생성 환경을 제2 몰입 레벨로 디스플레이하는 것으로부터 상기 컴퓨터 생성 환경을 제1 몰입 레벨로 디스플레이하는 것으로 스위칭하는 것을 포함하고, 상기 제1 몰입 레벨로 디스플레이되는 상기 컴퓨터 생성 환경은 임계량 미만의 컴퓨터 생성 콘텐츠를 갖는 물리적 환경의 뷰를 제공하며;
    상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 상태 정보를 변경하는 단계는, 상기 컴퓨터 생성 환경을 상기 제2 몰입 레벨로 디스플레이하는 것으로부터 상기 컴퓨터 생성 환경을 상기 제1 몰입 레벨로 디스플레이하는 것으로 스위칭하는 것과 함께, 상기 컴퓨터 생성 환경 내의 상기 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들과 함께 상기 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현을 디스플레이하는 것으로부터 상기 하나 이상의 그래픽 요소들 없이 상기 사용자의 일부분의 시각적 표현을 디스플레이하는 것으로 스위칭하는 단계를 포함하는, 방법.
19. 제15항 내지 제18항 중 어느 한 항에 있어서, 상기 컴퓨팅 시스템은, 상기 컴퓨터 생성 환경이 상기 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현 및 적어도 임계량의 가상 객체들을 포함하는 혼합 현실 환경이라는 결정에 따라, 상기 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들과 상기 사용자의 일부분의 시각적 표현을 동시에 디스플레이하는, 방법.
20. 제15항 내지 제19항 중 어느 한 항에 있어서,
    상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 컴퓨터 생성 환경의 몰입 레벨을 변경하는 것은 상기 컴퓨터 생성 환경을 제2 몰입 레벨로 디스플레이하는 것으로부터 상기 컴퓨터 생성 환경을 제3 몰입 레벨로 디스플레이하는 것으로 스위칭하는 것을 포함하고, 상기 제3 몰입 레벨로 디스플레이되는 상기 컴퓨터 생성 환경은 상기 물리적 환경의 임계량 미만의 표현을 갖는 가상 환경을 제공하며;
    상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 상태 정보를 변경하는 단계는, 상기 컴퓨터 생성 환경을 상기 제2 몰입 레벨로 디스플레이하는 것으로부터 상기 컴퓨터 생성 환경을 상기 제3 몰입 레벨로 디스플레이하는 것으로 스위칭하는 것과 함께, 상기 컴퓨터 생성 환경 내의 상기 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들과 함께 상기 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현을 디스플레이하는 것으로부터 상기 사용자의 일부분의 시각적 표현 없이 상기 하나 이상의 그래픽 요소들을 디스플레이하는 것으로 스위칭하는 단계를 포함하는, 방법.
21. 제15항 내지 제20항 중 어느 한 항에 있어서,
    상기 제1 디스플레이 생성 컴포넌트를 통해 상기 컴퓨터 생성 환경을 디스플레이하고, 상기 컴퓨팅 시스템에 대응하는 상기 상태 정보를 상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이하는 동안, 상기 컴퓨팅 디바이스의 프라이버시 모드를 활성화하라는 제1 사용자 요청을 검출하는 단계 - 상기 프라이버시 모드는, 상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 하나 이상의 그래픽 요소들이 제1 임계 가시성 미만의 가시성을 가질 것을 요구함 -; 및
    상기 제1 사용자 요청을 검출하는 것에 응답하여,
    상기 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들의 가시성이 상기 프라이버시 모드에 대응하는 상기 제1 임계 가시성을 초과하는 동안 상기 제1 사용자 요청이 수신된다는 결정에 따라, 상기 제2 디스플레이 생성 컴포넌트 상의 상기 하나 이상의 그래픽 요소들의 가시성을 상기 프라이버시 모드에 대응하는 상기 제1 임계 가시성 미만으로 감소시키고;
    상기 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들의 가시성이 상기 프라이버시 모드에 대응하는 상기 제1 임계 가시성을 초과하지 않는 동안 상기 제1 사용자 요청이 수신된다는 결정에 따라, 상기 하나 이상의 그래픽 요소들의 가시성을 상기 프라이버시 모드에 대응하는 상기 제1 임계 가시성 미만으로 유지하는 단계를 포함하는, 방법.
22. 제21항에 있어서, 상기 프라이버시 모드는, 상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 사용자의 일부분의 시각적 표현이 제2 임계 가시성 미만의 가시성을 가질 것을 요구하고, 상기 방법은,
    상기 제1 사용자 요청을 검출하는 것에 응답하여,
    상기 사용자의 일부분의 시각적 표현의 가시성이 상기 프라이버시 모드에 대응하는 상기 제2 임계 가시성을 초과하는 동안 상기 제1 사용자 요청이 수신된다는 결정에 따라, 상기 제2 디스플레이 생성 컴포넌트 상의 상기 사용자의 일부분의 시각적 표현의 가시성을 상기 프라이버시 모드에 대응하는 상기 제2 임계 가시성 미만으로 감소시키고;
    상기 사용자의 일부분의 시각적 표현의 가시성이 상기 프라이버시 모드에 대응하는 상기 제2 임계 가시성을 초과하지 않는 동안 상기 제1 사용자 요청이 수신된다는 결정에 따라, 상기 사용자의 일부분의 시각적 표현의 가시성을 상기 프라이버시 모드에 대응하는 상기 제2 임계 가시성 미만으로 유지하는 단계를 포함하는, 방법.
23. 제21항 또는 제22항에 있어서,
    상기 프라이버시 모드가 상기 컴퓨팅 시스템 상에서 활성인 동안, 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 컴퓨터 생성 환경의 몰입 레벨을 변경하는 제2 각각의 이벤트를 검출하는 단계; 및
    상기 제2 각각의 이벤트, 및 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 컴퓨터 생성 환경의 몰입 레벨의 대응하는 변화를 검출하는 것에 응답하여, 상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 상태 정보를 변경하는 것을 보류하는 단계를 포함하는, 방법.
24. 제15항 내지 제23항 중 어느 한 항에 있어서,
    상기 제1 디스플레이 생성 컴포넌트를 통해 상기 컴퓨터 생성 환경을 디스플레이하는 동안, 상기 컴퓨팅 디바이스의 방해 금지(Do-Not-Disturb, DND) 모드를 활성화하라는 제2 사용자 요청을 검출하는 단계; 및
    상기 제2 사용자 요청을 검출하는 것에 응답하여, 상기 DND 모드가 활성임을 나타내기 위해 상기 제2 디스플레이 생성 컴포넌트를 통해 시각적 표시자를 디스플레이하는 단계를 포함하는, 방법.
25. 제24항에 있어서,
    상기 DND 모드가 상기 컴퓨팅 시스템 상에서 활성인 동안, 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 컴퓨터 생성 환경의 몰입 레벨을 변경하는 제3 각각의 이벤트를 검출하는 단계; 및
    상기 제3 각각의 이벤트, 및 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 컴퓨터 생성 환경의 몰입 레벨의 대응하는 변화를 검출하는 것에 응답하여, 상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 상태 정보를 변경하는 것을 보류하는 단계를 포함하는, 방법.
26. 제15항 내지 제25항 중 어느 한 항에 있어서,
    상기 제1 디스플레이 생성 컴포넌트를 통해 상기 컴퓨터 생성 환경을 디스플레이하는 동안, 상기 컴퓨팅 디바이스의 부모 통제 모드를 활성화하라는 제3 사용자 요청을 검출하는 단계 - 상기 부모 통제 모드는, 상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 하나 이상의 그래픽 요소들이 제3 임계 가시성 초과의 가시성을 가질 것을 요구함 -; 및
    상기 제3 사용자 요청을 검출하는 것에 응답하여,
    상기 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들의 가시성이 상기 부모 통제 모드에 대응하는 상기 제3 임계 가시성 미만인 동안 상기 제3 사용자 요청이 수신된다는 결정에 따라, 상기 제2 디스플레이 생성 컴포넌트 상의 상기 하나 이상의 그래픽 요소들의 가시성을 상기 부모 통제 모드에 대응하는 상기 제3 임계 가시성 초과로 증가시키는 단계를 포함하는, 방법.
27. 제26항에 있어서,
    상기 부모 통제 모드가 상기 컴퓨팅 시스템 상에서 활성인 동안, 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 컴퓨터 생성 환경의 몰입 레벨을 변경하는 제4 각각의 이벤트를 검출하는 단계; 및
    상기 제4 각각의 이벤트, 및 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 컴퓨터 생성 환경의 몰입 레벨의 대응하는 변화를 검출하는 것에 응답하여, 상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 상태 정보를 변경하는 것을 보류하는 단계를 포함하는, 방법.
28. 제15항 내지 제27항 중 어느 한 항에 있어서, 상기 사용자의 일부분의 시각적 표현 및 상기 하나 이상의 그래픽 요소들을 동시에 디스플레이하는 것은, 상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 상태 정보의 외부 시점으로부터, 제1 깊이에서 상기 사용자의 일부분의 시각적 표현을 디스플레이하는 것, 및 상기 제1 깊이보다 작은 제2 깊이에서 상기 하나 이상의 그래픽 요소들을 디스플레이하는 것을 포함하는, 방법.
29. 제15항 내지 제28항 중 어느 한 항에 있어서, 상기 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들은, 적어도, 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 바와 같은 상기 컴퓨터 생성 환경 내의 상기 콘텐츠의 진행을 나타내는 진행 표시자를 포함하는, 방법.
30. 제15항 내지 제29항 중 어느 한 항에 있어서, 상기 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들은 제1 디스플레이 속성을 가지며, 그의 값은 상기 컴퓨터 생성 환경 내의 상기 콘텐츠의 제1 디스플레이 속성의 값에 기초하는, 방법.
31. 제15항 내지 제30항 중 어느 한 항에 있어서, 상기 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들은 상기 컴퓨터 생성 환경의 콘텐츠의 하나 이상의 하위 부분들을 포함하는, 방법.
32. 제15항 내지 제31항 중 어느 한 항에 있어서, 상기 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들은 상기 컴퓨터 생성 환경의 콘텐츠를 식별하는 메타데이터를 포함하는, 방법.
33. 제15항 내지 제32항 중 어느 한 항에 있어서, 상기 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시를 제공하는 상기 하나 이상의 그래픽 요소들을 디스플레이하는 것은,
    상기 제2 디스플레이 생성 컴포넌트에 대한, 상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 상태 정보를 보기 위한 위치에 있는 제2 사용자의 제1 이동을 검출하는 것; 및
    상기 제2 디스플레이 생성 컴포넌트에 대한 상기 제2 사용자의 제1 이동을 검출하는 것에 응답하여, 상기 제2 사용자와 상기 제2 디스플레이 생성 컴포넌트 사이의 거리가 제1 임계 거리 초과로부터 상기 제1 임계 거리 미만으로 감소하였다는 결정에 따라, 상기 하나 이상의 그래픽 요소들에 의해 제공되는 상기 컴퓨터 생성 환경 내의 콘텐츠의 시각적 표시의 정보 밀도를 증가시키도록 상기 하나 이상의 그래픽 요소들의 디스플레이를 업데이트하는 것을 포함하는, 방법.
34. 제15항 내지 제33항 중 어느 한 항에 있어서,
    상기 제1 디스플레이 생성 컴포넌트를 통해 상기 컴퓨터 생성 환경을 디스플레이하고, 상기 컴퓨팅 시스템에 대응하는 상기 상태 정보를 상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이하는 동안, 상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 상태 정보를 보기 위한 위치에 있는 제3 사용자에 의해 트리거되는 제5 각각의 이벤트를 검출하는 단계; 및
    상기 제5 각각의 이벤트를 검출하는 것에 응답하여, 상기 제5 각각의 이벤트가 제4 기준들을 충족시킨다는 결정에 따라 - 상기 제4 기준들은, 상기 제5 각각의 이벤트의 결과로서 상호작용의 미리설정된 척도(measure)가 미리설정된 임계치 미만으로부터 상기 미리설정된 임계치 초과로 증가하였을 것을 그리고 상기 제4 기준들이 충족되기 위해 상기 컴퓨터 생성 환경이 제3 몰입 레벨로 디스플레이될 것을 요구함 -,
    상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 컴퓨터 생성 환경의 몰입 레벨을 상기 제3 몰입 레벨로부터 제2 몰입 레벨로 변경하는 단계 - 상기 제2 몰입 레벨로 디스플레이되는 상기 컴퓨터 생성 환경은 상기 제3 몰입 레벨로 디스플레이되는 상기 컴퓨터 생성 환경보다 상기 물리적 환경의 증가된 양의 표현을 포함함 - 를 포함하는, 방법.
35. 제34항에 있어서,
    상기 제5 각각의 이벤트를 검출하는 것에 응답하여, 상기 제5 각각의 이벤트가 상기 제4 기준들을 충족시킨다는 결정에 따라,
    상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 컴퓨터 생성 환경의 몰입 레벨을 상기 제3 몰입 레벨로부터 상기 제2 몰입 레벨로 변경하는 것과 함께, 상기 컴퓨팅 시스템의 사용자의 일부분의 시각적 표현의 가시성을 증가시키는 것을 포함하여, 상기 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 상태 정보를 변경하는 단계를 포함하는, 방법.
36. 제35항에 있어서, 상기 제5 각각의 이벤트를 검출하는 단계는 상기 컴퓨팅 시스템의 사용자를 둘러싸는 미리정의된 영역 내로의 상기 제3 사용자의 진입을 검출하는 단계를 포함하는, 방법.
37. 제35항 또는 제36항에 있어서, 상기 제5 각각의 이벤트를 검출하는 단계는, 상기 제3 사용자가 상기 컴퓨팅 시스템의 사용자를 향해 미리정의된 제스처를 수행하는 것을 검출하는 단계를 포함하는, 방법.
38. 방법으로서,
    제1 디스플레이 생성 컴포넌트, 제2 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨팅 시스템에서,
    상기 제2 디스플레이 생성 컴포넌트를 통해 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 단계;
    상기 제2 디스플레이 생성 컴포넌트를 통해 상기 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 동안, 상기 제1 디스플레이 생성 컴포넌트가 사용자의 각각의 부분에 대해 미리결정된 배향으로 이동되었다는 것을 검출하는 단계; 및
    상기 제1 디스플레이 생성 컴포넌트가 상기 사용자의 각각의 부분에 대해 상기 미리결정된 배향으로 이동되었다는 것을 검출하는 것에 응답하여,
    상기 제1 디스플레이 생성 컴포넌트가 상기 사용자의 각각의 부분에 대해 상기 미리결정된 배향으로 이동되었을 때, 상기 컴퓨팅 시스템이 제1 상태에 있었다는 결정에 따라 - 상기 제1 상태는 상기 제2 디스플레이 생성 컴포넌트를 통해 제1 사용자 인터페이스 요소를 디스플레이하는 것에 대응함 -, 상기 제1 디스플레이 생성 컴포넌트가 상기 사용자의 각각의 부분에 대해 상기 미리결정된 배향에 있는 동안 상기 제1 디스플레이 생성 컴포넌트를 통해 제1 사용자 인터페이스를 디스플레이하고;
    상기 제1 디스플레이 생성 컴포넌트가 상기 사용자의 각각의 부분에 대해 상기 미리결정된 배향으로 이동되었을 때, 상기 컴퓨팅 시스템이 제2 상태에 있었다는 결정에 따라 - 상기 제2 상태는 상기 제2 디스플레이 생성 컴포넌트를 통해 상기 제1 사용자 인터페이스 요소를 디스플레이하는 것 대신에 상기 제2 디스플레이 생성 컴포넌트를 통해 제2 사용자 인터페이스 요소를 디스플레이하는 것에 대응함 -, 상기 제1 디스플레이 생성 컴포넌트가 상기 사용자의 각각의 부분에 대해 상기 미리결정된 배향에 있는 동안, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제1 사용자 인터페이스와는 상이한 제2 사용자 인터페이스를 디스플레이하는 단계를 포함하는, 방법.
39. 제38항에 있어서,
    상기 제1 디스플레이 생성 컴포넌트가 상기 사용자의 각각의 부분에 대해 상기 미리결정된 배향으로 이동되었다는 것을 검출하는 것에 응답하여,
    상기 제1 디스플레이 생성 컴포넌트가 상기 사용자의 각각의 부분에 대해 상기 미리결정된 배향으로 이동되었을 때, 상기 컴퓨팅 시스템이 제3 상태에 있었다는 결정에 따라 - 상기 제3 상태는 상기 제2 디스플레이 생성 컴포넌트를 통해 제3 사용자 인터페이스 요소를 디스플레이하는 것에 대응함 -, 상기 제1 디스플레이 생성 컴포넌트가 상기 사용자의 각각의 부분에 대해 상기 미리결정된 배향에 있는 동안, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제1 사용자 인터페이스 및 상기 제2 사용자 인터페이스와는 상이한 제3 사용자 인터페이스를 디스플레이하는 단계를 포함하는, 방법.
40. 제38항 또는 제39항에 있어서, 상기 제1 사용자 인터페이스는 제1 가상 콘텐츠를 포함하는 제1 3차원 환경이고, 상기 제2 사용자 인터페이스는 상기 제1 가상 콘텐츠와는 상이한 제2 가상 콘텐츠를 포함하는 제2 3차원 환경인, 방법.
41. 제38항 또는 제39항에 있어서, 상기 제1 사용자 인터페이스는 상기 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현 없이 제1 가상 콘텐츠를 포함하는 제1 3차원 환경이고, 상기 제2 사용자 인터페이스는 상기 제1 디스플레이 생성 컴포넌트를 둘러싸는 상기 물리적 환경의 표현 없이 제2 가상 콘텐츠를 포함하는, 상기 제1 3차원 환경과는 상이한 제2 3차원 환경인, 방법.
42. 제38항 또는 제39항에 있어서, 상기 제1 사용자 인터페이스는 상기 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현과 함께 제1 가상 콘텐츠를 포함하는 제1 3차원 환경이고, 상기 제2 사용자 인터페이스는 상기 제1 디스플레이 생성 컴포넌트를 둘러싸는 상기 물리적 환경의 표현과 함께 제2 가상 콘텐츠를 포함하는, 상기 제1 3차원 환경과는 상이한 제2 3차원 환경인, 방법.
43. 제38항 또는 제39항에 있어서, 제1 사용자 인터페이스는 제1 3차원 환경이고, 제2 사용자 인터페이스는 제2 3차원 환경이며, 상기 제1 3차원 환경 및 상기 제2 3차원 환경 중 하나는 상기 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 표현과 함께 제1 가상 콘텐츠를 포함하고, 상기 제1 3차원 환경 및 상기 제2 3차원 환경 중 하나는 상기 제1 디스플레이 생성 컴포넌트를 둘러싸는 상기 물리적 환경의 표현 없이 제2 가상 콘텐츠를 포함하는, 방법.
44. 제38항 내지 제43항 중 어느 한 항에 있어서,
    상기 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 단계는 캘린더의 요소들을 디스플레이하는 단계를 포함하고,
    상기 제1 사용자 인터페이스 및 상기 제2 사용자 인터페이스는 상기 캘린더에 대응하는 각각의 사용자 인터페이스들인, 방법.
45. 제44항에 있어서,
    상기 제1 상태의 상기 컴퓨팅 시스템은 상기 캘린더에 대응하는 제1 이벤트를 검출하였고, 상기 하나 이상의 사용자 인터페이스 요소들의 일부로서, 상기 제1 이벤트에 대응하는 제1 통지를 디스플레이하며;
    상기 제1 사용자 인터페이스는 상기 제1 통지보다 상기 제1 이벤트의 더 많은 상세사항들을 포함하는, 상기 제1 이벤트에 대응하는 사용자 인터페이스인, 방법.
46. 제38항 내지 제43항 중 어느 한 항에 있어서,
    상기 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 단계는 각각의 미디어 아이템의 시각적 표현을 디스플레이하는 단계를 포함하고,
    상기 제1 사용자 인터페이스 및 상기 제2 사용자 인터페이스는 상기 미디어 아이템의 콘텐츠를 재생하는, 방법.
47. 제44항에 있어서,
    상기 제1 상태의 상기 컴퓨팅 시스템은 제1 미디어 아이템의 이용가능성에 대응하는 제3 이벤트를 검출하였고, 상기 컴퓨팅 시스템은 상기 하나 이상의 사용자 인터페이스 요소들의 일부로서 상기 제1 미디어 아이템의 제1 시각적 표현을 디스플레이하며;
    상기 제1 사용자 인터페이스는 상기 제1 미디어 아이템을 재생하는 사용자 인터페이스인, 방법.
48. 제38항 내지 제43항 중 어느 한 항에 있어서,
    상기 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 단계는 각각의 착신 통신 요청의 통지를 디스플레이하는 단계를 포함하고,
    상기 제1 사용자 인터페이스 및 상기 제2 사용자 인터페이스는 상기 각각의 착신 통신 요청에 대응하는 통신 인터페이스들인, 방법.
49. 제48항에 있어서,
    상기 제1 상태의 상기 컴퓨팅 시스템은 제1 통신 요청에 대응하는 제5 이벤트를 검출하였고, 상기 컴퓨팅 시스템은 상기 하나 이상의 사용자 인터페이스 요소들의 일부로서 상기 제1 통신 요청의 제1 시각적 표현을 디스플레이하며;
    상기 제1 사용자 인터페이스는 상기 제1 통신 요청에 대응하는 제1 통신 세션을 제공하는 사용자 인터페이스인, 방법.
50. 제38항 내지 제49항 중 어느 한 항에 있어서, 상기 하나 이상의 사용자 인터페이스 요소들을 디스플레이하는 단계는,
    상기 사용자가 제1 아이덴티티를 갖는다는 결정에 따라서, 상기 제1 아이덴티티에 대응하는 규칙들의 제1 세트에 따라 상기 하나 이상의 사용자 인터페이스 요소들의 디스플레이를 맞춤화하는 단계; 및
    상기 사용자가 상기 제1 아이덴티티와는 상이한 제2 아이덴티티를 갖는다는 결정에 따라서, 상기 제2 아이덴티티에 대응하는 규칙들의 제2 세트에 따라 상기 하나 이상의 사용자 인터페이스 요소들의 디스플레이를 맞춤화하는 단계 - 상기 규칙들의 제2 세트는 상기 규칙들의 제1 세트와는 상이함 - 를 포함하는, 방법.
51. 제38항 내지 제50항 중 어느 한 항에 있어서,
    상기 제1 디스플레이 생성 컴포넌트가 상기 사용자의 각각의 부분에 대해 상기 미리결정된 배향으로 이동되었다는 것을 검출하기 전에, 상기 제2 디스플레이 생성 컴포넌트를 통해, 상기 제1 사용자 인터페이스 및 상기 제2 사용자 인터페이스 중 각각의 하나가 상기 제1 디스플레이 생성 컴포넌트를 통해 제시되는 데 이용가능한 상기 컴퓨팅 시스템의 둘 이상의 모드들의 세트에 대응하는 선택가능 옵션들을 디스플레이하는 단계;
    상기 컴퓨팅 시스템의 둘 이상의 모드들의 세트 중 하나에 대응하는 각각의 선택가능 옵션을 선택하는 사용자 입력을 검출하는 단계; 및
    상기 사용자 입력을 검출하는 것에 응답하여,
    상기 제1 디스플레이 생성 컴포넌트가 상기 사용자의 각각의 부분에 대해 상기 미리결정된 배향으로 이동되었다는 결정에 따라, 상기 제1 디스플레이 생성 컴포넌트가 상기 사용자의 각각의 부분에 대해 상기 미리결정된 배향에 있는 동안, 상기 각각의 선택가능 옵션에 대응하는 상기 모드에서 상기 제1 디스플레이 생성 컴포넌트를 통해 상기 제1 사용자 인터페이스 및 상기 제2 사용자 인터페이스 중 각각의 하나를 디스플레이하는 단계를 포함하는, 방법.
52. 제38항 내지 제51항 중 어느 한 항에 있어서, 상기 하나 이상의 사용자 인터페이스 요소들은, 일단 상기 제1 디스플레이 생성 컴포넌트가 상기 사용자의 각각의 부분에 대해 상기 미리결정된 배향으로 이동되면 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 데 이용가능한 3차원 경험의 미리보기를 포함하는, 방법.
53. 방법으로서,
    제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨팅 시스템에서,
    상기 제1 디스플레이 생성 컴포넌트가 사용자에 대해 제1 미리정의된 구성으로 배치되는 것에 대응하는 제1 트리거 이벤트를 검출하는 단계; 및
    상기 제1 트리거 이벤트를 검출하는 것에 응답하여,
    상기 제1 디스플레이 생성 컴포넌트를 포함하는 상기 컴퓨팅 시스템이 상기 사용자에 대해 상기 제1 미리정의된 구성에 있는 동안 상기 사용자에 의해 착용되고 있다는 결정에 따라, 상기 제1 디스플레이 생성 컴포넌트를 통해, 제1 컴퓨터 생성 경험을 제공하고;
    상기 제1 디스플레이 생성 컴포넌트를 포함하는 상기 컴퓨팅 시스템이 상기 사용자에 대해 상기 제1 미리정의된 구성에 있는 동안 상기 사용자에 의해 착용되고 있지 않다는 결정에 따라, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제1 컴퓨터 생성 경험과 구별되는 제2 컴퓨터 생성 경험을 제공하는 단계를 포함하는, 방법.
54. 제53항에 있어서,
    상기 제1 디스플레이 생성 컴포넌트를 포함하는 상기 컴퓨팅 시스템이 상기 사용자에 대해 상기 제1 미리정의된 구성에 있는 동안 상기 사용자에 의해 착용되고 있다는 결정에 따라, 상기 컴퓨팅 시스템은, 상기 제1 컴퓨터 생성 경험과의 상호작용을 위해, 적어도, 상기 제1 디스플레이 생성 컴포넌트 또는 그의 하우징과 접촉하지 않는 상기 사용자의 손의 이동에 기초하는 제1 입력 방식을 제공하고;
    상기 제1 디스플레이 생성 컴포넌트를 포함하는 상기 컴퓨팅 시스템이 상기 사용자에 대해 상기 제1 미리정의된 구성에 있는 동안 상기 사용자에 의해 착용되고 있지 않다는 결정에 따라, 상기 컴퓨팅 시스템은, 상기 제2 컴퓨터 생성 경험과의 상호작용을 위해, 상기 제1 디스플레이 생성 컴포넌트 또는 그의 하우징과 접촉하지 않는 상기 사용자의 손의 이동에 기초하는 상기 제1 입력 방식을 제공하지 않는, 방법.
55. 제53항 또는 제54항에 있어서,
    상기 제1 디스플레이 생성 컴포넌트를 포함하는 상기 컴퓨팅 시스템이 상기 사용자에 대해 상기 제1 미리정의된 구성에 있는 동안 상기 사용자에 의해 착용되고 있지 않다는 결정에 따라, 상기 컴퓨팅 시스템은, 상기 제2 컴퓨터 생성 경험과의 상호작용을 위해, 적어도, 상기 제1 디스플레이 생성 컴포넌트 또는 그의 하우징과 접촉하는 상기 사용자의 손들 중 적어도 한 손의 이동에 기초하는 제2 입력 방식을 제공하는, 방법.
56. 제55항에 있어서,
    상기 제1 디스플레이 생성 컴포넌트를 포함하는 상기 컴퓨팅 시스템이 상기 사용자에 대해 상기 제1 미리정의된 구성에 있는 동안 상기 사용자에 의해 착용되고 있다는 결정에 따라, 상기 컴퓨팅 시스템은, 상기 제1 컴퓨터 생성 경험과의 상호작용을 위해, 상기 제1 디스플레이 생성 컴포넌트 또는 그의 하우징 상에 배치되는 적어도 하나의 입력 디바이스에 대한 상기 제2 입력 방식을 디스에이블시키는, 방법.
57. 제53항 내지 제56항 중 어느 한 항에 있어서,
    상기 컴퓨팅 시스템은 상기 제1 컴퓨터 생성 경험 및 상기 제2 컴퓨터 생성 경험 둘 모두에서 제1 가상 콘텐츠를 제공하고;
    상기 컴퓨팅 시스템은, 상기 제1 가상 콘텐츠가 상기 제1 컴퓨터 생성 경험에서 제공될 때, 상기 제1 가상 콘텐츠에 대한 제1 상호작용 방식을 인에이블하며;
    상기 컴퓨팅 시스템은, 상기 제1 가상 콘텐츠가 상기 제2 컴퓨터 생성 경험에서 제공될 때, 상기 제1 가상 콘텐츠에 대한, 상기 제1 상호작용 방식과는 상이한 제2 상호작용 방식을 인에이블하는, 방법.
58. 제53항 내지 제57항 중 어느 한 항에 있어서,
    상기 제1 컴퓨터 생성 경험은 상이한 컴퓨터 생성 경험들에 대응하는 복수의 사용자 인터페이스 객체들을 포함하고, 상기 복수의 사용자 인터페이스 객체들 각각은, 사용자 입력에 의해 활성화될 때, 상기 컴퓨팅 시스템으로 하여금 상기 사용자 인터페이스 객체에 대응하는 각각의 컴퓨터 생성 경험을 시작하게 하며;
    상기 제2 컴퓨터 생성 경험은 상기 컴퓨팅 시스템의 카메라를 제어하기 위한 카메라 사용자 인터페이스인, 방법.
59. 제53항 내지 제58항 중 어느 한 항에 있어서,
    상기 제1 디스플레이 생성 컴포넌트를 포함하는 상기 컴퓨팅 시스템이 상기 사용자에 대해 상기 제1 미리정의된 구성에 있는 동안 상기 사용자에 의해 착용되고 있다는 결정에 따라, 상기 컴퓨팅 시스템은, 상기 제1 디스플레이 생성 컴포넌트 및 그의 하우징으로부터 떨어져 손에 의해 수행되는 제스처들에 기초하여, 상기 제1 컴퓨터 생성 경험과의 상호작용을 가능하게 하고;
    상기 제1 디스플레이 생성 컴포넌트를 포함하는 상기 컴퓨팅 시스템이 상기 사용자에 대해 상기 제1 미리정의된 구성에 있는 동안 상기 사용자에 의해 착용되고 있지 않다는 결정에 따라, 상기 컴퓨팅 시스템은, 상기 제1 디스플레이 생성 컴포넌트 또는 그의 하우징 상에서 손에 의해 수행되는 제스처들에 기초하여, 상기 제2 컴퓨터 생성 경험과의 상호작용을 가능하게 하는, 방법.
60. 방법으로서,
    제1 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨팅 시스템에서,
    물리적 환경 내의 물리적 객체의 위치에 대응하는 3차원 환경 내의 위치에 상기 물리적 객체의 표현을 디스플레이하는 동안, 상기 물리적 객체에 대응하는 컴퓨터 생성 경험이 상기 제1 디스플레이 생성 컴포넌트를 통한 디스플레이를 위해 이용가능하다는 시각적 표시를 디스플레이하는 단계;
    컴퓨터 생성 경험이 상기 제1 디스플레이 생성 컴포넌트를 통한 디스플레이를 위해 이용가능하다는 상기 시각적 표시를 디스플레이하는 동안, 상기 물리적 환경 내의 상기 물리적 객체와의 상호작용을 검출하는 단계; 및
    상기 물리적 환경 내의 상기 물리적 객체와의 상기 상호작용을 검출하는 것에 응답하여,
    상기 물리적 환경 내의 상기 물리적 객체와의 상기 상호작용이 상기 물리적 객체에 대응하는 제1 기준들을 충족시킨다는 결정에 따라, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 물리적 객체에 대응하는 상기 컴퓨터 생성 경험을 디스플레이하고;
    상기 물리적 환경 내의 상기 물리적 객체와의 상기 상호작용이 상기 제1 기준들을 충족시키지 않는다는 결정에 따라, 상기 물리적 객체에 대응하는 상기 컴퓨터 생성 경험을 디스플레이하는 것을 보류하는 단계를 포함하는, 방법.
61. 제60항에 있어서,
    상기 물리적 환경의 제1 부분의 표현을 디스플레이하는 것으로부터 상기 물리적 환경의 제2 부분의 표현을 디스플레이하는 것으로 스위칭하는 것을 포함하여, 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 3차원 환경의 뷰를 변경하는 단계; 및
    상기 3차원 환경의 뷰를 변경하는 것에 응답하여,
    상기 물리적 환경의 제1 부분이 상기 물리적 객체의 임계 부분 미만의 부분을 포함하고, 상기 물리적 환경의 제2 부분이 상기 물리적 객체의 임계 부분 초과의 부분을 포함한다는 결정에 따라, 상기 물리적 환경 내의 상기 물리적 객체의 위치에 대응하는 상기 3차원 환경의 뷰 내의 위치에 상기 시각적 표시를 디스플레이하고;
    상기 물리적 환경의 제1 부분이 상기 물리적 객체의 임계 부분 초과의 부분을 포함하고, 상기 물리적 환경의 제2 부분이 상기 물리적 객체의 임계 부분 미만의 부분을 포함한다는 결정에 따라, 상기 3차원 환경의 뷰에 상기 시각적 표시를 디스플레이하는 것을 중지하는 단계를 포함하는, 방법.
62. 제60항 또는 제61항에 있어서,
    상기 물리적 환경 내의 상기 물리적 객체와의 상기 상호작용을 검출하는 것에 응답하여,
    상기 물리적 환경 내의 상기 물리적 객체와의 상기 상호작용이 상기 물리적 객체에 대응하는 상기 제1 기준들과는 상이한, 상기 물리적 객체에 대응하는 제2 기준들을 충족시킨다는 결정에 따라, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 컴퓨터 생성 경험의 이용가능성을 나타내는 시각적 피드백을 디스플레이하는 단계 - 상기 시각적 피드백은 상기 시각적 표시와 상이하고 상기 컴퓨터 생성 경험과 상이함 - 를 포함하는, 방법.
63. 제62항에 있어서, 상기 시각적 피드백은 상기 제1 기준들을 충족시키는 상기 물리적 객체와의 상호작용의 유형에 대한 안내를 제공하는, 방법.
64. 제62항 또는 제63항에 있어서, 상기 3차원 환경에서의 상기 시각적 피드백의 위치는, 상기 물리적 객체가 상기 물리적 환경 내의 상기 물리적 객체와의 상기 상호작용에 응답하여 이동하는 동안 상기 물리적 객체의 현재 위치에 기초하여 선택되는, 방법.
65. 제62항 내지 제64항 중 어느 한 항에 있어서, 상기 시각적 피드백의 제1 특성의 값은 상기 물리적 환경 내의 상기 물리적 객체와의 상기 상호작용의 제2 특성의 값에 따라 조정되는, 방법.
66. 제62항 내지 제65항 중 어느 한 항에 있어서,
    상기 물리적 환경 내의 상기 물리적 객체와의 상기 상호작용의 제1 특성의 제1 양의 변화는 상기 시각적 피드백의 제2 특성의 값의 제1 양의 변화를 야기하고;
    상기 물리적 환경 내의 상기 물리적 객체와의 상기 상호작용의 제1 특성의 제2 양의 변화는 상기 시각적 피드백의 제2 특성의 값의 제2 양의 변화를 야기하는, 방법.
67. 제60항 내지 제66항 중 어느 한 항에 있어서, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 물리적 객체에 대응하는 상기 컴퓨터 생성 경험을 디스플레이하는 것은,
    상기 물리적 객체와의 상기 상호작용이 제1 미리결정된 입력 양식(input modality)에 대응한다는 결정에 따라, 상기 제1 미리결정된 입력 양식에 대응하는 상기 컴퓨터 생성 경험의 제1 버전을 디스플레이하는 것; 및
    상기 물리적 객체와의 상기 상호작용이 제2 미리결정된 입력 양식에 대응한다는 결정에 따라, 상기 제2 미리결정된 입력 양식에 대응하는 상기 컴퓨터 생성 경험의 제2 버전을 디스플레이하는 것을 포함하는, 방법.
68. 제60항 내지 제67항 중 어느 한 항에 있어서, 상기 컴퓨터 생성 경험은 가상 현실 경험이고, 상기 컴퓨터 생성 경험을 디스플레이하는 것은 상기 3차원 환경에서 상기 물리적 객체의 표현을 디스플레이하는 것을 중지하는 것을 포함하는, 방법.
69. 제60항 내지 제67항 중 어느 한 항에 있어서, 상기 컴퓨터 생성 경험은 증강 현실 경험이고, 상기 컴퓨터 생성 경험을 디스플레이하는 것은 상기 3차원 환경에서 상기 물리적 객체의 표현의 디스플레이를 유지하는 것을 포함하는, 방법.
70. 방법으로서,
    하우징, 상기 하우징 내에 포함되는 제1 디스플레이 생성 컴포넌트, 및 하나 이상의 입력 디바이스들을 포함하는 컴퓨팅 시스템에서,
    상기 제1 디스플레이 생성 컴포넌트를 포함하는 상기 하우징 상에서 제1 손을 검출하는 단계; 및
    상기 제1 디스플레이 생성 컴포넌트를 포함하는 상기 하우징 상에서 상기 제1 손을 검출하는 것에 응답하여,
    상기 하우징 상에서 제2 손이 검출되는 것과 함께 상기 제1 손이 검출된다는 결정에 따라, 상기 제1 손과 연관된 동작의 수행을 보류하고;
    상기 하우징 상에서 다른 손을 검출하지 않고서 상기 제1 손이 상기 하우징 상에서 검출된다는 결정에 따라, 상기 제1 손과 연관된 동작을 수행하는 단계를 포함하는, 방법.
71. 제70항에 있어서, 상기 컴퓨팅 시스템은 다수의 동작 상태들을 갖고, 상기 제1 손과 연관된 상기 동작을 수행하는 단계는,
    상기 하우징 상의 상기 제1 손이 제1 기준들을 충족시킨다는 결정에 따라, 상기 제1 기준들에 대응하는 제1 방식으로 상기 컴퓨팅 시스템의 동작 상태를 변경하는 제1 동작을 수행하는 단계; 및
    상기 하우징 상의 상기 제1 손이 상기 제1 기준들과는 상이한 제2 기준들을 충족시킨다는 결정에 따라, 상기 제2 기준들에 대응하는, 상기 제1 방식과는 상이한 제2 방식으로 상기 컴퓨팅 시스템의 동작 상태를 변경하는 제2 동작을 수행하는 단계를 포함하는, 방법.
72. 제70항 또는 제71항에 있어서,
    상기 제1 기준들은 제1 위치 기준을 포함하고, 상기 제1 위치 기준은, 상기 제1 위치 기준이 충족되기 위해, 상기 제1 손이 상기 하우징의 제1 미리결정된 부분 상에서 검출될 것을 요구하며,
    상기 제2 기준들은 제2 위치 기준을 포함하고, 상기 제2 위치 기준은, 상기 제2 위치 기준이 충족되기 위해, 상기 제1 손이 상기 하우징의 제2 미리결정된 부분 상에서 검출될 것을 요구하며, 상기 하우징의 제2 미리결정된 부분은 상기 하우징의 제1 미리결정된 부분과는 상이한, 방법.
73. 제70항 내지 제72항 중 어느 한 항에 있어서,
    상기 제1 기준들은, 상기 제1 기준들이 충족되기 위해 상기 제1 손이 상기 하우징에 대해 제1 이동을 행할 것을 요구하는 제1 이동 기준을 포함하고,
    상기 제2 기준들은, 상기 제2 기준들이 충족되기 위해 상기 제1 손이 상기 하우징에 대해 제2 이동을 행할 것을 요구하는 제2 이동 기준을 포함하고, 상기 제2 이동은 상기 제1 이동과는 상이한, 방법.
74. 제70항 내지 제73항 중 어느 한 항에 있어서,
    상기 제1 기준들은, 상기 제1 기준들이 충족되기 위해 상기 제1 손이 상기 하우징 상에 있는 동안 제1 미리결정된 자세로 있을 것을 요구하는 제1 자세 기준을 포함하고,
    상기 제2 기준들은, 상기 제2 기준들이 충족되기 위해 상기 제1 손이 상기 하우징 상에 있는 동안 제2 미리결정된 자세로 있을 것을 요구하는 제2 자세 기준을 포함하고, 상기 제2 미리결정된 자세는 상기 제1 미리결정된 자세와는 상이한, 방법.
75. 제70항 내지 제74항 중 어느 한 항에 있어서, 상기 제1 디스플레이 생성 컴포넌트를 포함하는 상기 하우징 상에서 상기 제1 손을 검출하는 것에 응답하여, 그리고 상기 하우징 상에서 다른 손을 검출하지 않고서 상기 제1 손이 상기 하우징 상에서 검출된다는 결정에 따라, 상기 제1 손과 연관된 상기 동작을 수행하는 단계는,
    시각 조정 기준들이 충족된다는 결정에 따라 - 상기 시각 조정 기준들은, 상기 시각 조정 기준들이 충족되기 위해, 상기 컴퓨팅 시스템이 제1 동작 상태로 동작하고 있는 동안 상기 제1 손에 의해 서로 함께 충족되어야 하는 각각의 위치 기준 및 각각의 자세 기준을 포함함 -, 상기 컴퓨팅 시스템의 동작 상태를 상기 제1 동작 상태로부터 상기 제1 동작 상태와는 상이한 제2 동작 상태로 변경하는 단계를 포함하고, 상기 제1 디스플레이 생성 컴포넌트는, 상기 컴퓨팅 시스템이 상기 제1 동작 상태에 있었을 때와 비교하여, 상기 컴퓨팅 시스템이 상기 제2 동작 상태에 있는 동안, 상기 제1 디스플레이 생성 컴포넌트를 둘러싸는 물리적 환경의 증가된 뷰를 제공하는, 방법.
76. 제75항에 있어서,
    상기 컴퓨팅 시스템이 상기 제2 동작 상태에 있는 동안, 상기 시각 조정 기준들이 더 이상 상기 제1 손에 의해 충족되지 않는다는 것을 검출하는 단계; 및
    상기 시각 조정 기준들이 더 이상 상기 제1 손에 의해 충족되지 않는다는 것을 검출하는 것에 응답하여, 상기 컴퓨팅 시스템의 동작 상태를 상기 제2 동작 상태로부터 상기 제1 동작 상태로 복원하는 단계를 포함하는, 방법.
77. 제70항 내지 제76항 중 어느 한 항에 있어서, 상기 제1 디스플레이 생성 컴포넌트를 포함하는 상기 하우징 상에서 상기 제1 손을 검출하는 것에 응답하여, 그리고 상기 하우징 상에서 다른 손을 검출하지 않고서 상기 제1 손이 상기 하우징 상에서 검출된다는 결정에 따라, 상기 제1 손과 연관된 상기 동작을 수행하는 단계는,
    오디오 조정 기준들이 충족된다는 결정에 따라 - 상기 오디오 조정 기준들은, 상기 오디오 조정 기준들이 충족되기 위해, 상기 컴퓨팅 시스템이 제3 동작 상태로 동작하고 있는 동안 상기 제1 손에 의해 서로 함께 충족되어야 하는 각각의 위치 기준 및 각각의 자세 기준을 포함함 -, 상기 컴퓨팅 시스템의 동작 상태를 상기 제3 동작 상태로부터 상기 제3 동작 상태와는 상이한 제4 동작 상태로 변경하는 단계를 포함하고, 상기 컴퓨팅 시스템의 제1 오디오 생성 컴포넌트는, 상기 컴퓨팅 시스템이 상기 제3 동작 상태에 있었을 때와 비교하여, 상기 컴퓨팅 시스템이 상기 제4 동작 상태에 있는 동안, 상기 제1 오디오 생성 컴포넌트를 둘러싸는 물리적 환경으로부터 증가된 양의 패스 스루(pass-through) 소리를 제공하는, 방법.
78. 제77항에 있어서,
    상기 컴퓨팅 시스템이 상기 제4 동작 상태에 있는 동안, 상기 오디오 조정 기준들이 더 이상 상기 제1 손에 의해 충족되지 않는다는 것을 검출하는 단계; 및
    상기 오디오 조정 기준들이 더 이상 상기 제1 손에 의해 충족되지 않는다는 것을 검출하는 것에 응답하여, 상기 컴퓨팅 시스템의 동작 상태를 상기 제4 동작 상태로부터 상기 제3 동작 상태로 복원하는 단계를 포함하는, 방법.
79. 제70항 내지 제78항 중 어느 한 항에 있어서, 상기 제1 디스플레이 생성 컴포넌트를 포함하는 상기 하우징 상에서 상기 제1 손을 검출하는 것에 응답하여, 그리고 상기 하우징 상에서 다른 손을 검출하지 않고서 상기 제1 손이 상기 하우징 상에서 검출된다는 결정에 따라, 상기 제1 손과 연관된 상기 동작을 수행하는 단계는,
    프라이버시 조정 기준들이 충족된다는 결정에 따라 - 상기 프라이버시 조정 기준들은, 상기 프라이버시 조정 기준들이 충족되기 위해 상기 제1 손에 의해 서로 함께 충족되어야 하는 각각의 이동 기준 및 각각의 자세 기준을 포함함 -, 상기 컴퓨팅 시스템의 동작 상태를 제5 동작 상태로부터 상기 제5 동작 상태와는 상이한 제6 동작 상태로 변경하는 단계를 포함하고, 상기 컴퓨팅 시스템의 제2 디스플레이 생성 컴포넌트는 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠에 관한 제1 양의 상태 정보를 제공하는 것과 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 콘텐츠에 관한 제2 양의 상태 정보를 제공하는 것 사이에서 스위칭하는, 방법.
80. 제79항에 있어서, 상기 상태 정보는, 또한, 상기 제1 디스플레이 생성 컴포넌트의 콘텐츠 디스플레이 면을 향하는 사용자의 눈들의 표현을 포함하고, 상기 컴퓨팅 시스템의 동작 상태를 상기 제5 동작 상태로부터 상기 제5 동작 상태와는 상이한 상기 제6 동작 상태로 변경하는 단계는 상기 제1 디스플레이 생성 컴포넌트를 통해 상기 사용자의 눈들의 표현을 디스플레이하는 것과 상기 사용자의 눈들의 표현을 디스플레이하지 않는 것 사이에서 스위칭하는 단계를 포함하는, 방법.
81. 제79항 또는 제80항에 있어서,
    상기 컴퓨팅 시스템이 상기 제6 동작 상태에 있는 동안, 상기 프라이버시 조정 기준들이 더 이상 상기 제1 손에 의해 충족되지 않는다는 것을 검출하는 단계; 및
    상기 프라이버시 조정 기준들이 더 이상 상기 제1 손에 의해 충족되지 않는다는 것을 검출하는 것에 응답하여, 상기 컴퓨팅 시스템의 동작 상태를 상기 제6 동작 상태로 유지하는 단계를 포함하는, 방법.
82. 제79항 내지 제81항 중 어느 한 항에 있어서,
    상기 컴퓨팅 시스템이 상기 제6 동작 상태에 있는 동안, 상기 프라이버시 조정 기준들이 상기 제1 손에 의해 다시 충족된다는 것을 검출하는 단계; 및
    상기 컴퓨팅 시스템이 상기 제6 동작 상태에 있는 동안, 상기 프라이버시 조정 기준들이 다시 충족된다는 것을 검출하는 것에 응답하여, 상기 컴퓨팅 시스템의 동작 상태를 상기 제6 동작 상태로부터 상기 제5 동작 상태로 변경하는 단계 - 상기 컴퓨팅 시스템의 제2 디스플레이 생성 컴포넌트는, 마지막으로 상기 프라이버시 조정 기준들이 충족되었던 것에 응답하여 이루어진, 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 콘텐츠에 관한 상기 제1 양의 상태 정보를 제공하는 것과 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 콘텐츠에 관한 상기 제2 양의 상태 정보를 제공하는 것 사이의 스위칭을 반전시킴 - 를 포함하는, 방법.
83. 제79항 내지 제81항 중 어느 한 항에 있어서, 상기 프라이버시 조정 기준들이 충족된다는 상기 결정에 따라, 상기 컴퓨팅 시스템의 동작 상태를 상기 제5 동작 상태로부터 상기 제6 동작 상태로 변경하는 단계는,
    상기 제1 손이 상기 프라이버시 조정 기준들의 각각의 이동 기준 및 각각의 자세 기준을 충족시키면서 제1 방향으로 이동한다는 결정에 따라, 상기 제2 디스플레이 생성 컴포넌트가 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 콘텐츠에 관한 상태 정보의 양을 증가시키는 단계; 및
    상기 제1 손이 상기 제1 방향과는 상이한 제2 방향으로 이동한다는 결정에 따라, 상기 제2 디스플레이 생성 컴포넌트가 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 콘텐츠에 관한 상기 상태 정보의 양을 감소시키는 단계를 포함하는, 방법.
84. 제70항 내지 제83항 중 어느 한 항에 있어서,
    상기 제1 디스플레이 생성 컴포넌트를 포함하는 상기 하우징 상에서 상기 제1 손을 검출하는 것에 응답하여, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 컴퓨팅 시스템의 하나 이상의 기능들에 대응하는 각각의 시각적 표현들을 디스플레이하는 단계를 포함하는, 방법.
85. 제84항에 있어서,
    상기 제1 손이 상기 제1 디스플레이 생성 컴포넌트를 포함하는 상기 하우징에 접근하는 것을 검출하는 것에 응답하여, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제1 디스플레이 생성 컴포넌트에 의해 제공되는 시야의 주변 영역으로부터 나오는 상기 컴퓨팅 시스템의 하나 이상의 기능들에 대응하는 상기 각각의 시각적 표현들을 보여주는 애니메이션화된 전이를 디스플레이하는 단계를 포함하는, 방법.
86. 제84항 또는 제85항에 있어서, 상기 하우징 상에서 다른 손을 검출하지 않는 것과 함께 상기 제1 손이 검출된다는 상기 결정에 따라, 상기 제1 손과 연관된 상기 동작을 수행하는 단계는,
    상기 제1 손이 상기 컴퓨팅 시스템의 제1 기능에 대응하는 제1 시각적 표현에 대응하는 제1 위치에서 상기 하우징과 접촉하고, 상기 제1 손이 상기 제1 기능과 연관된 각각의 제어부 활성화 기준들을 충족시킨다는 결정에 따라, 상기 컴퓨팅 시스템의 제1 기능을 활성화하는 단계; 및
    상기 제1 손이 상기 컴퓨팅 시스템의 제2 기능에 대응하는 제2 시각적 표현에 대응하는 제2 위치에서 상기 하우징과 접촉하고, 상기 제1 손이 상기 제2 기능과 연관된 각각의 제어부 활성화 기준들을 충족시킨다는 결정에 따라, 상기 컴퓨팅 시스템의 제2 기능을 활성화하는 단계를 포함하는, 방법.
87. 실행가능한 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 실행가능한 명령어들은, 하나 이상의 프로세서들, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템에 의해 실행될 때, 상기 컴퓨팅 시스템으로 하여금 제1항 내지 제14항 중 어느 한 항의 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
88. 컴퓨팅 시스템으로서,
    하나 이상의 프로세서들;
    제1 디스플레이 생성 컴포넌트;
    제2 디스플레이 생성 컴포넌트; 및
    상기 하나 이상의 프로세서들에 의한 실행을 위해 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 제1항 내지 제14항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨팅 시스템.
89. 하나 이상의 프로세서들, 제1 디스플레이 생성 시스템 및 제2 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템으로서,
    제1항 내지 제14항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨팅 시스템.
90. 하나 이상의 프로세서들, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
    제1항 내지 제14항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
91. 실행가능한 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 실행가능한 명령어들은, 하나 이상의 프로세서들, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템에 의해 실행될 때, 상기 컴퓨팅 시스템으로 하여금 제15항 내지 제37항 중 어느 한 항의 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
92. 컴퓨팅 시스템으로서,
    하나 이상의 프로세서들;
    제1 디스플레이 생성 컴포넌트;
    제2 디스플레이 생성 컴포넌트; 및
    상기 하나 이상의 프로세서들에 의한 실행을 위해 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 제15항 내지 제37항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨팅 시스템.
93. 하나 이상의 프로세서들, 제1 디스플레이 생성 시스템 및 제2 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템으로서,
    제15항 내지 제37항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨팅 시스템.
94. 하나 이상의 프로세서들, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
    제15항 내지 제37항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
95. 실행가능한 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 실행가능한 명령어들은, 하나 이상의 프로세서들, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템에 의해 실행될 때, 상기 컴퓨팅 시스템으로 하여금 제38항 내지 제52항 중 어느 한 항의 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
96. 컴퓨팅 시스템으로서,
    하나 이상의 프로세서들;
    제1 디스플레이 생성 컴포넌트;
    제2 디스플레이 생성 컴포넌트; 및
    상기 하나 이상의 프로세서들에 의한 실행을 위해 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 제38항 내지 제52항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨팅 시스템.
97. 하나 이상의 프로세서들, 제1 디스플레이 생성 시스템 및 제2 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템으로서,
    제38항 내지 제52항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨팅 시스템.
98. 하나 이상의 프로세서들, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
    제38항 내지 제52항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
99. 실행가능한 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 실행가능한 명령어들은, 하나 이상의 프로세서들, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템에 의해 실행될 때, 상기 컴퓨팅 시스템으로 하여금 제53항 내지 제59항 중 어느 한 항의 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
100. 컴퓨팅 시스템으로서,
     하나 이상의 프로세서들;
     제1 디스플레이 생성 컴포넌트;
     제2 디스플레이 생성 컴포넌트; 및
     상기 하나 이상의 프로세서들에 의한 실행을 위해 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 제53항 내지 제59항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨팅 시스템.
101. 하나 이상의 프로세서들, 제1 디스플레이 생성 시스템 및 제2 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템으로서,
     제53항 내지 제59항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨팅 시스템.
102. 하나 이상의 프로세서들, 제1 디스플레이 생성 컴포넌트 및 제2 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
     제53항 내지 제59항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
103. 실행가능한 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 실행가능한 명령어들은, 하나 이상의 프로세서들 및 제1 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템에 의해 실행될 때, 상기 컴퓨팅 시스템으로 하여금 제60항 내지 제69항 중 어느 한 항의 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
104. 컴퓨팅 시스템으로서,
     하나 이상의 프로세서들;
     제1 디스플레이 생성 컴포넌트; 및
     상기 하나 이상의 프로세서들에 의한 실행을 위해 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 제60항 내지 제69항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨팅 시스템.
105. 하나 이상의 프로세서들 및 제1 디스플레이 생성 시스템을 갖는 컴퓨팅 시스템으로서,
     제60항 내지 제69항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨팅 시스템.
106. 하나 이상의 프로세서들 및 제1 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
     제60항 내지 제69항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
107. 실행가능한 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 실행가능한 명령어들은, 하나 이상의 프로세서들 및 제1 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템에 의해 실행될 때, 상기 컴퓨팅 시스템으로 하여금 제70항 내지 제86항 중 어느 한 항의 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
108. 컴퓨팅 시스템으로서,
     하나 이상의 프로세서들;
     제1 디스플레이 생성 컴포넌트; 및
     상기 하나 이상의 프로세서들에 의한 실행을 위해 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 제70항 내지 제86항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨팅 시스템.
109. 하나 이상의 프로세서들 및 제1 디스플레이 생성 시스템을 갖는 컴퓨팅 시스템으로서,
     제70항 내지 제86항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨팅 시스템.
110. 하나 이상의 프로세서들 및 제1 디스플레이 생성 컴포넌트를 갖는 컴퓨팅 시스템에서 사용하기 위한 정보 프로세싱 장치로서,
     제70항 내지 제86항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
     

Images