KR20200100150A - 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 방법들 및 시스템 - Google Patents

Abstract

혼합 현실 환경에서 가상 콘텐츠를 각각의 애플리케이션에 의해 독립적으로 1대 1로 관리하고 디스플레이하기 위한 접근 방식이 개시되는데, 각각의 가상 콘텐츠는 이들 개개의 애플리케이션에 의해, 본 명세서에서 "프리즘"으로 지칭되는 경계 볼륨에 렌더링된다. 각각의 프리즘은 유니버스 애플리케이션이 프리즘 자체를 관리함으로써 혼합 현실 환경에서 가상 콘텐츠의 배치 및 디스플레이를 관리할 수 있도록 유니버스 애플리케이션이 혼합 현실 환경에서 프리즘을 관리하고 디스플레이할 수 있게 하는 특징들 및 속성들을 가질 수 있다.

Description

혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 방법들 및 시스템

[0001] 본 개시내용은 일반적으로 하나 이상의 사용자들에 대한 대화형 가상 또는 증강 현실 환경들을 가능하게 하도록 구성된 시스템들 및 방법들에 관한 것이다.

[0002] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실"(VR: virtual reality), "증강 현실"(AR: augmented reality) 경험들 및/또는 (이하 집합적으로 "혼합 현실" 및/또는 "MR(mixed reality)"로 지칭되는) "혼합 현실" 경험들을 위한 시스템들의 개발을 가능하게 했으며, 여기서 디지털 방식으로 재생된 이미지들 또는 그 이미지들의 부분들은, 이들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제시된다. VR 시나리오는 통상적으로 다른 실제 실세계 시각 입력에 대한 투명도(transparency) 없이 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하는 반면, AR 또는 MR 시나리오는 통상적으로, 디지털 또는 가상 이미지(예컨대, 가상 콘텐츠)가 실세계의 일부인 것으로 나타날 수 있도록 사용자 주위 실세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다. 그러나 MR은 가상 콘텐츠를 상황에 따라 의미 있는 방식으로 통합할 수 있지만, AR은 그렇지 않을 수 있다.

[0003] 따라서 혼합 현실 환경에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 접근 방식에 대한 필요성이 존재한다.

[0004] 일부 실시예들에 따르면, 혼합 현실 환경에서 가상 콘텐츠를 각각의 애플리케이션에 의해 독립적으로 한 번에 하나씩 관리하고 디스플레이하는 대신, 각각의 가상 콘텐츠가 이들 개개의 애플리케이션에 의해 경계 볼륨(bounded volume)에 렌더링되는데, 경계 볼륨은 이하 "프리즘(Prism)"으로 지칭될 수 있다. 각각의 프리즘은, 유니버스(universe) 애플리케이션이 프리즘 자체를 관리함으로써 혼합 현실 환경에서 가상 콘텐츠의 배치 및 디스플레이를 관리할 수 있도록, 간혹 유니버스 애플리케이션이라 하는 애플리케이션이 혼합 현실 환경에서 프리즘을 관리하고 디스플레이할 수 있게 하는 특징들 및 속성들을 가질 수 있다.

[0005] 하나의 실시예는 3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법에 관한 것으로, 이 방법은, 1) 애플리케이션으로부터, 3D 공간 환경에서 가상 콘텐츠를 디스플레이하라는 요청을 수신하는 단계, 2) 가상 콘텐츠의 디스플레이를 관리하기 위한 프리즘을 생성하는 단계 ― 프리즘은 프리즘의 경계 내부에서 가상 콘텐츠의 경계를 이루도록 구성된 정육면체 및/또는 직사각형 공간 볼륨임 ―, 3) 애플리케이션으로부터 가상 콘텐츠를 수신하는 단계, 4) 프리즘의 경계 내부에서 가상 콘텐츠를 렌더링하는 단계, 5) 사용자 입력에 적어도 부분적으로 기초하여 3D 공간 환경 내의 오브젝트에 프리즘을 연관시키는 단계, 및 6) 프리즘을 3D 공간 환경에 앵커링(anchor)하는 단계를 포함한다.

[0006] 하나 이상의 실시예들에서, 프리즘의 경계의 테두리들은 디스플레이되지 않는다. 3D 공간 환경은 사용자의 물리적 실세계 환경일 수 있다. 한 세트의 기능들을 갖는 프리즘이 자동으로 생성될 수 있다. 한 세트의 기능들은 프리즘에 허용되는 최소/최대 크기, 및/또는 프리즘의 크기를 조정하기 위한 종횡비를 포함할 수 있다. 한 세트의 기능들은 3D 공간 환경 내의 오브젝트와 프리즘 간의 연관을 포함할 수 있다. 애플리케이션은 추가 가상 콘텐츠를 추가 프리즘들에 렌더링할 수 있고, 각각의 가상 콘텐츠는 별도의 프리즘에 렌더링될 수 있다.

[0007] 하나 이상의 실시예들에서, 프리즘은 3D 공간 환경 내의 다른 프리즘들과 오버랩하지 않는다. 프리즘은 서로 다른 애플리케이션들이 서로 적절하게 상호 작용함을 보장하기 위한 하나 이상의 범용 특징들, 및/또는 하나 이상의 애플리케이션별 특징들을 포함할 수 있으며, 하나 이상의 범용 특징들 및 하나 이상의 애플리케이션별 특징들은 사전 승인된 옵션들의 리스트로부터 선택된다.

[0008] 다른 실시예는 3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 디스플레이 시스템에 관한 것으로, 이 디스플레이 시스템은 증강 현실 머리 장착 디스플레이 시스템 및 데이터를 처리하기 위한 하나 이상의 모듈들을 포함하며, 하나 이상의 모듈들은 하나 이상의 메모리에 저장되고, 하나 이상의 모듈들은 1) 애플리케이션으로부터, 3D 공간 환경에서 가상 콘텐츠를 디스플레이하라는 요청을 수신하는 것, 2) 프리즘을 생성하는 것 ― 프리즘은 프리즘의 경계 내부에서 가상 콘텐츠의 경계를 이루도록 구성된 공간 볼륨임 ―, 3) 애플리케이션으로부터 가상 콘텐츠를 수신하는 것, 4) 프리즘의 경계들 내부에서 가상 콘텐츠를 렌더링하는 것, 그리고 5) 3D 공간 환경 내의 오브젝트에 프리즘을 연관시키는 것을 수행하도록 구성된다.

[0009] 하나 이상의 실시예들에서, 프리즘의 경계의 테두리들은 디스플레이되지 않는다. 3D 공간 환경은 사용자의 물리적 실세계 환경일 수 있다. 한 세트의 기능들을 갖는 프리즘이 자동으로 생성될 수 있다. 한 세트의 기능들은 프리즘에 허용되는 최소/최대 크기, 및/또는 프리즘의 크기를 조정하기 위한 종횡비를 포함할 수 있다. 한 세트의 기능들은 3D 공간 환경 내의 오브젝트와 프리즘 간의 연관을 포함할 수 있다. 애플리케이션은 추가 가상 콘텐츠를 추가 프리즘들에 렌더링할 수 있고, 각각의 가상 콘텐츠는 별도의 프리즘에 렌더링될 수 있다.

[0010] 하나 이상의 실시예들에서, 프리즘은 3D 공간 환경 내의 다른 프리즘들과 오버랩하지 않는다. 프리즘은 서로 다른 애플리케이션들이 서로 적절하게 상호 작용함을 보장하기 위한 하나 이상의 범용 특징들, 및/또는 하나 이상의 애플리케이션별 특징들을 포함할 수 있으며, 하나 이상의 범용 특징들 및 하나 이상의 애플리케이션별 특징들은 사전 승인된 옵션들의 리스트로부터 선택된다.

[0011] 다른 실시예는 혼합 현실 시스템을 시작하기 위한 방법에 관한 것으로, 이 방법은 사용자의 현재 위치를 결정하는 단계, 이전에 현재 위치에 전개되었던 하나 이상의 프리즘들을 리트리브하는 단계, 하나 이상의 프리즘들을 사용자의 현재 위치에 복원하는 단계, 및 사용자의 현재 위치에 복원된 하나 이상의 프리즘들을 디스플레이하는 단계를 포함할 수 있다.

[0012] 하나 이상의 실시예들에서, 프리즘은 애플리케이션으로부터의 가상 콘텐츠가 디스플레이되는 정육면체 및/또는 직사각형 공간 볼륨이며, 애플리케이션은 하나보다 많은 프리즘에 렌더링할 수 있다. 다시 말해서, 일부 실시예들에서, 단일 애플리케이션은 하나보다 많은 프리즘에 대응할 수 있다. 일부 실시예들에서, 단일 애플리케이션은 단일 프리즘에 대응한다. 프리즘은 사용자의 현재 위치에 대한 다중 애플리케이션 장면 그래프의 서브트리를 나타낸다. 이전에 사용자의 현재 위치에 전개되었던 하나 이상의 프리즘들을 리트리브하는 단계는, 예를 들어 외부 데이터베이스로부터 하나 이상의 프리즘들에 대한 인스턴스 데이터를 리트리브하는 단계, 및 하나 이상의 프리즘들에 대한 인스턴스 데이터로 로컬 프리즘 데이터베이스를 재구성하는 단계를 포함할 수 있으며, 각각의 프리즘에 대한 인스턴스 데이터는 프리즘을 정의하는 프리즘 속성들의 데이터 구조를 포함하고, 프리즘 속성들은 위치, 배향, 범위 폭, 범위 높이, 범위 깊이, 앵커 타입 및/또는 앵커 포지션 중 적어도 하나를 포함하며, 각각의 프리즘에 대한 인스턴스 데이터는 애플리케이션에 의해 이전에 프리즘에 렌더링되었던 가상 콘텐츠의 상태 정보를 포함하는 애플리케이션 특정 속성들의 키(key) 값 쌍들을 포함한다. 일부 실시예들에서, 데이터는 로컬로 저장되고 외부 데이터베이스는 필요하지 않다.

[0013] 하나 이상의 실시예들에서, 하나 이상의 프리즘들을 복원하는 단계는, 이전에 현재 위치에 전개되었던 하나 이상의 프리즘들에 대응하는 개개의 애플리케이션들을 런칭(launch)하는 단계, 이전에 전개되었던 하나 이상의 프리즘들에 대응하는 하나 이상의 새로운 프리즘들을 생성하는 단계, 및 개개의 가상 콘텐츠를 하나 이상의 새로운 프리즘들에 렌더링하는 단계를 포함한다.

[0014] 하나 이상의 실시예들에서, 이 방법은 사용자가 하나 이상의 프리즘들과 상호 작용할 때, 사용자의 로컬 프리즘 데이터베이스를 업데이트된 프리즘 인스턴스 데이터로 업데이트하는 단계, 및 로컬 프리즘 데이터베이스를 외부 데이터베이스와 동기화하는 단계를 더 포함한다.

[0015] 일부 실시예들은 혼합 현실 시스템에서 가상 콘텐츠의 애플리케이션 상태들을 관리하기 위한 방법에 관한 것으로, 이 방법은 3D 볼륨을 볼류메트릭 그리드로 분할하는 단계를 포함할 수 있다. 이 방법은 또한, 볼류메트릭 그리드 내에서 사용자의 제1 위치를 결정하는 단계를 포함할 수 있다, 이 방법은 3D 볼륨 내에서 애플리케이션의 제2 위치를 결정하는 단계를 더 포함할 수 있다. 이 방법은 또한, 3D 볼륨 내에서 애플리케이션과 사용자 간의 거리를 계산하는 단계를 포함할 수 있다. 이 방법은 사용자와 애플리케이션 간에 계산된 거리에 적어도 부분적으로 기초하여 애플리케이션의 상태를 수정하는 단계를 추가로 포함할 수 있다.

[0016] 다른 실시예는 혼합 현실 시스템에서 가상 콘텐츠의 애플리케이션 상태들을 관리하기 위한 방법에 관한 것으로, 이 방법은 하나 이상의 애플리케이션들의 공간 포지션을 볼류메트릭 그리드에 기록하는 단계 ― 하나 이상의 애플리케이션들은 하나 이상의 개개의 프리즘들 내에 디스플레이된 콘텐츠를 제공하며, 볼류메트릭 그리드는 x, y 및 z 축으로의 물리적 환경의 대략적 표현에 대응함 ―, 셀 내에 위치된 애플리케이션을 포함하는 볼류메트릭 그리드의 셀을 식별하는 단계 ― 셀의 폭은 액티브 구역의 반경과 같거나 그보다 더 큼 ―, 혼합 현실 디바이스를 사용하는 사용자가 셀 내에서 이동할 때, 셀 및 이웃하는 셀들 내의 각각의 애플리케이션의 알려진 포지션들의 거리를 결정하는 단계, 및 혼합 현실 디바이스와 셀 및 이웃하는 셀들 내의 각각의 애플리케이션 간의 거리에 적어도 부분적으로 기초하여 애플리케이션의 상태를 수정하는 단계를 포함한다.

[0017] 하나 이상의 실시예들에서, 액티브 구역의 반경은 혼합 현실 디바이스를 사용하는 사용자 주위에 원형/구형 영역을 한정하며, 사용자는 원/구의 중심에 있을 수 있다. 일부 실시예들에서, 애플리케이션의 상태를 수정하는 단계는 애플리케이션이 다른 애플리케이션에 의해 가려지는지 여부에 적어도 부분적으로 기초할 수 있다. 일부 실시예들에서, 애플리케이션의 상태를 수정하는 단계는 사용자의 머리 포즈에 적어도 부분적으로 기초한다. 사용자의 머리 포즈는 사용자 머리의 위치 및/또는 배향의 측정이다. 머리 포즈는 사용자의 동적으로 변화하는 머리 위치 및 배향을 매칭시키도록 장면을 렌더링하여 가상/증강/혼합 공간에서 향상된 몰입감을 제공하는 데 사용될 수 있다. 일부 실시예들에서, 머리 포즈는 사용자의 머리 또는 머리 장착 디스플레이 시스템에 장착된 관성 측정 유닛에 의해 적어도 부분적으로 결정될 수 있지만, 다른 적절한 방법들이 또한 사용될 수 있다. 셀 내의 각각의 애플리케이션의 알려진 포지션들의 거리는 혼합 현실 디바이스를 사용하는 사용자가 있는 셀 및 이웃하는 셀들에 대해서만 결정될 수 있다.

[0018] 하나 이상의 실시예들에서, 액티브 구역의 외부 주위에 버퍼 구역이 있을 수 있으며, 버퍼 구역은 애플리케이션들의 상태에 대한 단속적 또는 급격한 변화들을 방지한다.

[0019] 다른 실시예는 혼합 현실 시스템에서 가상 콘텐츠를 디스플레이하기 위해 런처(launcher) 메뉴로부터 애플리케이션을 런칭하기 위한 방법에 관한 것으로, 이 방법은 애플리케이션을 시작하기 위한 요청을 수신하는 단계, 가상 콘텐츠를 디스플레이하고 관리하기 위한 프리즘을 유니버스 애플리케이션에 의해 생성하는 단계 ― 프리즘은 애플리케이션이 가상 콘텐츠를 렌더링할 경계들을 갖는 볼류메트릭 디스플레이 공간임 ―, 프리즘에 의해 라이프 사이클 서비스를 통해 애플리케이션을 시작하는 단계, 프리즘에 의해 패키지 관리자 서비스를 통해 애플리케이션의 고유 식별자(UID: unique identifier)를 결정하는 단계, 애플리케이션에 의해 유니버스 애플리케이션에 청취자를 등록하는 단계, 유니버스 애플리케이션에 의해 애플리케이션의 UID를 결정하는 단계, 유니버스 애플리케이션에 의해 프리즘을 청취자에 연관시키는 단계, 유니버스 애플리케이션에 의해 애플리케이션의 청취자를 사용하여 애플리케이션에 프리즘을 할당하는 단계, 및 프리즘을 혼합 현실 시스템의 3D 디스플레이 가능 공간의 서브세트에 배치하는 단계를 포함한다.

[0020] 일부 실시예들은 증강 현실 환경에서 애플리케이션을 열고 배치하기 위한 방법에 관한 것으로, 이 방법은 콘텐츠에 관심을 나타내는 사용자로부터의 제1 사용자 입력을 수신하는 단계를 포함할 수 있다. 이 방법은 또한, 콘텐츠를 생성하기 위해 애플리케이션을 런칭하는 단계를 포함할 수 있다. 이 방법은 3D 디스플레이 볼륨 관리 유닛의 미니 디스플레이 볼륨을 생성하는 단계를 더 포함할 수 있으며, 미니 디스플레이 볼륨에 페이지 미리보기가 디스플레이되고, 애플리케이션의 런칭과 동시에 미니 디스플레이 볼륨 관리 유닛이 생성된다. 이 방법은 미니 디스플레이 볼륨의 움직임을 나타내는 제2 사용자 입력을 수신하는 단계를 더 포함할 수 있다. 이 방법은 또한, 증강 현실 환경 내의 위치에서 미니 디스플레이 볼륨의 배치를 나타내는 제3 사용자 입력을 수신하는 단계, 및 그 위치에서 미니 디스플레이 볼륨 대신 3D 디스플레이 볼륨 관리 유닛을 확장하는 단계를 포함할 수 있으며, 3D 디스플레이 볼륨 관리 유닛은 3D 디스플레이 볼륨 관리 유닛 내에 완전히 로딩된 콘텐츠를 디스플레이한다.

[0021] 하나 이상의 실시예들에서, 제1 사용자 입력은 웹 페이지 상의 링크 위에서의 커서 이동일 수 있으며, 제2 사용자 입력은 링크의 선택, 및 미니 디스플레이 볼륨의 이동이다. 미니 디스플레이 볼륨은 3D 디스플레이 볼륨 관리 유닛의 초기 디폴트 크기일 수 있다. 사용자가 미니 디스플레이 볼륨을 이동시키고 배치하는 동안 콘텐츠가 미니 디스플레이 볼륨으로 로딩될 수 있다. 위치는 증강 현실 환경에서 오브젝트에 고정될 수 있으며, 오브젝트는 사용자이다.

[0022] 일부 실시예들은 가상 콘텐츠를 관리하기 위한 방법에 관한 것일 수 있으며, 이 방법은 콘텐츠 생성 애플리케이션으로부터 콘텐츠를 수신하는 단계를 포함할 수 있다. 이 방법은 또한, 유니버스 애플리케이션에 의해 3D 공간 환경에서 콘텐츠를 디스플레이하는 단계를 포함할 수 있다. 이 방법은 유니버스 애플리케이션에 의해 3D 공간 환경에서의 콘텐츠의 디스플레이를 지속적으로 관리하는 단계를 더 포함할 수 있다.

[0023] 일부 실시예들은 장면에 대한 장면 그래프에 액세스하는 단계를 포함하는 방법에 관한 것일 수 있으며, 장면 그래프는 하나 이상의 변환 트리들을 포함하고, 각각의 트리는 복수의 노드들을 포함한다. 이 방법은 또한, 하나 이상의 변환 트리들 내에서 복수의 노드들로부터의 하나 이상의 노드들에 태그를 추가하는 단계를 포함할 수 있으며, 태그된 하나 이상의 노드들은 변환 그룹을 형성하고, 태그된 하나 이상의 노드들은 제1 태그된 노드 및 제2 태그된 노드를 포함한다. 이 방법은 제1 태그된 노드를 이동시키는 단계를 더 포함할 수 있고, 제1 태그된 노드를 이동시키는 단계는 제2 태그된 노드가 이동하게 한다.

[0024] 다른 실시예는 3D 공유 공간에서 가상 콘텐츠를 디스플레이하는 방법에 관한 것으로, 이 방법은 제1 애플리케이션에 의해 3D 공유 공간에서 가상 콘텐츠를 생성하는 단계, 및 제1 애플리케이션에 의해 생성된 가상 콘텐츠를 제2 애플리케이션에 의해 디스플레이하는 단계를 포함할 수 있고, 제1 애플리케이션과 제2 애플리케이션은 서로 다른 애플리케이션들이다.

[0025] 일부 실시예들은 애플리케이션에 의한 디스플레이 맞춤화들의 구성들에 대한 사전 승인 옵션들의 리스트로부터의 애플리케이션 선택 특징들 및 범용 특징들을 프리즘에 할당하기 위한 방법에 관한 것이다. 다른 실시예는 하나 이상의 프리즘들에 가상 콘텐츠를 디스플레이하기 위한 방법에 관한 것으로, 하나 이상의 프리즘들은 서로 오버랩하지 않는다. 다른 실시예는 사용자에 대한 프리즘의 상대 포지션 및 위치에 적어도 부분적으로 기초하여 프리즘의 상태를 변경하기 위한 방법에 관한 것이다. 다른 실시예는 애플리케이션에서의 콘텐츠 생성을 관리하고 별도의 애플리케이션에서의 콘텐츠 디스플레이를 관리하기 위한 방법에 관한 것이다. 다른 실시예는 프리즘에 콘텐츠를 제공할 애플리케이션을 여는 동시에 혼합 현실 환경에 프리즘을 배치하기 위한 방법에 관한 것이다.

[0026] 일부 실시예들은 프리즘 내에 가상 콘텐츠를 디스플레이하기 위한 위치, 배향 및 범위 데이터를 프리즘에 할당하기 위한 방법에 관한 것으로, 가상 콘텐츠는 3D 가상 콘텐츠이다.

[0027] 하나 이상의 실시예들에서, 위치는 혼합 현실 환경의 프리즘의 앵커 포지션의 좌표이다. 범위 데이터는 프리즘의 크기를 정의한다.

[0028] 일부 실시예들은 혼합 현실 환경 내에서 실세계 오브젝트에 런처 애플리케이션을 피닝(pin)하기 위한 방법에 관한 것일 수 있다.

[0029] 하나 이상의 실시예들에서, 피닝된 런처 애플리케이션은 피닝된 런처 애플리케이션과 동일한 위치에 있는 프리즘 내에서 애플리케이션의 콘텐츠를 런칭한다.

[0030] 일부 실시예들은 각각의 프리즘에 거동 타입을 할당하기 위한 방법에 관한 것일 수 있으며, 거동 타입은 월드 락(world lock), 빌보드, 에지 빌보드, 팔로우 헤드락, 외부 센서에 기반한 팔로우, 또는 페이드(fade)(아래에서 더 상세히 설명됨) 중 적어도 하나를 포함한다. 일부 실시예들은 런처 애플리케이션의 배치된 위치에 특정한 가장 많이 사용된 콘텐츠를 식별하기 위한 방법에 관한 것이다. 일부 실시예들은 배치된 런처 애플리케이션에 의해 선호 애플리케이션들을 디스플레이하기 위한 방법에 관한 것으로, 선호 애플리케이션들은 배치된 런처의 위치에 관한 상황에 적어도 부분적으로 기초한다.

[0031] 본 개시내용의 추가 그리고 다른 목적들, 특징들 및 이점들이 상세한 설명, 도면들 및 청구항들에서 설명된다.

[0032] 도면들은 본 개시의 바람직한 실시예들의 설계 및 유용성을 예시하며, 여기서 유사한 엘리먼트들은 공통 참조 번호들로 참조된다. 본 개시내용의 앞서 언급한 그리고 다른 이점들 및 목적들이 어떻게 얻어지는지를 보다 잘 인식하기 위해, 위에서 간략히 기술된 본 개시내용의 보다 구체적인 설명은 첨부 도면들에 예시된 그 특정 실시예들을 참조하여 제공될 것이다. 이러한 도면들은 단지 본 개시내용의 일반적인 실시예들을 도시할 뿐이며 따라서 그 범위를 제한하는 것으로 여겨져서는 안 된다는 것을 이해하여, 본 개시내용은 첨부 도면들의 사용을 통해 추가 특이성 및 세부사항으로 기술 및 설명될 것이다.
[0033] 도면들은 동일한 엘리먼트들을 식별하기 위해 동일한 참조 번호들을 사용한다. "120a"와 같은 참조 번호 뒤의 문자는 텍스트가 그 특정 참조 번호를 갖는 엘리먼트를 구체적으로 지칭한다는 것을 나타낸다. 텍스트에서 "120"과 같이 후속 문자가 없는 참조 번호는 도면들에서 그 참조 번호를 갖는 엘리먼트들 중 임의의 또는 모든 엘리먼트들을 지칭한다(예컨대, 텍스트에서 "120"은 도면들에서 참조 번호들 "120a" 및/또는 "120b"를 지칭한다).
[0034] 도 1은 일부 실시예들에 따라, 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 예시적인 사용자 물리적 환경 및 시스템 아키텍처를 도시한다.
[0035] 도 2는 일부 실시예들에 따라, 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 시스템 아키텍처를 도시한다.
[0036] 도 3은 일부 실시예들에 따른 프리즘/경계 볼륨을 도시한다.
[0037] 도 4는 일부 실시예들에 따라, 가상 콘텐츠를 디스플레이하기 위한 애플리케이션들을 런칭하기 위한 런처 메뉴를 도시한다.
[0038] 도 5a - 도 5b는 일부 실시예들에 따른 패널 캐러셀(carousel) 변화를 도시한다.
[0039] 도 6은 일부 실시예들에 따라, 혼합 현실 시스템을 시작하기 위한 접근 방식에 대한 흐름도를 도시한다.
[0040] 도 7은 일부 실시예들에 따라, 혼합 현실 환경에 가상 콘텐츠를 디스플레이하기 위한 접근 방식에 대한 흐름도를 도시한다.
[0041] 도 8은 일부 실시예들에 따라, 애플리케이션 상태들을 관리하기 위한 도면이다.
[0042] 도 9는 일부 실시예들에 따라, 사용자의 위치에 대한 애플리케이션 상태를 관리하기 위한 흐름도를 도시한다.
[0043] 도 10a는 일부 실시예들에 따른 장면 그래프의 트리 노드를 예시한다.
[0044] 도 10b - 도 10aa는 일부 실시예들에 따른 다양한 변환 트리들 및 그룹 트리들을 예시한다.
[0045] 도 11은 일부 실시예들에 따라 배치된 런처의 뷰를 도시한다.
[0046] 도 12는 일부 실시예들에 따라, 런처가 유휴/휴지 상태인 동안 디스플레이될 수 있는 콘텐츠의 타입들을 도시한다.
[0047] 도 13은 일부 실시예들에 따른 보조 UI 볼륨을 도시한다.
[0048] 도 14는 일부 실시예들에 따른 바디 다이내믹(body dynamic)들의 일례를 도시한다.
[0049] 도 15는 일부 실시예들에 따른 서로 다른 타입들의 바디 다이내믹들을 도시한다.
[0050] 도 16은 일부 실시예들에 따라, 혼합 현실 환경에서 애플리케이션을 동시에 런칭하고 배치하기 위한 흐름도를 도시한다.
[0051] 도 17은 본 개시내용의 실시예들 중 하나 이상을 구현하기에 적합한 예시적인 컴퓨팅 시스템(1400)의 블록도이다.

[0052] 본 개시내용은 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하는 것과 관련된다. 혼합 현실 시스템에서 다수의 애플리케이션들이 서로 독립적으로 가상 콘텐츠를 관리하고 디스플레이하는 것을 가능하게 하는 대신에, 본 개시내용의 실시예는 혼합 현실 시스템에서 디스플레이되고 관리될(예컨대, 어떻게 그리고 어디서) 가상 콘텐츠를 프리즘들이라는 3D 윈도우들을 사용하여 관리하는 유니버스 애플리케이션을 개시한다.

[0053] 본 개시내용은 본 개시내용의 일부 실시예들이 실행될 수 있는 예시적인 혼합 현실 시스템의 설명을 제공하며, 이어서 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 프로세스들 및 메커니즘들의 하나 이상의 실시예들의 설명을 제공한다.

[0054] 다음의 설명은 본 개시내용이 실시될 수 있는 예시적인 혼합 현실 시스템에 관한 것이다. 그러나 본 개시내용은 또한 다른 타입들의 AR 및 가상 현실(VR) 시스템들에서의 애플리케이션에 적합하며, 따라서 본 개시내용은 본 명세서에 개시된 예시적인 시스템에만 제한되는 것은 아니라고 이해되어야 한다.

[0055] 도 1은 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 예시적인 사용자 물리적 환경 및 시스템 아키텍처를 도시한다. 대표적인 환경(100)은 머리 장착 시스템(160)을 통해 사용자(103)가 보는 것과 같은 사용자의 랜드스케이프(landscape)(110)를 포함한다. 사용자의 랜드스케이프(110)는 사용자 배치 콘텐츠가 실세계 위에 합성될 수 있는 월드의 3D 뷰이다. 대표적인 환경(100)은 (도시되지 않은) 네트워크에 동작 가능하게 결합된 프로세서(170)를 통해 유니버스 애플리케이션(130)에 액세스하는 것을 더 포함한다. 프로세서(170)는 머리 장착 시스템(160)으로부터 떨어진 분리된 컴포넌트로서 도시되어 있지만, 대안적인 실시예에서, 프로세서(170)는 머리 장착 시스템(160)의 하나 이상의 컴포넌트들과 통합될 수 있고 그리고/또는 예를 들어, (도시되지 않은) 컴퓨팅 네트워크 및 외부 저장 디바이스(들)(150)에 액세스하기 위한 네트워크와 같은 대표적인 환경(100) 내의 다른 시스템 컴포넌트들에 통합될 수 있다. 일부 실시예들에서, 프로세서(170)는 네트워크에 접속되지 않을 수 있다. 프로세서(170)는 머리 장착 시스템(160), 로컬 저장 디바이스(137), 애플리케이션(들)(140), 컴퓨팅 네트워크 및/또는 외부 저장 디바이스(들)(150)로부터 수신된 비디오, 오디오 및/또는 다른 데이터(예컨대, 깊이 카메라 데이터)와 같은 정보를 수신하여 처리하기 위한 소프트웨어(예컨대, 유니버스 애플리케이션(130))로 구성될 수 있다.

[0056] 유니버스 애플리케이션(130)은 예를 들어, 데스크톱 컴퓨터의 디스플레이 스크린에 디스플레이된 2D 윈도우들을 관리하기 위한 데스크톱 컴퓨터 상에서 실행되는 2D 윈도우 관리자와 유사한 3D 윈도우 관리자일 수 있다. 그러나 (이하 "유니버스"로 지칭될 수 있는) 유니버스 애플리케이션(130)은 3D 공간 환경에서 가상 콘텐츠(115)의 생성, 배치 및 디스플레이뿐만 아니라, 사용자의 랜드스케이프(110)에 디스플레이된 복수의 가상 콘텐츠(115) 간의 상호 작용들을 관리한다. 애플리케이션들(140)로부터의 가상 콘텐츠(115)는 이하 프리즘들(113)로 지칭될 수 있는 경계 볼륨들 및/또는 3D 윈도우들과 같은 하나 이상의 3D 윈도우 디스플레이 관리 유닛들 내에서 사용자들(103)에게 제시된다.

[0057] 경계 볼륨/3D 윈도우/프리즘(113)은 직사각형, 정육면체, 원통형, 또는 공간 내에 포지셔닝 및 배향될 수 임의의 다른 형상의 공간 볼륨일 수 있다. 프리즘(113)은 콘텐츠(예컨대, 가상 콘텐츠)가 렌더링/디스플레이될, 경계들을 갖는 볼류메트릭 디스플레이 공간일 수 있으며, 경계들은 디스플레이되지 않는다. 일부 실시예들에서는, 경계들이 디스플레이될 수 있다. 프리즘(113)은 애플리케이션의 콘텐츠 및 그 배치에 대한 표준 기본 레벨의 상호 작용 및 제어를 제시할 수 있다. 프리즘(113)은 유니버스 내부에 임베드될 수 있는 또는 유니버스 외부에 있지만 유니버스에 의해 액세스될 수 있는 다중 애플리케이션 장면 그래프의 서브트리를 나타낼 수 있다. 장면 그래프는 벡터 기반 그래픽들, 편집 애플리케이션들 및 최신 게임 소프트웨어에 의해 일반적으로 사용되는 일반 데이터 구조이며, 이는 그래픽 장면의 논리적이며 종종(그러나 필수는 아닌) 공간적인 표현을 배열한다. 장면 그래프는 콘텐츠가 그 구조 내에서 서로 상대적으로 어떻게 포지셔닝되고 변환되는지를 정의하는 데이터 구조로 간주될 수 있다. 애플리케이션(들)(140)에는 내부에 콘텐츠를 배치할 프리즘들(113)의 인스턴스가 제공된다. 애플리케이션들은 상대적 배치 알고리즘들 및 임의의 변환들을 사용하여 프리즘(113) 내에서 2D/3D 콘텐츠를 렌더링할 수 있지만, 유니버스는 여전히 궁극적으로 콘텐츠 추출과 같은 총 상호 작용 패턴들을 담당할 수 있다. 다수의 애플리케이션들이 프리즘들(113)을 통해 유니버스에 렌더링될 수 있으며, 프로세스 경계들은 프리즘들(113)을 분리한다. 애플리케이션 프로세스당 n개의 경계 볼륨들/프리즘들(113)이 존재(그러나 이는 명시적으로는 n:1의 관계여서, 애플리케이션마다 하나의 프로세스만이 각각의 경계 볼륨/프리즘(113)에 대해 실행되고 있을 수 있음)할 수 있지만, 각각 각자의 경계 볼륨/프리즘(113)으로 실행되는 다수의 m개의 프로세스들이 있을 수 있다.

[0058] 유니버스는 2D 및/또는 3D 콘텐츠에 대한 프리즘/분산 장면 그래프 접근 방식을 사용하여 동작한다. 유니버스 장면 그래프의 일부는 각각의 애플리케이션이 렌더링하도록 예약된다. 애플리케이션, 예를 들어 런처 메뉴, 랜드스케이프 또는 신체 중심 애플리케이션 구역들(모두 아래에서 더 상세히 설명됨)과의 각각의 상호 작용은 다중 애플리케이션 장면 그래프를 통해 이루어질 수 있다. 각각의 애플리케이션에는 장면 그래프의 서브트리를 나타내는 1 내지 n개의 직사각형 프리즘들이 할당된다. 프리즘들은 클라이언트 측 애플리케이션들에 의해 할당되는 것이 아니라, 대신 유니버스 내부에서 사용자의 상호 작용을 통해, 예를 들어 사용자가 제어기 상의 버튼을 클릭함으로써 랜드스케이프에서 새로운 애플리케이션을 열 때 생성된다. 일부 실시예들에서, 애플리케이션은 유니버스로부터의 프리즘을 요청할 수 있지만, 요청은 거부될 수 있다. 일부 실시예들에서, 애플리케이션이 새로운 프리즘을 요청하고 이러한 요청이 허용된다면, 애플리케이션은 자신의 다른 프리즘들 중 하나에 대해서만 새로운 프리즘을 변환할 수 있다.

[0059] 유니버스는 애플리케이션(들)(140)으로부터의 가상 콘텐츠(115)를 프리즘들(113)로 불리는 오브젝트들로 둘러싼다. 각각의 애플리케이션 프로세스 또는 인스턴스는 그 가상 콘텐츠를 자체적인 개별 프리즘(113) 또는 프리즘들의 세트에 렌더링할 수 있다. 유니버스는 프리즘들(113)이 디스플레이되는, 간혹 랜드스케이프라 하는 월드 공간을 관리한다. 일부 실시예들에서, 유니버스는 애플리케이션들을 벽들과 표면들에 부착하고, 프리즘들을 공간 내의 임의의 위치에 배치하고, 프리즘들을 혼합 현실 시스템의 월드 데이터베이스에 등록하고, 그리고/또는 혼합 현실 시스템의 다수의 사용자들 사이에서의 콘텐츠 공유를 제어하는 능력을 제공한다.

[0060] 일부 실시예들에서, 프리즘들(113)의 목적은 콘텐츠의 렌더링 및 디스플레이에 대한 거동들 및 제어를 제공하는 것이다. 2D 윈도우 내에서 2D 콘텐츠의 위치, 메뉴 구조들 및 디스플레이를 정의하는 데 윈도우가 사용될 수 있는 2D 디스플레이와 매우 유사하게, 3D 가상 디스플레이에서, 프리즘은 혼합 현실 시스템(예컨대, 유니버스)이 예를 들어, 3D 콘텐츠의 디스플레이 주위의 콘텐츠 위치들, 3D 윈도우 거동 및/또는 메뉴 구조들에 관련된 제어를 랩핑할 수 있게 한다. 예를 들어, 제어들은 적어도, 사용자의 랜드스케이프(110)의 특정 위치에 가상 콘텐츠를 배치하는 것, 랜드스케이프(110)로부터 가상 콘텐츠를 제거하는 것, 가상 콘텐츠를 복사하는 것 그리고/또는 사본을 다른 위치에 배치하는 것 등을 포함할 수 있다. 일부 실시예들에서, 프리즘들은 사용자에 의해 그리고 사용자에 의해서만 생성되고 파괴될 수 있다. 이는 제공된 인터페이스들의 남용을 통제하는 것을 돕도록 그리고 사용자가 사용자의 콘텐츠의 통제를 유지하는 것을 돕도록 명시적으로 이루어질 수 있다. 추가로, 일부 실시예들에서, 애플리케이션(들)(140)은 이들의 볼륨들이 랜드스케이프에서 어디에 배치되는지를 알지 못한다 ― 단지 이들이 존재한다는 것만 안다. 일부 실시예들에서, 애플리케이션들은 하나 이상의 프리즘들을 요청할 수 있고, 요청은 그랜트될 수 있거나 그랜트되지 않을 수 있다. 새로운 프리즘이 생성된 후, 사용자는 포지션을 변경할 수 있고, 그리고/또는 애플리케이션은 애플리케이션과 연관된 현재 존재하는 프리즘에 상대적으로 새로운 프리즘을 자동으로 포지셔닝할 수 있다. 일부 실시예들에서, 유니버스 서비스를 이용하여 3D 콘텐츠(예컨대, 합성된 3D 콘텐츠)를 유니버스 프로세스에 렌더링하는 각각의 애플리케이션(140)은 먼저 청취자를 유니버스에 등록하는 것이 요구될 수 있다. 이 청취자는 사용자 움직임 및 그러한 프리즘과의 사용자 상호 작용에 기초하여, 렌더링 프리즘들의 생성 및 파괴를 애플리케이션(140)에 알리는 데 사용될 수 있다. 청취자는 프로세스 간 통신 시스템으로부터 메시지를 수신하는 인터페이스 오브젝트이다. 예를 들어, 안드로이드(Android) 운영 시스템에서, 청취자는 안드로이드 바인더(Android Binder) 인터페이스를 통해 메시지들을 수신하는 오브젝트이다. 그러나 항상 바인더가 사용되는 것은 아니어서 임의의 IPC 시스템이 사용될 수 있다.

[0061] 일부 실시예들에서, 프리즘들은 다음의 상호 작용들로부터 생성될 수 있다: (1) 사용자가 (아래에서 추가 개시되는) 추출 가능한 노드로부터 콘텐츠를 추출했다; (2) 사용자가 런처로부터 애플리케이션을 시작했다; (3) 사용자가 볼 수 있는 허가를 받은 애플리케이션의 배치된 인스턴스를 포함하는 인근의 통과 가능 월드 지도 타일을 사용자가 다운로드했다; (4) 주어진 애플리케이션이 콘텐츠를 렌더링해야 하며, 통과 가능 월드 오브젝트 인식기 인프라구조가 검출한 오브젝트를 포함하는 인근의 통과 가능 월드 지도 타일을 사용자가 다운로드했다; 그리고/또는 (5) 사용자가 다른 애플리케이션에서 처리되어야 하는, 다른 애플리케이션으로부터의 디스패치를 트리거했다. 일부 실시예들에서, 통과 가능 월드 모델은 사용자가 다른 사용자에게 사용자 월드의 한 부분(예컨대, 주변 환경, 상호 작용들 등)을 효과적으로 전달할 수 있게 한다.

[0062] 추출 가능 콘텐츠는 입력 디바이스를 사용하여 프리즘에서 꺼내지고 랜드스케이프에 배치될 수 있는(아이콘, 3D 아이콘, 텍스트 디스플레이 내의 단어, 및/또는 이미지를 포함하지만 이에 제한되는 것은 아닌), 프리즘 내의 콘텐츠이다. 예를 들어, 프리즘은 판매용 러닝 슈즈를 보여주는 웹 페이지를 디스플레이할 수도 있다. 러닝 슈즈를 추출하기 위해, 입력 디바이스를 이용하여 슈즈가 선택되고 "꺼내질" 수 있다. 슈즈를 나타내는 3D 모델로 새로운 프리즘이 생성될 것이고, 그 프리즘은 원래의 프리즘에서 나와 사용자 쪽으로 이동한다. 임의의 다른 프리즘과 마찬가지로, 사용자는 입력 디바이스를 사용하여, 랜드스케이프의 3D 공간에서 슈즈를 포함하는 새로운 프리즘을 이동, 성장, 수축 또는 회전시킬 수 있다. 추출 가능한 노드는 프리즘의 장면 그래프에서 추출될 수 있는 어떤 것으로 태그된 노드이다. 유니버스에서, 콘텐츠를 추출하는 것은 추출 가능한 노드를 선택하고 입력 디바이스를 사용하여 콘텐츠를 프리즘에서 꺼내는 것을 의미한다. 이러한 꺼내기를 시작하기 위한 입력은 추출 가능한 콘텐츠를 6dof 포인팅 디바이스로 조준하고 입력 디바이스를 통해 트리거를 꺼내는 것일 수 있다.

[0063] 각각의 사용자의 개개의 개별 혼합 현실 시스템(예컨대, 혼합 현실 디바이스들)은, 통과 가능 월드 모델을 생성하기 위해 혼합 현실 시스템이 처리하는 환경을 사용자가 통과하거나 그에 존재할 때, 정보를 캡처한다. 통과 가능 월드에 대한 더 상세한 사항들은 "SYSTEM AND METHOD FOR AUGMENTED AND VIRTUAL REALITY"라는 명칭으로 2014년 3월 11일자로 출원된 미국 특허출원 제14/205,126호에서 설명되며, 이 출원은 이전에 인용에 의해 포함되었다. 개별 혼합 현실 시스템은 통과 가능 월드 모델을 클라우드로 지칭되는 공통 또는 공유 데이터 집합으로 통신 또는 전달할 수 있다. 개별 혼합 현실 시스템은 통과 가능 월드 모델을 직접 또는 클라우드를 통해 다른 사용자들에게 통신 또는 전달할 수 있다. 통과 가능 월드 모델은 적어도 사용자의 시야를 기본적으로 포함하는 정보를 효율적으로 통신 또는 전달하는 능력을 제공한다. 일 실시예에서, 시스템은 통과 가능 월드를 생성하기 위해 포즈 및 배향 정보뿐만 아니라 앞서 설명한 수집된 3D 포인트들을 사용한다. 일부 실시예들에서, 통과 가능 월드 모델은 콘텐츠(예컨대, 가상 및/또는 물리적 콘텐츠)를 실세계와 통합하는 능력을 사용자에게 허용한다. 통과 가능 월드 시스템은 클라우드 네트워크, 통과 가능 월드 모델, 한 세트의 오브젝트 인식기들 및 데이터베이스(예컨대, 외부 데이터베이스(150))에 접속할 수 있는 하나 이상의 혼합 현실 시스템들 또는 혼합 현실 사용자 디바이스들을 포함할 수 있다. 통과 가능 월드 모델은 혼합 현실 사용자 디바이스들로부터 정보를 수신하고 또한 네트워크를 통해 이들에 데이터를 송신하도록 구성될 수 있다. 예를 들어, 사용자로부터의 입력에 기초하여, 통과 가능 월드의 한 부분이 한 사용자에서 다른 사용자에게 넘겨질 수 있다. 통과 가능 월드 모델은 이미지들, 포인트들 및 다른 정보(예컨대, 실세계 정보)의 집합으로 여겨질 수 있는데, 이들을 기초로 혼합 현실 시스템이 클라우드 상에서 가상 월드를 구성, 업데이트 및 구축할 수 있고 가상 월드의 부분들을 다양한 사용자들에게 효과적으로 전달할 수 있다. 예를 들어, 혼합 현실 사용자 디바이스로부터 수집된 한 세트의 실세계 포인트들이 통과 가능 월드 모델로 수집될 수 있다. 다양한 오브젝트 인식기들은 통과 가능 월드 모델 사이를 크롤링(crawl)하여 오브젝트들, 태그 이미지들 등을 인식하고 오브젝트들에 의미 정보를 첨부할 수 있다. 통과 가능 월드 모델은 데이터베이스를 사용하여 월드에 대한 지식을 구축하고 의미 정보를 첨부하며 통과 가능 월드와 연관된 데이터를 저장할 수 있다.

[0064] 사용자에게 보이지만, 그 제어 애플리케이션이 현재 설치되어 있지 않은 프리즘의 경우, 유니버스는 사용자와 상호 작용할 때, 해당 애플리케이션에 대한 애플리케이션 스토어 페이지로 사용자를 리다이렉트하는, 해당 애플리케이션에 대한 임시 플레이스 홀더(placeholder)를 렌더링할 수 있다.

[0065] 일부 실시예들에서, 프리즘들은 유사한 상호 작용들로 파괴될 수 있다: (1) 사용자가 통과 가능 월드 지도 타일로부터 충분히 멀리 걸어, 애플리케이션의 배치된 인스턴스가 휘발성 메모리로부터 언로딩(즉, 제거)되었다; (2) 사용자가 애플리케이션의 배치된 인스턴스를 파괴했다; 그리고/또는 (3) 애플리케이션이 프리즘이 닫힐 것을 요청했다.

[0066] 일부 실시예들에서, 애플리케이션에 대한 프리즘들이 보이지 않고 그리고/또는 로딩되지 않는다면, 그러한 프리즘들과 연관된 프로세스가 일시 정지 또는 종료될 수 있다. 해당 애플리케이션에 대해 배치된 프리즘이 다시 보이면, 프로세스가 재시작될 수 있다. 프리즘은 또한 숨겨질 수 있지만, 일부 실시예들에서, 이것은 단지 유니버스와 사용자의 요청에 따라서만 발생할 수 있다. 일부 실시예들에서는, 다수의 프리즘들이 동일한 정확한 위치에 배치될 수 있다. 이러한 실시예들에서, 유니버스는 단지 배치된 프리즘의 하나의 인스턴스만을 한 번에 한 장소에 보여줄 수 있고, 사용자가 해당 위치에서 다음으로 보이는 엘리먼트(예컨대, 프리즘)로 "스와이프"하는 것과 같은 사용자 상호 작용이 검출될 때까지 프리즘(그리고 그와 연관된 콘텐츠)의 가시성을 숨김으로써 렌더링을 관리할 수 있다.

[0067] 일부 실시예들에서, 각각의 프리즘(113)은 프리즘(113)의 속성들에 액세스하고 공유 자원들에 대한 장면 그래프 서브트리에 메시들, 텍스처들, 애니메이션들 등과 같은 콘텐츠를 등록하기 위한 방법들로 볼륨 청취자 인터페이스를 통해 애플리케이션(140)에 노출될 수 있다.

[0068] 일부 실시예들에서, 주어진 프리즘(113)이 3D 공간에서 어디에 배치되는지를 애플리케이션(140)이 알지 못하기 때문에, 볼륨 청취자 인터페이스는 주어진 프리즘이 유니버스에서 어디에 존재하는지, 예를 들어 손 중심에 존재하는지, 랜드스케이프에 붙어 있는지, 신체 중심에 존재하는지 등을 정의하는 데 도움이 되는 한 세트의 힌트들에 대한 접근자 방법들을 제공할 수 있다. 이러한 속성들은 프리즘들의 예상된 거동을 추가로 지정하며, 사용자, 애플리케이션(140) 또는 유니버스에 의해 제한된 방식으로 제어될 수 있다. 주어진 프리즘은 애플리케이션이 소유하는 다른 프리즘에 상대적으로 포지셔닝될 수 있다. 애플리케이션들은 해당 애플리케이션으로부터의 프리즘들이 배치되고 있는 동안 프리즘들이 함께 스냅(snap)(프리즘들의 경계 볼륨들의 양면이 접촉)해야 한다고 지정할 수 있다. 추가로, 프리즘들은 키 값 데이터 저장을 위한 API를 제공할 수 있다. 이러한 키 값 쌍들 중 일부는 단지 특권 애플리케이션들에 의해서만 기록 가능하다.

[0069] 일부 실시예들에서, 애플리케이션(들)(140)은 사용자의 랜드스케이프(110)에서 사용자(103)에게 디스플레이될 콘텐츠를 제공하는 클라이언트 소프트웨어 애플리케이션들이다. 예를 들어, 애플리케이션(140)은 비디오 스트리밍 애플리케이션일 수 있으며, 여기서는 비디오 데이터가 사용자에게 스트리밍되어 2D 평면 표면 상에 디스플레이될 수 있다. 다른 예로서, 애플리케이션(140)은 사용자에게 목가적으로 행복하고 평화로웠던 과거의 시간 기간을 나타낼 수 있는 물리적 오브젝트들의 3D 이미징을 제공하는 Halcyon 애플리케이션일 수 있다. 애플리케이션(140)은 사용자가 사용자의 랜드스케이프(110)에 포함시키길 원할 수 있는 콘텐츠를 제공한다. 프리즘들(113)을 통한 유니버스는 애플리케이션(140)에 의해 생성되는 콘텐츠의 배치 및 관리를 관리한다.

[0070] 사용자의 랜드스케이프(110)에서 비-몰입형 애플리케이션이 실행/런칭되면, 그 애플리케이션의 콘텐츠(예컨대, 가상 콘텐츠)가 프리즘(113) 내에 렌더링된다. 비-몰입형 애플리케이션은 공유 3D 환경에서 하나 이상의 다른 애플리케이션들과 동시에 콘텐츠를 실행 및/또는 디스플레이할 수 있는 애플리케이션일 수 있다. 가상 콘텐츠가 프리즘 내에 포함될 수 있지만, 사용자는 예를 들어, 오브젝트 위를 맴돌거나, 오브젝트를 클릭하는 등과 같이, 가상 콘텐츠와 여전히 상호 작용할 수 있다. 프리즘(113)은 또한 애플리케이션(140)의 디스플레이된 콘텐츠의 경계를 이룰 수 있어, 서로 다른 애플리케이션들(140)이 사용자의 랜드스케이프(110)에서 서로 또는 다른 오브젝트들에 간섭하지 않는다. 프리즘들(113)은 또한 사용자로부터 너무 멀리 떨어져 있거나 보이지 않는 애플리케이션(들)(140)으로부터의 가상 콘텐츠를 보류, 일시 정지 및/또는 최소화하기 위한 유용한 추상화를 제공할 수 있다.

[0071] 프리즘들(113)은 다른 프리즘에 앵커링 또는 스냅하는 것을 포함하여, 사용자의 랜드스케이프(110) 내의 다양한 오브젝트들에 앵커링/부착/피닝될 수 있다. 예를 들어, 가상 콘텐츠(115)(예컨대, 비디오 스트리밍 애플리케이션으로부터의 비디오(115a))를 디스플레이하는 프리즘(113a)이 수직 벽(117a)에 앵커링될 수 있다. 다른 예로서, Halcyon 애플리케이션으로부터의 3D 나무(115b)를 디스플레이하는 프리즘(113b)이 테이블(117b)에 앵커링되는 것으로 도 1에 도시된다. 더욱이, 프리즘(113)은 사용자(103)에 관해(예컨대, 신체 중심에) 앵커링될 수 있는데, 가상 콘텐츠(115)를 디스플레이하는 프리즘(113)은 사용자의 신체에 앵커링될 수 있어, 사용자의 신체가 움직일 때, 사용자의 신체의 움직임과 관련하여 프리즘(113)이 이동한다. 신체 중심 콘텐츠는 사용자를 따르고 사용자와 포지션(positionally) 일관성을 유지하는 평면들, 메시들 등과 같은 애플리케이션 콘텐츠일 수 있다. 예를 들어, 작은 대화 상자가 사용자를 내내 따라다니지만 랜드스케이프(110)보다는 사용자의 척추에 상대적으로 존재한다. 추가로, 프리즘(113)은 또한 사용자의 랜드스케이프(110) 내에 디스플레이된 가상 디스플레이 모니터와 같은 가상 오브젝트에 앵커링될 수 있다. 프리즘(113)은 다른 방식들로 앵커링될 수 있으며, 이는 아래에 개시된다.

[0072] 유니버스는 사용자에 대한 프리즘들(113)의 속성들 및 특징들을 저장하기 위한 로컬 데이터베이스(137)를 포함할 수 있다. 저장된 프리즘 정보는 사용자의 랜드스케이프(110) 내에서 사용자에 의해 활성화된 프리즘들을 포함할 수 있다. 로컬 데이터베이스(137)는 클라우드 또는 외부 저장 설비에 상주할 수 있는 외부 데이터베이스(150)에 동작 가능하게 결합될 수 있다. 외부 데이터베이스(150)는 사용자 및 다른 사용자들의 혼합 현실 환경에 관한 정보를 유지하는 지속 데이터베이스일 수 있다.

[0073] 예를 들어, 사용자가 사용자의 물리적 환경에서 가상 콘텐츠를 디스플레이하도록 새로운 애플리케이션을 런칭할 때, 로컬 데이터베이스(137)는 유니버스에 의해 특정 위치에 생성되어 배치되는 프리즘에 대응하는 정보를 저장할 수 있으며, 애플리케이션(140)은 사용자의 랜드스케이프(110)에 디스플레이되도록 콘텐츠를 프리즘(113)에 렌더링할 수 있다. 로컬 데이터베이스(137)에 저장된 프리즘(113), 가상 콘텐츠(115) 및 애플리케이션(140)에 대응하는 정보는 영구 저장을 위해 외부 데이터베이스(150)에 동기화될 수 있다.

[0074] 일부 실시예들에서, 혼합 현실 시스템이 꺼질 때, 로컬 데이터베이스(137)에 저장된 데이터가 소거, 삭제 또는 비-지속될 수 있기 때문에, 영구 저장이 중요할 수 있다. 따라서 사용자가 혼합 현실 시스템을 켤 때, 유니버스는 혼합 현실 시스템이 꺼지기 전에 사용자(103) 및 사용자의 랜드스케이프(110)에 대응하는 로컬 데이터베이스(137)의 인스턴스를 리트리브하도록 외부 데이터베이스(150)와 동기화할 수 있다. 로컬 데이터베이스(137)는 외부 데이터베이스(150)의 인스턴스일 수 있고, 로컬 데이터베이스(137)의 인스턴스는 사용자(103) 및 사용자의 현재 환경과 관련된 정보를 포함한다. 외부 데이터베이스(150)는 다른 사용자들, 다수의 사용자들, 시간 경과에 따른 동일한 사용자, 및/또는 다른 환경들의 로컬 데이터베이스들의 인스턴스들을 추가로 저장할 수 있다. 외부 데이터베이스(150)는 혼합 현실 시스템의 다수의 사용자들 사이에서 가상 콘텐츠를 관리 및 공유하기 위해 사용되는 정보를 포함할 수 있는 반면, 로컬 데이터베이스(137)는 사용자(103)에 대응하는 정보를 저장 및 유지한다.

[0075] 유니버스는 애플리케이션(들)(140)이 가상 콘텐츠(115)를 사용자의 랜드스케이프(110)에 렌더링할 필요가 있을 때마다 애플리케이션(140)에 대한 프리즘(113)을 생성할 수 있다. 일부 실시예들에서, 유니버스는 애플리케이션(140)에 의해 프리즘의 경계들 내에 디스플레이된 가상 콘텐츠(115)를 갖는 프리즘(113)의 배치 및 디스플레이를 생성 및 관리하는 데 초점을 맞추는 한편, 유니버스에 의해 생성된 프리즘(113)은 애플리케이션(140)이 디스플레이를 위해 가상 콘텐츠를 렌더링하는 데 초점을 맞출 수 있게 한다.

[0076] 애플리케이션(140)에 의해 렌더링되어, 사용자의 랜드스케이프(110)에 디스플레이된 각각의 가상 콘텐츠(115)는 단일 프리즘(113) 내에 디스플레이될 수 있다. 예를 들어, 애플리케이션(140)이 사용자의 랜드스케이프(110) 내에 디스플레이될 2개의 가상 콘텐츠(예컨대, 115a 및 115b)를 렌더링할 필요가 있다면, 애플리케이션(140)은 2개의 가상 콘텐츠(115a 및 115b)를 렌더링할 수 있다. 가상 콘텐츠(115)는 렌더링된 가상 콘텐츠만을 포함하기 때문에, 유니버스는 가상 콘텐츠(115a, 115b) 각각에 각각 부합할 프리즘들(113a, 113b)을 생성할 수 있다. 프리즘(113)은 유니버스가 프리즘(113) 내부의 가상 콘텐츠(115) 및 사용자의 랜드스케이프(110)에서의 프리즘(113)의 배치 및 디스플레이를 관리할 수 있게 할 가상 콘텐츠(115)의 3D 윈도우 관리 속성들 및 특징들을 속성을 포함할 수 있다.

[0077] 유니버스는 사용자(103)가 혼합 현실 디바이스를 켤 때 사용자(103)가 보는 첫 번째 제1 애플리케이션일 수 있다. 유니버스는 적어도 (1) 사용자의 월드 랜드스케이프를 렌더링하는 것; (2) 평면 애플리케이션들의 2D 윈도우 관리 및 3D 윈도우들(예컨대, 프리즘들) 관리; (3) 애플리케이션 런처 메뉴를 디스플레이하고 실행하는 것; (4) 사용자가 가상 콘텐츠를 사용자의 랜드스케이프(110)에 배치할 수 있게 하는 것; 그리고/또는 (5) 사용자의 랜드스케이프(110) 내에서 프리즘들(113)의 디스플레이의 서로 다른 상태들을 관리하는 것을 담당할 수 있다.

[0078] 머리 장착 시스템(160)은 사용자(103)의 눈들 앞에 포지셔닝된 디스플레이 시스템(예컨대, 사용자 인터페이스), 머리 장착 시스템에 결합되며 사용자의 외이도에 인접하게 포지셔닝된 스피커, 사용자 감지 시스템, 환경 감지 시스템 및 프로세서(모두 도시되지 않음)를 포함하는 혼합 현실 머리 장착 시스템일 수 있다. 머리 장착 시스템(160)은 디지털 월드와 상호 작용하고 디지털 월드를 경험하기 위한 디스플레이 시스템(예컨대, 사용자 인터페이스)을 사용자(103)에게 제시한다. 이러한 상호 작용은 사용자 및 디지털 월드, 대표적인 환경(100)을 인터페이스하는 하나 이상의 다른 사용자들, 그리고 디지털 및 물리적 월드 내의 오브젝트들을 수반할 수 있다.

[0079] 사용자 인터페이스는 사용자 입력을 통해 사용자 인터페이스를 거쳐 가상 콘텐츠를 시청, 선택, 포지셔닝 및 관리하는 것을 포함할 수 있다. 사용자 인터페이스는 햅틱 인터페이스 디바이스, 키보드, 마우스, 조이스틱, 모션 캡처 제어기, 광 추적 디바이스, 오디오 입력 디바이스, 스마트폰, 태블릿 또는 머리 장착 시스템(160) 중 적어도 하나 또는 이들의 조합일 수 있다. 햅틱 인터페이스 디바이스는 인간이 신체 감각들 및 움직임들을 통해 컴퓨터와 상호 작용할 수 있게 하는 디바이스이다. 햅틱은 컴퓨팅 디바이스 상에서 동작들 또는 프로세스들을 수행하기 위한 촉각적 피드백 또는 다른 신체 감각들을 포괄하는 인간-컴퓨터 상호 작용 기술의 타입을 의미한다.

[0080] 햅틱 제어기의 일례는 (도시되지 않은) 토템일 수 있다. 일부 실시예들에서, 토템은 헤드셋(160)에 대한 자신의 포지션 및 배향을 추적하는 핸드헬드 제어기이다. 이 예에서, 토템은 사용자가 토템을 위 또는 아래로 이동시킴으로써 프리즘을 (구형 셸(spherical shell) 상의) 고도 및 방위각으로 여기저기 이동시킬 수 있는 6 자유도(6 DOF(degree-of-freedom)) 제어기일 수 있다. 일부 실시예들에서, 오브젝트를 더 가까이 또는 더 멀리 이동시키기 위해, 사용자는 토템 상의 조이스틱을 사용하여 프리즘을 "밀거나" 또는 "당길" 수 있거나, 토템을 단순히 앞뒤로 움직일 수 있다. 이는 셸의 반경을 변경하는 효과를 가질 수 있다. 일부 실시예들에서, 토템 상의 2개의 버튼들이 프리즘을 성장 또는 수축시킬 수 있다. 일부 실시예들에서, 토템 자체를 회전시키는 것은 프리즘을 회전시킬 수 있다. 다른 토템 조작들 및 구성들이 사용될 수 있으며, 앞서 설명한 실시예들로 제한되지 않아야 한다.

[0081] 사용자 감지 시스템은 머리 장착 시스템(160)을 착용하는 사용자(103)에 관련된 특정한 피처들, 특징들 또는 정보를 검출하도록 동작 가능한 하나 이상의 센서들(162)을 포함할 수 있다. 예를 들어, 일부 실시예들에서, 센서들(162)은 예를 들어: 동공 수축/확장, 각각의 동공의 각도 측정/포지셔닝, 구형도, (시간이 지남에 따라 눈 모양이 변하기 때문에) 눈 모양 및 다른 해부학적 데이터 중 하나 이상과 같은, 사용자(103)의 실시간 광학 특징들/측정들을 검출할 수 있는 카메라 또는 광 검출/주사 회로를 포함할 수 있다. 이 데이터는 사용자의 시청 경험을 향상시키기 위해 머리 장착 시스템(160)에 의해 사용될 수 있는 정보(예컨대, 사용자의 시각적 초점)를 제공할 수 있거나 이러한 정보를 계산하는 데 사용될 수 있다.

[0082] 환경 감지 시스템은 사용자의 랜드스케이프(110)로부터 데이터를 얻기 위한 하나 이상의 센서들(164)을 포함할 수 있다. 센서들(164)에 의해 검출된 오브젝트들 또는 정보는 머리 장착 시스템(160)에 입력으로서 제공될 수 있다. 일부 실시예들에서, 이 입력은 가상 월드와의 사용자 상호 작용을 나타낼 수 있다. 예를 들어, 책상(예컨대, 테이블(188))에서 가상 키보드를 보는 사용자(예컨대, 사용자(103))는 마치 사용자가 가상 키보드에서 타이핑하고 있는 것처럼 자신들의 손가락들로 제스처를 취할 수 있다. 손가락들이 움직이는 모션은 센서들(164)에 의해 캡처되어 입력으로서 머리 장착 시스템(160)에 제공될 수 있으며, 입력은 가상 월드를 변경하거나 새로운 가상 오브젝트들을 생성하는 데 사용될 수 있다.

[0083] 센서들(164)은 예를 들어, 장면 정보를 예를 들어, 연속적으로 그리고/또는 단속적으로 투사되는 적외선 구조 광을 통해 캡처하고 해석하기 위한 일반 외향 카메라 또는 스캐너를 포함할 수 있다. 환경 감지 시스템은 정적 오브젝트들, 동적 오브젝트들, 사람들, 제스처들 및 다양한 조명, 대기 및 음향 조건들 등을 포함하여 로컬 환경으로부터의 하나 이상의 엘리먼트들을 검출하고 등록함으로써 사용자(103) 주위의 사용자 랜드스케이프(110)의 하나 이상의 엘리먼트들을 매핑하는 데 사용될 수 있다. 따라서 일부 실시예들에서, 환경 감지 시스템은 로컬 컴퓨팅 시스템(예컨대, 프로세서(170))에 임베드되고 센서들(164)에 의해 검출된 하나 이상의 오브젝트들 또는 정보를 디지털로 재구성하도록 동작 가능한 이미지 기반 3D 재구성 소프트웨어를 포함할 수 있다.

[0084] 일부 실시예들에서, 환경 감지 시스템은: (제스처 인식을 포함하는) 모션 캡처 데이터, 깊이 감지, 안면 인식, 오브젝트 인식, 고유 오브젝트 특징 인식, 음성/오디오 인식 및 처리, 음원 위치 판별, 잡음 감소, 적외선 또는 유사한 레이저 투사뿐만 아니라 흑백 및/또는 컬러 CMOS 센서들(또는 다른 유사한 센서들), 시야 센서들 및 다른 다양한 광 강화 센서들 중 하나 이상을 제공한다. 환경 감지 시스템은 위에서 논의한 것들 이외의 다른 컴포넌트들을 포함할 수 있다고 인식되어야 한다.

[0085] 앞서 언급한 바와 같이, 프로세서(170)는 일부 실시예들에서, 머리 장착 시스템(160)의 다른 컴포넌트들과 통합될 수 있거나, 대표적인 환경(100)의 시스템의 다른 컴포넌트들과 통합될 수 있거나, 도 1에 도시된 바와 같이 (사용자(103)가 착용할 수 있는 또는 사용자(103)로부터 떨어진) 분리된 디바이스일 수 있다. 프로세서(170)는 물리적 유선 접속을 통해 또는 예를 들어, (셀룰러 전화 및 데이터 네트워크들을 포함하는) 모바일 네트워크 접속들, Wi-Fi, Bluetooth 또는 임의의 다른 무선 접속 프로토콜과 같은 무선 접속을 통해 머리 장착 시스템(160)의 다양한 컴포넌트들에 접속될 수 있다. 프로세서(170)는 메모리 모듈, 통합 및/또는 추가 그래픽 처리 유닛, 무선 및/또는 유선 인터넷 접속, 및 소스(예컨대, 컴퓨팅 네트워크, 및 머리 장착 시스템(160)으로부터의 사용자 감지 시스템 및 환경 감지 시스템)로부터의 데이터를 이미지 및 오디오 데이터로 변환할 수 있는 코덱 및/또는 펌웨어를 포함할 수 있으며, 이미지들/비디오 및 오디오는 (도시되지 않은) 사용자 인터페이스를 통해 사용자(103)에게 제시될 수 있다.

[0086] 프로세서(170)는 머리 장착 시스템(160)의 다양한 컴포넌트들에 대한 데이터 처리뿐만 아니라, 머리 장착 시스템(160)과 유니버스, 외부 데이터베이스(150) 등과 같은 소프트웨어 애플리케이션들 간의 데이터 교환을 다룬다. 예를 들어, 프로세서(170)는 소프트웨어 애플리케이션들을 포함하는 컴퓨팅 네트워크와 사용자(103) 간의 데이터 스트리밍을 버퍼링하고 처리함으로써, 매끄럽고 연속적인 고 충실도 사용자 경험을 가능하게 하는 데 사용될 수 있다. 프로세서(170)는 한 세트의 프로그램 코드 명령들을 실행하도록 구성될 수 있다. 프로세서(170)는 한 세트의 프로그램 코드 명령들을 보유하기 위한 메모리를 포함할 수 있고, 여기서 한 세트의 프로그램 코드 명령들은 가상 콘텐츠를 볼류메트릭 디스플레이 공간 내에 디스플레이함으로써 이용 가능한 3D 디스플레이 가능 공간의 서브세트 내에 가상 콘텐츠를 디스플레이하기 위한 프로그램 코드를 포함하며, 볼류메트릭 디스플레이 공간의 경계들은 디스플레이되지 않는다. 일부 실시예들에서, 프로세서는 동작 가능하게 결합된 2개 이상의 프로세서들일 수 있다.

[0087] 일부 실시예들에서, 혼합 현실 시스템은 애플리케이션에 의한 디스플레이 맞춤화들의 구성들에 대한 사전 승인 옵션들의 리스트로부터의 애플리케이션 선택/애플리케이션별 특징들 및 범용 특징들을 프리즘에 할당하도록 구성될 수 있다. 예를 들어, 범용 특징들은 서로 다른 애플리케이션들이 서로 잘 상호 작용함을 보장한다. 범용 특징들의 어떤 예는 최대/최소 크기, (충돌 거동으로부터의 일시적인 오버랩을 제외하면) 오버랩하는 프리즘들 없음, 프리즘의 경계들 외부에 콘텐츠를 디스플레이하지 않음, 애플리케이션이 센서들 또는 민감한 정보에 액세스하길 원한다면 애플리케이션들이 사용자로부터의 허가를 필요로 함을 포함할 수 있다. 애플리케이션 선택/ 애플리케이션별 특징들은 최적화된 애플리케이션 경험들을 가능하게 한다. 애플리케이션 선택/애플리케이션별 특징들은 (시스템으로부터의 제한들 내의) 최대/최소 크기, (시스템으로부터의 제한들 내의) 디폴트 크기, 바디 다이내믹 타입(예컨대, 없음/월드 락, 빌보드, 에지 빌보드, 팔로우/레이지 헤드락(lazy headlock), 외부 센서에 기반한 팔로우, 페이드 - 아래에서 논의됨), 자식 프리즘 스폰(spawn) 위치, 자식 머리 포즈 하이라이트, 자식 프리즘 관계적 거동, 표면상에서의 움직임, 독립 변환 제어, 크기 조정 대 스케일, 유휴 상태 타임아웃, 충돌 거동, 애플리케이션에 액세스하기 위한 허가/비밀번호 등을 포함할 수 있다. 다른 실시예에서, 혼합 현실 시스템은 하나 이상의 프리즘들에 가상 콘텐츠를 디스플레이하도록 구성될 수 있으며, 일부 실시예들에서 하나 이상의 프리즘들은 서로 오버랩하지 않는다. 일부 실시예들에서, 특정 상호 작용들을 제공하기 위해 하나 이상의 프리즘들이 오버랩할 수 있다. 일부 실시예들에서, 하나 이상의 프리즘들이 오버랩할 수 있지만, 단지 동일한 애플리케이션으로부터의 다른 프리즘들과만 오버랩할 수 있다. 다른 실시예에서, 혼합 현실 시스템은 사용자에 대한 프리즘의 상대 포지션 및 위치에 적어도 부분적으로 기초하여 프리즘의 상태를 변경하도록 구성될 수 있다. 다른 실시예에서, 혼합 현실 시스템은 애플리케이션에서의 콘텐츠 생성을 관리하고 별도의 애플리케이션에서의 콘텐츠 디스플레이를 관리하도록 구성될 수 있다. 다른 실시예에서, 혼합 현실 시스템은 프리즘에 콘텐츠를 제공할 애플리케이션을 여는 동시에 혼합 현실 환경에 프리즘을 배치하도록 구성될 수 있다.

[0088] 일부 실시예들에서, 혼합 현실 시스템은 프리즘 내에 가상 콘텐츠를 디스플레이하기 위한 위치, 배향 및 범위 데이터를 프리즘에 할당하도록 구성될 수 있으며, 가상 콘텐츠는 3D 가상 콘텐츠이다. 일부 실시예들에서, 혼합 현실 시스템은 혼합 현실 환경 내에서 실세계 오브젝트에 런처 애플리케이션을 피닝하도록 구성될 수 있다. 일부 실시예들에서, 혼합 현실 시스템은 각각의 프리즘에 거동 타입을 할당하도록 구성될 수 있으며, 거동 타입은 월드 락, 빌보드, 에지 빌보드, 팔로우 헤드락, 외부 센서에 기반한 팔로우, 또는 페이드(아래에서 더 상세히 설명됨) 중 적어도 하나를 포함한다. 일부 실시예들에서, 혼합 현실 시스템은 가장 많이 사용된 콘텐츠 또는 런처 애플리케이션의 배치된 위치에 특정한 애플리케이션을 식별하고, 결과적으로 예를 들어, 가장 자주 사용된 것에서부터 가장 덜 사용된 것까지의 애플리케이션들로 재정렬하도록 구성될 수 있다. 다른 실시예에서, 혼합 현실 시스템은 배치된 런처 애플리케이션에서 선호 애플리케이션들을 디스플레이하도록 구성될 수 있으며, 선호 애플리케이션들은 배치된 런처의 위치에 관한 상황에 적어도 부분적으로 기초한다.

[0089] 도 2는 일부 실시예들에 따라, 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 시스템 아키텍처를 도시한다. 시스템(200)은 유니버스(130), 애플리케이션(140), 아이콘 그리드 애플리케이션(260), 상태 바 애플리케이션(270), 소셜 패널 애플리케이션(280) 및 스토어 패널 애플리케이션(290)을 포함한다. 이러한 애플리케이션들은 시스템(200) 상의 애플리케이션들의 기본 레벨을 나타낼 수 있지만, 일부 실시예들에서는 더 많은 또는 더 적은 애플리케이션들이 시스템(200)의 일부일 수 있다.

[0090] 위에 도 1에서 논의한 바와 같이, 유니버스는 종래의 컴퓨터 데스크톱 시스템들 등에서 2D 윈도우들을 관리하는 2D 윈도우 관리자와 유사한 3D 윈도우(예컨대, 프리즘들) 관리자로 여겨질 수 있다. 도 2는 도 1로부터의 유니버스의 추가 세부사항들을 제공할 수 있다. 여기서, 유니버스 애플리케이션(130)은 또한 유니버스 서버(205), 로더(loader) 볼륨들(210), 2차 UI 볼륨들(220), 유니버스 클라이언트(225), 런처 애플리케이션(230) 및 유니버스 서버(205)를 포함할 수 있다. 유니버스 서버(205)는 다중 병렬 처리를 위한 다중 스레드 처리 환경에서 유니버스의 처리 스레드일 수 있다.

[0091] 로더 볼륨들(210)은 유니버스가 사용자의 랜드스케이프(110)에 가상 콘텐츠를 디스플레이하기 위한 프리즘을 생성하고 있는 동안 사용자에게 디스플레이되는 플레이스 홀더 볼륨들이다. 예를 들어, 유니버스가 프리즘을 설정하고 가상 콘텐츠를 프리즘에 렌더링하기 위한 애플리케이션을 시작하고 있는 동안, 사용자가 사용자의 랜드스케이프(110)에서 특정 위치에, 예를 들어 사용자의 랜드스케이프(110)의 수직 벽에 디스플레이할 애플리케이션을 선택하면, 유니버스는 유니버스가 디스플레이할 프리즘을 설정하고 있음을 사용자에게 나타내는 플레이스 홀더 볼륨으로서 디폴트 아이콘과 함께 로더 볼륨(210)을 디스플레이할 수 있다. 애플리케이션이 사용자의 랜드스케이프에 디스플레이할 프리즘에 가상 콘텐츠를 렌더링하는 것을 완료하면, 로더 볼륨(210)은 렌더링된 가상 콘텐츠를 포함하는 실제 프리즘으로 대체된다.

[0092] 일부 실시예들에서, 유니버스가 가상 콘텐츠를 디스플레이하기 위한 애플리케이션을 시동하고 있는 동안, 사용자(103)는 로더 볼륨(210)을 원하는 다른 위치로 이동시킬 수 있다. 일부 실시예들에서, 사용자는 로더 볼륨(210)을 처음에 선택되었던 로더 볼륨/프리즘의 위치와는 다른 위치로 이동시킬 수 있다. 일단 유니버스가 프리즘을 생성하는 것을 끝내고 애플리케이션이 가상 콘텐츠를 프리즘에 렌더링했으면, 유니버스는 사용자가 로더 볼륨(210)을 어디에 배치했을 수 있었든, 가상 볼륨을 디스플레이하는 프리즘으로 로더 볼륨(210)을 대체할 수 있다.

[0093] 보조 UI 볼륨(220)은 프리즘(113)(예컨대, 이것의 "부모 프리즘")이 생성될 때 생성될 수 있는 다른 프리즘이다. 보조 UI 볼륨(220)은 사용자들에 대한 프리즘들의 범용 인터페이스를 제공한다. 예를 들어, 보조 UI 볼륨(220)이 프리즘을 관리하기 위한 메커니즘(예컨대, 닫기/삭제, 공유, 팔로우, 프리즘의 콘텐츠의 스크린샷 찍기 등)을 제공하기 때문에, 보조 UI 볼륨(220)은 윈도우 드레싱으로 간주될 수 있다. 프리즘이 생성될 때, 프리즘이 런처의 일부가 아니라면(런처 애플리케이션들이 보조 UI 볼륨들을 갖지 않을 수 있다면) 프리즘에 대해 보조 UI 볼륨(220)이 생성될 수 있다. 보조 UI 볼륨(220)은 사용자가 프리즘과 상호 작용하고 프리즘을 관리하도록 닫기/삭제, 공유, 팔로우, 스크린샷 등과 같은 그래픽 사용자 인터페이스 아이콘들을 디스플레이하기 위한 공간/볼륨을 제공한다. 보조 UI 볼륨(220)은 부모 프리즘에 연관되며, 부모 프리즘과 그룹화될 수 있다. 보조 UI 볼륨(220) 수명은 그와 연관된 부모 프리즘 수명이 끝날 때 끝난다.

[0094] 일부 실시예들에서, 보조 UI 볼륨(220)은 적어도 3개의 상태들: (1) 부모 프리즘의 초점이 맞지 않는 경우 아무것도 디스플레이하지 않는 상태; (2) 부모 프리즘의 초점이 맞는 경우 컴포넌트들의 "보이는 이름"을 디스플레이하는 상태; 및 (3) 특정 사용자 상호 작용이 검출되는 경우, 예를 들어 핸드헬드 제어기(예컨대, 토템 또는 다른 적절한 사용자 상호 작용 제어기들)의 홈 버튼이 일정 시간(초 단위) 동안 유지된 경우, 애플리케이션 메뉴 옵션 아이콘들의 "캐러셀"을 디스플레이하는 상태― 캐러셀은 아이콘들의 집합을 디스플레이하는데, 아이콘들 중 하나는 프리즘을 닫기 위한 큰 "X" 아이콘일 수 있음 ―를 가질 수 있다. 일부 실시예들에서, 보조 UI 볼륨(220)은 그 부모 프리즘을 통해 입력을 수신한다. 다시 말해서, 부모 프리즘은 보조 UI 볼륨(220)이 캐러셀을 디스플레이하고 있는지 여부를 결정할 수 있고, 디스플레이하고 있다면 부모 프리즘이 사용자 입력을 보조 UI로 리다이렉트한다. 보조 UI 볼륨(220)의 캐러셀이 아래에 개시된다.

[0095] 일부 실시예들에서, 런처는 혼합 현실 시스템에 대한 디폴트 "홈" 메뉴일 수 있다. 런처는 시스템 상태 바와 함께 다수의 콘텐츠 패널들을 합칠 수 있다. 각각의 패널은 서로 다른 콘텐츠 타입을 나타낼 수 있다. 애플리케이션들이 런처로부터 꺼내져 빠른 불러오기를 위해 랜드스케이프에 피닝될 수 있다. 런처 자체는 위치별 맞춤화를 위해 또는 빠른 액세스를 위해 랜드스케이프에 배치될 수 있다.

[0096] 런처(230)는 사용자의 랜드스케이프(110)에서 새로운 애플리케이션들을 런칭하는 능력을 사용자에게 제공한다. 런처(230)는 패널들이라 하는 일련의 신체 중심 프리즘들로 구성된 애플리케이션일 수 있다. 패널들은 수직으로 그리고 수평으로 스크롤 가능할 수 있으며, 사용자는 예를 들어, 스와이프 모션으로 패널들 사이를 전환할 수 있다. 일부 실시예들에서는, 한 번에 하나의 패널이 보일 수 있고(예컨대, 중앙 패널), 이것의 2개의 이웃 패널들은 그 측면에서 플레이스 홀더 패널들로서 보일 수 있다. 사용자가 다음 패널로 스와이프하면, 플레이스 홀더 패널들이 확장되어 전체 패널을 보여줄 수 있다. 패널들은 아이콘 그리드 애플리케이션(260), 소셜 패널(280) 및 스토어 패널(290)을 포함할 수 있다. 일부 실시예들에서, 사용자가 다음 패널로 스와이프할 때, 패널들 자체가 이동되거나 변경되는 것이 아니라, 대신 서로 다른 패널들 내의 콘텐츠(예컨대, 아이콘들)가 중앙 패널(예컨대, 액티브 패널) 안팎으로 애니메이팅(animate)될 수 있다. 더욱이, 애플리케이션들이 런처(230)로부터 꺼내져, 아래에서 더 논의되는 위치별 맞춤화를 위해 사용자의 랜드스케이프(110)에 피닝될 수 있다.

[0097] 일부 실시예들에서, 애플리케이션(140)은 각각의 애플리케이션(140) 상의 중앙 집중식 렌더링 서비스 클라이언트(250)를 통해 유니버스와 통신할 수 있다. 중앙 집중식 렌더링 서비스 클라이언트(250)는 유니버스(130) 내의 유니버스 서버(205)와 통신할 수 있다. 중앙 집중식 렌더링 서비스 클라이언트(250)는 사용자의 랜드스케이프에 디스플레이할 콘텐츠를 생성하는 애플리케이션(들)(140) 및 다른 애플리케이션들이 유니버스 서버(205)를 통해 유니버스와 통신할 수 있게 하는 중앙 집중식 렌더링 시스템의 클라이언트 서비스일 수 있다.

[0098] 유니버스 서버(205)는 유니버스가 사용자의 랜드스케이프에 디스플레이될 유니버스 콘텐츠를 제공하는 애플리케이션들과 통신할 수 있게 하는 중앙 집중식 렌더링 시스템의 서비스를 포함할 수 있다. 일부 실시예들에서, 통신은 데이터, 예를 들어 입력 데이터를 렌더링하는 것, 보안 특권을 요청하는 것, 가상 키보드를 보여주거나 숨기도록 요청하는 것 등의 이상을 포함할 수 있다.

[0099] 일부 실시예들에서, 중앙 집중식 렌더링 시스템은 (예컨대, 혼합 현실 시스템의 사용자의 랜드스케이프에서) 단일 디스플레이 상에 디스플레이될 다수의 애플리케이션들로부터 그래픽 데이터를 수신하는 것에 전용되는 하드웨어 및 소프트웨어 자원들의 시스템일 수 있다. 중앙 집중식 렌더링 시스템은 다수의 애플리케이션들(140)로부터의 그래픽 데이터를 장면 그래프와 같은 "중앙 집중식" 데이터 구조로 조합하며, 이는 다수의 애플리케이션들로부터의 그래픽 데이터를 현실적이고 효율적인 방식으로 반영하는 장면을 디스플레이에 렌더링하는 데 사용될 수 있다. 중앙 집중식 렌더링 시스템을 달성하기 위해, 일부 실시예들에서, 애플리케이션은 클라이언트 프리즘(예컨대, 도 2로부터의 클라이언트 프리즘(215))이라 하는 프리즘의 로컬 표현을 변경할 수 있다. 그 다음, 이러한 변경들은 유니버스 서버(205)로 전송되어 서버 프리즘에 저장될 수 있다. 그 다음, 중앙 집중식 렌더링 시스템이 업데이트된 데이터를 서버 프리즘에 렌더링할 수 있다. 중앙 집중식 렌더링 시스템은 이하 "Cali" 또는 "Kali" 시스템으로 지칭될 수 있다. 예를 들어, 유니버스는 실세계에서 프리즘들을 관리할 수 있기 때문에, 유니버스는 Cali 서버의 향상된 버전으로 여겨질 수 있다.

[00100] 일부 실시예들에서, 유니버스에 대한 가상 콘텐츠(115)를 생성하는 각각의 애플리케이션(140)은 개개의 애플리케이션(들)(140) 각각에 설치된 (이하 "Cali 클라이언트"로 지칭될 수 있는) 중앙 집중식 렌더링 서비스 클라이언트(250)를 통해 중앙 집중식 렌더링 시스템 및 유니버스와 통신한다. 더 많은 정보는 "CENTRALIZED RENDERING"이라는 명칭으로 2017년 3월 30일자로 출원된 관련 출원 일련번호 제62/479,134호에 개시되며, 이 출원은 이로써 그 전체가 인용에 의해 포함된다. 중앙 집중식 렌더링 시스템은 가상 콘텐츠가 사용자에게 현실적인 방식으로 디스플레이됨을 보장하도록, 필요하다면 다수의 서로 다른 애플리케이션들로부터의 가상 콘텐츠가 적절히 분석되고 처리됨으로써 사용자의 경험을 향상시킨다. 일부 실시예들에서, 유니버스는 프리즘들의 관리와 같은 추가 기능을 가진 Cali 서버의 인스턴스이다. 일부 실시예들에서, 클라이언트 프리즘은 Cali 클라이언트 볼륨의 인스턴스이고, 서버 프리즘은 애플리케이션 옵션들의 디스플레이를 불러오고, 프리즘이 자신의 콘텐츠를 로딩하고 있는 동안 로더 볼륨을 디스플레이하고, 다른 프리즘들과 충돌하며, 다른 변환 트리의 일부가 되는 능력과 같은 추가 기능을 갖는 Cali 서버 볼륨의 인스턴스이다.

[00101] 클라이언트 프리즘(215a) 및 클라이언트 프리즘(215b)은, 애플리케이션(140)에 의해 생성되고 Cali 클라이언트(250a)에 의해 유니버스 서버(205)에 전송되어 사용자의 랜드스케이프에 디스플레이되는 가상 콘텐츠를 포함한다. 일부 실시예들에서, 애플리케이션(140)이 가상 콘텐츠(115a, 115b)를 변경할 때, 가상 콘텐츠에 대한 변경들은 클라이언트 프리즘(215)으로부터 유니버스 서버(205)로 전달되고, 해당 정보는 대응하는 서버 프리즘 데이터 구조들(113)로 유니버스 내부에 저장된다. 일부 실시예들에서, 애플리케이션(140)은 사용자의 랜드스케이프에서 가상 콘텐츠(115a)가 어디에 디스플레이되는지를 알지 못한다. 유니버스는 클라이언트 프리즘(215a)과 연관되는 대응하는 서버 프리즘(113a)을 통해 가상 콘텐츠(115a)(예컨대, 중앙 집중식 렌더링 시스템에 의해 처리된 후의 가상 콘텐츠(115a))의 디스플레이 위치를 관리할 수 있다. 애플리케이션(140)은 유니버스 서버(205)에 액세스함으로써 새로운 프리즘을 요청할 수 있다. 일부 실시예들에서, 유니버스 서버(205)는 사용자의 랜드스케이프(110)에 디스플레이할 가상 콘텐츠를 제공하는 애플리케이션들로부터 중앙 집중식 렌더링 서비스 클라이언트(들)(250)와 통신하는 유니버스의 소프트웨어 모듈일 수 있다. 예를 들어, 사용자가 애플리케이션을 런칭하고 애플리케이션으로부터의 가상 콘텐츠를 사용자의 랜드스케이프에 디스플레이하길 원하는 경우, 애플리케이션은 유니버스에 대한 가상 콘텐츠를 사용자의 랜드스케이프에 앵커링될 수 있는 프리즘에 디스플레이되도록 중앙 집중식 렌더링 서비스 클라이언트를 통해 애플리케이션으로부터 유니버스 상의 유니버스 중앙 집중식 렌더링 서비스에 제공할 수 있다.

[00102] 일부 실시예들에서, 아이콘 그리드 애플리케이션(260)은 (도시되지 않은) 최근 애플리케이션 섹션 및/또는 (도시되지 않은) 일반 애플리케이션 섹션을 포함할 수 있다. 일반 애플리케이션 섹션은 혼합 현실 시스템에 설치된 각각의 애플리케이션을 나타내는 아이콘을 포함한다. 일반 애플리케이션 섹션은 설치된 패키지들의 리스트를 결정하기 위해 처음에 (도시되지 않은) 패키지 관리자에 대한 호출로 채워질 수 있다. 각각의 패키지 내의 각각의 애플리케이션에 대한 아이콘이 추가된다. 패키지 관리자가 유니버스에 패키지 설치 및 제거를 통지하면, 아이콘 그리드 애플리케이션(260)은 그에 따라 자신의 아이콘들을 조정한다. 패키지 관리자 서비스는 애플리케이션들의 설치를 관리하고 그러한 애플리케이션들에 대한 정보, 이를테면 이들의 이름들, 아이콘 그래픽들, 보안 허가들, 실행 가능 파일들 및 데이터 파일들을 유지한다.

[00103] 최근 아이콘 섹션은 처음에 디스크 상의 로그로부터 재구성된 다음, 다른 서비스들로부터의 호출들에 의해 업데이트될 수 있다. 라이프 사이클 서비스가 런처에 애플리케이션 시작 이벤트를 통지하면, 그리고 패키지 관리자가 런처에 패키지 제거 이벤트를 통지하면, 패키지 이름이 디스크에 로그될 수 있다. 사용자는 런칭할 아이콘들을 선택하거나 랜드스케이프에 놓을 아이콘들을 추출함으로써 아이콘 그리드 애플리케이션(260)과 상호 작용할 수 있다.

[00104] 라이프 사이클 서비스는 애플리케이션을 시작하고, 중단하고, 휴지시키고, 웨이크업하는 프로세스를 관리하는 중앙 집중식 서비스일 수 있다. 라이프 사이클 서비스는 또한, 애플리케이션들이 예기치 않게 종료(충돌)하는 시점도 알고 있다. 이러한 이벤트들 중 임의의 이벤트가 발생하면, 서비스의 청취자들에게 통지되며, 유니버스는 청취자들 중 하나이다. 유니버스는 이 서비스에 액세스하여 애플리케이션들을 시작, 중지, 휴지 및 웨이크업한다. 일부 실시예들에서, 라이프 사이클 서비스들은 혼합 현실 시스템에서 실행되는 애플리케이션 프로세스들의 라이프 사이클을 제어하기 위한 API(application programming interface)들을 제공한다. 라이프 사이클 서비스들은 새로운 프로세스들을 스폰하여 한 세트의 허가들로 애플리케이션 바이너리들을 실행하고, 애플리케이션들에 의해 구현된 사전 정의된 인터페이스에서 API들을 호출하여 이들의 라이프 사이클을 제어할 수 있다. 라이프 사이클 서비스는 또한 청취자 인터페이스를 제공하는데, 이를 통해 다른 모듈들이 시작/중단/일시 정지/재개되는 애플리케이션들에 대해 계속 파악할 수 있다. 라이프 사이클 서비스들은 런처 또는 유니버스와는 별개의 프로그램일 수 있다. 일부 실시예들에서, 라이프 사이클 서비스들은 미들웨어일 수 있다.

[00105] 일부 실시예들에서, 도 2에 도시된 바와 같이, 아이콘 그리드 애플리케이션(260)은 중앙 집중식 렌더링 서비스 클라이언트(250b) 및 클라이언트 프리즘(215c)을 포함한다. 앞서 논의한 바와 같이, 일부 실시예들에서, 사용자의 랜드스케이프 내에 콘텐츠를 디스플레이하는 애플리케이션들은 유니버스 서버(205)와 통신하는 중앙 집중식 렌더링 서비스 클라이언트(250)를 통해 자신의 콘텐츠를 유니버스에 전송할 수 있다. 여기서, 런처 메뉴에 대해 혼합 현실 시스템에 설치된 애플리케이션들의 아이콘을 제공하는 아이콘 그리드 애플리케이션(260)은 사용자의 랜드스케이프에 디스플레이할 콘텐츠를 제공하는 임의의 다른 애플리케이션과 같다. 그러나 일부 실시예들에서, 아이콘 그리드 애플리케이션 내의 아이콘들은 사용자에 의해 선택될 때, 새로운 애플리케이션을 런칭하고 시동하도록 유니버스에 지시할 수 있고, 이 시점에서 새로운 애플리케이션은 (예컨대, 유니버스 서버(205)를 통해) 새로운 프리즘을 생성하도록 유니버스에 요청할 수 있어, 애플리케이션이 새로운 프리즘에 디스플레이될 콘텐츠를 제공할 수 있다. 애플리케이션이 이미 실행 중이라면, 유니버스는 새로운 프리즘을 열도록 애플리케이션에 요청할 수 있다.

[0106] 상태 바 애플리케이션(270)은 혼합 현실 시스템에 대한 상태 표시자들을 포함한다. 상태 표시자들 및 상태 바 애플리케이션(270)은 사용자에 의해 조정 가능하지 않을 수 있다. 상태 표시자들은 WiFi 서비스를 운영 및 유지하기 위한 제1 서비스, Bluetooth 서비스를 유지하기 위한 제2 서비스 및 상태에 대한 제3 서비스를 조회함으로써 처음에 채워질 수 있다. 이러한 서비스들이 상태 바 애플리케이션(270)에 업데이트된 상태를 통지하면, 상태 바는 그에 따라 조정될 수 있다. 상태 바는 사용자가 시스템의 어느 곳에서나 빠르고 효율적으로 반응할 수 있는 빠르게 한눈에 알아볼 수 있는 정보를 사용자에게 제공한다. 일부 실시예들에서, 상태 바는 런처 위에 디스플레이될 수 있다. 상태 바의 네 가지 주요 섹션들은 (1) 전역 검색, (2) 알림들, (3) 빠른 설정들 및 (4) 전원일 수 있다. 음악, 통화, 공유 등과 같은 추가 임시 섹션들이 필요할 때 상태 바에 추가될 수 있다.

[0107] 사용자가 런처 메뉴에 있을 때, 상태 바는 한눈에 알아볼 수 있는 아이콘들로 압축된다. 사용자가 최상부까지 위로 스와이프하면, 이는 애니메이션을 트리거할 수 있고 상태 바가 확장될 수 있다. 상태 바는 런처 위에 유지될 수 있지만 사용자는 런처 패널들을 통해 왼쪽과 오른쪽으로 스와이프할 수 있다. 상태 바가 하이라이트되면, 상태 바는 확장되고 앞으로 애니메이팅될 수 있다. 하위 선택 하이라이트는 기본적으로, 예를 들어 전역 검색에서 왼쪽에 나타날 수 있다. 더 많은 긴급한 콘텐츠(예컨대, 최근 알림들, 배터리 부족 등)를 갖는 다른 섹션들이 있다면, 하위 선택 하이라이트가 해당 섹션에 대신 나타날 수 있다.

[0108] 소셜 패널 애플리케이션(280)은 사용자가 상호 작용할 수 있는 일련의 연락처들로 구성될 수 있다. 소셜 패널은 처음에는, 이용 가능한 연락처들에 대한 연락처 서비스에 대한 호출로 채워질 수 있다. 각각의 연락처는 소셜 패널에 추가되어 사용자에게 아이콘으로서 디스플레이될 수 있다. 소셜 패널 애플리케이션(280)이 새로운 연락처, 업데이트된 연락처 및 제거된 연락처 이벤트들을 수신하면, 소셜 패널 애플리케이션(280)은 그에 따라 자신의 연락처 정보를 조정할 수 있다. 사용자는 연락처 아이콘을 클릭하여 이용 가능한 다양한 연락처 제공자들을 가진 옵션 메뉴를 팝업함으로써 연락처 아이콘들과 상호 작용할 수 있다. 사용자가 제공자를 선택하면, 런처 애플리케이션은 연락처의 정보로 연관된 애플리케이션을 시작할 수 있다.

[0109] 스토어 패널 애플리케이션(290)은 사용자가 혼합 현실 시스템에 대한 애플리케이션(들)(140)을 검색, 다운로드 및 설치할 수 있게 할 수 있다. 사용자가 애플리케이션의 다운로드 및 설치를 요청하면, 런처 애플리케이션(230)은 (도시되지 않은) 신원 확인 서비스로 사용자의 신원을 확인할 수 있고, 그 후에 패키지 관리자로 애플리케이션을 설치할 수 있다. 사용자가 패널로부터 애플리케이션을 시작한다면 라이프 사이클 서비스가 호출될 수 있다. 일부 실시예들에서, 런처의 각각의 패널은 하나의 런처 애플리케이션 대신 별도의 애플리케이션들로서 기능할 수 있다.

[0110] 일부 실시예들에서, 유니버스 클라이언트(225)는 유니버스에 특정한 콘텐츠를 렌더링한다. 유니버스 서버(205)는 제3자 애플리케이션들을 렌더링하지 않는다. 이는 프리즘 내의 콘텐츠가 유니버스 서버(205)가 아닌 유니버스 클라이언트(225)에 의해서만 렌더링될 수 있기 때문이다. 따라서 무한대 프리즘, 로더 볼륨/프리즘 및/또는 보조 UI 프리즘들을 렌더링하기 위해서는, 서버에 대한 그러한 특정 타입들의 콘텐츠를 렌더링하도록 유니버스 클라이언트(225)에 작업이 위임될 필요가 있다. 예를 들어, 2개의 프리즘들이 충돌할 때, 프리즘들 주위에 추가 그래픽들을 렌더링하기 위해 유니버스에 의해 무한대 프리즘이 사용될 수 있다. 무한대 프리즘들은 아래에서 추가 논의된다. 로더 프리즘 및 보조 UI 프리즘들로, 특정 기능들을 조정하기 위해 유니버스 서버(205)와 유니버스 클라이언트(225) 사이에 특정 통신이 있을 수 있다. 예를 들어, 유니버스 서버(205)에는 애플리케이션의 로딩이 완료되었음이 알려질 수 있다. 그 다음, 유니버스 서버(205)는 현재 애플리케이션을 로딩하고 있었던 클라이언트 측 로더 프리즘에 통지할 수 있다. 로더 프리즘은 애니메이션을 보여줌으로써 애플리케이션의 로딩이 완료된 이벤트에 반응해야 할 것이다. 클라이언트 측 로더 프리즘이 애니메이션을 보여주는 것이 완료되면, 로더 프리즘은 자신이 애니메이팅하는 것이 완료되었음을 유니버스 서버(205)에 통지할 수 있다. 그 후, 유니버스 서버(205)는 로더 프리즘을 강제 배치하고, 로더 프리즘을 파괴하고, 로더 프리즘 대신에 렌더링된 애니메이션과 함께 애플리케이션 프리즘을 디스플레이함으로써 로더 프리즘이 애니메이팅하는 것이 완료된다는 통지에 반응할 수 있다. 개시된 것은 단지 유니버스 클라이언트(225)가 기능하는지 방식의 일례일 뿐이다. 당해 기술분야에서 통상의 지식을 가진 자는 유니버스 클라이언트(225)가 유니버스(130)를 지원할 수 있는 경우의 다른 예들이 있을 수 있다고 인식할 수 있다.

[0111] 도 3은 일부 실시예들에 따른 예시적인 경계 볼륨/프리즘을 도시한다. 프리즘들이라 하는 하나 이상의 경계 볼륨들 내부의 사용자에게 애플리케이션 콘텐츠가 제시된다. 앞서 논의한 바와 같이, 혼합 현실 시스템에서 비-몰입형 애플리케이션이 실행될 때, 그 콘텐츠가 프리즘 내에 렌더링된다. 프리즘의 속성들 및 특징들은 유니버스가 사용자의 랜드스케이프 내에서 프리즘들을 일관되게 관리할 수 있게 한다.

[0112] 프리즘(113)의 볼륨 공간은 도 3에서 파선들로 나타낸 바와 같이 명확하고 확정적인 경계들을 가질 수 있다. 경계들은 가상 콘텐츠(115)가 프리즘(113)의 경계들 내에만 디스플레이되도록 경계 볼륨을 제공한다. 프리즘의 경계들은 프리즘 내에 디스플레이된 애플리케이션으로부터의 콘텐츠가 프리즘 외부로 그리고 사용자의 랜드스케이프로 넘치거나 유출되는 것을 방지한다. 사용자가 프리즘(113) 내에 디스플레이된 가상 콘텐츠(115)를 볼 때, 프리즘(113)의 경계들은 사용자에게 디스플레이되지 않을 수 있다. 사용자의 랜드스케이프 내에서 3D 콘텐츠의 현실감 있는 디스플레이를 유지하기 위해, 가상 콘텐츠(115)의 경계를 이루고 있는 프리즘의 경계들을 보여주지 않는 것이 중요하기 때문에 이것이 중요하다. 당해 기술분야에서 통상의 지식을 가진 자는 가상 콘텐츠(115)를 랩핑하는 프리즘의 경계들을 디스플레이하지 않는 것이 중요한 것을 인식하여, 가상 콘텐츠가 사용자의 랜드스케이프에서 보다 현실감 있는 방식으로 디스플레이될 수 있다. 3D 윈도우들과 달리, 2D 윈도우의 테두리들 및 경계들은 일반적으로 디스플레이되므로, 2D 윈도우들을 디스플레이하는 컴퓨터의 사용자는 하나의 2D 윈도우 내의 콘텐츠와 다른 2D 윈도우로부터의 콘텐츠를 명확하게 구별할 수 있다. 그러나 일부 실시예들에서는, 예를 들어 하나 이상의 애플리케이션들과의 문제들을 해결하는 것을 돕기 위해 프리즘의 경계들을 적어도 일시적으로 디스플레이하는 것이 유리할 수 있다.

[0113] 애플리케이션들에는 유니버스에 의해 내부에 콘텐츠를 배치할 프리즘들(113)의 인스턴스가 제공된다. 애플리케이션들은 상대적 배치 알고리즘들 및/또는 임의의 변환들을 사용하여 프리즘(113) 내에서 2D 및/또는 3D 콘텐츠를 렌더링할 수 있지만, 유니버스는 여전히 궁극적으로 콘텐츠 추출과 같은 총 상호 작용 패턴들을 담당한다. 다수의 애플리케이션들이 프리즘들(113)을 통해 유니버스에 렌더링될 수 있으며, 프로세스 경계들은 프리즘들을 분리한다.

[0114] 유니버스에 할당된 각각의 프리즘은 조정될 수 있는 연관된 세트의 키 값 속성들을 가지며, 다양한 거동 비트들을 결정하거나 주어진 프리즘이 존재하는 이유에 관한 정보를 전달할 수 있다. 일부 속성들은 일반 애플리케이션의 경우 읽기 전용이지만, 개인 API를 가진 애플리케이션들의 경우에는, 이러한 속성들이 기록 가능하다. 프리즘(113)은 프리즘 속성들(310), 애플리케이션 특정 속성들(320) 및 가상 콘텐츠(115)를 포함할 수 있다. 추가로, 일부 프리즘들(113)은 사용자들에게 추가 프리즘 관리 옵션들을 제공하기 위한 보조 UI 볼륨(330)을 포함한다. 그러나 일부 실시예들에서, 프리즘들은 예를 들어, 이러한 다른 타입들의 프리즘들(예컨대, 런처 메뉴 프리즘들)이 보조 UI 볼륨(330)에 의해 제공되는 특징들을 필요로 하지 않을 수 있기 때문에 보조 UI 볼륨(330)을 갖지 않을 수 있다. 프리즘들의 경계들에서와 같이, 보조 UI 볼륨(330)은 사용자에게도 역시 디스플레이되지 않을 수 있다. 사용자가 프리즘에 변경들을 하길 원하는 경우, 사용자는 보조 UI 볼륨의 볼륨 공간 내에 프리즘의 UI 컨트롤들을 디스플레이하는 애플리케이션 옵션 메뉴를 디스플레이하라는 요청을 시작할 수 있다.

[0115] 프리즘들은 이들이 보유하는 애플리케이션에 따라, 프리즘들의 콘텐츠에 대한 적절한 피드백 및 거동을 제공하기 위해 서로 다른 속성들을 필요로 할 수 있다. 애플리케이션 개발자들은 이들이 자신들의 애플리케이션을 만들 때 자신들의 선호도들을 기초로, 콘텐츠가 올바르게 표현될 수 있도록 프리즘에 대한 다수의 사전 프로그래밍된 옵션들 중에서 선택할 수 있다. 다음은 이러한 옵션들 중 일부 옵션들의 예들이다.

[0116] 프리즘 속성들(310)은 프리즘을 적어도 부분적으로 정의하며, 유니버스가 프리즘들을 관리하고 사용자의 랜드스케이프 내에 유지할 수 있게 한다. 예를 들어, 프리즘 속성들(310)은 디폴트 크기, 최대 크기, 최소 크기, 앵커/배치 타입(예컨대, 빌보드에 대한 옵션 등), 앵커 타입에 대한 주어진 프리즘의 거동, 앵커 위치, 자식 프리즘 스폰 위치, 자식 머리 포즈 하이라이트, 표면상에서의 거동, 독립 변환 제어, 크기 조정 대 스케일 조정(rescale) 표시자, 유휴 상태 타임아웃 변수 등 중 하나 이상을 포함할 수 있다. 프리즘 속성들(310)은 사용자의 랜드스케이프 내에서 각각의 모든 프리즘을 추적하고 관리하는 능력을 유니버스에 허용한다. 사용자의 랜드스케이프 내에 디스플레이된 가상 콘텐츠를 관리하는 단일 애플리케이션을 갖는 것은, 사용자의 랜드스케이프 내에 디스플레이된 콘텐츠가 일관되고 신뢰할 수 있는 방식으로 디스플레이되는 것을 보장한다. 프리즘 속성들(310) 중 일부가 아래에 추가로 개시된다.

[0117] 최대, 최소 및 디폴트 크기: 애플리케이션들은 (선택적으로, 유니버스로부터의 추가 제한들과 함께) 애플리케이션 개발자에 의해 지정된 상한 및 하한을 가질 수 있다. 추가로, 애플리케이션 개발자들은 애플리케이션이 처음 런칭될 때 디폴트 크기를 가질 수 있다.

[0118] 움직임 시퀀스 동안의 빌보드에 대한 옵션: 특정 오브젝트들(예컨대, 평면인 콘텐츠)은 움직임 시퀀스 동안 사용자 쪽으로 빌보드에 게시하여 가독성을 높이고 관리를 줄이는 것이 타당하다. 예를 들어, 평면 표면 상에 디스플레이된 특정 콘텐츠는 특정 위치에 그리고/또는 오브젝트에 상대적으로 포지셔닝될 수 있지만, 이들의 배향은 평면 표면 상에 디스플레이된 콘텐츠가 항상, 평면 표면 상에 디스플레이된 콘텐츠를 사용자가 보는 방향을 향하도록 자동으로 계산된다. 다른 선택적 바디 다이내믹 거동들도 역시 이에 추가될 수 있다.

[0119] 자식 프리즘 스폰 위치: 프리즘들은 유연한 레이아웃들을 생성하는 자식들을 스폰할 수 있다. 애플리케이션 개발자들은 부모 프리즘과 관련하여 자식이 스폰될 수 있는 반응 범위의 위치들을 결정할 수 있어야 한다.

[0120] 자식 머리 포즈 하이라이트: 애플리케이션들은 자식 프리즘들에 대한 머리 포즈 하이라이트가 별도의 하이라이트들로 취급되어야 하는지 여부 또는 모든 자식/부모 프리즘들을 한 단위로 하이라이트하는 것이 계속되는지를 선택하는 것이 가능할 수 있다.

[0121] 자식 프리즘 관계적 거동: 프리즘들은 평행이동, 회전 및 스케일에서 이 프리즘들에 이들의 자식 프리즘(들)이 앵커링되는지 여부를 결정하고, 또한 자식 프리즘(들)이 메인 프리즘과 함께 닫힐지 여부를 선택할 수 있다.

[0122] 표면상에서의 거동: 프리즘들은 표면에 스냅될 수 있고, 프리즘들이 크기/스케일 변경을 원하는지 여부를 결정하기 위해 해당 표면에 질의할 수 있다. 표면이 공간을 갖는다면, 프리즘은 사용자의 시야(FOV: field of view)에서 모든 또는 일정 비율의 표면 및 팩터에 맞게 크기가 조정될 수 있다.

[0123] 독립 변환 제어: 애플리케이션이 자신의 평행이동, 회전 및 스케일링에 대한 독립적인 제어를 요청할 수 있다. 이는 애플리케이션의 자체적인 이동 및 변환을 가능하게 할 수 있다.

[0124] 크기 조정 대 스케일: 일부 애플리케이션들은 이들의 콘텐츠를 단지 스케일링하는 대신, 이들의 경계들의 크기를 조정하는 것을 택할 수 있다. 이는 이들의 경계들 내에 디스플레이될 더 많은 콘텐츠를 수용할 수 있다. 이것은 오히려 기존 컴퓨터 2D 윈도우들에 가깝게 기능할 수 있다.

[0125] 유휴 상태 타임아웃: 애플리케이션들은 그들이 유휴 상태로 진행하는 데 걸리는 시간을 선택하는 것이 가능할 수 있다. 이는 애플리케이션들이 보이지 않더라도 애플리케이션들이 콘텐츠를 계속 플레이하길 원할 수 있는 상황들을 다룰 수 있다. 예를 들어, 라이브 비디오를 디스플레이하는 애플리케이션은 사용자가 일시적으로 눈길을 돌렸더라도 계속 콘텐츠를 디스플레이하고 오디오를 플레이하기를 원할 수 있다.

[0126] 애플리케이션 특정 속성들(320)은 각각의 프리즘에 대한 애플리케이션 특정 상태 정보를 저장하는 키 값 쌍들의 리스트일 수 있다. 키 값 쌍들의 리스트는 애플리케이션에 특정하며, 키 값 쌍들은 프리즘 내에서 디스플레이 또는 렌더링되고 있는 애플리케이션의 콘텐츠의 상태 정보를 제공한다. 키 값 쌍들의 리스트는 프리즘에 렌더링되고 있는 애플리케이션에 따라 각각의 프리즘마다 서로 다를 수 있다. 예를 들어, 애플리케이션이 비디오 스트리밍 애플리케이션이라면, 일부 키 값 쌍들은 비디오 이름, 비디오에 대한 시청 시간, 비디오를 디스플레이하기 위한 종횡비 등을 포함할 수 있다.

[0127] 각각의 프리즘에 대한 프리즘 속성들(310)과 애플리케이션 특정 속성들(320) 모두가 로컬 데이터베이스(137)의 데이터 구조 내에 저장될 수 있다. 사용자가 혼합 현실 시스템을 작동시키고 있고 프리즘들과 상호 작용하고 있는 동안 프리즘 데이터가 계속 업데이트된다. 앞서 논의한 바와 같이, 로컬 데이터베이스(137)의 프리즘 인스턴스 데이터는 외부 데이터베이스(150)와 주기적으로 동기화함으로써 지속될 수 있다. 일부 실시예들에서, 로컬 데이터베이스(137) 및 외부 데이터베이스(150)는 거의 실시간으로 동기화될 수 있다.

[0128] 사용자가 유니버스에서 애플리케이션을 런칭할 때, 사용자는 런처 메뉴로부터 프리즘을 꺼내고 결과적인 볼륨을 공간에 배치할 수 있다. 애플리케이션 아이콘을 클릭하는 것과 같이, 애플리케이션을 런칭하는 다른 방법들이 사용될 수 있다. 일부 실시예들에서, 사용자는 제어기/입력 디바이스(예컨대, 토템)를 위 또는 아래로 이동시킴으로써 프리즘을 (구형 셸 상의) 고도 및 방위각으로 여기저기 이동시킬 수 있다. 오브젝트를 더 가까이 또는 더 멀리 이동시키기 위해, 사용자는 토템 상의 조이스틱을 사용하여 프리즘을 "밀거나" 또는 "당길" 수 있거나, 토템의 터치 감지 부분 위로 사용자의 손가락을 슬라이딩할 수 있다. 이는 셸의 반경을 변경하는 효과를 갖는다. 일부 실시예들에서, 토템 상의 2개의 버튼들이 프리즘을 성장 또는 수축시킬 수 있다. 마지막으로, 토템 자체를 회전시키는 것은 프리즘을 회전시킬 수 있다. 이것은 토템들이 6 DOF(degrees of freedom)를 가질 수 있다고 가정한다. 이것은 예를 들어, VR 페인팅 애플리케이션들에 사용되는 컨트롤들의 종류와 일치하지만, 토템은 임의의 적절한 사용자 입력 디바이스일 수 있다.

[0129] 일부 실시예들에서, 프리즘들은 프리즘들이 다른 프리즘들과 완전히 또는 부분적으로 교차하는 그러한 방식으로 자체적으로 배치되게 하지 않을 수 있다. 아래 논의되는 바와 같이, 프리즘들이 물리적 성질의 목적으로 소량 오버랩할 수 있다는 점을 제외하고는, 프리즘들이 전혀 교차하지 않을 수 있거나 정확히 동일한 위치(앵커 포인트)에 존재하지/능동적으로 디스플레이되고 있지 않을 수 있다. 하나보다 많은 프리즘이 정확히 동일한 위치에 배치된다면, 액티브 애플리케이션이 디스플레이될 수 있고, 정확하게 동일한 위치에 앵커링된 다른 애플리케이션들은 숨겨질 수 있다. 사용자는 예를 들어, 볼륨에 디스플레이된 도트들에 의해 한 위치에 다수의 애플리케이션들이 존재한다고 말하는 것이 가능할 수 있다. 예를 들어, 특정 지점에 3개의 프리즘들/애플리케이션들이 있다면, 3개의 도트들이 있을 수 있다. 사용자가 3개 중 애플리케이션 #2를 보고 있다면, 두 번째 도트는 밝아질 수 있는 한편, 다른 도트는 어둑해질 수 있다. 그런 다음, 사용자는 다른 애플리케이션들을 스와이프하거나 스크롤할 수 있다. 그래픽들이 전환될 수 있고, 도트들은 (예컨대, 액티브 도트를 밝게 함으로써) 어떤 애플리케이션이 현재 액티브인지를 보여주도록 업데이트할 수 있다.

[0130] 일부 실시예들에서, 여러 프리즘들이 동일한 앵커 위치에서 같은 위치에 배치될 수 있다. 언뜻 보기에, 이것은 이상한 일처럼 보일 수 있다. 사용자의 랜드스케이프에 애플리케이션들을 배치하는 데 이용 가능한 모든 3D 공간에서, 이들을 동일한 지점에 배치하는 이유는 무엇인가? 실제로는, 이것이 완벽하게 타당하다. 예를 들어, 가상 보드 게임들을 플레이하기 위해 사용자가 선호하는 장소는 식탁 테이블 위일 수 있다. 아침에 사용자는 아침 식사를 하면서 "Ticket To Ride"를 플레이하고 싶을 수 있다. 그러나 사용자가 퇴근하면, 사용자는 컴퓨터와 "Risk"를 플레이하고 싶을 수 있다. 사용자는 동일한 지점에 위치된 복수의 보드 게임들을 가질 수 있고, 필요할 때 이들 간에 전환할 수 있다.

[0131] 일부 실시예들에서, 프리즘들은 공간 내의 임의의 위치에 배치될 수 있다. 이 경우, 프리즘은 정육면체/직사각형 볼륨의 중심점에 의해 앵커링될 수 있다. 그러나 (예컨대, 배치 중에) 프리즘이 랜드스케이프의 수평 표면 근처로 이동된다면, 프리즘은 표면에 스냅하려고 시도할 수 있다. 그 다음, 앵커 포인트가 프리즘의 바닥 평면의 중심이 될 수 있다. 유사하게, 프리즘이 수직 표면(예컨대, 벽)을 향해 이동된다면, 프리즘은 벽에 스냅을 시도할 수 있고, 앵커 포인트는 수직 표면 옆에 있는 프리즘의 측면이 될 수 있다.

[0132] 앵커 포인트의 목적은 프리즘이 그에 앵커링되는 표면과 서로 침투하지 않도록 프리즘을 배치하는 것일 수 있다. 앵커 포인트는 또한, 그에 앵커링된 오브젝트와 함께 이동할 수 있다. 다수의 프리즘들이 동일한 위치를 공유하는 경우, 해당 위치는 이들 개개의 볼륨들의 중심점이 아니라 앵커 포인트일 수 있다. 애플리케이션들은 자신이 어디에 위치되는지를 알지 못하고 알 필요가 없지만, 애플리케이션들은 이들 개개의 프리즘이 어떻게 앵커링되어 있는지 확인하기 위해 개개의 프리즘에 알아볼 수 있다. 애플리케이션들은 또한, 어떤 앵커링 타입들이 유효한지를 지정할 수 있다. 예를 들어, Halcyon을 수직 표면에 앵커링하는 것은 의미가 없다.

[0133] 애플리케이션에 대한 모든 콘텐츠(그래픽들)가 프리즘의 볼륨 내에 포함될 수 있다. 유니버스는 프리즘 외부로 자동 확장되는 그래픽들을 가릴 수 있다. 애플리케이션들은 월드 내의 다른 애플리케이션들에 대해 알지 못하기 때문에, 유니버스는 상이한 애플리케이션들의 상이한 프리즘들 간에 발생하는 상호 작용들을 관리할 수 있다.

[0134] 프리즘들을 배치하기 위한 사용자 인터페이스 설계는 프리즘들이 배치 상태로 이동되고 있는 동안 프리즘들이 (스트링 위의 오브젝트와 같은) 물리적 방식으로 흔들릴 것을 요구할 수 있다. 프리즘은 서로 다른 애플리케이션들이 어떤 종류들의 물리적 거동들을 원할지를 예측하려고 시도하는 대신, 프리즘이 배치되고 있는 동안 (바인더 인터페이스를 통해) 애플리케이션에 이동 정보를 공급할 수 있다. 그런 다음, 애플리케이션이 적절하게 거동할 수 있다.

[0135] 프리즘들이 배치되고 있을 때 프리즘들 간의 물리적 거동이 또한 존재할 수 있다. 이는 애플리케이션의 물리성(physicality) 구현을 무시할 수 있고, 애플리케이션이 이동 데이터의 수신을 중단할 수 있다.

[0136] 프리즘들은 처음에는 교차를 저지할 수 있다. 사용자가 2개의 프리즘들을 동일 위치로 계속 푸시한다면, 프리즘들은 프리즘이 교차하고 있는 프리즘의 앵커 위치에 스냅될 수 있다. 이것은 (예컨대, 비누 거품들이 서로 상호 작용하는 것과 유사한) 탄력을 느끼고 물리적 성질에 대략적으로 기반하는 방식으로 이루어질 수 있다.

[0137] 오디오 방출기들이 애플리케이션의 장면 그래프의 자식 노드들로서 배치될 수 있다. 이러한 노드들은 루트 노드 변환에 로컬일 수 있다. 따라서 프리즘이 이동될 수 있는데, 프리즘의 이동은 애플리케이션이 오디오 노드의 변환을 업데이트하도록 요구하지 않는다. 유니버스는 오디오 방출기를 월드 공간으로 최종 변환하는 것을 담당할 수 있다. 프리즘은 또한 오디오 노드들을 그 경계들로 제한하는 것을 담당할 수 있다. 애플리케이션들은 이들 개개의 프리즘들 외부의 포인트로부터 오디오를 방출하지 못할 수 있다.

[0138] 일부 실시예들에서는, 오디오를 공간화하는 것이 바람직하지 않을 수 있다. 예를 들어, 사용자가 가상 TV를 벽에 배치하고 TV 이미지에 초점이 맞춰진다면, TV의 오디오는 수정 없이 사용자에게 제공될 수 있다. 이것은 사용자에게 더 나은 오디오 경험을 제공할 것으로 예상된다. 서라운드 사운드의 경우, 오디오 신호는 이미 공간 정보를 갖고 있다. 사운드는 TV와 관련하여 최적의 위치들에 배치된 가상 스피커들로부터 방출될 수 있다.

[0139] 일부 실시예들에서, 사용자가 오디오 강도를 제어하기 위해 버튼을 누르면, 유니버스는 머리 포즈를 체크하여, 사용자가 어떤 프리즘을 보고 있는지를 결정하고 대응하는 프리즘에 볼륨 업 또는 볼륨 다운 이벤트를 전송할 수 있다. 프리즘은 프리즘에서 실행되는 애플리케이션으로 해당 정보를 전달할 수 있으며, 애플리케이션은 이를 어떻게 해석할지를 결정할 수 있다. 랜드스케이프에서 초점이 맞는 애플리케이션들이 없다면, 볼륨 버튼 설정들이 전체 볼륨을 조정할 수 있다.

[0140] 일부 실시예들에서, 종래의 2D 윈도우들과 프리즘들(113) 간의 한 가지 차이점은 2D 윈도우들에서는, 2D 윈도우의 경계들을 설정하는 테두리들이 2D 윈도우의 테두리들 외부의 콘텐츠와 별개로 2D 윈도우 내에서 콘텐츠를 포괄하는 구체적인 테두리를 제공하는 것으로 사용자에게 보이도록 의도된다는 점이다. 그러나 일부 실시예들에서, 3D 윈도우들(예컨대, 프리즘들(113))의 테두리들은 보이지 않는 것으로 여겨진다. 사용자들이 모든 각각의 프리즘의 외곽선(예컨대, 테두리들)을 볼 수 있다면, 이는 "현실"의 환상을 깨뜨릴 것이며, 테두리들이 디스플레이된 프리즘 내에 디스플레이되는 가상 콘텐츠는 실제가 아니라 컴퓨팅/디지털/가상 콘텐츠처럼 나타날 것이다. 일부 실시예들에서, 테두리들은 예를 들어, 필요에 따라 사용자 조작을 가능하게 하기 위해 디스플레이될 수 있다.

[0141] 다른 차이점은 2D 윈도우들이 일반적으로 사용자에 의해 제어되고 그리고/또는 사용자와 상호 작용하는 것으로 여겨진다는 점이다. 예를 들어, 종래의 2D 윈도우의 오른쪽 상단 코너에 항상 닫기 버튼이 나타나고 있을 수 있거나, 2D 윈도우의 최상단 테두리에 메뉴 바가 디스플레이될 수 있다. 그러나 프리즘들에서는, 사용자가 일반적으로 프리즘 및 그 경계들과 상호 작용하지 않는다. 대신에, 사용자가 옵션들의 리스트로부터 프리즘을 제어하고 관리/조작하도록 보조 메뉴(예컨대, 애플리케이션 옵션 메뉴)가 일시적으로 풀다운될 수 있다.

[0142] 더욱이, 2D 윈도우들은 그 주변과 독립적이다. 예를 들어, 컴퓨터 스크린 상에 디스플레이되는 것은 사용자가 스크린을 이동하는 경우에 자동으로 변경되지 않는다. 그러나 프리즘들은 실세계와 관련하여 배치될 필요가 있다. 예를 들어, 각각의 프리즘은 (1) 벽, 테이블 등과 같은 실제 환경의 오브젝트들; (2) 프리즘이 앵커링될 배경 또는 캔버스를 제공하도록 생성된 가상 오브젝트들; 및/또는 (3) 사용자에 관련하여 실세계에 배치될 수 있다. 일부 실시예들에서, 프리즘들은 실세계뿐만 아니라 통과 가능 월드와 관련하여 배치될 수 있다.

[0143] 심지어 더 추가로, 일부 실시예들에서는, 프리즘들이 물리적 성질의 목적으로 소량 오버랩할 수 있다는 점을 제외하고는, 프리즘들이 서로 오버랩/서로 침투하는 것이 허용되지 않을 수 있다. 예를 들어, 일부 실시예들에서, 2개 이상의 프리즘들 내의 가상 콘텐츠가 충돌할 때, 가상 콘텐츠는 2개의 가상 콘텐츠가 서로 충돌하는 것으로 나타날 때 이러한 가상 콘텐츠 사이에 바운스를 보여주는 것으로 나타날 수 있다. 여기서, 프리즘들은 2개의 가상 콘텐츠 사이의 바운스의 효과를 생성하기 위해 소량 오버랩할 수 있다. 일부 실시예들에서, 2개 이상의 프리즘들에 대한 경계 상자들이 충돌할 때, 프리즘 및 그에 따라 프리즘의 콘텐츠는 바운스하는 것으로 나타날 수 있다. 그러나 컴퓨터 상의 2D 윈도우들은 오버랩하며, 많은 경우들에는 2D 윈도우들이 위로 차곡차곡 캐스케이드되어, 사용자의 뷰로부터 서로 숨길 수 있다. 일부 실시예들에서, 2개의 프리즘들이 사용자의 랜드스케이프(110)에서 동일한 위치에 앵커링된다면, 프리즘들 중 하나가 디스플레이될 수 있는 한편, 다른 프리즘은 디스플레이로부터 최소화되며, 다른 프리즘이 정확히 동일한 위치에 앵커링됨을 사용자에게 나타내기 위해 아이콘 또는 텍스트 또는 이미지(또는 임의의 다른 시각적 표시자)가 디스플레이된다. 일부 실시예들에서, 예를 들어, 프리즘들이 충돌할 때, 프리즘들 주위에 추가 그래픽들을 렌더링하도록 무한대 프리즘이 구현될 수 있다. 일부 실시예들에서, 무한대 프리즘은 그 경계들이 무한대로 설정된 프리즘일 수 있다. 예를 들어, 2개의 프리즘들이 충돌에 가깝다면, 유니버스는 두 프리즘들 사이의 공간 영역에 불빛을 렌더링할 수 있다. 이러한 예외들을 처리하기 위해, 유니버스는 두 프리즘들 주위/둘레의 모든 공간, 사용자의 전체 시야(사용자가 현재 무엇을 볼 수 있는지), 사용자의 전체 관련 필드(사용자가 돌아다녔다면 사용자가 무엇을 볼 수 있었는지) 등을 포괄할 수 있는 무한대 프리즘을 생성할 수 있다. 이는 유니버스가 두 프리즘들 사이 어디에서든 그래픽들을 그릴 수 있게 할 수 있다. 일부 실시예들에서, 무한대 프리즘은 어떤 식으로도 충돌 또는 상호 작용하지 않을 수 있다. 일부 실시예들에서, 무한대 프리즘은 보조 UI 등을 갖지 않는다. 일부 실시예들에서, 유니버스만이 무한대 프리즘에 액세스할 수 있다. 무한대 프리즘은 유니버스 초기화 시 생성될 수 있으며 유니버스가 셧다운될 때까지 항상 존재할 수 있다. 두 번째 예에서, 캐릭터(예컨대, 아바타, 개인 비서, 나비, 동물 등)를 다른 랜드스케이프 애플리케이션들 사이로 이동시켜 예를 들어, 각각의 애플리케이션이 무엇인지 그리고/또는 애플리케이션을 어떻게 사용할지를 사용자에게 설명하기 위해 무한대 프리즘이 유용할 수 있다.

[0144] 도 4는 일부 실시예들에 따라, 예를 들어 가상 콘텐츠를 디스플레이하기 위한 애플리케이션들을 런칭하기 위해 머리 장착 시스템(160)을 착용하는 사용자가 보는 예시적인 런처 메뉴를 도시한다. 런처 메뉴는 이것이 다른 애플리케이션들을 런칭하기 위해 필요로 하는 높은 권한들로 인해 자체 애플리케이션으로서 존재할 수 있다. 런처 메뉴(400)는 상태 바(410)를 포함할 수 있고, 패널들이라 하는, 신체 중심의 경계 볼륨들(예컨대, 프리즘들)을 가질 수 있다. 일부 실시예들에서, 런처 패널은 단일 애플리케이션의 모양을 제공하는 몇몇 서로 다른 애플리케이션들을 포함한다. 예를 들어, 각각의 패널은 별도의 애플리케이션일 수 있지만, 단일 런처 애플리케이션의 모양을 제공할 수 있다. 유니버스는 런처 메뉴 소환(예컨대, 런처 메뉴 열기 요청) 중에 각각의 패널에 대한 명시적 생성 호출들을 수행할 수 있다.

[0145] 일부 실시예들에서, 별도의 애플리케이션 프로세스가 각각의 패널에 렌더링될 수 있다. 프로세스들은 나머지 유니버스와 동일한 콘텐츠 렌더링 기술들을 사용할 수 있지만, 일부 실시예들에서는 다음 예외들 중 하나 이상을 갖는다: (1) 런처 메뉴가 다른 애플리케이션들의 시작을 트리거할 수 있다; (2) 런처 메뉴 아이콘들 및 위젯 아이콘들이 추출되어 랜드스케이프에 배치될 수 있다 ― 배치된 아이콘들은 바로가기들로 지칭될 수 있다; (3) 런처 메뉴 자체가 랜드스케이프에 배치되어 돌아다닐 수 있다; (4) 런처 아이콘에서 콘텐츠 추출이 시작되었으면, 런처는 사용자 손, 6dof 제어기 또는 다른 제어기에 앵커링된 플레이스 홀더 콘텐츠를 로딩할 수 있어, 일단 추출이 완료되면, 유니버스가 플레이스 홀더 콘텐츠를 대체하는 프리즘에 애플리케이션을 런칭한다; 그리고 (5) 사용자가 런처 메뉴의 패널들 사이를 스와이프하고 개개의 패널들을 확장할 수 있다. 일부 실시예들에서, 패널들은 캐러셀들로 구현되지 않을 수 있다. 대신, 런처 패널들은, 메인 패널이 항상 중앙 패널로서 고정되고, 사용자가 왼쪽, 오른쪽, 위 또는 아래로 스와이프를 수행할 때 최소화된 패널들로부터의 콘텐츠가 중앙 패널 안팎으로 애니메이팅되도록 배치되도록 같은 위치에 배치될 수 있다. 일부 실시예들에서, 런처 애플리케이션 자체는 사용자에 의해 사용자의 통과 가능 월드 내에 배치될 수 있으며, 이로써 런처 바로가기를 생성할 수 있거나 사용자의 통과 가능 월드 및/또는 랜드스케이프 내에 런처를 배치할 수 있다.

[0146] 일부 실시예들에서, 런처 메뉴(400)는 일련의 신체 중심 패널들을 패널 캐러셀로서 조직화할 수 있다. 패널 캐러셀은 각각의 패널이 자체 애플리케이션 프로세스를 실행하고 있고 그리고/또는 각각의 패널이 별도의 애플리케이션이 되도록 한 번에 하나의 패널을 디스플레이할 수 있다. 일부 실시예들에서, 단지 하나의 현재 패널(405)만이 한 번에 확장되고 보일 수 있다. 현재 확장된 패널(405)의 양측에 현재 확장된 패널(405)로부터 고정된 거리에 2개의 신체 중심 플레이스 홀더 패널들(예컨대, 440a 및 440b)이 있을 수 있다. 플레이스 홀더 패널들(440a, 440b)은 유니버스에 의해 생성되어 현재 확장된 패널(405)에 인접한 2개의 패널들의 압축된 형태를 표현하는 개별 프리즘들일 수 있다. 어떤 실시예에서, 사용자가 다음 패널로 스와이프할 때, 플레이스 홀더에 의해 표현된 패널이 현재 패널이 될 수 있다. 플레이스 홀더 패널의 물리적 모델은 그것이 어떤 패널을 표현하고 있는지에 관계없이 동일하게 유지될 수 있다. 일부 실시예들에서, 서로 다른 패널들을 나타내는 플레이스 홀더들 간의 유일한 시각적 차이는 라벨(예컨대, 도 4에 도시된 바와 같이 최근 및 소셜)이다. 다른 실시예들은 동일한 위치에, 그러나 패널에 특정한 서로 다른 아이콘을 가진 서로 다른 패널들을 가질 수 있다(도 11 참조).

[0147] 일부 실시예들에서, 런처 메뉴(400)는 패널들의 흐름을 관리하는데, 이상적으로는 좌측 및 우측 패널들을 캐싱한다. 패널 캐러셀은 최근에 액세스된 애플리케이션들 패널(420), 일반 애플리케이션들 패널(425), 소셜 애플리케이션 패널(430) 및 (도시되지 않은) 스토어 패널을 포함할 수 있다. 최근에 액세스된 애플리케이션들 패널(420)은 사용자에 의해 최근에 액세스된 애플리케이션들의 아이콘들을 포함할 수 있다. 최근에 액세스된 애플리케이션들 패널(420)은 일반 애플리케이션들 패널(425)에 대한 현재 패널(405)이 현재 디스플레이되고 있을 때 최소화된 상태로 도시될 수 있다. 최근에 액세스된 애플리케이션들 패널(420)은 사용자가 대응하는 방향으로(예컨대, 오른쪽으로) 스와이프하여 최근에 액세스된 애플리케이션들 패널(420)을 전면 중앙으로 가져올 때 확장되어 아이콘들을 보여줄 수 있거나, 다른 실시예들에 따르면, 개개의 패널들에 속하는 콘텐츠가 중앙 패널의 안팎으로 애니메이팅될 수 있다. 일부 실시예들에서, 최근에 액세스된 애플리케이션들 패널(420)이 먼저 디스플레이될 수 있고, 애플리케이션들의 링을 포함할 수 있다. 임의의 수의 패널들이 사용될 수 있고, 이러한 패널들은 임의의 순서로 디스플레이될 수 있다. 패널들의 순서 및 개수는 사용자 테스트, 사용자 편의성 및/또는 사용자 선호도에 기초할 수 있다.

[0148] 일부 실시예들에서, 소셜 애플리케이션들 패널(430)은 일반 애플리케이션들(425)(또는 임의의 다른 패널)에 대한 현재 패널(405)이 현재 디스플레이되고 있을 때 최소화된 상태로 도시될 수 있다. 소셜 애플리케이션들 패널(430)은 사용자가 대응하는 방향으로(예컨대, 왼쪽으로) 스와이프하여 소셜 애플리케이션들 패널(430)을 전면 중앙으로 가져온다면 확장되어 아이콘들을 보여줄 수 있거나, 일부 실시예들에서는, 소셜 애플리케이션들과 연관된 콘텐츠가 중앙 패널에 애니메이팅/디스플레이되는 동시에, 플레이스 홀더 패널들 상의 라벨들이 그에 따라 변경된다.

[0149] 일부 실시예들에서, 일반 애플리케이션들 패널(425)의 아이콘들(450)은 도 2로부터의 아이콘 그리드 애플리케이션(260)과 유사한 아이콘 그리드 애플리케이션 내에서 아이콘들을 나타낼 수 있다. 아이콘들(450)은 혼합 현실 시스템에 설치된 애플리케이션들을 나타낼 수 있다. 사용자는 특정 아이콘(450)을 선택함으로써 애플리케이션을 런칭할 수 있다. 일부 실시예들에서, 사용자는 패널로부터 아이콘(450)을 추출하고 아이콘(450)을 사용자의 랜드스케이프에 배치할 수 있으며, 이 시점에서 유니버스는 추출된 아이콘(450)에 대응하는 애플리케이션에 대한 시동 프로세스를 개시할 수 있다. 대응하는 애플리케이션이 콘텐츠의 렌더링을 완료하면, 추출된 아이콘(450)은 프리즘으로 대체될 수 있고, 애플리케이션의 렌더링된 콘텐츠가 프리즘 내에 디스플레이될 수 있다.

[0150] 앞서 논의한 바와 같이, 일부 실시예들에서, 상태 바(410)는 혼합 현실 시스템의 상태 표시자들을 포함할 수 있다. 상태 표시자들은 예를 들어, WiFi 서비스를 운영 및 유지하기 위한 제1 서비스, Bluetooth 서비스를 유지하기 위한 제2 서비스 및 상태에 대한 제3 서비스를 조회함으로써 처음에 채워질 수 있다. 이러한 서비스들이 상태 바에 업데이트된 상태를 통지하면, 상태 바는 그에 따라 조정될 수 있다. 상태 바는 오디오 볼륨, 현재 시간, WiFi 접속/강도, Bluetooth 및 전원과 같은 서비스들에 대한 상태 표시자들을 포함할 수 있다. 위에서 언급 서비스들과 함께 또는 그에 대체하여 다른 서비스들이 상태 표시자들에 포함될 수 있다.

[0151] 일부 실시예들에서, 런처 메뉴(400)로부터 애플리케이션을 런칭하기 위한 요청 시, 아이콘 그리드 애플리케이션은 예를 들어, 프리즘 서비스 및/또는 유니버스 서비스를 통해 유니버스와 통신하여 애플리케이션을 시작할 수 있다. 유니버스는 지정된 패키지 이름 및/또는 컴포넌트 이름으로 프리즘을 생성할 수 있다. 유니버스는 애플리케이션의 청취자를 사용하여 애플리케이션에 프리즘을 제공할 수 있다. 프리즘은 이제 "배치 모드"에 있을 수 있다. 일단 사용자가 프리즘을 배치했으면, 사용자는 예를 들어, 보조 UI 애플리케이션 옵션 메뉴를 사용하여 임의의 수의 방식들로 프리즘을 수정할 수 있다.

[0152] 도 5a - 도 5b는 일부 실시예들에 따른 예시적인 패널 캐러셀 변화를 도시한다. 도 5a는 왼쪽에서 오른쪽으로의 스와이프 전에 왼쪽(520)(예컨대, 도 4로부터의 440a) 및 오른쪽(530)(예컨대, 도 4로부터의 440b) 패널들로 표현되는 플레이스 홀더 패널들을 갖는 런처 메뉴의 예시도를 도시한다. 현재 액티브 패널(505)은 아이콘 그리드 내의 아이콘들을 액티브 패널(505) 내의 "BB"로서 도시하는 예시적인 아이콘 그리드를 도시한다. 일부 실시예들에서, 아이콘 그리드는 그리드, 리스트, 하나 이상의 열들과 하나 이상의 행들, 아이콘들의 원, 및/또는 임의의 다른 형태를 형성하는 하나 이상의 아이콘들일 수 있다. 미니어처 패널(535)은 패널 캐러셀에서 이용 가능한 패널들을 도시한다(일부 실시예들에서, 미니어처 패널(535)은 사용자에게 보이지 않음). 패널 포지션 표시자들(540)은 "B" 패널을 가리키는 "C"로 표현된 중앙 패널, "A" 패널을 가리키는 "L"로 표현된 왼쪽 패널, 및 "C" 패널을 가리키는 "R"로 표현된 오른쪽 패널을 보여주며, "D" 패널은 현재 보이지 않고, 따라서 패널 포지션 표시자(540)로 지정되지 않았다(일부 실시예들에서는, 사용자에게도 또한 보이지 않음).

[0153] 도 5b는 도 5a에 도시된 런처 메뉴의, 왼쪽에서 오른쪽으로의 스와이프 이후의 예시도를 도시한다. 새로운 액티브 패널(555)은 이제 "A" 패널이며, 이는 새로운 액티브 패널(555)의 아이콘 그리드 내의 아이콘들로서 "AA"를 갖는다. 2개의 플레이스 홀더 패널들인 왼쪽(570) 패널은 "D" 패널을 보여주고 오른쪽(580) 패널은 도 5a의 이전 액티브 패널(505)로부터의 "B" 패널을 보여준다. 추가로, 미니어처 패널(585)은 이제 패널 캐러셀에서 이용 가능한 패널들을 패널들 A, B, C, D로서 도시한다. 그러나 패널 포지션 표시자들(590)은 이제 그에 따라, "C"로 표현된 중앙 패널이 "A" 패널을 가리키고 있고, "L"로 표현된 왼쪽 패널은 이제 "D" 패널을 가리키고 있고, "R"로 표현된 오른쪽 패널은 이제 "B" 패널을 가리키고 있는 것을 보여주는 것으로 변경되었다.

[0154] 일부 실시예들에서, 플레이스 홀더 패널들 자체는 일정하게 유지될 수 있으며, 라벨만이 하부 패널의 변경을 반영한다. 예를 들어, 도 4에서, 사용자가 도 5b의 왼쪽에서 오른쪽으로의 스와이프와 유사하게 왼쪽에서 오른쪽으로의 스와이프를 수행했다면, 새로운 액티브 패널은 "최근" 패널이 될 것이며, (단지 패널 캐러셀이 도 4에 개시된 4개의 패널들만을 갖는다고 가정하여) 오른쪽 플레이스 홀더 패널은 "일반"이라는 새로운 패널 명칭으로 디스플레이되고, 왼쪽 플레이스 홀더 패널은 "스토어"라는 새로운 패널 명칭으로 디스플레이된다. 플레이스 홀더 패널들의 이미지는 동일하게 유지될 수 있지만, 왼쪽 및 오른쪽 플레이스 홀더 패널들의 명칭들은 그에 따라 변경될 수 있다. 패널 시프트들은 사용자 모션의 전환 동작들, 예를 들어 왼쪽에서 오른쪽으로의 스와이프에 기초할 수 있다. 당해 기술분야에서 통상의 지식을 가진 자는 패널들 간에 전환하는 임의의 다른 방법들도 또한 사용될 수 있다고 인식할 수 있다.

[0155] 도 6은 일부 실시예들에 따라, 혼합 현실 시스템의 이전 사용 후에 혼합 현실 시스템을 시작하기 위한 접근 방식에 대한 흐름도를 도시한다. 시동 프로세스(600)는 사용자가 이전에 혼합 현실 시스템을 사용하고 혼합 현실 시스템의 전원을 끈 후에 혼합 현실 시스템의 전원을 켜기 위한/혼합 현실 시스템을 시작하기 위한 프로세스를 도시한다. 610에서, 혼합 현실 시스템은 사용자의 위치를 식별하고 머리 포즈를 설정하여 사용자(예컨대, 사용자의 머리)의 위치 및/또는 배향을 결정한다. 머리 장착 시스템(160)은 사용자의 위치를 적어도 부분적으로 결정하기 위한 GPS를 포함할 수 있다.

[0156] 620에서, 유니버스는 통과 가능 월드 시스템(예컨대, 외부 데이터베이스(150))에 액세스하고 현재 사용자의 랜드스케이프에 이전에 디스플레이되었던 프리즘들의 인스턴스들을 리트리브할 수 있다. 통과 가능 월드는 인스턴스 데이터를 반환할 수 있으므로, 유니버스는 리트리브된 프리즘들의 인스턴스 데이터로 사용자의 로컬 데이터베이스(137)를 재구성함으로써 사용자의 랜드스케이프에서 프리즘들의 이전 상태를 재구성할 수 있다. 통과 가능 월드 시스템은 사용자의 환경에 관한 정보, 예를 들어 사용자의 랜드스케이프(110)에서 어떤 프리즘들이 이전에 활성화되었는지 뿐만 아니라, 사용자가 이전에 시스템을 셧다운할 때의 각각의 프리즘의 상태를 지속적으로 저장한다. 로컬 데이터베이스(137)에 저장되는 사용자의 프리즘 인스턴스 데이터는 사용자가 혼합 현실 시스템을 셧다운할 때 소거될 수 있기 때문에, 혼합 현실 시스템의 재시작 시에 로컬 데이터베이스(137) 내의 사용자의 프리즘 인스턴스 데이터는 통과 가능 월드 시스템(예컨대, 도 1로부터의 외부 데이터베이스(150))으로부터 리트리브된 인스턴스 데이터에 기초하여 재구성될 수 있다.

[0157] 일부 실시예들에서, 인스턴스 데이터는 각각의 프리즘에 대해, (1) 프리즘 속성들 ― 프리즘 속성들은 위치, 배향, 범위 폭, 범위 높이, 범위 깊이, 앵커 타입들 및/또는 앵커 포지션들을 포함할 수 있음 ―; 및 (2) 개개의 애플리케이션들에 의해 이전에 렌더링된 가상 콘텐츠의 상태 정보를 포함하는 애플리케이션 특정 속성들 중 하나 이상을 포함할 수 있다. 예를 들어, 프리즘에 렌더링되는 애플리케이션이 비디오 스트리밍 애플리케이션이라면, 애플리케이션 특정 정보는 비디오의 제목, 비디오가 플레이된 시점 및 렌더링되고 있는 비디오의 종횡비를 포함할 수 있다. 애플리케이션 특정 정보는 각각의 애플리케이션에 대한 상태 정보를 저장하는 키 값 쌍들의 리스트일 수 있다. 키 값 쌍들의 리스트는 개개의 애플리케이션들에 특정할 수 있고, 키 값 쌍들은 프리즘 내에 디스플레이 또는 렌더링되고 있는 애플리케이션의 콘텐츠에 대한 상태 정보를 제공할 수 있다.

[0158] 일부 실시예들에서, 각각의 사용자(103)는 이들 자신의 프리즘 인스턴스 데이터를 자신의 로컬 데이터베이스(137)에 저장되게 할 수 있지만, 마스터 프리즘 데이터베이스 인스턴스 데이터는 혼합 현실 시스템의 다른 사용자들에 대한 다른 프리즘 인스턴스 데이터 및/또는 사용자의 현재 위치 이외의 다른 위치들에 대한 프리즘 인스턴스 데이터를 포함하는 통과 가능 월드 시스템(예컨대, 외부 데이터베이스(150))에 저장된다. 혼합 현실 시스템의 사용자들에 대한 프리즘 데이터는 통과 가능 월드 시스템에 저장될 수 있다. 일부 실시예들에서, 제1 사용자는 제1 사용자의 랜드스케이프로부터의 프리즘 내에 디스플레이된 가상 콘텐츠를 동일한 위치에서 또는 일부 실시예들에서는, 제1 사용자와 다른 물리적 위치에서 혼합 현실 시스템을 사용하고 있는 제2 사용자와 공유하기를 원할 수 있다. 프리즘 정보는 제1 사용자의 로컬 데이터베이스에서 제1 사용자가 이용 가능하기 때문에, 제2 사용자에 프리즘을 공유할 때, 제1 사용자로부터의 프리즘에 대한 인스턴스 데이터가 통과 가능 월드 시스템에 업로드될 수 있다. 그 다음, 프리즘에 대한 인스턴스 데이터가 제2 사용자의 로컬 데이터베이스에 저장되도록 제2 사용자에 송신되거나 제2 사용자에 의해 리트리브되어, 제2 사용자의 유니버스 애플리케이션이 제2 사용자의 로컬 데이터베이스에 프리즘의 인스턴스 데이터를 재구성하고 결과적으로, 프리즘을 제2 사용자의 랜드스케이프에 디스플레이할 수 있다.

[0159] 630에서, 프리즘은 사용자의 현재 위치로 복원될 수 있다. 사용자의 위치에 이전에 전개되었던 프리즘들에 대한 인스턴스 데이터가 사용자의 로컬 데이터베이스(137)에서 재구성되면, 사용자의 현재 위치에 이전에 전개되었던 프리즘들에 대응하는 개개의 애플리케이션들이 런칭될 수 있다. 혼합 현실 시스템이 방금 시동했으므로, 이전에 혼합 현실 시스템에 콘텐츠를 제공하고 있었던 애플리케이션들이 시작될 필요가 있을 수 있지만, 이 시점에서는 이전에 사용자의 랜드스케이프에 콘텐츠를 제공하고 있었던 애플리케이션들만이 런칭될 필요가 있다. 애플리케이션들의 런칭의 일부로서, 애플리케이션들은 애플리케이션들이 콘텐츠를 렌더링할 프리즘들을 유니버스가 생성하도록 요청할 수 있으며, 여기서 생성될 프리즘들은 사용자의 랜드스케이프에 디스플레이하기 위해, 사용자가 혼합 현실 시스템을 셧다운하기 전에 이미 전개되었던 프리즘들에 대응한다. 애플리케이션들이 런칭되고 프리즘들이 생성되면, 애플리케이션들은 개개의 프리즘들에 콘텐츠를 렌더링하기 위해 콘텐츠를 유니버스에 제공할 수 있다.

[0160] 일부 실시예들에서, 하나의 애플리케이션이 사용자의 위치에 전개된 하나보다 많은 프리즘에 콘텐츠를 제공할 수 있다. 이러한 실시예에서, 하나의 애플리케이션은 하나의 애플리케이션의 각각의 인스턴스 또는 프로세스에 대한 콘텐츠를 하나 이상의 프리즘들에 렌더링하도록 하나의 애플리케이션의 다수의 인스턴스들 또는 프로세스들을 전개할 수 있다.

[0161] 640에서, 사용자가 혼합 현실 시스템을 셧다운하기 전에 프리즘들이 사용자에게 디스플레이되었던 위치에서 프리즘들이 사용자의 랜드스케이프에 디스플레이될 수 있다. 프리즘들 및 프리즘들에 렌더링되는 애플리케이션들이 유지되기 때문에, 혼합 현실 시스템은 프리즘들 각각의 프리즘 속성들 각각에 적어도 부분적으로 기초하여 사용자의 랜드스케이프의 위치에 개개의 가상 콘텐츠와 함께 프리즘들을 전개/디스플레이함으로써 사용자의 랜드스케이프를 재구성할 수 있다. 일부 실시예들에서, 도 2로부터의 로더 볼륨들(210)과 같은 플레이스 홀더 프리즘들은 시동 시 현재 로딩 중인 프리즘의 위치에 디스플레이될 수 있다. 이러한 실시예들에서, 일단 새로운 프리즘들이 생성되고 복원되면, 플레이스 홀더 프리즘들 대신 새로운 프리즘들을 디스플레이하는 것은 플레이스 홀더 프리즘의 위치에서 새롭게 생성된 프리즘으로 개개의 플레이스 홀더 프리즘을 대체하는 것만큼 간단할 수 있다. 프리즘이 이를 랜드스케이프 대신 사용자에게 앵커링된 것으로 표기하는 속성을 갖는다면, 해당 프리즘은 사용자의 현재 포지션에 상대적인 포지션으로 복원될 수 있다.

[0162] 일부 실시예들에서, 프리즘에 렌더링되는 애플리케이션은 사용자가 이전에 혼합 현실 시스템을 셧다운했을 때의 상태에 부합하는 상태로 전개될 수 있다. 예를 들어, 사용자의 랜드스케이프의 사용자의 시야는 4개의 프리즘들이 전개되게 했을 수 있는데, 여기서 4개의 프리즘들 중 하나는 휴지 상태에 있었던 애플리케이션을 갖는 한편, 다른 3개의 프리즘들은 각각 능동적으로 렌더링되고 있었던 애플리케이션을 갖는다. 혼합 현실 시스템이 재시작되고 4개의 프리즘들이 디스플레이될 때, 프리즘들 중 3개는 능동적으로 렌더링하는 상태를 가질 수 있는 한편, 네 번째 프리즘은 사용자가 네 번째 프리즘의 휴지 상태를 재활성화할 때까지 휴지 상태에 있는 애플리케이션을 가질 수 있거나, 프리즘은 사용자가 일반적인 주변을 본다면, 상태가 능동적으로 렌더링하는 것으로 자동 변경될 수 있도록 구성된다. 프리즘의 상태를 변경하는 것은 아래에 추가로 개시된다. 일부 실시예들에서는, 프리즘의 상태를 변경하기 위해 다른 방법들이 사용될 수 있다.

[0163] 650에서, 사용자가 사용자의 랜드스케이프 내의 프리즘들과 상호 작용할 때 사용자의 로컬 데이터베이스가 프리즘 정보로 지속적으로(또는 일정한 간격으로 또는 이벤트에 의해 트리거될 때) 그리고 자동으로 업데이트된다. 예를 들어, 특정 프리즘들에 대한 애플리케이션들이 상태를 능동적으로 렌더링하는 것에서 액티브하지만 렌더링하지 않는 것으로, 또는 휴지 상태로 변경하면, 사용자의 로컬 데이터베이스는 해당 프리즘 내의 애플리케이션에 대한 업데이트된 상태 정보로 업데이트된다. 사용자의 로컬 데이터베이스로부터의 업데이트된 정보는 통과 가능 월드 시스템(예컨대, 외부 데이터베이스(150))이 사용자의 랜드스케이프 내의 애플리케이션들 및 프리즘들의 최신 변경 상태로 유지됨을 보장하도록 통과 가능 월드 시스템을 즉시 또는 주기적으로 업데이트하고 있을 수 있다. 당해 기술분야에서 통상의 지식을 가진 자는, 이것이 단지 프리즘 속성 또는 애플리케이션 특정 속성이 어떻게 변경되고 로컬 데이터베이스에 대해 그리고 이어서 외부 데이터베이스에 대해 업데이트들이 어떻게 이루어지는지에 대한 일례일 뿐이고, 프리즘들에 대한 또는 프리즘에 콘텐츠를 제공하고 있는 애플리케이션에 대한 다른 많은 유사한 타입들의 변경들이 이루어질 수 있음을 인식할 수 있다.

[0164] 3D 공간 환경에 디스플레이된 하나의 애플리케이션으로부터의 가상 콘텐츠를, 3D 공간 환경에 디스플레이된 다른 애플리케이션으로부터의 가상 콘텐츠로부터는 비공개로, 그러나 이와 여전히 상호 작용 가능하게 유지하는 문제는 하나의 프로그램(예컨대, 도 1로부터의 애플리케이션(들)(140))이 콘텐츠 생성을 관리하게 하고 별도의 프로그램(예컨대, 도 1로부터의 유니버스 애플리케이션(130))이 콘텐츠 디스플레이를 관리하게 함으로써 해결될 수 있다.

[0165] 도 7은 일부 실시예들에 따라, 애플리케이션에 의해 제공되는 가상 콘텐츠를 유니버스 애플리케이션에 의해 혼합 현실 3D 공간 환경에 디스플레이하기 위한 접근 방식에 대한 흐름도를 도시한다. 단계(710)에서, 사용자의 유니버스 애플리케이션이 사용자의 랜드스케이프(예컨대, 3D 공간 환경)에 가상 콘텐츠를 디스플레이하라는 요청을 수신할 수 있다. 일부 실시예들에서, 요청은 런처 메뉴와의 사용자 상호 작용에 의해 개시되었을 수 있으며, 여기서 사용자는 아이콘 그리드로부터 아이콘을 선택하여 가상 콘텐츠를 사용자의 랜드스케이프에 제공하도록 애플리케이션을 런칭한다. 앞서 논의한 바와 같이, 하나의 애플리케이션(예컨대, 도 1로부터의 애플리케이션(140))은 콘텐츠 생성을 관리할 수 있고 별도의 애플리케이션(예컨대, 도 1로부터의 유니버스 애플리케이션(130))은 콘텐츠 디스플레이를 관리할 수 있다. 이러한 처리의 분리는 다수의 애플리케이션들이 사용자의 랜드스케이프 내에 디스플레이할 콘텐츠를 생성하는 것을 가능하게 할 수 있는 한편, 콘텐츠의 디스플레이의 관리는 특히, 가상 콘텐츠가 서로 상호 작용하기 시작할 때, 사용자의 랜드스케이프 내에 디스플레이된 다수의 가상 콘텐츠가 정확하고 현실감 있게 사용자에게 디스플레이됨을 보장하도록 별도의 애플리케이션에 의해 관리된다.

[0166] 720에서, 애플리케이션에 의해 생성된 콘텐츠가 사용자의 랜드스케이프에서 프리즘의 경계들 내에 디스플레이될 수 있도록 유니버스가 프리즘을 생성할 수 있다. 프리즘은 프리즘의 볼류메트릭 공간의 경계들을 정의하는 경계들을 포함할 수 있지만, 프리즘의 경계들의 테두리들은 사용자에게 디스플레이되지 않을 수 있다는 점에 주목하는 것이 중요하다. 사용자의 랜드스케이프에 디스플레이될 프리즘 내부에 렌더링된 가상 콘텐츠는 사용자의 랜드스케이프에서 가상 콘텐츠를 보는 사용자에게 가능한 한 현실감 있게 나타나야 하기 때문에 이것이 중요할 수 있다. 가상 콘텐츠의 경계를 이루는 볼류메트릭 공간의 경계들의 테두리들이 사용자에게 보일 수 있다면, 가상 콘텐츠는 불가피하게, 한정된 공간 내에서 생성된 컴퓨터로서 나타날 수 있다. 따라서 프리즘이 프리즘의 경계들 내에 가상 콘텐츠를 한정하기 위한 테두리들 및 경계들을 포함할 수 있지만, 테두리들은 사용자에게 디스플레이되지 않을 수 있다. 프리즘들의 테두리들은 시스템 개발 및 테스트 도중 등과 같은 특정 상황들에서 디스플레이될 수 있다. 일부 실시예들에서, 프리즘의 테두리들/경계들이 예를 들어, 배치 중에 사용자에게 디스플레이될 수 있어, 사용자는 프리즘이 어디에 위치될지를 보다 쉽게 이해할 수 있다.

[0167] 일부 실시예들에서, 사용자의 랜드스케이프 내에 다수의 가상 콘텐츠를 디스플레이하기 위해 사용자에 의해 단일 애플리케이션이 요구될 수 있다. 단일 애플리케이션에 의해 디스플레이된 각각의 가상 콘텐츠는 그 자신의 개별 프리즘에 연관되고 그 개별 프리즘에 의해 디스플레이될 수 있거나, 단일 프리즘을 공유할 수 있다. 따라서 일부 실시예들에서, 애플리케이션이 추가 가상 콘텐츠가 디스플레이될 것을 요청한다면, 유니버스는 애플리케이션에 대한 하나 이상의 추가 프리즘들을 생성할 수 있으며, 여기서 추가 콘텐츠 각각은 이들 자체 프리즘이 사용자의 랜드스케이프스 내에 전개/앵커링될 것을 요구할 수 있다.

[0168] 생성된 프리즘에는 콘텐츠를 디스플레이할 것을 요청하는 애플리케이션의 고유 식별자가 제공될 수 있어, 애플리케이션이 사용자의 랜드스케이프에 디스플레이될 콘텐츠를 제공할 때, 유니버스가 애플리케이션으로부터 수신된 콘텐츠를 렌더링할 프리즘을 고유하게 식별하는 것이 가능할 수 있다. 더욱이, 프리즘은 사전 정의된 한 세트의 기능들을 자동으로 갖도록 생성될 수 있으며, 이러한 기능들은 일부 실시예들에서, 애플리케이션 및/또는 유니버스에 의해 사전 정의될 수 있다. 예를 들어, 한 세트의 기능들은 프리즘에 허용된 디폴트 최소/최대 크기, 프리즘이 사용자에 관련하여 사용자의 랜드스케이프에서 얼마나 멀리 또는 가깝게 앵커링될 수 있는지에 기초하여 프리즘의 크기를 조정하기 위한 종횡비, 프리즘을 사용자의 랜드스케이프에 앵커링하기 위한 앵커 타입 등을 포함할 수 있다. 한 세트의 기능들은 로컬 데이터베이스에 프리즘 속성들로서 저장될 수 있다. 더욱이, 프리즘의 생성을 호출하는 애플리케이션에 따라, 프리즘에 대해서도 또한 특정한 애플리케이션 특정 속성들이 생성될 수 있다.

[0169] 730에서, 유니버스가 애플리케이션에 의해 생성된 가상 콘텐츠를 수신할 수 있다. 콘텐츠의 수신 시, 유니버스는 가상 콘텐츠가 프리즘의 경계들 내에 디스플레이되도록 렌더링할 수 있다. 앞서 도 2에서 논의한 바와 같이, 일부 실시예들에서, 애플리케이션은 콘텐츠를 생성할 수 있고 유니버스에서 실행되는 유니버스 중앙 집중식 렌더링 서비스로 중앙 집중식 렌더링 서비스 클라이언트를 통해 콘텐츠를 전송할 수 있다. 거기서부터, 유니버스는 콘텐츠를 디스플레이하도록 요청하는 애플리케이션에 대해 생성된 프리즘으로 콘텐츠를 렌더링할 수 있다. 유니버스는 또한 프리즘이 사용자의 랜드스케이프에 올바르게 디스플레이되는 것을 보장할 책임이 있을 수 있다. 예를 들어, 유니버스는 프리즘이 사용자의 랜드스케이프의 다른 프리즘들과 반드시 오버랩하지 않도록 할 수 있다. 유니버스는 위에서 설명한 예외(예컨대, 공통 앵커 포인트)가 적용되지 않는 한 기존 프리즘들 또는 실세계 콘텐츠와 관련하여 오버랩하는 포지션에 새로운 프리즘이 반드시 배치될 수 없게 한다. 유니버스는 사용자가 프리즘들이 오버랩하는 위치에 프리즘을 배치하도록 허용하지 않을 수 있다. 일부 실시예들에서, 애플리케이션들과의 클라이언트/서버 통신은 필요하지 않을 수 있다. 운영 시스템(예컨대, 렌더링을 관리하는 시스템 부분)이 멀티 스레딩을 위해 구성된다면, 애플리케이션들은 클라이언트/서버 구조 없이 직접 자신들을 프리즘들에 렌더링할 수 있다. 그 다음, 유니버스 서버와 같은 중앙 권한 기관이 충돌들, 이동, 입력들 등의 관리를 담당할 수 있다.

[0170] 740에서, 프리즘은 특정 애플리케이션 또는 프리즘에 적용될 수 있는 디폴트 앵커링 규칙 또는 사용자의 입력에 기초하여, (1) 사용자의 랜드스케이프의 공간에서 고정된 위치, (2) 사용자의 랜드스케이프 내의 물리적 오브젝트, (3) 사용자의 랜드스케이프 내에 디스플레이된 가상 오브젝트, 또는 (4) 특정 오브젝트(예컨대, 이하 신체 중심 앵커로도 또한 지칭되는 사용자의 신체 또는 신체 부분)에 대한 고정된 거리에 연관될 수 있다. 일부 실시예들에서, 신체 중심 앵커는 사용자의 신체 부분들(예컨대, 고정된 신체) 또는 머리/뷰 포지션(예컨대, 고정된 머리)에 상대적일 수 있다. 예를 들어, 프리즘은 프리즘이 사용자의 신체에 대해 고정되도록 신체 고정 포지션에 연관될 수 있다. 사용자가 자신의 머리를 움직인다면, 콘텐츠가 움직이지 않을 수 있지만, 사용자가 걷는다면, 프리즘은 사용자의 신체에 관련하여 고정된 포지션을 유지하기 위해 사용자와 함께 움직일 수 있다. 다른 예로서, 프리즘은 프리즘이 사용자의 머리 또는 포즈에 대해 고정되도록 머리 고정 포지션에 연관될 수 있다. 사용자가 자신의 머리를 돌린다면, 프리즘은 사용자의 머리 움직임에 관련하여 움직일 수 있다. 또한, 사용자가 걷는다면, 콘텐츠는 또한 사용자의 머리에 관련하여 움직일 수 있다.

[0171] 750에서, 프리즘이 사용자의 랜드스케이프에 배치/앵커링된다. 사용자가 애플리케이션을 어떻게 런칭했는지에 따라, 프리즘은 특정 앵커/위치와 이미 연관되었을 수 있다. 예를 들어, 사용자는 런처 메뉴 내의 아이콘 그리드로부터 애플리케이션 아이콘을 드래그함으로써 애플리케이션을 런칭하여, 사용자의 랜드스케이프의 특정 위치에 아이콘을 배치했을 수 있으며, 이 시점에서 프리즘은 해당 위치에 생성될 수 있고, 콘텐츠는 해당 특정 위치에서 프리즘에 렌더링된다.

[0172] 도 8은 일부 실시예들에 따라, 애플리케이션 상태들을 관리하기 위한 도면의 일례를 도시한다. 증강 현실 콘텐츠를 관리하고, 렌더링하고, 디스플레이하기 위한 높은 컴퓨팅 로드의 문제는 사용자에 대한 프리즘들의 상대적 포지션 및 위치 그리고 일부 실시예들에서는 사용자의 시야에 기초하여 프리즘들의 상태를 자동으로 변경함으로써 해결될 수 있다. 도면(800)은 일부 실시예들에 따라, 사용자 위치의 조감도를 도시한다. 사용자(805)는 x, y 및 z 축으로의 행성(예컨대, 물리적 환경)의 대략적 표현인 볼류메트릭 그리드 내에 있는 것으로 도시된다. 프리즘들에 대한 사용자(805)의 거리가 서로 다른 프리즘 상태들(870)을 가짐을 나타내기 위해 예시 목적으로 그리드 라인들이 도시된다. 여기서는, 사용자의 현재 위치의 2D 표현이 도시된다. 당해 기술분야에서 통상의 지식을 가진 자는 이 뷰가 사용자의 현재 위치의 3D 표현일 수 있다고 인식할 수 있다. 그러나 단순하게 하기 위해, 도 8은 2D 공간을 도시하는 것으로 예시되었다.

[0173] 사용자(805)는 3×3 셀 외부 구역(810)의 중심에 있는 것으로 도시된다. 추가로, 외부 구역(810)은 액티브 구역(820)과 버퍼 구역(830)을 포함하는 2개의 원형 영역들로 분할된다. 외부 구역(810)은 3×3 셀 그리드를 포함하는데, 여기서 사용자(805)가 그리드의 중심에 위치된다. 사용자(805)가 사용자의 랜드스케이프을 거쳐 이동할 때, 개개의 애플리케이션들과 연관된 다른 프리즘들이 도 8에 도시된 바와 같이 다양한 구역들에 출입할 수 있다. 액티브 구역(820)은 액티브 구역(820) 내에 위치된 프리즘들의 특정 프리즘 상태들(870)을 나타낼 사용자(805) 주위의 영역(예컨대, 원형 영역)을 예시한다. 예를 들어, 사용자(805)의 액티브 구역(820) 내의 휴지 프리즘들은 시동할 필요가 있지만, 실행 중인 다른 프리즘들은 이들의 상태들이 액티브 구역(820) 내에 위치된, 액티브하지만 렌더링하지 않음 상태(870b)이더라도 실행 상태를 유지해야 한다.

[0174] 버퍼 구역(830)은 액티브 구역(820)보다 사용자로부터 더 멀리 떨어진 구역이다. 이 구역 내의 프리즘들은 상태 변경을 필요로 하지 않을 수 있다. 예를 들어, 실행중 프리즘들은 예를 들어, 액티브하지만 렌더링하지 않음인 프리즘 상태(870b)를 갖는, 버퍼 구역에 위치된 한 프리즘에서와 같이 실행 상태를 유지한다. 다른 예로서, 휴지 프리즘들은 휴지 프리즘 상태(870a)를 갖는, 버퍼 구역(830) 내의 2개의 프리즘들에서와 같이 휴지 상태를 유지할 수 있다. 버퍼 구역(830) 밖에 있지만 외부 구역(810) 내에 있는 프리즘들은, 이들이 사용자(805)로부터 충분히 멀어 이들이 상태를 변경할 필요가 없을 수 있기 때문에 휴지 상태로 유지될 수 있다. 마지막으로, 외부 관련 셀들(815)에 위치된 프리즘들은, 이들이 사용자(805)로부터 너무 멀리 떨어져 있어 사용자(805)가 개개의 프리즘들로부터 더 가까운 거리 내에 있을 때까지 그러한 특정 프리즘을 실행하지 않음으로써 처리 자원을 절약하는 것이 혼합 현실 시스템에 유리할 수 있기 때문에, 로딩되지 않음, 휴지 또는 백그라운드인 프리즘 상태들을 가질 수 있다.

[0175] 프리즘 상태 범례(860)는 컬러 배색을 기초로 프리즘들의 다양한 서로 다른 프리즘 상태들을 개시하며, 여기서 적색 프리즘은 휴지 프리즘 상태(870a)를 나타내고, 오렌지색 프리즘은 액티브, 렌더링 없음 프리즘 상태(870b)를 나타내며, 녹색 프리즘은 액티브 및 렌더링 프리즘 상태(870c)를 나타내고, 보라색 프리즘은 로딩되지 않음 프리즘 상태(870d)를 나타내고, 파란색 프리즘은 백그라운드, 액티브, 렌더링 없음 프리즘 상태(870e)를 나타낸다.

[0176] 사용자(805)는 특정 시야(840)를 가질 수 있는데, 여기서 시야(840) 내의 프리즘들은 절두체(850) 내에 있을 수 있다. 여기서 절두체는 (예컨대, 도 1로부터의 머리 장착 시스템(160)을 통해) 사용자(805)의 스크린 상에 보이는 3D 영역이다. 절두체(850) 내의 실행중 프리즘들은 액티브 및 렌더링 프리즘 상태(870c)를 갖는 프리즘들에 의해 표시된 바와 같이, 렌더링되어야 한다. 절두체(850) 및 버퍼 구역(830) 내에 위치된, 휴지 프리즘 상태(870a)를 갖는 하나의 프리즘이 존재하기 때문에, 그 특정 프리즘이 버퍼 구역(830)과 절두체(850) 모두 내에 위치될 때 그 특정 프리즘이 시동하고 렌더링될 수 있다. 일부 실시예들에서, 프리즘들의 렌더링을 선별하기 위해 머리 포즈 절두체가 사용될 수 있으며, 절두체 선별은 프리즘들의 숨겨진 표면들과 같은 숨겨진 표면들을 결정하는 방법이다.

[0177] 아래 표 1은 첫 번째 열의 행들이 프리즘의 현재 상태를 설명하는 프리즘 상태 변화도를 예시한다. 후속 열들의 행들은 프리즘이 현재 구역에서 후속 열들에 표시된 새로운 구역으로 이동할 때 현재 상태에서 새로운 상태로의 프리즘 상태의 변화를 설명한다. 후속 열들의 행들의 값들은 사용자(805)에 대한 프리즘의 상대 거리에 기초하여 프리즘이 (한다 하더라도) 변경될 수 있는 새로운 상태를 설명한다.

표 1 - 프리즘 상태 변화도

	새로운 이벤트
현재 상태	액티브 구역	액티브 구역+절두체	버퍼 구역	버퍼 구역+절두체	외부 구역	외부 관련 셀들
휴지	액티브 렌더링 없음	액티브+렌더링	휴지	휴지	휴지	로딩되지 않음
액티브+렌더링 없음	액티브+렌더링 없음	액티브+렌더링	액티브+렌더링 없음	액티브+렌더링	휴지	로딩되지 않음
액티브+렌더링	액티브+렌더링 없음	액티브+렌더링	액티브+렌더링 없음	액티브+렌더링	휴지	로딩되지 않음
로딩되지 않음	액티브+렌더링 없음	액티브+렌더링	휴지	휴지	휴지	로딩되지 않음
백그라운드 지원 애플리케이션	액티브+렌더링 없음	액티브+렌더링	액티브+렌더링 없음	액티브+렌더링	액티브+렌더링 없음	액티브+렌더링 없음

[0178] 예를 들어, 프리즘이 현재 "휴지" 상태에 있고, 액티브 구역(820) 내에서 사용자(805)에 대해 프리즘을 배치할 수 있는 사용자(805)의 움직임에 기초한다면, 휴지 프리즘들은 이들이 사용자(805)의 액티브 구역(820) 내에 있을 때 시동해야 하기 때문에, 프리즘의 프리즘 상태가 "액티브 렌더링 없음"으로 변경될 수 있다. 추가로, 동일한 예에 따라, 프리즘이 현재 "휴지" 상태에 있다면, 그리고 프리즘이 버퍼 구역(830)과 절두체(850) 모두 내에 있으면, 버퍼 구역(830) 내에서 휴지 애플리케이션들이 버퍼 구역(830) 및 절두체(850) 내에서도 휴지 상태를 유지할 수 있기 때문에, 상태가 변하지 않고 유지될 수 있다. 그러나 휴지 프리즘이 액티브 구역(820) 및 절두체(850)로 전이하면, 프리즘이 시동하기 시작하고 프리즘 상태가 액티브 및 렌더링(870c)으로 변경될 수 있다.

[0179] 도 9는 일부 실시예들에 따라, 사용자의 위치에 대한 프리즘 상태를 관리하기 위한 흐름도를 도시한다. 910에서, 프리즘들의 공간 포지션이 볼류메트릭 그리드에 기록될 수 있다. 공간 포지션은 사용자의 랜드스케이프 내에 배치/앵커링되는 특정 프리즘의 앵커링 위치일 수 있다. 예를 들어, 프리즘은 벽 또는 테이블과 같은 사용자의 랜드스케이프 내의 오브젝트에 앵커링될 수 있다. 다른 예로서, 프리즘은 지구라는 행성의 부동 3D 지구본과 같은 사용자의 랜드스케이프 내의 임의의 특정 오브젝트에 연관되지 않는 공간의 고정된 위치에 앵커링될 수 있다. 프리즘이 시작될 때, 그 공간 포지션은 프리즘의 콘텐츠가 렌더링될 수 있는 프리즘의 위치를 식별하기 위해 월드에 대해 x, y 및 z 축을 가질 수 있는 볼류메트릭 그리드에 기록된다. 사용자의 랜드스케이프에 배치된 각각의 프리즘은 통과 가능 월드 시스템에 저장된 프리즘의 데이터 구조 내에 (예컨대, 볼류메트릭 그리드로서) 저장된 특정 위치를 가질 수 있다. 앞서 논의한 바와 같이, 볼류메트릭 그리드는 x, y 및 z 축 포맷으로 행성의 대략적 표현을 나타낼 수 있다. 임의의 다른 타당해 보이는 좌표 또는 상대 배치 시스템이 또한 사용될 수 있다.

[0180] 920에서, 3D 공간 영역을 나타내는 볼류메트릭 그리드의 셀이 식별된다. 프리즘들이 공간적으로 서로 매우 가까이 있다면 셀은 하나 이상의 프리즘들을 포함할 수 있다. 일부 실시예들에서, 셀의 폭은 액티브 구역의 반경과 같거나 그보다 더 클 수 있다. 일부 실시예들에서, 셀의 폭은 액티브 구역의 반경보다 더 작을 수 있다. 액티브 구역의 반경은 혼합 현실 디바이스를 사용하는 사용자로부터 도 8에 도시된 바와 같이 액티브 구역(820)으로서 공간의 원형 및/또는 구형(또는 다른 적합한 형상의) 영역을 한정할 사전 구성된 거리(예컨대, 25 미터)까지의 거리 측정을 나타낸다. 대안으로, 볼류메트릭 그리드는 혼합 현실 디바이스를 사용하는 사용자로부터의 거리들에 대응하는 경계들 및 테두리들을 추가로 설정하여 본 개시내용의 실시예들을 구현할 서로 다른 구역들을 설정하도록 사전 정의된 길이를 갖는 셀들로 분할될 수 있다.

[0181] 930에서, 혼합 현실 디바이스를 사용하는 사용자가 셀의 위치로 이동할 때, 셀 및 이웃하는 셀들 내의 각각의 프리즘의 알려진 포지션들의 거리가 결정된다. 혼합 현실 디바이스를 사용하는 사용자가 사용자의 랜드스케이프를 거쳐 이동할 때, 사용자 근방 이내에서 프리즘들의 상태를 관리하기 위해 각각의 프리즘들의 마지막으로 알려진 포지션까지의 거리 체크가 체크된다. 시스템은 월드 전체에서 프리즘들에 걸친 거리 체크를 수행하는 것을 방지하기 위해, 볼류메트릭 그리드를 사용하고 혼합 현실 디바이스들 주위의 셀들(예컨대, 셀 및 이웃 셀들)에 대해서만 검색/체크/계산/결정을 제한함으로써 거리 체크/계산/결정의 양을 최소화할 수 있다. 일부 실시예들에서는, 사용자에 의해 점유된 셀들 내의 프리즘들만이 거리 체크된다. 일부 실시예들에서는, 사용자에 의해 점유된 또는 사용자에 의해 점유된 셀들에 인접한 셀들 내의 프리즘들만이 거리 체크된다. 일부 실시예들에서는, 사용자의 FOV/뷰 절두체 내의 모든 셀들의 프리즘들이 거리 체크된다. 일부 실시예들에서, 사용자의 거리 내의, 이를테면 사용자의 10 피트 또는 25 피트 내의 프리즘들이 거리 체크될 수 있다.

[0182] 940에서, 프리즘과 사용자 간의 거리에 따라, 프리즘의 상태가 수정될 수 있다. 거리 외에도, 다른 팩터들이 다른 구역들 및 사용자의 시야에 대한 프리즘의 현재 상태와 같은 프리즘의 상태가 수정될 수 있는지 여부를 지시할 수 있다. 예를 들어, 프리즘의 현재 상태가 휴지 상태이고 사용자가 프리즘이 액티브 구역(820) 및 절두체(850) 내에 위치된 위치로 이동한다면, 프리즘의 상태는 표 1에 따라 휴지 상태에서 액티브 및 렌더링 상태로 변경될 수 있다. 그러나 휴지 프리즘이 버퍼 구역(830) 및 절두체(850) 내에 위치된다면, 프리즘이 버퍼 구역 및 절두체 구역으로 이동될 때 표 1에 따라 현재 휴지 상태가 휴지 상태로 유지되기 때문에 프리즘의 상태가 변경되지 않을 수 있다. 위에서 개시한 바와 같이, 버퍼 구역은 주로 프리즘의 상태에 대한 단속적 또는 급격한 변화들을 방지한다. 사용자의 머리 포즈는 사용자의 시야를 한정하는 데 도움을 주고, 이는 궁극적으로 절두체 구역(850)의 한정을 돕기 때문에, 사용자의 머리 포즈가 프리즘의 상태를 수정할 수 있다. 위에서 개시한 바와 같이, 사용자의 머리 포즈는 사용자 머리의 위치 및/또는 배향의 측정이다. 머리 포즈 정보는 사용자의 동적으로 변화하는 머리 위치 및 배향을 매칭시키도록 장면을 렌더링하여 가상/증강/혼합 공간에서 향상된 몰입감을 제공하는 데 사용될 수 있다.

[0183] 일부 실시예들에서, 벽이 프리즘으로부터 사용자를 분리할 수 있어, 사용자의 거리가 액티브 구역(820) 내에 프리즘을 배치하고 그리고/또는 사용자의 시야 방향이 프리즘을 절두체 구역(850) 내에 배치하더라도 프리즘이 휴지 상태로 유지될 수 있으며, 프리즘의 상태는 벽의 폐색으로 인해 휴지 상태에서 변경되지 않을 수 있고, 이는 사용자가 프리즘을 보는 것을 막는다. 거리 및 머리 포즈가 프리즘에 대한 상태 변화를 나타낼 수 있지만, 프리즘을 차단하는 벽들 또는 오브젝트들과 같은 다른 팩터들이 프리즘의 상태를 변경하지 않고 유지할 수 있음을 인식하는 시스템에 의해 추가 계산 처리가 회피될 수 있다.

프리즘 관계들 및 그룹화들의 관리

[0184] 일부 실시예들에서, 집중 렌더링 시스템은 더 큰(예컨대, 유니버스 공간) 장면 그래프의 일부로서 클라이언트 프리즘들(215)의 변환/관리에 대한 지원을 가질 수 없다. 유니버스 프리즘은 추가 로직 및 기능을 가진 클라이언트 프리즘의 인스턴스일 수 있다. 유니버스에서, 클라이언트 프리즘들(215)의 그룹을 변환하는 능력은 변환 트리를 통해 다뤄질 수 있다. 예를 들어, 런처의 각각의 패널은 별도의 애플리케이션일 수 있으며, 각각의 패널은 자체 프리즘에 대응한다. 유니버스가 런처와 연관된 다수의 프리즘들을 그룹으로 그룹화할 수 있어, 그룹 내의 한 프리즘이 수정될 때, 그룹 내의 다른 프리즘들이 영향을 받을 수 있고 이에 따라 역시 수정될 필요가 있도록 다수의 프리즘들이 함께 관리될 수 있는 것이 유리할 수 있다. 이는 다수의 애플리케이션들이 마치 단일 애플리케이션인 것처럼 보이고 거동하는 것을 가능하게 할 수 있다. 예를 들어, 런처가 사용자의 신체에 앵커링된다면(예컨대, 바디 다이내믹), 사용자가 자신의 환경을 가로질러 이동할 때, 런처의 위치뿐만 아니라 다수의 프리즘들에 대응하는 패널들의 위치가 또한 그룹으로서 수정/변환될 필요가 있을 수 있다.

[0185] 다른 예로서, 프리즘을 요청하는 애플리케이션은 애플리케이션의 프리즘에 비교적 가깝게 포지셔닝되는 (닫기 버튼, 핀/핀 해제, 설정들 등을 가진) 보조 UI를 가질 수 있다. 유니버스는 이러한 두 프리즘들을 하나의 그룹으로 함께 그룹화하고 두 프리즘들을 2개의 노드들을 갖는 그룹으로서 관리할 수 있다. 계층적/관계형 방식으로 그리고/또는 논리적 그룹화 구조로 다수의 프리즘들의 연관성을 관리하는 것은 (아래에서 논의되는) 변환 트리 및/또는 그룹 트리로 처리될 수 있다.

[0186] 일부 실시예들에서, 변환 트리는 유니버스에서 프리즘들 및/또는 프리즘들의 그룹을 변환/조직화하도록 구성된 트리 데이터 구조이며, 중앙 렌더링 시스템에 의해 렌더링될 수 있다. 변환 트리 구조는 각각의 노드가 프리즘에 대응하는 이동 가능한 로컬 공간을 제공하는 노드들의 장면 그래프를 가질 수 있다. 장면 그래프의 노드는 프리즘에 대응할 수 있다. 프리즘은 트리 노드일 수 있다. 프리즘들이 아닌 다른 트리 노드들이 있을 수 있다. 이러한 "다른 트리 노드들"은 콘텐츠를 그룹화하는 데 또는 중간 변환으로서 사용될 수 있다. 더욱이, 노드들은 다른 노드들과 그룹화될 수 있어, 하나의 노드가 변환될 때 동일한 그룹 내의 다른 노드들이 그와 함께 변환된다. 일부 실시예들에서, 그룹 트리가 노드의 그룹화를 관리할 수 있다.

[0187] 그룹 트리는 노드들의 논리적 그룹화를 저장하는 트리 데이터 구조일 수 있다.

[0188] 일부 실시예들에서, 프리즘들은 오버랩하지 않을 수 있고 사용자의 랜드스케이프에 디스플레이된 독립적 콘텐츠로서 취급될 수 있기 때문에, 이것은 하나의 애플리케이션으로부터의 가상 콘텐츠가 다른 애플리케이션으로부터의 가상 콘텐츠와 밀접하게 상호 작용할 수 없다는 문제를 초래할 수 있다. 그러나 단일 애플리케이션으로부터의 가상 콘텐츠에 밀접하게 맞는 다수의 더 작은 프리즘들을 생성하는 것이 이 문제를 해결할 수 있다. 예를 들어, 단일 애플리케이션에 대해 열린 다수의 프리즘들이 있을 수 있지만, 사용자는 다수의 프리즘들을 하나의 통합 시스템(예컨대, 변환 트리의 부모/자식 프리즘들)으로 인식할 수 있다. 추가로, 프리즘들은 또한, 일부 프리즘들이 기본적으로 서로 피어들일 수 있게 함께 그룹화될 수 있다. 하나의 애플리케이션으로부터의 모든 콘텐츠가 큰 상자 안에 있다면, 프리즘 내에 더 많은 "공기" 또는 데드 스페이스가 있을 수 있다. 이는 서로 다른 애플리케이션들로부터의 콘텐츠가 해당 영역들 내의 콘텐츠와 상호 작용하는 것을 막을 수 있어, 특정 타입들의 "현실감 있는" 상호 작용들이 발생하는 것을 막을 수 있다.

[0189] 예를 들어, 상호 작용은 두 대의 3D 자동차들의 단순 충돌일 수 있다. 두 대의 3D 자동차들이 렌더링되는 프리즘들 각각이 3D 자동차들에 대한 프리즘들의 보이지 않는 경계들 사이에 너무 많은 "데드 스페이스"를 가져, 사용자가 두 대의 자동차들이 실제로 서로 접촉하는 것을 볼 수 없을 수 있다면, 충돌이 사용자에게 "실제"인 것처럼 보이지 않을 수 있다. 그러나 프리즘들이 더 작고 특정 시야각들에서 3D 자동차들 각각에 밀접하게 맞는다면, 마치 두 3D 자동차들이 서로 약간 닿아 있고 충돌의 결과로서 서로 바운스하고 있는 것처럼 사용자에게 보일 수 있다.

[0190] 도 10은 일부 실시예들에 따른 장면 그래프의 예시적인 트리 노드를 도시한다. 트리 노드(1000)는 런처 메뉴에 대한 예시적인 트리 노드를 도시한다. 유니버스 노드(1002)는 사용자의 혼합 현실 시스템의 장면 그래프의 이러한 트리 노드에서 루트 노드이다. 혼합 현실 시스템이 시동될 때, 런처 애플리케이션이 시작되어 런처 메뉴로서 사용자에게 디스플레이될 수 있다. 런처 애플리케이션이 런칭될 때, 장면 그래프에서 런처 메뉴의 포지션을 나타내는 런처 트리 노드(1004)가 생성될 수 있다. 런처 트리 노드(1004)는 런처 메뉴에 매달린 또는 런처 메뉴의 자식인 다른 노드들에 대한 앵커의 역할을 할 수 있다.

[0191] 예를 들어, 아이콘 그리드 애플리케이션이 또한 런칭될 수 있다. 아이콘 그리드 트리 노드(1009a)가 런처 애플리케이션의 SGID(scene graph identifier)와 함께 트리 노드에 추가될 수 있다. 아이콘 그리드 애플리케이션은 런처 메뉴를 위한 패널들의 캐러셀의 하나의 패널로서 디스플레이될 수 있기 때문에, 아이콘 그리드 트리 노드들(1009)은 런처 구획들로 표기된 대시 경계로 표시된 자식 노드들(1008) 내에 도시된 바와 같이, 런처 트리 노드(1004)의 자식 노드들일 수 있다. 런처의 하위 애플리케이션들 중 더 많은 애플리케이션들이 런칭되어 런처 트리 노드(1004)의 자식 노드들(예컨대, 최근에 평가된 애플리케이션들의 트리 노드(1027) 및 소셜 애플리케이션 트리 노드(1029))로서 트리 노드에 추가될 수 있다. 런처 메뉴에 연관된 노드들의 그룹은 런처 그룹(1006)으로서 함께 그룹화될 수 있다.

[0192] 런처 메뉴(예컨대, 빌보드)가 이동될 때, 런처 그룹(1006) 내의 노드들이 그룹으로서 이동될 수 있다. 런처 노드를 앵커 노드로 설정하는 것은 런처 패널들 중 하나에 로직을 적용하고 다른 관련 패널들의 그룹을 유지하기 위해 최선을 다하기보다는 런처 메뉴를 정확하게 포지셔닝/빌보드에 게시하기 위한 정확한 수단을 제공하는 데 필요할 수 있다. 자식 노드들(예컨대, 아이콘 그리드, 최근에 액세스된 애플리케이션들 및 소셜 애플리케이션들)은 런처 트리 노드에 관련하여 자동으로 재포지셔닝된다. 유니버스는 복수의 프리즘들의 전체 장면 그래프를 소유할 수 있다. 일부 실시예들에서, 각각의 프리즘은 널(null) 부모 및 제로 자식들로 시작하여, 효과적으로 하나의 노드를 갖는 장면 그래프를 만들 수 있다. 일부 실시예들에서, 애플리케이션이 프리즘을 요청할 때, 유니버스는 (1) 요청된 프리즘에 대한 노드 및 (2) 보조 UI에 대한 노드를 생성할 수 있다. 그 다음, 유니버스는 프리즘에 대해 보조 UI를 포지셔닝할 수 있다. 일부 실시예들에서, 유니버스는 보조 UI 노드를 프리즘 노드의 자식으로서 배치할 수 있다.

변환 트리

[0193] 앞서 논의한 바와 같이, 변환 트리는 유니버스에서 프리즘들 및/또는 프리즘들의 그룹을 변환/조직화하도록 구성된 트리 데이터 구조이다. 변환 트리 구조는 각각의 노드가 프리즘에 대응할 수 있는 이동 가능한 로컬 공간을 제공하는 노드들을 포함하는 장면 그래프로 간주될 수 있다. 장면 그래프의 노드는 프리즘에 대응할 수 있거나, 장면 그래프의 노드는 프리즘들의 그룹 또는 다른 트리 노드들을 변환하기 위해서만 사용되는 노드일 수 있다. 이 경우, 노드들은 부모 노드 아래의 다른 노드들과 그룹화될 수 있어, 하나의 노드가 변환될 때 동일한 그룹 내의 다른 노드들이 그와 함께 변환된다. 일부 실시예들에서, 프리즘들은 단지 하나의 프리즘(즉, 그 자체)을 갖는 변환 트리에 있지만, 하나의 프리즘을 다른 프리즘의 부모가 되게 할 필요가 있을 때, 그러한 능력이 있다. 일부 실시예들에서, 프리즘 장면 그래프/변환 트리는 자식 프리즘이 자신의 부모를 변경할 때, 자식의 월드 변환은 변경되지 않을 수 있다는 점에서 종래의 장면 그래프와 상이할 수 있다. 예를 들어, 프리즘이 사용자 앞에서 렌더링되고 있다면, 프리즘의 부모가 변경될 때, 프리즘은 자신의 현재 포지션에서 이동하지 않을 것이다. 일부 실시예들에서, 변환 트리 내의 각각의 프리즘의 행렬들은 열 우선(column-major)일 수 있으며, 이는 트리 내의 프리즘의 월드 행렬을 계산하는 것은 프리즘의 로컬 변환의 왼쪽에 부모 변환을 추가함으로써 이루어져야 함을 의미한다. 예를 들어, 프리즘의 월드 변환은 부모의 월드 변환 시간과 프리즘의 로컬 변환의 곱과 같을 수 있다.

[0194] 일부 실시예들에서, 기본 트리 로직은 다음 중 하나 이상으로서 정의될 수 있다: (1) 노드가 자신을 다른 노드에 대한 자식으로서 설정할 수 있다; (2) 노드가 다른 노드를 자신에 대한 자식으로서 설정할 수 있다; (3) 노드가 자신의 부모를 가질 수 있다; (4) 노드가 자신의 자식들을 가질 수 있다; (5) 노드가 자신의 자식들 중 임의의 자식을 삭제할 수 있다(이것은 자식들을 고아로 만들지 않는다 ― 자식들이 단지 이 노드의 부모에 속하거나, 월드 공간에 놓을 수 있는 루트 유니버스 노드를 포함하여 트리의 임의의 다른 노드에 속할 수 있다); 그리고 (6) 노드가 자신의 부모를 삭제할 수 있다. 노드를 삽입하고 삭제하는 것은 노드들과 이들의 자식들의 로컬 변환들을 업데이트할 수 있다. 이는 노드의 부모를 변경하는 것이 월드 변환을 변경하지 않을 수 있으며, 실제로 월드 변환들이 유지될 수 있음을 의미한다. 일부 실시예들에서, 노드의 로컬 변환을 변경하는 임의의 동작이 노드와 이들의 자식들의 월드 변환들을 업데이트할 수 있다.

[0195] 일부 실시예들에서, 변환 트리의 각각의 노드는 다음 행렬 성분들 중 하나 이상을 포함할 수 있다: (1) 로컬 변환; (2) 회전 행렬(이는 로컬 변환을 계산하는 데 사용될 수 있음); (3) 스케일 벡터(이는 로컬 변환을 계산하는 데 사용될 수 있음); (4) 포지션 벡터(이는 로컬 변환을 계산하는 데 사용될 수 있음); (5) 로컬에서 월드로의 변환(이는 편의상 캐시될 수 있음); 그리고 (6) 로컬에서 월드로의 스케일(이는 편의상 캐시될 수 있음). 일부 실시예들에서, 로컬 변환은 그 부모 노드에 적용된 변환으로 여겨질 수 있다. 노드가 부모를 갖지 않는다면, 로컬 변환은 로컬에서 월드로의 변환과 동일할 수 있다. 로컬 변환은 다음과 같이 계산될 수 있다:

로컬 변환 = 포지션 * 회전 행렬 * 스케일

[0196] 이 공식은 "먼저 이 노드를 스케일링함으로써, 원점으로서 부모 노드를 사용하여 이 노드를 변환한 다음, 이를 회전하고, 그런 다음 그 원점 노드에 대해 그 포지션을 변경한다"로서 이해될 수 있다. 회전, 스케일 및 포지션은 게터(getter)들/세터(setter)들을 제공하여 인터페이스를 통해 이들 중 임의의 것을 개별적으로 수정하는 것을 쉽게 하도록 별도로 유지될 수 있다. 노드가 포지션을 변경하면, 자식 노드 월드 변환들이 그와 함께 업데이트될 수 있다. 이러한 행렬들이 순차적으로 곱해지면, 로컬-월드 행렬이 구성될 수 있다. 효율성을 위해, 계산된 로컬-월드 행렬도 또한 저장될 수 있다. 일부 실시예들에서, 노드의 로컬에서 월드로의 변환을 계산하기 위해, 다음 식이 사용될 수 있다:

월드 변환 = 부모 월드 변환 * 로컬 변환

[0197] 행렬 곱셈들의 순서를 주목한다. 일부 실시예들에서, 행렬들은 열 우선이며, 이는 x, y, z 및 포지션이 각각의 열에 놓이는 것을 의미한다. 이는 부모 노드 행렬들이 항상 자식 행렬들의 왼쪽에 나타나는 것을 의미한다. 도 10b는 작은 변환 트리(1010) 그리고 각각의 노드에 대한 각각의 월드 변환이 어떻게 계산되는지를 예시한다.

[0198] 변환 트리들을 이용하는 다른 적절한 방법들 또는 시스템들이 사용될 수 있다.

그룹 트리

[0199] 일부 실시예들에서, 변환 트리의 추가 특징은 임의의 다른 프리즘과 변환 트리 내의 임의의 프리즘을 그룹화하는 능력이다. 그룹 내의 프리즘들은 동일한 또는 서로 다른 변환 트리에 있을 수 있다. 추가로, 프리즘들은 동일한 그룹 및 변환 트리 내의 다른 프리즘의 자식 또는 자손일 수 있다. 일부 실시예들에서, 그룹 내의 프리즘들 중 하나에 변환이 적용될 때, 그룹 내의 모든 다른 프리즘들이 그와 함께 변환된다. 프리즘 그룹 로직은 그룹 구성원이 어떤 변환 트리들에 속하든 변환들을 업데이트하는 것을 처리한다. 그룹 내에 있지 않지만 그룹에 있는 프리즘의 자식인 임의의 프리즘도 또한 그룹과 함께 변환될 수 있다. 그룹 내의 프리즘이 변환될 때, 그 자식들도 또한 변환된다. 예를 들어, 프리즘 A와 프리즘 B가 그룹에 있고, 프리즘 C가 프리즘 B의 자식이지만 그룹 내에 있지 않으며, 프리즘 B가 왼쪽으로 1 미터 이동된다면, 프리즘 B와 프리즘 C가 모두 왼쪽으로 1 미터 이동된다. 그러나 프리즘 C가 왼쪽으로 1 미터 이동한다면, 프리즘 C만이 왼쪽으로 1 미터 이동된다. 본 개시내용은 종래의 장면 그래프들과 일부 특징들을 공유하지만, 1) 노드와 간접 자손이 (이들이 그룹화된다면) 동일한 변환을 겪도록 노드의 간접 자손이 간접 자손과 그룹화되는 능력, 및/또는 2) 완전히 개별 변환 트리들에 위치되는 2개의 노드들을 그룹화하는 능력과 같은 추가 기능/거동을 또한 가질 수 있다. 일부 실시예들에서, 간접 자손은 부모 노드에 직접 연결되지 않는, 예를 들어 가능하게는 2개 이상의 개재 노드들에 의해 분리되는 노드일 수 있다. 일부 실시예들에서, 그룹화 로직은 현재 그룹에 속하는 모든 프리즘들에 대한 루트 그룹 노드를 생성함으로써 구현될 수 있다. 동일한 그룹 내의 임의의 프리즘들이 그룹 내의 다른 프리즘들의 자손들이라면, 이들은 또한 변환 그룹 트리 내의 해당 프리즘들의 자손들이기도 하다. 일부 실시예들에서, 그룹에 대해 별도의 데이터 구조가 생성되지 않을 수 있으며; 대신에 그룹은 프리즘에 부착된 추가 플래그를 가질 수 있다는 점에 주목한다. 일부 실시예들에서, 그룹 내의 임의의 프리즘이 변환된다면, 변환이 계산되어 루트 그룹 노드에 적용될 수 있다. 이 변환은 임의의 다른 변환과 같이 변환 트리 아래로 전파될 수 있으며, 여기서 변환은 변환 트리 내의 각각의 자식뿐만 아니라 그룹 내의 각각의 프리즘으로 아래로 전파된다.

[0200] 다음은 그룹 트리에서 노드들을 추가 및 제거하는 다양한 실시예들이다. 도 10c - 도 10e는 새로운 그룹을 생성하기 위한 일 실시예를 예시한다. 도 10c의 변환 트리(1020)의 경우, 이 실시예는 현재 별개의 변환 트리들에 있는 노드 A와 노드 E를 함께 그룹화하는 것을 예시할 것이다. (1) A 또는 E가 이미 그룹에 있는지 여부에 대한 결정이 이루어진다. 현재, A도 E도 그룹 부모를 갖지 않으므로, 어느 것도 그룹에 있지 않다. 따라서 그룹 루트를 생성한다. 도 10d에서, 그룹 루트(1024)를 갖는 그룹 트리(1022)가 생성된다. (2) 도 10e에 도시된 바와 같이 A와 E의 그룹 부모를 그룹 루트(1024)에 할당한다. (3) E가 A의 조상(또는 부모)인지 여부를 결정한다. A는 부모가 없으므로, E는 A의 조상이 아니다. (4) A가 E의 조상(또는 부모)인지 여부를 결정한다. E는 부모가 없으므로, A는 E의 조상이 아니다.

[0201] 도 10f - 도 10i는 새로운 그룹을 생성하기 위한 다른 실시예를 예시한다. 도 10f의 변환 트리(1030)의 경우, 이 실시예는 노드 A와 노드 C를 함께 그룹화하는 것을 예시하며, 여기서 노드 C는 변환 트리(1030)에 도시된 바와 같이 노드 A의 자식 노드이다. (1) A 또는 C가 이미 그룹에 있는지 여부에 대한 결정이 이루어진다. 현재, A도 C도 그룹 부모를 갖지 않으므로, 어느 것도 그룹에 있지 않다. 따라서 그룹 루트를 생성한다. 도 10g에서, 그룹 루트(1034)를 갖는 그룹 트리(1032)가 생성된다. (2) A와 C의 그룹 부모가 그룹 루트(1034)이다. 도 10h에 도시된 바와 같이 A와 C를 그룹 루트(1034)에 할당한다. (3) C가 A의 조상(또는 부모)인지 여부를 결정한다. A는 부모가 없으므로, C는 A의 조상이 아니다. (4) A가 E의 조상(또는 부모)인지 여부를 결정한다. A는 C의 조상이다. 따라서 C의 그룹 부모를 A에 다시 할당한다.

[0202] 도 10j - 도 10k는 그룹화되지 않은 노드를 기존 그룹에 추가하는 실시예를 예시한다. 도 10j의 변환 트리(1040) 및 그룹 트리(1042)의 경우, 이 실시예는 변환 트리(1040)로부터의 노드 C와 노드 E를 동일한 그룹으로 그룹화하는 것을 예시한다. (1) C 또는 E가 이미 그룹에 있는지 여부를 결정한다. 도 10j에 도시된 바와 같이, E는 A와 함께 그룹에 있다. (2) C의 그룹 부모를 결정한다 ― E와 동일한 그룹에 속하는, C의 부모 또는 조상을 찾는다. 여기서 A는 E와 함께 그룹에 있다. A는 C의 조상이다. C의 그룹 부모를 A에 할당한다(도 10k 참조). (3) C가 그룹 내의 임의의 다른 노드들의 조상 또는 부모를 갖는지 여부를 결정한다. C는 자식들이 없다. 처리가 중단된다.

[0203] 도 10l - 도 10n은 그룹화되지 않은 노드를 기존 그룹에 추가하는 다른 실시예를 예시한다. 도 10l의 변환 트리(1050) 및 그룹 트리(1052)의 경우, 이 실시예는 변환 트리(1050)로부터의 노드 B와 노드 E를 동일한 그룹(예컨대, 그룹 트리(1052))으로 그룹화하는 것을 예시한다. (1) B 또는 E가 이미 그룹에 있는지 여부를 결정한다. 여기서 E는 A와 C와 함께 그룹에 있다. (2) E와 동일한 그룹에 속하는, B의 부모 또는 조상을 찾음으로써 B의 그룹 부모를 결정한다. 여기서 A는 E와 함께 그룹에 있으며 B의 부모이다. B의 그룹 부모를 A에 할당한다(도 10m 참조). (3) B가 그룹 내의 다른 노드들 중 임의의 노드의 부모 또는 조상인지 여부를 결정한다. 여기서 C는 B의 자식 또는 자손이다. C의 그룹 부모를 B로 변경한다(도 10n 참조).

[0204] 도 10o - 도 10r은 그룹화되지 않은 노드를 기존 그룹에 추가하는 다른 실시예를 예시한다. 변환 트리(1060) 및 그룹 트리(1062)의 경우, 이 실시예는 변환 트리(1060)로부터의 노드 A와 노드 E를 동일한 그룹(예컨대, 그룹 트리(1062))으로 그룹화하는 것을 예시한다. (1) A 또는 E가 이미 그룹에 있는지 여부를 결정한다. 여기서 E는 B와 F와 함께 그룹에 있다. (2) E와 동일한 그룹에 속하는, A의 부모 또는 조상을 찾음으로써 A의 그룹 부모를 결정한다. 여기서 A는 부모를 갖지 않으므로, A를 그룹 루트(1064)에 할당한다(도 10p 참조). (3) A가 그룹 내의 다른 노드들 중 임의의 노드의 부모 또는 조상인지 여부를 결정한다. 여기서 A는 B를 자식으로서 발견한다. 따라서 B는 자신의 그룹 부모를 A로 설정한다(도 10q 참조). 추가로, A는 F를 자손으로서 발견한다. A와 F는 동일한 그룹(예컨대, 그룹 트리(1062))에 속한다. 따라서 F는 자신의 그룹 부모를 A로 설정한다(도 10r 참조).

[0205] 도 10s - 도 10w는 그룹화된 노드들을 다른 그룹에 추가하는 실시예를 예시한다. 도 10s의 변환 트리(1070) 및 그룹 트리(1072)의 경우, 이 실시예는 노드 C와 노드 G를 동일한 그룹으로 그룹화하는 것을 예시한다. (1) C 또는 G가 이미 그룹에 있는지 여부를 결정한다. 여기서 C는 D와 함께 그룹에 있다. G는 B와 F와 함께 그룹에 있다. (2) C와 G 둘 다 그룹들에 있으므로, 최종 그룹을 C와 D의 그룹(예컨대, 그룹 루트(1074))인 것으로 임의로 선택함으로써 두 그룹들을 단일 그룹으로 병합한다. (3) 이전 그룹 루트(1076)의 직계 자식들만을 추가한다. 이는 C 그룹에 단지 B와 F만을 추가함을 의미한다. (4) C의 그룹에 B를 추가한다. (4a) C와 동일한 그룹에 속하는, B의 부모 또는 조상을 찾음으로써 B의 그룹 부모를 결정한다. 여기서는 그룹 부모가 없다. 따라서 B를 그룹 루트(1074)의 자식으로서 추가한다(도 10t 참조). (4b) B가 그룹 내의 다른 노드들 중 임의의 노드의 부모 또는 조상인지 여부를 결정한다. 여기서 B는 C를 자식으로서 발견한다. B와 C는 동일한 그룹에 속한다. C는 자신의 그룹 부모를 B로 설정한다(도 10u 참조). (5) C의 그룹에 F를 추가한다(주: 이것은 임의적이지 않다. G는 결코 다음에 추가되도록 선택되지 않을 것이며, 이는 단지 F와 함께 확보될 것이다). (5a) C와 동일한 그룹에 속하는, F의 부모 또는 조상을 찾음으로써 F의 그룹 부모를 결정한다. 여기서 F는 D를 부모로서 발견한다. F는 자신의 그룹 부모를 D로 설정한다(도 10v 참조). G는 자동으로 동일한 그룹에 배치된다는 점에 주목한다. (5b) F가 그룹 내의 다른 노드들 중 임의의 노드의 부모 또는 조상인지 여부를 결정한다. 여기서 F는 G를 발견하지만 G의 부모는 이미 F이다. (6) 이전 그룹 루트(1076)를 삭제한다(도 10w 참조).

그룹 변환

[0206] 일부 실시예들에서, 그룹에 속하는 노드에 직접 적용되는 임의의 변환이 노드와 함께 그룹을 변환할 수 있다. 그룹 노드에 대해 이루어지는 간접 변환들은 그룹을 변환하지 않을 수 있다. 예를 들어, 부모 노드가 그룹에 있지 않고, 그 자식이 그룹에 있으며, 부모가 변환된다면, 자식의 변환이 변경되더라도 자식의 그룹 내의 노드들은 자식과 함께 변환되지 않는다. 전체 그룹을 이동시키는 것이 요구된다면, 부모가 그룹에 추가되어야 한다.

[0207] 그룹에 적용할 변환을 계산하기 위해, 사용할 변환이 그룹 루트의 각각의 직계 자식에 적용되어야 한다.

[0208] 도 10x - 도 10y는 본 개시내용의 일부 실시예들에 따른 샘플 계산을 예시한다. 도 10x에 도시된 바와 같이 주어진 변환 트리(1080) 및 그룹 트리(1082)의 경우, 이 실시예는 노드 A에 변환을 적용한다. A는 그룹 트리(1082)에 속하기 때문에, 노드 C, 노드 D 및 노드 E가 노드 A와 함께 변환될 것으로 예상된다. 그룹에 속하지 않은 노드 B는 A의 자식이기 때문에, 노드 B도 또한 그룹과 함께 변환되어야 한다. A의 새로운 월드 행렬을: Maw'로 표기할 것이며, 여기서 Maw'는 "matrix a world new"를 의미한다. A의 이전 월드 행렬을: Maw로 표기할 것이며, 여기서 Maw는 "matrix a world old"를 의미한다. Maw'를 얻기 위해 A에 적용할 행렬을: Mgw로 표기할 것이며, 여기서 Mgw는 "matrix group world"를 의미한다. 목표는 그룹 루트(Mgw)로 설정할 수 있는 행렬을 찾는 것인데, 여기서 이 행렬이 노드 A의 월드 행렬에 적용될 때, 그 행렬은 노드 A의 새로운 행렬과 같을 것이다. 이 동일한 행렬이 그룹 루트의 다른 직계 자식들에 적용된다.

[0209] 도 10y는 노드 A에 변환을 적용하기 위한 샘플 계산을 예시한다. 도 10y로부터, 노드 A에 관심을 갖는데, 이는 노드 A가 행렬이 변경된 노드이기 때문이다. 그래서:

[0210] Maw' = Mgw * Maw

[0211] Maw' 및 Maw를 알고 있고, Mgw를 구하면

[0212] Mgw = Maw' * Maw^-1

[0213] 그래서, 그룹 루트의 각각의 자식 노드에 대해, 노드의 월드 변환을: 자식 노드 새로운 월드 행렬 = Mgw * (자식 노드 이전 월드 행렬)로 설정한다. 이 예에서는, 그룹 루트의 2개의 직계 자식들인 A 및 E에 Mgw를 적용한다:

Maw' = Mgw * Maw

= (Maw' * Maw^-1) * Maw

= Maw'

Mew' = Mgw * Mew

= (Maw' * Maw-1) * Mew

[0214] A의 최종 월드 변환이 우리가 원했던 것(Maw')이라는 점에 주목한다. 그리고 변환들은 변환 트리 아래로 전파되므로, 모든 자식 노드들이 (이들이 동일한 그룹의 일부이든 아니든) 업데이트된다. 이는 노드 B도 또한 업데이트됨을 의미한다.

[0215] 도 10z - 도 10aa는 본 개시내용의 일부 실시예들에 따른 샘플 계산을 예시한다. 도 10z에 도시된 바와 같이 주어진 변환 트리(1090) 및 그룹 트리(1092)의 경우, 이 실시예는 노드 C에 변환을 적용한다. C는 그룹에 속하기 때문에, 노드 A, 노드 D 및 노드 E가 C와 함께 변환될 것으로 예상된다. 그룹에 속하지 않은 노드 B는 A의 자식이기 때문에, 노드 B도 또한 그룹과 함께 변환되어야 한다. C의 새로운 월드 행렬을: Mcw'로 표기할 것이며, 여기서 Mcw'는 "matrix c world new"를 의미한다. C의 이전 월드 행렬을: Mcw로 표기할 것이며, 여기서 Mcw는 "matrix c world old"를 의미한다. Maw'를 얻기 위해 c에 적용할 행렬을: Mgw로 표기할 것이며, 여기서 Mgw는 "matrix group"을 의미한다. 목표는 그룹 루트(Mgw)로 설정할 수 있는 행렬을 찾는 것인데, 여기서 이 행렬이 노드 C의 월드 행렬에 적용될 때, 그 행렬은 노드 C의 새로운 행렬과 같을 것이다. 이 동일한 행렬이 그룹 루트의 다른 직계 자식들에 적용된다.

[0216] 도 10aa를 참조하면, 노드 C에 관심을 갖는데, 이는 노드 C가 행렬이 변경된 노드이기 때문이다. 그래서 Mcw' = Mgw * Mcw이다. Mcw' 및 Mcw를 알고 있고, Mgw를 구하면. Mgw = Mcw' * Mcw^-1. 그래서, 그룹 루트의 각각의 자식 노드에 대해, 노드의 월드 변환을: 자식 노드 새로운 월드 행렬 = Mgw * (자식 노드 이전 월드 행렬)로 설정한다. 이 예에서는, Mcw가 (Mcw = Ma1 * Mb1 * Mc1)과 같다는 점을 상기한다. 그것을 Mgw = Mcw * Mcw^-1과 결합하여 Mgw = Mcw' * (Ma1 * Mb1 * Mc1) ^-1을 얻으며, Mgw = Mcw' * Mc1^-1 * Mb1^-1 * Ma1^-1이다. 그리고 A와 E는 루트 노드들이므로, Maw = Ma1 그리고 Mew = Me1이라는 점을 잊지 않는다. 이에 따라, 모든 각각의 노드의 새로운 변환들을 찾을 수 있다. 그룹 루트의 2개의 직계 자식들인 E 및 A에 Mgw를 적용한다:

(E는 변환 트리 루트 노드이므로, Mew == Me1이다).

Mew' = Mgw * Mew

= (Mcw' * Mc1^-1 * Mb1^-1 * Ma1^-1) * Mew

= (Mcw' * Mc1^-1 * Mb^-1 * Ma1^-1) * Mel

(A는 변환 트리 루트 노드이므로, Maw == Ma1이다)

Maw' = Mgw * Maw

= (Mcw' * Mc1^-1 * Mb1^-1 * Ma1^-1) * Maw

= (Mcw' * Mc1^-1 * Mb1^-1 * Ma1^-1) * Ma1

(A는 다른 노드들의 부모이므로, 자식 노드들인 B와 C의 월드 변환들을 업데이트한다)

Mbw' = Maw' * Mb1

= (Mcw' * Mc1^-1 * Mb1^-1) * Mb1

=Mcw' * Mc1^-1

Mcw' = Mbw' * Mc1

= (Mcw' * Mc1^-1) * Mc1

= Mcw'

노드 C의 최종 월드 변환이 우리가 원했던 것(Mcw')이라는 점에 주목한다.

[0217] 일부 실시예들에서, 변환 트리 및 변환 그룹 기능이 유니버스 자체 내에서 구현될 수 있다. 일부 실시예들에서, 다른 애플리케이션들(예컨대, 애플리케이션(들)(140), 아이콘 그리드 애플리케이션(260), 상태 바 애플리케이션(270), 소셜 패널 애플리케이션(280), 스토어 패널 애플리케이션(290) 등)은 이러한 종류의 기능을 필요로 하지 않을 수 있는데, 이는 유니버스가 이 기능을 관리하고 있을 수 있기 때문이다. 그룹 트리들 및/또는 변환 그룹들을 이용하는 다른 적절한 방법들 또는 시스템들이 사용될 수 있다.

배치된 런처

[0218] 일부 실시예들에서, 사용자들은 이들의 랜드스케이프 내에 런처를 배치하는 것이 가능할 수 있는데, 여기서 사용자들은 애플리케이션을 런칭하거나 런처를 지속적으로 피닝하길 원한다. 이는 런처가 사용자의 환경의 자연스러운 확장이 될 수 있게 하고 디지털 월드와 물리적 월드 간의 명확한 연결을 생성한다. 열린 상태로 배치된 런처는, 이것이 위치에 묶여 있으며 확대 및/또는 축소될 수 있다는 점을 제외하면 일반 런처와 동일한 레이아웃 및 구조를 가질 수 있다. 일부 실시예들에서, 사용자가 배치된 런처를 생성하면, 사용자는 런처를 해당 위치에 지속적으로 피닝하는 옵션을 갖는다. 이 경우, 런처는 사용자가 런처를 이동시키거나 삭제할 때까지 해당 위치에 있을 수 있다. 런처가 피닝된 경우에도 사용자가 홈 버튼을 누르면, 일반 런처가 여전히 스폰될 수 있다. 일부 실시예들에서, 사용자들은 다수의 런처들을 피닝할 수 있다(그래서 사용자들은 예를 들어, 그들이 콘텐츠를 가장 많이 런칭하는 곳들에 런처들을 놓을 수 있다). 피닝된 런처들은 해당 위치로부터 런칭된 최근 애플리케이션들을 보여줄 수 있다. 이것은 각각의 런처가 그것이 있는 공간에 맞춰질 수 있게 한다. 일부 실시예들에서, 런처 애플리케이션을 위치에 피닝하는 거동은 ECM(extractable content manager)에 의해 시뮬레이팅되며, 이는 런처 아이콘들을 피닝하는 것처럼 보이게 한다. 아이콘을 별도의 프리즘에 문자 그대로 복사하고 사용자가 해당 프리즘을 여기저기 이동시킬 수 있게 함으로써 이것이 이루어진다.

[0219] 일부 실시예들에서, 런처는 애플리케이션일 수 있고 런처 캐러셀의 패널들과 런처 메뉴들이 별도의 프리즘들 내부에 제시될 수 있기 때문에, 프리즘들 자체가 사용자의 랜드스케이프 내에 배치될 수 있다.

[0220] 도 11은 일부 실시예들에 따라 배치된 런처의 예시도를 도시한다. 도 11에 도시된 바와 같이, 런처 메뉴(1100)는 아이콘 그리드 패널(1120), 최소화된 소셜 패널(1110) 및 최소화된 스토어 패널(1130)을 포함할 수 있다. 아이콘 그리드 패널(1120)은 사용자가 런칭할 수 있는 애플리케이션들의 아이콘을 아이콘 그리드 패널(1120)의 왼쪽에는 최소화된 소셜 패널(1110) 그리고 오른쪽에는 최소화된 스토어 패널(1130)과 함께 능동적으로 디스플레이할 수 있다. 이미지 아이콘(1140)은 런처가 특정 위치에, 이 예에서는 스툴 위에 배치되었음을 사용자에게 나타낼 수 있다. 다른 이미지 아이콘(1140)은 배치된 런처와는 반대로, 피닝된 런처를 나타낼 수 있다. 일부 실시예들에서, 서로 다른 수들의 패널들 및/또는 패널들에 대한 서로 다른 콘텐츠가 사용될 수 있다.

[0221] 일부 실시예들에서, 피닝된 런처 메뉴들은 지속적으로 저장되고, 사용자가 위치에서 런처를 이동시키거나 삭제할 때까지 그 위치에 피닝된 상태로 유지될 수 있다. 사용자가 혼합 현실 시스템을 셧다운하더라도, 혼합 현실 시스템의 재시작 시, 사용자가 피닝된 런처 메뉴 주변에 있는 것과 같이, 한 세트의 기준들이 충족된다고 가정하여, 시스템이 완전히 런칭된 이후 위치에 런처 메뉴가 디스플레이될 수 있다. 일부 실시예들에서, 배치된 또는 피닝된 런처로부터 런칭된 애플리케이션들은 피닝 또는 배치된 런처와 동일한 위치에 스폰되어 디스플레이될 수 있다. 일부 실시예들에서, 일단 사용자가 랜드스케이프 애플리케이션을 선택하면, 런처가 사라질 수 있고 애플리케이션(예컨대, 프리즘)이 동일한 위치에 나타날 수 있다.

[0222] 사용자가 런처를 위치에 지속적으로 피닝하기로 선택한다면, 런처는 그곳에 그대로 유지될 수 있고, 사용자가 그 위치에서 런처를 이동시키거나 삭제할 때까지 사용자는 런처와 상호 작용하고 그 위치에서 애플리케이션들을 런칭할 수 있다. 사용자가 런처와 상호 작용하지 않는다면, 이는 유휴 최소화 상태로 진행할 수 있다. 사용자가 런처와 상호 작용하고 있지 않은 경우, 배치된 또는 피닝된 런처의 상태가 최소화/유휴 상태로 변경될 수 있다. 여기서부터, 배치된 런처는 시간, 특별 스토어 콘텐츠, 특별 소셜 연락처들, 브랜디드(branded) 순간들/경험들 및/또는 다른 콘텐츠와 같은 것들을 보여줄 수 있다.

[0223] 도 12는 일부 실시예들에 따라, 배치된 런처가 유휴/휴지 상태인 동안 디스플레이될 수 있는 콘텐츠의 예시적인 타입들을 도시한다. 최소화/휴지 상태로 배치된 런처의 표준 뷰는 현재 시간 및 날짜를 보여주는 시간(1210)을 디스플레이할 수 있다. 사용자가 배치된 런처 위를 머리 포즈로 맴돌고 그리고/또는 배치된 런처를 클릭/선택하면, 런처는 상태를 휴지 상태에서 액티브 및 렌더링 상태로 변경하고 예를 들어, 적어도 아이콘 그리드 및 대응하는 패널들을 보여주는 전체 액티브 뷰로 런칭할 수 있다. 일부 실시예들에서, 표준 뷰 시간 및 날짜(1210) 대신에 특별 스토어 콘텐츠(1220)가 디스플레이될 수 있다. 특별 스토어 콘텐츠(1220)는 제품의 빠른 대화식 엿보기(glimpse)를 제공하는 애플리케이션의 미리 다운로드된 미리보기일 수 있다. 디스플레이될 수 있는 다른 타입들의 콘텐츠는 예를 들어, 아이의 장난감(1230) 또는 매일 메시지들을 갖는 풍선(1240)과 같은 마법 같은 경험들을 포함할 수 있다. 이러한 마법 같은 경험들은 디바이스의 사용자들을 위한 콘텐츠 및 영감을 포함할 수 있다. 예술가들, 음악가들 및 인플루언서들이 이러한 콘텐츠를 생성할 수 있다.

보조 UI - 캐러셀에 디스플레이된 애플리케이션 옵션들

[0224] 도 13은 일부 실시예들에 따른 예시적인 보조 UI 볼륨을 도시한다. 애플리케이션 옵션 메뉴(1310)는 프리즘에 렌더링되는 애플리케이션에 의해 제공되는 콘텐츠와 함께, 사용자가 가질 수 있는 서로 다른 상호 작용들을 보여줄 수 있다. 애플리케이션 옵션 메뉴(1310)는 도 2로부터의 보조 UI 볼륨(220)의 볼류메트릭 공간 내에 디스플레이될 수 있다. 일부 실시예들에서, 애플리케이션 옵션 메뉴는 중앙 오브젝트가 항상 하이라이트된 캐러셀일 수 있다. 사용자가 다음 항목으로 스와이프하면 아이콘이 더 잘 보이게 되고 옵션을 설명하는 적절한 텍스트를 디스플레이할 수 있다. 애플리케이션 타이틀(1320)은 사용자가 콘텐츠를 제공하고 있는 애플리케이션을 인식하는 것을 도울 수 있다. 여기서는, 일례로, 애플리케이션은 웹 페이지를 디스플레이하는 2D 인터넷 브라우저이다. 설정들(1330)은 애플리케이션 설정들을 디스플레이하고 그리고/또는 상황에 따라 유니버스 설정 애플리케이션에 링크할 수 있다. 닫기 애플리케이션(1340)은 사용자의 랜드스케이프에서 애플리케이션을 닫을/삭제할 수 있다. 공유(1350)는 사용자들이 다른 사용자들에게 이 애플리케이션과의 공유 세션을 시작하게 할 수 있다. 다운로드(1360)는 프리즘 내에 디스플레이된 콘텐츠를 다운로드할 수 있다. 예를 들어, 사용자는 2D 인터넷 브라우저 내에 디스플레이된 기사를 다운로드하길 원할 수 있다. 당해 기술분야에서 통상의 지식을 가진 자는, 애플리케이션 옵션 메뉴(1310)가 더 많은 옵션들 또는 더 적은 옵션들을 포함할 수 있고 개시되고 도시된 것과는 다른 순서일 수 있음을 인식할 수 있다.

바디 다이내믹들

[0225] 바디 다이내믹들은 사용자의 신체에 관련하여 앵커링된, 디스플레이된 가상 콘텐츠가 어떻게 관리되고 사용자에게 디스플레이될 수 있는지를 나타낸다.

[0226] 도 14는 일부 실시예들에 따른 바디 다이내믹들의 일례를 도시한다. 바디 다이내믹들은 사용자 애플리케이션/사용자 인터페이스/콘텐츠(1480)가 사용자(1490)와 관련하여 어떻게 움직일 수 있는지를 나타낼 수 있다. 서로 다른 타입들의 사용자 인터페이스 효과들을 가질 수 있는 서로 다른 타입들의 바디 다이내믹들이 있을 수 있다. 바디 다이내믹 타입들은 또한, 프리즘들 및/또는 프리즘들 내의 애플리케이션들이 사용자의 랜드스케이프에 어떻게 앵커링되고 디스플레이되는지에 대한 앵커 타입들로 지칭될 수 있다.

[0227] 도 15는 일부 실시예들에 따른 서로 다른 타입들의 바디 다이내믹들을 도시한다. 바디 다이내믹 타입의 일례는 바디 다이내믹들이 없는 월드 락(1520)이다. 일부 실시예들에서, 일반 프리즘들은 월드 락되며, 사용자가 애플리케이션 옵션들로부터 팔로우 거동을 활성화하는 것을 택하지 않는 한 바디 다이내믹을 갖지 않을 수 있다. 바디 다이내믹 타입의 다른 예는 빌보드(1530)이다. 일부 실시예들에서, 빌보드는 애플리케이션 콘텐츠의 각도 및/또는 배향이 사용자에 관해 고정된 배향 및/또는 각도를 유지하도록 변경되는 경우이다. 임의의 수의 방식들로 상대 각도 및/또는 배향이 결정될 수 있다. 예를 들어, 가상 콘텐츠는 사전 정의된 전진 또는 전방 방향을 가질 수 있다. 시스템은 가상 콘텐츠의 전진 벡터가 머리 포즈에 의해 결정되는 것과 같은 사용자의 전진 방향을 가리키도록 요청할 수 있다. 일부 실시예들에서, 빌보드 거동은 3D 공간에서 고정된 위치를 유지하는 반면, 다른 실시예들은 위치가 변하게 할 수 있다. 일부 실시예들에서, 빌보드 다이내믹은 또한 에지 빌보드(1540)를 포함할 수 있는데, 이는 사용자가 너무 비스듬한 각도에서 콘텐츠를 보고 있을 경우에만 사용자를 향해 회전하기 시작한다. 예를 들어, 사용자가 텍스트를 읽기 어렵게 하는 비스듬한 각도에서 웹 페이지를 보고 있을 때까지는 애플리케이션이 정적으로 유지된다. 애플리케이션은 사용자가 프리즘 전방의 평면 표면으로부터 투사된 원뿔대(frustum cone)를 푸시하는 곳의 에지로 이어진다. 에지 빌보드에 대한 파라미터들(예컨대, 애플리케이션 특정 파라미터들)은 절두체 각도, 사용자를 중심으로 하거나 사용자가 원뿔대를 푸시하는 곳의 에지로 이동하는 것과 같은 팔로우 거동, 역장(force field)(푸시) 불(Boolean), 역장 활성화 거리, 속도 및/또는 플립 불을 포함할 수 있다.

[0228] 팔로우(1550) 바디 다이내믹 타입은 다른 바디 다이내믹 타입이다. 일부 실시예들에서, 팔로우(1550)는 단일 오브젝트(예컨대, 프리즘)가 사용자에 의해 삽입될 수 있는, 예를 들어 오브젝트를 사용자의 머리 포지션에 일시적으로 부착하는 특정 모드이다. 이것은 사용자가 오브젝트를 자신의 머리 포지션들과 함께 움직이길 원할 때 유용하다. 팔로우의 특징은 이것이 사용자 머리의 피치(예컨대, 위/아래 회전)를 무시하여 사용자에게 자신의 물리적 공간을 보다 더 자유롭게 둘러보게 한다는 점이다. 사용자가 왼쪽 또는 오른쪽을 본다면, 오브젝트가 사용자의 시야에서 중심을 다시 맞출 수 있다. 일부 실시예들에서, 이러한 중심 조정은 lerp 값을 갖는데, 이는 이동하는 데 시간이 걸리고 사용자에게 다소 느슨하게 부착된 느낌이 든다. 일부 실시예들에서, 팔로우 거동은 사용자의 머리 움직임을 예를 들어, 일대일 움직임으로 직접적으로 모방할 수 있다. 일부 실시예들에서, 팔로우는 애플리케이션 옵션 메뉴에 의해 프리즘별로 액세스되고 활성화될 수 있다. 일부 실시예들에서, 팔로우 모드는 프리즘에 대한 디폴트 할당일 수 있고 그리고/또는 프리즘의 (예컨대, 사용자가 예를 들어, 프리즘을 적절히 변경할 때까지 팔로우 프리즘으로서 고정되는) 비-일시적 속성일 수 있다.

[0229] 일부 실시예들에서, 팔로우(1550) 바디 다이내믹 타입은 레이지 헤드락(1560) 및 외부 센서(1570)와 같은 두 가지 설정들 중 하나를 가질 수 있다. 레이지 헤드락(1560) 설정 중에는, 팔로우(1550) 설정과 유사하게 사용자의 머리 포지션에 단일 오브젝트, 프리즘 또는 애플리케이션이 부착될 수 있지만, 피치 파라미터는 사용자에 의해 언락될 수 있어, 사용자가 위아래로 바라본다면, 오브젝트도 역시 따라갈 수 있다. 외부 센서(1570) 설정 중에는, 오브젝트, 프리즘 또는 애플리케이션이 외부 센서로부터의 데이터에 기초하여 사용자를 따라갈 수 있다. 일부 실시예들에서, IMU(inertial measurement unit)는 사용자의 벨트 팩 유닛에 포함될 수 있다. 일부 실시예들에서, IMU는 메인 프로세서로 전송되는 각속도 및 선형 가속도 데이터를 수집하는 전자 모듈 내의 유닛이다. IMU 하우징은 2개의 별도 센서들을 포함할 수 있다. 제1 센서는 가속도계 트라이어드(triad)일 수 있다. 이는 사용자에 의해 생성되며 사용자에게 작용하는 축들 각각을 따라 가속도들을 설명하는 3개의 아날로그 신호들을 생성할 수 있다. 제2 센서는 각속도 센서 트라이어드일 수 있다. 이는 또한 3개의 아날로그 신호들을 출력할 수 있다. 이러한 신호들은 센서 축들 각각에 대한 사용자의 각속도를 설명할 수 있다. 이 IMU는 혼합 현실 시스템이 사용자의 머리 포즈에 관련되어야 하는 것이 아니라 신체에 관련되는 프리즘들을 가질 수 있게 할 것이다.

[0230] 페이드(1580) 바디 다이내믹 설정의 경우, 클리핑(clipping) 평면 앞의 지정된 거리에서, 콘텐츠가 디졸브/소멸하기 시작할 수 있다. 클리핑 평면 앞의 지정된 거리에서, 일부 실시예들에서, 혼합 현실 시스템이 더는 콘텐츠를 편안하게 렌더링하지 않을 수 있는 경우, 그리고/또는 사용자가 그 컷오프 포인트에 가까워질 때, 콘텐츠가 갑자기 꺼지기보다는 매끄럽게 페이드 아웃되어야 한다. 일부 실시예들에서, 페이딩은 사용자가 클리핑 평면에 가까이 있을 때 발생할 수 있다(예컨대, 정확한 측정은 하드웨어에 의존할 수 있다). 랜드스케이프 내의 가상 콘텐츠는 사용자가 콘텐츠를 통과하거나 콘텐츠에 너무 가까워질 때 이러한 영향을 줄 수 있다.

애플리케이션의 동시 런칭 및 배치

[0231] 일부 실시예들에서는, 혼합 현실 환경에서 애플리케이션을 동시에 런칭하고 배치하는 것이 유리할 수 있다. 일 실시예에서, 커서가 웹 페이지 위에서 움직일 때마다, 브라우저 엔진은 웹 페이지 콘텐츠에 대한 적중 테스트를 수행하여 커서 포지션 아래에 무엇이 있는지를 볼 수 있다. 적중 테스트는 웹 페이지에서 엘리먼트들을 검출할 수 있고, 그 다음 그것이 어떤 종류의 엘리먼트인지를 분석한다. 모든 각각의 html 엘리먼트는 서로 다른 파라미터들을 가질 수 있으며, 이들 중 일부는 모든 엘리먼트들에 공통이고, 일부는 다수의 엘리먼트들에 공통이며, 일부는 엘리먼트 특정적이다. 링크들의 경우, 가장 일반적이고 가장 권장되는 엘리먼트는 앵커 태그 <a href="mylink">의 사용이다. 이 앵커 태그는 임의의 엘리먼트, 이미지 또는 텍스트에 사용될 수 있다. 언제든지, 현재 커서가 위에 있는 엘리먼트 타입을 요청할 수 있다. 브라우저 엔진은 적중 테스트 결과를 캐시하고 노드 또는 노드 타입을 브라우저 애플리케이션으로 전달할 수 있다. 일부 실시예들에서, 적중 테스트 결과들의 이러한 캐시는 사용자가 추출 트리거를 사용하여 링크를 선택할 때 수행될 수 있다.

[0232] 다른 실시예에서, 클릭 가능한 웹 페이지의 임의의 엘리먼트 위에서 커서가 움직일 때, 웹 엔진은 브라우저 애플리케이션에 대한 API를 호출하여 커서가 "화살표" 또는 "i-빔"에서 "손"으로 변경될 것을 요청할 수 있다. 이 API가 호출되면, 브라우저 애플리케이션은 다음에, 커서가 어떤 종류의 엘리먼트 위에 있는지에 관한 정보를 요청할 수 있다.

[0233] 도 16은 일부 실시예들에 따라, 혼합 현실 환경에서 애플리케이션을 동시에 런칭하고 배치하기 위한 흐름도를 도시한다. 1610에서, 사용자는 사용자의 랜드스케이프 내에서 프리즘 내부에 디스플레이된 브라우저 애플리케이션에 디스플레이된 웹 페이지로부터의 링크 위로 커서를 움직일 수 있다. 마우스, 토템 등과 같은 핸드헬드 제어기 디바이스, 또는 사용자의 눈들이 웹 페이지에 초점이 맞춰질 수 있고 사용자의 머리 장착 시스템으로부터의 센서들은 사용자가 웹 페이지로부터의 링크 위를 보고 있음을 검출할 수 있는 눈 응시, 또는 임의의 다른 적절한 방법에 의해 커서가 움직일 수 있다. 링크는 URL(uniform resource locator)일 수 있다. 링크 위에서 커서의 움직임 그리고/또는 링크를 갖는 웹 페이지에 초점을 맞추는 눈 응시(또는 임의의 다른 적절한 사용자 선택 방법)는 사용자가 링크에 대응하는 콘텐츠에 관심을 가질 수 있음을 나타내는 사용자 입력을 콘텐츠를 렌더링하는 애플리케이션에 전송할 수 있다.

[0234] 1615에서, 웹 엔진 및/또는 브라우저 애플리케이션이 사용자가 커서 또는 눈 응시로 위에서 움직이는 링크들을 검출할 수 있다. 링크들을 검출하면, 웹 엔진은 브라우저 애플리케이션이 미니 디스플레이 볼륨(예컨대, 미니 프리즘)을 생성하도록 유니버스에 요청할 수 있게, 사용자가 콘텐츠에 관심이 있을 수 있음을 브라우저 애플리케이션에 통지할 수 있다. 미니 프리즘은 브라우저 애플리케이션이 링크로부터 미니 프리즘으로 콘텐츠를 로딩하고 있을 때 브라우저 애플리케이션에 대한 플레이스 홀더 프리즘의 역할을 하기 위한 표준 3D 디스플레이 볼륨 관리 유닛(예컨대, 프리즘)의 초기 디폴트 크기일 수 있다.

[0235] 1620에서, 유니버스는 미니 프리즘을 생성하고, 콘텐츠의 페이지 미리보기가 로딩되고 있음을 보여주도록 미니 프리즘을 로딩하기 시작한다. 1625에서, 사용자는 사용자가 링크가 향하는 콘텐츠를 보는 것에 관심이 있음을 나타내기 위해 추출 트리거를 사용하여 링크를 선택할 수 있다. 추출 트리거의 사용은 사용자가 링크에 대응하는 콘텐츠를 보는 것에 매우 관심이 있을 수 있음을 애플리케이션에 나타낼 수 있다. 브라우저는 적중 테스트 결과를 캐시하고 프리즘을 로딩할 브라우저 애플리케이션으로 노드 또는 노드 타입을 전달할 수 있다. 1630에서, 사용자는 핸드헬드 제어기를 사용하여 웹 페이지 밖으로 미니 프리즘을 이동시킬 수 있다. 미니 프리즘의 이러한 이동은 사용자가 미니 프리즘을 옮기고 있음을 나타내는 사용자 입력을 유니버스에 전송할 수 있다.

[0236] 1635에서, 미니 프리즘은 배치 모드에 있고, 사용자는 사용자의 랜드스케이프 내의 위치에 미니 프리즘을 배치하도록 미니 프리즘을 이동시킬 수 있다. 1640에서, 사용자는 마우스 버튼 또는 추출 트리거를 해제하여 미니 프리즘을 사용자의 랜드스케이프 내의 위치에 배치할 수 있다. 마우스 버튼 또는 추출 트리거의 해제는 미니 프리즘이 증강 현실 환경(예컨대, 사용자의 랜드스케이프)의 한 위치에 배치됨을 나타내는 사용자 입력을 유니버스로 전송할 수 있다.

[0237] 1645에서, 미니 프리즘이 배치 위치에서 (예컨대, 미니 프리즘 크기가 아니라) 보통 크기로 확장되어, 프리즘 내에 완전히 로딩된 링크의 페이지가 사용자에게 디스플레이될 수 있다. 사실상, 사용자는 링크를 선택하고 백그라운드에서 혼합 현실 시스템이 로딩되고 있고 프리즘의 디스플레이를 준비하고 있는 동안 혼합 현실 환경에 링크의 미니 프리즘을 배치함으로써 증강 현실 환경에서 애플리케이션을 동시에 열고/런칭하여 배치할 수 있다.

[0238] 다른 실시예에서는, 1615 이후에 1670에서, 사용자는 1675에서 미니 프리즘이 애플리케이션에 의해 요청되어 유니버스에 의해 생성되기 전에, 추출 트리거로 링크를 선택할 수 있다. 이는 사용자가 실제로 디스플레이를 위해 링크로부터 콘텐츠를 추출하기로 결정하기 전에 미니 프리즘을 생성하는 시스템 처리를 감소시키는 데 도움이 될 수 있다.

[0239] 다른 실시예에서는, 사용자가 추출 트리거로 링크를 선택한 후 1680에서, 사용자가 미니 프리즘을 이동시키지 않고 추출 트리거를 해제할 수 있다. 이 실시예에서는, 미니 프리즘을 링크로부터의 콘텐츠가 완전히 로딩된 표준 크기 프리즘으로 확장하는 대신, 1685에서 유니버스는 단지 링크를 사용하여 웹 브라우저 애플리케이션 내에 새로운 탭을 생성할 수 있으며, 여기서 링크의 콘텐츠는 사용자가 추출 트리거와 동등한 사용자 입력으로 링크를 선택했을 때 이미 로딩되어 캐시되었다.

[0240] 개시된 것은 혼합 현실 환경에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 시스템 및 방법들이다. 특히, 이 시스템 및 방법들은 프리즘들과 같은 3D 윈도우들을 관리함으로써 3D 윈도우 관리자로서 기능할 수 있는 유니버스 애플리케이션을 개시한다. 프리즘들은 (예컨대, 사용자에 의해) 공간에 포지셔닝되는 경계 볼륨들이다. 애플리케이션들은 유니버스를 통해 그래픽들을 프리즘에 렌더링할 수 있다. 유니버스는 Kali와 협력하여 장면 그래프들을 렌더링하며, 각각의 프리즘의 배치, 스케일링 등을 완벽하게 제어한다. 일부 실시예들에서, 유니버스는 프리즘들을 벽들과 표면들에 부착하고, 프리즘들을 통과 가능 월드 시스템에 등록하고, 그리고/또는 혼합 현실 시스템의 다수의 사용자들 사이에서의 콘텐츠 공유를 제어하는 능력을 제공할 수 있다. 일부 실시예들에서, 유니버스는 또한 프리즘들 자체를 관리하고(예컨대, 프리즘들을 생성하고, 배치 및/또는 스냅 규칙들을 관리하고, 기본 사용자 인터페이스 컨트롤들― 닫기 버튼, 액션 바 등 ―을 제공하고), 프리즘 내부에 무엇이 있는지 신경 쓰지 않으며, 그리고/또는 프리즘의 기록들(예컨대, 어떤 애플리케이션이 프리즘을 소유하는지, 프리즘을 어디에 배치할지, 프리즘이 어떻게 앵커링되는지 ― 신체 중심, 월드 고정 등)을 계속 파악한다. 일부 실시예들에서, 프리즘 거동은 부분적으로는 앵커들에 기초할 수 있다. 일부 실시예들에서, 프리즘 거동은 부분적으로는 배치(예컨대, 사용자 상호 작용을 통한 사용자 배치) 및/또는 바디 다이내믹(예컨대, 빌보드, 신체 중심, 레이지 헤드락 등)에 기초할 수 있다.

[0241] 유니버스는 표준 2D 윈도우 관리자보다 3D 윈도우 관리자로서 훨씬 더 많은 기능을 제공할 수 있다. 일부 실시예들에서, 유니버스가 (예컨대, 2D 윈도우 관리자보다) 3D 윈도우 관리자로서 제공할 수 있는 하나 이상의 추가 특징들(예컨대, 기능)은 다음을 포함할 수 있다:

[0242] 지속성: 사용자의 주방 카운터에 있는 애플리케이션은 사용자가 이를 변경하지 않는 한 주방 카운터에 나타날 수 있다. 사용자는 시스템이 켜질/꺼질 때마다 또는 사용자가 방을 떠나고 다시 돌아올 때마다 애플리케이션을 다시 런칭할 필요가 없을 수 있다. 유니버스는 통과 가능 월드 시스템에 프리즘 정보를 저장하기 때문에, 사용자가 혼합 현실 시스템을 사용하고 사용자의 주방에서 애플리케이션에 매우 근접할 때마다 사용자의 주방에 있는 애플리케이션을 재시작할 수 있다.

[0243] 사용자에 대한 애플리케이션 상태: 애플리케이션의 동작 상태를 변경하기 위해 사용자 상호 작용이 필요한(예컨대, 사용자가 닫기 버튼을 클릭함) 2D 윈도우 관리자와는 달리, 애플리케이션이 자동으로 ― 요구되는 명시적 사용자 액션 없이 ― 시작, 보류/일시 정지, 재시작할 수 있다.

[0244] 지역성 - 실세계 대 2D 윈도우들: 2D 윈도우 관리자는 스크린이 어디에 배치될 수 있는지에 관계없이, 스크린으로 제한될 수 있다. 그러나 혼합 현실 환경에서, 애플리케이션은 실세계와 관련하여, 예를 들어 사용자의 환경의 물리적 오브젝트, 사용자의 신체, 고정된 위치 등과 같은 다른 어떤 것에 상대적으로 배치될 수 있다.

[0245] 물리성: 프리즘들이 움직일 수 있다. 따라서 프리즘들의 움직임 및 움직임 추적이 관리될 필요가 있다(예컨대, 사용자/신체 중심으로 빌보드 게시, 레이지 빌보드 게시, 움직일 때의 흔들림, 충돌 바운스 등).

[0246] 개인적이지만, 상호 작용 가능: 2D 윈도우들은 개인적이지만 이들이 상호 작용하지 않거나, 이들이 상호 작용하지만 개인적이지 않다. 그러나 유니버스는 3D 윈도우들(예컨대, 프리즘들)의 프라이버시와 상호 작용 모두를 가능하게 할 수 있다.

추가 실시예들

[0247] 본 개시내용의 추가 실시예들이 아래에 설명된다. 이러한 추가 실시예들은 위에 개시된 실시예들로부터의 엘리먼트들을 포함할 수 있다.

1. 혼합 현실 시스템을 시작하기 위한 방법으로서, 이 방법은:

사용자의 현재 위치를 결정하는 단계;

이전에 현재 위치에 전개되었던 하나 이상의 프리즘들을 리트리브하는 단계;

하나 이상의 프리즘들을 사용자의 현재 위치에 복원하는 단계; 및

사용자의 현재 위치에 복원된 하나 이상의 프리즘들을 디스플레이하는 단계를 포함한다.

2. 실시예 1의 방법에서, 프리즘은 애플리케이션으로부터의 가상 콘텐츠가 내부에 포함되는 공간의 볼륨이다.

3. 실시예 2의 방법에서, 애플리케이션은 애플리케이션이 하나보다 많은 프리즘에 렌더링되는 경우의 애플리케이션의 애플리케이션 인스턴스이다.

4. 실시예 1의 방법에서, 프리즘은 장면 그래프의 일부를 나타내며, 장면 그래프는 사용자의 현재 위치에 대응한다.

5. 실시예 4의 방법에서, 장면 그래프는 제1 애플리케이션 및 제2 애플리케이션으로부터의 데이터를 포함한다.

6. 실시예 1의 방법에서, 이전에 현재 위치에 전개되었던 하나 이상의 프리즘들을 리트리브하는 단계는:

외부 데이터베이스로부터 하나 이상의 프리즘들에 대한 인스턴스 데이터를 리트리브하는 단계; 및

하나 이상의 프리즘들에 대한 인스턴스 데이터로 로컬 프리즘 데이터베이스를 재구성하는 단계를 포함한다.

7. 실시예 6의 방법에서, 각각의 프리즘에 대한 인스턴스 데이터는 프리즘을 정의하는 프리즘 속성들의 데이터 구조를 포함하고, 프리즘 속성들은 위치, 배향, 범위 폭, 범위 높이, 범위 깊이, 바디 다이내믹, 앵커 타입 또는 앵커 포지션 중 적어도 하나를 포함한다.

8. 실시예 7의 방법에서, 각각의 프리즘에 대한 인스턴스 데이터는 애플리케이션에 의해 이전에 프리즘으로 렌더링된 가상 콘텐츠의 상태 정보를 포함하는 애플리케이션 특정 속성들의 데이터를 포함한다.

9. 실시예 1의 방법에서, 하나 이상의 프리즘들을 복원하는 단계는:

이전에 상기 현재 위치에 전개되었던 하나 이상의 프리즘들에 대응하는 개개의 애플리케이션들을 런칭하는 단계;

이전에 전개되었던 하나 이상의 프리즘들에 대응하는 하나 이상의 새로운 프리즘들을 생성하는 단계; 및

개개의 가상 콘텐츠를 상기 하나 이상의 새로운 프리즘들에 렌더링하는 단계를 포함한다.

10. 실시예 9의 방법은, 이전에 전개되었던 하나 이상의 프리즘들의 위치들에 대응하는 위치들에 플레이스 홀더 프리즘들을 디스플레이하는 단계를 더 포함하며, 하나 이상의 프리즘들을 디스플레이하는 단계는, 개개의 플레이스 홀더 프리즘들을 개개의 가상 콘텐츠를 갖는 하나 이상의 새로운 프리즘들로 대체하는 단계를 더 포함한다.

11. 실시예 1의 방법은:

사용자가 하나 이상의 프리즘들과 상호 작용할 때, 사용자의 로컬 프리즘 데이터베이스를 업데이트된 프리즘 인스턴스 데이터로 업데이트하는 단계; 및

로컬 프리즘 데이터베이스를 외부 데이터베이스와 동기화하는 단계를 더 포함한다.

12. 3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법으로서, 이 방법은:

애플리케이션으로부터, 3D 공간 환경에서 가상 콘텐츠를 디스플레이하라는 요청을 수신하는 단계;

프리즘을 생성하는 단계 ― 프리즘은 프리즘의 경계 내에서 가상 콘텐츠의 경계를 이루도록 구성된 공간 볼륨임 ―;

애플리케이션으로부터 가상 콘텐츠를 수신하는 단계;

프리즘의 경계들 내부에서 가상 콘텐츠를 렌더링하는 단계; 및

3D 공간 환경 내의 오브젝트에 프리즘을 연관시키는 단계를 포함한다.

13. 실시예 12의 방법에서, 프리즘의 경계들은 디스플레이되지 않는다.

14. 실시예 12의 방법에서, 3D 공간 환경은 사용자의 물리적 실세계 환경이다.

15. 실시예 12의 방법에서, 한 세트의 기능들을 갖는 프리즘이 자동으로 생성된다.

16. 실시예 15의 방법에서, 한 세트의 기능들은 3D 공간 환경 내의 오브젝트와 프리즘 간의 연관을 포함한다.

17. 실시예 15의 방법에서, 한 세트의 기능들은 프리즘에 허용되는 최소 크기, 프리즘에 허용되는 최대 크기, 및 프리즘의 크기를 조정하기 위한 종횡비 중 하나 이상을 포함한다.

18. 실시예 12의 방법에서, 애플리케이션은 제1 가상 콘텐츠를 제1 프리즘에 그리고 제2 가상 콘텐츠를 제2 프리즘에 렌더링하고, 제1 프리즘과 제2 프리즘은 서로 다른 프리즘들이다.

19. 실시예 18의 방법에서, 프리즘은 3D 공간 환경 내의 다른 프리즘들과 오버랩하지 않는다.

20. 실시예 12의 방법에서, 프리즘은 3D 공간 환경 내의 오브젝트와 관련하여 배치된다.

21. 실시예 20의 방법에서, 오브젝트는 증강 현실 디바이스의 사용자이다.

22. 실시예 12의 방법에서, 프리즘은:

하나 이상의 범용 특징들; 및

하나 이상의 애플리케이션별 특징들을 포함하고,

하나 이상의 범용 특징들 및 하나 이상의 애플리케이션별 특징들은 사전 승인된 옵션들의 리스트로부터 선택된다.

23. 실시예 22의 방법에서, 하나 이상의 범용 특징들은 서로 다른 애플리케이션들이 서로 일관된 방식으로 상호 작용하는 것을 보장한다.

24. 혼합 현실 시스템에서 가상 콘텐츠의 애플리케이션 상태들을 관리하기 위한 방법으로서, 이 방법은:

3D 볼륨을 볼류메트릭 그리드로 분할하는 단계;

볼류메트릭 그리드 내에서 사용자의 제1 위치를 결정하는 단계;

3D 볼륨 내에서 애플리케이션의 제2 위치를 결정하는 단계;

3D 볼륨 내에서 애플리케이션과 사용자 간의 거리를 계산하는 단계; 및

사용자와 애플리케이션 간에 계산된 거리에 적어도 부분적으로 기초하여 애플리케이션의 상태를 수정하는 단계를 포함한다.

25. 실시예 24의 방법에서, 액티브 구역의 반경은 혼합 현실 디바이스를 사용하는 사용자 주위에 원형/구형 영역을 한정한다.

26. 실시예 25의 방법에서, 액티브 구역의 외부 주위에 버퍼 구역을 더 포함하며, 버퍼 구역은 애플리케이션들의 상태에 대한 단속적 또는 급격한 변화들을 방지한다.

27. 실시예 24의 방법에서, 애플리케이션의 상태를 수정하는 단계는 애플리케이션이 다른 애플리케이션에 의해 가려지는지 여부에 적어도 부분적으로 기초한다.

28. 실시예 24의 방법에서, 애플리케이션의 상태를 수정하는 단계는 사용자의 머리 포즈에 적어도 부분적으로 기초한다.

29. 실시예 24의 방법에서, 셀 내의 애플리케이션들의 알려진 포지션들의 거리는 혼합 현실 디바이스를 사용하는 사용자가 있는 셀 및 이웃하는 셀들에 대해서만 결정된다.

30. 증강 현실 환경에서 애플리케이션을 열고 배치하기 위한 방법으로서, 이 방법은:

새로운 콘텐츠에 대한 요청을 나타내는, 사용자로부터의 제1 사용자 입력을 수신하는 단계;

콘텐츠를 생성하기 위해 애플리케이션을 런칭하는 단계;

3D 디스플레이 볼륨 관리 유닛의 미니 디스플레이 볼륨을 생성하는 단계 ― 미니 디스플레이 볼륨에 페이지 미리보기가 디스플레이되고, 애플리케이션의 런칭과 동시에 3D 디스플레이 볼륨 관리 유닛이 생성됨 ―;

미니 디스플레이 볼륨의 움직임을 나타내는 제2 사용자 입력을 수신하는 단계;

증강 현실 환경 내의 위치에서 미니 디스플레이 볼륨의 배치를 나타내는 제3 사용자 입력을 수신하는 단계; 및

위치에서 미니 디스플레이 볼륨 대신 3D 디스플레이 볼륨 관리 유닛을 확장하는 단계를 포함하며, 3D 디스플레이 볼륨 관리 유닛은 3D 디스플레이 볼륨 관리 유닛 내에 완전히 로딩된 콘텐츠를 디스플레이한다.

31. 실시예 30의 방법에서, 제1 사용자 입력은 웹 페이지 상의 링크 위에서의 커서 움직임이다.

32. 실시예 31의 방법에서, 제2 사용자 입력은 링크의 선택, 및 미니 디스플레이 볼륨의 움직임이다.

33. 실시예 30의 방법에서, 3D 디스플레이 볼륨 관리 유닛은 미니 디스플레이 대신에 3D 디스플레이 볼륨 관리 유닛이 확장될 때 미니 디스플레이를 대체한다.

34. 실시예 30의 방법에서, 사용자가 미니 디스플레이를 이동시키고 있는 동안 콘텐츠가 3D 디스플레이 볼륨 관리 유닛에 로딩된다.

35. 실시예 30의 방법에서, 위치는 증강 현실 환경 내의 오브젝트에 고정된다.

36. 실시예 35의 방법에서, 오브젝트는 사용자이다.

37. 가상 콘텐츠를 관리하기 위한 방법으로서, 이 방법은:

콘텐츠 생성 애플리케이션으로부터 콘텐츠를 수신하는 단계;

유니버스 애플리케이션에 의해 3D 공간 환경에서 콘텐츠를 디스플레이하는 단계; 및

유니버스 애플리케이션에 의해 3D 공간 환경에서의 콘텐츠의 디스플레이를 지속적으로 관리하는 단계를 포함한다.

38. 본 명세서에 개시된 본 발명의 개념들 중 임의의 개념에 따라, 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 시스템, 방법 및 컴퓨터 프로그램 제품.

39. 실시예 38의 시스템, 방법 및 컴퓨터 프로그램 제품은, 가상 콘텐츠를 볼류메트릭 디스플레이 공간 내에 디스플레이함으로써 이용 가능한 3D 디스플레이 가능 공간의 서브세트 내에 가상 콘텐츠를 디스플레이하는 것을 더 포함하며, 볼류메트릭 디스플레이 공간의 경계들은 디스플레이되지 않는다.

40. 실시예 38의 시스템, 방법 및 컴퓨터 프로그램 제품은, 애플리케이션에 의한 디스플레이 맞춤화들의 구성들에 대한 사전 승인 옵션들의 리스트로부터의 애플리케이션 선택 특징들 및 범용 특징들을 프리즘에 할당하는 것을 더 포함한다.

41. 실시예 38의 시스템, 방법 및 컴퓨터 프로그램 제품은, 하나 이상의 프리즘들에 가상 콘텐츠를 디스플레이하는 것을 더 포함하며, 하나 이상의 프리즘들은 서로 오버랩하지 않는다.

42. 실시예 38의 시스템, 방법 및 컴퓨터 프로그램 제품은, 사용자에 대한 프리즘의 상대 포지션 및 위치에 적어도 부분적으로 기초하여 프리즘의 상태를 변경하는 것을 더 포함한다.

43. 실시예 38의 시스템, 방법 및 컴퓨터 프로그램 제품은, 애플리케이션에서의 콘텐츠 생성을 관리하고 별도의 애플리케이션에서의 콘텐츠 디스플레이를 관리하는 것을 더 포함한다.

44. 실시예 38의 시스템, 방법 및 컴퓨터 프로그램 제품은, 혼합 현실 환경에 프리즘을 배치하는 동안, 프리즘에 콘텐츠를 제공할 애플리케이션을 여는 것을 더 포함한다.

45. 실시예 38의 시스템, 방법 및 컴퓨터 프로그램 제품은, 프리즘 내에 가상 콘텐츠를 디스플레이하기 위한 위치, 배향 및 범위 데이터를 프리즘에 할당하는 것을 더 포함하며, 가상 콘텐츠는 3D 가상 콘텐츠이다.

46. 실시예 45의 시스템, 방법 및 컴퓨터 프로그램 제품에서, 위치는 혼합 현실 환경의 프리즘의 앵커 포지션의 좌표이다.

47. 실시예 45의 시스템, 방법 및 컴퓨터 프로그램 제품에서, 배향은 프리즘이 오브젝트에 대해 어떻게 회전되는지를 정의하며, 오브젝트는 벽이다.

48. 실시예 45의 시스템, 방법 및 컴퓨터 프로그램 제품에서, 범위 데이터는 프리즘의 크기를 정의한다.

49. 실시예 38의 시스템, 방법 및 컴퓨터 프로그램 제품은, 혼합 현실 환경 내에서 실세계 오브젝트에 런처 애플리케이션을 피닝하는 것을 더 포함한다.

50. 실시예 49의 시스템, 방법 및 컴퓨터 프로그램 제품에서, 피닝된 런처 애플리케이션은 피닝된 런처 애플리케이션과 동일한 위치에 있는 프리즘 내에서 애플리케이션의 콘텐츠를 런칭한다.

51. 실시예 38의 시스템, 방법 및 컴퓨터 프로그램 제품은, 각각의 프리즘에 거동 타입을 할당하는 것을 더 포함하며, 거동 타입은 월드 락, 빌보드, 에지 빌보드, 팔로우 헤드락, 외부 센서에 기반한 팔로우, 또는 페이드 중 적어도 하나를 포함한다.

52. 실시예 38의 시스템, 방법 및 컴퓨터 프로그램 제품은, 런처 애플리케이션의 배치된 위치에 특정한 가장 많이 사용된 콘텐츠를 식별하는 것을 더 포함한다.

53. 실시예 38의 시스템, 방법 및 컴퓨터 프로그램 제품은, 배치된 런처 애플리케이션에 의해 선호 애플리케이션들을 디스플레이하는 것을 더 포함하며, 선호 애플리케이션들은 배치된 런처의 위치에 관한 상황에 적어도 부분적으로 기초한다.

54. 방법은:

장면에 대한 장면 그래프에 액세스하는 단계 ― 장면 그래프는 하나 이상의 변환 트리들을 포함하고, 각각의 트리는 복수의 노드들을 포함함 ―;

하나 이상의 변환 트리들 내에서 복수의 노드들로부터의 하나 이상의 노드들에 태그를 추가하는 단계 ― 태그된 하나 이상의 노드들은 변환 그룹을 형성하고, 태그된 하나 이상의 노드들은 제1 태그된 노드 및 제2 태그된 노드를 포함함 ―; 및

제1 태그된 노드를 이동시키는 단계를 포함하며, 제1 태그된 노드를 이동시키는 단계는 제2 태그된 노드가 이동하게 한다.

55. 실시예 54의 방법에서, 제2 태그된 노드는 제1 태그된 노드의 직계 자손이 아니다.

56. 실시예 54의 방법에서, 제1 태그된 노드와 제2 태그된 노드는 동일한 변환 트리로부터의 노드가 아니다.

57. 실시예 54의 방법에서, 복수의 노드들은 제1 노드 및 제2 노드를 포함하고, 이 방법은 제1 노드를 제2 노드의 부모가 되게 하는 단계를 더 포함하고, 제1 노드를 제2 노드의 부모가 되게 하는 단계는 부모가 된 노드가 이동하게 하지 않는다.

58. 3D 공유 공간에서 가상 콘텐츠를 디스플레이하는 방법으로서, 이 방법은:

제1 애플리케이션에 의해 3D 공유 공간에서 가상 콘텐츠를 생성하는 단계; 및

제1 애플리케이션에 의해 생성된 가상 콘텐츠를 제2 애플리케이션에 의해 디스플레이하는 단계를 포함하며, 제1 애플리케이션과 제2 애플리케이션은 서로 다른 애플리케이션들이다.

시스템 아키텍처 개요

[0248] 도 17은 본 개시내용의 실시예들 중 하나 이상을 구현하기에 적합한 예시적인 컴퓨팅 시스템(1400)의 블록도이다. 컴퓨팅 시스템(1400)은 버스(1406) 또는 정보를 전달하기 위한 다른 통신 메커니즘을 포함하는데, 이는 프로세서(1407), 메인 메모리(1408)(예컨대, RAM), 정적 저장 디바이스(1409)(예컨대, ROM), 디스크 드라이브(1410)(예컨대, 자기 또는 광), 통신 인터페이스(1414)(예컨대, 모뎀 또는 이더넷 카드), 디스플레이(1411)(예컨대, CRT 또는 LCD), 입력 디바이스(1412)(예컨대, 키보드) 및 커서 컨트롤과 같은 서브시스템들 및 디바이스들을 상호 접속한다.

[0249] 일부 실시예들에 따르면, 컴퓨팅 시스템(1400)은 메인 메모리(1408)에 포함된 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행하는 프로세서(1407)에 의해 특정 동작들을 수행한다. 이러한 명령들은 정적 저장 디바이스(1409) 또는 디스크 드라이브(1410)와 같은 다른 컴퓨터 판독 가능/사용 가능한 매체로부터 메인 메모리(1408)로 판독될 수 있다. 대안적인 실시예들에서, 본 개시내용을 구현하기 위해 소프트웨어 명령들 대신에 또는 이들과 결합하여 하드 와이어드 회로가 사용될 수 있다. 따라서 실시예들은 하드웨어 회로 및/또는 소프트웨어의 임의의 특정 결합으로 제한되지 않는다. 일 실시예에서, "로직"이라는 용어는 본 개시내용의 전부 또는 일부를 구현하는 데 사용되는 소프트웨어 또는 하드웨어의 임의의 결합을 의미할 것이다.

[0250] 본 명세서에서 사용된 "컴퓨터 판독 가능 매체" 또는 "컴퓨터 사용 가능 매체"라는 용어는 실행을 위해 프로세서(1407)에 명령들을 제공하는 데 참여하는 임의의 매체를 의미한다. 이러한 매체는 비휘발성 매체들 및 휘발성 매체들을 포함하는(그러나 이에 한정된 것은 아님) 많은 형태들을 취할 수 있다. 비휘발성 매체는 예를 들어, 디스크 드라이브(1410)와 같은 광 또는 자기 디스크들을 포함한다. 휘발성 매체는 메인 메모리(1408)와 같은 동적 메모리를 포함한다. 일부 실시예들에서, 시스템은 SSD(solid state drive) 메모리를 사용할 수 있다.

[0251] 컴퓨터 판독 가능 매체들의 일반적인 형태들은 예를 들어, 플로피 디스크, 플렉서블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광 매체, 펀치 카드들, 종이 테이프, 홀들의 패턴들을 가진 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체를 포함한다.

[0252] 일 실시예에서, 본 개시내용을 실시하기 위한 명령들의 시퀀스들의 실행은 단일 컴퓨팅 시스템(1400)에 의해 수행된다. 다른 실시예들에 따르면, 통신 링크(1415)(예컨대, LAN, PTSN 또는 무선 네트워크)에 의해 결합된 2개 이상의 컴퓨팅 시스템들(1400)이 서로 협력하여 본 개시내용을 실시하는 데 필요한 명령들의 시퀀스를 수행할 수 있다.

[0253] 컴퓨팅 시스템(1400)은 통신 링크(1415)를 통해 통신 인터페이스(1414)를 거쳐 프로그램, 예컨대 애플리케이션 코드를 포함하는 메시지들, 데이터 및 명령들을 송신 및 수신할 수 있다. 수신된 프로그램 코드는 이 코드가 수신될 때 프로세서(1407)에 의해 실행될 수 있고 그리고/또는 나중에 실행하기 위해 디스크 드라이브(1410) 또는 다른 비휘발성 저장소에 저장될 수 있다. 컴퓨팅 시스템(1400)은 데이터 인터페이스(1433)를 통해 외부 저장 디바이스(1431) 상의 데이터베이스(1432)와 통신할 수 있다.

[0254] 상기한 명세서에서, 본 개시내용은 이들의 특정한 실시예들을 참조로 설명되었다. 그러나 본 개시내용의 보다 넓은 사상 및 범위를 벗어나지 않으면서 이에 대해 다양한 수정들 및 변경들이 이루어질 수 있음이 명백할 것이다. 예를 들어, 앞서 설명한 프로세스 흐름들은 프로세스 동작들의 특정 순서를 참조하여 설명된다. 그러나 기술된 프로세스 동작들 중 많은 동작들의 순서는 본 개시내용의 범위 또는 동작에 영향을 미치지 않고 변경될 수 있다. 명세서 및 도면들은 이에 따라, 제한적인 의미보다는 예시적인 의미로 여겨져야 한다.

Claims (19)

1. 애플리케이션으로부터, 3D 공간 환경에서 가상 콘텐츠를 디스플레이하라는 요청을 수신하는 단계;
   프리즘을 생성하는 단계 ― 상기 프리즘은 상기 프리즘의 경계 내에서 상기 가상 콘텐츠의 경계를 이루도록 구성된 공간 볼륨임 ―;
   상기 애플리케이션으로부터 상기 가상 콘텐츠를 수신하는 단계;
   상기 프리즘의 경계들 내부에서 상기 가상 콘텐츠를 렌더링하는 단계; 및
   상기 3D 공간 환경 내의 오브젝트에 상기 프리즘을 연관시키는 단계를 포함하는,
   3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법.
2. 제1 항에 있어서,
   상기 프리즘의 경계들은 디스플레이되지 않는,
   3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법.
3. 제1 항에 있어서,
   상기 3D 공간 환경은 사용자의 물리적 실세계 환경인,
   3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법.
4. 제1 항에 있어서,
   한 세트의 기능들을 갖는 프리즘이 자동으로 생성되는,
   3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법.
5. 제4 항에 있어서,
   상기 한 세트의 기능들은 상기 3D 공간 환경 내의 오브젝트와 상기 프리즘 간의 연관을 포함하는,
   3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법.
6. 제4 항에 있어서,
   상기 한 세트의 기능들은 상기 프리즘에 허용되는 최소 크기, 상기 프리즘에 허용되는 최대 크기, 및 상기 프리즘의 크기를 조정하기 위한 종횡비 중 하나 이상을 포함하는,
   3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법.
7. 제1 항에 있어서,
   상기 애플리케이션은 제1 가상 콘텐츠를 제1 프리즘에 그리고 제2 가상 콘텐츠를 제2 프리즘에 렌더링하고,
   상기 제1 프리즘과 상기 제2 프리즘은 서로 다른 프리즘들인,
   3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법.
8. 제7 항에 있어서,
   상기 프리즘은 상기 3D 공간 환경 내의 다른 프리즘들과 오버랩하지 않는,
   3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법.
9. 제1 항에 있어서,
   상기 프리즘은 상기 3D 공간 환경 내의 오브젝트와 관련하여 배치되는,
   3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법.
10. 제9 항에 있어서,
    상기 오브젝트는 증강 현실 디바이스의 사용자인,
    3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법.
11. 제1 항에 있어서,
    상기 프리즘은,
    하나 이상의 범용 특징들; 및
    하나 이상의 애플리케이션별 특징들을 포함하고,
    상기 하나 이상의 범용 특징들 및 상기 하나 이상의 애플리케이션별 특징들은 사전 승인된 옵션들의 리스트로부터 선택되는,
    3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법.
12. 제11 항에 있어서,
    상기 하나 이상의 범용 특징들은 서로 다른 애플리케이션들이 서로 일관된 방식으로 상호 작용하는 것을 보장하는,
    3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법.
13. 제1 항 내지 제12 항 중 어느 한 항의 방법을 구현하기 위한 수단을 포함하는,
    3D 공간 환경에서 가상 콘텐츠를 디스플레이하기 위한 디스플레이 시스템.
14. 사용자의 현재 위치를 결정하는 단계;
    이전에 상기 현재 위치에 전개되었던 하나 이상의 프리즘들을 리트리브하는 단계;
    상기 하나 이상의 프리즘들을 상기 사용자의 현재 위치에 복원하는 단계; 및
    상기 사용자의 현재 위치에 복원된 하나 이상의 프리즘들을 디스플레이하는 단계를 포함하는,
    혼합 현실 시스템을 시작하기 위한 방법.
15. 3D 볼륨을 볼류메트릭 그리드로 분할하는 단계;
    상기 볼류메트릭 그리드 내에서 사용자의 제1 위치를 결정하는 단계;
    상기 3D 볼륨 내에서 애플리케이션의 제2 위치를 결정하는 단계;
    상기 3D 볼륨 내에서 상기 애플리케이션과 상기 사용자 간의 거리를 계산하는 단계; 및
    상기 사용자와 상기 애플리케이션 간에 계산된 거리에 적어도 부분적으로 기초하여 상기 애플리케이션의 상태를 수정하는 단계를 포함하는,
    혼합 현실 시스템에서 가상 콘텐츠의 애플리케이션 상태들을 관리하기 위한 방법.
16. 새로운 콘텐츠에 대한 요청을 나타내는, 사용자로부터의 제1 사용자 입력을 수신하는 단계;
    상기 콘텐츠를 생성하기 위해 애플리케이션을 런칭(launch)하는 단계;
    3D 디스플레이 볼륨 관리 유닛의 미니 디스플레이 볼륨을 생성하는 단계 ― 상기 미니 디스플레이 볼륨에 페이지 미리보기가 디스플레이되고, 상기 애플리케이션의 런칭과 동시에 상기 3D 디스플레이 볼륨 관리 유닛이 생성됨 ―;
    상기 미니 디스플레이 볼륨의 움직임을 나타내는 제2 사용자 입력을 수신하는 단계;
    증강 현실 환경 내의 위치에서 상기 미니 디스플레이 볼륨의 배치를 나타내는 제3 사용자 입력을 수신하는 단계; 및
    상기 위치에서 상기 미니 디스플레이 볼륨 대신 상기 3D 디스플레이 볼륨 관리 유닛을 확장하는 단계를 포함하며,
    상기 3D 디스플레이 볼륨 관리 유닛은 상기 3D 디스플레이 볼륨 관리 유닛 내에 완전히 로딩된 콘텐츠를 디스플레이하는,
    증강 현실 환경에서 애플리케이션을 열고 배치하기 위한 방법.
17. 콘텐츠 생성 애플리케이션으로부터 콘텐츠를 수신하는 단계;
    유니버스 애플리케이션에 의해 3D 공간 환경에서 상기 콘텐츠를 디스플레이하는 단계; 및
    상기 유니버스 애플리케이션에 의해 상기 3D 공간 환경에서의 상기 콘텐츠의 디스플레이를 지속적으로 관리하는 단계를 포함하는,
    가상 콘텐츠를 관리하기 위한 방법.
18. 장면에 대한 장면 그래프에 액세스하는 단계 ― 상기 장면 그래프는 하나 이상의 변환 트리들을 포함하고, 각각의 트리는 복수의 노드들을 포함함 ―;
    상기 하나 이상의 변환 트리들 내에서 복수의 노드들로부터의 하나 이상의 노드들에 태그를 추가하는 단계 ― 상기 태그된 하나 이상의 노드들은 변환 그룹을 형성하고, 상기 태그된 하나 이상의 노드들은 제1 태그된 노드 및 제2 태그된 노드를 포함함 ―; 및
    상기 제1 태그된 노드를 이동시키는 단계를 포함하며, 상기 제1 태그된 노드를 이동시키는 단계는 상기 제2 태그된 노드가 이동하게 하는,
    방법.
19. 제1 애플리케이션에 의해 3D 공유 공간에서 가상 콘텐츠를 생성하는 단계; 및
    상기 제1 애플리케이션에 의해 생성된 가상 콘텐츠를 제2 애플리케이션에 의해 디스플레이하는 단계를 포함하며,
    상기 제1 애플리케이션과 상기 제2 애플리케이션은 서로 다른 애플리케이션들인,
    3D 공유 공간에서 가상 콘텐츠를 디스플레이하는 방법.

Images