KR20170036710A

KR20170036710A - 실세계 오브젝트를 갖는 가상 현실 환경

Info

Publication number: KR20170036710A
Application number: KR1020177004227A
Authority: KR
Inventors: 애런 매카이 번스; 토마스 솔터; 벤자민 서그덴; 제프리 서덜랜드
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2014-07-25
Filing date: 2015-07-24
Publication date: 2017-04-03
Also published as: EP3172647A1; CN106575209A; WO2016014873A1; US9865089B2; US20160027215A1; CN106575209B; KR102466576B1

Abstract

HMD 디바이스는, 컴퓨터 모니터, 도어, 사람들, 얼굴, 및 등등과 같은 실세계 오브젝트가 디바이스 유저에게 보이는 것처럼 보이도록 그리고 가시적인 오브젝트 위에 어떠한 홀로그래픽 또는 가상 현실 컨텐츠도 렌더링되지 않도록, 실세계의 영역이 마스킹되는 가상 현실 환경을 렌더링한다. HMD 디바이스는, 유저가 포지션 또는 머리 포즈를 변경함에 따라 또는 실세계 오브젝트가 움직이거나 또는 그들의 포지션이 변경되는 경우, 실세계 오브젝트의 에지 및 표면을 동적으로 검출하고 디스플레이 상에서 오브젝트를 볼 수 있게 유지하기 위해, 표면 재구성 기술의 적용을 지원하는 센서 패키지를 포함한다. HMD 디바이스는, 가상 현실 환경에서 어떤 실세계 오브젝트가 보이는지를 유저가 선택하는 것을 가능하게 하는 제어부를 노출시킬 수 있다.

Description

실세계 오브젝트를 갖는 가상 현실 환경{VIRTUAL REALITY ENVIRONMENT WITH REAL WORLD OBJECTS}

가상 현실 컴퓨팅 디바이스, 예컨대 헤드 마운트형 디스플레이(head mounted display; HMD) 시스템 및 핸드헬드 모바일 디바이스(예를 들면, 스마트폰, 태블릿 컴퓨터, 등등)는, 유저의 시야(field of view)에서 그리고/또는 디바이스의 카메라의 시야에서 유저에게 가상 및/또는 실제 오브젝트에 관한 정보를 디스플레이하도록 구성될 수도 있다. 예를 들면, HMD 디바이스는 - 씨쓰루 디스플레이(see-through display) 시스템 또는 카메라 패스쓰루(pass-through) 또는 다른 외향(outward) 센서를 구비하는 불투명 디스플레이 시스템을 사용하여 - 실세계 오브젝트가 혼합된 가상 환경, 또는 가상 오브젝트가 혼합된 실세계 환경을 디스플레이하도록 구성될 수도 있다. 마찬가지로, 모바일 디바이스는 카메라 뷰파인더 윈도우를 사용하여 이러한 정보를 디스플레이할 수도 있다.

이 배경은 후속하는 개요 및 상세한 설명에 대한 간략한 상황(context)을 소개하기 위해 제공된다. 이 배경은, 청구되는 주제의 범위를 결정함에 있어서 보조가 되도록 의도되지 않으며, 또한 청구되는 주제를, 상기에서 제시되는 단점 또는 문제점 중 임의의 것 또는 전체를 해결하는 구현예로 제한하는 것으로 보이도록 의도된 것도 아니다.

이 개요는 하기의 상세한 설명에서 더 설명되는 엄선된 개념을 간소화된 형태로 소개하기 위해 제공된다. 이 개요는 청구된 주제의 주요한 피쳐 또는 본질적인 피쳐를 식별하도록 의도된 것도 아니고, 청구된 주제의 범위를 결정함에 있어서 보조로서 사용되도록 의도된 것도 아니다. 또한, 청구되는 주제는 본 개시의 임의의 부분에서 언급되는 임의의 또는 모든 단점을 해결하는 구현예로 한정되지는 않는다. 상기에서 설명되는 주제는 컴퓨터 제어 장치, 컴퓨터 프로세스, 컴퓨팅 시스템으로서, 또는 하나 이상의 컴퓨터 판독가능 매체와 같은 제조 물품으로서 구현될 수도 있다는 것이 이해될 수도 있다. 이들 및 다양한 다른 피쳐는 하기의 상세한 설명의 판독 및 관련 도면의 고찰로부터 명백해질 수도 있다.

도 1은 예시적인 가상 현실 환경을 도시하는데, 예시적인 가상 현실 환경의 일부는 HMD 디바이스의 유저의 시야 내에서 렌더링된다.
도 2는 HMD 디바이스의 유저가 위치하는 예시적인 실세계 물리적 환경을 도시한다.
도 3은 어떠한 홀로그래픽 컨텐츠도 렌더링되지 않는 마스킹된 부분을 구비하는 HMD 디바이스의 시야에서 디스플레이되는 가상 세계를 도시한다.
도 4는 HMD 디바이스의 시야에서 디스플레이되는 가상 세계를 도시하는데, 이 가상 세계에서는 실세계의 일부분이 가상 세계의 마스킹된 영역에서 보인다.
도 5는 HMD 디바이스에 의해 노출되는 제어부 및 HMD 센서 패키지에 의해 제공되는 예시적인 데이터를 도시한다.
도 6은 HMD 디바이스에 의해 캡쳐되고 있는 실세계 환경과 관련되는 표면 재구성 데이터를 묘사한다.
도 7은 예시적인 표면 재구성 파이프라인(surface reconstruction pipeline)의 블록도를 도시한다.
도 8, 도 9, 및 도 10은 HMD 디바이스를 사용하여 수행될 수도 있는 예시적인 방법의 플로우차트이다.
도 11은 가상 현실 HMD 디바이스의 설명에 도움이 되는 예의 도면이다.
도 12는 가상 현실 HMD 디바이스의 설명에 도움이 되는 예의 기능적 블록도를 도시한다.
도 13 및 도 14는 가상 현실 HMD 디바이스의 컴포넌트로서 사용될 수도 있는 예시적인 밀봉 바이저(sealed visor)의 정면도이다.
도 15는 부분적으로 분해된 경우의 밀봉 바이저의 뷰를 도시한다.
도 16은 밀봉 바이저의 가상 라인(phantom line) 정면도를 도시한다.
도 17은 밀봉 바이저의 배면도를 도시한다.
도 18은 예시적인 컴퓨팅 시스템을 도시한다.
도면에서, 동일한 도면 부호는 동일한 엘리먼트를 가리킨다. 엘리먼트는 다른 식으로 나타내어지지 않는 한, 일정 축척으로 묘사되지는 않는다.

유저는, 통상적으로, 물리적 실세계 환경에 위치할 때, HMD 디바이스에 의해 렌더링되는 관련된 가상 현실 환경을 탐험할 수 있고, 내비게이팅할 수 있고, 관련된 가상 현실 환경과 상호작용할 수 있고, 관련된 가상 현실 환경 내에서 움직일 수 있다. 예시적인 가상 현실 환경(100)이 도 1에서 도시되며 예시적인 물리적 실세계 환경(200)이 도 2에서 도시된다. 유저(102)는, 광학장치(optics) 디스플레이 상에 시각적으로 렌더링되는 그리고 몇몇 구현예에서 오디오 및/또는 촉각/햅틱 감각(sensation)을 포함할 수도 있는 가상 현실 환경(100)을 경험하기 위해 HMD 디바이스(104)를 활용한다. 이 특정한 비제한적인 예에 있어서, 가상 현실 환경(100)은, 유저(102)가 상호작용할 수 있고 볼 수 있는 야외 풍경을 포함한다. 유저가 자신의 머리의 포지션 또는 방위를 변경함에 따라 그리고/또는 실세계 환경 내에서 이동함에 따라, 가상 현실 환경의 유저의 뷰는 변할 수 있다. 시야(도 1에서 점선 영역(110)에 의해 나타내어짐)는 사이즈 및 형상이 정해질 수 있고, 유저에게 가상 현실 환경에 있다는 강한 존재감을 제공하도록 HMD 디바이스 경험을 시각적으로 몰입하게 만들기 위해, 디바이스의 다른 특성이 제어될 수 있다.

도 2에서 도시되는 바와 같이, 물리적 실세계 환경(200)은, 작업대(work surface; 215) 상에 컴퓨터 모니터(210)를 포함하는 실세계 오브젝트를 포함한다. 그 환경(200)에 도어(220)뿐만 아니라 다른 사람(225)(예를 들면, 유저(102)의 친구 또는 동료)도 또한 위치한다.

HMD 디바이스(104)는, 통상적으로, 마스킹된 영역에 어떠한 홀로그램 또는 가상 현실 컨텐츠도 렌더링되지 않도록, HMD 디바이스의 디스플레이 상의 실세계의 소정의 영역을 마스킹하도록 구성된다. 즉, 마스킹된 실세계는 HMD 디스플레이 상에서 증강 현실에서 렌더링되지만, 그러나 다른 식으로 가상 세계의 엘리먼트와 디커플링되고 세계 사이의 상호작용은 제한된다. 예를 들면, 가상 세계가 게임 경험을 제공하는 경우, 실세계에서 마스킹되는 모니터는 게임플레이를 지원하도록 반드시 활용될 필요는 없다. 대신 모니터는, 예를 들면, 가상 세계에서의 게임 플레이에 관련되지 않는 스트리밍 비디오를 나타낼 수 있을 것이다. 대안적인 구현예에서, 특정한 상황 하에서 몇몇 홀로그래픽 컨텐츠가 마스킹된 영역에 렌더링될 수 있는 예외가 허용될 수도 있다. 예를 들면, 렌더링된 홀로그래픽 컨텐츠가 유저의 주목을 받는 것을 여전히 허용하면서, 마스킹된 영역의 고려 없이, 또는 마스킹된 영역에의 침범을 제한하는 방식으로, 긴급한 또는 우선 순위가 높은 메시지 또는 다른 중요한 컨텐츠를 전달하는 홀로그램이 렌더링될 수 있다. 다른 예에서, 예외 기반으로 마스킹된 영역에 렌더링될 수 있는 홀로그래픽 컨텐츠의 카테고리 또는 타입을 유저가 선택하는 것을 가능하게 하기 위해, 유저가 선택가능한 옵션이 제공될 수 있다. 이러한 홀로그래픽 컨텐츠 카테고리 및 타입은 애플리케이션에 의해 변할 수 있다. 도 3은 디바이스(104)의 시야(110)에서의 실세계의 다양한 마스킹된(masked out) 영역(305)을 도시한다. 마스킹된 영역은, 현재 시야(110) 내에서 렌더링되는 혼합 현실 환경(400)에서, 도 4에서 도시되는 바와 같이, 디스플레이 상에서 여전히 볼 수 있는 실세계의 일부에 대응한다(여기서 혼합 현실 환경은 가상 세계 오브젝트 및 실세계 오브젝트 둘 다를 포함한다).

이 특정한 설명에 도움이 되는 예에 있어서, 모니터(210), 작업대(215), 도어(220), 및 사람(225)이 실세계로부터 마스킹된다. 따라서, 유저(102)는, 도 4에서 도시되는 바와 같이, 가상 야외 풍경의 일부와 함께 실세계 오브젝트를 모두 볼 수 있다. 이 예에서는 사람(225)의 얼굴 및 몸 둘 다가 디스플레이되지만, 대안적인 구현예에서, HMD 디바이스는, 얼굴과 같은 사람의 일부만을 선택적으로 디스플레이하도록 구성될 수 있다는 것을 유의한다.

실세계 오브젝트의 마스킹 및 디스플레이는, 통상적으로, 유저의 뷰 포지션이 변함에 따라 그리고/또는 물리적 환경(200) 내에서 오브젝트가 이동하거나 또는 포지션을 변경함에 따라, 오브젝트가 혼합 현실 환경 내에서 그들의 상황을 대략 유지하도록, 동적으로 수행된다. 예를 들면, 사람이 움직이는 경우, 도어가 열리고/닫히는 경우, 모니터가 다시 위치 결정되는 경우, 등등의 경우, 디스플레이된 실세계 오브젝트 앞에 또는 뒤에 어떠한 홀로그램 또는 다른 가상 컨텐츠도 렌더링되지 않는 홀로그래픽 지오메트리를 혼합 현실 환경이 유지하는 것을 가능하게 하기 위해, 마스킹 및 디스플레이는 리프레시된다.

도 5 및 도 6에서 도시되는 바와 같이, 센서 패키지(500)를 갖는 HMD 디바이스(104)가 구성된다. 예시적인 센서는 하기에서 더 상세하게 설명된다. 도 5에서 도시되는 바와 같이, 센서 패키지(500)는 표면 재구성(510)을 포함하는 다양한 기능성을 지원할 수 있다. 표면 재구성은, 예를 들면, 에지 및 표면을 검출하기 위해(512) 그리고 머리 추적을 위해 물리적 실세계 환경(200) 내에서의 유저 머리의 3D(three-dimensional; 삼차원) 포지션 및 방위를 결정하기 위해(515) 활용될 수도 있다. 도 6에서 도시되는 바와 같이, 표면 재구성 데이터(600)는 센서 패키지(500)를 사용하여 획득되고 물리적 실세계 환경(200)에서 실세계 오브젝트와 관련되는 에지 및 표면을 검출하기 위해 그리고 오브젝트 중 일부가 실세계에서 마스킹될 수 있고 혼합 현실 환경에서 도시될 수 있도록 환경 내에서의 에지 및 표면의 위치를 식별하기 위해 활용될 수도 있다. 대안적인 구현예에서, 표면 재구성을 위한 깊이 데이터는 적절한 입체 이미지 분석 기술을 사용하여 도출될 수 있다. 실세계의 몇몇 영역은 또한, 원격 오브젝트 감지를 사용하지 않고, 명시적으로 마스킹될 수 있거나, 또는 센서 기반의 마스킹 및 명시적인 마스킹의 조합이 활용될 수도 있다. 센서 패키지는 또한, 몇몇 구현예에서 머리 포지션 및 방위 데이터와 함께 사용될 수도 있는 유저의 시선 방향(525)을 확인하기 위해, 시선 추적(520)을 지원할 수 있다.

HMD 디바이스(104)는 또한, 실세계 오브젝트의 선택(535)이 혼합 현실 환경에서 보이는 것을 가능하게 하는 하나 이상의 유저 제어부(530)를 노출시키도록 구성될 수도 있다. 예를 들면, 제어부(530)는, 유저(102)가 모니터를, 마스킹될 그리고 혼합 현실 환경에서 여전히 보일 실세계 오브젝트로서 선택하는 것을 용이하게 할 수도 있다. 유저가 실세계를 보고(즉, 뷰잉 포지션으로부터의 투영된 시선 벡터가 오브젝트와 교차한다) 그 다음 자신의 선택을 나타내기 위해 제어부 또는 인터페이스와 상호작용하는 것과 같은, 다양한 선택 방법론이 활용될 수 있다. 제어부는, 버튼(이것은 물리적일 수 있거나 또는 가상적일 수 있다), 상호작용식 메뉴뿐만 아니라, 유저 음성 커맨드 또는 자연 언어 명령어, 제스쳐, 및 등등의 사용을 가능하게 하는 인터페이스를 포함할 수 있다. 대안적인 선택 방법론은, HMD 디바이스가 검출된 실세계 오브젝트를 리스트, 메뉴, 또는 다른 적절한 형태로 제시하는 것을 포함하는데, 유저는 디스플레이된 혼합 현실 환경에서의 마스킹 및 가시성을 그 리스트, 메뉴, 또는 다른 적절한 형태로부터 선택할 수도 있다.

도 7은, 실세계 환경에서의 오브젝트에 대한 표면 재구성 데이터를 획득하기 위한 예시적인 표면 재구성 데이터 파이프라인(700)을 도시한다. 개시된 기술은 예시적인 것이다는 것 및 특정한 구현예의 요건에 따라 다른 기술 및 방법론이 활용될 수도 있다는 것이 강조된다. 원시(raw) 깊이 센서 데이터(702)는 센서의 3D(삼차원) 포즈 추정에 입력된다(블록 704). 센서 포즈 추적은, 예를 들면, 예상 표면과 현재 센서 측정치 사이의 ICP(iterative closest point; 반복 최근접 지점) 정렬을 사용하여 달성될 수 있다. 센서의 각각의 깊이 측정치는, 예를 들면, 부호가 있는 거리장(signed distance field; SDF)으로서 인코딩되는 표면을 사용하여 볼륨 표현(volumetric representation)으로 통합될 수 있다(블록 706). 루프를 사용하여, SDF는, 깊이 맵이 정렬되는 조밀한 표면 예측을 제공하기 위해 추정된 프레임 안으로 광선투사된다(raycast)(블록 708). 따라서, 유저(102)가 가상 세계를 둘러 보는 경우, 환경 내에서의 유저의 머리 포지션 및 방위를 결정하기 위해, 실세계 환경(200)(도 2)과 관련되는 표면 재구성 데이터가 수집 및 분석될 수 있다.

도 8, 도 9, 및 도 10은, HMD 디바이스(104)를 사용하여 수행될 수도 있는 예시적인 방법의 플로우차트이다. 명시적으로 언급되지 않는 한, 플로우차트에서 도시되는 그리고 첨부의 본문에서 설명되는 방법 또는 단계는 특정한 순서 또는 시퀀스로 한정되지 않는다. 또한, 방법 또는 그 단계의 일부는 동시에 발생할 수 있거나 또는 수행될 수 있고, 주어진 구현예에서 이러한 구현예의 요건에 따라 모든 방법 또는 단계가 수행되어야 하는 것은 아니며 몇몇 방법 또는 단계는 옵션 사항으로서 활용될 수도 있다.

도 8에서 도시되는 방법(800)은, 혼합 현실 환경의 렌더링을 지원하는 HMD 디바이스에 의해 수행될 수도 있다. 단계 805에서, HMD 디바이스의 유저와 인접한 물리적 환경에서 하나 이상의 실세계 오브젝트를 기술하는 또는 다르게는 하나 이상의 실세계 오브젝트와 관련되는 센서 데이터가 획득된다. 센서 데이터는, 예를 들면, HMD 디바이스에 통합되는 깊이 센서를 사용하는 깊이 데이터를 포함할 수 있거나 또는 외부 센서 또는 소스로부터 획득될 수 있다. 깊이 데이터를 생성하기 위해 입체 이미징으로부터의 깊이 분석(depth-from-stereo imaging analysis)이 또한 사용될 수도 있다. 단계 810에서, 센서 데이터는, 예를 들면, 표면 재구성을 사용하여 실세계 오브젝트의 지오메트리를 재구성하기 위해 사용된다.

단계 815에서, 재구성된 지오메트리를 사용하여, 실세계의 영역은 혼합 현실 환경에 포함되도록 마스킹되고, 실세계의 마스킹된 영역은, 단계 820에서, 가상 현실 환경과 함께 표시된다. 단계 825에서, 머리 추적을 수행하여 현재 시야를 결정하기 위해, 물리적 환경의 재구성된 지오메트리가 생성된다. 단계 830에서, 예를 들면, 머리 포즈를 변경하는 것에 의해, 또는 물리적 환경을 통해 이동하는 것에 의해, 유저의 뷰가 변함에 따라, 혼합 현실 환경의 디스플레이는 통상적으로 동적으로 리프레시된다.

단계 835에서, HMD 디바이스는, 유저가 마스킹하기 위한 실세계 오브젝트를 선택하는 것을 가능하게 하는 제어부를 노출시킬 수 있다. 단계 840에서, 재구성된 지오메트리는, 마스킹에 대해 유저에 의해 선택가능한 실세계 오브젝트를 식별하기 위해 사용될 수도 있다. HMD 디바이스는, 주어진 혼합 현실 애플리케이션의 특정한 상황(context)에 따라 마스킹을 위한 양호한 후보가 될 가능성이 있는 오브젝트를 위치 결정하고 식별하기 위해, 약간의 지능을 적용할 수 있다. 예를 들면, 컴퓨터 지원 설계(computer-aided design; CAD) 애플리케이션에서, 모니터는, 유저가 실세계로부터 마스킹하기를 원하는 오브젝트일 가능성이 높다.

도 9에서 도시되는 방법(900)은, 하나 이상의 프로세서, 가변 시야를 사용하여 혼합 현실 환경을 렌더링하기 위한 디스플레이, 및 방법을 구현하기 위해 활용될 수 있는 소프트웨어 코드와 같은 컴퓨터 판독가능 명령어를 저장하는 하나 이상의 메모리 디바이스를 구비하는 HMD 디바이스에 의해 수행될 수도 있다. 단계 905에서, 실세계 오브젝트 및 물리적 환경의 표면 재구성 데이터는, 깊이 센서 또는 카메라 시스템을 포함할 수도 있는 HMD 디바이스에 통합되는 센서 패키지를 사용하여 생성된다. 다수의 중첩하는 표면이 통합되는 도 7의 파이프라인에서 도시되는 것을 비롯한 다양하고 적절한 표면 재구성 기술이 활용될 수도 있다. 단계 910에서, 표면 재구성 데이터는, 물리적 환경의 선택된 부분이 디바이스 디스플레이 상에서 여전히 보이도록 마스킹되는 홀로그래픽 지오메트리를 생성하기 위해 사용된다.

단계 915에서, HMD 디바이스는, 실세계의 선택된 부분 및 가상 현실 환경을 나타낼 때 홀로그래픽 지오메트리를 사용하도록 동작된다. 동작은, 홀로그래픽 컨텐츠가 홀로그래픽 지오메트리의 앞에서 또는 뒤에서 렌더링되는 것이 방지되도록 수행된다. 단계 920에서, 실세계로부터 마스킹될 오브젝트를 선택하기 위한 하나 이상의 제어부가 유저에게 제공될 수 있다. 단계 925에서, 표면 재구성 데이터는, 유저의 머리 포즈 또는 포지션이 변함에 따라 홀로그래픽 지오메트리와 렌더링된 가상 현실 환경 사이의 적절한 상황적 관계가 유지되도록 머리 추적을 수행하기 위해 사용될 수도 있다.

도 10의 방법(1000)은, 물리적 환경에서 동작하는 그리고 가상 현실 환경을 렌더링하는 디스플레이를 구비하는 HMD 디바이스 상에 저장되는 명령어에 의해 수행될 수도 있다. 단계 1005에서, HMD 디바이스 온보드의 센서 패키지로부터의 데이터를 사용하여, 물리적 환경 및 그 안에 포함되는 실세계 오브젝트의 표면 재구성 모델이 동적으로 생성된다. 모델은, 유저가 물리적 환경 내에서 이동함에 따라, 예를 들면, 프레임 단위 기반으로 또는 다른 적절한 기반으로 업데이트될 수 있다. 단계 1010에서, HMD 디바이스 유저는, 디바이스 디스플레이 상에서 여전히 보일 실세계 오브젝트를 선택하는 것이 가능하게 된다. 예를 들면, 유저가 특정한 실세계 오브젝트를 보고 있다는 것을 결정하기 위해, 유저의 투영된 시선의 추적이 수행될 수 있다. 제어부 작동, 음성 커맨드, 자연 언어 상호작용, 또는 제스쳐와 같은 선택 명령어가 수신될 수 있다. 단계 1015에서, 선택된 실세계 오브젝트의 가시성을 가리지 않는 방식으로 가상 현실 환경이 디스플레이 상에 렌더링된다. 단계 1020에서, 현재 시야를 결정하기 위해 표면 재구성 모델을 사용하여 머리 추적이 수행되고, 시야가 변함에 따라 렌더링은 리프레시된다.

이제, 다양하고 예시적인 구현 상세를 주목하면, 본 구성에 따른 혼합 현실 디스플레이 디바이스는, HMD 디바이스(104)와 같은 니어 아이 디바이스(near-eye device) 및/또는 다른 휴대형/모바일 디바이스를 포함하는 그러나 이들로 제한되지는 않는 임의의 적절한 형태를 취할 수도 있다. 몇몇 구현예에서 씨쓰루 디스플레이가 사용될 수도 있지만, 다른 구현예에서는, 예를 들면, 카메라 기반의 패스쓰루(pass-through) 또는 외향 센서를 사용하는 불투명한(즉, 씨쓰루가 아닌) 디스플레이가 사용될 수도 있다. 도 11은 씨쓰루의 혼합 현실 디스플레이 시스템(1100)의 하나의 특정한 설명에 도움이 되는 예를 도시하고, 도 12는 시스템(1100)의 기능적 블록도를 도시한다. 디스플레이 시스템(1100)은 씨쓰루 디스플레이 서브시스템(1104)의 일부를 형성하는 하나 이상의 렌즈(1102)를 포함하고, 그 결과 이미지는 렌즈(1102)를 사용하여(예를 들면, 렌즈(1102)로의 투영을 사용하여, 렌즈(1102)에 통합되는 하나 이상의 도파관 시스템을 사용하여, 그리고/또는 임의의 다른 적절한 방식으로) 디스플레이될 수도 있다. 디스플레이 시스템(1100)은, 유저가 보고 있는 백그라운드 장면 및/또는 물리적 환경의 이미지를 획득하도록 구성되는 하나 이상의 외향 이미지 센서(1106)를 더 포함하고, 사운드, 예컨대 유저로부터의 음성 커맨드를 검출하도록 구성되는 하나 이상의 마이크(1108)를 포함할 수도 있다. 외향 이미지 센서(1106)는 하나 이상의 깊이 센서 및/또는 하나 이상의 이차원 이미지 센서를 포함할 수도 있다. 대안적인 구성에서, 상기에서 언급되는 바와 같이, 씨쓰루 디스플레이 서브시스템을 통합하는 대신, 혼합 현실 디스플레이 시스템이 외향 이미지 센서에 대한 뷰파인더 모드를 통해 혼합 현실 이미지를 디스플레이할 수도 있다.

디스플레이 시스템(1100)은, 상기에서 설명되는 바와 같이, 유저의 각각의 눈의 시선의 방향 또는 초점의 위치 또는 방향을 검출하도록 구성되는 시선 검출 서브시스템(1110)을 더 포함할 수도 있다. 시선 검출 서브시스템(1110)은 유저의 눈의 각각의 시선 방향을 임의의 적절한 방식으로 결정하도록 구성될 수도 있다. 예를 들면, 도시되는 설명에 도움이 되는 예에 있어서, 시선 검출 서브시스템(1110)은, 광의 광채(glint)가 유저의 각각의 안구로부터 반사되게 하도록 구성되는 하나 이상의 광채 소스(1112), 예컨대 적외선 광원, 및 유저의 각각의 안구의 이미지를 캡쳐하도록 구성되는 하나 이상의 이미지 센서(1114), 예컨대 내향 센서를 포함한다. 이미지 센서(들)(1114)를 사용하여 수집되는 이미지 데이터로부터 결정되는 바와 같은, 유저의 안구 및/또는 유저의 동공의 위치로부터의 광채의 변화는 시선의 방향을 결정하기 위해 사용될 수도 있다.

또한, 유저의 눈으로부터 투영되는 시선 라인이 외부 디스플레이와 교차하는 위치는, 유저가 응시하고 있는 오브젝트(예를 들면, 디스플레이된 가상 오브젝트 및/또는 실제 백그라운드 오브젝트)를 결정하기 위해 사용될 수도 있다. 시선 검출 서브시스템(1110)은 임의의 적절한 수 및 배치의 광원 및 이미지 센서를 구비할 수도 있다. 몇몇 구현예에서, 시선 검출 서브시스템(1110)은 생략될 수도 있다.

디스플레이 시스템(1100)은 또한 추가적인 센서를 포함할 수도 있다. 예를 들면, 디스플레이 시스템(1100)은, 디스플레이 시스템(1100)의 위치가 결정되는 것을 허용하는 전지구 위치 결정 시스템(global positioning system; GPS) 서브시스템(1116)을 포함할 수도 있다. 이것은, 유저의 인접한 물리적 환경에 위치할 수도 있는 실세계 오브젝트, 예컨대 빌딩 등등을 식별하는 것을 도울 수도 있다.

디스플레이 시스템(1100)은, 유저가 혼합 현실 HMD 디바이스의 일부로서 시스템을 착용하고 있을 때 유저의 머리의 움직임 및 포지션/방위/포즈를 검출하기 위한 하나 이상의 모션 센서(1118)(예를 들면, 관성, 다축 자이로스코프 또는 가속도 센서)를 더 포함할 수도 있다. 시선 검출을 위해서 뿐만 아니라 외향 이미지 센서(들)(1106)로부터의 이미지에서의 블러(blur)에 대한 보정을 돕는 이미지 안정화를 위해, 잠재적으로 눈 추적 광채 데이터 및 외향 이미지 데이터와 함께, 모션 데이터가 사용될 수도 있다. 모션 데이터의 사용은, 외향 이미지 센서(들)(1106)로부터의 이미지 데이터가 분석될 수 없더라도, 시선 위치의 변화가 추적되는 것을 허용할 수도 있다.

또한, 모션 센서(1118)뿐만 아니라 마이크(들)(1108) 및 시선 검출 서브시스템(1110)은 또한 유저 입력 디바이스로서 활용될 수도 있고, 그 결과 유저는 눈, 목 및/또는 머리의 제스쳐를 통해서 뿐만 아니라, 몇몇 경우에서는 구두의 커맨드(verbal command)를 통해 디스플레이 시스템(1100)과 상호작용할 수도 있다. 혼합 현실 HMD 디바이스의 특정한 구현예의 요구사항을 충족하기 위해 임의의 다른 적절한 센서 및/또는 센서의 조합이 활용될 수도 있기 때문에, 도 11 및 도 12에서 예시되며 첨부의 본문에서 설명되는 센서는 예시를 위해 포함되며 어떤 방식으로든 제한하도록 의도되지 않는다는 것이 이해될 수도 있다. 예를 들면, 몇몇 구현예에서 (예를 들면, 심박수 및 호흡수, 혈압, 뇌 활동, 체온, 등등을 검출하기 위한) 생체 센서(biometric sensor) 또는 (예를 들면, 온도, 습도, 고도, UV(ultraviolet; 자외) 광 레벨, 등등을 검출하기 위한) 환경 센서가 활용될 수도 있다.

디스플레이 시스템(1100)은, 통신 서브시스템(1126)을 통해 센서, 시선 검출 서브시스템(1110), 디스플레이 서브시스템(1104), 및/또는 다른 컴포넌트와 통신하는 로직 서브시스템(1122) 및 스토리지 서브시스템(1124)을 구비하는 컨트롤러(1120)를 더 포함할 수 있다. 통신 서브시스템(1126)은 또한, 원격으로 위치한 리소스, 예컨대 프로세싱, 스토리지, 전력, 데이터, 및 서비스와 연계하여 디스플레이 시스템이 동작되는 것을 용이하게 할 수 있다. 즉, 몇몇 구현예에서, HMD 디바이스는, 상이한 컴포넌트 및 서브시스템 사이에서 리소스 및 성능을 분배할 수 있는 시스템의 일부로서 동작될 수 있다.

스토리지 서브시스템(1124)은, 예를 들면, 다른 태스크 중에서도, 센서로부터 입력을 수신하여 해석하기 위한, 유저의 위치 및 움직임을 식별하기 위한, 표면 재구성 및 다른 기술을 사용하여 실제 오브젝트를 식별하기 위한, 그리고 유저가 오브젝트를 보는 것을 가능하게 하도록 오브젝트까지의 거리에 기초하여 디스플레이를 디밍/페이딩하기 위한, 로직 서브시스템(1122)에 의해 실행가능한 저장된 명령어를 포함할 수도 있다.

디스플레이 시스템(1100)은, 오디오가 혼합 현실 경험의 일부로서 활용될 수 있도록, 하나 이상의 오디오 트랜스듀서(1128)(예를 들면, 스피커, 이어폰, 등등)와 함께 구성된다. 전력 관리 서브시스템(1130)은 하나 이상의 배터리(1132) 및/또는 보호 회로 모듈(protection circuit module; PCM) 및 관련된 충전기 인터페이스(1134) 및/또는 디스플레이 시스템(1100)의 컴포넌트로 전력을 공급하기 위한 원격 전력 인터페이스를 포함할 수도 있다.

묘사된 디스플레이 디바이스(104 및 1100)는 예시 용도로 설명되며, 따라서 제한하도록 의도되지는 않는다는 것이 이해될 수도 있다. 디스플레이 디바이스는, 본 구성의 범위를 벗어나지 않으면서, 도시된 것 이외의 추가적인 및/또는 대안적인 센서, 카메라, 마이크, 입력 디바이스, 출력 디바이스 등등을 포함할 수도 있다는 것이 또한 이해될 것이다. 추가적으로, 디스플레이 디바이스 및 그 다양한 센서와 서브컴포넌트의 물리적 구성은, 본 구성의 범위를 벗어나지 않으면서 여러 상이한 형태를 취할 수도 있다.

도 13 내지 도 18은, HMD 디바이스의 컴포넌트로서 사용될 수도 있는 혼합 현실 디스플레이 시스템(1300)에 대한 예시적인 대안적 구현예를 도시한다. 이 예에서, 시스템(1300)은, 씨쓰루 디스플레이 서브시스템을 위해 활용되는 내부 광학장치(optics) 어셈블리를 보호하도록 구성되는 씨쓰루 밀봉 바이저(1302)를 사용한다. 바이저(1302)는, 도 11 및 도 12와 연계하여 예시적으로 설명되는 바와 같이, 통상적으로, 헤드 마운팅/유지 시스템 및 센서, 전력 관리, 컨트롤러, 등등을 포함하는 다른 서브시스템과 같은 HMD 디바이스의 다른 컴포넌트(도시되지 않음)와 인터페이싱한다. 걸쇠(snap), 보스, 나사, 및 다른 패스너, 등등을 포함하는 적절한 인터페이스 엘리먼트(도시되지 않음)가 또한 바이저(1302)에 통합될 수도 있다.

바이저는, 광학적 디스플레이 및 주변 실세계 환경에 대한 방해가 없는 시각을 용이하게 하기 위해 투명 재료를 사용하여 몰딩될 수 있는 씨쓰루 프론트 및 리어 실드(1304 및 1306)를 각각 포함한다. 프론트 및 리어 실드에 틴팅, 미러링, 반사방지, 안티포그, 및 다른 코팅과 같은 처리가 적용될 수도 있고, 다양한 컬러 및 마감재가 또한 활용될 수도 있다. 프론트 및 리어 실드는, 실드 커버(1410)가 바이저(1302)로부터 분해된 것으로 도시되는 도 14의 부분 분해도에서 묘사되는 바와 같이 섀시(1405)에 고정된다.

밀봉 바이저(1302)는, 동작 중에 HMD 디바이스가 착용되어 사용될 때 그리고 클리닝 및 등등을 위한 일반적인 핸들링 동안, 광학장치 디스플레이 서브어셈블리(1502)(도 15의 분해도에서 도시됨)를 비롯한 민감한 내부 컴포넌트를 물리적으로 보호할 수 있다. HMD 디바이스가 낙하되거나 또는 부딪치거나, 충격을 받거나, 등등인 경우, 바이저(1302)는 또한, 광학장치 디스플레이 서브어셈블리(1502)를 환경적 요소 및 손상으로부터 보호할 수 있다. 광학장치 디스플레이 서브어셈블리(1502)는, 낙하 또는 충돌시 휘어질 때 실드가 서브어셈블리와 접촉하지 않도록 하는 방식으로 밀봉 바이저 내에 마운팅된다.

도 15 및 도 17에서 도시되는 바와 같이, 리어 실드(1306)는 유저의 코와 인터페이싱하도록 인체공학적으로 정확한 형태로 구성되고 코 패드(nose pad; 1704)(도 17) 및 다른 편안한 피쳐가 포함될 수 있다(예를 들면, 별개의 컴포넌트로서 매몰 성형(molded-in)될 수 있고/있거나 애드온(added-on)될 수 있다). 밀봉 바이저(1602)는 또한, 몇몇 경우에, 몰딩된 실드 내에 어떤 레벨의 광학적 디옵터 곡률(optical diopter curvature)(즉, 눈 처방)을 통합할 수 있다.

도 18은, 상기에서 설명되는 구성, 배치, 방법, 또는 프로세스 중 하나 이상을 구현할 때 사용될 수 있는 컴퓨팅 시스템(1800)의 비제한적인 실시형태를 개략적으로 도시한다. HMD 디바이스(104)는 컴퓨팅 시스템(1800)의 하나의 비제한적인 예일 수도 있다. 컴퓨팅 시스템(1800)은 단순화된 형태로 도시된다. 본 구성의 범위를 벗어나지 않고도, 사실상 임의의 컴퓨터 아키텍쳐가 사용될 수도 있다는 것이 이해될 수도 있다. 상이한 실시형태에서, 컴퓨팅 시스템(1800)은, 디스플레이 디바이스, 웨어러블 컴퓨팅 디바이스, 메인프레임 컴퓨터, 서버 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 디바이스, 게이밍 디바이스, 모바일 컴퓨팅 디바이스, 모바일 통신 디바이스(예를 들면, 스마트폰) 등등의 형태를 취할 수도 있다.

컴퓨팅 디바이스(1800)는 로직 서브시스템(1802) 및 스토리지 서브시스템(1804)을 포함한다. 컴퓨팅 시스템(1800)은, 옵션적으로, 디스플레이 서브시스템(1806), 입력 서브시스템(1808), 통신 서브시스템(1810), 및/또는 도 18에 도시되지 않은 다른 컴포넌트를 포함할 수도 있다.

로직 서브시스템(1802)은 명령어를 실행하도록 구성되는 하나 이상의 물리적 디바이스를 포함한다. 예를 들면, 로직 서브시스템(1802)은, 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 오브젝트, 컴포넌트, 데이터 구조, 또는 다른 논리적 구성물(other logical construct)의 일부인 명령어를 실행하도록 구성될 수도 있다. 이러한 명령어는, 태스크를 수행하도록, 데이터 타입을 구현하도록, 하나 이상의 컴포넌트의 상태를 변환하도록, 또는 다르게는 바람직한 결과에 도달하도록 구현될 수도 있다.

로직 서브시스템(1802)은 소프트웨어 명령어를 실행하도록 구성되는 하나 이상의 프로세서를 포함할 수도 있다. 추가적으로 또는 대안적으로, 로직 서브시스템(1802)은, 하드웨어 또는 펌웨어 명령어를 실행하도록 구성되는 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수도 있다. 로직 서브시스템(1802)의 프로세서는 싱글 코어 또는 멀티 코어일 수도 있고, 그 상에서 실행되는 프로그램은 순차 프로세싱, 병렬 프로세싱 또는 분산형 프로세싱을 위해 구성될 수도 있다. 로직 서브시스템(1802)은, 옵션적으로, 원격으로 위치할 수 있고/있거나 통합 프로세싱(coordinated processing)을 위해 구성될 수 있는 두 개 이상의 디바이스 사이에서 분산되는 개개의 컴포넌트를 포함할 수도 있다. 로직 서브시스템(1802)의 양태는, 클라우드 컴퓨팅 구성에서 구성되는 원격으로 액세스가능한 네트워크화된 컴퓨팅 디바이스에 의해 가상화되어 실행될 수도 있다.

스토리지 서브시스템(1804)은 본원에서 설명되는 방법 및 프로세스를 구현하기 위해 로직 서브시스템(1802)에 의해 실행가능한 데이터 및/또는 명령어를 유지하도록 구성되는 하나 이상의 물리적 디바이스를 포함한다. 이러한 방법 및 프로세스가 구현되는 경우, 스토리지 서브시스템(1804)의 상태는, 예를 들면, 상이한 데이터를 유지하도록 변환될 수도 있다.

스토리지 서브시스템(1804)은 착탈식 매체 및/또는 내장형 디바이스를 포함할 수도 있다. 스토리지 서브시스템(1804)은, 다른 것들 중에서도, 광학적 메모리 디바이스(예를 들면, CD(compact disc; 컴팩트 디스크), DVD(digital versatile disc; 디지털 다기능 디스크), HD-DVD(high definition DVD; 고선명 DVD), 블루레이 디스크, 등등), 반도체 메모리 디바이스(예를 들면, RAM(random access memory; 랜덤 액세스 메모리), ROM(read only memory; 리드 온리 메모리), EPROM(erasable programmable ROM; 소거가능 프로그래머블 ROM), EEPROM(electrically erasable ROM; 전기적으로 소거가능한 ROM), 등등) 및/또는 자기 메모리 디바이스(예를 들면, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM(magneto-resistive RAM; 자기 저항 RAM), 등등)을 포함할 수도 있다. 스토리지 서브시스템(1804)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독 전용, 랜덤 액세스, 순차 액세스, 위치 주소지정가능(location-addressable), 파일 주소지정가능, 및/또는 컨텐츠 주소지정가능 디바이스를 포함할 수도 있다.

스토리지 서브시스템(1804)은 하나 이상의 물리적 디바이스를 포함하고 전파 신호 그 자체는 배제한다는 것이 이해될 수도 있다. 그러나, 몇몇 실시형태에서, 본원에서 설명되는 명령어의 양태는, 스토리지 디바이스 상에 저장되는 것과는 대조적으로, 통신 매체를 사용하여 순수 신호(예를 들면, 전자기 신호, 광학 신호 등등)에 의해 전파될 수도 있다. 또한, 본 구성에 관련이 있는 데이터 및/또는 다른 형태의 정보는 순수 신호에 의해 전파될 수도 있다.

몇몇 실시형태에서, 로직 서브시스템(1802)의 그리고 스토리지 서브시스템(1804)의 양태는 하나 이상의 하드웨어 로직 컴포넌트로 함께 통합될 수도 있는데, 본원에서 설명되는 기능성은 그 하나 이상의 하드웨어 로직 컴포넌트를 통해 이행될 수도 있다. 이러한 하드웨어 로직 컴포넌트는, 예를 들면, 필드 프로그래머블 게이트 어레이(field-programmable gate array; FPGA), 프로그램 및 애플리케이션 고유의 집적 회로(program-and application-specific integrated circuit; PASIC/ASIC), 프로그램 및 애플리케이션 고유의 표준 제품(program-and application-specific standard product; PSSP/ASSP), 시스템 온 칩(system-on-a-chip; SOC) 시스템, 및 복합 프로그래머블 로직 디바이스(complex programmable logic device; CPLD)를 포함할 수도 있다.

디스플레이 서브시스템(1806)은, 포함되는 경우, 스토리지 서브시스템(1804)에 의해 유지되는 데이터의 시각적 표현을 제공하기 위해 사용될 수도 있다. 이 시각적 표현은 그래픽 유저 인터페이스(graphical user interface; GUI)의 형태를 취할 수도 있다. 본원에서 설명되는 방법 및 프로세스가 스토리지 서브시스템에 의해 유지되는 데이터를 변경하고, 따라서 스토리지 서브시스템의 상태를 변환할 때, 디스플레이 서브시스템(1806)의 상태는 기저의 데이터(underlying data)의 변경을 시각적으로 나타내도록 마찬가지로 변환될 수도 있다. 디스플레이 서브시스템(1806)은 사실상 임의의 타입의 기술을 활용하는 하나 이상의 디스플레이 디바이스를 포함할 수도 있다. 이러한 디스플레이 디바이스는 공유된 엔클로저에서 로직 서브시스템(1802) 및/또는 스토리지 서브시스템(1804)과 결합될 수도 있거나, 또는 이러한 디스플레이 디바이스는 다른 경우에서 주변장치 디스플레이 디바이스일 수도 있다.

입력 서브시스템(1808)은, 포함되는 경우, 키보드, 마우스, 터치 스크린, 또는 게임 컨트롤러와 같은 하나 이상의 유저 입력 디바이스를 포함할 수도 있거나 또는 그 하나 이상의 유저 입력 디바이스와 인터페이싱할 수도 있다. 몇몇 실시형태에서, 입력 서브시스템은 선택된 내츄럴 유저 인터페이스(natural user input; NUI) 컴포넌트를 포함할 수도 있거나 또는 그 NUI 컴포넌트와 인터페이싱할 수도 있다. 이러한 컴포넌트는 통합되거나 또는 주변장치일 수도 있고, 입력 액션의 변환 및/또는 프로세싱은 온보드로 또는 오프보드(off-board)로 핸들링될 수도 있다. 예시적인 NUI 컴포넌트는, 스피치 및/또는 보이스 인식을 위한 마이크; 머신 비전(machine vision) 및/또는 제스쳐 인식을 위한 적외선, 컬러, 입체, 및/또는 깊이 카메라; 모션 검출 및/또는 의도 인식을 위한 헤드 트래커(head tracker), 아이 트래커(eye tracker), 가속도계, 및/또는 자이로스코프뿐만 아니라 뇌 활동을 평가하기 위한 전기장 감지 컴포넌트를 포함할 수도 있다.

통신 시스템(1810)은, 포함되는 경우, 컴퓨팅 시스템(1800)을 하나 이상의 다른 컴퓨팅 디바이스와 통신 가능하게 커플링하도록 구성될 수도 있다. 통신 서브시스템(1810)은, 하나 이상의 상이한 통신 프로토콜과 호환가능한 유선 및/또는 무선 통신 디바이스를 포함할 수도 있다. 비제한적인 예로서, 통신 서브시스템은 무선 전화 네트워크, 또는 유선 또는 무선 근거리 통신망 또는 광역 통신망을 통한 통신을 위해 구성될 수도 있다. 몇몇 실시형태에서, 통신 서브시스템은 컴퓨팅 시스템(1800)이 인터넷과 같은 네트워크를 사용하여 메시지를 다른 디바이스로 및/또는 다른 디바이스로부터 전송하는 것 및/또는 수신하는 것을 허용할 수도 있다.

이제, 실세계 오브젝트를 갖는 본 가상 현실 환경의 다양하고 예시적인 실시형태가, 모든 실시형태의 완전한 리스트로서가 아닌 예시로서 제시된다. 예는, 실세계로부터의 오브젝트 및 가상 세계로부터의 홀로그래픽 컨텐츠를 포함하는 혼합 현실 환경의 렌더링을 지원하는 헤드 마운트형 디스플레이(HMD) 디바이스에 의해 수행되는 방법을 포함하는데, 그 방법은, HMD 디바이스의 유저와 인접한 물리적 환경 내에 포함되는 실세계에서의 하나 이상의 오브젝트에 대한 센서 데이터를 획득하는 단계; 센서 데이터로부터 하나 이상의 오브젝트에 대한 지오메트리를 재구성하는 단계; 재구성된 지오메트리를 사용하여, 혼합 현실 환경에 포함시키기 위한 실세계의 영역을 마스킹하는 단계 - 여기서 마스킹된 영역은 가상 세계로부터의 어떠한 홀로그래픽 컨텐츠도 포함하지 않음 - ; 및 HMD 디바이스의 디스플레이 상에 실세계의 마스킹된 영역 및 가상 세계의 일부를 포함하는 혼합 현실 환경을 표시하는 단계를 포함한다.

다른 예에서, 센서 데이터가 깊이 데이터를 포함하고, 방법은 깊이 센서를 사용하여 센서 데이터를 생성하는 단계 및 지오메트리를 재구성하기 위해 표면 재구성 기술을 적용하는 단계를 더 포함한다. 다른 예에서, 방법은, 입체 이미징으로부터의 깊이 분석을 사용하여 깊이 데이터를 생성하는 단계를 더 포함한다. 다른 예에서, 방법은, 현재 시야를 결정하기 위해 물리적 환경의 재구성된 지오메트리를 사용하여 물리적 환경에서의 유저의 머리를 추적하는 단계를 더 포함한다. 다른 예에서, 방법은, 현재 시야에 응답하여 동적인 방식으로 표시를 수행하는 단계를 더 포함한다. 다른 예에서, 방법은, 마스킹된 영역 내에 포함되는 실세계의 오브젝트를 선택하기 위한 제어부를 유저에게 노출시키는 단계를 더 포함한다. 다른 예에서, 방법은 홀로그래픽 지오메트리를 생성하기 위해 재구성된 지오메트리를 사용하는 단계를 더 포함하는데, 이 홀로그래픽 지오메트리에서, HMD 디바이스는 홀로그래픽 지오메트리의 앞 또는 홀로그래픽 지오메트리의 뒤 중 어느 하나에서 홀로그래픽 컨텐츠가 디스플레이 상에 렌더링되는 것을 방지한다. 다른 예에서, 방법은, 마스킹될 실세계의 영역을 선택하기 위한 제어부를 유저에게 제공하는 단계를 더 포함한다. 다른 예에서, 방법은, 마스킹에 대해 선택가능한 실세계 오브젝트를 유저에게 식별시키기 위해, 재구성된 지오메트리를 사용하는 단계를 더 포함한다. 다른 예에서, 실세계의 마스킹된 영역은, 가상 세계 컨텐츠와 디커플링되도록 또는 상호작용하지 않도록 구성된다.

다른 예는, 물리적 환경에서 유저에 의해 조작가능한 헤드 마운트형 디스플레이(HMD) 디바이스를 포함하는데, 헤드 마운트형 디스플레이(HMD) 디바이스는, 하나 이상의 프로세서; 유저에게 가상 현실 환경이 렌더링되는 - 렌더링된 가상 현실 환경의 시야는 물리적 환경에서의 유저의 머리의 포즈에 적어도 부분적으로 의존하여 변할 수 있음 - 영역을 구비하는 씨쓰루 디스플레이; 센서 패키지; 및 컴퓨터 판독가능 명령어를 저장하는 하나 이상의 메모리를 포함하고, 컴퓨터 판독가능 명령어는, 하나 이상의 프로세서에 의한 실행시, 센서 패키지를 사용하여 물리적 환경의 적어도 일부에 대한 표면 재구성 데이터를 생성하는 단계, 물리적 환경의 선택된 부분이 씨쓰루 디스플레이 상에서 여전히 보이도록 마스킹되고 가상 현실 컨텐츠가 마스킹된 부분에 렌더링되는 것이 방지되는 홀로그래픽 지오메트리를 생성하기 위해 표면 재구성 데이터를 사용하는 단계, 및 씨쓰루 디스플레이의 시야 내에, 실세계의 선택된 부분 및 가상 현실 환경을 나타낼 때 홀로그래픽 지오메트리를 사용하도록 HMD 디바이스를 동작시키는 단계를 포함하는 방법을 수행한다.

다른 예에서, HMD 디바이스는, 마스킹되는 실세계의 선택된 부분을 유저가 선택하는 것을 가능하게 하기 위한 하나 이상의 제어부를 제공하는 것을 더 포함한다. 다른 예에서, HMD 디바이스는, 홀로그래픽 지오메트리를 생성할 때 물리적 환경에서의 실세계 오브젝트의 에지 또는 표면을 검출하기 위해 표면 재구성 데이터를 사용하는 것을 더 포함한다. 다른 예에서, HMD 디바이스는, 유저의 머리 포지션을 추적하기 위해 표면 재구성 데이터를 사용하는 것 및 홀로그래픽 지오메트리를 유지하는 동안 머리 포지션에 기초하여 시야를 조정하는 것을 더 포함한다. 다른 예에서, HMD 디바이스는, 통합되는 다수의 중첩 표면을 생성하는 체적법(volumetric method)을 구현하는 표면 재구성 데이터 파이프라인을 사용하여 물리적 환경을 모델링하는 것을 더 포함한다. 다른 예에서, HMD 디바이스는, 특수 홀로그래픽 컨텐츠 - 특수 홀로그래픽 컨텐츠는 우선순위, 중요도, 또는 긴급성 중 하나 이상을 특징으로 함 - 를 마스킹된 부분에 렌더링하는 것을 더 포함한다.

다른 예는, 실세계 환경에 위치하는 헤드 마운트형 디스플레이(HMD) 디바이스의 가변 시야 내에 가상 현실 환경을 렌더링하기 위한 방법을 구현하는 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리를 포함하며, 그 방법은, 내부에 포함되는 실세계 오브젝트를 포함하는 실세계 환경의 표면 재구성 모델을 동적으로 생성하기 위해 HMD 디바이스에 통합되는 센서 패키지로부터의 데이터를 사용하는 단계; HMD 디바이스의 디스플레이 상에서 보일 실세계 오브젝트를 유저가 선택하는 것을 가능하게 하는 단계; 및 선택된 실세계 오브젝트의 가시성을 가리지 않으면서 가상 현실 환경을 렌더링하기 위해 표면 재구성 모델을 사용하는 단계를 포함한다.

다른 예에서, 하나 이상의 컴퓨터 판독가능 메모리는, 가상 현실 환경의 시야를 결정하기 위해 실세계 환경의 표면 재구성 모델을 사용하여 실세계 환경에서의 HMD 디바이스 유저의 머리의 위치를 추적하는 것을 더 포함한다. 다른 예에서, 하나 이상의 컴퓨터 판독가능 메모리는 시야가 변함에 따라 렌더링된 가상 현실 환경을 리프레시하는 것을 더 포함한다. 다른 예에서, 하나 이상의 컴퓨터 판독가능 메모리는, 유저의 투영된 시선을 추적하는 것 및 제어부 작동, 음성 커맨드, 자연 언어 상호작용, 또는 제스쳐를 포함하는 유저로부터의 선택 명령어를 수신하는 것에 의해 실세계 오브젝트를 유저가 선택하는 것을 가능하게 하는 것을 더 포함한다.

비록 본 주제가 구조적 피쳐 및/또는 방법론적 액트(act)에 고유한 언어로 설명되었지만, 첨부의 청구범위에서 정의되는 주제는 상기에서 설명되는 특정 피쳐 또는 액트로 반드시 제한되는 것은 아니다는 것이 이해되어야 한다. 오히려, 상기에서 설명되는 특정 피쳐 및 액트는 청구범위를 구현하는 예시적인 형태로서 설명된다.

Claims

실세계로부터의 오브젝트 및 가상 세계로부터의 홀로그래픽 컨텐츠를 포함하는 혼합 현실 환경의 렌더링을 지원하는 헤드 마운트형 디스플레이(head mounted display; HMD) 디바이스에 의해 수행되는 방법에 있어서,
상기 HMD 디바이스의 유저와 인접한 물리적 환경 내에 포함되는 상기 실세계에서의 하나 이상의 오브젝트에 대한 센서 데이터를 획득하는 단계;
상기 센서 데이터로부터 상기 하나 이상의 오브젝트에 대한 지오메트리(geometry)를 재구성하는 단계;
상기 재구성된 지오메트리를 사용하여, 상기 혼합 현실 환경에 포함시키기 위한 상기 실세계의 영역을 마스킹하는 단계로서, 마스킹된 영역은 상기 가상 세계로부터의 어떠한 홀로그래픽 컨텐츠도 포함하지 않는 것인, 상기 실세계의 영역을 마스킹하는 단계; 및
상기 HMD 디바이스의 디스플레이 상에 상기 실세계의 상기 마스킹된 영역 및 상기 가상 세계의 일부를 포함하는 상기 혼합 현실 환경을 표시하는 단계
를 포함하는, 헤드 마운트형 디스플레이(HMD) 디바이스에 의해 수행되는 방법.
제1항에 있어서,
상기 센서 데이터는 깊이 데이터를 포함하고,
깊이 센서를 사용하여 상기 센서 데이터를 생성하는 단계 및 상기 지오메트리를 재구성하기 위해 표면 재구성 기술을 적용하는 단계를 더 포함하는, 헤드 마운트형 디스플레이(HMD) 디바이스에 의해 수행되는 방법.
제1항에 있어서,
입체 이미징으로부터의 깊이 분석(depth-from-stereo imaging analysis)을 사용하여 깊이 데이터를 생성하는 단계를 더 포함하는, 헤드 마운트형 디스플레이(HMD) 디바이스에 의해 수행되는 방법.
제1항에 있어서,
현재 시야를 결정하기 위해 상기 물리적 환경의 재구성된 지오메트리를 사용하여 상기 물리적 환경에서의 상기 유저의 머리를 추적하는 단계를 더 포함하는, 헤드 마운트형 디스플레이(HMD) 디바이스에 의해 수행되는 방법.
제4항에 있어서,
상기 현재 시야에 응답하여 동적인 방식으로 상기 표시를 수행하는 단계를 더 포함하는, 헤드 마운트형 디스플레이(HMD) 디바이스에 의해 수행되는 방법.
제1항에 있어서,
상기 마스킹된 영역 내에 포함되는 상기 실세계의 오브젝트를 선택하기 위한 제어부를 상기 유저에게 노출시키는 단계를 더 포함하는, 헤드 마운트형 디스플레이(HMD) 디바이스에 의해 수행되는 방법.
제1항에 있어서,
상기 HMD 디바이스가 상기 홀로그래픽 지오메트리의 앞 또는 상기 홀로그래픽 지오메트리의 뒤 중 어느 하나에서 홀로그래픽 컨텐츠가 상기 디스플레이 상에 렌더링되는 것을 방지하는 홀로그래픽 지오메트리를 생성하기 위해 상기 재구성된 지오메트리를 사용하는 단계를 더 포함하는, 헤드 마운트형 디스플레이(HMD) 디바이스에 의해 수행되는 방법.
제1항에 있어서,
마스킹될 상기 실세계의 영역을 선택하기 위한 제어부를 상기 유저에게 제공하는 단계를 더 포함하는, 헤드 마운트형 디스플레이(HMD) 디바이스에 의해 수행되는 방법.
제1항에 있어서,
마스킹에 대해 선택가능한 실세계 오브젝트를 상기 유저에게 식별시키기 위해, 상기 재구성된 지오메트리를 사용하는 단계를 더 포함하는, 헤드 마운트형 디스플레이(HMD) 디바이스에 의해 수행되는 방법.
제1항에 있어서,
상기 실세계의 상기 마스킹된 영역은, 상기 가상 세계 컨텐츠와 디커플링되도록 또는 상호작용하지 않도록 구성되는, 헤드 마운트형 디스플레이(HMD) 디바이스에 의해 수행되는 방법.
물리적 환경에서 유저에 의해 조작가능한 헤드 마운트형 디스플레이(HMD) 디바이스에 있어서,
하나 이상의 프로세서;
상기 유저에게 가상 현실 환경이 렌더링되는 영역을 구비하는 씨쓰루 디스플레이로서, 상기 렌더링된 가상 현실 환경의 시야는 상기 물리적 환경에서의 상기 유저의 머리의 포즈에 적어도 부분적으로 의존하여 변할 수 있는 것인, 상기 씨스루 디스플레이;
센서 패키지; 및
컴퓨터 판독가능 명령어를 저장하는 하나 이상의 메모리 디바이스
를 포함하고,
상기 컴퓨터 판독가능 명령어는, 상기 하나 이상의 프로세서에 의한 실행시,
상기 센서 패키지를 사용하여 상기 물리적 환경의 적어도 일부에 대한 표면 재구성 데이터를 생성하는 단계,
상기 물리적 환경의 선택된 부분이 상기 씨쓰루 디스플레이 상에서 여전히 보이도록 마스킹되고 가상 현실 컨텐츠가 상기 마스킹된 부분에 렌더링되는 것이 방지되는 홀로그래픽 지오메트리를 생성하기 위해 상기 표면 재구성 데이터를 사용하는 단계, 및
상기 씨쓰루 디스플레이의 시야 내에 상기 실세계의 상기 선택된 부분 및 상기 가상 현실 환경을 나타낼 때 상기 홀로그래픽 지오메트리를 사용하도록 상기 HMD 디바이스를 동작시키는 단계
를 포함하는 방법을 수행하는, 헤드 마운트형 디스플레이(HMD) 디바이스.
제11항에 있어서,
상기 홀로그래픽 지오메트리를 생성할 때 상기 물리적 환경에서의 실세계 오브젝트의 에지 또는 표면을 검출하기 위해 상기 표면 재구성 데이터를 사용하는 것을 더 포함하는, 헤드 마운트형 디스플레이(HMD) 디바이스.
제11항에 있어서,
상기 유저의 머리 포지션을 추적하기 위해 상기 표면 재구성 데이터를 사용하는 단계 및 상기 홀로그래픽 지오메트리를 유지하는 동안 상기 머리 포지션에 기초하여 상기 시야를 조정하는 것을 더 포함하는, 헤드 마운트형 디스플레이(HMD) 디바이스.
제11항에 있어서,
통합되는 다수의 중첩 표면을 생성하는 체적법(volumetric method)을 구현하는 표면 재구성 데이터 파이프라인을 사용하여 상기 물리적 환경을 모델링하는 것을 더 포함하는, 헤드 마운트형 디스플레이(HMD) 디바이스.
제11항에 있어서,
특수 홀로그래픽 컨텐츠를 마스킹된 부분에 렌더링하는 것을 더 포함하고, 상기 특수 홀로그래픽 컨텐츠는 우선순위, 중요도, 또는 긴급성 중 하나 이상을 특징으로 하는, 헤드 마운트형 디스플레이(HMD) 디바이스.