KR20170122215A

KR20170122215A - 가상 현실 시스템을 위한 스파스 프로젝션

Info

Publication number: KR20170122215A
Application number: KR1020177026280A
Authority: KR
Inventors: 도브 캐츠; 팔머 프리맨 럭키; 샘 레드몬드 다미코; 에반 엠. 리처즈; 시저 쉔; 제니퍼 리 돌슨
Original assignee: 아큘러스 브이알, 엘엘씨
Priority date: 2015-03-04
Filing date: 2016-03-04
Publication date: 2017-11-03
Also published as: JP6581203B2; US20160259168A1; KR102054695B1; EP3114528A1; EP3114528A4; JP2018517187A; WO2016141263A1; CN107533225B; US10073263B2; CN107533225A; EP3114528B1

Abstract

가상 현실(VR)은 하나 이상의 회절 광학 요소를 사용하여 복수의 클러스터를 생성하도록 구성된 스파스 프로젝션 시스템을 포함한다. 각 생성된 클러스터는 로컬 영역의 가상 매핑의 고유 위치에 대응하는 고유 구성을 가진다. 스파스 프로젝션 시스템은 생성된 클러스터를 로컬 영역에 걸쳐 투영한다. VR 콘솔은 이미징 장치로부터 로컬 영역의 일련의 이미지를 수신하고, 적어도 하나의 이미지는 적어도 하나의 클러스터를 포함한다. VR 콘솔은 일련의 이미지에 포함된 적어도 하나의 클러스터의 구성에 적어도 부분적으로 기반하여 로컬 영역의 가상 매핑 내의 VR 헤드셋 위치를 결정한다. 컨텐츠는 VR 헤드셋의 결정된 위치에 적어도 부분적으로 기반하여 생성되고 표시되기 위해 VR 헤드셋에 제공된다.

Description

가상 현실 시스템을 위한 스파스 프로젝션

본 명세서는 일반적으로 가상 현실 시스템에 관한 것이며, 보다 구체적으로 가상 현실 시스템을 위한 투영 시스템에 관한 것이다.

본 발명의 내용 중에 포함되어 있다.

가상 현실(VR) 시스템은 사용자가 착용하는 VR 헤드셋의 위치와 움직임을 결정하기 위한 컴포넌트를 포함한다. 종래의 VR 시스템은 VR 헤드셋의 위치를 추적하기 위하여 VR 시스템이 사용하는 광을 방출하는 능동 장치(예컨대, 발광 다이오드)를 통해 VR 헤드셋의 위치와 움직임을 결정한다. 하지만, VR 헤드셋의 위치와 움직임을 추적하기 위하여 능동 컴포넌트를 사용하는 것은 VR 헤드셋의 설계와 제조의 복잡성을 증가시킨다.

가상 현실(VR) 시스템은 이미징 장치, 스파스 프로젝션(sparse projection) 시스템 및 VR 콘솔을 포함한다. 스파스 프로젝션 시스템은 하나 이상의 회절 광학 요소를 사용하는 복수의 클러스터를 생성하고 스파스 프로젝션 시스템을 포함하는 로컬 영역 전체에 걸쳐 클러스터를 투영한다. 각 클러스터는 스파스 프로젝션 시스템을 포함하는 로컬 영역의 가상 매핑의 고유 위치에 대응하는 고유 위치 구성을 가진다. VR 헤드셋은 적어도 하나의 클러스터를 포함하는 하나 이상의 이미지로 로컬 영역의 일부의 일련의 이미지를 캡처하도록 구성된 이미징 장치를 포함한다. 나아가, VR 헤드셋은 로컬 영역의 가상 매핑에 적어도 부분적으로 기반하여 컨텐츠를 출력하도록 구성된 전자 디스플레이를 포함한다. VR 콘솔은 VR 헤드셋의 이미징 장치로부터 일련의 이미지를 수신하고 일련의 이미지의 적어도 하나의 클러스터의 위치 구성에 적어도 부분적으로 기반하여 로컬 영역의 가상 매핑 내의 VR 헤드셋의 위치를 결정한다. 예를 들어, 로컬 영역의 가상 매핑 내의 VR 헤드셋의 결정된 위치에 적어도 부분적으로 기반하여, VR 콘솔은 전자 디스플레이에 의한 표시를 위해 VR 헤드셋에 제공되는 컨텐츠를 생성한다.

본 발명의 내용 중에 포함되어 있다.

도 1은 일실시예에 따른 가상 현실 시스템을 포함하는 시스템 환경의 블록도이다.
도 2는 일실시예에 따른 가상 현실 헤드셋의 와이어 다이어그램이다.
도 3은 일실시예에 따른 스파스 프로젝션 시스템에 의해 조명되는 로컬 영역의 예시이다.
도 4는 일실시예에 따른 프로젝션 조립체를 포함하는 스파스 프로젝터이다.
도 5는 일실시예에 따른 복수의 프로젝션 조립체를 포함하는 스파스 프로젝터의 블록도이다.
도면은 오로지 예시의 목적으로 본 명세서의 실시예들을 도시한다. 통상의 기술자는 이하의 설명으로부터 본 명세서에 도시되는 구조 및 방법의 대안적 실시예가 본 명세서에 기술되는 개시내용의 원리로부터 벗어나지 않고 이용되거나 그 이점이 권유될 수 있음을 쉽게 인식할 것이다.

시스템 개요

도 1은 VR 콘솔(110)이 동작하는 가상 현실(VR) 시스템 환경(100)의 블록도이다. 도 1에 도시된 시스템 환경(100)은 각각이 VR 콘솔(110)에 연결된 이미징 장치(135), 스파스 프로젝션 시스템(136) 및 VR 입력 인터페이스(140)를 포함하는 VR 헤드셋(105)을 포함한다. 도 1은 하나의 VR 헤드셋(105), 하나의 스파스 프로젝션 시스템(136) 및 하나의 VR 입력 인터페이스(140)를 포함하는 예시적인 시스템 환경(100)을 도시하는 한편, 다른 실시예에서 임의의 수의 이러한 컴포넌트들이 시스템 환경(100)에 포함될 수 있다. 예를 들어, 스파스 프로젝션 시스템(136)을 포함하는 로컬 영역에 복수의 클러스터를 투영하는 복수의 스파스 프로젝션 시스템(136)이 있을 수 있는데, VR 헤드셋(105) 및/또는 VR 입력 인터페이스(140)는 로컬 영역의 가상 매핑 내에서 그 자체를 지향시키는데 사용된다. 전술한 예에서, 각 VR 헤드셋(105), VR 입력 인터페이스(140), 스파스 프로젝션 시스템(136) 및 이미징 장치(135)는 VR 콘솔(110)과 통신한다. 대안적 구성으로, 상이한 컴포넌트 및/또는 추가 컴포넌트가 시스템 환경(100)에 포함될 수 있다.

스파스 프로젝션 시스템(136)은 스파스 프로젝션 시스템(136)을 포함하는 로컬 영역 전체에 걸쳐 복수의 클러스터를 생성하고 투영하는 하나 이상의 스파스 프로젝터를 포함한다. 일부 실시예에서, 스파스 프로젝션 시스템(136)은 특정 대역(예컨대, 광의 파장의 범위)에서 간섭광을 방출하는 하나 이상의 광원을 포함한다. 스파스 프로젝션 시스템(136)의 하나 이상의 광원이 방출하는 광의 대역의 예시는 가시 대역(~380nm 내지 750nm), 적외선(IR) 대역(~750nm 내지 1mm), 자외선 대역(10nm 내지 380nm), 전자기 스펙트럼의 다른 부분 또는 그 일부 조합을 포함한다. 예를 들어, 스파스 프로젝션 시스템(136)의 광원은 IR 대역의 광을 생성하는 레이저이다. 복수의 클러스터를 생성하기 위하여, 하나 이상의 회절 광학 요소가 스파스 프로젝션 시스템(136)의 하나 이상의 광원에 의해 조명된다. 생성된 복수의 클러스터는 그 후 스파스 프로젝션 시스템(136)에 의해 로컬 영역으로 투영된다. 스파스 프로젝션 시스템(136)은 도 4 및 5와 관련하여 보다 자세히 후술된다.

클러스터는 스파스 프로젝션 시스템(136)을 포함하는 로컬 영역의 가상 매핑의 고유 위치에 대응하는 조명되는 영역의 고유 패턴 또는 구성이다. 따라서, 상이한 클러스터는 로컬 영역의 가상 매핑의 상이한 위치와 연관되는데, 스파스 프로젝션 시스템(136)이 클러스터를 투영하는 실제 세계 환경이다. 예를 들어, 로컬 영역은 방 안의 하나 이상의 표면에 클러스터를 투영하는 스파스 프로젝션 시스템(136)을 둘러싸는 방의 내부이다. 각 클러스터는 고유 위치 구성을 가지는 다양한 조명되는 영역을 가지는데, 클러스터의 공간적 구성과 클러스터의 반사 타입을 설명한다. 클러스터의 공간적 구성은 클러스터 내의 조명되는 영역의 수와 배열을 설명하고, 반사 타입은 클러스터 생성에 사용되는 광의 대역(예컨대, 광의 파장의 범위)을 명시한다. 두 클러스터는 동일한 고유 위치 구성을 가지지 않는다. 예를 들어, 각 클러스터는 상이한 공간적 구성을 가지지만, 공통의 반사 타입을 가진다. 대안적으로, 복수의 클러스터는 동일한 공간적 구성을 가질 수 있지만 상이한 반사 타입을 가진다.

VR 헤드셋(105)은 컨텐츠를 사용자에게 표시하는 헤드 마운트 디스플레이이다. VR 헤드셋(105)이 표시하는 컨텐츠의 예시는 이미지, 비디오, 오디오 또는 그 일부 조합 중 하나 이상을 포함한다. 일부 실시예로, 오디오는 VR 헤드셋(105), VR 콘솔(110) 또는 둘 모두로부터 오디오 정보를 수신하고 오디오 정보에 기반하여 오디오 데이터를 제시하는 외부 장치(예컨대, 스피커 및/또는 헤드폰)를 통해 제시된다. VR 헤드셋(105)의 실시예가 도 2와 함께 아래에서 더 기술된다. VR 헤드셋(105)은 서로 함께 강성으로 또는 비-강성으로 결합될 수 있는 하나 이상의 강체를 포함할 수 있다. 강체 사이의 강성 결합은 결합된 강체가 단일 강성 엔티티로 역할을 하도록 한다. 대조적으로, 강체 사이의 비-강성 결합은 강체가 서로에 상대적으로 이동할 수 있게 한다. 일부 실시예에서, VR 헤드셋(105)은 증간 현실(AR) 헤드셋 및/또는 혼합 현실(MR) 헤드셋으로 동작할 수 있다. 이들 실시예에서, VR 헤드셋(105)은 물리적, 실제 세계 환경의 뷰를 컴퓨터 생성된 컨텐츠(예컨대, 이미지, 비디오, 사운드 등)로 증강한다.

일부 실시예에서, VR 헤드셋(105)은 전자 디스플레이(115), 광학 블록(118), 하나 이상의 위치 센서(125), 관성 측정 유닛(IMU)(130) 및 이미징 장치(135)를 포함한다. 전자 디스플레이(115)는 VR 콘솔(110)로부터 수신된 데이터에 따라 이미지를 사용자에게 디스플레이한다. 다양한 실시예로, 전자 디스플레이(115)는 단일 전자 디스플레이 또는 다수의 전자 디스플레이(예컨대, 사용자의 각 눈을 위한 디스플레이)를 포함할 수 있다. 전자 디스플레이(115)의 예시는: 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 액티브 매트릭스 유가 발광 다이오드 디스플레이(AMOLED), 임의의 다른 디스플레이, 또는 이들의 임의의 조합을 포함한다.

광학 블록(118)은 수신된 광을 확대하고, 광과 연관된 광학 오차를 보정하고, 보정된 이미지 광을 VR 헤드셋(105)의 사용자에게 제시한다. 다양한 실시 예에서, 광학 블록(118)은 하나 이상의 광학 요소를 포함한다. 광학 블록(118)에 포함된 예시적인 광학 요소는: 조리개(aperture), 프레넬 렌즈, 볼록 렌즈, 오목 렌즈, 필터, 또는 이미지 광에 영향을 주는 임의의 다른 적절한 광학 요소를 포함한다. 또한, 광학 블록(118)은 상이한 광학 요소들의 조합을 포함 할 수 있다. 일부 실시예로, 광학 블록(118) 내의 하나 이상의 광학 요소는 하나 이상의 코팅, 가령 반사방지 코팅을 가질 수 있다.

광학 블록(118)에 의한 이미지 광의 확대는 전자 디스플레이(115)가 더 큰 디스플레이보다 물리적으로 더 작고, 무게가 덜 나가고, 더 적은 전력을 소비하도록 허용한다. 추가로, 확대는 전자 디스플레이(115)가 제시하는 컨텐츠의 시야각을 증가시킬 수 있다. 예컨대, 디스플레이되는 컨텐츠의 시야는 사용자의 시야의 거의 전부, 그리고 일부의 경우 전부를 사용하여(예컨대, 110도의 대각선으로) 제시되도록 한다. 일부 실시예에서 확대의 양은 광학 요소의 추가 또는 제거에 의해 조정될 수 있다.

광학 블록(118)은 하나 이상의 타입의 광학 오차를 보정하도록 설계될 수 있다. 광학 오차의 예시는: 2차원 광학 오차, 3차원 광학 오차, 또는 이들의 임의의 조합을 포함한다. 2차원 오차는 2차원에서 발생하는 광학 수차(aberration)이다. 2차원 오차의 예시적인 타입은: 배럴 왜곡, 핀쿠션 왜곡, 축방향 색수차(chromatic aberration), 횡방향 색수차, 또는 2차원 광학 오차의 임의의 다른 타입을 포함한다. 3차원 오차는 3차원에서 발생하는 광학 오차이다. 3차원 오차의 예시적인 타입은 구면 수차, 코마 수차(comatic aberration), 필드 만곡, 비점 수차, 또는 임의의 다른 타입의 3차원 광학 오차를 포함한다. 일부 실시예로, 디스플레이를 위해 전자 디스플레이(115)로 제공되는 컨텐츠는 사전 왜곡되어, 광학 블록(118)은, 컨텐츠에 기반하여 생성된 전자 디스플레이(115)로부터의 이미지 광을 수신할 때 왜곡을 보정한다.

IMU(130)는 하나 이상의 위치 센서(125)로부터 수신된 측정 신호에 기반하여 VR 헤드셋(105)의 초기 위치에 대해 상대적으로 추정되는 VR 헤드셋(105)의 위치를 표시하는 고속 캘리브레이션 데이터를 생성하는 전자 장치이다. 위치 센서(125)는 VR 헤드셋(105)의 움직임에 응답하여 하나 이상의 측정 신호를 생성한다. 위치 센서(125)의 예시는: 하나 이상의 가속도계, 하나 이상의 자이로스코프, 하나 이상의 자력계, 움직임을 감지하는 다른 적절한 타입의 센서, IMU(130)의 오차 보정에 사용되는 센서 타입, 또는 이들의 임의의 조합을 포함한다. 위치 센서(125)는 IMU(130)의 외부, IMU(130)의 내부, 또는 이들의 임의의 조합에 위치할 수 있다.

하나 이상의 위치 센서(125)에 의해 생성된 하나 이상의 측정 신호에 기반하여, IMU(130)는 VR 헤드셋(105)의 초기 위치에 상대적인 VR 헤드셋(105)의 추정 위치를 표시하는 고속 캘리브레이션 데이터를 생성한다. 예컨대, 위치 센서(125)는 병진 운동(전/후, 상/하, 좌/우)을 측정하는 다수의 가속도계 및 회전 운동(예컨대, 피치, 요우(yaw), 롤(roll))을 측정하는 다수의 자이로스코프를 포함한다. 일부 실시예로, IMU(130)는 다양한 위치 센서(125)로부터 측정 신호를 빠르게 샘플링하고 샘플링된 데이터로부터 VR 헤드셋(105)의 추정 위치를 계산한다. 예컨대, IMU(130)는 속도 벡터를 추정하기 위해 하나 이상의 가속도계로부터 수신된 측정 신호를 시간에 대해 적분하고, VR 헤드셋(105) 상의 기준점의 추정 위치를 결정하기 위해 속도 벡터를 시간에 대해 적분한다. 대안으로, IMU(130)는 고속 캘리브레이션 데이터를 결정하는 VR 콘솔(110)로 샘플링된 측정 신호를 제공한다. 기준점은 VR 헤드셋(105)의 위치를 기술하는데 사용될 수 있는 포인트이다. 기준점은 일반적으로 공간에서의 한 지점으로 정의될 수 있고, 실제로는, 기준점은 VR 헤드셋(105) 내의 지점(예를 들어, IMU(130)의 중심)으로 정의된다.

IMU(130)는 VR 콘솔(110)로부터 하나 이상의 캘리브레이션 파라미터를 수신한다. 아래에서 추가로 논의되는 바와 같이, 하나 이상의 캘리브레이션 파라미터는 VR 헤드셋(105)의 추적을 관리하는데 사용된다. 수신된 캘리브레이션 파라미터에 기반하여, IMU(130)는 하나 이상의 IMU 파라미터(예컨대, 샘플링 속도)를 조정할 수 있다. 일부 실시예로, 특정 캘리브레이션 파라미터는 IMU(130)로 하여금 기준점의 초기 위치를 업데이트하도록 하여서 기준점의 초기 위치가 기준점의 다음 캘리브레이션된 위치에 대응하도록 한다. 기준점의 다음 캘리브레이션된 위치로 기준점의 초기 위치를 업데이트하는 것은 결정된 추정 위치와 연관되는 누적 오차를 감소시키는데 도움을 준다. 드리프트 오차로도 지칭되는 누적 오차는 기준점의 추정 위치가 시간에 걸쳐 기준점의 실제 위치로부터 멀리 "표류(drift)"하도록 야기한다.

이미징 장치(135)는 적어도 하나의 클러스터를 포함하는 적어도 하나의 세트의 캡처된 이미지로 VR 헤드셋(105)을 포함하는 로컬 영역의 하나 이상의 이미지를 캡처한다. 다양한 실시예에서, 이미징 장치(135)는 하나 이상의 카메라, 하나 이상의 비디오 카메라, 클러스터의 이미지를 캡쳐할 수 있는 임의의 다른 장치, 또는 이들의 일부의 조합을 포함할 수 있다. 추가로, 이미징 장치(135)는 (예컨대, 신호 대 노이즈 비율을 증가시키기 위한) 하나 이상의 필터를 포함할 수 있다. 이미징 장치(135)는 이미징 장치(135)의 시야 내의 클러스터를 감지하도록 구성된다. 다양한 실시예에서, 이미징 장치(135)가 캡처한 이미지는 이미징 장치(135)로부터 VR 콘솔(110)로 통신되는 저속 캘리브레이션 데이터이다. 이미징 장치(135)는 로컬 영역의 이미지를 캡처하기 위해 하나 이상의 이미징 파라미터(예컨대, 초점 길이, 초점, 프레임 속도, ISO, 센서 온도, 셔터 속도, 개구 등)를 조정하기 위해 VR 콘솔(110)로부터 하나 이상의 캘리브레이션 파라미터를 수신한다. 대안적 실시예에서, 이미징 장치(135)는 VR 헤드셋(105)와 분리된다.

VR 입력 인터페이스(140)는 VR 콘솔(110)로 행위 요청을 사용자가 전송하도록 허용하는 장치이다. 행위 요청은 특정 행위를 수행하기 위한 요청이다. 예컨대, 행위 요청은 애플리케이션을 시작하거나 애플리케이션을 종료하거나 애플리케이션 내의 특정 행위를 수행하는 것일 수 있다. VR 입력 인터페이스(140)는 하나 이상의 입력 장치를 포함 할 수 있다. 예시적인 입력 장치는: 키보드, 마우스, 게임 컨트롤러, 조이스틱, 요크(yoke), 행위 요청을 수신하고 수신된 행위 요청을 VR 콘솔(110)로 통신하기 위한 임의의 다른 적절한 장치를 포함한다. VR 입력 인터페이스(140)에 의해 수신된 행위 요청은 행위 요청에 대응하는 행위를 수행하는 VR 콘솔(110)로 통신된다. 일부 실시예에서, VR 입력 인터페이스(140)는 하나 이상의 클러스터의 이미지를 캡처하고 VR 콘솔(110)에 이미지를 제공하는 이미징 장치(135)도 포함할 수 있다.

VR 입력 인터페이스(140)는 VR 입력 인터페이스(140)의 초기 위치에 대한 VR 입력 인터페이스(140)의 추정 위치를 가리키는 고속 캘리브레이션 데이터를 캡처하고 고속 캘리브레이션 데이터를 VR 콘솔(110)에 제공하는 관성 측정 유닛(130)도 포함할 수 있다. IMU(130)는 VR 콘솔(110)로부터 하나 이상의 캘리브레이션 파라미터를 수신한다. 아래에서 추가로 논의되는 바와 같이, 하나 이상의 캘리브레이션 파라미터는 VR 인터페이스(140)의 추적을 관리하는데 사용된다.

일부 실시예에서, VR 입력 인터페이스(140)는 VR 콘솔(110)로부터 수신된 명령에 따라 햅틱 피드백을 사용자에게 제공할 수 있다. 예를 들어, 햅틱 피드백은 동작 요청이 수신될 때 사용자에게 제공된다. 다른 예에서, VR 콘솔(110)이 행위를 수행할 때 VR 입력 인터페이스(140)가 햅틱 피드백을 생성하도록 야기하는 명령어를 VR 입력 인터페이스(140)로 통신할 때 VR 입력 인터페이스(140)는 햅틱 피드백을 사용자에게 제공한다.

VR 콘솔(110)은 이미징 장치(135), VR 헤드셋(105) 및 VR 입력 인터페이스(140) 중 하나 이상으로부터 수신한 정보에 따라 사용자에게 표시하기 위해 VR 헤드셋에 컨텐츠를 제공할 수 있다. 도 1에 도시된 예시에서, VR 콘솔(110)은 애플리케이션 스토어(145), 특징 데이터베이스(147), 매핑 모듈(148), 추적 모듈(150), 및 가상 현실(VR) 엔진(155)을 포함한다. VR 콘솔(110)의 일부 실시예는 도 1과 함께 기술된 것들과는 상이한 컴포넌트를 가진다. 유사하게, 이하에서 추가로 기술되는 기능은 다양한 실시예에 기술되는 것과는 상이한 방식으로 VR 콘솔(110)의 컴포넌트들 사이에 분산될 수 있다.

애플리케이션 스토어(145)는 VR 콘솔(110)에 의한 실행을 위한 하나 이상의 애플리케이션을 저장한다. 애플리케이션은, 프로세서에 의해 실행시 사용자에게 제시하기 위한 컨텐츠를 생성하는 명령어들의 그룹이다. 애플리케이션에 의해 생성된 컨텐츠는 VR 헤드셋(105) 또는 VR 인터페이스 장치(140)의 움직임을 통해 사용자로부터 수신된 입력에 응답할 수 있다. 애플리케이션의 예시는: 게임 애플리케이션, 컨퍼런스 애플리케이션, 비디오 재생 애플리케이션, 또는 다른 적절한 애플리케이션을 포함한다.

특징 데이터베이스(147)는 로컬 영역의 가상 매핑의 대응하는 클러스터에 대한 크로스 비율의 매핑을 저장한다. 클러스터의 크로스 비율은 클러스터 내 다양한 조명되는 영역 간의 거리에 기반한다. 예를 들어, 클러스터의 크로스 비율은 클러스터 내 동일 평면 조명되는 영역 쌍 사이의 거리로부터 결정된다. 구체적인 예시로, 클러스터에 대하여, 제1 조명되는 영역과 제2 조명되는 영역간 거리와 제3 조명되는 영역과 제4 조명되는 영역간 거리의 곱뿐만 아니라 제1 조명되는 영역과 제4 조명되는 영역간의 거리와 제3 조명되는 영역과 제2 조명되는 영역간 거리의 추가 곱이 결정된다. 클러스터의 크로스 비율은 추가 곱에 대한 곱의 비율로 결정되고, 크로스 비율은 특징 데이터베이스(147)에 클러스터와 연관된 클러스터 식별자와 연관되어 저장된다. 나아가, 일부 실시예에서, 크로스 비율은 반사 타입(예컨대, IR의 특정 대역)과도 연관된다. 따라서, 일부 실시예에서, 크로스 비율과 추가 크로스 비율은 동일한 공간적 구성을 가지지만, 상이한 반사 타입을 가지고, 따라서 크로스 비율과 추가 크로스 비욜은 로컬 영역의 상이한 영역에 매핑된다. 로컬 영역의 가상 매핑의 각 클러스터는 클러스터 식별자에 의해 고유하게 식별된다. 따라서, 특징 데이터베이스(147)는 다양한 클러스터 식별자와 그 각각의 크로스 비율 간의 매핑을 저장한다.

매핑 모듈(148)은 VR 헤드셋(105) 또는 VR 입력 인터페이스(140)에서 수신한 투영된 클러스터의 이미지에 기반하여 로컬 영역의 가상 매핑을 생성한다. 나아가, 매핑 모듈(148)은 스파스 프로젝션 시스템(136) 및 VR 헤드셋(105)에 대해 로컬 영역의 각 클러스터의 위치를 결정한다. 예를 들어, 매핑 모듈(148)은 VR 헤드셋(105)으로부터의 저속 캘리브레이션 정보(예컨대, 로컬 영역의 일부의 이미지)를 사용하여 이미징된 클러스터로부터 VR 헤드셋(105)으로의 거리를 계산한다. VR 헤드셋(105)으로부터 수신한 정보와 스파스 프로젝션 시스템(136)으로부터의 클러스터 정보로부터, 매핑 모듈(148)은 상이한 클러스터와 연관된 클러스터 식별자를 통해 로컬 영역을 오버레이하는 가상 공간의 특정 위치에 각 클러스터를 할당함으로써 가상 매핑을 생성한다.

추적 모듈(150)은 하나 이상의 캘리브레이션 파라미터를 사용하여 시스템 환경(100)을 캘리브레이션하고, VR 헤드셋(105)의 위치의 결정에서의 오차를 감소시키기 위해 하나 이상의 캘리브레이션 파라미터를 조정할 수 있다. 예컨대, 추적 모듈(150)은 관측된 클러스터에 대한 더 정확한 위치를 획득하기 위해 이미징 장치(135)의 초점을 조정한다. 게다가, 추적 모듈(150)이 수행하는 캘리브레이션도 VR 헤드셋(105)이나 VR 입력 인터페이스(140)의 IMU(130)로부터 수신한 정보를 고려한다. 추가로, VR 헤드셋(105) 또는 VR 입력 인터페이스(140)의 추적이 손실된다면(예컨대, 이미징 장치(135)가 적어도 임계 수의 클러스터에 대한 시야를 손실한다면), 추적 모듈(150)은 시스템 환경(100)의 일부 또는 전부를 다시 캘리브레이션한다.

추적 모듈(150)은 하나 이상의 이미징 장치(135)로부터 저속 캘리브레이션 정보를 사용하여 VR 헤드셋(105) 또는 VR 입력 인터페이스(140)의 움직임을 추적한다. 예컨대, 추적 모듈(150)은 저속 캘리브레이션 정보와 특징 데이터베이스(147)로부터 적어도 하나의 관측된 클러스터를 사용하여 가상 매핑의 VR 헤드셋(105)의 기준점의 위치를 결정한다. 예를 들어, 추적 모듈(150)은 관측된 클러스터의 크로스 비율을 결정하고 결정된 크로스 비율을 특징 데이터베이스(147)에 저장된 크로스 비율과 비교한다. 추적 모듈(150)은 특징 데이터베이스(147)로부터 결정된 크로스 비율과 매칭되는 크로스 비율과 연관된 클러스터 식별자를 식별하고 그 후 매핑 모듈(148)로부터 식별된 클러스터 식별자에 대응하는 로컬 영역의 위치를 결정한다. VR 입력 인터페이스(140)가 이미징 장치(135)를 포함하는 실시예에서, 추적 모듈(150)은 VR 헤드셋(105)에 대해 상술한 것과 유사한 방식으로 VR 입력 인터페이스(140)의 위치를 결정한다.

추적 모듈(150)은 또한, 고속 캘리브레이션 정보로부터의 위치 정보를 사용하여 VR 헤드셋(105)의 기준점 또는 VR 입력 인터페이스(140)의 기준점의 위치를 결정할 수 있다. 추가로, 일부 실시예에서, 추적 모듈(150)은 고속 캘리브레이션 정보, 저속 캘리브레이션 정보, 또는 이들의 일부 조합의 부분들을 사용하여 헤드셋(105)의 미래의 위치 또는 VR 입력 인터페이스(140)의 미래의 위치를 예측할 수 있다. 추적 모듈(150)은 VR 헤드셋(105) 또는 VR 입력 인터페이스(140)의 추정 또는 예측된 미래 위치를 VR 엔진(155)으로 제공한다.

VR 엔진(155)은 시스템 환경(100) 내에서 애플리케이션을 실행하고, 추적 모듈(150)로부터 VR 헤드셋(105)의 위치 정보, 가속도 정보, 속도 정보, 예측된 미래 위치, 또는 이들의 임의의 조합을 수신한다. 수신된 정보에 기반하여, VR 엔진(155)은 사용자에게 제시하기 위해 VR 헤드셋(105)으로 제공하기 위한 컨텐츠를 결정한다. 컨텐츠는 하나 이상의 이미지, 가상 객체, 오디오 정보, 또는 이들의 임의의 조합을 포함한다. 예컨대, 수신된 정보가 사용자가 좌측을 보았다고 표시한다면, VR 엔진(155)은 가상 현실에서 사용자의 움직임을 미러링하는 VR 헤드셋(105)을 위한 컨텐츠를 생성한다. 추가로, VR 엔진(155)은 VR 입력 인터페이스(140)로부터 수신된 행위 요청에 응답하여 VR 콘솔(110) 상에서 실행되는 애플리케이션 내에서 행위를 수행하고 행위가 수행되었다는 피드백을 사용자에게 제공한다. 제공된 피드백은 VR 헤드셋(105)을 통한 시각적 또는 청각적 피드백이거나 VR 입력 인터페이스(140)를 통한 햅틱 피드백일 수 있다.

도 2는 일실시예에 따른 가상 현실(VR) 헤드셋(200)의 와이어 다이어그램이다. VR 헤드셋(200)은 VR 헤드셋(105)의 일실시예이며, 전방 강체(205) 및 밴드(210)를 포함한다. 전방 강체(205)는 전자 디스플레이(115)(미도시)의 하나 이상의 전자 디스플레이 요소, IMU(130), 하나 이상의 위치 센서(125) 및 이미징 장치(135)를 포함한다. 일부 실시예에서, 이미징 장치(135)는 두 다른 카메라이고, 따라서 두 카메라가 생성하는 개별 이미지가 VR 헤드셋(200)으로부터 두 카메라에 의해 이미징되는 스파스 프로젝션 시스템(136)에 의해 투영되는 클러스터로의 거리를 결정하는데 사용된다. 대안적 실시예에서, 이미징 장치(135)는 이미징되는 스파스 프로젝션 시스템(136)에 의해 투영되는 클러스터로의 거리를 결정하기 위한 거리 파인더를 포함하는 포함하는 단일 카메라이다. 나아가, 대안적 실시예에서, 하나 이상의 이미징 장치는 VR 헤드셋(200)와 분리될 수 있다. 예를 들어, 하나 이상의 이미징 장치는 상이한 시점에서 VR 헤드셋(200)을 포함하는 로컬 영역을 보도록 구성될 수 있다.

도 3은 스파스 프로젝션 시스템(136)에 의한 로컬 영역(300)의 조명의 예시이다. 도 3의 예시에서, 로컬 영역(300)은 로컬 영역(300) 전체에 걸쳐 복수의 클러스터(340)를 생성하고 투영하는 스파스 프로젝터(310)를 포함한다. 도 1과 관련하여 상술한 바와 같이, 각 클러스터는 클러스터의 공간적 구성과 반사 타입을 설명하는 고유 위치 구성을 가진다. 예를 들어, 클러스터(340A)는 클러스터(340B)의 공간적 구성과는 상이한 공간적 구성을 가진다. 다른 예로서, 클러스터(340A) 및 클러스터(340B)는 공통의 공간적 구성을 가지지만 상이한 반사 타입을 가진다. 도 1과 관련하여 상술한 바와 같이, 각 클러스터가 로컬 영역(300)의 가상 매핑의 고유 위치에 대응하기 때문에, 이미지 캡처는 로컬 영역(300)의 가상 매핑 내에서 VR 헤드셋(105)의 위치의 식별을 가능하게 하는 단일 클러스터를 포함한다.

일부 경우에, 로컬 영역(300)은 하나 이상의 아이템(의자, 테이블, 소파, 사람 등)을 포함한다. 도 3의 예시에서, 로컬 영역(300)은 스파스 프로젝터(310)가 특정 클러스터를 투영하는 테이블(320)을 포함한다. 테이블(320)의 스파스 프로젝터(310)에 대한 위치는 스파스 프로젝터(310) 뒤에 클러스터(340)가 투영되지 않는 음영 영역(330)을 생성한다. 일부 실시예에서, 클러스터(340)를 음영 영역(330)에 투영하기 위하여, 하나 이상의 추가 스파스 프로젝터(310)가 로컬 영역(300) 내의 상이한 위치에 포함된다. 예를 들어, 도 3의 로컬 영역(300)의 테이블(320) 위의 천장에 부착된, 음영 영역(330)에 클러스터를 투영하는 제2 스파스 프로젝터를 포함하는 것은 VR 콘솔(110)이 로컬 영역(300)의 더 나은 가상 매핑을 생성할 수 있게 한다.

도 4는 프로젝션 조립체(410)를 포함하는 스파스 프로젝터(400)의 실시예의 블록도이다. 도 4에 도시된 실시예에서, 스파스 프로젝터(400)는 소스 조립체(405) 및 프로젝션 조립체(410)를 포함한다. 소스 조립체(405)는 프로젝션 조립체(410)로 지향되는 광의 간섭 빔(412)을 방출하도록 구성된 간섭광 소스이다. 소스 조립체(405)의 예시는 레이저 다이오드, 수직 캐비티 표면 방출 레이저, 튜닝가능 레이저 또는 간섭광을 방출하는 다른 광원을 포함한다. 다양한 실시예에서, 소스 조립체(405)는 IR 대역에서 광을 방출하지만, 다른 실시예에서, 소스 조립체(405)는 가시 대역, UV 대역 또는 임의의 다른 적절한 대역에서 광을 방출한다. 일부 실시예에서, 광의 빔(412)은 상대적으로 시준될 수 있다. 하지만, 다른 실시예에서, 소스 조립체(405)는 시준되지 않은 광의 빔(412)을 방출한다. 예를 들어, 소스 조립체(405)가 방출한 광은 분기 또는 수렴될 수 있다. 따라서, 일부 실시예에서, 소스 조립체(405)는 광원으로부터의 광을 광의 빔(412)으로 시준하는 시준기도 포함한다.

프로젝션 조립체(410)는 소스 조립체(405)로부터 방출된 광의 빔(412)을 수신하고 복수의 클러스터를 출력한다. 일실시예에서, 프로젝션 조립체(410)는 빔 확장기 조립체(420), 회절 광학 요소(430) 및 변환 조립체(440)를 포함한다. 하지만, 다른 실시예에서, 프로젝션 조립체(410)는 도 4에 도시된 것과 상이하거나 및/또는 추가적인 구성요소를 포함할 수 있다.

빔 확장기 조립체(420)는 소스 조립체(405)로부터 수신한 간섭광의 빔(412)을 확장하여 회절 광학 요소(430)를 완전히 조명하기 충분한 크기를 가지는 확장된 광의 빔(422)를 생성한다. 빔 확장기 조립체(420)는 갈릴레이(Galilean), 케플러(Keplarian) 또는 광의 빔(412)으로부터 회절 광학 요소(430)를 완전히 조명하는 확장된 광의 빔(422)을 생성하도록 구성된 다른 구조일 수 있다. 일부 실시예에서, 단일 회절 광학 요소(430)는 기판 상에 배치되어 간섭광의 빔(412)이 단일 회절 광학 요소(430)만을 조명할 수 있다. 다른 실시예에서, 기판은 각각이 상이한 세트의 클러스터에 대응하는 복수의 회절 광학 요소(430)를 포함하여, 간섭광의 빔(412)이 동시에 복수의 회절 광학 요소(430) 중 일부 또는 전부를 조명할 수 있다.

회절 광학 요소(430)는 로컬 영역에 투영하기 위한 복수의 클러스터의 2차원(2D) 퓨리에 변환이다. 다양한 실시예에서, 회절 광학 요소(430)는 퓨리에 변환 홀로그래피와 같은 컴퓨터 생성 홀로그래피를 사용하여 생성된 컴퓨터 생성 홀로그램이다. 일부 실시예에서, 컴퓨터 생성 홀로그램은 공간적 광 변조기(예컨대, 위상-변조 모드로 동작) 상에 제공된다. 대안적으로, 컴퓨터 생성 홀로그램은 광학 요소에 적용되는 필름이다. 컴퓨터 생성 홀로그래피는 디지털적으로 홀로그래피 간섭 패턴을 생성하고 생성된 패턴을 회절 광학 요소(430)와 같은 광학 요소에 적용한다. 다양한 방법이 복수의 클러스터의 2D 퓨리에 변환으로 회절 광학 요소(430)를 인코딩하는데 사용될 수 있는데, 그 예시는 본 명세서에 전체로 참조로서 통합되는: Brown, Byron R. ; Lohmann, Adolf W. , "Complex spatial filtering with binary masks,” Applied Optics (Optical Society of America) Volume 5, Number 6, June 1966; 및 J. J. Burch (1967); 및 “A Computer Algorithm for the Synthesis of Spatial Frequency Filters,” Proceedings of IEEE (IEEE) 55: 599-601; Burrchardt, C. B. , "A Simplification of Lee's Method of Generating Holograms by Computer," Applied Optics, Volume 9, Number 8, August 1970; Lee, Wai Hon, "Sampled Fourier Transform Hologram Generated by Computer," Applied Optics, Volume 9, Number 3, March 1970, Lohmann, A. W. , Paris, D. P. " Binary Fraunhofer Holograms, Generated by Computer," Applied Optics, Volume 6, Number 10, October 1967, Lohmann, A. W. , Sinzinger, S. "Graphic Codes for Computer Holography," Applied Optics, Volume 34, Number 17, June 1995에 서술된다. 도 4는 복수의 클러스터의 2D 퓨리에 변환인 회절 광학 요소(430)의 예시의 표현을 포함한다. 예시의 목적으로, 회절 광학 요소(430)의 인코딩의 더 잘 설명하기 위하여 회절 광학 요소(430)의 일부(440)가 확대된다. 회절 광학 요소(430)의 확대된 부분(440)에 도시된 수직 막대는 진폭과 위상 정보가 양자화된 단일 클러스터의 퓨리에 변환의 표현이고 회절 광학 요소(430)의 일부(440)에 인코딩된다.

회절 광학 요소(430)는 마스크보다 적은 광 전력을 약화시키는데, 파 필드에서 소정의 이미지의 역이다. 예를 들어, 파 필드에서 소정의 이미지는 하나 이상의 조명되는 영역을 포함하는 복수의 클러스터이고, 따라서 소정의 이미지를 위한 마스크는 조명되는 영역에 대응하는 위치에서 투명하고 다른 위치에서 불투명하다. 예를 들어, 도 4는 단일 클러스터에 대응하는 마스크(450)의 일부를 도시한다. 하지만, 실제로는, 마스크는 광의 상당 부분을 차단하는데, 광 전력의 큰 부분을 낭비한다. 도 4에 도시된 바와 같이, 회절 광학 요소(430)의 확장된 부분(440)은 마스크(450)의 일부보다 현저히 적은 광을 차단하고 또한 단일 클러스터에 대응한다. 따라서, 회절 광학 요소(430) 사용은 마스크의 사용에 비하여 클러스터(442)를 생성하는데 필요한 광 전력을 감소시킨다.

변환 조립체(440)는 회절 광학 요소(430)로부터 출력된 광(432)의 역 퓨리에 변환을 취하여 복수의 클러스터(442)를 생성하고, 복수의 클러스터(442)를 스파스 프로젝터(400)를 포함하는 로컬 영역에 투영한다. 예를 들어, 변환 조립체(440)는 변환 렌즈와 투영 컴포넌트를 포함한다. 변환 렌즈는 회절 광학 요소(430)로부터의 출력(432)의 2D 역 퓨리에 변환을 취하는 포지티브 렌즈이고 변환 렌즈의 후 초점면에서 파 필드에 나타날 때 복수의 클러스터(442)의 이미지를 출력한다. 상술한 바와 같이, 일부 실시예에서, 상이한 세트의 클러스터에 대응하는 복수의 회절 광학 요소(430)는 동시에 조명될 수 있고, 따라서 일부 경우에 변환 조립체(440)는 클러스터의 세트가 파 필드에 중첩되도록 한다.

변환 조립체(440)의 투영 컴포넌트는 큰 시야에 걸쳐(예컨대, ~반구) 클러스터(442)의 이미지를 로컬 영역에 투영한다. 다양한 실시예에서, 투영 컴포넌트는 큰 시야에 걸쳐 클러스터(442)를 투영하기 위해 클러스터(442)의 이미지에 상대적으로 위치된 하나 이상의 렌즈를 포함한다. 일부 실시예에서, 어안 광학요소가 사용되어 클러스터(442)가 투영되는 시야가 반구(예컨대, 180도)에 접근한다. 나아가, 일부 실시예에서, 하나 이상의 필터 및/또는 배플이 사용되어 클러스터(442)의 이미지의 저차 표현이 로컬 영역에 투영되는 것을 막을 수 있다.

도 5는 복수의 투영 조립체(510A, 510B 및 510C)를 포함하는 스파스 프로젝터(500)의 실시예의 블록도이다. 도 5에 도시된 예시에서, 스파스 프로젝터(500)는 소스 조립체(505)와 투영 조립체(510A, 510B 및 510C)를 포함한다. 소스 조립체(505)는 도 4와 관련하여 상술한 소스 조립체(405)와 실질적으로 유사하지만, 소스 조립체(505)는 단일 광의 빔 대신 빔의 광(515A, 515B, 515C)을 출력하도록 구성된다. 일부 실시예에서, 소스 조립체(505)에서 출력된 상이한 빔의 광(515A, 515B, 515C)은 동일한 파장 대역이다. 대안적으로, 소스 조립체(505)에서 출력된 상이한 빔의 광(515A, 515B, 515C)은 상이한 파장 대역이다.

투영 조립체(510A, 510B 및 510C)는 각각 도 4와 관련하여 상술한 프로젝션 조립체(410)와 실질적으로 유사하다. 일부 실시예에서, 투영 조립체(510A, 510B 및 510C) 각각은 상이한 회절 광학 요소를 포함하여, 각 투영 조립체(510A, 510B 및 510C)는 상이한 세트의 클러스터(542A, 542B 및 542C)를 출력한다. 나아가, 각 클러스터(542A, 542B 및 542C)의 세트 내의 각 클러스터는 고유하고, 따라서 특정 클러스터는 클러스터(542A, 542B 및 542C)의 세트에서 단일 시간에 나타난다. 대안적 실시예에서, 투영 조립체(510A, 510B 및 510C) 각각의 회절 광학 요소는 동일하지만, 각 투영 조립체(510A, 510B 및 510C)는 상이한 파장 대역을 사용하여 조명된다. 예를 들어, 광의 빔(515A)은 특정 파장 대역이고, 빔의 광(515B)은 상이한 파장 대역이고, 광의 빔(515C)은 또 다른 파장 대역이다. 따라서, 상이한 세트의 클러스터(542A, 542B 및 542C)의 클러스터는 동일한 공간적 구성을 가지지만, 상이한 반사 타입을 가질 수 있고, 따라서 클러스터(542A, 542B 및 542C)의 세트의 각 클러스터는 여전히 고유 위치 구성을 가진다.

복수의 투영 조립체(510A, 510B 및 510C)를 사용하는 것은 투영 조립체(510A, 510B 및 510C)의 각 시야(각각 ~60도) 내에서 클러스터(542A, 542B 및 542C)의 세트의 클러스터의 밀도의 증가를 가능하게 하는데, 주어진 세트의 클러스터(542A, 542B 및 542C)는 스파스 프로젝터(500)의 총 시야(예컨대, ~180도)에 걸쳐서 퍼지지 않기 때문이다. 반면, 도 4의 프로젝션 조립체(410)는 동일 시야(예컨대, ~180도)에 걸쳐 단일 세트의 클러스터(442)를 출력한다. 따라서, 클러스터(542A, 542B 및 542C)의 인접 클러스터 간의 거리는 더 작고, 로컬 영역의 더 정확한 가상 매핑을 가능하게 할 수 있다.

추가적인 구성 정보

본 명세서의 실시예들의 상술한 설명은 예시의 목적으로 제시된 것으로서, 배타적이거나 개시된 정확한 형태들로 본 명세서를 제한하고자 하는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 명세서로부터 다양한 수정 및 변형이 가능함을 인식할 수 있을 것이다.

본 명세서의 몇몇 부분들은 알고리즘 또는 정보에 대한 동작의 기호적 표현으로 본 명세서의 실시예들을 설명한다. 이러한 알고리즘적 설명이나 표현은 본 기술분야에서 통상의 지식을 가진 자들에게 효과적으로 그들의 작업의 실체를 전달하기 위하여 데이터 프로세싱 기술분야에서 통상의 지식을 가진 자에 의하여 공통적으로 사용되는 것이다. 기능적으로, 계산적으로 또는 논리적으로 설명되고 있는 이들 동작은 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로 코드 등에 의해 구현되는 것으로 이해된다. 또한, 종종 이러한 동작의 배열은 일반성의 손실 없이 모듈로 언급될 수 있는 것으로 확인된다. 설명된 동작 및 그와 관련된 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합으로 구현될 수 있을 것이다.

본 명세서에 기술된 임의의 단계들, 동작들 또는 프로세스들은 하나 이상의 하드웨어 또는 소프트웨어 모듈들에 의해 또는 이들과 다른 장치들의 결합에 의해 수행되거나 구현될 수 있다. 일실시예에서, 소프트웨어 모듈은 기술된 단계들, 동작들 또는 프로세스들 일부 또는 전부를 수행하기 위하여 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.

본 명세서의 실시예는 본 명세서의 동작을 수행하기 위한 장치에도 관련된다. 이 장치는 요청된 목적을 위하여 구체적으로 구성될 수 있고/있거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 이런 컴퓨터 프로그램은 비-일시적 유형의 컴퓨터 판독가능한 저장 매체나 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령어를 저장하기에 적절한 임의의 유형의 매체에 저장될 수 있다. 게다가, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가한 컴퓨팅 능력을 위해 다중 프로세서 설계를 채용한 구조일 수 있다.

본 명세서의 실시예는 본 명세서에 서술된 컴퓨팅 프로세스에 의해 생산된 제품에도 관련된다. 이런 제품은 컴퓨팅 프로세스의 결과로 생성된 정보를 포함할 수 있는데, 여기서 정보는 비-일시적인 유형의 컴퓨터 판독가능한 저장 매체에 저장되며, 본 명세서에 기술된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.

마지막으로, 본 명세서에 사용된 언어는 가독성과 지시의 목적으로 이론적으로 선택된 것으로 발명의 사상을 제한하거나 한정하기 위하여 선택된 것이 아니다. 따라서, 본 명세서의 범위는 발명의 상세한 설명에 의해서가 아니라 본 명세서를 기초로 출원된 임의의 청구범위들에 의해 한정되는 것으로 의도된다. 따라서, 실시예들에 관한 설명은 하기의 청구범위에서 제시되는 명세서의 범위의 예시가 되지만, 이에 제한되지는 않아야 한다.

Claims

스파스 프로젝션 시스템으로서:
하나 이상의 회절 광학 요소를 사용하여 복수의 클러스터를 생성하고; 및
로컬 영역에 걸쳐 생성된 클러스터를 투영하도록 구성된 스파스 프로젝션 시스템;
가상 현실(VR) 헤드셋으로서:
로컬 영역의 일부의 일련의 이미지를 캡처하도록 구성된 이미징 장치; 및
로컬 영역의 가상 매핑에 적어도 부분적으로 기반하여 비디오 정보를 출력하도록 구성된 전자 디스플레이를 포함하는 VR 헤드셋; 및
VR 콘솔로서:
프로세서; 및
프로세서에 연결되고 명령어를 포함하는 메모리를 포함하는 VR 콘솔을 포함하고,
각 클러스터는 로컬 영역의 가상 매핑의 고유 위치에 대응하는 고유 구성을 가지고,
적어도 하나의 이미지는 적어도 하나의 클러스터를 포함하고,
명령어는 프로세서에 의해 실행될 때, 프로세서로 하여금:
이미징 장치로부터 일련의 이미지를 수신하고;
적어도 하나의 클러스터의 구성에 적어도 부분적으로 기반하여 로컬 영역의 가상 매핑 내의 VR 헤드셋의 위치를 결정하고;
로컬 영역의 가상 매핑 내의 VR 헤드셋의 결정된 위치에 적어도 부분적으로 기반하여 컨텐츠를 생성하고; 및
전자 디스플레이에 의해 표시되기 위해 VR 헤드셋에 컨텐츠를 제공하도록 야기하는 시스템.
청구항 1에 있어서,
하나 이상의 회절 광학 요소 중 회절 광학 요소는 컴퓨터 생성된 홀로그램이고, 스파스 프로젝션 시스템은 회절 광학 요소로부터 출력된 광의 역 퓨리에 변환을 수행함으로써 복수의 클러스터를 생성하도록 구성되는 시스템.
청구항 1에 있어서,
주어진 클러스터에 대한 고유 구성은 주어진 클러스터 내의 조명되는 영역의 수와 배열을 설명하는 공간적 구성 및 주어진 클러스터를 생성하는데 사용되는 광의 대역을 명시하는 반사 타입의 조합인 시스템.
청구항 3에 있어서,
스파스 프로젝션 시스템은:
광의 빔 및 추가 광의 빔을 생성하도록 구성된 소스 조립체;
프로젝션 조립체로서:
하나 이상의 회절 광학 요소 중 회절 광학 요소 및 광의 빔을 사용하여 복수의 클러스터 중 클러스터의 세트를 생성하고; 및
로컬 영역의 일부에 걸쳐 생성된 클러스터의 세트를 투영하도록 구성된 프로젝션 조립체; 및
제2 프로젝션 조립체로서:
하나 이상의 회절 광학 요소 중 추가 회절 광학 요소 및 추가 광의 빔을 사용하여 복수의 클러스터 중 클러스터의 추가 세트를 생성하고; 및
로컬 영역의 추가 일부에 걸쳐 생성된 클러스터의 추가 세트를 투영하도록 구성된 제2 프로젝션 조립체를 포함하는 시스템.
청구항 4에 있어서,
광의 빔 및 추가 광의 빔은 상이한 파장을 가져 클러스터의 세트와 연관된 반사 타입이 클러스터의 추가 세트와 연관된 반사 타입과 상이한 시스템.
청구항 5에 있어서,
회절 광학 요소 및 추가 회절 광학 요소는 클러스터의 제1 세트에 대한 공간적 구성이 클러스터의 추가 세트에 대한 공간적 구성과 동일하도록 구성되는 시스템.
청구항 4에 있어서,
광의 빔 및 추가 광의 빔은 클러스터의 세트와 연관된 반사 타입이 클러스터의 추가 세트와 연관된 반사 타입과 동일하도록 구성되는 시스템.
청구항 7에 있어서,
회절 광학 요소 및 추가 회절 광학 요소는 상이하여, 클러스터의 세트에 대한 공간적 구성이 클러스터의 추가 세트에 대한 공간적 구성과 상이한 시스템.
스파스 프로젝션 시스템으로서:
하나 이상의 광의 빔을 생성하도록 구성된 소스 조립체; 및
프로젝션 조립체로서:
회절 광학 요소 및 하나 이상의 광의 빔 중 광의 빔을 사용하여 복수의 클러스터를 생성하고; 및
로컬 영역에 걸쳐 생성된 클러스터를 투영하도록 구성된 프로젝션 조립체를 포함하는 스파스 프로젝션 시스템;
가상 현실(VR) 헤드셋으로서:
로컬 영역의 일부의 일련의 이미지를 캡처하도록 구성된 이미징 장치; 및
로컬 영역의 가상 매핑에 적어도 부분적으로 기반하여 컨텐츠를 출력하도록 구성된 전자 디스플레이를 포함하는 VR 헤드셋; 및
VR 콘솔로서:
프로세서; 및
프로세서에 연결되고 명령어를 포함하는 메모리를 포함하는 VR 콘솔을 포함하고,
각 클러스터는 로컬 영역의 가상 매핑의 고유 위치에 대응하는 고유 구성을 가지고,
적어도 하나의 이미지는 적어도 하나의 클러스터를 포함하고,
명령어는 프로세서에 의해 실행될 때, 프로세서로 하여금:
이미징 장치로부터 일련의 이미지를 수신하고;
적어도 하나의 클러스터의 구성에 적어도 부분적으로 기반하여 로컬 영역의 가상 매핑 내의 VR 헤드셋의 위치를 결정하고;
로컬 영역의 가상 매핑 내의 VR 헤드셋의 결정된 위치에 적어도 부분적으로 기반하여 컨텐츠를 생성하고; 및
전자 디스플레이에 의해 표시되기 위해 VR 헤드셋에 컨텐츠를 제공하도록 야기하는 시스템.
청구항 9에 있어서,
회절 광학 요소는 컴퓨터 생성된 홀로그램이고, 스파스 프로젝션 시스템은 회절 광학 요소로부터 출력된 광의 역 퓨리에 변환을 수행함으로써 복수의 클러스터를 생성하도록 구성되는 시스템.
청구항 9에 있어서,
주어진 클러스터에 대한 고유 구성은 주어진 클러스터 내의 조명되는 영역의 수와 배열을 설명하는 공간적 구성 및 주어진 클러스터를 생성하는데 사용되는 광의 대역을 명시하는 반사 타입의 조합인 시스템.
청구항 11에 있어서,
스파스 프로젝션 시스템은:
추가 프로젝션 조립체로서:
추가 회절 광학 요소 및 하나 이상의 광의 빔 중 추가 광의 빔을 사용하여 추가 복수의 클러스터를 생성하고; 및
로컬 영역에 걸쳐 생성된 추가 복수의 클러스터를 투영하도록 구성된 추가 프로젝션 조립체를 더 포함하는 시스템.
청구항 12에 있어서,
복수의 클러스터와 연관된 반사 타입이 추가 복수의 클러스터와 연관된 반사 타입과 상이하도록 광의 빔 및 추가 광의 빔은 상이한 파장인 시스템.
청구항 13에 있어서,
회절 광학 요소 및 추가 회절 광학 요소는 동일하여, 복수의 클러스터에 대한 공간적 구성 및 추가 복수의 클러스터에 대한 공간적 구성은 동일한 시스템.
청구항 12에 있어서,
클러스터의 세트와 연관된 반사 타입이 클러스터의 추가 세트와 연관된 반사 타입과 동일하도록 광의 빔 및 추가 광의 빔은 동일한 시스템.
청구항 15에 있어서,
회절 광학 요소 및 추가 회절 광학 요소는 상이하여, 복수의 클러스터에 대한 공간적 구성 및 추가 복수의 클러스터에 대한 공간적 구성은 상이한 시스템.
스파스 프로젝션 시스템으로서:
하나 이상의 광의 빔을 생성하도록 구성된 소스 조립체; 및
프로젝션 조립체로서:
회절 광학 요소 및 하나 이상의 광의 빔 중 광의 빔을 사용하여 복수의 클러스터를 생성하고; 및
로컬 영역에 걸쳐 생성된 클러스터를 투영하도록 구성된 프로젝션 조립체를 포함하는 스파스 프로젝션 시스템;
VR 콘솔로서:
프로세서; 및
프로세서에 연결되고 명령어를 포함하는 메모리를 포함하는 VR 콘솔을 포함하고,
각 클러스터는 로컬 영역의 가상 매핑의 고유 위치에 대응하는 고유 구성을 가지고,
명령어는 프로세서에 의해 실행될 때, 프로세서로 하여금:
이미징 장치로부터 일련의 이미지를 수신하고;
적어도 하나의 클러스터의 구성에 적어도 부분적으로 기반하여 로컬 영역의 가상 매핑 내의 VR 헤드셋의 위치를 결정하고;
로컬 영역의 가상 매핑 내의 VR 헤드셋의 결정된 위치에 적어도 부분적으로 기반하여 컨텐츠를 생성하고; 및
전자 디스플레이에 의해 표시되기 위해 VR 헤드셋에 컨텐츠를 제공하도록 야기하고,
적어도 하나의 이미지는 적어도 하나의 클러스터를 포함하는 시스템.
청구항 17에 있어서,
하나 이상의 회절 광학 요소 중 회절 광학 요소는 컴퓨터 생성된 홀로그램이고, 스파스 프로젝션 시스템은 회절 광학 요소로부터 출력된 광의 역 퓨리에 변환을 취함으로써 복수의 클러스터를 생성하도록 구성되는 시스템.
청구항 17에 있어서,
스파스 프로젝션 시스템은:
광의 빔 및 추가 광의 빔을 생성하도록 구성된 소스 조립체;
프로젝션 조립체로서:
하나 이상의 회절 광학 요소 중 회절 광학 요소 및 광의 빔을 사용하여 복수의 클러스터 중 클러스터의 세트를 생성하고; 및
로컬 영역의 일부에 걸쳐 생성된 클러스터의 세트를 투영하도록 구성된 프로젝션 조립체; 및
추가 프로젝션 조립체로서:
하나 이상의 회절 광학 요소 중 추가 회절 광학 요소 및 추가 광의 빔을 사용하여 복수의 클러스터 중 클러스터의 추가 세트를 생성하고; 및
로컬 영역의 추가 일부에 걸쳐 생성된 클러스터의 추가 세트를 투영하도록 구성된 추가 프로젝션 조립체를 더 포함하는 시스템.
청구항 17에 있어서,
주어진 클러스터에 대한 고유 구성은 주어진 클러스터 내의 조명되는 영역의 수와 배열을 설명하는 공간적 구성 및 주어진 클러스터를 생성하는데 사용되는 광의 대역을 명시하는 반사 타입의 조합인 시스템.