KR101955224B1 - 가상 환경 컨텐츠를 렌더링하기 위한 모바일 컴퓨팅 디바이스를 이용한 인터페이스를 갖는 헤드 장착 디스플레이(hmd) 시스템 - Google Patents

Abstract

스트랩을 통해 사용자의 머리(12)에 부착되는 하우징(70), 상기 하우징(70)에 통합되는 광학 장치로서, 디스플레이 광학 장치가 하우징의 내측 상에 배향되고 사용자의 눈을 향하는 배향에 대해 구성되는, 상기 광학 장치, 그것의 스크린(60a)이 디스플레이 광학 장치를 향해 배향된 스마트폰(60)을 수용하기 위한 하우징(70)에 통합되는 홀더(71)로서, 스마트폰(60)은 스마트폰(60) 및 하우징의 전자 장치 간 데이터 통신을 가능하게 하기 위해 홀더(71)와 데이터 연결되는, 상기 홀더, 하우징의 전자 장치와 인터페이싱되는 셔터 제어 로직(92), 광학 장치와 인터페이싱되는 광학 장치 제어 로직(93) 및 셔터 제어 로직(92) 및 광학 장치 제어 로직(93)과 인터페이싱하도록 구성되는 프로세서(94)로서, 프로세서(94)는 셔터 제어 로직(92)이 스마트폰의 스크린(60a)으로부터의 이미지 데이터를 단지 왼쪽 눈 측의 광학 장치로 그리고 그 다음 단지 오른쪽 눈 측의 광학 장치로 렌더링하는 사이를 연속하여 전환하게 설정하고, 프로세서(94)는 또한 광학 장치의 왼쪽 및 오른쪽 눈 측들에 제공되는 이미지에 대해 렌더링이 최적화되도록 광학 장치 제어 로직(93)과 인터페이싱하되, 셔터 제어 로직(92)은 광학 장치를 통해 볼 때 스마트폰의 스크린(60a) 상에 렌더링되는 이미지 데이터로부터 3D 이미지들의 디스플레이를 가능하게 하는, 가상 현실 컨텐츠를 렌더링하기 위한 시스템(50).

Description

가상 환경 컨텐츠를 렌더링하기 위한 모바일 컴퓨팅 디바이스를 이용한 인터페이스를 갖는 헤드 장착 디스플레이(HMD) 시스템{HEAD MOUNTED DISPLAY(HMD) SYSTEM HAVING INTERFACE WITH MOBILE COMPUTING DEVICE FOR RENDERING VIRTUAL REALITY CONTENT}

본 발명은 미디어 컨텐츠를 보기 위해 사용되는 헤드셋들, 그리고 보다 구체적으로는, 3D 렌더링을 위해 스마트 디바이스들을 통합하고 이미지 데이터를 프로세싱할 수 있는 헤드셋들에 관한 것이다.

컴퓨터 산업 및 비디오 게임 산업은 수년 사이에 많은 변화를 보여왔다. 연산력이 확대되면서, 비디오 게임들의 개발자들은 증가된 연산력에 적응된 게임 소프트웨어를 생산해왔다. 이를 위해, 비디오 게임 개발자들은 보다 현실적인 게임 경험을 만들어내기 위해 복잡한 연산들 및 수학 계산들을 통합하는 게임들을 코딩해왔다.

이들 게임은 게임 콘솔들, 이동식 게임 디바이스들을 포함하는 게임 시스템의 부분으로 제공되고/되거나, 서버 또는 클라우드를 통한 서비스들로서 제공된다. 주지된 바와 같이, 게임 콘솔은 모니터(보통 텔레비전)에 연결하도록 사용자가 그리고 제어기들/입력 디바이스들을 통해 사용자 상호작용을 가능하게 하도록 설계된다. 게임 콘솔은 CPU, 집중적인 그래픽스 연산들을 프로세싱하기 위한 그래픽스 프로세서, 기하학적 변환들을 수행하기 위한 벡터 유닛, 및 다른 글루 하드웨어, 펌웨어, 및 소프트웨어를 포함하여, 전문화된 프로세싱 하드웨어를 포함할 수 있다. 게임 콘솔은 또한 게임 콘솔을 통해 로컬 플레이를 위한 게임 컴팩트 디스크들을 수용하기 위한 광학 디스크 트레이를 갖게 설계될 수 있다. 온라인 및 다중-플레이어 게임이 또한 가능하며, 여기서 사용자는 인터넷을 통해 다른 사용자들에 대항하여 또는 그들과 함께 쌍방향으로 플레이할 수 있다. 게임 복잡성이 계속해서 플레이어들의 강한 흥미를 불러일으키기 때문에, 게임 및 하드웨어 제작자들은 계속해서 추가적인 그리고 보다 현실적인 쌍방향 참가를 가능하게 하기 위해 혁신해왔다.

컴퓨터 게임 산업에서 증가하는 경향은 사용자 및 게임 시스템 간 상호작용을 증가하는 게임들을 개발하는 것이다. 보다 풍부한 대화형 경험을 실현하는 하나의 방법은 움직임 및 제스처들이 게임 시스템에 의해 추적되는 무선 게임 제어기들을 사용하는 것이다. 이들 움직임 및 제스처는 게임에 대한 입력들로서 사용된다. 일반적으로 말하면, 제스처 입력들은 전자 장치 디바이스 이를테면 컴퓨팅 시스템, 비디오 게임 콘솔, 스마트 기기 등이 전자 장치 디바이스에 의해 캡처되는 게임을 플레이하면서 사용자에 의해 만들어지는 몇몇 제스처에 반응하게 하는 것을 지칭한다.

보다 실감나는 대화형 경험을 실현하는 다른 방법은 헤드 장착 디스플레이(HMD)를 사용하는 것이다. 헤드 장착 디바이스는 사용자에 의해 착용되고 HMD의 디스플레이 부분에 다양한 그래픽, 이를테면 가상 공간의 뷰를 제공하도록 구성될 수 있다. 헤드 장착 디바이스에 제공되는 그래픽은 사용자의 시계의 큰 부분 또는 심지어 전체를 커버할 수 있다. 그로 인해, 헤드 장착 디바이스는 사용자에게 실감나는 경험을 제공할 수 있다. 인터넷에 대한 연결성이 계속해서 증가함에 따라, HMD 시스템들의 보다 많은 구성이 각각 몇몇 이점 및 관련 제한을 갖고 도입되어왔다.

이러한 상황에서 본 발명의 실시예들이 유발된다.

디스플레이 스크린에, 그리고 특히 헤드 장착 디스플레이(HMD) 상에 컨텐츠의 렌더링을 가능하게 하는 시스템들, 방법들 및 장치에 관한 실시예들이 설명된다. 렌더링되는 컨텐츠는 풍부한 3차원 컨텐츠를 포함할 수 있으며, 이는 실감 가상 현실 컨텐츠의 상황으로 렌더링될 수 있다.

일 실시예에서, 스마트폰을 수용하기 위한 슬롯 또는 홀더를 포함하는 디바이스가 제공된다. 디바이스는 스마트폰이 슬롯 또는 홀더에 위치될 수 있도록 스트랩들 또는 헤드-부착 구조로 구성된다. 스마트폰의 스크린은 일 구성으로, 전통적인 HMD가 그것 내부에 통합되는 스크린을 갖는 것과 같은 방식으로 사용자가 훨씬 보기 쉽다. 그에 따라, 디바이스는 디스플레이 스크린을 포함하지 않는 대신, 스마트폰의 디스플레이 스크린이 사용자가 볼 이미지들을 렌더링하기 위해 사용된다. 일 구현예에서, 스마트폰은 컨텐츠에 액세스하거나 스마트폰의 저장장치로부터의 컨텐츠에 액세스하기 위해 인터넷과 통신할 것이다. 연결 모드에서, 스마트폰은 스마트폰이 헤드 장착 디바이스로서 작동할 때 스마트폰 상에 렌더링될 수 있는, 스트리밍 컨텐츠 또는 다운로드된 컨텐츠를 획득할 수 있다. 일 실시예에서, 폰의 디스플레이 상에 렌더링되는 컨텐츠는 3차원 이미지들을 생성하기 위해 비틀어지고, 스마트폰 홀딩 디바이스의 광학 장치는 이미지들을 비틀지 않을 수 있으며, 그에 따라 스마트폰에 의해 디스플레이되는 컨텐츠가 디바이스의 광학 장치를 통해 볼 때, 풍부한 3차원 이미지/비디오/쌍방향 데이터로 보이게 될 것이다. 일 구성예에서, 헤드 장착 디바이스는 디바이스의 오른쪽 및 왼쪽 눈 광학 장치의 제어를 가능하게 할 셔터 제어 로직을 포함할 것이며, 그에 따라 이미지 데이터가 본질적으로 헤드 장착 디스플레이(즉, 홀딩 디바이스 및 스마트폰)에 의해 렌더링되는 이미지 데이터가 풍부하고 실감나는 3차원일 수 있게 하는, 좌, 우, 좌, 우, 좌, 우... 기타 등등의 이미지들을 보이도록 빠르게 셔터링(shuttering)될 수 있다.

헤드 장착 디스플레이(HMD) 시스템이 제공된다. 시스템은 하우징 및 하우징에 배치되는 광학 장치를 포함한다. 시스템은 하우징에 배치되는 프로세서 및 프로세서와 인터페이싱되는 셔터 제어 로직을 더 포함한다. 셔터 제어 로직은 왼쪽 눈 측의 광학 장치를 개방하는 것 및 오른쪽 눈 측의 광학 장치를 폐쇄하는 것 내지 오른쪽 눈 측의 광학 장치를 개방하는 것 및 왼쪽 눈 측의 광학 장치를 폐쇄하는 것 사이를 교대하게 구동하도록 구성된다. 홀더 부분이 하우징과 통합된다. 홀더 부분은 디스플레이 스크린를 갖는 스마트 디바이스를 수용하도록 구성된다. 디스플레이 스크린은 HMD 시스템이 사용자에 의해 착용될 때 사용자의 얼굴을 향하는 방향으로 하우징의 광학 장치를 향해 배향된다. 구동 시 셔터 제어는 이미지 데이터의 3-차원 뷰를 스마트 디바이스의 디스플레이 스크린 상에 렌더링되게 하도록 구성된다.

다른 실시예에서, 가상 현실 컨텐츠를 렌더링하기 위한 시스템이 제공된다. 시스템은 스트랩을 통해 사용자의 헤드에 부착될 하우징을 포함한다. 시스템은 하우징에 통합되는 광학 장치를 더 포함한다. 디스플레이 광학 장치는 하우징이 사용자의 헤드에 부착될 때 사용자의 눈을 향하는 배향에 대해 구성되는 하우징의 내측 상에 배향된다. 홀더가 하우징에 통합된다. 홀더는 스마트폰 또는 스마트 디바이스(즉, 태블릿 또는 스크린을 갖는 디바이스)를 수용하도록 구성된다. 일례로, 스마트폰의 스크린은 하우징의 디스플레이 광학 장치를 향해 배향된다. 스마트폰은 하우징의 전자 장치 및 스마트폰의 전자 장치 간 데이터 통신을 가능하게 하기 위해 홀더와 데이터 연결된다. 셔터 제어 로직이 하우징의 전자 장치와 인터페이싱된다. 광학 장치 제어 로직이 광학 장치와 인터페이싱된다. 프로세서는 셔터 제어 로직 및 광학 장치 제어 로직과 인터페이싱하도록 구성된다. 프로세서는 셔터 제어 로직이 스마트폰의 스크린으로부터 획득되는 이미지 데이터를 단지 왼쪽 눈 측의 광학 장치로 그리고 그 다음 단지 오른쪽 눈 측의 광학 장치로 렌더링하는 사이를 연속하여 전환하게 설정하도록 구성된다. 프로세서는 이미지 데이터가 광학 장치의 왼쪽 눈 측 및 오른쪽 눈 측에 제공될 때 렌더링이 최적화되도록 광학 장치 제어 로직과 인터페이싱하도록 더 구성된다. 셔터 제어 로직은 상기 하우징의 상기 광학 장치를 통해 볼 때 상기 스마트폰의 상기 스크린 상에 렌더링되는 상기 이미지 데이터로부터, 사용자에 의해 인지될 때, 3-차원 이미지들의 디스플레이를 가능하게 한다.

몇몇 구현예에서, 시스템은 스마트폰을 하우징에 연결하기 위한 디바이스 인터페이스(유선 또는 무선)를 포함한다.

몇몇 구현예에서, 시스템은 하우징의 관성 센서를 포함한다. 관성 센서는 상기 하우징의 움직임 및 배향 데이터를 제공하고, 상기 하우징의 상기 움직임 및 배향 데이터는 상기 스마트폰에 전달된다. 스마트폰은 상기 스마트폰에 의해 렌더링되는 가상 현실 장면으로의 뷰 방향 및 관점에 영향을 미치거나 이를 업데이트하기 위해 상기 하우징의 움직임 및 배향을 미세 조정하기 위해 상기 하우징의 상기 움직임 및 배향 데이터를 상기 스마트폰의 관성 센서에 의해 생성되는 움직임 및 배향과 함께 사용한다.

몇몇 구현예에서, 시스템은 상기 하우징의 추적을 개선하기 위해 상기 하우징의 상기 관성 센서로부터의 적어도 일부 데이터를 상기 스마트폰의 상기 관성 센서로부터의 데이터와 조합하는 것을 포함한다.

몇몇 구현예에서, 시스템은 상기 하우징의 표면에 배치되는 복수의 발광 다이오드를 더 포함하되, 상기 발광 다이오드들은 적어도 하나의 카메라를 사용하여 상기 하우징의 위치를 추적하기 위해 사용된다.

몇몇 구현예에서, 시스템은 상기 하우징의 표면에 배치되는 복수의 광 다이오드를 더 포함하되, 상기 광 다이오드들은 상기 하우징이 추적될 공간에 위치되는 적어도 하나의 발광 디바이스를 사용하여 상기 하우징의 위치를 추적하기 위해 사용된다.

몇몇 구현예에서, 시스템은 시-스루 모드를 프로세싱하기 위한 상기 하우징의 상기 전자 장치의 회로로서, 상기 스마트폰의 전방 카메라가 활성화되는, 상기 시-스루 모드를 프로세싱하기 위한 회로를 포함한다. 셔터 제어 로직은 시-스루 모드에 있을 때, 상기 셔터 제어 로직은 중지되고 상기 광학 장치 제어 로직은 상기 스마트폰의 전방 카메라를 통해 실세계 뷰를 보이는 상기 스마트폰의 상기 스크린으로부터 이미지 데이터의 디스플레이를 가능하게 한다.

몇몇 구현예에서, 시스템은 시-스루 모드를 프로세싱하기 위한 상기 하우징의 상기 전자 장치의 회로로서, 상기 하우징의 전방 카메라가 활성화되는, 상기 시-스루 모드를 프로세싱하기 위한 회로를 포함한다. 상기 시-스루 모드에 있을 때, 상기 셔터 제어 로직은 중지되고 상기 광학 장치 제어 로직은 상기 하우징의 상기 전방 카메라를 통해 실세계 뷰를 보이는 상기 스마트폰의 상기 스크린으로부터 이미지 데이터의 디스플레이를 가능하게 한다.

몇몇 구현예에서, 시스템은 하우징과 통합되는 네트워크 인터페이스를 포함한다. 네트워크 인터페이스는 디지털 컨텐츠를 갖는 인터넷 사이트에 연결하기 위한 상기 네트워크에 대한 액세스를 제공한다. 상기 디지털 컨텐츠는 스트리밍 컨텐츠 또는 쌍방향 스트리밍 컨텐츠 중 하나이고, 여기서 상기 스트리밍 쌍방향 컨텐츠는 상기 하우징의 상기 광학 장치를 통해 디스플레이할 상기 스마트폰에 의해 렌더링된다.

몇몇 구현예에서, 시스템은 스마트폰에 의해 제공되는 네트워크 인터페이스를 포함한다. 네트워크 인터페이스는 디지털 컨텐츠를 갖는 인터넷 사이트에 연결하기 위한 네트워크에 대한 액세스를 제공한다. 상기 디지털 컨텐츠는 스트리밍 컨텐츠 또는 쌍방향 스트리밍 컨텐츠 중 하나이되, 상기 스트리밍 쌍방향 컨텐츠는 상기 하우징의 상기 광학 장치를 통해 디스플레이할 상기 스마트폰에 의해 렌더링된다.

몇몇 실시예에서, 상기 하우징에 통합되는 상기 광학 장치는 왼쪽 눈 광학 장치 및 오른쪽 눈 광학 장치를 포함한다.

몇몇 실시예에서, 하우징은 디바이스 입력부(즉, 입력 디바이스들 또는 정봐 통신하기 위한 인터페이스)를 포함한다. 디바이스 입력부는 상기 스마트폰에 의해 생성되는 상기 이미지 데이터에서 렌더링되는 쌍방향 컨텐츠 장면의 적어도 부분을 제어하기 위한 사용자 입력을 수신하기 위해 구성된다.

일 실시예에서, 사용자 입력은 제어기를 통하는, 손 제스처, 터치 제스처, 또는 음성 제어, 또는 이들의 조합이다.

도 1a는 사용자 착용 디바이스, 예를 들어, 스마트폰 또는 스마트 디바이스를 수용할 수 있는 하우징을 예시하며, 디바이스는 일 실시예에 따른, 안경 또는 헤드 장착 디바이스(HMD) 형태이다.
도 1b는 일 실시예에 따른, 전자 장치 및 스마트폰을 위한 홀더를 포함하는, 안경의 측면도를 예시한다.
도 1c는 일 실시예에 따른, 스마트폰을 홀딩하기 위한 슬롯을 갖는 안경의 사시도이다.
도 1d는 일 실시예에 따른, 스마트 디바이스, 태블릿 디바이스 또는 컨텐츠를 디스플레이하기 위한 스크린을 갖는 임의의 디바이스를 또한 포함할 수 있는, 예시적인 스마트폰을 예시한다.
도 2는 일 실시예에 따른, 스마트폰 및 HMD 디바이스에 의해 렌더링되는 장면과의 상호작용을 포함하는, HMD 디바이스를 착용한 사용자를 예시한다.
도 3a는 스마트폰을 홀딩할 수 있는 하우징, 예를 들어, 수용기 유닛의 예시적인 형태 인자를 예시하되, 여기서 스마트폰의 카메라는 정면을 향하고 있다.
도 3b는 일 실시예에 따른, 스마트폰이 하우징 수용 유닛, 및 수용 유닛/하우징의 광학 장치에 유선으로 연결되는 예시적인 구성을 예시한다.
도 4a는 일 실시예에 따른, 수용기 유닛 또는 하우징의 부분인 예시적인 전자 장치, 및 광학 장치 및 스마트폰과 전자 장치의 인터페이스를 예시한다.
도 4b는 일 실시예에 따른, 스마트폰의 소프트웨어가 업-렌딩(스케일-업), 및 디스플레이를 위한 프로세싱 및 HMD 하우징의 광학 장치를 통해 보는 것을 포함하여, 프레임 선택 및 왼쪽/오른쪽 눈 선택을 프로세싱하도록 구성되는 예를 예시한다.
도 4c는 일 실시예에 따른, 셔터 로직이 광학 장치를 왼쪽/오른쪽 보기를 교대하는 것으로 설정하는 예를 예시한다.
도 5는 일 실시예에 따른, 셔터 제어 로직, 제어기 광학 장치, 프로세서, 네트워크 인터페이스, 관성 센서(들), 메모리, 프레임 버퍼들, 및 스마트폰과의 연결, 및 디지털 컨텐츠에 대한 인터넷 액세스를 위한 디바이스 인터페이스들을 포함할 수 있는 하우징의 전자 장치의 예를 예시한다.
도 6은 일 실시예에 따른, 클라우드 시스템을 포함하여, 함께 위치된 사용자들이 로컬로, 예를 들어, 피어-투-피어식으로 컨텐츠를 공유할 수 있는 예를 예시한다.
도 7은 풍부한 3D 컨텐츠를 VR 경험으로 제공하기 위해 스마트폰 및 셔터 로직을 사용하는 HMD 시스템의 다른 예를 예시한다.
도 8a는 일 실시예에 따른, 추적을 위해 사용되는 컴퓨팅 디바이스 및 카메라와 인터페이싱하는 HMD를 착용한 사용자의 예를 예시한다.
도 8b는 일 실시예에 따른, 카메라 추적을 위해 사용될 수 있는 복수의 LED를 예시하고, 몇몇 경우에는, 광 다이오드들이 레이저 또는 발광원(들)을 사용하여 추적을 제공하기 위해 하우징의 표면 상에 통합될 수 있다.
도 9는 클라이언트 시스템을 사용하는 게임 플레이의 일례를 예시한다.
도 10은 일 실시예에 따른, 게임 콘손을 통해 추적하고 플레이하는 HMD의 에를 예시한다.
도 11은 일 실시예에 따른, 하우징 또는 HMD 시스템의 부분을 이룰 수 있는 예시적인 전자 장치를 예시한다.
도 12는 일 실시예에 따른, 예를 들어, 다중-플레이어 상호작용, 통신 및/또는 플레이를 위해 네트워크를 통해 다중 사용자와 인터페이싱하기 위한 데이터 센터 및 액세스의 예를 제공한다.

디스플레이 스크린에 컨텐츠의 렌더링을 가능하게 하는 시스템들, 방법들 및 장치에 관한 실시예들이 설명된다. 렌더링되는 컨텐츠는 풍부한 3차원 컨텐츠를 포함할 수 있으며, 이는 실감 가상 현실 컨텐츠의 상황으로 렌더링될 수 있다. 컨텐츠는 관련 게임, 관련 엔터테인먼트, 관련 통신, 관련 소셜 통신 또는 공유, 또는 이들 및 다른 유형들의 미디어 및 정보의 조합들일 수 있다. 도 1a 내지 도 7을 참조하여 설명되는 몇몇 예에서, 제2 컴퓨팅 디바이스와 통신하도록 구성될 수 있는 헤드셋 디바이스들이 도시된다. 일례로, 제2 컴퓨팅 디바이스는 스마트폰, 태블릿, 컴퓨터, 워치, 또는 이미지 컨텐츠를 획득하기 위해 통신하고 그러한 이미지 컨텐츠의 렌더링을 가능하게 할 수 있는 상당한 디바이스일 수 있다.

일 구현예에서, 스마트폰의 스크린이 헤드 장착 디바이스의 디스플레이일 수 있게 하기 위해, 스마트폰을 수용하기 위한 슬롯 또는 홀더를 포함하는 헤드 장착 디바이스가 제공된다. 그에 따라, 일례로, 헤드 장착 디바이스는 디스플레이 스크린을 포함하지 않는 대신, 헤드 장착 디바이스의 홀더에 삽입 또는 배치될 때, 스마트폰의 디스플레이 스크린을 사용할 것이다. 스마트폰은 유선 또는 무선 연결을 통해 헤드 장착 디바이스에 연결될 수 있다. 그러한 구현예에서, 스마트폰은 스마트폰이 헤드 장착 디바이스에 삽입 또는 결합될 때 스마트폰 상에 렌더링될 수 있는, 컨텐츠, 이를테면 스트리밍 컨텐츠 또는 다운로드된 컨텐츠에 액세스하기 위해 인터넷과 통신할 것이다. 기본 형태로, 헤드 장착 디바이스는 유선 또는 무선 중 어느 하나로, 스마트폰과 통신하기 위한 전자 장치를 포함할 것이다. 헤드 장착 디바이스는 디스플레이 상에 렌더링되는 컨텐츠의 보기를 가능하게 하기 위한 광학 장치를 포함할 수 있다.

일 실시예에서, 폰의 디스플레이 상에 렌더링되는 컨텐츠는 3차원 이미지들을 생성하기 위해 비틀어지고, 헤드 장착 디바이스의 광학 장치는 이미지들을 비틀지 않을 수 있으며, 그에 따라 스마트폰에 의해 디스플레이되는 컨텐츠가 헤드 장착 디바이스의 광학 장치를 통해 볼 때, 풍부한 3차원 이미지/비디오/쌍방향 데이터로 보이게 될 것이다. 다른 실시예에서, 스마트폰의 디스플레이 상에 렌더링되는 컨텐츠는 헤드 장착 디바이스로 삽입될 때, 헤드 장착 디바이스에 의해 프로세싱될 수 있는 이미지들을 3차원으로 보이게 렌더링할 것이다. 일 실시예에서, 헤드 장착 디바이스는 헤드 장착 디바이스의 오른쪽 및 왼쪽 눈 광학 장치의 제어를 가능하게 할 셔터 제어 로직을 포함할 것이며, 그에 따라 이미지 데이터가 본질적으로 헤드 장착 디스플레이에 의해 렌더링되는 이미지 데이터가 풍부하고 실감나는 3차원일 수 있게 하는, 좌, 우, 좌, 우, 좌, 우... 기타 등등의 이미지들을 보이도록 빠르게 셔터링될 수 있다.

도 1a는 헤드 장착 디바이스에 홀딩, 삽입, 클립핑, 슬라이딩, 연관, 또는 페어링되는 스마트폰(60)을 포함할 수 있는 헤드 장착 디바이스를 착용한 사용자의 예를 예시한다. 안경(50)은 일 실시예에서 스마트폰(60)이 그것 내에 삽입될 때, HMD를 획정할 수 있다. 헤드 장착 디바이스는 스마트폰(60)을 해당 위치에 홀딩하는 심플한 셸 디바이스일 수 있고, 스마트폰(60)의 스크린을 통해 보기 위한 광학 장치를 제공한다. 다른 실시예에서, 헤드 장착 디바이스는 보다 지능적일 수 있으며, 이는 헤드 장착 디바이스에 근접하게 연결, 또는 연관될 때 스마트폰(60)과 통신하기 위한 전자 장치를 포함할 수 있다. 이러한 예시에서, 헤드 장착 디바이스는 안경에 연결 또는 클립핑되는 스마트폰을 갖는 안경(50)으로 도시된다.

스마트폰은 네트워크(110), 이를테면 인터넷과 통신하기 위해 그것의 기본 무선 연결 회로를 사용할 수 있다. 스마트폰(60)은 클라우드 게임 컨텐츠, 클라우드 엔터테인먼트 컨텐츠, 소셜 미디어 컨텐츠, 또는 인터넷 또는 개인 네트워크들을 통해 액세스가능한 임의의 다른 유형의 컨텐츠를 포함하는 다양한 컨텐츠 사이트와 통신할 수 있다. 일 실시예에서, 스마트폰(60)에 의해 액세스되는 컨텐츠가 다운로드되어 컨텐츠가 수신되면 스마트폰에 의해 실행될 수 있다. 다른 실시예에서, 컨텐츠는 인터넷 소스로부터 스트리밍되고, 요구될 때 스마트폰(60)에 전달될 수 있다. 일 실시예에서, 컨텐츠는 헤드 장착 디바이스 또는 안경(50)과 사용될 때 스마트폰에 의해 소비하기 위한 게임들, 컨텐츠, 언터테인먼트 컨텐츠 또는 다른 멀티미디어를 제공하는 서비스 제공자로부터 스트리밍된다.

도 1b는 스마트폰(60)이 안경(50)에 의해 삽입 또는 홀딩되었을 때 스마트폰(60)과 인터페이싱하기 위한 전자 장치를 포함하는 안경 쌍(50)의 측면도를 예시한다. 본 예에서, 스마트폰(60)은 안경(50)의 슬롯 또는 홀더에 수직으로 있고, 그에 따라 안경(50)이 사용자에 의해 착용될 때 스마트폰(60) 카메라가 환경의 시-스루 또는 패스-스루 뷰를 가능하게 하기 위해 전방을 향하게 된다. 안경(50)의 바디는 하우징(70)을 획정한다. 하우징(70)은 전자 장치(90)를 홀딩할 수 있고 홀더(91)를 홀더. 홀더는 본 출원에 설명되는 바와 같이, 홀딩, 클립핑, 고정, 부착, 또는 그 외 스마트폰을 제자리에 유지하기 위한 임의의 구조를 포함할 것이다. 일 실시예에서, 시-스루 모드(즉, 투명 또는 반-투명 모드)의 활성화는 사용자가 안경(50)을 통해 스마트폰(60) 디바이스에 의해 디스플레이된 가상 장면과 인터페이싱할 때, 그리고 사용자가 다른 사람과 상호작용하거나, 전화를 걸거나, 게임을 중지하거나, 세션, 또는 쌍방향 세션 또는 통신을 중지하기 위해 가상 장면으로부터 연결 해제하기를 원할 때 사용된다. 시-스루 모드는 또한 이를테면 신호들이 수신될 때 또는 안전 경고 또는 알림이 요구될 때, 자동으로 트리거될 수 있다.

도 1c는 함께 연결될 때 안경(50) 및 스마트폰(60)의 플러그, 블루투스, 와이파이, 및 다른 무선 프로토콜, 또는 유선 연결, 플러그, 연결기와 통신하기 위한 전자 장치(90)를 포함하는, 안경의 예를 예시한다. 본 예에서, 스마트폰 스크린(60a)은 안경(50)이 사용자의 얼굴에 착용 또는 그 위에 끼워질 때 사용자의 눈의 또는 일반적으로 눈 쪽을 향할 것이다. 스마트폰의 후면은 전방을 향할 수 있는 스마트폰 카메라를 포함할 수 있다. 일 실시예에서 , 안경(50)은 스마트폰 후면의 카메라가 안경(50) 틀을 통해 볼 수 있도록 슬롯 또는 홀(70a)을 포함할 수 있다. 다른 실시예에서, 안경(50) 틀은 스마트폰(60) 카메라가 패널을 통해 볼 수 있게 하도록 시-스루 또는 투명한 판을 포함할 수 있다.

도 1d는 스마트폰(60)의 예를 예시하며, 이는 후면 상에 그리고 또한 전면 상에 위치되는 카메라를 포함할 수 있다. 스마트폰의 스크린면(60a)은 안경(50)에 삽입될 때 사용자 눈을 향해 전방을 향할 것이다. 아래에 설명될 바와 같이, 안경(50)은 일 실시예에서, 사용자들의 눈 및 스마트폰(60)의 스크린(60a) 사이에 존재할 광학 장치(80)를 포함할 수 있다. 광학 장치(80)는 스마트폰 스크린(60a)에 의해 제공되는 컨텐츠의 보기를 제공하도록 그리고 렌더링, 사이징, 리-사이징, 선명도, 프리스크립션, 및 다른 왜곡 또는 비-왜곡 조절을 최적화하도록 조정될 수 있다.

도 2는 스마트폰(60)을 수용한 또는 수용하려는 헤드 장착 디바이스(안경)(50)를 착용한 사용자의 예를 예시한다. 스마트폰(60)은 일 실시예에서, 광학 장치(80)가 광학 장치(80)를 통해 사용자에게 스마트폰 스크린(60a)의 이미지들을 렌더링하기 위한 스마트폰(60)의 로직, 소프트웨어, 펌웨어와 동기화될 수 있도록, 헤드 장착 디바이스(50)의 전자 장치(90)에 연결된다. 일 실시예에서, 스마트폰(60)에 의해 렌더링되는 컨텐츠는 가상 현실 3-차원 컨텐츠일 것이며, 이는 다운로드 되는 애플리케이션의 형태로 또는 웹사이트, 서비스, 서비스 제공자, 컨텐츠 제공자, 또는 그 밖에 유사한 것으로부터 스트리밍 형식으로 스마트폰(60)에 전달된다. 일 실시예에서, 스마트폰(60) 상에 렌더링되는 컨텐츠는 VR 공간으로 정의되는 예시적인 스크린에 제시되는 가상 현실 렌더링 컨텐츠이다.

스마트폰(60)의 전방 카메라는 사용자가 장면과 상호작용하는 것, 이를테면, 사용자(12)가 VR 공간에서의 컨텐츠와 상호작용하기 위해 손(14)을 장면(16)에 둘 수 있게 하는 것을 돕기 위해 안경(50)의 이러한 정면 뷰를 모니터링할 수 있다. 그에 따라, 실 세계 공간에서의 사용자는 그의 손을 전방 카메라의 뷰 공간에 둘 수 있고, 이는 사용자의 손(14)의 VR 공간으로의 융합을 가능하게 하기 위해 스마트폰 상에서 구동하는 소프트웨어에 의해 검출된다. 사용자들의 손은 사용자들의 실제 손으로서 또는 증강된 현실로서, 또는 증강 및 실 세계 이미지들의 융합으로서 VR 공간에 렌더링될 수 있다.

도 3a는 스마트폰(60)을 수용하기 위한 클립 또는 셸프(71)를 포함하는 하우징으로 도시되는, 안경(50)의 예를 예시한다. 하우징의 형상 및 인체 공학은 구체적 구현들에 따라 변경될 수 있다는 것이 이해되어야 한다. 그에 따라, 본 출원에 제공된 예시적인 구현예들은 다양한 실시예들에 따라, 그것들이 기능을 다하고 디바이스들 사이에 상호작용을 제공하는 한 변형될 수 있는, 단지 예들이다.

이러한 특정 예에서, 하우징은 전방 카메라가 사용자의 실세계의 전면 공간 또는 영역을 자유롭게 볼 수 있게 하는 클립(71)(또는 홀더)을 포함한다. 일 실시예, 위에서 언급된 바와 같이, 컨텐츠는 투명 모드로부터 가상 현실 공간 밖을 보도록, 그리고 다시 실세계 공간을 보도록 전환할 수 있다. 그에 따라, 전방 카메라(20)는 사용자가 실세계를 보고 VR 공간을 나가기 원할 때 실세계 뷰를 제공한다. 다른 실시예에서, 전방 카메라(20)는 사용자가 VR 공간에서 상호작용하고 있는 동안 사용자에게 안전 알림들을 제공할 수 있다. 예를 들어, 사용자가 특정 공간 주위를 걷고 위험하게 계단들, 벽, 또는 상당한 다른 대상에 접근하고 있는 경우, 알림이 헤드 장착 디스플레이에 메시지, 알림, 알람, 소리, 촉각 피드백, 또는 그 밖에 유사한 것으로 사용자에게 제공될 수 있다.

그에 따라 카메라(20)는 사용자가 가상 현실 공간에 몰두하게 될 때 실세계 공간의 안전 알림들을 제공하기에 유용한다. 사용자는 또한 가상 현실 공간에서, 부분적으로 투명한 뷰들, 완전히 투명한 뷰들, 완전히 그리고 부분적으로 투명한 뷰들의 융합, 또는 사용자가 관심이 있는 실제 피처들을 보일 수 있거나 사용자가 스마트폰(60)에 의해 이네이블되는 헤드 장착 디바이스를 착용하고 있을 때 위험할 수 있는 부분적 뷰들의 실세계 공간으로의 전환들을 제공받을 수 있다.

도 3b는 헤드밴드, 및 하우징(70)을 포함하는 헤드 장착 디바이스의 예를 예시한다. 하우징(70)은 전자 장치(90) 및 광학 장치(80)를 포함하는 것으로 도시되며, 이들은 슬롯, 홀더, 클립, 또는 연결부(71)에 배치될 때, 사용자의 눈이 존재할 위치 및 스마트폰(60)의 스크린의 전면 사이에 있다. 배터리가 또한 전자 장치(90)에 전력을 공급하기 위해 하우징에 구비될 수 있다.

다른 실시예에서, 연결기 플러그 또는 선(30)이 하우징(70)에 배치되는 배터리(32)를 통해 전력을 제공하기 위해 사용될 수 있다. 다른 실시예에서, 스마트폰(60)의 배터리는 헤드 장착 디바이스(50)의 전자 장치(90)를 작동시킬 수 있다. 위에서 언급된 바와 같이, 스마트폰(60)은 또한 태블릿, 컴퓨터 유닛, 부분적 컴퓨터 유닛, 디스플레이 스크린을 갖는 임의의 하이브리드 디바이스일 수 있다. 본 예에서, 스마트폰(60)은 USB 연결 연결기(36)를 통해 수용기 유닛에 연결될 수 있다. 그에 따라 스마트폰(60)은 스마트폰(60)으로부터 수신되는 정보의 핸들링, 이를테면 이미지 데이터의 광학 장치(80)의 동작과의 동기화를 위해 수용기 유닛의 전자 장치(90)에 연결된다.

도 4a는 헤드 장착 디바이스(50)에 사용될 수 있다는, 전자 장치 유닛(90)의 예를 예시한다. 일례로, 전자 장치 유닛(90)은 스마트폰(60)에 연결하기 위한 디바이스 인터페이스(98)를 포함할 수 있다. 디바이스 인터페이스(98)는 마이크로프로세서(94) 및 메모리(96)와 통신할 수 있다. 마이크로프로세서(94)는 전자 장치 유닛(90) 또는 수용기 유닛의 부분인 관성 센서(91)에 결합될 수 있다. 관성 센서(91)는 가속도계들, 자이로스코프들, 자력계들, 및 그 중 하나 이상의 조합들 또는 그것들의 디바이스들의 조합들을 포함할 수 있다. 일반적으로, 관성 센서(91)는 사용자에 의해 착용될 때 하우징(70)의 움직임 및 측위으로부터의 데이터를 제공한다.

이들 모션 및 움직임은 추적을 위해 사용될 수 있고 렌더링되거나 인터페이싱되는 가상 현실 컨텐츠에 대한, 스마트폰(60)에 의해 제공되는 이미지들(즉, 이미지 컨텐츠)를 보이거나 변화시키기 위해 사용될 수 있는 위치에 관한 정보로 변환될 수 있다. 예를 들어, 사용자(12)가 그의 머리를 이리저리 움직일 때, 그곳을 향해 또는 그곳에서 떨어져 사용자가 보고 있는 그것들의 위치들과 연관되는 컨텐츠에 기초하여 상이한 이미지들 및 장면들이 스마트폰(60)의 디스플레이(60a)에 의해 제공될 수 있다. 마이크로프로세서 유닛(94)은 또한 디스플레이 셔터 로직(92)과 통신할 수 있다. 디스플레이 셔터 로직(92)은 그 다음 수용기 유닛(즉, 하우징)의 광학 장치(80)에 결합하는 광학 장치 제어기 로직(93)에 결합될 수 있다. 일 실시예에서, 컨텐츠는 포맷팅된 3-차원 형태로 또는 정규의 포맷팅되지 않은 형태로 원격 서버로부터 스마트폰(60)에 제공될 수 있다. 예를 들어, 각 프레임은 왼족 및 오른쪽 양쪽 눈에 제공되고 왜곡된 형식으로 제공되는 본질적으로 동일한 이미지인, 왼쪽 및 오른쪽 눈 이미지를 포함할 수 있다. 일 실시예에서, 이러한 프레임들의 스트림이 스트리밍 형식으로 서버로부터 광학 장치(80)를 통해 수용기 유닛 상에 디스플레이할 스마트폰에 다운로드될 수 있다.

디스플레이 셔터 로직(92)은 이미지들이 수신된 프레임들에 대해, 순차적 좌, 우, 좌, 우, 좌, 우, 등으로 각각의 눈에 보이도록 시스템을 구성할 수 있다. 이러한 방식으로, 왼쪽 눈은 수신된 프레임에 대해 프레임의 왼쪽 부분으로부터의 컨텐츠를 볼 것이고, 그 다음 오른쪽 눈이 다음 수신된 프레임에 대해 프레임의 오른쪽 부분으로부터의 컨텐츠를 볼 것이고, 그 다음 왼쪽 눈이 수신된 프레임의 왼쪽 부분을 볼 것이, 그 다음 오른쪽 눈이 다음 프레임에 대해 프레임의 오른쪽 부분으로부터의 컨텐츠를 볼 것일 등이다. 이는 도 4c를 참조하여 보다 상세하게 예시된다.

도 4b는 스마트폰(60)이 그것 내부에 삽입된 헤드 장착 디바이스를 착용한 사용자(12)의 예를 예시한다. 본 예에서, 스마트폰 프로세싱은 이동식 디바이스들에 3-차원 게임들을 전달할 수 있는 클라우드 프로세싱 시스템으로부터 프레임들의 스트림을 수신할 것이다. 이러한 예시에서, 스마트폰에 전달되는 각 프레임는 각각 왼쪽 및 오른쪽 눈 이미지 컨텐츠를 포함할 것이다. 스마트폰(60) 또는 헤드 장착 디바이스의 전자 장치(90) 상에서, 또는 헤드 장착 디바이스의 전자 장치(90) 및 스마트폰(60) 양자 상에서 실행되는 소프트웨어 모듈이 프레임들(예를 들어, 클라우드 프로세싱 시스템으로부터의 프레임들의 스트림)의 수신을 실행할 것이다. 프레임들의 스트림은 예를 들어 초당 30 프레임씩 전달될 수 있다. 구현에 따라 다른 프레임률들이 가능하다.

도시된 바와 같이, 수신된 이미지 프레임 모듈이 이미지들을 수신할 것이고, 업 렌더(확대) 모듈이 이미지 프레임의 좌 또는 우 부분을 확대할 것이다. 확대되는 선택된 좌 또는 우 이미지 프레임은 스마트폰 디바이스가 왼쪽 및 오른쪽 눈들 양자에 보다 작고 보다 적은 실감 형식으로 보이는 대신, 스마트폰 디바이스(60)의 전체 스크린 상에 디스플레이할 스마트폰(60)의 디스플레이에 제공될 것이다. 나아가, 소프트웨어는 헤드 장착 디바이스가 왼쪽 또는 오른쪽 눈을 순차적으로 셔터링하도록 선택할 수 있도록 하는 로직을 포함할 수 있고, 그에 따라 왼쪽 또는 오른쪽 눈이 지속적 순서로 스마트폰에 의해 렌더링되는 전체 스크린을 보게 될 것이다. 일례로, 프레임들(0, 1, 2, 3, 4, 및 5)이 도시된다. 이들 프레임은 클라우드 시스템으로부터 스트리밍되고 있고 각 프레임은 왼쪽 및 오른쪽 눈 이미지 컨텐츠를 포함할 것이다. 일 실시예에 따르면, 프레임(0)에 대해, 소프트웨어는 프레임으로부터 왼쪽 눈 이미지 컨텐츠를 선택할 것이고, 이동식 디바이스 상에 디스플레이할 해당 왼쪽 눈 컨텐츠를 렌더링 업할 것이다.

동기화 시, 소프트웨어는 확대된 이미지가 폰의 전체 디스플레이 스크린에 제공될 때마다 사용자가 왼쪽 눈에 대한 전체 스크린을 보도록 왼쪽 눈에 대한 셔터를 개방할 안경의 셔터 시스템에 지시들을 제공할 것이다. 오른쪽 눈 컨텐츠가 디스플레이 스크린 상에 보이게 확대되고, 셔터가 사용자의 오른쪽 눈에 컨텐츠를 보일 것이라는 점을 제외하고는, 동일 프로세스가 프레임(1)에게 일어날 것이다. 이러한 프로세스는 스마트폰에 의해 디스플레이되는 컨텐츠에 3-차원 효과를 제공하기 위해 순차적으로 지속될 것이다. 일 실시예에서, 소프트웨어 스마트폰은 기본적으로 안경들에 대한 프레임 선택, 및 업 렌더, 및 셔터 선택 지시들을 제공하고 있다.

대안적인 실시예에서, 소스로부터 제공되는 이미지 데이터는 전체 이미지들을 제공하여, 업-렌더링할 필요를 회피한다. 이러한 경우, 셔터 로직은 3-차원 효과를 제공하기 위해, 연속하여 전환되는 왼쪽 및 오른쪽 눈에 단순히 컨텐츠를 보일 것이다. 이와 같이, 3D 효과는 광학 장치(80)를 통해 스마트폰(60)에 의해 전달 또는 디스플레이되는 이미지 컨텐츠를 사전-포맷팅하여 또는 그렇지 않고 프로세싱될 수 있다. 그에 따라, 이러한 실시예에서, 셔터 로직은 단순히 스마트폰의 스크린에 의해 렌더링되는 이미지들의 프레임률과 동기화하고, 왼쪽/오른쪽 셔터링이 필요한 3-차원 효과를 제공한다. 몇몇 실시예에서, 이미지 데이터(예를 들어, 쌍방향 비디오)가 셔터 시스템과 사용하기 위해 전송되고 다른 실시예들에서, 이미지 데이터는 단순히 전송되고 하우징(70)의 전자 장치(90)에 의한 셔터링이 행해진다.

도 4c는 스트리밍 서비스로부터 도착하는 초당 30 프레임씩 도착하는 스트림의 예를 예시한다. 본 예에서, 안경의 셔터 시스템을 이용하여, 각 눈은 초당 15 프레임을 본다. 시간(0)에서, 폰은 확대된 왼쪽 눈 이미지 컨텐츠를 디스플레이할 것이고 컨텐츠를 보는 동안 셔터가 왼쪽 눈을 개방할 것이다. 시간(1)에서, 소프트웨어는 확대된 프레임으로부터의 오른쪽 눈 컨텐츠를 선택할 것이고 셔터는 오른쪽 눈이 폰 디스플레이의 전체 스크린을 볼 수 있게 할 것이다. 이러한 프로세스가 시간(2), 시간(3) 기타 등등에 대해 계속될 것이다. 다른 실시예들에서, 스마트폰(60)에 인입하는 이미지들의 스트림에 대한 프레임률은 대역폭에 따라 증가될 수 있다. 일 실시예에서, 스트림 프레임들의 프레임률이 초당 60 프레임인 경우, 각 눈은 초당 30 프레임을 볼 것이다. 기본적으로, 컨텐츠는 단순히 프레임의 이미지의 부분들을 선택하고 그 다음 디스플레이 스크린에 확대된 버전을 디스플레이할 셔터 시스템을 사용함으로써 풍부한 3-차원 컨텐츠가 되게 만들어질 수 있다. 위에서 언급된 바와 같이, 확대는 임의적이고, 시스템은 전체 수신된 이미지 프레임에 대해 작용하고 광학 장치(80)를 통해 셔터링 및 디스플레이할 수 있다. 프레임률은 또한 몇몇 실시예에서, 대역폭 및 처리력에 따라 초당 120, 240, 또는 그 이상 프레임일 수 있다.

또 다른 다른에서, 도 4b 및 도 4c를 참조하면, 3-차원 비디오 스트림이 헤드 장착 디스플레이(즉, 스마트폰(60)의 스크린(60a))에 송신된다. 3-차원 비디오 스트림의 각 프레임은 왼쪽 눈 이미지 및 오른쪽 눈 이미지 양자를 포함한다. 소정의 프레임이 양자가 아니라, 왼쪽 눈 이미지 또는 오른쪽 눈 이미지 중 어느 하나를 추출하도록 프로세싱된다. 소정의 프레임에 대해, 추출된 이미지(왼쪽 눈 또는 오른쪽 눈)는 헤드 장착 디스플레이의 디스플레이 크기에 맞추기 위해 업-렌더링되고, 헤드 장착 디스플레이의 셔터가 현재 추출되고 업-렌더링되는 소정의 프레임의 부분(왼쪽 눈 또는 오른쪽 눈 중 어느 하나)의 디스플레이를 가능하게 하도록 설정된다. 그 다음, 소정의 프레임의 추출되고 업-렌더링된 부분이 디스플레이된다.

순차적 프레임들에 대해, 추출, 업-렌더링, 셔터 설정, 및 디스플레이 동작들이 왼쪽 눈 이미지 및 오른쪽 눈 이미지 간에 교대로 일어나고, 그에 따라 소정의 프레임의 단지 왼쪽 눈 이미지 부분 또는 오른쪽 눈 이미지 부분이 프로세싱되며, 다른 프레임은 프로세싱되는 왼쪽 눈 이미지 부분 또는 오른쪽 눈 이미지 부분 중 다른 하나를 갖는 등이다. 평균 프레임률에 대해, 소정의 프레임의 단지 왼쪽 눈 이미지 부분 또는 오른쪽 눈 이미지 부분에 대한 프로세싱은 사람의 광학계에 구별가능하지 않고, 3-차원 비디오 스트림을 프로세싱 시 개선될 효율을 제공한다. 다시, 비디오 스트림은 또한 비-3D 이미지 데이터를 제공할 수 있으며, 이는 셔터링에 의해 주어진 3D 효과이다. 또한, 몇몇 실시예에서, 이미지 데이터는 반드시 업-렌더링될 필요가 없고, 전체 크기의 이미지들이 셔터링될 수 있다.

도 5는 전자 장치 유닛(90)의 예를 예시하며, 이는 다른 기능, 회로, 펌웨어, 로직, 프로세서들, 메모리 등을 포함할 수 있다. 이들 피처는 단지 대표적이고 몇몇 시스템은 구현에 따라 보다 많거나 보다 적은 디바이스를 포함할 수 있다. 도 5에 제공되는 일례에서, 전자 장치 유닛(90)은 안경(50)의 부분일 수 있다. 전자 장치 유닛(90)은 그래픽 프로세서 또는 GPU, 또는 일반 프로세서를 포함할 수 있는 프로세서(94)를 포함할 것이다. 몇몇 실시예에서, 다수의 프로세서 또는 다중 코어 프로세서가 제공될 수 있다. 프로세서들(94)은 안경 또는 헤드 장착 디바이스의 부분일 수 있는 관성 센서들(91)과 통신할 수 있다. 관성 센서들(91)은 모션, 움직임, 추측 항법, 및 추적에 대한 정보를 수집할 수 있다. 이러한 정보는 프로세서(94)와 공유될 수 있다.

다른 실시예에서, 복수의 광 다이오드는 하우징의 표면 상에 배치된다. 광 다이오드들은 하우징이 추적될 공간/룸에 위치되는 적어도 하나의 발광 디바이스를 사용하여 하우징의 위치를 추적하기 위해 사용된다. 예를 들어, 광 다이오드들은 예를 들어, 서로에 대해 알려진 물리적 간격들을 두고, 하우징의 표면 상에 배치될 수 있다. 발광기는 예를 들어, 광의 일부가 광 다이오드들에 접촉/도달하도록 광을 다양한 방향으로 분출할 수 있다. 타이밍 프로파일이 계산 또는 캘리브레이트되고, 그에 따라 타이밍이 알려지고 검출 및 방출과 싱크된다. 이러한 방식으로, 특정 광 다이오드들이 광을 검출할 때를 식별하는 것이 가능하고, 방출기(예를 들어, 룸에 배치되는 하나 이상의 회전 방출기들)의 위치 및 타이밍이 알려져 있기 때문에, 광 다이오드들을 갖는 하우징의 위치를 식별하는 것이 가능하다. HMD 시스템의 사용 동안 방출 및 검출이 지속될 때, HMD/하우징의 추적이 가능하게 된다.

프로세서는 또한 그 다음 제어가능한 광학 장치(93)와 인터페이싱할 수 있는 셔터 제어 로직(92)을 제어할 수 있으며, 이는 안경의 왼쪽 및 오른쪽 눈 광학 장치(80)를 제어할 수 있다. 일 실시예에서, 프로세서는 또한 프레임 버퍼(95) 및 메모리(96), 또는 단순히 (96)에 결합될 수 있다. 프레임 버퍼(95)는 또한 광학 장치(80)의 왼쪽 및 오른쪽 눈에 이미지 데이터를 제공하는 이미지 렌더링 로직(97)과 또한 통신할 수 있다. 예를 들어, 헤드 장착 디바이스(안경)(50)는 또한 스마트폰(60)에 의해 수신되고 스마트폰들의 스크린(60a)에 의해 디스플레이되는 컨텐츠와 융합될 수 있는 인터넷으로부터의 컨텐츠 또는 데이터의 별개의 공급을 수신할 수 있다. 일 실시예, 스마트폰(60)에 의해 디스플레이되는 컨텐츠는 헤드 장착 디스플레이(50)에 의해 제공되는 추가 컨텐츠로 증강될 수 있다. 일 실시예에서, 헤드 장착 디바이스(안경)(50)에 의해 획득되는 컨텐츠가 스마트폰에 의해 수신되고 디스플레이되는 컨텐츠와 융합, 다중화, 또는 맞물릴 수 있다. 예를 들어, 할 수 있다는 헤드 장착 디바이스에 의해 수신되는 컨텐츠 및 스마트폰(60)에 의해 수신되는 컨텐츠 사이에 개재될 수 있다.

다른 실시예들에서 디스플레이되는 컨텐츠에 따라, 오버레이들, 통신 정보, 제2 채널 챗 피드들, 소셜 네트워크 데이터, 사진 디스플레이 데이터에서의 사진 또는 다른 컨텐츠가 안경의 광학 장치를 통해 왼쪽 또는 오른쪽 또는 양쪽 눈에 제공될 수 있고 스마트폰 디바이스(60)에 의해 제공되는 데이터와 융합 또는 그것으로 대체 또는 그것과 교차될 수 있다. 일 실시예에서, 스마트폰 디바이스(60) 및 전자 장치 유닛(90)은 네트워크 인터페이스(99) 및 디바이스 인터페이스(98)를 포함할 수 있으며, 이들은 인터넷과의 통신을 가능하게 하고 다양한 컨텐츠 사이트에 대한 액세스를 제공할 것이다. 컨텐츠 사이트는 컨텐츠를 VR 렌더링, 이미지 생성, 통신, 소셜 네트워크 공유, 가상 현실 둘러보기, 목적지를 둘러보는 컨텐츠, 클라우드 게이밍 컨텐츠, 클라우드 엔터테인먼트 컨텐츠, 소셜 미디어 컨텐츠, 스트리밍 서버들, 부근의 헤드 장착 디스플레이 플레이어들, 및 다른 정보를 위한 디바이스들에 제공할 수 있다.

일 실시예에서, 활성 셔터 3D 시스템(예를 들어, 교대 프레임 시퀀싱, 교대 이미지 AI, 교번 필드, 필드 순차 또는 이클립스 방법)이 입체적 3D 이미지들을 디스플레이하기 위해 사용될 수 있다. 일 구성예에서, 시스템은 단지 오른쪽 눈의 뷰를 가리면서 왼쪽 눈에 대해 의도된 이미지를 제시한 다음, 왼쪽 눈을 가리면서 오른쪽 눈 이미지를 제시함으로써, 그리고 인터럽션들이 2개의 이미지의 단일 3D 이미지로의 인지된 융합을 방해하지 않도록 이를 빠르게 반복하여 작동한다.

몇몇 활성 셔터 3D 시스템은 액정 셔터 안경(또한 "LC 셔터 안경" 또는 "활성 셔터 안경"으로도 칭해짐)을 사용한다. OLED 스크린들이 또한 사용가능하다. 각 눈의 안경은 전압이 인가될 때 불투명이게 되고, 그렇지 않으면 투명하게 되는 속성을 갖는 액정 레이어를 포함한다. 안경은 스크린의 재생률과 동기화하여, 안경이 교대로 한쪽 눈을 그 다음 다른쪽 눈을 가릴 수 있게 하는 타이밍 신호에 의해 제어된다. 비디오 장비에 대한 타이밍 동기화는 유선 신호를 통해, 또는 적외선 또는 라디오 주파수 (예를 들어,　블루투스, DLP 링크) 송신기 중 어느 하나에 의해 무선으로 달성될 수 있다. 활성 셔터 3D 시스템들은 또한 몇몇 극장에 3D 필름들을 제시하도록 구현될 수 있고, 그것들은 CRT, 플라즈마, LCD 상에 3D 이미지들을, HMD 시스템들, VR 디스플레이 시스템들, 스마트폰들, 게임 콘솔들, 스크린들, 디스플레이들, 및 이들의 조합들 상에 3D 이미지들을 제시하기 위해 사용될 수 있다.

도 6은 다수의 사용자가 스마트폰(60)을 갖고 헤드 장착 디바이스(50)를 사용할 수 있는, 다중 플레이어 또는 다중 사용자 환경의 예를 예시한다. 일 실시예에서, 스마트폰들(60)은 스트리밍 VR 컨텐츠를 제공할 수 있는 클라우드 시스템과 통신할 수 있다. 일 실시예에서, 사용자들은 서로에 근접하여 밀접하게 될 수 있으며 이는 스마트폰들 및 VR 컨텐츠 믹싱과 연관된 소프트웨어 및 시스템들이 통신 모드들을 전환할 수 있게 할 수 있다. 예를 들어, 사용자들의 짝이 가상 현실 사이트 또는 위치 또는 상호작용 존을 공유하고 있는 경우, 컨텐츠의 일부 또는 전부가 피어로부터 클라우드 네트워크로의 모드 변경인, 피어-투-피어 네트워크(즉, 페어링된 모드로)를 통해 사용자들 간에 전달될 수 있다.

전환은 사용자의 근접성이 검출될 때, 또는 사용자가 설정하거나 요청할 때마다 시간이 흐르면서 동적으로 발생할 수 있다. 로컬 피어-투-피어 통신을 가능하게 함으로써 지연이 또한 감소될 수 있다. 쌍방형 비디오는 사용자들 양자에 스트리밍되고 있는 동안, 피어-투-피어로의 전환은 데이터, 예를 들어, 데이터 채널을 선택하기 위한 것일 수 있다. 예를 들어, 쌍방형 데이터는 서버로부터 각 사용자로 스트리밍되는 동안, 로컬 통신 이를테면 메시징, 챗, 오디오 채널들 및 알림들이 피어-투-피어를 통해 전달될 수 있다. 몇몇 경우, 몇몇 스트리밍 데이터가 한 사용자에게 전송될 수 있고 이러한 데이터는 예를 들어, 한 사용자가 다른 사용자보다 높은 대역폭 연결을 가질 때, 다른 사용자에게 공유된다. 그에 따라, 이들 실시예는 사용자들이 VR 공간들을 공유할 수 있게 그리고 데이터를 서로 간에 혼합된 모드 방식으로 전달할 수 있게 할 수 있으며, 이는 양자의 클라우드 시스템과의 통신 및 피어-투-피어 통신, 근거리 무선 통신, 와이파이 통신, 블루투스 통신, 또는 다른 연결된 유선 또는 무선 링크들의 임의의 조합들을 가능하게 할 수 있다.

도 7은 스마트폰(60)을 수용하기 위한 슬롯(71)을 포함할 수 있는 헤드 장착 디바이스(50)의 다른 예를 예시한다. 위에서 논의된 바와 같이, 스마트폰(60)은 연결기(40)를 통해 헤드 장착 디바이스 또는 하우징(70)에 연결될 수 있다. 연결기(40)는 유선 연결 또는 무선 연결일 수 있다. 스마트폰(60)이 하우징의 홀더(71)에 삽입되면, 스마트폰(60)은 그것의 전방 카메라가 전방을 향할 수 있게 할 수 있다. 일 실시예에서, 하우징은 스마트폰의 카메라가 가려지지 않고 전방을 볼 수 있도록 설계된다. 헤드 장착 디바이스(50)는 또한 위에서 설명된 바와 같이 전자 장치(90) 및 광학 장치(80)를 포함할 수 있다. 이러한 실시예에서, 헤드 장착 디바이스는 또한 HMD(50)의 하우징 상에 두 개의 추가 카메라, 이를테면 좌측 카메라 또는 우측 카메라를 포함할 수 있다. 이들 추가 카메라는 또한 사용자가 예를 들어, 패스 스루 모드(또는 수송 또는 반-수송 모드)에서, 사용자의 앞에 실 생활에 대한 가상 현실 장면들 및 실세계 장면들 간을 전환하려고 결정할 때 사용자의 앞에 컨텐츠의 3-차원 보기를 제공할 수 있다.

본 예에서, 헤드 장착 디바이스(50)의 전자 장치(90)는 그것들이 인터넷과 통신할 수 있는 무선 네트워크 인터페이스(99) 또는 유선 인터페이스를 포함할 수 있다. 스마트폰(60)은 하우징의 홀더(71)로 삽입되게 도시되고 또한 그것 자체의 인터넷 연결을 포함할 수 있다. 스마트폰의 카메라는 전방을 향하고 있으나, 다른 카메라들 또한 포함할 수 있다. 물론, 스마트폰(60)은 그것 자체의 관성 센서들(미도시)을 포함할 수 있다. 덧붙여, 헤드 장착 디바이스(50)는 또한 헤드 장착 디바이스(50)의 프로세서(94)와 통신하는 관성 센서들(91)을 포함할 수 있다. 헤드 장착 디바이스(50)의 관성 센서들(91)은 스마트폰의 관성 센서들과 통신할 수 있다.

일 실시예에서, VR 장면으로 컨텐츠를 볼 때 비정상적일 수 있는 긍정 오류들, 요동치는 움직임, 예기치 않은 모션들, 또는 트리거들을 회피하기 위해, 융합, 혼합, 또는 추측 항법이 헤드 장착 디바이스(50) 및 스마트폰(60)의 관성 센서들(91)로부터 수집되는 데이터 간에 발생할 수 있다. 본 예에서, 프로세서(94)는 오른쪽 및 왼쪽 눈들에 대한 광학 장치 제어부(93)와 통신하는 셔터 제어부(92) 및 우-좌 카메라 선택부와 통신한다. 메모리 및/또는 프레임 버퍼(95)는 또한 프로세서(94)가 폰의 디스플레이 스크린에 의해 제공되는 데이터와 상이한 데이터를 디스플레이 스크린에 제공할 수 있도록 또는 융합, 다중화, 오버레이, 메시지 오버레이, 소셜 연결 오버레이 기타 같은 종류의 것이 스마트폰에 의해 제공되는 컨텐츠에 더하여 헤드 장착 디바이스에 의해 제공될 수 있도록 제공될 수 있다. 일 실시예에서, 프로세서는 카메라 선택 우/좌를 선택하도록 작용할 수 있고, 그에 따라 헤드 장착 디바이스의 전방 좌측 및 우측 카메라들이 사용자가 디바이스를 통해 실세계를 보기 원할 때 활성화될 수 있다.

두 개의 카메라를 통해 실세계를 보는 것은 왼쪽 및 오른쪽 눈 간을 순차적으로 그리고 지속적으로 전환하는 셔터 제어부(92)를 통해 발생할 수 있다. 이러한 기능은 보다 실물과 똑같게 실세계과 연관된 이미지들을 제공할 것이고 단일 카메라 전방 시스템들에 의해 제공되지 않는 3-차원 깊이 관점들을 포함할 것이다. 또 다른 실시예에서, 헤드 장착 디바이스(50)의 전방 카메라는 이를테면 사용자들이 벽들, 대상들, 계단들, 또는 위험한 존들에 가까이 올 때 사용자들에게 권고하기 위해, 안전 피처들을 보조할 수 있다.

또 다른 다른에서, 도 4b 및 도 4c를 참조하면, 3-차원 비디오 스트림이 헤드 장착 디스플레이에 송신된다. 3-차원 비디오 스트림의 각 프레임은 왼쪽 눈 이미지 및 오른쪽 눈 이미지 양자를 포함한다. 소정의 프레임이 양자가 아니라, 왼쪽 눈 이미지 또는 오른쪽 눈 이미지 중 어느 하나를 추출하도록 프로세싱된다. 소정의 프레임에 대해, 추출된 이미지(왼쪽 눈 또는 오른쪽 눈)는 헤드 장착 디스플레이의 디스플레이 크기에 맞추기 위해 업-렌더링되고, 헤드 장착 디스플레이의 셔터가 현재 추출되고 업-렌더링되는 소정의 프레임의 부분(왼쪽 눈 또는 오른쪽 눈 중 어느 하나)의 디스플레이를 가능하게 하도록 설정된다. 그 다음, 소정의 프레임의 추출되고 업-렌더링된 부분이 디스플레이된다.

순차적 프레임들에 대해, 추출, 업-렌더링, 셔터 설정, 및 디스플레이 동작들이 왼쪽 눈 이미지 및 오른쪽 눈 이미지 간에 교대로 일어나고, 그에 따라 소정의 프레임의 단지 왼쪽 눈 이미지 부분 또는 오른쪽 눈 이미지 부분이 프로세싱되며, 다른 프레임은 프로세싱되는 왼쪽 눈 이미지 부분 또는 오른쪽 눈 이미지 부분 중 다른 하나를 갖는 등이다. 평균 프레임률에 대해, 소정의 프레임의 단지 왼쪽 눈 이미지 부분 또는 오른쪽 눈 이미지 부분에 대한 프로세싱은 사람의 광학계에 구별가능하지 않고, 3-차원 비디오 스트림을 프로세싱 시 개선될 효율을 제공한다.

다른 실시예들에서, 카메라들은 HMD 또는 스마트폰과 별도로 제공될 수 있다. 카메라들은 HMD를 추적하기 위해 HMD를 향해 지향될 수 있다. 몇몇 실시예에서, HMD 상이 카메라들, 폰 상의 카메라들, 및 HMD를 보는 카메라들(예를 들어, 컴퓨터에 연결될 때)을 포함할 수 있는 카메라들의 조합들이 함께 사용될 수 있다. 이와 같이, 도 1a 내지 도 7을 참조하여 설명된 실시예들 또는 실시예들의 부분들은 다양한 혼성 실시예들을 정의하기 위해, 도 8 내지 도 12를 참조하여 설명될 부분들, 구성요소들, 피처들 또는 실시예들과 조합될 수 있다는 것이 이해되어야 한다.

앞서 말한 내용을 유념하여, 추가 실시예들이 도 8 내지 도 12를 참조하여 설명된다.

일례로, 사용자에 의해 착영된 HMD는 사용자에게 비디오 게임들, 영화들, 인터넷 컨텐츠, 및 다른 유형들의 쌍방형 및 비-쌍방형 컨텐츠를 포함할 수 있는 풍부한 멀티미디어 컨텐츠를 보기 위한 액세스를 제공한다. HMD이 추적은 시스템들의 조합을 사용하여 수행된다. 시스템들을 제한 없이, HMD의 관성 센서들 및 하나 이상의 카메라들를 사용하는 광학 추적을 포함한다. 광학 추적에서 사용되는 카메라는 HMD를 착용한 사용자의 비디오를 캡처할 수 있고, 그에 따라 사용자가 HMD를 갖고 이리저리 이동할 때, HMD의 위치, 배향 및 움직임들을 결정하기 위해 비디오 프레임들이 분석될 수 있다. 개략적으로 말하면, HMD에 의해 제시되는 몇몇 컨텐츠는 동적으로 HMD의 움직임에 따른다.

예를 들어, HMD가 뷰를 장면으로 제공하는 경우, 사용자는 장면의 다른 부분들을 보기 위해 그 또는 그녀의 머리를 자연적으로 이동할 수 있다. 비디오 게임의 예에서, HMD를 착용한 사용자는 가상 장면 속을 그리고 그 주위를 이리저리 이동하기 위해 그 또는 그녀의 머리를 임의의 방향으로 이동할 수 있다. 일 실시예에서, 가상 장면은 풍부한 3차원(3D) 형식으로 렌더링된다. 결과적으로, HMD에서 컨텐츠를 매끄럽게 렌더링하기 위해, HMD의 움직임이 고성능으로 추적될 것이다.

도 8a 및 도 8b에 도시된 HMD의 일 구성예에서, 클라이언트 시스템(106)과 통신하도록 구성되어, HMD에 제시되는 컨텐츠를 렌더링한다. 컨텐츠(예를 들어, 게임, 영화, 비디오, 오디오, 이미지, 멀티미디어 등)은 몇몇 실시예에서, 클라우드 게이밍 인프라스트럭처를 사용하여 원격 서버 또는 원격 서버들로부터 스트리밍될 수 있다. 몇몇 예에서, 컨텐츠는 렌더링할 클라이언트 시스템(106)에 다운로드되고 그 다음 HMD에 전달된다.

위에서 언급된 바와 같이, 추적은 HMD 내에 배치되는 관성 센서들의 사용을 포함할 수 있다. 예시적인 관성 센서들은 하나 이상의 가속도계 및 하나 이상의 자이로스코프를 포함한다. 몇몇 구현예들은 보다 많거나 보다 적은 관성 센서를 포함할 수 있다. 관성 센서들에 더하여, 카메라를 사용하여 HMD가 추적될 수 있다. HMD는 일 실시예에서, 마커들로서 작용하는, 몇몇 광(예를 들어, 발광 다이오드(LED))과 구성된다. 그 다음 마커들은 클라이언트 시스템에 의해, 카메라에 의해 캡처되는 하나 이상의 비디오 프레임을 분석함으로써 용이하게 식별될 수 있다. 일 구성예에서, HMD는 전면 유닛(예를 들어, 또한 본 출원에서 광학 블록으로 지칭된다)의 네 개의 코너 상에 네 개의 LED를 그리고 후부 상에 두 개의 LED를 포함한다.

전면 유닛(102a)은 일례로, 각 측면 상에 전면 및 측면을 포함하며, 여기서 전면 및 측면들은 실질적으로 연속적인 표면을 획정한다. 본 출원에 제공되는 다양한 예에서, 전면 LED는 전면 유닛(102a)의 하우징에 획정되고, LED들이 턴 온될 때 조명할 수 있는 투명한 플라스틱을 갖고 배치된다. 나아가, 몇몇 실시예에서, 전면 LED는 부분적 L-형상, 또는 만곡된 L-형상, 또는 부메랑 형상, 또는 만곡된 직사각형, 또는 곡선, 또는 점, 또는 원, 또는 패턴, 또는 이들의 조합들을 획정하기 위해, 전면 상에 부분적으로 그리고 측면 상에 부분적으로 배치되도록 구성될 수 있다.

이러한 형상은 사용자가 카메라(108)를 바로 마주볼 때 그리고 사용자가 카메라(108)를 바로 마주본 것으로부터 회전하기 시작할 때 전면 유닛(102a)의 추적을 가능하게 한다. 사용자가 측면을 향하고 나아가 카메라를 바로 마주본 것으로부터 떨어질 때, 전면 LED들은 단지 전면의 하나의 측면 상의 LED가 보이고 배면 상의 LED들 중 하나가 보일 때까지 보일 것이다. 이는 전면 LED들로부터 전면 및 배면 LED들로의 전환이다. 이러한 전환으로 인해, 위에서 언급된 바와 같이, 전면 및 배면 LED들 간 이격 거리가 요구되고, 그에 따라 정확한 추적이 진행될 수 있다.

더 나아가, HMD를 착용한 사용자가 카메라를 마주 볼 때, 카메라는 모든 네 개의 LED를 볼 수 있어야 한다. 네 개의 전면 LED의 이격이 클라이언트 시스템(106)에 알려진다. 예를 들어, HMD의 기하학적 모델은 HMD를 착용할 때 사용자의 머리의 깊이(카메라에 관한) 및 배향을 결정하기 위해, 클라이언트 시스템(106) 상에서 실행되는 프로그램들에 의해 액세스될 수 있다. 예를 들어, 네 개의 LED가 일 실시예에서 코너들 상에 배치될 수 있기 때문에(예를 들어, 직사각형 형상의 윤곽을 보이며), 사용자가 아래, 위 또는 측면들로 보고 있는 경우 캡처된 비디오 프레임들로부터 결정하는 것이 가능하다.

그러나, HMD에 렌더링될 수 있는 쌍방향 컨텐츠가 사실상 무한할 수 있기 때문에, 사용자는 대부분 모든 치수의 가상 장면을 보고 이와 상호작용할 수 있다. 그에 따라, HMD를 착용한 사용자는 그 또는 그녀의 머리를 임의의 방향으로 돌리려고 결정할 수 있으며, 카메라에 대해 반드시 항상 전방일 필요는 없다. 사실상, 렌더링되는 컨텐츠(예를 들어, 실감 쌍방향 비디오 게임들, 무브들, 가상 둘러보기들, 클립들, 오디오, 및 이들의 조합들)에 따라, 사용자들은 여러번 카메라의 측면들을 그리고 카메라에서 바로 떨어져 향할 것이다.

그러한 쌍방향 세션들 동안, HMD를 추적하는 카메라는 전면 네 개의 LED를 보는 것으로부터 전면 LED들 중 측면의 두 개를 그리고 또한 후면 LED들 중 하나를 보는 것으로 갈 것이다. 전면 네 개의 LED가 여전히 고정된 상대 배향에 남아 있으나, HMD의 기하학적 모델에 기초하여, 후면 LED들이 HMD의 헤드밴드의 조절된 설정에 따라 위치가 변화할 수 있다. 예를 들어, 보다 작은 머리를 갖는 사용자가 헤드밴드를 딱 맞게 조절하는 경우, 다른 사용자의 보다 큰 머리에 조절된 설정에 관해, 전면 LED들 및 후면 LED(예를 들어, 측면에서 볼 때) 간 거리가 가까워질 것이다.

헤드밴드 조절의 변화를 고려하기 위해, 프로세스는 HMD의 기하학적 모델을 캘리브레이트하도록 구성되고, 그에 따라 전면의 LED들 및 후면의 LED(예를 들어, 사용자가 그 또는 그녀의 머리를 카메라에 대한 법선으로부터 떨어져 돌릴 때 측면에서 볼 때)가 HMD에 장면 컨텐츠를 정확하게 렌더링하기 위해 그리고 원하는 관점, 각도 및/또는 배향으로부터의 장면들을 제공하기 위해 사용될 수 있게 된다. 일 구현예에서, 기하학적 모델은 컴퓨터 모델이며, 이는 캐드(CAD; computer aided design) 드로잉이 보일 수 있는 것과 유사하게, HMD(102)의 치수들 및/또는 3-차원 윤곽들을 저장/포함한다. 그러나, 기하학적 모델은 드로잉으로서 디스플레이되는 것이 아니라, 데이터 세트로서 저장되며, 이는 정확한 추적을 가능하게 하기 위해 게임들, 또는 영화들, 또는 소프트웨어, 또는 펌웨어, 또는 하드웨어, 또는 이들의 조합들에 의해 액세스가능하다.

계속해서 에로서, HMD(102)의 3-차원 윤곽들은 일 실시예에서, HMD의 각 형상의 윤곽들 및 LED 영역들의 형상들, 윤곽의 형상들에 관한 LED들의 위치들, HMD의 물리적 구조들의 각도들 및 윤곽들, 및 HMD의 피처들 및 구성들의 치수들을 정의하는 데이터 세트들을 포함할 수 있다. 특히, 기하학적 모델은 전면 유닛(102a) 상의 LED들의 정확한 상대적 배치를 정의하는 치수 데이터를 포함할 수 있다. 그러나, 후면 LED들이 조절가능한 헤드밴드에 결합될 때, 이격 거리는 캘리브레이션 동안 업데이트되어야 하며, 그에 따라 기하학적 모델이 전면 및 후면 LED들 간 보다 정확한 거리로 업데이트될 수 있게 된다.

일 실시예에서, 캘리브레이션 프로세스는 비디오 프레임들의 분석이 (예를 들어, 단지 전면 LED들이 보일 때로 시작하여) 후면 LED들 중 하나가 보인다고 결정한 후 개시하도록 구성될 수 있다. 예를 들어, 세션(예를 들어, 게임 플레이 또는 반복적 세션)의 시작 시, 사용자는 HMD를 카메라쪽으로 향할 것이라는 것이 보통이다. 몇몇 점에서, 사용자는 그의 머리를 카메라에서 떨어져 돌릴 것이며, 이는 후면 LED들 중 적어도 하나를 드러낼 것이다. 이러한 점에서, 진행되고 있는 비디오 프레임들의 분석은 후면 LED의 외관을 검출할 것이다.

일 실시예에서, 프로세스는 사용자가 보이는 후면 LED 및 보이는 전면 LED들을 관성 데이터와 연관시키기 위해 계속해서 이동할 때 몇몇 프레임을 분석할 것이다. 예를 들어, 각 프레임마다 제공되는 관성 데이터는 보이는 후면 LED 및 보이는 전면 LED들 간 추정된 이격 거리를 연관시키기 위해 사용된다. 일례로, HMD로부터의 자이로스코프 데이터가 HMD가 이동할 때, 사용자의 머리에 의한 회전 모션을 결정하기 위해 사용된다. 나아가, 예로서, HMD로부터의 가속도계 데이터가 움직임, 이를테면 위치(예를 들어, 틸트/피치) 및 회전을 결정하기 위해 사용된다.

그에 따라, HMD의 캡처된 비디오 프레임들로부터의 이미지 데이터를 사용하여(즉, 후면 및 전면의 LED들이 보일 때), 이미지 데이터와 조합된 관성 데이터는 HMD의 헤드밴드의 현재 사이즈 설정에 대해, 전면의 LED들 및 후면의 LED 간 추정된 이격 거리를 렌더링할 것이다. 그 다음 이러한 데이터는 추정된 이격 거리를 포함하는, HMD의 기하학적 모델을 캘리브레이트하기 위해 사용된다. 일 실시예에서, 캘리브레이션은 시간에 따라 업데이트될 수 있고, 또한 HMD의 각 측면에 대해 독립적으로 캘리브레이트될 수 있다.

HMD의 기하학적 모델에 대한 캘리브레이션이 완료되면, 사용자는 세션 동안 상호작용으로 진행할 수 있다. 그러나, 세션이 완료되면, 상이한 사용자가 HMD에 액세스하기를 원할 수 있다는 것이 가능하다. 그러한 시간에, 또한 새로운 사용자가 HMD의 헤드밴드를 다른 사이즈로 조절할 가능성이 있으며, 이는 전면의 LED들 및 후면의 LED들 간 실제 이격 거리의 변화를 야기할 것이다. 일 실시예에서, 새로운 세션이 이전에 업데이트된 캘리브레이션 또는 원래 기하학적 모델로부터의 치수들 중 어느 하나를 사용하여 시작될 수 있다.

시작 시, 게임 플레이 또는 쌍방향 세션이 매끄럽게 진행될 것이며, 여기서 HMD에 제시되는 장면은 사용자의 머리의 움직임들에 기초하여 렌더링될 것이다. 이는 HMD를 착용한 사용자가 카메라 전방을 향하고 있는 동안 그러할 것이며, 여기서 HMD의 전면의 네 개의 LED 간 고정된 이격이 알려져 있다. 그러나, 사용자가 카메라에서 떨어져 회전하고 후면의 LED가 발견되면, 시스템은 자동 캘리브레이션 없이, HMD에 렌더링되는 컨텐츠의 점프 또는 팝을 볼 것이다. 이는 위치를 식별하기 위해 LED들의 마커 추적을 이용하는 HMD의 추적이 HMD의 진위치와의 싱크에서 벗어날 때 그러하다.

일 실시예에서, 리-캘리브레이션이 요구되는지 여부에 관한 결정이 사용자가 HMD를 측면으로 향하게 할 때마다 수행되며, 이때 전면 및 후면의 LED들이 보이게 된다(즉, 단지 전면 또는 단지 후면의 LED들이 보일 때에서 발생된다). 일례로, 캘리브레이션이 현재 세션 동안 발생했고, 세션이 현재 캘리브레이션으로 진행되고 있는 경우, 시스템은 현재 캘리브레이션이 여전히 미리 정의된 허용 오차 마진 내에 있는지를 결정하기 위해 백그라운드에서 캘리브레이션을 실행할 것이다. 예를 들어, 동일한 사용자가 게임 플레이 동안 헤드밴드를 조절하였거나, 작은 사이즈 조절을 위해 HMD를 벗었거나, 또는 몇몇 다른 사람이 잠깐 HMD를 착용해 보았던 경우, 전면 및 후면 간 실제 이격은 초기 캘리브레이션 동안의 이격을 추정하기 위해 사용되었던 것과 상이할 것이다.

허용 오차 마진은 새로운 백그라운드 캘리브레이션이 돌발들, 스킵들 또는 팝들을 렌더링하는 것이 발생할 가능성이 있을 것임을 보이는 경우(예를 들어, HMD에 렌더링되는 비디오 이미지들에서), 새로운 캘리브레이션이 현재 캘리브레이션이 되어야 하도록 구성 또는 선택된다.

또 다른 실시예에서, HMD는 플래그를 설정할 헤드밴드 조절 검출기를 포함할 것이다. 플래그는 시스템 및/또는 게임 실행에 의해 판독될 수 있으며, 이는 기하학적 모델의 리캘리브레이션을 필요로 하는데 사용될 수 있다. 예를 들어, 사용자가 HMD의 사용 동안 헤드밴드를 조절하는 경우, 시스템은 캘리브레이션이 다시 실행되어야 한다는 플래그를 통해 경보를 받을 수 있다. 동일한 시션이 진행 중에 있더라도, 다른 사용자가 HMD를 착용해 보았기 때문에 조절이 발생했던 경우에서도 마찬가지일 수 있다. 계속해서 추가 실시예들에서, 플래그는 새로운 세션의 시작 시 또는 시스템이 HMD가 계속해서 이동되었거나 얼마간 이동하지 않았음을 검출할 때 생성될 수 있다. 그러한 표시자들은 헤드밴드가 새로운 세션이 발생하기 전 또는 심지어 세션 동안 조절되었을 수 있을 가능성으로서 보여질 수 있다.

도 8a는 본 발명의 실시예에 따른, 비디오 게임의 쌍방향 게임플레이를 위한 시스템을 예시한다. 사용자(100)는 헤드 장착 디스플레이(HMD)(102)를 착용한 것으로 도시된다. HMD(102)는 안경, 고글, 또는 헬멜과 유사한 방식으로 착용되고, 사용자(100)에게 비디오 게임 또는 다른 컨텐츠를 디스플레이하도록 구성된다. HMD(102)는 사용자의 눈에 매우 근접한 그것의 디스플레이 메커니즘들(예를 들어, 광학 장치 및 디스플레이 스크린들)의 제공 및 HMD에 전달되는 컨텐츠의 형식으로 인해 사용자에게 실감 경험을 제공하도록 구성된다. 일례로, HMD(102)는 사용자의 시계의 큰 부분 또는 심지어 전체를 차지하는 디스플레이 영역들을 사용자의 눈의 각각에 제공할 수 있다.

일 실시예에서, HMD(102)가 컴퓨터(106)에 연결될 수 있다. 컴퓨터(106)에 대한 연결은 유선 또는 무선일 수 있다. 컴퓨터(106)는 이에 한정되는 것은 아니지만, 게임 콘솔, 개인용 컴퓨터, 랩탑, 태블릿 컴퓨터, 모바일 디바이스, 셀룰러 폰, 태블릿, 신 클라이언트, 셋탑 밧스, 미디어 스트리밍 디바이스 등을 포함하여, 임의의 범용 또는 전용 컴퓨터일 수 있다. 몇몇 실시예에서, HMD(102)는 인터넷에 바로 연결할 수 있으며, 이는 별개의 로컬 컴퓨터 필요 없이 클라우드 게임을 가능하게 할 수 있다. 일 실시예에서, 컴퓨터(106)는 비디오 게임(및 다른 디지털 컨텐츠)을 실행하도록, 그리고 HMD(102)에 의해 렌더링할 비디오 게임으로부터 비디오 및 오디오를 출력하도록 구성될 수 있다. 컴퓨터(106)는 또한 본 출원에서 클라이언트 시스템(106a)으로서 지칭되며, 일례로 비디오 게임 콘솔이다.

컴퓨터는 몇몇 실시예에서, 로컬 또는 원격 컴퓨터일 수 있고, 컴퓨터는 에뮬레이션 소프트웨어를 실행할 수 있다. 클라우드 게이밍 환경에서, 컴퓨터는 원격에 있고 데이터 센터들에서 가상화될 수 있는 복수의 컴퓨팅 서비스로 표현될 수 있으며, 여기서 게임 시스템들/로직은 가상화되고 네트워크를 통해 사용자에게 분배될 수 있다.

사용자(100)는 비디오 게임에 대한 입력을 제공하도록 제어기(104)를 작동할 수 있다. 일례로, 카메라(108)는 사용자(100)가 위치되는 쌍방향 환경의 이미지를 캡처하도록 구성될 수 있다. 이들 캡처된 이미지가 사용자(100), HMD(102), 및 제어기(104)의 위치 및 움직임들을 결정하기 위해 분석될 수 있다. 일 실시예에서, 제어기(104)는 그것의 위치 및 배향을 결정하기 위해 추적될 수 있는 광(또는 광들)을 포함한다. 추가적으로, 아래에서 더 설명될 바와 같이, HMD(102)은 게임 플레이 동한 사실상 실시간으로 HMD(102)의 위치 및 배향을 결정하기 위해 마커들을 따라 추적될 수 있는 하나 이상의 광을 포함할 수 있다.

카메라(108)는 쌍방향 환경으로부터 소리를 캡처하기 위해 하나 이상의 마이크로폰을 포함할 수 있다. 마이크로폰에 의해 캡처되는 소리는 소리원의 위치를 식별하기 위해 프로세싱될 수 있다. 식별된 위치로부터의 소리는 식별된 위치로부터가 아닌 다른 소리들의 배제를 위해 선택적으로 이용 또는 프로세싱될 수 있다. 뿐만 아니라, 카메라(108)는 다수의 이미지 캡처 디바이스(예를 들어 입체 카메라들의 쌍), IR 카메라, 깊이 카메라, 및 이들의 조합들을 포함하는 것으로 정의될 수 있다.

몇몇 실시예에서, 컴퓨터(106)는 컴퓨터(106)의 프로세싱 하드웨어 상에서 로컬로 게임들을 실행할 수 있다. 게임들 또는 컨텐츠는 네트워크(110)를 통해, 임의의 형태, 이를테면 물리적 미디어 형태(예를 들어, 디지털 디스크들, 테이프들, 카드들, 썸 드라이브들, 고체 상태 칩들 또는 카드들 등)로 또는 인터넷으로부터의 다운로드를 통해 획득될 수 있다. 다른 실시예에서, 컴퓨터(106)는 클라우드 게이밍 제공자(112)와 네트워크를 통해 통신하는 클라이언트로서 기능한다. 클라우드 게이밍 제공자(112)는 비디오 게임이 사용자(100)에 의해 플레이되게 유지할 수 있다. 컴퓨터(106)는 HMD(102), 제어기(104) 및 카메라(108)로부터 클라우드 게이밍 제공자로 입력들을 송신하며, 이는 실행 비디오 게임의 게임 상태에 영향을 미칠 입력들을 프로세싱한다. 실행 비디오 게임으로부터의 출력, 이를테면 비디오 데이터, 오디오 데이터, 및 햅틱 촉각 피드백은 컴퓨터(106)로 송신된다. 컴퓨터(106)는 송신 전 데이터를 더 프로세싱할 수 있거나 데이터를 관련 디바이스들로 바로 송신할 수 있다. 예를 들어, 비디오 및 오디오 스트림들이 HMD(102)에 제공되는 반면, 진동 피드백 명령은 제어기(104)로 제공된다.

일 실시예에서, HMD(102), 제어기(104), 및 카메라(108)는 그것들 자체로 클라우드 게이밍 제공자(112)와 통신하기 위해 네트워크(110)로 연결하는 네트워킹된 디바이스들일 수 있다. 예를 들어, 컴퓨터(106)는 로컬 영역 디바이스, 이를테면 라우터일 수 있으며, 이는 달리 비디오 게임 프로세싱을 수행하지는 않으나, 네트워크 트래픽 통과를 용이하게 한다. HMD(102), 제어기(104), 및 카메라(108)의 네트워크로의 연결들은 유선 또는 무선일 수 있다. 몇몇 실시예에서, HMD(102) 상에서 실행되거나 디스플레이(107) 상에 디스플레이가능한 컨텐츠는 임의의 컨텐츠 소스(120)로부터 획득될 수 있다. 예시적인 컨텐츠 소스들은 예를 들어, 다운로드가능한 컨텐츠 및/또는 스트리밍 컨텐츠를 제공하는 인터넷 웹사이트들을 포함할 수 있다. 몇몇 예들로, 컨텐츠는 임의의 유형의 멀티미디어 컨텐츠, 이를테면 영화들, 게임들, 정적/동적 컨텐츠, 사진들, 소셜 미디어 컨텐츠, 소셜 미디어 웹사이트들 등을 포함할 수 있다.

아래에서 보다 상세하게 설명될 바와 같이, 플레이어(100)는 HMD(102) 상에서 게임을 플레이할 수 있으며, 여기서 그러한 컨텐츠는 실감 3D 쌍방향 컨텐츠이다. HMD(102) 상의 컨텐츠는 플에이어가 플레이하고 있는 동안, 디스플레이(107)로 공유될 수 있다. 일 실시예에서, 디스플레이(107)로 공유되는 컨텐츠는 플레이어(100)에 근접한 또는 원격의 다른 사용자들이 사용자의 플레이를 함께 볼 수 있게 할 수 있다. 계속해서 추가 실시예들에서, 디스플레이(107) 상에서 플레이어(100)의 게임 플레이를 보는 다른 플레이어는 플레이어(100)와 쌍방향으로 참여할 수 있다. 예를 들어, 디스플레이(107) 상에서 플레이를 보는 사용자는 게임 장면의 캐릭터들을 제어하고/하거나, 소셜 상호작용을 제공하고/하거나, 코멘트들(텍스트, 음성, 액션들, 제스처들 등을 통해)을 제공할 수 있으며, 이는 HMD(102)를 착용하지 않고 있는 사용자들이 플레이어(100)와 HMD(102)에 렌더링되는 게임 플레이 또는 컨텐츠를 사교적으로 상호작용하게 한다.

도 8b는 본 발명의 실시예에 따른, 헤드 장착 디스플레이(HMD)를 예시한다. 도시된 바와 같이, HMD(102)는 복수의 광(200A-H, J 및 K)(예를 들어, 여기서 200K 및 200J는 HMD 헤드밴드의 후면 또는 배면을 향해 위치된다)을 포함한다. 이들 광의 각각은 특정 형상들 및/또는 위치들을 갖도록 구성될 수 있고, 동일한 또는 상이한 색상들을 가지도록 구성될 수 있다. 광들(200A, 200B, 200C, 및 200D)은 HMD(102)의 전면 상에 배치된다. 광들(200E 및 200F)은 HMD(102)의 측면 상에 배치된다. 광들(200G 및 200H)은 HMD(102)의 전면 및 측면에 걸쳐 이어지기 위해, HMD(102)의 코너들에 배치된다. 광들은 사용자가 HMD(102)를 사용하는 쌍방향 환경의 캡처된 이미지들에서 식별될 수 있음이 이해될 것이다.

광들의 식별 및 추적에 기초하여, 쌍방향 환경에서 HMD(102)의 위치 및 배향이 결정될 수 있다. 광들 중 일부는 이미지 캡처 디바이스에 관해 HMD(102)의 특정 배향에 따라 보일 수 있거나 그렇지 않을 수 있음이 또한 이해될 것이다. 또한, 광들(예를 들어 광들(200G 및 200H))의 상이한 위치들이 이미지 캡처 디바이스에 관한 HMD(102)의 배향에 따라 이미지 캡처 동안 드러날 수 있다. 몇몇 실시예에서, 관성 센서들이 HMD(102)에 배치되며, 이는 광들 없이도, 위치에 관한 피드백을 제공한다. 몇몇 실시예에서, 광들 및 관성 센서들은 위치/모션 데이터의 혼합 및 선택을 가능하게 하도록 함께 작용한다.

일 실시예에서, 광들은 HMD의 현재 상태를 부근의 다른 것들에 표시하도록 구성될 수 있다. 예를 들어, 광들 중 일부 또는 전부가 특정 색상 배치, 세기 배치를 갖도록, 깜빡이게 구성되도록, 특정 온/오프 구성, 또는 HMD(102)의 현재 상태를 표시하는 다른 배치를 갖도록 구성될 수 있다. 예로서, 광들은 비디오 게임의 활동적 게임플레이(일반적으로 활성 타임라인 동안 또는 게임의 장면 내에서 발생하는 게임 플레이) 대 비디오 게임의 다른 비-활동적 게임 플레이 양상들, 이를테면 네비게이팅 메뉴 인터페이스들 또는 게임 설정 구성(게임 타임라인 또는 장면이 비활성이거나 중지될 수 있는 동안) 동안 상이한 구성들을 디스플레이하도록 구성될 수 있다. 광은 또한 게임 플레이의 상대적 강도 레벨들을 표시하도록 구성될 수 있다. 예를 들어, 광들의 세기, 또는 깜빡임 속도는 게임플레이의 강도가 증가할 때 증가할 수 있다.

HMD(102)는 추가적으로 하나 이상의 마이크로폰을 포함할 수 있다. 예시된 실시예에서, HMD(102)는 HMD(102)의 전면 상에 획정되는 마이크로폰들(204A 및 204B), 및 HMD(102)의 측면 상에 획정되는 마이크로폰(204C)을 포함한다. 마이크로폰들의 어레이를 이용함으로써, 마이크로폰들의 각각으로부터의 소리가 소리원의 위치를 결정하기 위해 프로세싱될 수 있다. 정보는 원치 않은 소리원들의 배체, 시각적 표시와 소리원의 연관 등을 포함하여, 다양한 방법으로 이용될 수 있다.

HMD(102)는 또한 하나 이상의 이미지 캡처 디바이스를 포함할 수 있다. 예시된 실시예에서, HMD(102)는 이미지 캡처 디바이스들(202A 및 202B)을 포함하는 것으로 도시된다. 입체적 이미지 캡처 디바이스들의 쌍을 이용함으로써, 환경의 3-차원(3D) 이미지들 및 비디오가 HMD(102)의 관점에서 캡처될 수 있다. 그러한 비디오는 HMD(102)를 착용하는 동안 사용자에게 "비디오 시-스루" 능력을 제공하기 위해 사용자에게 제시될 수 있다. 즉, 사용자가 엄격한 의미에서 HMD(102)를 통해 볼 수 없으나, 그럼에도 불구하고 이미지 캡처 디바이스들(202A 및 202B)에 의해 캡처되는 비디오는 마치 HMD(102)를 통해 보는 것 처럼 HMD(102)의 외부 환경을 볼 수 있는 것과 동등한 기능을 제공할 수 있다.

그러한 비디오는 증강된 현실 경험을 제공하기 위해 가상 요소들로 증강될 수 있거나, 또는 가상 요소들과 다른 방법들로 조합 또는 융합될 수 있다. 예시된 실시예에서, 두 개의 카메라가 HMD(102) 상의 전면 상에 도시되지만, 외부를 향하는 임의의 수의 카메라가 있을 수 있거나 단일 카메라가 HMD(102) 상에 설치되고 임의의 방향으로 배향될 수 있음이 이해될 것이다. 예를 들어, 다른 실시예에서, 환경의 추가 파노라마 이미지 캡처를 제공하기 위해 HMD(102)의 측면들 상에 장착되는 카메라들이 있을 수 있다.

도 9는 사용자(100)의 HMD(102)에 비디오 게임 컨텐츠를 렌더링할 수 있는 클라이언트 시스템(106)을 사용하는 게임플레이의 일례를 예시한다. 이러한 예시에서, HMD에 제공되는 게임 컨텐츠는 풍부한 쌍방향 3-D 공간에 있다. 위에서 논의된 바와 같이, 게임 컨텐츠는 클라이언트 시스템(106)에 다운로드될 수 있거나 일 실시예에서 클라우드 프로세싱 시스템에 의해 실행될 수 있다. 클라우드 게이밍 서비스(112)는 사용자들(140)의 데이터베이스를 포함할 수 있으며, 이들은 특정 게임들에 액세스하고, 다른 친구들과 경험들을 공유하고, 코멘트들을 달며, 그들의 계정 정보를 관리할 수 있게 된다.

클라우드 게이밍 서비스는 또한 특정 사용자들에 대한 게임 데이터(150)를 저장할 수 있으며, 이는 게임 플레이 동안, 게임 플레이 이후, 소셜 미디어 네트워크로 공유하는데, 또는 트로피들, 상들, 상태, 랭킹 등을 저장하기 위해 사용가능할 수 있다. 소셜 데이터(160)는 또한 클라우드 게이밍 서비스(112)에 의해 관리될 수 있다. 소셜 데이터는 인터넷(110)을 통해 클라우드 게이밍 서비스(112)와 인터페이싱될 수 있는, 별개의 소셜 미디어 네트워크에 의해 관리될 수 있다. 인터넷(110)을 통해, 임의의 수의 클라이언트 시스템(106)이 컨텐츠에 액세스하고 다른 사용자들과 상호작용하기 위해 연결될 수 있다.

계속해서 도 9의 예를 이용하여, HMD에 보이는 3-차원 쌍방향 장면은 게임 플레이, 이를테면 3-D 뷰에 예시된 캐릭터들을 포함할 수 있다. 하나의 캐릭터, 예를 들어 P1은 HMD(102)를 착용하고 있는 사용자(100)에 의해 제어될 수 있다. 이러한 예는 두 명의 플레이어 간 농구 장면을 보이며, 여기서 HMD 사용자(100)가 3-D 뷰에서 다른 캐릭터 상의 공을 덩크 슛하고 있다. 다른 캐릭터는 게임의 AI(인공 지능)일 수 있거나, 또는 다른 플레이어 또는 플레이어들(Pn)에 의해 제어될 수 있다. HMD(102)를 착용하고 있는 사용자(100)는 사용 공간 속에서 이동하고 있는 것으로 도시되며, 여기서 HMD는 사용자의 머리의 움직임들 및 몸 위치들에 기초하여 이리저리 이동할 수 있다. 카메라(108)는 룸에서 디스플레이 스크린 위에 위치되게 도시되나, HMD 사용을 위해, 카메라(108)가 HMD(102)의 이미지들을 캡처할 수 있는 임의의 위치에 배치될 수 있다. 이와 같이, 사용자(102)는 카메라(108) 및 디스플레이(107)로부터 약 90도로 회전되게 도시되는데, 이는 카메라(108)의 관점에서, HMD(102)에 렌더링되는 컨텐츠가 HMD(102)가 위치되는 방향에 따를 수 있기 때문이다. 물론, HMD 사용 동안, HMD에 의해 렌더링되는 동적 가상 장면들을 이용하기 위해 요구될 수 있을 때, 사용자(100)는 돌아다니고, 그의 머리를 돌리며, 다양항 방향으로 보고 있을 것이다.

도 10은 일 실시예에 따른, 사용 동안의 HMD(102)를 착용하고 있는 사용자를 예시한다. 본 예에서, HMD가 카메라(108)에 의해 캡처된 비디오 프레임들로부터 획득되는 이미지 데이터를 사용하여 추적되는 것(802)이 도시된다. 추가적으로, 제어기가 또한 카메라(108)에 의해 캡처된 비디오 프레임들로부터 획득되는 이미지 데이터를 사용하여 추적될 수 있다는 것(804)이 도시된다. 또한 HMD가 케이블(806)을 통해 컴퓨팅 시스템(106)에 연결되는 구성이 도시된다. 일 실시예에서, HMD는 동일한 케이블로부터 전력을 획득하거나 다른 케이블에 연결될 수 있다. 또 다른 실시예에서, HMD는 추가 전력 코드들을 회피하기 위해, 재충전가능한 배터리를 가질 수 있다.

도 11을 참조하면, 본 발명의 실시예에 따른, 헤드 장착 디스플레이(102)의 예시적인 구성요소들을 예시하는 도해가 도시된다. 보다 많거나 보다 적은 구성요소가 이네이블되는 기능들 및 구성에 따라, HMD(102)로부터 포함되거나 배제될 수 있음이 이해되어야 한다. 헤드 장착 디스플레이(102)는 프로그램 명령들을 실행하기 위한 프로세서(900)를 포함할 수 있다. 메모리(902)는 저장을 위해 제공되고, 휘발성 및 비 휘발성 메모리 양자를 포함할 수 있다. 사용자가 볼 수 있는 가상 인터페이스를 제공하는 디스플레이(904)가 포함된다.

디스플레이(904)는 하나의 단일 디스플레이에 의해, 또는 각 눈마다 별개의 디스플레이 스크린의 형태로 정의될 수 있다. 두 개의 디스플레이 스크린이 제공될 때, 왼쪽 눈 및 오른쪽 눈 비디오 컨텐츠를 별도로 제공하는 것이 가능하다. 비디오 컨텐츠를 각 눈에 별도로 제시하는 것은 예를 들어, 3-차원(3D) 컨텐츠의 보다 양호한 실감 제어를 제공할 수 있다. 위에서 설명된 바와 같이, 일 실시예에서, 제2 스크린(107)에는 한쪽 눈에 대한 출력을 사용하고, 그 다음 디스플레이할 컨텐츠를 2D 형식으로 포맷팅함으로써 HMD(102)의 제2 스크린 컨텐츠가 제공된다. 한 쪽 눈은 일 실시예에서, 왼쪽 눈 비디오 공급일 수 있으나, 다른 실시예들에서 그것은 오른쪽 눈 비디오 공급일 수 있다.

배터리(906)는 헤드 장착 디스플레이(102)를 위한 전원으로 제공될 수 있다. 다른 실시예들에서, 전원은 전력에 대한 콘센트 연결을 포함할 수 있다. 다른 실시예들에서, 전력으로의 콘텐츠 연결 및 배터리(906)가 제공될 수 있다. 모션 검출 모듈(908)은 임의의 다양한 유형의 모션에 민감한 하드웨어, 이를테면 자기력계(910), 가속도계(912), 및 자이로스코프(914)를 포함할 수 있다.

가속도계는 가속도 및 중력 유도 반작용력을 측정하기 위한 디바이스이다. 단일 및 다수의 축(예를 들어, 6개의 축) 모델들이 상이한 방향들의 가속도의 크기 및 방향을 검출할 수 있다. 가속도계는 경사도, 진동, 및 충격을 감지하기 위해 사용된다. 일 실시예에서, 세 개의 가속도계(912)가 두 개의 각도(세계 공간 피치 및 세계 공간 롤)에 대한 절대적 기준을 제공하는, 중력 방향을 제공하기 위해 사용된다.

자기력계는 헤드 장착 디스플레이 부근 자계의 세기 및 방향을 측정한다. 일 실시예에서, 세 개의 자기력계(910)가 헤드 장착 디스플레이 내에서 사용되어, 세계 공간 요(yaw) 각도에 대한 절대적 기준을 확실히 한다. 일 실시예에서, 자기력계는 ±80 마이크로테슬라인, 지자계에 걸쳐 이어지도록 설계된다. 자기력계들은 금속에 의해 영향을 받고, 실제 요와 같은 요 측정치를 제공한다. 자계는 환경 내 금속으로 인해 감겨질 수 있으며, 이는 요 측정에 왜곡을 야기한다. 필요한 경우, 이러한 왜곡은 다른 센서들 이를테면 자이로스코프 또는 카메라로부터의 정보를 이용하여 캘리브레이트될 수 있다. 일 실시예에서, 가속도계(912)는 헤드 장착 디스플레이(102)의 경사도 및 방위각을 획득하기 위해 자기력계(910)와 함께 사용된다.

자이로스코프는 각 운동량의 원리들에 기초하여 배향을 측정 또는 유지하기 위한 디바이스이다. 일 실시예에서, 세 개의 자이로스코프(914)는 관성 감지에 기초하여 각각의 축((x, y 및 z) 에 걸친 움직임에 대한 정보를 제공한다. 자이로스코프들은 빠른 회전들을 검출하는 것을 돕는다. 그러나, 자이로스코프들은 절대적 기준이 존재하지 않고 시간이 흐르면서 서서히 이동할 수 있다. 이는 자이로스코프들을 주기적으로 재설정하는 것을 필요로 하며, 이는 다른 이용가능한 정보, 이를테면 대상, 가속도계, 자기력계 등의 시각적 추적에 기초한 위치/배향 결정을 사용하여 행해질 수 있다.

카메라(916)는 실제 환경의 이미지 및 이미지 스트림들을 캡처하기 위해 제공된다. 후방 카메라(사용자가 헤드 장착 디스플레이(102)의 디스플레이를 보고 있을 때 사용자에서 떨어여 지향된다), 및 전방 카메라(사용자가 헤드 장착 디스플레이(102)의 디스플레이를 보고 있을 때 사용자를 향해 지향된다)를 포함하여, 하나 보다 많은 카메라(임의로)가 헤드 장착 디스플레이(102)에 포함될 수 있다. 추가적으로, 깊이 카메라(918)가 실제 환경에서 대상들의 깊이 정보를 감지하기 위해 헤드 장착 디스플레이(102)에 포함될 수 있다.

헤드 장착 디스플레이(102)는 오디오 출력을 제공하기 위한 스피커들(920)을 포함한다. 또한, 마이크로폰(922)은 주변 환경으로부터의 소리들, 사용자에 의한 음성 등을 포함하여, 실제 환경으로부터의 오디오를 캡처하기 위해 포함될 수 있다. 헤드 장착 디스플레이(102)는 사용자에게 촉각 피드백을 제공하기 위해 촉각 피드백 모듈(924)을 포함한다. 일 실시예에서, 촉각 피드백 모듈(924)은 사용자에게 촉각 피드백을 제공하기 위해 헤드 장착 디스플레이(102)의 움직임 및/또는 진동을 야기할 수 있다.

LED들(926)은 헤드 장착 디스플레이(102)의 상태들의 시각적 표시자들로서 제공된다. 예를 들어, LED는 배터리 레벨, 전력 온 등을 표시할 수 있다. 카드 리더(928)는 헤드 장착 디스플레이(102)가 메모리 카드로의 그리고 그로부터의 정보를 판독 및 기록할 수 있게 하기 위해 제공된다. USB 인터페이스(930)는 주변 디바이스들의 연결, 또는 다른 디바이스들, 이를테면 다른 이동식 디바이스들, 컴퓨터들 등으로의 연결을 가능하게 하기 위한 인터페이스의 일례로서 포함된다. 헤드 장착 디스플레이(102)의 다양한 실시예에서, 임의의 다양한 종류의 인터페이스가 헤드 장착 디스플레이(102)의 보다 큰 연결성을 가능하게 하기 위해 포함될 수 있다.

와이파이 모듈(932)은 무선 네트워킹 기술들을 통해 인터넷으로의 연결을 가능하게 하기 위해 포함될 수 있다. 또한, 헤드 장착 디스플레이(102)는 다른 디바이스들로의 무선 연결을 가능하게 하기 위한 블루투스 모듈(934)을 포함할 수 있다. 통신 링크(936)는 또한 다른 디바이스들로의 연결을 위해 포함될 수 있다. 일 실시예에서, 통신 링크(936)는 무선 통신을 위해 적외선 통신을 이용한다. 다른 실시예들에서, 통신 링크(936)는 다른 디바이스들과의 통신을 위한 임의의 다양한 유선 또는 무선 통신 프로토콜을 이용할 수 있다.

입력 버튼들/센서들(938)이 사용자에게 입력 인터페이스를 제공하기 위해 포함된다. 임의의 다양한 유형의 입력 인터페이스, 이를테면 버튼, 제스처, 터치패드, 조이스틱, 트랙볼 등이 포함될 수 있다. 초음파 통신 모듈(940)은 초음파 기술들을 통해 다른 디바이스들과의 통신을 용이하게 하해 헤드 장착 디스플레이(102)에 포함될 수 있다.

바이오-센서들(942)은 사용자로부터의 생리학적 데이터의 검출을 가능하게 하기 위해 포함된다. 일 실시예에서, 바이오-센서들(942)은 사용자들/프로필들을 식별하기 위해 사용자의 피부, 음성 검출, 눈 망막 검출 등을 통해 사용자의 생체-전기적 신호들을 검출하기 위해 하나 이상의 건식 전극을 포함한다.

헤드 장착 디스플레이(102)의 앞서 말한 구성요소들은 헤드 장착 디스플레이(102)에 포함될 수 있는 단지 대표적인 구성요소들로서 설명되었다. 본 발명의 다양한 실시예에서, 헤드 장착 디스플레이(102)는 다양한 앞서 언급한 구성요소 중 일부를 포함할 수 있거나 그렇지 않을 수 있다. 헤드 장착 디스플레이(102)의 실시예들은 본 출원에 설명된 바와 같이 본 발명의 양상들을 용이하게 하기 위해, 이전에 설명되지 않았으나, 해당 기술분야에 알려져 있는 다른 구성요소들을 추가적으로 포함할 수 있다.

해당 기술분야의 통상의 기술자들에 의해 본 발명의 다양한 실시예에서, 앞서 언급한 핸드헬드 디바이스가 다양한 쌍방향 기능을 제공하기 위해 디스플레이 상에 디스플레이되는 쌍방향 애플리케이션과 함께 이용될 수 있음이 이해될 것이다. 본 출원에서 설명된 대표적인 실시예들은 제한으로서가 아닌, 단지 예로서 제공된다.

일 실시예에서, 클라이언트들 및/또는 클라이언트 디바이스들은 본 출원에서 지칭될 때, 헤드 장착 디스플레이들(HMD들), 단말들, 개인용 컴퓨터들, 게임 콘솔들, 태블릿 컴퓨터들, 전화들, 셋탑 박스들, 키오스크들, 무선 디바이스들, 디지털 패드들, 독립형 디바이스들, 핸드헬드 게임 플레이 디바이스들, 및/또는 그 밖에 유사한 것을 포함할 수 있다. 통상적으로, 클라이언트들은 인코딩된 비디오 스트림들을 수신하도록, 비디오 스트림들을 디코딩하도록 그리고 사용자, 예를 들어, 게임 플레이어에게 그 결과로 생긴 비디오를 제시하도록 구성된다. 인코딩된 비디오 스트림들을 수신하고/하거나 비디오 스트림들을 디코딩하는 프로세스들은 통상적으로 클라이언트의 수신 버퍼에 각각의 비디오 프레임들을 저장하는 것을 포함한다. 비디오 스트림들은 사용자에게 클라이언트에 내장된 디스플레이 상에 또는 별개의 디바이스 이를테면 모니터 또는 텔레비전 상에 제시될 수 있다.

클라이언트들은 임의로 하나보다 많은 게임 플레이어를 지지하도록 구성된다. 예를 들어, 게임 콘솔은 2, 3, 4 또는 그 이상의 동시 플레이어(예를 들어, P1, P2, ... Pn)를 지지하도록 구성될 수 있다. 이들 플레이어의 각각은 비디오 스트림을 수신 또는 공유할 수 있거나, 또는 단일 비디오 스트림은 각 플레이어에 대해 구체적으로 생성되는, 예를 들어, 각 플레이어의 시점에 기초하여 생성되는 프레임의 영역들을 포함할 수 있다. 임의의 수의 클라이언트는 로컬일(예를 들어, 같은 장소에 위치될) 수 있거나 지리적으로 분산된다. 게임 시스템에 포함되는 클라이언트들의 수는 1 또는 2에서 수천, 수만, 또는 그 이상까지 매우 다양할 수 있다. 본 출원에서 사용될 때, 용어 "게임 플레이어"는 게임을 플레이하는 사람을 지칭하기 위해 사용되고 용어 "게임 플레이 디바이스"는 게임을 플레이하는 디바이스를 지칭하기 위해 사용된다. 몇몇 실시예에서, 게임 플레이 디바이스는 사용자에게 게임 경험을 전달하기 위해 더불어 작용하는 복수의 컴퓨팅 디바이스를 지칭할 수 있다.

예를 들어, 게임 콘솔 및 HMD는 HMD를 통해 보이는 게임을 전달하기 위해 비디오 서버 시스템과 더불어 작용할 수 있다. 일 실시예에서, 게임 콘솔은 비디오 서버 시스템으로부터 비디오 스트림을 수신하고 게임 콘솔은 렌더링할 HMD 및/또는 텔레비전으로 비디오 스트림을 포워딩하거나, 또는 비디오 스트림에 대한 업데이트를 한다.

더 나아가, HMD는 생성 또는 사용되는 임의의 유형의 컨텐츠, 그러한 비디오 게임 컨텐츠, 영화 컨텐츠, 비디오 클립 컨텐츠, 웹 컨텐츠, 광고 컨텐츠, 컨테스트 컨텐츠, 겜볼링 게임 컨텐츠, 화상 회의/미팅 컨텐츠, 소셜 미디어 컨텐츠 (예를 들어, 포스팅, 메시지, 미디어 스트림, 친구 이벤트 그리고/또는 게임 플레이), 비디오 부분들 및/또는 오디오 컨텐츠, 및 브라우저들 및 애플리케이션들을 통해 인터넷을 거쳐 소스들로부터의 소비되기 위해 만들어진 컨텐츠 및 임의의 유형의 스트리밍 컨텐츠를 보고/보거나 이와 상호작용하기 위해 사용될 수 있다. 물론, 앞서 말한 컨텐츠의 리스팅은, 그것이 HMD에 보여지거나 스크린 또는 HMD의 스크린에 렌더링될 수 있는 한 임의의 유형의 컨텐츠가 렌더링될 수 있기 때문에, 제한하는 것이 아니다.

클라이언트들은 필수적인 것은 아니나, 수신된 비디오를 변형하기 위해 구성되는 시스템들을 더 포함할 수 있다. 예를 들어, 클라이언트는 하나의 비디오 이미지를 다른 비디오 이미지 상에 오버레이하기 위해, 비디오 이미지를 크롭하기 위해, 그리고/또는 그 밖에 유사한 것을 위해 추가 렌더링을 수행하도록 구성될 수 있다. 예를 들어, 클라이언트들은 다양한 유형의 비디오 프레임들, 이를테면 I-프레임들, P-프레임들 및 B-프레임들을 수신하도록, 그리고 이들 프레임을 사용자에게 디스플레이할 이미지들로 프로세싱하도록 구성될 수 있다. 몇몇 실시예에서, 클라이언트들의 멤버는 추가 렌더링, 셰이딩, 3-D로의 변환, 2D로의 변환, 왜곡 제거, 사이징, 또는 비디오 스트림에 대한 유사한 동작들을 수행하도록 구성된다. 클라이언트들의 멤버는 임의로 하나보다 많은 오디오 또는 비디오 스트림을 수신하도록 구성된다.

클라이언트들의 입력 디바이스들은 예를 들어, 한 손 게임 제어기, 두 손 게임 제어기, 제스처 인식 시스템, 시선 인식 시스템, 음성 인식 시스템, 키보드, 조이스틱, 포인팅 디바이스, 힘 피드백 디바이스, 모션 및/또는 위치 감지 디바이스, 마우스, 터치 스크린, 신경 인터페이스, 카메라, 아직 개발되지 않은 입력 디바이스들 및/ 또는 그 밖에 유사한 것을 포함할 수 있다.

비디오 소스는 컴퓨터 판독가능한 매체 이를테면 저장장치 상에 저장된 렌더링 로직, 예를 들어, 하드웨어, 펌웨어, 및/또는 소프트웨어를 포함할 수 있다. 이러한 렌더링 로직은 게임 상태에 기초하여 비디오 스트림의 비디오 프레임들을 생성하도록 구성된다. 렌더링 로직의 전부 또는 부분은 임의로 하나 이상의 그래픽 프로세싱 유닛(GPU) 내에 배치된다. 렌더링 로직은 통상적으로 게임 상태 및 관점에 기초하여, 대상들 간 3-차원 공간적 관계들을 결정하기 위해 그리고/또는 적절한 텍스처들 등을 적용하기 위해 구성되는 프로세싱 스테이지들을 포함한다. 렌더링 로직은 인코딩되는 원 비디오를 생성할 수 있다. 예를 들어, 원 비디오는 Adobe Flash® 표준, HTML-5, .wav, H.264, H.263, On2, VP6, VC-1, WMA, Huffyuv, Lagarith, MPG-x. Xvid. FFmpeg, x264, VP6-8, realvideo, mp3, 또는 그 밖에 유사한 것에 따라 인코딩될 수 있다. 인코딩 프로세스는 디바이스 상의 디코더에 전달하기 위해 임의로 패키징되는 비디오 스트림을 생성한다. 비디오 스트림은 프레임 크기 및 프레임률에 의해 특징지어진다. 통상적인 프레임 크리들은 800 x 600, 1280 x 720 (예를 들어, 720p), 1024 x 768, 1080p를 포함하나, 임의의 다른 프레임 크기들도 사용될 수 있다. 프레임률은 초당 비디오 프레임들의 수이다. 비디오 스트림은 상이한 유형들의 비디오 프레임들을 포함할 수 있다. 예를 들어, H.264 표준은 "P" 프레임 및 "I" 프레임을 포함한다. I-프레임들은 디스플레이 디바이스 상에 모든 매크로 블록/픽셀을 재생하기 위한 정보를 포함하는 한편, P-프레임들은 그것들의 서브셋을 재생하기 위한 정보를 포함한다. P-프레임들은 통상적으로 I-프레임들보다 작은 데이터 크기로 있다. 여기에서 사용된 바와 같이 용어 "프레임 크기"는 프레임 내 픽셀들의 수를 지칭하도록 의미된다. 용어 "프레임 데이터 크기"는 프레임을 저장하는데 요구되는 바이트들의 수를 지칭하기 위해 사용된다.

몇몇 실시예에서, 클라이언트는 범용 컴퓨터, 전용 컴퓨터, 게이밍 콘솔, 개인용 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 모바일 컴퓨팅 디바이스, 이동식 게이밍 디바이스, 셀룰러 폰, 셋탑 바스, 스트리밍 미디어 인터페이스/디바이스, 스마트 텔레비전 또는 네트워크 디스플레이, 또는 본 출원에 정의된 바와 같은 클라이언트의 기능을 이행하도록 구성될 수 있는 임의의 다른 컴퓨팅 디바이스일 수 있다. 일 실시예에서, 클라우드 게이밍 서버는 사용자에 의해 이용되고 있는 클라이언트 디바이스의 유형을 검출하도록, 그리고 사용자의 클라이언트 디바이스에 적절한 클라우드-게이밍 경험을 제공하도록 구성된다. 예를 들어, 이미지 설정들, 오디오 설정들, 및 다른 유형들의 설정들이 사용자의 클라이언트 디바이스에 따라 최적화될 수 있다.

도 12는 정보 서비스 제공자 아키텍처의 실시예를 예시한다. 정보 서비스 제공자(ISP)(1070)는 다수의 정보 서비스를 네트워크(1086)를 통해 지리적으로 분산 및 연결되는 사용자들(1082)에게 전달한다. ISP는 단지 하나의 유형의 서비스, 이를테면 주식 가격 업데이트들, 또는 다양한 서비스 이를테면 브로드캐스트 미디어, 뉴스, 스포츠, 게임 등을 전달할 수 있다. 추가적으로, 각 ISP에 의해 제공되는 서비스들은 동적이다, 즉, 서비스들은 언제든지 추가 또는 제거될 수 있다. 그에 따라, 특정 개인에게 특정 유형의 서비스를 제공하는 ISP는 시간이 흐르면서 변경될 수 있다. 예를 들어, 사용자는 사용자가 그녀의 연고지에 있는 동안, 사용자에 근접한 ISP에 의해 서비스를 제공받을 수 있고, 사용자는 사용자가 상이한 도시로 이동할 때 상이한 ISP에 의해 서비스를 제공받을 수 있다. 연고지 ISP는 요청된 정보 및 데이터를 새로운 ISP로 전달하며, 그에 따라 사용자 정보는 데이터를 사용자에 밀접하게 그리고 액세스하기 보다 용이하게 만들기 위해 새로운 도시로 사용자를 "따라간다". 다른 실시예에서, 마스터-서버 관계가 사용자에 대한 정보를 관리하는 마스터 ISP, 및 마스터 ISP로부터의 제어를 받아 사용자와 직접적으로 인터페이싱하는 서버 ISP 사이에 수립될 수 있다. 다른 실시예에서, 클라이언트가 사용자에게 서비스를 제공하기에 보다 양호한 위치의 ISP를 이들 서비스를 전달하는 것으로 만들기 위해 세계를 돌아다닐 때, 데이터는 하나의 ISP로부터 다른 ISP 로 전달된다.

ISP(1070)는 네트워크를 통해 소비자들에게 컴퓨터-기반 서비스들을 제공하는, 애플리케이션 서버 제공자(ASP)(1072)를 포함한다. ASP 모델을 사용하여 제공되는 소프트웨어는 또한 때때로 온-디맨드 소프트웨어 또는 서비스형 소프트웨어(SaaS; software as a service)로 지칭된다. 특정 애플리케이션 프로그램(이를테면 고객 관계 관리)에 대한 액세스를 제공하는 간단한 형태는 표준 프로토콜 이를테면 HTTP를 사용하는 것에 의한다. 애플리케이션 소프트웨어는 벤더 시스템 상에 존재하고 사용자들에 의해 HTML을 사용하는 웹 브라우저를 통해 , 벤더에 의해 제공되는 전용 클라이언트 소프트웨어에 의해, 또는 다른 원격 인터페이스, 이를테면 신 클라이언트에에 의해 액세스된다.

넓은 지리적 영역을 거쳐 전달되는 서비스들은 보통 클라우드 컴퓨팅을 사용한다. 클라우드 컴퓨팅은 동적으로 확장가능한 그리고 보통 가상화된 자원들이 인터넷을 거쳐 서비스로서 제공되는 컴퓨팅의 양식이다. 사용자들은 반드시 그들을 지원하는 "클라우드"의 기술 인프라스트럭처에서 전문가일 필요는 없다. 클라우드 컴퓨팅은 상이한 서비스들, 이를테면 서비스형 인프라(IaaS; Infrastructure as a Service), 서비스형 플랫폼(PaaS; Platform as a Service), 및서비스형 소프트웨어(SaaS; Software as a Service)로 구분될 수 있다. 클라우드 컴퓨팅 서비스들은 보통 웹 브라우저로부터 액세스되는 공통 비지니스 애플리케이션들을 온라인으로 제공하는 한편, 소프트웨어 및 데이터를 서버들 상에 저장한다. 용어 클라우드는 인터넷이 컴퓨터 네트워크 선도들에서 어떻게 도시되는지에 기초하여 (예를 들어, 서버들, 저장장치 및 로직을 사용하는) 인터넷에 대한 메타포로서 사용되고 그것이 감추는 복합 인프라스트럭처에 대한 추상적 개념이다.

나아가, ISP(1070)는 단일 및 다중 플레이어 비디오 게임들을 플레이하기 위해 게임 클라이언트들에 의해 사용되는 게임 프로세싱 서버(GPS; Game Processing Server)(1074)를 포함한다. 인터넷을 거쳐 플레이되는 대부분의 비디오 게임은 게임 서버로의 연결을 통해 작동한다. 통상적으로, 게임들은 플레이어들로부터 데이터를 수집하고 그것을 다른 플레이어들에 분산하는 전용 서버 애플리케이션을 사용한다. 이는 피어-투-피어 배치보다 효율적이고 효과적이나, 그것은 별개의 서버가 서버 애플리케이션을 호스팅할 것으로 필요로 한다. 다른 실시예에서, GPS는 플레이어들 간 통신을 수립하고 그것들의 각각의 게임 플레이 디바이스들은 집중 제어식 GPS에 의존하지 않고 정보를 교환한다.

전용 GPS들은 클라이언트에 관계없이 실행되는 서버들이다. 그러한 서버들은 보통 보다 큰 대역폭 및 전용 처리력을 제공하는 데이터 센터들에 위치되는 전용 하드웨어 상에서 실행된다. 전용 서버들은 대부분 PC 기반 다중 플레이어 게임에 대한 호스팅 게임 서버들의 바람직한 방법이다. 대량 다중 플레이어 온라인 게임은 보통 게임 제목을 소유하는 소프트웨어 회사에 의해 호스팅되는 전용 서버들 상에서 실행되어, 그들이 컨텐츠를 제어 및 업데이트할 수 있게 한다.

브로드캐스트 프로세싱 서버(BPS; Broadcast Processing Server)(1076)는 오디오 또는 비디오 신호들을 수신인에 분배한다. 매우 좁은 범위의 수신인으로의 브로드캐스팅은 때때로 유선 텔레비전 방송(narrowcasting)으로 지칭된다. 브로드캐스트 분배의 마지막 다리는 신호가 청취자 또는 시청자에게 어떻게 얻어지는 지이고, 그것은 라디오 방송국 또는 TV 방송국과 같이 방송으로 안테나 및 수신기로 올 수 있거나, 또는 네트워크로부터 직접적으로 또는 방송국을 통해 케이블 TV 또는 케이블 라디오(또는 "무선 케이블")를 통해 올 수 있다. 인터넷이 또한 특히 신호 및 대역폭이 공유될 수 있게 하는 멀티캐스팅으로, 수신인에게 라디오 또는 TV 중 어느 하나를 제공할 수 있다. 역사적으로, 브로드캐스트들은 지리적 영역, 이를테면 국영 방송들 또는 지역 방송에 의해 구획되어왔다. 그러나, 고속 인터넷의 확산으로, 컨텐츠가 전 세계 거의 모든 나라에 이를 수 있기 때문에 방송들은 지형에 의해 정의되지 않는다.

저장 서비스 제공자(SSP)(1078)는 컴퓨터 저장 공간 및 관련 관리 서비스들을 제공한다. SSP들은 또한 주기적인 백업 및 파일 보관을 제공한다. 저장장치를 서비스로서 제공함으로써, 사용자들은 필요게 따라 보다 대량의 저장소를 주문할 수 있다. 다른 주요 이점은 SSP들이 백업 서비스들을 포함하고 사용자들이 그들의 컴퓨터들의 하드 드라이브들이 고장나더라도 모든 그들의 데이터를 잃지 않을 것이라는 것이다. 나아가, 복수의 SSP가 사용자의 전체 또는 부분 카피를 가질 수 있어, 사용자들이 사용자가 어디에 위치하는지 또는 디바이스가 데이터에 액세스하기 위해 어디서 사용되는지에 관계없이 효율적인 방법으로 데이터에 액세스할 수 있게 한다. 예를 들어, 사용자는 가정용 컴퓨터에서 뿐만 아니라, 사용자가 이동하고 있는 동안 모바일 폰에서도 개인 파일들에 액세스할 수 있다.

통신 제공자(1080)는 사용자들로의 연결을 제공한다. 하나의 유형의 통신 제공자는 인터넷에 대한 액세스를 제공하는 인터넷 서비스 제공자(ISP)이다. ISP는 인터넷 프로토콜 데이터그램들을 전달하기에 적절한 데이터 전송 기술, 이를테면 다이얼-호출, DSL, 케이블 모뎀, 섬유, 무선 또는 전용 고속 인터커넥트들을 사용하여 그것의 고객들에 연결한다. 통신 제공자는 또한 메시징 서비스들, 이를테면 이-메일, 인스턴트 메시징, 및 SMS 텍스팅을 제공할 수 있다. 다른 유형의 통신 제공자는 인터넷에 대한 직접 백본 액세스를 제공함으로써 대역폭 또는 네트워크 액세스를 판매하는 네트워크 서비스 제공자(NSP; Network Service provider)이다. 네트워크 서비스 제공자들은 통신 회사들, 데이터 캐리어들, 무선 통신 제공자들, 인터넷 서비스 제공자들, 고속 인터넷 액세를 제공하는 케이블 텔레비전 운영자들 등으로 이루어질 수 있다.

데이터 교환부(1088)는 ISP(1070) 내부 몇몇 모듈을 상호연결하고 이들 모듈을 네트워크(1086)를 통해 사용자들(1082)에 연결한다. 데이터 교환부(1088)는 ISP(1070)의 모든 모듈이 미우 근접한 소규모 영역을 커버할 수 있거나 상이한 모듈들이 지리적으로 분산되는 대규모 지리적 영역을 커버할 수 있다. 예를 들어, 데이터 교환부(1088)는 데이터 센터의 분전반 내 고속 기가비트 이더넷(또는 보다 고속의), 또는 대륙 간 가상 영역 네트워크(VLAN; virtual area network)를 포함할 수 있다.

사용자들(1082)는 적어도 CPU, 디스플레이 및 I/O를 포함하는 클라이언트 디바이스(1084)를 이용하여 원격 서비스들에 액세스한다. 클라이언트 디바이스는 PC, 모바일 폰, 넷북, 태블릿, 게이밍 시스템, PDA 등일 수 있다. 일 실시예에서, ISP(1070)가 클라이언트에 의해 사용되는 디바이스의 유형을 인식하고 채용되는 통신 방법을 조절한다. 다른 경우들에서, 클라이언트 디바이스들은 ISP(1070)에 액세스하기 위해, 표준 통신 방법, 이를테면 html을 사용한다.

본 발명의 실시예들은 핸드헬드 디바이스들, 마이크로프로세서 시스템들, 마이크로프로세서-기반 또는 프로그램가능한 소비자 전자장치, 미니컴퓨터들, 메인프레임 컴퓨터들 기타 같은 종류의 것을 포함하여 다양한 컴퓨터 시스템 구성을 이용하여 실시될 수 있다. 본 발명은 또한 작업들이 유선-기반 또는 무선 네트워크를 통해 연결되는 원격 프로세싱 디바이스들에 의해 수행되는 분산 컴퓨팅 환경들에서 실시될 수 있다.

상기 실시예들을 유념하여, 본 발명이 컴퓨터 시스템들에 저장된 데이터를 수반하는 다양한 컴퓨터-구현 동작들을 채용할 수 있다는 것이 이해되어야 한다. 이들 동작은 물리량의 물리적 조작들을 필요로 하는 것들이다. 본 발명의 부분을 형성하는 본 출원에 설명된 임의의 동작들은 유용한 기계 동작들이다. 본 발명은 또한 이들 동작을 수행하기 위한 디바이스 또는 장치에 관한 것이다. 장치는 특히 요청된 목적을 위해 구축될 수 있거나, 또는 장치는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화 또는 구성되는 범용 컴퓨터 디바이스일 수 있다. 특히, 다양한 범용 기계는 본 출원의 기술들에 따라 기록된 컴퓨터 프로그램들을 이용하여 사용될 수 있거나, 그것은 요청된 동작들을 수행하기 위해 보다 전문화된 장치를 구축하기에 보다 편리할 수 있다.

본 발명은 또한 컴퓨터 판독가능한 매체 상에 컴퓨터 판독가능한 코드로서 내장될 수 있다. 컴퓨터 판독가능한 매체는 그 후에 컴퓨터 시스템에 의해 판독될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 컴퓨터 판독가능한 매체의 예들은 하드 드라이브들, 네트워크 접속 저장장치(NAS; network attached storage), 판독 전용 메모리, 랜덤 액세스 메모리, CD-ROM들, CD-R들, CD-RW들, 자기 테이프들 및 다른 광학 및 비-광학 데이터 저장 디바이스들을 포함한다. 컴퓨터 판독가능한 매체는 컴퓨터 판독가능한 코드가 분산 방식으로 저장되고 실행되도록 네트워크 결합 컴퓨터를 통해 분산되는 컴퓨터 판독가능한 유형의 매체를 포함할 수 있다.

방법 동작들이 구체적 순서로 설명되었지만, 오버레이 동작들의 프로세싱이 원하는 방법으로 수행되는 한, 다른 보조 관리 동작들이 동작들 사이에 수행될 수 있거나, 또는 동작들이 그것들이 조금 상이한 시간들에 발생하도록 조절될 수 있거나, 또는 프로세싱과 연관된 다양한 간격의 프로세싱 동작들의 발생을 가능하게 하는 시스템에 분산될 수 있다는 것이 이해되어야 한다.

앞서 말한 발명이 명확한 이해를 위해 상당히 상세하게 설명되었지만, 특정 변경예들 및 변형예들이 첨부된 청구항들의 범위 내에서 실시될 수 있다는 것이 명백할 것이다. 그에 따라, 본 실시예들은 제한적이 아니라 예시적인 것으로 고려되어야 하고, 본 발명은 본 출원에 주어진 세부사항들에 제한되는 것이 아니라, 청구항들의 범위 및 등가물들 내에서 변형될 수 있다.

Claims (35)

1. 가상 현실 컨텐츠를 렌더링하기 위한 시스템으로서,
   스트랩을 통해 사용자의 머리에 부착될 하우징;
   상기 하우징에 통합되는 광학 장치;
   상기 하우징에 통합되는 홀더;
   상기 하우징의 전자 장치와 인터페이싱되는 셔터 제어 로직;
   상기 광학 장치와 인터페이싱되는 광학 장치 제어 로직; 및
   상기 셔터 제어 로직 및 상기 광학 장치 제어 로직과 인터페이싱하도록 구성되는 프로세서;를 포함하고,
   상기 하우징이 상기 사용자의 상기 머리에 부착될 때 디스플레이 광학 장치가 상기 사용자의 눈을 향하는 배향에 대해 구성되는 상기 하우징의 내측 상에 배향되며,
   상기 홀더는 스마트폰을 수용하도록 구성되되, 상기 스마트폰의 스크린이 상기 하우징의 상기 디스플레이 광학 장치를 향해 배향되고, 상기 스마트폰은 상기 하우징의 상기 전자 장치 및 상기 스마트폰의 전자 장치 간 데이터 통신을 가능하게 하기 위해 상기 홀더와 데이터 연결되고,
   상기 프로세서는 상기 셔터 제어 로직이 상기 스마트폰의 상기 스크린으로부터 획득되는 이미지 데이터를 단지 왼쪽 눈 측의 상기 광학 장치로 그리고 그 다음 단지 오른쪽 눈 측의 상기 광학 장치로 렌더링하는 사이를 연속하여 전환하게 설정하도록 구성되고, 상기 프로세서는 상기 이미지 데이터가 상기 광학 장치의 상기 왼쪽 눈 측 및 상기 오른쪽 눈 측에 제공될 때 렌더링이 최적화되도록 상기 광학 장치 제어 로직과 인터페이싱하도록 더 구성되되, 상기 셔터 제어 로직은 상기 하우징의 상기 광학 장치를 통해 볼 때 상기 스마트폰의 상기 스크린 상에 렌더링되는 상기 이미지 데이터로부터 3-차원 이미지들의 디스플레이를 가능하게 하는, 시스템.
2. 청구항 1에 있어서,
   상기 스마트폰을 상기 하우징에 연결하기 위한 디바이스 인터페이스를 더 포함하는, 시스템.
3. 청구항 1에 있어서,
   상기 하우징의 관성 센서를 더 포함하되;
   상기 관성 센서는 상기 하우징의 움직임 및 배향 데이터를 제공하고, 상기 하우징의 상기 움직임 및 배향 데이터는 상기 스마트폰에 전달되며,
   상기 스마트폰은 상기 스마트폰에 의해 렌더링되는 가상 현실 장면으로의 뷰 방향 및 관점에 영향을 미치거나 이를 업데이트하기 위해 상기 하우징의 움직임 및 배향을 미세 조정하기 위해 상기 하우징의 상기 움직임 및 배향 데이터를 상기 스마트폰의 관성 센서에 의해 생성되는 움직임 및 배향과 함께 사용하는, 시스템.
4. 청구항 3에 있어서,
   상기 하우징의 추적을 개선하기 위해 상기 하우징의 상기 관성 센서로부터의 적어도 일부 데이터를 상기 스마트폰의 상기 관성 센서로부터의 데이터와 조합하는 것을 더 포함하는, 시스템.
5. 청구항 1에 있어서,
   상기 하우징의 표면에 배치되는 복수의 발광 다이오드를 더 포함하되, 상기 발광 다이오드들은 적어도 하나의 카메라를 사용하여 상기 하우징의 위치를 추적하기 위해 사용되는, 시스템.
6. 청구항 1에 있어서,
   상기 하우징의 표면에 배치되는 복수의 광 다이오드를 더 포함하되, 상기 광 다이오드들은 상기 하우징이 추적될 공간에 위치되는 적어도 하나의 발광 디바이스를 사용하여 상기 하우징의 위치를 추적하기 위해 사용되는, 시스템.
7. 청구항 1에 있어서,
   상기 스마트폰의 전방 카메라가 활성화되는, 시-스루(see-through) 모드를 프로세싱하기 위한 상기 하우징의 상기 전자 장치의 회로를 더 포함하되;
   상기 시-스루 모드에 있을 때, 상기 셔터 제어 로직은 중지되고 상기 광학 장치 제어 로직은 상기 스마트폰의 상기 전방 카메라를 통해 실세계 뷰를 보이는 상기 스마트폰의 상기 스크린으로부터 이미지 데이터의 디스플레이를 가능하게 하는, 시스템.
8. 청구항 1에 있어서,
   상기 하우징의 전방 카메라가 활성화되는, 시-스루 모드를 프로세싱하기 위한 상기 하우징의 상기 전자 장치의 회로를 더 포함하되;
   상기 시-스루 모드에 있을 때, 상기 셔터 제어 로직은 중지되고 상기 광학 장치 제어 로직은 상기 하우징의 상기 전방 카메라를 통해 실세계 뷰를 보이는 상기 스마트폰의 상기 스크린으로부터 이미지 데이터의 디스플레이를 가능하게 하는, 시스템.
9. 청구항 1에 있어서,
   상기 하우징과 통합되는 네트워크 인터페이스를 더 포함하되, 상기 네트워크 인터페이스는 디지털 컨텐츠를 갖는 인터넷 사이트에 연결하기 위한 상기 네트워크에 대한 액세스를 제공하고, 상기 디지털 컨텐츠는 스트리밍 컨텐츠 또는 쌍방향 스트리밍 컨텐츠 중 하나이되, 상기 스트리밍 쌍방향 컨텐츠는 상기 하우징의 상기 광학 장치를 통해 디스플레이할 상기 스마트폰에 의해 렌더링되는 것인, 시스템.
10. 청구항 1에 있어서,
    상기 스마트폰에 제공되는 네트워크 인터페이스를 더 포함하되, 상기 네트워크 인터페이스는 디지털 컨텐츠를 갖는 인터넷 사이트에 연결하기 위한 상기 네트워크에 대한 액세스를 제공하고, 상기 디지털 컨텐츠는 스트리밍 컨텐츠 또는 쌍방향 스트리밍 컨텐츠 중 하나이되, 상기 스트리밍 쌍방향 컨텐츠는 상기 하우징의 상기 광학 장치를 통해 디스플레이할 상기 스마트폰에 의해 렌더링되는 것인, 시스템.
11. 청구항 1에 있어서, 상기 하우징에 통합되는 상기 광학 장치는 왼쪽 눈 광학 장치 및 오른쪽 눈 광학 장치를 포함하는, 시스템.
12. 청구항 1에 있어서, 상기 하우징은 디바이스 입력부를 포함하되, 상기 디바이스 입력부는 상기 스마트폰에 의해 생성되는 상기 이미지 데이터에서 렌더링되는 쌍방향 컨텐츠 장면의 적어도 부분을 제어하기 위한 사용자 입력을 수신하기 위해 구성되는, 시스템.
13. 청구항 12에 있어서, 상기 사용자 입력은 제어기를 통하는, 손 제스처, 터치 제스처, 또는 음성 제어, 또는 이들의 조합인, 시스템.
14. 헤드 장착 디스플레이(HMD; head mounted display) 시스템으로서,
    하우징;
    상기 하우징에 배치되는 광학 장치;
    상기 하우징에 배치되는 프로세서;
    상기 프로세서와 인터페이싱되는 셔터 제어 로직;
    상기 하우징과 통합되는 홀더 부분;을 포함하고,
    상기 셔터 제어 로직은 왼쪽 눈 측의 상기 광학 장치를 개방하는 것 및 오른쪽 눈 측의 상기 광학 장치를 폐쇄하는 것 내지 상기 오른쪽 눈 측의 상기 광학 장치를 개방하는 것 및 상기 왼쪽 눈 측의 상기 광학 장치를 폐쇄하는 것 사이를 교대하게 구동하도록 구성되며,
    상기 홀더 부분은 디스플레이 스크린을 갖는 스마트 디바이스를 수용하도록 구성되고, 상기 디스플레이 스크린은 상기 HMD 시스템이 사용자에 의해 착용될 때 상기 사용자의 얼굴을 향하는 방향으로 상기 하우징의 상기 광학 장치를 향해 배향되고,
    구동 시 상기 셔터 제어는 이미지 데이터의 3-차원 뷰를 상기 스마트 디바이스의 상기 디스플레이 스크린 상에 렌더링되게 하도록 구성되는, 헤드 장착 디스플레이(HMD) 시스템.
15. 청구항 14에 있어서, 상기 왼쪽 눈 측 또는 오른쪽 눈 측 광학 장치를 폐쇄하도록 작동하는 상기 셔터는 상기 광학 장치가 투명이 아니라 불투명이게 하도록 구성되는, 헤드 장착 디스플레이(HMD) 시스템.
16. 청구항 14에 있어서,
    상기 광학 장치를 통해 제시되는 상기 이미지 데이터의 초점을 조절하기 위한 광학 장치 제어부를 더 포함하는, 헤드 장착 디스플레이(HMD) 시스템.
17. 청구항 16에 있어서, 상기 조절하는 것은 이미지 왜곡 조절, 사이징 조절, 또는 이들의 조합을 수행하는 것을 포함하는, 헤드 장착 디스플레이(HMD) 시스템.
18. 청구항 14에 있어서, 상기 하우징은 적어도 하나의 전방 카메라를 포함하는, 헤드 장착 디스플레이(HMD) 시스템.
19. 청구항 14에 있어서, 상기 하우징은 상기 하우징의 추적을 가능하게 하기 위한 광 다이오드들을 포함하고, 상기 광 다이오드들은 미리 정의된 간격들로 상기 하우징의 표면에 배치되는, 헤드 장착 디스플레이(HMD) 시스템.
20. 청구항 14에 있어서, 상기 하우징은 카메라에 의해 상기 하우징의 추적을 가능하게 하기 위한 발광 다이오드들을 포함하는, 헤드 장착 디스플레이(HMD) 시스템.
21. 청구항 14에 있어서,
    상기 하우징과 통합되는 네트워크 인터페이스를 더 포함하되, 상기 네트워크 인터페이스는 디지털 컨텐츠를 갖는 인터넷 사이트에 연결하기 위한 상기 네트워크에 대한 액세스를 제공하고, 상기 디지털 컨텐츠는 스트리밍 컨텐츠 또는 쌍방향 스트리밍 컨텐츠 중 하나이되, 상기 스트리밍 쌍방향 컨텐츠는 상기 하우징의 상기 광학 장치를 통해 디스플레이할 상기 스마트 디바이스에 의해 렌더링되는 것인, 헤드 장착 디스플레이(HMD) 시스템.
22. 청구항 14에 있어서,
    상기 스마트 디바이스에 제공되는 네트워크 인터페이스를 더 포함하되, 상기 네트워크 인터페이스는 디지털 컨텐츠를 갖는 인터넷 사이트에 연결하기 위한 상기 네트워크에 대한 액세스를 제공하고, 상기 디지털 컨텐츠는 스트리밍 컨텐츠 또는 쌍방향 스트리밍 컨텐츠 중 하나이되, 상기 스트리밍 쌍방향 컨텐츠는 상기 하우징의 상기 광학 장치를 통해 디스플레이할 상기 스마트 디바이스에 의해 렌더링되는 것인, 헤드 장착 디스플레이(HMD) 시스템.
23. 가상 현실 컨텐츠를 렌더링하기 위한 시스템으로서,
    스트랩을 통해 사용자의 머리에 부착될 하우징;
    상기 하우징에 통합되는 광학 장치;
    상기 하우징에 통합되는 홀더;
    상기 하우징의 전자 장치와 인터페이싱되는 셔터 제어 로직;
    상기 광학 장치와 인터페이싱되는 광학 장치 제어 로직; 및
    상기 셔터 제어 로직 및 상기 광학 장치 제어 로직과 인터페이싱하도록 구성되는 프로세서;를 포함하고,
    상기 하우징이 상기 사용자의 상기 머리에 부착될 때 디스플레이 광학 장치가 상기 사용자의 눈을 향하는 배향에 대해 구성되는 상기 하우징의 내측 상에 배향되며,
    상기 홀더는 휴대용 장치를 수용하도록 구성되되, 상기 휴대용 장치의 스크린이 상기 하우징의 상기 디스플레이 광학 장치를 향해 배향되고, 상기 휴대용 장치는 상기 하우징의 상기 전자 장치 및 상기 휴대용 장치의 전자 장치 간 데이터 통신을 가능하게 하기 위해 상기 홀더와 데이터 연결되고,
    상기 프로세서는 상기 셔터 제어 로직이 상기 휴대용 장치의 상기 스크린으로부터 획득되는 이미지 데이터를 단지 왼쪽 눈 측의 상기 광학 장치로 그리고 그 다음 단지 오른쪽 눈 측의 상기 광학 장치로 렌더링하는 사이를 연속하여 전환하게 설정하도록 구성되고, 상기 프로세서는 상기 이미지 데이터가 상기 광학 장치의 상기 왼쪽 눈 측 및 상기 오른쪽 눈 측에 제공될 때 렌더링이 최적화되도록 상기 광학 장치 제어 로직과 인터페이싱하도록 더 구성되되, 상기 셔터 제어 로직은 상기 하우징의 상기 광학 장치를 통해 볼 때 상기 휴대용 장치의 상기 스크린 상에 렌더링되는 상기 이미지 데이터로부터 3-차원 이미지들의 디스플레이를 가능하게 하는, 시스템.
24. 청구항 23에 있어서,
    상기 휴대용 장치를 상기 하우징에 연결하기 위한 디바이스 인터페이스를 더 포함하는, 시스템.
25. 청구항 23에 있어서,
    상기 하우징의 관성 센서를 더 포함하되;
    상기 관성 센서는 상기 하우징의 움직임 및 배향 데이터를 제공하고, 상기 하우징의 상기 움직임 및 배향 데이터는 상기 휴대용 장치에 전달되며,
    상기 휴대용 장치는 상기 휴대용 장치에 의해 렌더링되는 가상 현실 장면으로의 뷰 방향 및 관점에 영향을 미치거나 이를 업데이트하기 위해 상기 하우징의 움직임 및 배향을 미세 조정하기 위해 상기 하우징의 상기 움직임 및 배향 데이터를 상기 휴대용 장치의 관성 센서에 의해 생성되는 움직임 및 배향과 함께 사용하는, 시스템.
26. 청구항 25에 있어서,
    상기 하우징의 추적을 개선하기 위해 상기 하우징의 상기 관성 센서로부터의 적어도 일부 데이터를 상기 휴대용 장치의 상기 관성 센서로부터의 데이터와 조합하는 것을 더 포함하는, 시스템.
27. 청구항 23에 있어서,
    상기 하우징의 표면에 배치되는 복수의 발광 다이오드를 더 포함하되, 상기 발광 다이오드들은 적어도 하나의 카메라를 사용하여 상기 하우징의 위치를 추적하기 위해 사용되는, 시스템.
28. 청구항 23에 있어서,
    상기 하우징의 표면에 배치되는 복수의 광 다이오드를 더 포함하되, 상기 광 다이오드들은 상기 하우징이 추적될 공간에 위치되는 적어도 하나의 발광 디바이스를 사용하여 상기 하우징의 위치를 추적하기 위해 사용되는, 시스템.
29. 청구항 23에 있어서,
    상기 휴대용 장치의 전방 카메라가 활성화되는, 시-스루(see-through) 모드를 프로세싱하기 위한 상기 하우징의 상기 전자 장치의 회로를 더 포함하되;
    상기 시-스루 모드에 있을 때, 상기 셔터 제어 로직은 중지되고 상기 광학 장치 제어 로직은 상기 휴대용 장치의 상기 전방 카메라를 통해 실세계 뷰를 보이는 상기 휴대용 장치의 상기 스크린으로부터 이미지 데이터의 디스플레이를 가능하게 하는, 시스템.
30. 청구항 23에 있어서,
    상기 하우징의 전방 카메라가 활성화되는, 시-스루 모드를 프로세싱하기 위한 상기 하우징의 상기 전자 장치의 회로를 더 포함하되;
    상기 시-스루 모드에 있을 때, 상기 셔터 제어 로직은 중지되고 상기 광학 장치 제어 로직은 상기 하우징의 상기 전방 카메라를 통해 실세계 뷰를 보이는 상기 휴대용 장치의 상기 스크린으로부터 이미지 데이터의 디스플레이를 가능하게 하는, 시스템.
31. 청구항 23에 있어서,
    상기 하우징과 통합되는 네트워크 인터페이스를 더 포함하되, 상기 네트워크 인터페이스는 디지털 컨텐츠를 갖는 인터넷 사이트에 연결하기 위한 상기 네트워크에 대한 액세스를 제공하고, 상기 디지털 컨텐츠는 스트리밍 컨텐츠 또는 쌍방향 스트리밍 컨텐츠 중 하나이되, 상기 스트리밍 쌍방향 컨텐츠는 상기 하우징의 상기 광학 장치를 통해 디스플레이할 상기 휴대용 장치에 의해 렌더링되는 것인, 시스템.
32. 청구항 23에 있어서,
    상기 휴대용 장치 제공되는 네트워크 인터페이스를 더 포함하되, 상기 네트워크 인터페이스는 디지털 컨텐츠를 갖는 인터넷 사이트에 연결하기 위한 상기 네트워크에 대한 액세스를 제공하고, 상기 디지털 컨텐츠는 스트리밍 컨텐츠 또는 쌍방향 스트리밍 컨텐츠 중 하나이되, 상기 스트리밍 쌍방향 컨텐츠는 상기 하우징의 상기 광학 장치를 통해 디스플레이할 상기 휴대용 장치에 의해 렌더링되는 것인, 시스템.
33. 청구항 23에 있어서, 상기 하우징에 통합되는 상기 광학 장치는 왼쪽 눈 광학 장치 및 오른쪽 눈 광학 장치를 포함하는, 시스템.
34. 청구항 23에 있어서, 상기 하우징은 디바이스 입력부를 포함하되, 상기 디바이스 입력부는 상기 휴대용 장치에 의해 생성되는 상기 이미지 데이터에서 렌더링되는 쌍방향 컨텐츠 장면의 적어도 부분을 제어하기 위한 사용자 입력을 수신하기 위해 구성되는, 시스템.
35. 청구항 34에 있어서, 상기 사용자 입력은 제어기를 통하는, 손 제스처, 터치 제스처, 또는 음성 제어, 또는 이들의 조합인, 시스템.

Images