KR20130127472A

KR20130127472A - 증강 현실 디스플레이용 최적화 초점 영역

Info

Publication number: KR20130127472A
Application number: KR1020137015625A
Authority: KR
Inventors: 아비 바-지브; 존 알 루이스; 조지 클라인
Original assignee: 마이크로소프트 코포레이션
Priority date: 2010-12-17
Filing date: 2011-12-14
Publication date: 2013-11-22
Also published as: EP2652543A2; CA2820950A1; US20120154277A1; IL226725B; US9690099B2; CN102591016B; HK1171515A1; JP5965410B2; EP2652543A4; KR101960980B1; WO2012082807A2; EP2652543B1; CA2820950C; JP2014511512A; WO2012082807A3; CN102591016A

Abstract

시-스루 디스플레이 장치 또는 헤드-장착 디스플레이 장치와 같은, 니어-아이 디스플레이 장치를 이용할 때 사용자 경험을 개선시키는 방법 및 시스템이 제공된다. 장면 내 사용자의 시야에 대한 디스플레이용 최적화 이미지가 생성된다. 사용자의 헤드 및 눈 위치 및 움직임이 추적되어 사용자에 대한 초점 영역을 결정한다. 최적화 이미지의 일부분이 눈의 현 위치 내 사용자의 초점 영역에 연결되고, 헤드 및 눈의 다음 위치가 예측되며, 최적화 이미지의 일부분이 다음 위치에서 사용자의 초점 영역에 연결된다.

Description

증강 현실 디스플레이용 최적화 초점 영역{OPTIMIZED FOCAL AREA FOR AUGMENTED REALITY DISPLAYS}

증강 현실은 가상의 이미지가 현실 세계의 물리적 환경 또는 공간과 혼합될 수 있게 하는 기술이다. 일반적으로, 니어-아이 디스플레이(near-eye displays)는 광학 및 입체영상의 조합을 이용하여 공간 내에 가상 이미지를 포커싱한다. 이러한 디스플레이에서, 디스플레이 해상도 및 프로세싱은 중요하다.

소정의 상황에서, 니어-아이 디스플레이 장치를 통해 사용자에게 디스플레이되는 가상 형상은 매우 상세한 그래픽을 포함하는 가상 이미지 또는 객체를 포함할 수 있다. 니어-아이 디스플레이 장치를 착용한 사용자는 사용자가 그다지 볼 필요가 없는 다량의 정보를 통상적으로 제시받는다.

간단히 설명되는 기술은 사용자에게 최적화 이미지를 제시하는 방법을 포함한다. 장면 내 사용자의 전체 시야에 대한 디스플레이용 최적화 이미지가 생성된다. 사용자의 헤드 및 눈 위치 및 움직임이 추적되어 사용자에 대한 초점 영역을 결정한다. 최적화 이미지의 일부분이 눈의 현 위치 내 사용자의 초점 영역에 연결되고, 헤드 및 눈의 다음 위치가 예측되며, 최적화 이미지의 일부분이 다음 위치에서 사용자의 초점 영역에 연결된다.

추가적으로, 헤드-장착 디스플레이 장치가 제공된다. 헤드-장착 디스플레이는 사용자의 초점 영역에 최적화 이미지의 적어도 일부분을 연결하는 디스플레이를 포함한다. 관성, 자기, 기계, 및/또는 다른 센서가 헤드-장착 디스플레이 장치에 대한 배향 정보를 감지하고, 눈 추적 센서는 사용자 눈 위치를 검출한다. 상기 디스플레이, 관성 센서, 및/또는 다른 센서 및 눈 추적 센서와 통신하는 적어도 하나의 프로세싱 유닛은, 상기 이미지의 일부분이 상기 사용자의 초점 영역에 연결되도록 상기 디스플레이에 대해 상기 사용자의 눈의 현 위치에서 최적화 이미지의 최적화 부분을 자동적으로 디스플레이한다. 상기 프로세싱 장치는 그 후 사용자의 눈의 다음 위치를 결정하며, 상기 이미지의 일부분이 다음 위치에서 상기 사용자의 초점 영역에 연결되도록, 상기 디스플레이에 관한 사용자 눈의 다음 위치에 상기 최적화 이미지의 다른 최적화 부분을 디스플레이한다.

이와 같은 요약은 아래의 상세한 설명에서 더 설명되는 단순화된 형태의 개념 선택을 도입하기 위해 제공된다. 이러한 요약은 청구되는 대상의 핵심적 또는 본질적 특징을 식별하고자 하는 것이 아니고, 청구되는 대상의 범위 결정을 돕기 위한 수단으로 사용하고자 함도 아니다. 더욱이, 청구되는 대상은 본 개시문의 임의의 부분 내에 언급되는 임의의 단점을 해결하는 구현예에 제한되지 않는다.

도 1은 사용자 의도에 기초하여 최적화 콘텐트를 발생시키기 위한 시스템의 일 실시예의 예시적인 구성요소를 묘사하는 블록도다.
도 2a는 본 기술에 따른 방법을 설명하는 순서도다.
도 2b는 사용자 환경 내 하나 이상의 객체의 사용자 뷰의 일 실시예를 도시한다.
도 2c는 사용자 환경의 사용자 뷰를 오버레이하면서 제시되는 풀 해상도에서 최적화된 이미지의 도해다.
도 2d는 부분적으로 흐려진 시야 및 풀 해상도 이미지의 최적화 부분의 사용자 뷰의 도해다.
도 2e는 본 기술과 함께 이용되는 일 타입의 초점 영역의 도해다.
도 2f는 사용자 환경의 도해다.
도 2g는 사용자에 대한 부분적으로 흐려진 시야 및 풀 해상도 이미지의 동시적으로 렌더링되는 현재 및 다음 위치의 최적화 부분의 도해다.
도 3a는 헤드-장착 디스플레이 유닛의 일 실시예의 부분 평면도다.
도 3b는 헤드-장착 디스플레이 유닛의 다른 실시예의 부분 평면도다.
도 3c 및 3d는 헤드-장착 디스플레이 유닛의 다른 실시예의 부분 평면도 및 측면도다.
도 4a는 헤드-장착 디스플레이 유닛의 구성요소들의 일 실시예의 블록도다.
도 4b는 헤드-장착 디스플레이 유닛과 연관된 프로세싱 유닛의 구성요소들의 일 실시예의 블록도다.
도 5는 헤드-장착 디스플레이 유닛과 함께 사용되는 허브 컴퓨팅 시스템의 구성요소들의 일 실시예의 블록도다.
도 6은 여기서 설명되는 허브 컴퓨팅 시스템을 구현하는데 사용될 수 있는 컴퓨팅 시스템의 일 실시예의 블록도다.
도 7은 최적화 콘텐트를 발생시키기 위한 멀티-사용자 시스템을 설명하는 블록도다.
도 8은 사용자 의향에 기초하여 최적화된 콘텐트를 발생시키기 위한 프로세스의 일 실시예를 설명한다.
도 9는 사용자 공간의 모델을 생성하기 위한 프로세스의 일 실시예를 설명한다.
도 10은 공간의 모델을 객체들로 세그먼트화하기 위한 프로세스의 일 실시예를 설명하는 순서도다.
도 11은 사용자의 시야를 추적하기 위한, 그리고, 사용자의 초점 영역을 결정하기 위한, 프로세스의 일 실시예를 설명하는 순서도다.
도 12는 도 2a의 프로세스에 사용되는 추적 정보를 제공하기 위해 허브 컴퓨팅 시스템에 의해 수행되는 프로세스의 일 실시예를 설명하는 순서도다.
도 13은 눈을 추적하기 위한 프로세스의 일 실시예를 설명하는 순서도로서, 그 결과는 도 12의 프로세스에 의해 사용된다.
도 14는 사용자의 중심와(fovea)에 연결하기 위해 최적화된 이미지의 선택된 부분을 제공하기 위한 프로세스의 일 실시예를 설명하는 순서도다.
도 15는 눈의 현 위치로부터 눈의 다음 위치를 추정하기 위한 프로세스를 설명하는 순서도다.
도 16은 도 15의 단계에 따라 하나 이상의 다음 눈 위치를 예측하는 방법이다.

니어-아이 디스플레이 장치를 이용할 때 사용자 경험이 개선되는 기술이 개시된다. 사용자는 헤드-장착 디스플레이 장치와 같은 니어-아이 디스플레이 장치를 통해 장면을 바라본다. 사용자가 바라보고 있는 환경 또는 공간인 사용자의 시야가 결정된다. 시야에 대한 사용을 위해 최적화된 이미지가 렌더링된다. 사용자의 초점 영역은 시야 내에서 사용자 눈의 위치를 추적함으로써 결정된다. 최적화 이미지의 디스플레이는, 디스플레이에 요구되는 프로세싱 및 에너지를 감소시키기 위해 사용자의 초점 영역에, 일 경우에 사용자의 중심와(fovea)에, 이미지의 최적화 부분을 연결함으로써 제공된다. 사용자 눈 위치가 추적되고, 다음 눈 위치가 연산되어, 다음 눈 위치로의 사용자의 눈 운동과 일치하는 다음 위치에 이미지 부분을 배치하게 된다.

이미지의 최적화 부분 배치는 기계적으로 제어되는 미러 및 투영 디스플레이를 포함한, 서로 다른 임의의 개수의 디스플레이 장치에 의해 수행된다. 사용자 눈의 잠재적 다음 위치를 결정하는데 예측 알고리즘이 사용된다.

도 1은 사용자 의향에 기초하여 최적화된 이미지를 발생시키기 위한 시스템(10)의 일 실시예의 예시적 구성요소들을 설명하는 블록도다. 시스템(10)은 와이어(6)를 통해 프로세싱 유닛(4)과 통신하는 니어-아이, 헤드-장착 디스플레이 장치(2)로 시-스루(see-through) 디스플레이 장치를 포함한다. 다른 실시예에서, 헤드-장착 디스플레이 장치(2)는 무선 통신을 통해 프로세싱 유닛(4)과 통신한다. 도 1의 구성요소가 시-스루 디스플레이 장치를 도시하지만, 본 기술과 함께 사용하기 적합한 다른 디스플레이 실시예가 도 3b-3d에 도시된다.

일 실시예에서 안경 형태인 헤드-장착 디스플레이 장치(2)는 사용자의 헤드 상에 착용되어, 사용자가 디스플레이를 통해 볼 수 있고 따라서 사용자 앞의 공간의 실제 직접 뷰를 갖는다. "실제 직접 뷰"라는 용어의 사용은 현실 세계 객체의 생성된 이미지 표현을 보는 것보다는, 사람의 눈으로 직접 현실 세계의 객체를 보는 능력을 의미한다. 예를 들어, 방에서 안경을 통해 바라볼 경우, 사용자가 방의 실제 직접 뷰를 가질 수 있고, 텔레비전 상에서 방의 비디오를 볼 경우, 이는 방의 실제 직접 뷰가 아니다. 헤드-장착 디스플레이 장치(2)의 세부사항이 아래에 제공된다. 도 1 및 도 3a-3d에 도시되는 장치가 안경 형태이지만, 헤드-장착 디스플레이 장치(2)는 고글을 구비한 헬멧과 같은, 다른 형태를 취할 수 있다.

일 실시예에서, 프로세싱 유닛(4)은 사용자의 허리 상에 착용되고, 헤드-장착 디스플레이 장치(2)를 작동시키는데 사용되는 컴퓨팅 전력의 일부분을 포함한다. 프로세싱 유닛(4)은 하나 이상의 허브 컴퓨팅 시스템(12)과 무선(예를 들어, 와이파이, 블루투스, 적외선, 또는 다른 무선 통신 수단)으로 통신한다.

허브 컴퓨팅 시스템(12)은 컴퓨터, 게임 시스템 또는 콘솔, 등일 수 있다. 예시적인 실시예에 따르면, 허브 컴퓨팅 시스템(12)은 허브 컴퓨팅 시스템(12)이 게임 애플리케이션, 논-게임 애플리케이션, 등과 같은 애플리케이션을 실행하는데 사용될 수 있도록, 하드웨어 구성요소 및/또는 소프트웨어 구성요소를 포함할 수 있다. 일 실시예에서, 허브 컴퓨팅 시스템(12)은, 여기서 설명되는 프로세스를 실행하기 위한 프로세서-판독가능 저장 장치 상에 저장되는 명령어를 실행할 수 있는, 표준화된 프로세서, 전용 프로세서, 마이크로프로세서, 등과 같은 프로세서를 포함할 수 있다.

다양한 실시예에서, 도 2a 및 도 8-15를 참조하여 여기서 설명되는 프로세스는 허브 컴퓨팅 시스템(12), 프로세싱 유닛(4), 및/또는 이 둘의 조합에 의해 전체적으로, 또는 부분적으로 수행된다.

허브 컴퓨팅 시스템(12)은 캡처 장치(20A, 20B)와 같은, 하나 이상의 캡처 장치를 더 포함한다. 다른 실시예에서, 2개보다 많은 또는 2개보다 적은 캡처 장치가 사용될 수 있다. 예시적인 일 구현예에서, 캡처 장치(20A, 20B)는 방의 서로 다른 부분을 캡처하도록 서로 다른 방향을 가리킨다. 두 캡처 장치의 시야가 약간 겹쳐져서 허브 컴퓨팅 시스템(12)이 캡처 장치의 시야가 서로 어떻게 관련되는 지를 이해할 수 있도록 하는 것이 유리할 수 있다. 이러한 방식으로, 복수의 캡처 장치가 전체 방(또는 다른 공간)을 보는데 사용될 수 있다. 대안으로서, 시간에 따라 전체 관련 공간이 캡처 장치에 의해 보이도록 캡처 장치가 작동 중 패닝될 수 있다면 하나의 캡처 장치가 사용될 수 있다.

캡처 장치(20A, 20B)는, 예를 들어, 한 명 이상의 사용자에 의해 수행되는 제스처 및/또는 움직임과, 주변 공간의 구조가 캡처, 분석, 및 추적될 수 있어서 애플리케이션 내의 하나 이상의 제어 또는 액션을 수행할 수 있도록, 그리고 아바타 또는 온-스크린 캐릭터를 애니메이션화할 수 있도록, 한 명 이상의 사용자 및 주변 공간을 시각적으로 모니터링하는 카메라일 수 있다.

허브 컴퓨팅 시스템(12)은 게임 또는 애플리케이션 비주얼을 제공할 수 있는 텔레비전, 모니터, 고화질 텔레비전(HDTV), 등과 같은 시청각 장치(16)에 연결될 수 있다. 예를 들어, 허브 컴퓨팅 시스템(12)은 게임 애플리케이션, 논-게임 애플리케이션, 등과 연관된 시청각 신호를 제공할 수 있는 사운드 카드와 같은 오디오 어댑터 및/또는 그래픽 카드와 같은 비디오 어댑터를 포함할 수 있다. 시청각 장치(16)는 허브 컴퓨팅 시스템(12)으로부터 시청각 신호를 수신할 수 있고, 그 후, 시청각 신호와 연관된 게임 또는 애플리케이션 비디오 및/또는 오디오를 출력할 수 있다. 일 실시예에 따르면, 시청각 장치(16)는 예를 들어, S-비디오 케이블, 동축 케이블, HDMI 케이블, DVI 케이블, VGA 케이블, 컴포넌트 비디오 케이블, RCA 케이블, 등을 통해 허브 컴퓨팅 시스템(12)에 연결될 수 있다. 일례로서, 시청각 장치(16)는 내부 스피커를 포함한다. 다른 실시예에서, 시청각 장치(16), 분리된 스테레오 또는 허브 컴퓨팅 시스템(12)은 외부 스피커(22)에 연결된다.

허브 컴퓨팅 장치(10)는 캡처 장치(20A, 20B)와 함께, 사람(및 다른 타입의) 표적을 인지, 분석, 및/또는 분석하는데 사용될 수 있다. 예를 들어, 헤드-장착 디스플레이 장치(2)를 착용한 사용자는 캡처 장치(20A, 20B)를 이용하여 추적되어, 사용자의 제스처 및/또는 움직임이 아바타 또는 온-스크린 캐릭터를 애니메이션화하도록 캡처될 수 있고, 허브 컴퓨팅 시스템(12)에 의해 실행되고 있는 애플리케이션에 영향을 미치는데 사용될 수 있는 제어 수단으로 해석될 수 있다.

개시되는 기술의 일 실시예에서, 그리고 아래에서 세부적으로 논의되는 바와 같이, 시스템(10)은 사용자의 시야 및 초점 영역을 결정함에 기초하여 사용자의 최적화 이미지를 발생시킨다. 최적화 이미지는 예를 들어, 객체의 개선된 외양, 또는 시야 상에 인위적으로 위에 놓여진 객체를 포함할 수 있고, 이는 사용자를 위해 개선된 경험을 제공한다. 최적화된 이미지는 사용자 눈 위치 및 움직임 패턴에 따라 최적화 부분에서(도 2b에 도시됨) 헤드-장착 디스플레이 장치(2)를 통해 사용자에게 디스플레이된다.

도 2a는 디스플레이에서 눈에 최적화된 이미지의 일부분을 연결하기 위한 방법의 일 실시예를 도시한다. 도 2a의 프로세스는 도 2b-2g와 관련하여 설명될 것이다.

단계(30)에서, 사용자의 시야 및 초점 영역이 결정된다. 상술한 바와 같이, 사용자의 시야는 사용자 환경 또는 장면, 사용자 헤드 위치 및 배향, 그리고 사용자의 눈 위치의 함수다. 도 2f는 일 환경(1100)의 사용자(1112)를 도시한다. 사용자(1112)는 램프(1106), 테이블(1120), 프로세싱 장치(1116), 캡처 장치(20A, 20B), 디스플레이(1110), 및 시계(1118)를 포함하는 다수의 객체를 (라인(1121)에 의해 형성되는) 시야로 보고 있는 것으로 도시된다. 사용자는 바닥(1108) 및 벽(1102)을 또한 보고, 의자(1107) 및 벽의 일부분(1104)은 못 본다. 환경(1100)은 좌표계(1150)에 대해 상대적으로 규정될 수 있고, 사용자의 헤드 위치는 제 2 좌표계(1152)에 대해 상대적으로 규정될 수 있다.

일 실시예에서, 사용자 시야 내 초점 영역은 초점 곡선을 따라 고정점(150)에서의 초점 영역이다. 예를 들어, 동공들 사이의 수렴(convergence)은 초점 곡선(147) 상의 초점에 대한 삼각법 연산에 사용될 수 있고(단시 궤적(horopter)), 이로부터 초점 영역 및 파눔 융합역(Panum's fusion area)이 연산될 수 있다. 파눔 융합역(147)은 일 망막의 영역 내의 임의의 지점이 다른 망막 상의 단일 지점과 융합하여 사람의 눈에 의해 양안 입체영상을 위한 단일 비전을 생성하도록 하는 일 망막의 영역이다. 도 2e에 도시되는 바와 같이, 각각의 사용자의 눈은 망막의 반점 영역의 중심에 위치하는 (대체로 fovea라고도 알려져 있는) 중심와(fovea centralis)를 포함한다. 중심와는 시각적 세부사항이 핵심적 주요사항인 읽기, 텔레비전 또는 영화 보기, 운전, 및 그외 다른 활동을 위해 사람에게 필요한 날카로운 중심시(central vision)에 책임이 있다. 도 2e의 중심와는 (148, 149)에 도시된다.

중심와(148, 149)에 대해 최적화된 이미지를 지향 또는 연결시킴으로써, 사용자가 이미지의 최적화 부분에 대해 비전을 포커싱할 수 있음을 보장할 수 있다. 추가적으로, 중심와에 연결하는데 요구되는 이미지 부분은 비교적 작다 - 망막 상에서 1mm 직경 이미지 수준이다. 헤드-장착 디스플레이(2)에 의해 비교적 작은 영역 부분을 렌더링함으로써, 헤드-장착 디스플레이(2)에 대한 전력 요건이 감소된다.

단계(32)에서, 결정된 시야에 대해 사용자에게 디스플레이될 최적화 이미지가 생성된다. 최적화 이미지는 이미지를 렌더링하는 애플리케이션에 의해 결정되고, 시야 내의 하나 이상의 개별 오버레이 이미지를 포함할 수 있고, 또는 전체 시야를 포괄할 수 있다.

도 2b는 디스플레이 상에 어떤 이미지도 투영되지 않을 때 환경(1100) 내의 사용자(1112)가 디스플레이 장치(2)를 통해 무엇을 보는 지를 도시한다. 도 2c는 도 2b의 장면에서 투영될 수 있는 최적화 이미지를 보여준다. 도 2c의 예에서, 최적화 이미지(1200)는 환경(1100)의 장면을 완전히 흐리게 한다. 본 예에서, 이 장면은 사람(1128), 새 이미지(1126), 및 트로피(1127)를 묘사한다. 일 실시예에서, 이미지를 렌더링하는 애플리케이션은 이러한 장면 내의 이러한 요소들의 구조 및 위치를 결정하였고, 이러한 객체들이 램프(1106), 시계(1118), 및 디스플레이(1110)와 같은 현실 시계 객체를 흐리게 하여야하는지 여부를 결정하였다.

단계(34)에서, 사용자 눈의 현 위치가 결정되고, 단계(36)에서, 최적화 이미지의 최적화 부분이 눈의 현 위치에서 사용자의 초점 영역에 연결된다. 일례로서, 이는 도 2d에 도시되며, 새 이미지(1126)의 이미지가 강조되어 도시되어 현실 세계 환경(1100) 상에 중첩되며, 새 이미지(1126)는 이미지의 밸런스에 대해 강조된다. 일 실시예에서, 최적화 이미지의 다른 요소(이 경우에 사람 및 트로피)가 렌더링되지 않거나, 저해상도로 렌더링된다(이제 도시됨). 추가적 형태에서, 방의 다른 시각적 요소가 사람의 시야로부터 혼동될 수 있다.

디스플레이 장치의 프로세싱 전력을, 사용자의 중심와 시각에 연결되는 이미지의 해당 최적화 부분만의 렌더링에 집중함으로써, 최적화 이미지 내 다른 요소가 렌더링 될 필요가 없고, 또는, 최적화 이미지에 비해 낮은 정밀도 따라서 낮은 리소스로 렌더링될 수 있다. 일 실시예에서, 최적화 이미지는 전체 이미지의 일부분이다. 정상 눈 동공은 주간광에서 1mm와 야간에 7mm 사이의 직경을 가질 수 있다. 디스플레이는 통상적으로 3mm 직경의 광에 대해 최적화된다. 동공 상에 이미지 부분을 집중시킴으로써, 이미지 광을 사용자의 초점 영역으로 직접 변환시킬 수 있어서, 이미지를 발생시키는데 요구되는 광을 실질적으로 감소시킬 수 있다.

대상의 동공에 이미지의 일부분을 집중시킴으로써, 이미지에 의해 발생되는 광선은 동공 상의 표적 점 및 방향을 부여받는다. 눈 근처로부터의 일부 광선은 눈 동공에 입사될 것이지만, 동공에 입사되지 않는 광선은 버려지고, 전력을 소비하며, 다른 바람직하지 않은 효과를 가질 수 있다.

이격된 지점으로부터의 광선이 눈 인근에서 모두 거의 평행하고 대략 공통의 방향을 공유하는 경우를 일반적으로 고려해볼 수 있다. 이상적인 경우, 눈의 광학계는 이러한 광선들을 망막 상의 중심와 영역의 초점에 놓이게 한다. 서로 다른 방향으로부터의 평행한 광선은 서로 다른 지점으로 보일 것이다.

눈의 동공에서 이미지를 최적화시키기 위해, 헤드-장착 디스플레이는 이미지로부터의 광선이 지향되는 동공 상의 입사점 및 방향을 변경시킨다. 대상이 자유 공간 내 광학 요소를 통해 보이는 장면의 광학적 왜곡을 교정할 수 있는 경우에, 이미지 디스플레이의 교정 및 방향이 본 기술의 헤드-장착 디스플레이의 기계역학에 의해 수행된다.

본 기술에 따르면, 아래 설명되는 실시예의 포지셔닝 시스템(160, 160a)은 사용자에게 이미지를 반사하는 미러 또는 마이크로디스플레이의 지향성 배치를 제공한다. 이러한 지향성 배치는, 디스플레이 또는 미러에 대한 이미지의 배치와 함께, 눈 위치에 대해 최적화된 위치 및 방향을 제공한다. 이는 예를 들어, 3차원으로 디스플레이(153) 또는 미러(166)를 틸트시킴으로써 달성될 수 있고, 이미지는 미러 또는 디스플레이 상의 적절한 위치에 렌더링된다.

다양한 다른 타입의 기계적 또는 전기역학적 요소들이 제공되어 아래 제시되는 사항에 추가하여 디스플레이되는 이미지의 방향을 최적화시킬 수 있다. 이러한 지향성 배치는 본 기술의 예측 눈 추적과 연계하여, 최적화된 시스템 프로세싱을 제공한다.

이미지의 최적화 부분의 이러한 연결을 유지하기 위해, 사용자의 다음 가능한 눈 움직임이 단계(38)에서 추적되고, 단계(40)에서, 최적화된 디스플레이 이미지의 다른 최적화된 부분이 (240)에서의 다음 위치에서 사용자의 초점 영역에 연결된다. 시야가 단계(44)에서 변화하면, 새로운 시야가 단계(32)에서 결정된다. 시야가 단계(44)에서 변화하지 않을 경우, 단계(38)에서 사용자의 눈이 예측 위치로 실제 이동하였는지 여부가 결정되고, 방법은 단계(38)에서 잠재적인 다음 눈 운동 위치를 연산한다. 단계(44)에서 눈의 현 위치를 추적하고, 단계(38)에서 다음 위치를 연산하는 루프는, 적절한 시각적 경험을 제공하기 위해, 해당 움직임과 동시적인 사용자의 눈 움직임의 다음 위치로 최적화된 이미지 부분을 이동시키기 위해, 거의 순간적인 방식으로 하나 이상의 마이크로프로세서 또는 전용 추적 회로에 의해 수행될 수 있다.

위 설명에서 '다음' 및 '현'이라는 용어의 사용이 이미지의 단일 부분에 제한될 필요는 없다. 예를 들어, 도 2g를 참조할 때, 단계(36) 또는 단계(40)에서 현 위치로 렌더링되는 각각의 부분은 제 1 시간(T)에서 이미지 부분(이미지(1126))과 제 2 시간(T2)에서 이미지 부분(이미지(1135))을 포함할 수 있고, 사용자의 눈은 시간(T2)에 놓일 것으로 예측되어, 도 2a에서 설명되는 각각의 "현" 및 "다음" 부분은 두 이미지 부분을 포함할 수 있다.

더욱이, 사용자의 눈을 해당 위치로 끌어들이기 위해, 이미지(1200)의 대안의 부분들이 풀 해상도 또는 부분적 풀 해상도로 렌더링될 수 있다. 예를 들어, 애플리케이션은 주어진 애플리케이션 범주 내에서 사용자의 의향 및 사용자의 눈 움직임을 끌어들이기 위해, 플레이어(1128) 또는 트로피(1127)를 렌더링하는 것을 선택할 수 있다.

더욱이, 본 기술은 오버레이 이미지의 이용을 요구하지 않고, 사용자 환경을 참조하지 않으면서 사용자에게 이미지만을 디스플레이하는 데 유리하게 사용될 수 있다.

도 3a는 템플(102) 및 코다리(nose bridge)(104)를 포함하는 프레임의 일부분을 포함하는, 헤드-장착 디스플레이 장치(20)의 일부분의 평면도를 도시한다. 헤드-장착 디스플레이 장치(2)의 우측부만이 도시된다. 아래 설명되는 바와 같이 소리를 녹음하고 프로세싱 유닛(4)에 이러한 오디오 데이터를 전송하기 위한 마이크로폰(110)이 코다리(104) 내에 구축된다. 비디오 및 정지 이미지를 캡처할 수 있는 비디오 카메라(113)를 면하는 방이 헤드-장착 디스플레이 장치(2)의 전방에 있다. 이러한 이미지들은 아래 설명되는 바와 같이 프로세싱 유닛(4)에 전송된다.

헤드-장착 디스플레이 장치(2)의 프레임의 일부분은 (하나 이상의 렌즈를 포함하는) 디스플레이를 둘러쌀 것이다. 헤드-장착 디스플레이 장치(20)의 구성요소들을 보여주기 위해, 디스플레이를 둘러싸는 프레임의 일부분이 묘사되지 않는다. 디스플레이는 광-안내 광학 요소(112), 불투명도 필터(opacity filter)(114), 시-스루 렌즈(116) 및 시-스루 렌즈(118)를 포함한다. 일 실시예에서, 불투명도 필터(114)는 시-스루 렌즈(116) 뒤에 함께 정렬되고, 광-안내 광학 요소(112)는 불투명도 필터(114) 뒤에 함께 정렬되며, 시-스루 렌즈(118)는 광-안내 광학 요소(112) 뒤에 함께 정렬된다. 시-스루 렌즈(116, 118)는 안경에 사용되는 표준 렌즈이고, 임의의 처방이 이루어질 수 있다(처방이 없는 경우도 포함). 일 실시예에서, 시-스루 렌즈(116, 118)는 가변 처방 렌즈로 대체될 수 있다. 일부 실시예에서, 헤드-장착 디스플레이 장치(2)는 한 하나의 시-스루 렌즈를 포함하거나 시-스루 렌즈를 전혀 포함하지 않는다. 다른 대안에서, 처방 렌즈가 광-안내 광학 요소(112) 내부에 들어갈 수 있다. 불투명도 필터(114)는 자연광를 필터링하여(화소 단위로 또는 균일하게) 가상 이미지의 콘트래스트를 개선시킬 수 있다. 광-안내 광학 요소(112)는 눈에 인공 광을 채널링한다. 불투명도 필터(114) 및 광-안내 광학 요소(112)의 세부사항은 아래에서 제공된다.

일 실시예에서, 가상 이미지를 투영하기 위한 마이크로 디스플레이 조립체(120)와, 마이크로디스플레이(120)로부터 광-안내 광학 요소(112)로 이미지를 지향시키기 위한 렌즈(122)를 포함하는 이미지 소스가 템플(102)에 또는 템플(102) 내부에 장착된다. 일 실시예에서, 렌즈(122)는 시준 렌즈다.

제어 회로(136)는 헤드-장착 디스플레이 장치(20)의 다른 구성요소를 지원하는 다양한 전자 회로를 제공한다. 제어 회로(316)의 세부사항은 도 4a 및 4b를 참조하여 아래에서 제공된다. 이어폰(130), 관성 및/또는 자기 센서(132), 및 온도 센서(138)가 템플(102)에, 또는 템플(102) 내부에 장착된다. 일 실시예에서, 관성 및 자기 센서(132)는 3-축 자력계(132A), 3-축 자이로(132B), 및 3-축 가속계(132C)를 포함한다(도 5 참조). 관성 및/또는 자기 센서는 헤드-장착 디스플레이 장치(2)의 위치, 배향, 및 급작스런 가속을 감지하기 위한 센서다.

마이크로 디스플레이(120)는 렌즈(122)를 통해 이미지를 투영한다. 마이크로 디스플레이(120)를 구현하는데 사용될 수 있는 이미지 발생 기술에는 여러 가지가 있다. 예를 들어, 마이크로 디스플레이(120)는 투과형 투영 기술을 이용하여 구현될 수 있고, 이 경우 광원이 백색광의 백라이트를 갖는 광학적 활성 물질에 의해 변조된다. 이러한 기술은 통상적으로, 강력한 백라이트 및 높은 광학적 에너지 밀도를 갖는, LCD 타입 디스플레이를 이용하여 구현된다. 마이크로 디스플레이(120)는 광학적 활성 물질에 의해 외부 광을 반사하고 변조하는 반사형 기술을 이용하여 또한 구현될 수 있다. 조명은 기술에 따라, 백색광원 또는 RGB 소스에 의해 포워드 라이팅된다. 디지털 광 프로세싱(DLP), 액정 온 실리콘(LCOS) 및 Qulacomm, inc. 사의 Mirasol® 디스플레이 기술은 변조 구조로부터 대부분의 에너지가 반사되어 사자림에 따라 효율적인 반사형 기술의 모든 예이고, 여기서 설명되는 시스템에 사용될 수 있다. 추가적으로, 마이크로 디스플레이(120)는 디스플레이에 의해 광이 발생되는 발광형 기술을 이용하여 구현될 수 있다. 예를 들어, Microvision, Inc. 사의 PicoPTM 디스플레이 엔진은 (예를 들어, 레이저와 같이) 눈에 직접 조사되거나 투과형 요소로 작용하는 타이니 스크린 상에, 마이크로 미러 조향을 이용하여 레이저 신호를 방사한다.

광-안내 광학 요소(112)는 헤드-장착 디스플레이 장치(2)를 착용하고 있는 사용자의 눈(140)까지 마이크로 디스플레이(120)로부터 광을 투과시킨다. 광-안내 광학 요소(112)는 화살표(142)에 의해 묘사되는 바와 같이, 헤드-장착 디스플레이 장치(20)의 전방으로부터 광-안내 광학 요소(112)를 통해 눈(140)까지 광을 또한 투과시키고, 따라서, 사용자가 마이크로 디스플레이(120)로부터 시각적 이미지를 수신함에 추가하여, 헤드-장착 디스플레이 장치(2) 앞 공간의 실제 직접 뷰를 가질 수 있게 한다. 따라서, 광-안내 광학 요소(112)의 벽체는 시-스루다. 광-안내 광학 요소(112)는 제 1 반사 표면(124)(예를 들어, 미러 또는 다른 표면)을 포함한다. 마이크로 디스플레이(120)로부터의 광은 렌즈(122)를 통과하고 반사 표면(14) 상에 입사된다. 반사 표면(124)은 마이크로 디스플레이(120)로부터 입사되는 광을 반사시켜서, 광이 전반사에 의해 광-안내 광학 요소(112)를 포함하는 평면형 기판 내부에서 갇히게 된다. 기판의 표면에서 여러 회 반사 후, 갇힌 광파가 선택적으로 반사하는 표면(126)의 어레이에 도달한다. 도면의 번잡함을 방지하기 위해 5개의 표면 중 하나만이 (126)으로 표시된다. 반사 표면(126)은 기판으로부터 해당 반사 표면에 입사되는 광파를 사용자의 눈(140)에 연결시킨다. 서로 다른 광선이 전파되어 서로 다른 각도에서 기판의 내부에서 바운스하기 때문에, 서로 다른 광선이 서로 다른 각도에서 다양한 반사 표면(126)에 충돌할 것이다. 따라서, 서로 다른 광선이 반사 표면 중 서로 다른 반사 표면에 의해 기판으로부터 반사될 것이다. 어느 광선이 어느 표면(126)에 의해 반사될 것인지의 선택은, 표면(126)의 적정 각도를 선택함으로써 구성된다. 광-안내 광학 요소의 세부사항은 2008년 11월 20일 공개된 미국특허출원공보 제2008/0285140호(일련번호 12/214,366호), "Substrate-Guided Optical Devices"에 개시되어 있고, 그 전체 내용은 본 발명에 참고자료로 포함된다. 일 실시예에서, 각각의 눈은 자체 광-안내 광학 요소(112)를 가질 것이다. 헤드-장착 디스플레이 장치가 2개의 광-안내 광학 요소를 가질 때, 각각의 눈은 두 눈에 동일 이미지를 디스플레이할 수 있는, 또는, 두 눈에 서로 다른 이미지를 디스플레이할 수 있는, 자체 마이크로 디스플레이(120)를 가질 수 있다. 다른 실시예에서, 두 눈에 광을 반사시키는 하나의 광-안내 광학 요소가 존재할 수 있다.

광-안내 광학 요소(112)와 정렬되는 불투명도 필터(114)는 자연광이 광-안내 광학 요소(112)를 통과하는 것을 균일하게, 또는 화소 단위로, 선택적으로 차단한다. 일 실시예에서, 불투명도 필터는 시-스루 LCD 패널, 전기변색 필름, PDLC(폴리머 분산 액정), 또는 불투명도 필터로 기능할 수 있는 유사 장치일 수 있다. 이러한 시-스루 LCD 패널은 기판의 다양한 층, 백라이트, 및 디퓨저를 종래의 LCD로부터 제거함으로써 얻을 수 있다. LCD 패널은 광이 액정을 통과할 수 있는 하나 이상의 광-투과성 LCD 칩을 포함할 수 있다. 이러한 칩은 예를 들어, LCD 프로젝터에 사용된다.

불투명도 필터(114)는 조밀한 화소 그리드를 포함할 수 있고, 이 경우 각 화소의 광투과율은 최소 투과율 및 최대 투과율 사이에서 개별적으로 제어가능하다. 0-100%의 투과율 범위가 이상적이지만, 더욱 제한된 범위도 수용가능하다. 일례로서, 2개 이하의 편광 필터를 갖는 단색 LCD 패널은, LCD의 해상도까지 화소당 약 50% 내지 99%의 불투명도 범위를 제공하기에 충분하다. 50%의 최소값에서, 렌즈는 허용가능한 약간 틴트된 외양을 가질 것이다. 100% 투과율은 완전하게 선명한 렌즈를 나타낸다. "알파" 스케일은 0-100%로부터 규정될 수 있고, 0%는 광 투과가 없고, 100%는 모든 광을 투과시킨다. 알파 값은 아래 설명되는 불투명도 필터 제어 회로(224)에 의해 각 화소에 대해 세팅될 수 있다.

현실 세계 객체에 대한 프록시로 z-버퍼링 후, 렌더링 파이프라인으로부터 알파 값의 마스크가 사용될 수 있다. 시스템이 증강 현실 디스플레이를 위한 장면을 렌더링할 때, 어느 실세계 객체가 어느 가상 객체 앞에 놓이는지를 표시한다. 가상 객체가 현실 시계 객체 앞에 놓일 경우, 불투명도는 가상 객체의 수렴 영역에 대해 온 상태여야 한다. 가상 객체가 현실 세계 객체 뒤에 (가상으로) 놓일 경우, 불투명도는 오프되어야 하고, 해당 화소에 대한 칼라도 마찬가지이며, 따라서, 사용자는 현실 광의 대응 영역(크기가 일 화소 이상)에 대한 현실 시계 객체만을 보게될 것이다. 수렴은 화소 단위로 이루어지고, 따라서 시스템은, 가상 객체의 일부분이 현실 시계 객체 앞에 놓이는 경우, 가상 객체의 일부분이 현실 세계 객체의 뒤에 놓이는 경우, 가상 객체의 일부분이 현실 세계 객체와 같은 공간을 차지하는 경우를 취급할 수 있다. 낮은 비용, 전력, 및 중량으로 0% 내지 100%의 불투명도로 진행할 수 있는 디스플레이는 이 용도로 가장 바람직하다. 더욱이, 불투명도 필터는 칼라 LCD, 등과 함께, 또는, 유기 LED와 같은 다른 디스플레이와 함께, 칼라로 렌더링될 수 있어서, 넓은 시야를 제공할 수 있다. 불투명도 필터에 대한 세부사항은 2010년 9월 21일자 미국특허출원 제12/887,426호, "Opacity Filter For See-Through Mounted Display"에서 제공되고, 그 내용 전체는 본 발명에 참고자료로 포함된다.

LCD와 같은 불투명도 필터는, 눈까지의 이와 같은 근거리에서 초점이 맞지 않을 수 있기 때문에, 여기서 설명되는 바와 같이 시-스루 렌즈와 함께 일반적으로 사용되지 않는다. 그러나, 일부 경우에, 이 결과가 바람직할 수 있다. 사용자는 초점이 맞도록 설계된, 추가 색상을 이용하여 정규 HMD 디스플레이를 통해 크리스프 칼라 그래픽으로 가상 이미지를 본다. LDC 패널은 이러한 디스플레이 "뒤에" 배치되어, 퍼지 블랙 경계가 임의의 가상 콘텐트를 둘러싸게 되어, 이를 요망되는 대로 불투명하게 한다. 시스템은 안티-앨리어싱 및 대역폭 감소의 특징을 편의상 얻도록 자연 번짐(natural blurring)의 흠을 변환한다. 이는 저해상도 및 초점을 벗어난 이미지 이용의 자연스런 결과다. 디지털 방식으로 샘플링된 이미지의 효과적 스무딩이 존재한다. 임의의 디지털 이미지가 앨리어싱을 겪게 되고, 샘플링의 개별 속성은 자연스럽게 아날로그 및 연속 신호에 대해 에러를 야기하게 된다. 스무딩은 이상적인 아날로그 신호에 시각적으로 더 가까움을 의미한다. 저해상도로 손실되는 정보가 회수되지 않지만, 결과적인 에러는 덜 주목할만한다.

일 실시예에서, 디스플레이 및 불투명도 필터는 동시에 렌더링되고, 각도-오프셋 문제를 보상하기 위해 공간 내 사용자의 정밀 위치로 보정된다. 눈 추적을 이용하여 시야의 극단에서 정확인 이미지 오프셋을 연산할 수 있다. 일부 실시예에서, 불투명도 양의 시간적 또는 공간적 페이드(fade)가 불투명도 필터에 사용될 수 있다. 마찬가지로, 가상 이미지의 시간적 또는 공간적 페이드가 사용될 수 있다. 일 기법에서, 불투명도 필터의 불투명도 양의 시간적 페이드는 가상 이미지의 시간적 페이드에 대응한다. 다른 기법에서, 불투명도 필터의 불투명도 양의 공간적 페이드는 가상 이미지의 공간적 페이드에 대응한다.

예시적인 일 기법에서, 사용자 눈의 식별된 위치의 시각으로부터 가상 이미지 뒤에 놓인 불투명도 필터의 화소에 대해 불투명도 증가가 제공된다. 이러한 방식으로, 가상 이미지 뒤의 화소는 어두워져서, 현실 세계 장면의 대응하는 부분으로부터의 광이 사용자 눈에 도달하지 못하게 된다. 이에 따라, 가상 이미지가 현실적이게 되고, 풀 범위의 색상 및 강도를 나타낸다. 더욱이, 증강 현실 방사기에 의한 전력 소모는 가상 이미지가 저강도에서 제공될 수 있기 때문에 감소한다. 불투명도 필터가 없을 경우, 가상 이미지는, 가상 이미지를 뚜렷하게 하고 투과성이 아니도록 하기 위해, 현실 세계 장면의 대응하는 부분보다 밝은 충분히 높은 강도로 제공될 필요가 있다. 불투명도 필터의 화소를 어둡게 함에 있어서, 일반적으로, 가상 이미지의 닫힌 둘레를 따르는 화소들은 둘레 내의 화소들과 함께 어두워진다. 둘레 바로 바깥에 놓여 둘레를 둘러싸는 일부 화소들이 (둘레 내부의 화소와 동일하게 또는 둘레 내부의 화소보다 덜 어둡게) 또한 어두워지도록 일부 중첩을 제공하는 것이 바람직할 수 있다. 둘레 바로 바깥의 이러한 화소들은 둘레 내부의 '어두움'(darkness)으로부터 둘레 외부의 완전한 양의 '전혀 어둡지 않음'(non-darkness)까지 페이드(예를 들어, 점진적 불투명도 변화)를 제공할 수 있다.

헤드-장착 디스플레이 장치(2)는 사용자 눈의 위치를 추적하기 위한 시스템을 또한 포함한다. 아래 설명되는 바와 같이, 시스템은, 시스템이 사용자의 사야를 결정할 수 있도록 사용자 위치 및 배향을 추적할 것이다. 그러나, 사람이 사람 앞의 모든 것을 인지하지 못할 것이다. 대신에, 사용자의 눈은 환경의 서브세트로 지향될 것이다. 따라서, 일 실시예에서, 시스템은 사용자의 시야의 측정을 정련하기 위해 사용자 눈의 위치를 추적하기 위한 기술을 포함할 것이다. 예를 들어, 헤드-장착 디스플레이 장치(2)는 눈 추적 조명 장치(134A)(도 4a 참조) 및 눈 추적 카메라(134B)(도 4a 참조)를 포함할 눈 추적 조립체(134)(도 3a)를 포함한다. 일 실시예에서, 눈 추적 조명원(134A)은 눈을 향해 적외선광을 방사하는 하나 이상의 적외선(IR) 방사기를 포함한다. 눈 추적 카메라(134B)는 반사된 적외선 광을 감지하는 하나 이상의 카메라를 포함한다. 동공 위치는 각막의 반사를 검출하는 알려진 이미징 기술에 의해 식별될 수 있다. 예를 들어, Kranz, 등의 2008년 7월 22일자로 등록된 미국특허 제7,401,920호, "Head Mounted Eye Tracking and Display System"를 참고할 수 있고, 그 내용은 본 발명에 참고자료로 포함된다. 이러한 기술은 추적 카메라에 대해 눈의 중심의 위치를 파악할 수 있다. 일반적으로, 눈 추적은 눈의 이미지를 획득하는 단계와, 컴퓨터 비전 기술을 이용하여 눈 소켓 내 동공의 위치를 결정하는 단계를 포함한다. 일 실시예에서, 눈이 통상적으로 일제히 움직이기 때문에, 한 눈의 위치를 추적하는 것으로 충분하다. 그러나, 각각의 눈을 개별적으로 추적하는 것도 가능하다.

일 실시예에서, 눈 추적 조명 장치(134A)는 장방형 배열에 4개의 적외선 LED를 이용할 것이고, 눈 추적 카메라(134B)는 4개의 적외선 포토검출기(도시되지 않음)를 이용하여, 헤드-장착 디스플레이 장치(2)의 렌즈의 각 코너에 하나씩 적외선 LED 및 적외선 포토검출기가 존재하게 된다. LED로부터의 광은 눈으로부터 반사된다. 4개의 포토검출기 각각에서 검출되는 적외선 광의 양은 동공 방향을 결정한다. 즉, 눈에서 백색 대 흑색의 양은 특정 포토 검출기에 대한 눈으로부터 반사되는 광의 양을 결정할 것이다. 따라서, 포토 검출기는 눈에서 백색 또는 흑색의 양의 측정치를 가질 것이다. 4개의 샘플로부터, 시스템은 눈의 방향을 결정할 수 있다.

다른 대안은 상술한 바와 같이 4개의 적외선 LED를 이용하지만, 헤드-장착 디스플레이 장치(2)의 렌즈의 측부 상에 단 하나의 적외선 CCD를 이용하는 것이다. CCD는 작은 미러 및/또는 렌즈(어안(fish eye))를 이용하여, CCD가 안경 프레임으로부터 보이는 눈의 75%까지를 이미징할 수 있게 된다. CCD는 그 후, 이미지를 감지할 것이고, 앞서 설명한 바와 매우 유사하게, 컴퓨터 비전을 이용하여 눈 위치를 찾아낼 것이다. 따라서, 도 3a-3c가 하나의 적외선 방사기를 갖는 하나의 조립체를 도시하지만, 도 2의 구조는 4개의 적외선 송신기 및/또는 4개의 적외선 센서를 갖도록 조정될 수 있다(주: 도면 부호는 업데이트되어야 한다. 도면 내에서 이것을 보지 말 것). 4개보다 많거나 적은 적외선 송신기 및/또는 IR 센서가 또한 사용될 수 있다.

눈 방향 축적을 위한 다른 실시예는 전하 추적에 기초한다. 이 개념은 망막은 측정가능한 양전하를 지니고 각막은 음전하를 갖는다는 관찰사항에 기초한다. 센서는 눈이 주변을 돌아보면서 눈이 실시간으로 행하고 있는 것을 효과적으로 판독하는 동안 전기적 전위를 검출하기 위해 사용자의 귀(이어폰(130) 근처)에 의해 장착된다. 눈을 추적하기 위한 다른 실시예도 또한 사용될 수 있다.

도 3b-3d는 헤드-장착 디스플레이 장치(20)의 일부분의 대안의 실시예(2b, 2c)를 도시한다. 도 3b-3d에서, 유사한 도면 부호들은 도 3a에서 식별된 것과 유사한 부분을 나타낸다.

도 3b는 시-스루 방식이 아닌 헤드-장착 디스플레이 장치(2b)를 도시한다. 도 3b의 디스플레이 장치(2b)는 사용자의 눈(140)에 (환경(1100)과 같은) 장면의 뷰를 연결하기 위해 도파관(124A)에 연결되는 순방향으로 면하는 렌즈(133a)를 이용한다. 마이크로 디스플레이(153)는 개별적으로 활성화되는 화소 요소들의 어레이에 의해 형성되는 해상도를 갖는, LCD, LED, 또는 OLED, 등과 같은 상술한 디스플레이 타입을 포함할 수 있고, 그 조합은 사용자의 중심와에 연결하기 적합한 최적화 이미지의 일부분을 발생시키는데 사용된다. 마이크로디스플레이(153)는 사용자의 눈(140)에 대해 3차원으로 디스플레이를 포지셔닝하기 위해 디스플레이의 각 코너에 연결되는 복수의 마이크로-전기역학적 요소(160a)에 연결될 수 있다. 따라서, 마이크로 디스플레이(153)는 디스플레이의 중심점 주위로 복수의 회전축 "Z" 및 "X"를 가질 수 있고, 사용자의 눈에 대해 수직방향 "V" 및 횡방향 "L"의 배치를 가질 수 있다.

도 3b에 도시되는 바와 같이, 본 경우에 새(1126)와 같이, 최적화 이미지의 이미지 부분(1126)을 렌더링하는 디스플레이의 해당 요소들만이 고해상도 이미지를 제공하도록 구동되어, 사용자 눈(140)의 초점 영역이 이미지(126)로부터의 광에 직접 연결되게 된다. 이미지(1126)는 부분(1126a)에 의해 둘러싸여, 환경 내 사용자의 전체 시야의 최적화 이미지(1200)의 일부분인 이미지(1126)만이 도 3b에서 렌더링됨을 보여준다.

도 3c 및 3d는 본 기술의 다른 대안의 실시예(2b)를 보여준다. 도 3d는 헤드-장착 디스플레이 장치(2D)의 정면도이고, 도 3c는 측면도다. 도 3c 및 3d에서, 헤드-장착 디스플레이 장치(2c)는 지지 구조(162), 마이크로-전기역학 요소(160, 161, 163)(및 제 4 마이크로-전기역학 요소 - 도시되지 않음) 및 미러(166)를 포함한다. 하나 이상의 마이크로디스플레이 요소(170)가 미러(166)에 인접하여 위치하고, 요소(170)는 도 3a를 참조하여 설명되는 디스플레이(120)와 동등할 수 있다. 미러(166)는 마이크로역학적 요소(160, 161, 163)에 의해 디스플레이 구조(162)에 대해 이동할 수 있어서, 마이크로디스플레이 요소로부터 사용자 눈의 초점 영역 내로 방사물을 지향시킬 수 있다. 마이크로역학적 요소(160, 161, 163)는 압전 요소, 또는 다른 기계적으로 제어되는 또는 전기역학적으로 제어되는 요소를 포함할 수 있고, 이러한 요소는 협동하여 사용될 때, 지지 구조(162)에 대해 3개의 이동축을 따라 미러(166)를 배치할 수 있다. 마이크로디스플레이(153)와 유사한 방식으로, 마이크로-전기역학적 요소(160-163)는 미러의 각각의 코너에서 연결되어 사용자 눈(140)에 대해 3차원으로 미러를 배치할 수 있다. 따라서, 미러(166)는 디스플레이의 중심 지점 주위로 복수의 회전축 "Z" 및 "X"를 가질 수 있고, 사용자의 눈에 대해 수직방향 "V" 및 횡방향 "L" 배치를 가질 수 있다. 미러(166)의 움직임은 마이크로디스플레이 요소의 지향성 출력과 조합하여 또는 단독으로 사용되어, 사용자의 초점 영역 내에 이미지의 최적화 부분(본 예에서, 새 이미지(1126))을 배치할 수 있다.

도 3a-3d는 헤드-장착 디스플레이 장치(2a-2c)의 절반만을 도시한다. 풀 헤드-장착 디스플레이 장치는 (적용가능할 경우) 다른 세트의 렌즈, 다른 불투명도 필터, 다른 광-안내 광학 요소, 다른 마이크로 디스플레이, 다른 렌즈, 방에 면하는 카메라, 눈 추적 조립체, 마이크로 디스플레이, 이어폰, 및 온도 센서를 포함할 것이다.

도 4a는 헤드-장착 디스플레이 장치(2a-2c)의 다양한 구성요소를 도시하는 블록도다. 도 3a-3d를 참조하면, 도 4a에 도시되는 일부 구성요소는 도 3a-3d에 도시되는 각각의 실시예에 존재하지 않을 수 있다. 도 4b는 프로세싱 유닛(4)의 다양한 구성요소를 설명하는 블록도다. 도 4a에 각 구성요소들이 도시되는 각각의 헤드-장착 디스플레이 장치(2)를 이용하여 사용자에게 최적화 이미지를 디스플레이할 수 있다. 추가적으로, 도 4a의 헤드-장착 디스플레이 장치의 구성요소는 다양한 조건을 추적하는 많은 센서들을 포함한다. 헤드-장착 디스플레이 장치(2a-2c)는 프로세싱 유닛(4)으로부터 가상 이미지에 관한 명령어를 수신할 것이고, 프로세싱 유닛(4)에 센서 정보를 다시 제공할 것이다. 도 4b에 그 구성요소들이 도시되는 프로세싱 유닛(4)은 헤드-장착 디스플레이 장치(2a-2c)로부터, 그리고, 허브 컴퓨팅 장치(12)(도 1 참조)로부터 또한 센서 정보를 수신할 것이다. 이 정보에 기초하여, 프로세싱 유닛(4)은 사용자에게 가상 이미지를 제공할 시기 및 장소를 결정할 것이고, 도 4a의 헤드-장착 디스플레이 장치에 명령어를 전송할 시기 및 장소를 결정할 것이다.

도 4a의 구성요소 중 일부(예를 들어, 후방을 면하는 카메라(113), 눈 추적 카메라(134B), 마이크로 디스플레이(120, 또는 153), 불투명도 필터(114), 눈 추적 조명(134A), 및 이이폰(130))는 이러한 장치들 각각에 대해 2개씩, 즉, 헤드-장착 디스플레이 장치(2)의 좌측부에 대해 하나, 그리고 우측부에 대해 하나씩, 존재할 수 있음을 표시하도록 음영으로 도시된다. 도 4a는 전력 관리 회로(202)와 통신하는 제어 회로(200)를 도시한다. 제어 회로(200)는 프로세서(210), 메모리(214)(예를 들어, D-RAM)와 통신하는 메모리 컨트롤러(212), 카메라 인터페이스(216), 카메라 버퍼(218), 디스플레이 드라이버(220), 디스플레이 포매터(222), 타이밍 제너레이터(226), 디스플레이-아웃 인터페이스(228), 및 디스플레이-인 인터페이스(230)를 포함한다. 일 실시예에서, 제어 회로(200)의 모든 구성요소들이 전용 라인 또는 하나 이상의 버스를 통해 서로 통신한다. 다른 실시예에서, 제어 회로(200)의 각각의 구성요소는 프로세서(210)와 통신한다. 카메라 인터페이스(216)는 2개의 방에 면하는 카메라(113)에 대한 인터페이스를 제공하고, 방에 면하는 카메라로부터 수신되는 이미지를 카메라 버퍼(218)에 저장한다. 디스플레이 드라이버(220)는 마이크로 디스플레이(120 또는 153)를 구동할 것이다. 디스플레이 포매터(222)는 불투명도 필터(114)를 제어하는 불투명도 제어 회로(224)에, 마이크로 디스플레이(120 또는 153) 상에 디스플레이되는 가상 이미지에 관한 정보를 제공한다. 타이밍 제너레이터(226)를 이용하여 시스템에 대한 타이밍 데이터를 제공할 수 있다. 디스플레이-아웃 인터페이스(228)는 방에 면하는 카메라(113)로부터 프로세싱 유닛(4)에 이미지를 제공하기 위한 버퍼다. 디스플레이-인(230)은 마이크로 디스플레이(120) 상에 디스플레이될 가상 이미지와 같은 이미지를 수신하기 위한 버퍼다. 디스플레이-아웃(228) 및 디스플레이-인(230)은 프로세싱 유닛(4)에 대한 인터페이스인 대역 인터페이스(232)와 통신한다. 디스플레이 드라이버(220)는 도 3c 및 3d의 위 실시예에 따라 포커싱된 이미지를 디스플레이하도록 미러(166)를 배치하기 위해 미러 컨트롤러(162)를 또한 구동할 수 있다.

전력 관리 회로(202)는 전압 레귤레이터(234), 눈 추적 조명 드라이버(236), 오디오 DAC 및 증폭기(238), 마이크로폰 전치증폭기 오디오 ADC(240), 온도 센서 인터페이스(242), 및 클럭 제너레이터(244)를 포함한다. 전압 레귤레이터(234)는 프로세싱 유닛(4)으로부터 대역 인터페이스(232)를 통해 전력을 수신하고, 헤드-장착 디스플레이 장치(2)의 다른 구성요소에 해당 전력을 제공한다. 눈 추적 조명 드라이버(236)는 앞서 설명한 바와 같이, 눈 추적 조명(134A)을 위한 적외선 광원을 제공한다. 오디오 DAC 및 증폭기(238)는 이어폰(130)으로부터 오디오 정보를 수신한다. 마이크로폰 전치증폭기 및 오디오 ADC(240)는 마이크로폰(110)에 대한 인터페이스를 제공한다. 온도 센서 인터페이스(242)는 온도 센서(138)용 인터페이스다. 전력 관리 유닛(202)은 또한 전력을 제공하고, 자력계(132A), 3-축 자이로(132B), 및 3-축 가속계(132C)로부터 전력을 다시 데이터를 수신한다.

도 4b는 프로세싱 유닛(4)의 다양한 구성요소를 설명하는 블록도다. 도 4b는 전력 관리 회로(306)와 통신하는 제어 회로(340)를 보여준다. 제어 회로(304)는 중앙 처리 유닛(CPU)(320), 그래픽 처리 유닛(GPU)(322), 캐시(324), RAM(326), 메모리(330)(예를 들어, D-RAM)와 통신하는 메모리 컨트롤러(328), 플래시 메모리(334)(또는 다른 타입의 비-휘발성 저장 수단)와 통신하는 플래시 메모리 컨트롤러(332), 대역 인터페이스(302) 및 대역 인터페이스(232)를 통해 헤드-장착 디스플레이 장치(2)와 통신하는 디스플레이-아웃 버퍼(336), 대역 인터페이스(320) 및 대역 인터페이스(232)를 통해 헤드-장착 디스플레이 장치(2)와 통신하는 디스플레이-인 버퍼(338), 마이크로폰에 연결하기 위해 외부 마이크로폰 커넥터(342)와 통신하는 마이크로폰 인터페이스(340), 무선 통신 장치(346)에 연결하기 위한 PCI 익스프레스 인터페이스, 및 USB 포트(348)를 포함한다. 일 실시예에서, 무선 통신 장치(346)는 와이파이-가능 통신 장치, 블루투스 통신 장치, 적외선 통신 장치, 등을 포함할 수 있다. USB 포트는 데이터 또는 소프트웨어를 프로세싱 유닛(4)에, 그리고, 전하 프로세싱 유닛(4)에, 로딩하기 위해, 허브 컴퓨팅 장치(12)에 프로세싱 유닛(4)을 도킹하는 데 사용될 수 있다. 일 실시예에서, CPU(320) 및 GPU(322)는 가상 이미지를 사용자 뷰 내로 언제 어떻게 어디서 삽입할 지를 결정하기 위한 메인 워크호스(workhorse)다. 세부사항은 아래에서 제공된다.

전력 관리 회로(306)는 클럭 제너레이터(360), 아날로그-디지털 컨버터(362), 배터리 충전기(364), 전압 레귤레이터(366), 헤드-장착 디스플레이 전력원(376), 및 (프로세싱 유닛(4)의 손목 밴드 상에 위치하는) 온도 센서(374)와 통신하는 온도 센서 인터페이스(372)를 포함한다. 아날로그-디지털 컨버터(362)는 AC 공급을 수신하기 위해, 그리고 시스템을 위한 DC 공급을 생성하기 위해, 충전 잭(37)에 연결된다. 전압 레귤레이터(366)는 시스템에 전력을 공급하기 위한 배터리(368)와 통신한다. 배터리 충전기(364)는 충전 잭(370)으로부터 전력을 수신할 때 (전압 레귤레이터(366)를 통해) 배터리(368)를 충전하는데 사용된다. HMD(헤드-장착 디스플레이) 전력원(376)은 헤드-장착 디스플레이 장치(2)에 전력을 제공한다.

상술한 시스템은 가상 이미지가 현실 세계 객체의 뷰를 대체하도록, 사용자의 시야 내로 가상 이미지를 삽입하도록 구성될 것이다. 대안으로서, 가상 이미지는 현실 세계 객체의 이미지를 대체하지 않으면서 삽입될 수 있다. 다양한 실시예에서, 가상 이미지는 이미지가 삽입되는 환경 또는 교체되는 객체에 기초한 적절한 배향, 크기, 및 형상에 매칭되도록 조정될 것이다. 추가적으로, 가상 이미지는 반서율 및 음영을 포함하도록 조정될 수 있다. 일 실시예에서, 헤드-장착 디스플레이 장치(12), 프로세싱 유닛(4), 및 허브 컴퓨팅 장치(12)는 가상 이미지를 언제 어디서 어떻게 삽입할 지를 결정하기 위해 데이터를 얻는데 사용되는 센서들의 서브세트를 각각의 장치가 포함함에 따라, 함께 작동한다. 일 실시예에서, 가상 이미지를 언제 어떻게 어디에 삽입할 지를 결정하는 연산이 허브 컴퓨팅 장치(12)에 의해 수행된다. 다른 실시예에서, 해당 연산은 프로세싱 유닛(4)에 의해 수행된다. 다른 실시예에서, 일부 연산은 허브 컴퓨팅 장치(12)에 의해 수행되고, 다른 연산은 프로세싱 유닛(4)에 의해 수행된다. 다른 실시예에서, 연산은 헤드-장착 디스플레이 장치(12)에 의해 수행될 수 있다.

예시적인 일 실시예에서, 허브 컴퓨팅 장치(12)는 사용자가 놓여있는 환경의 모델을 생성하고, 상기 환경 내 다양한 이동 객체를 추적할 것이다. 추가적으로, 허브 컴퓨팅 장치(12)는 헤드-장착 디스플레이 장치(2)의 위치 및 배향을 추적함으로써 헤드-장착 디스플레이 장치(2)의 시야를 추적한다. 모델 및 추적 정보는 허브 컴퓨팅 장치(12)로부터 프로세싱 유닛(4)에 제공된다. 헤드-장착 디스플레이 장치(2)에 의해 획득되는 센서 정보는 프로세싱 유닛(4)에 전송된다. 프로세싱 유닛(4)은 그 후, 헤드-장착 디스플레이 장치(2)로부터 수신하는 추가 센서 정보를 이용하여 사용자의 시야를 정련시키고, 가상 이미지를 언제, 어떻게, 어디에 삽입할 지에 관한 명령어를 헤드-장착 디스플레이 장치(2)에 제공한다.

도 5는 캡처 장치를 구비한 허브 컴퓨팅 시스템(12)의 예시적인 실시예를 도시한다. 일 실시예에서, 캡처 장치(20A, 20B)는 동일 구조이고, 따라서, 도 5는 캡처 장치(20A)만을 도시한다. 예시적인 실시예에 따르면, 캡처 장치(20A)는 예를 들어, 비행 시간, 구조광, 스테레오 이미지, 등을 포함하는 임의의 적절한 기술을 통해 깊이 값을 포함할 수 있는 깊이 이미지를 포함한 깊이 정보로 비디오를 캡처하도록 구성될 수 있다. 일 실시예에 따르면, 캡처 장치(20A)는 깊이 카메라로부터 시야선을 따라 연장되는 Z축에 직교할 수 있는 "Z층" 내로 깊이 정보를 조직화할 수 있다.

도 5에 도시되는 바와 같이, 캡처 장치(20A)는 카메라 구성요소(423)를 포함할 수 있다. 예시적인 실시예에 따르면, 카메라 구성요소(423)는 장면의 깊이 이미지를 캡처할 수 있는 깊이 카메라이거나 깊이 카메라를 포함할 수 있다. 깊이 이미지는 캡처된 장면의 2차원 화소 영역을 포함할 수 있고, 2차원 화소 영역 내 각각의 화소가 카메라로부터 캡처된 장면 내 객체의, 예를 들어, 센티미터, 밀리미터, 등의 거리와 같이, 깊이 값을 나타낼 수 있다.

카메라 구성요소(23)는 장면의 깊이 정보를 캡처하는데 사용될 수 있는 적외선(IR)광 구성요소(425), 3차원(3-D) 카메라(426), 및 RGB(시각적 이미지) 카메라(428)를 포함할 수 있다. 예를 들어, 비행 시간 분석에서, 캡처 장치(20A)의 적외선광 구성요소(425)는 장면에 적외선광을 방사할 수 있고, 그 후 센서(일부 실시예에서, 도시되지 않는 센서를 포함)를 이용하여, 예를 들어, 3-D 카메라(426) 및/또는 RGB 카메라(428)를 이용하여, 장면 내 객체 및 하나 이상의 표적의 표면으로부터 후방산란된 광을 검출할 수 있다. 일부 실시예에서, 펄스형 적외선광을 이용하여, 빠져나가는 광 펄스와 이에 대응하는 들어오는 광 펄스 사이의 시간이 측정될 수 있고, 캡처 장치(20A)로부터 장면 내 표적 또는 객체 상의 특정 위치까지 물리적 위치를 결정할 수 있다. 추가적으로, 다른 예의 실시예에서, 빠져나가는 광파의 위상이 들어오는 광파의 위상과 비교되어 위상차를 결정할 수 있다. 그 후 위상차를 이용하여 캡처 장치로부터 표적 또는 객체 상의 특정 위치까지 물리적 거리를 결정할 수 있다.

예시적인 다른 실시예에 따르면, 비행 시간 분석을 이용하여, 예를 들어, 셔터 광 펄스 이미징을 포함한 다양한 기술을 통해 시간에 따른 반사 광빔의 강도를 분석함으로써, 캡처 장치(20A)로부터 표적 또는 객체 상의 특정 위치까지 물리적 거리를 간접적으로 결정할 수 있다.

다른 예시적인 실시예에서, 캡처 장치(20A)는 구조화된 광을 이용하여 깊이 정보를 캡처할 수 있다. 이러한 분석에서, 패턴광(즉, 격자 패턴, 스트라이프 패턴, 또는 다른 패턴과 같이, 알려진 패턴으로 디스플레이되는 광)이 예를 들어, 적외선광 구성요소(424)를 통해 장면에 투영될 수 있다. 장면 내 하나 이상의 표적 또느 객체의 표면에 충돌하면, 패턴은 이에 따라 변형될 수 있다. 이러한 패턴 변형은 예를 들어, 3-D 카메라(426) 및/또는 RGB 카메라(428)(및/또는 다른 센서)에 의해 캡처될 수 있고, 그 후 분석되어, 캡처 장치로부터 표적 또는 객체 상의 특정 위치까지 물리적 거리를 결정할 수 있다. 일부 구현예에서, 적외선광 구성요소(425)는 카메라(425, 426)로부터 변위되어, 카메라(425, 426)로부터 거리를 결정하기 위해 삼각법을 사용할 수 있다. 일부 구현예에서, 캡처 장치(20A)는 적외선광을 감지하기 위해 전용 적외선 센서를, 또는, 적외선 필터를 갖는 센서를 포함할 것이다.

다른 실시예에 따르면, 캡처 장치(20A)는 깊이 정보를 발생시키기 위해 분석될 수 있는 시각적 스테레오 데이터를 얻기 위해 서로 다른 각도로부터 장면을 볼 수 있는 2개 이상의 물리적으로 분리된 카메라를 포함할 수 있다. 다른 타입의 깊이 이미지 센서를 또한 이용하여 깊이 이미지를 생성할 수 있다.

캡처 장치(20A)는 소리를 수신하여 전기 신호로 변환할 수 있는 트랜스듀서 또는 센서를 포함하는 마이크로폰(430)을 더 포함할 수 있다. 마이크로폰(430)은 허브 컴퓨팅 시스템(12)에 의해 또한 제공될 수 있는 오디오 신호를 수신하는데 사용될 수 있다.

예시적인 실시예에서, 캡처 장치(20A)는 이미지 카메라 구성요소(423)와 통신할 수 있는 프로세서(432)를 더 포함할 수 있다. 프로세서(432)는, 깊이 이미지 수신, 적절한 데이터 포맷(예를 들어, 프레임) 발생, 및 허브 컴퓨팅 시스템(12)에 데이터 전송을 위한 명령어를 포함한 명령어를 실행할 수 있는, 표준화된 프로세서, 전용 프로세서, 마이크로프로세서, 등을 포함할 수 있다.

캡처 장치(20A)는 프로세서(432)에 의해 실행되는 명령어, 3-D 카메라 및/또는 RGB 카메라에 의해 캡처되는 이미지 또는 이미지의 프레임, 또는 다른 적절한 정보, 이미지, 등을 저장할 수 있는 메모리(434)를 더 포함할 수 있다. 예시적인 실시예에 따르면, 메모리(434)는 임의 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 캐시, 플래시 메모리, 하드 디스크, 또는 다른 적절한 저장 구성요소를 포함할 수 있다. 도 5에 도시되는 바와 같이, 일 실시예에서, 메모리(434)는 이미지 캡처 구성요소(423) 및 프로세서(432)와 통신하는 별도의 구성요소일 수 있다. 다른 실시예에 따르면, 메모리(434)는 프로세서(432) 및/또는 이미지 캡처 구성요소(422)에 통합될 수 있다.

캡처 장치(20A, 20B)는 통신 링크(436)를 통해 허브 컴퓨팅 시스템(12)과 통신한다. 통신 링크(436)는 예를 들어, USB 연결, 방화벽 연결, 이더넷 케이블 연결, 등을 포함한 유선 연결, 및/또는, 무선 802.11b, g, a, 또는 n 연결과 같은 무선 연결일 수 있다. 일 실시예에 따르면, 허브 컴퓨팅 시스템(12)은 통신 링크(436)를 통해 예를 들어, 장면을 캡처할 시기를 결정하는 데 사용될 수 있는 시계(클럭)를 캡처 장치(20A)에 제공할 수 있다. 추가적으로, 캡처 장치(20A)는 예를 들어, 3-D 카메라(426) 및/또는 RGB 카메라(428)에 의해 캡처되는 깊이 정보 및 시각적(예를 들어, RGB) 이미지를, 통신 링크(436)를 통해 허브 컴퓨팅 시스템(12)에 제공한다. 일 실시예에서, 깊이 이미지 및 시각적 이미지는 초당 30 프레임으로 송신된다 - 하지만, 다른 프레임 속도를 사용할 수 있다. 허브 컴퓨팅 시스템(12)은 그 후 모델, 깊이 정보, 및 캡처된 이미지를 생성 및 이용하여, 예를 들어, 게임 또는 워드 프로세서와 같은 애플리케이션을 제어할 수 있고, 및/또는 아바타 또는 온-스크린 캐릭터를 애니메이션화할 수 있다.

허브 컴퓨팅 시스템(12)은, 캡처 장치(20A)의 깊이 카메라 기능에 의해 검출가능한 한 명 이상의 사람을 추적하기 위해 깊이 이미지를 이용하는, 깊이 이미지 프로세싱 및 골격 추적 모듈(450)을 포함한다. 깊이 이미지 프로세싱 및 골격 추적 모듈(450)은, 비디오 게임, 생산성 향상 애플리케이션, 통신 애플리케이션 또는 다른 소프트웨어 애플리케이션, 등일 수 있는, 애플리케이션(453)에 추적 정보를 제공한다. 오디오 데이터 및 시각적 이미지 데이터는 애플리케이션(452)과, 깊이 이미지 프로세싱 및 골격 추적 모듈(450)에 또한 제공된다. 애플리케이션(452)은 추적 정보, 오디오 데이터, 및 시각적 이미지 데이터를 인식기 엔진(454)에 제공한다. 다른 실시예에서, 인식기 엔진(454)은 깊이 이미지 프로세싱 및 골격 추적 모듈(450)로부터 직접 추적 정보를 수신하고, 캡처 장치(20A, 20B)로부터 직접 오디오 데이터 및 시각적 이미지 데이터를 수신한다.

인식기 엔진(454)은 필터(460, 462, 464,..., 466) 집합과 연관되고, 각각의 필터는 캡처 장치(20A, 또는 20B)에 의해 검출가능한 객체 또는 사람에 의해 수행될 수 있는 제스처, 액션, 또는 조건에 관한 정보를 포함한다. 예를 들어, 캡처 장치(20A)로부터의 데이터는 사용자 또는 사용자 그룹이 하나 이상의 제스처 또는 다른 액션을 수행하였을 때를 식별하기 위해 필터(460, 462, 464,..., 466)에 의해 처리될 수 있다. 이러한 제스처는 다양한 제어부, 객체, 또는 애플리케이션(452)의 조건과 연관될 수 있다. 따라서, 허브 컴퓨팅 시스템(12)은 필터와 함께 인식기 엔진(454)을 이용하여 (사람을 포함한) 객체의 추적 정보를 해석할 수 있다.

캡처 장치(20A, 20B)는 RGB 이미지(또는 다른 포맷 또는 칼라 공간에서의 시각적 이미지) 및 깊이 이미지를 허브 컴퓨팅 시스템(12)에 제공한다. 깊이 이미지는 복수의 관측 화소일 수 있고, 각각의 관측 화소는 관측 깊이 값을 갖는다. 예를 들어, 깊이 이미지는 캡처 장면의 2차원(2-D) 화소 영역을 포함할 수 있고, 2-D 화소 영역 내 각각의 화소는 캡처 장치로부터 캡처 장면 내 객체의 거리와 같은 깊이 값을 가질 수 있다. 허브 컴퓨팅 시스템(12)은 사용자 또는 객체의 움직임을 추적하기 위해 RGB 이미지 및 깊이 이미지를 이용할 것이다. 예를 들어, 시스템은 깊이 이미지를 이용하여 사람의 골격을 추적할 것이다. 깊이 이미지를 이용하여 사람의 골격을 추적하는데 사용될 수 있는 방법은 많이 있다. 깊이 이미지를 이용한 골격 추적의 한가지 적절한 예는, Craig, 등의 2009년 10월 21일자 미국특허출원 제12/603,437호, "Pose Tracking Pipeline"에서 제공되고, 그 내용 전체는 본 발명에 참고자료로 포함된다. '437 출원의 프로세스는 깊이 이미지 획득, 데이터의 다운 샘플링, 고-변화 잡음 데이터의 제거 및/또는 스무딩, 백그라운드의 식별 및 제거, 그리고, 포그라운드 화소 각각을 신체의 서로 다른 부분에 할당하는 단계를 포함한다. 이러한 단계에 기초하여, 시스템은 데이터에 모델을 끼워맞출 것이고, 골격을 생성할 것이다. 골격은 한 세트의 조인트와, 조인트 사이의 연결을 포함할 것이다. 다른 추적 방법이 또한 사용될 수 있다. 적절한 추적 기술은 다음 4개의 미국특허출원에 또한 개시되어 있고, 이 모두의 내용 전체는 참고자료로 본 발명에 포함된다 - 2009년 5월 29일자 미국특허출원 제12/475,308호, "Device for Identifying and Tracking Multiple Humans Over Time", 2010년 1월 29일자 미국특허출원 제12/696,282호, "Visual Based Identity Tracking", 2009년 12월 18일자 미국특허출원 제12/641,788호, "Motion Detection Using Depth Images", 및 2009년 10월 7일자 미국특허출원 제12/575,388호, "Human Tracking System".

인식기 엔진(454)은 제스처 또는 액션을 결정하기 위해 복수의 필터(460, 462, 464,..., 466)를 포함한다. 필터는 해당 제스처, 액션, 또는 조건에 대해, 파라미터 또는 메타 데이터와 함께 제스처, 액션, 또는 조건을 형성하는 정보를 포함한다. 예를 들어, 신체 후방 뒤로부터 신체의 전방을 지나는 손 중 하나의 모션을 포함하는, 스로우(throw)는, 사용자의 후방 뒤로부터 신체의 전방을 지나는 사용자의 손 중 하나의 움직임을 나타내는 정보를 포함하는 제스처로 구현될 수 있고, 이는 이러한 움직임이 깊이 카메라에 의해 캡처될 것이기 때문이다. 그 후 파라미터는 해당 제스처에 대해 세팅될 수 있다. 제스처가 스로우일 경우, 파라미터는 제스처가 발생한 인식기 엔진에 의한 신뢰도 등급과, 손이 이동한 거리(절대적인 값, 또는, 전체적으로 사용자의 크기에 대한 상대값)와, 손이 도달해야 하는 임계 속도일 수 있다. 제스처에 대한 이러한 파라미터는 애플리케이션 사이에서, 단일 애플리케이션의 콘텍스트 사이에서, 또는 시간에 따른 일 애플리케이션의 일 콘텍스트 내에서, 변할 수 있다.

필터는 모듈식 또는 상호혼용가능할 수 있다. 일 실시예에서, 필터는 다수의 입력(각각의 입력은 일 타입을 가짐) 및 다수의 출력(각각의 출력은 일 타입을 가짐)을 갖는다. 제 1 필터는 인식기 엔진 구조의 어떤 다른 형태도 변경시키지 않으면서 제 1 필터와 동일 개수 및 타입의 입력 및 출력을 갖는 제 2 필터로 대체될 수 있다. 예를 들어, 골격 데이터를 입력으로 취하는, 그리고, 필터에 연관된 제스처가 발생하고 있음에 관한 신뢰도 및 조향 각도를 출력하는, 구동용 제 1 필터가 존재할 수 있다. 제 1 구동 필터를 제 2 구동 필터로 대체하고자 할 경우 - 아마 제 2 구동 필터가 더 효율적이고 더 적은 수의 프로세싱 리소스를 필요로하기 때문에 - 제 2 필터가 동일 입력 및 출력을 갖는 한(골격 데이터 타입의 일 입력과, 신뢰도 타입 및 각도 타입의 두 출력), 제 1 필터를 제 2 필터로 단순히 교체함으로써 이와 같이 할 수 있다.

필터는 파라미터를 가질 필요가 없다. 예를 들어, 사용자 높이를 복귀시키는 "사용자 높이" 필터는 튜닝될 수 있는 임의의 파라미터를 허용하지 않을 수 있다. 대안의 "사용자 높이" 필터는 튜닝가능한 파라미터를 가질 수 있다 - 사용자의 신발류, 헤어스타일, 모자, 및 사용자 높이 결정의 자세를 설명할지 여부와 같이, 튜닝가능한 파라미터를 가질 수 있다.

필터에 대한 입력은 사용자의 조인트 위치에 관한 조인트 데이터, 조인트에서 충족되는 뼈에 의해 형성되는 각도, 장면으로부터 RGB 칼라 데이터, 그리고, 상요자의 형태의 변화율과 같은 것들을 포함할 수 있다. 필터로부터의 출력은 주어진 제스처가 이루어지고 있는 신뢰도, 제스처 모션이 이루어질 때의 속도, 그리고 제스처 모션이 이루어지는 시간과 같은 것들을 포함할 수 있다.

인식기 엔진(454)은 필터에 기능을 제공하는 기본 인식기 엔진을 가질 수 있다. 일 실시예에서, 인식기 엔진(454)이 구현하는 기능은, 인지된 제스처 및 다른 입력을 추적하는 시간에 따른 입력 아카이브(input-over-time archive), Hidden Markov Model 구현(모델링되는 시스템은 미지의 파라미터를 갖는 Markov 프로세스로 가정됨 - 현재 상태는 미래 상태 결정에 사용되는 임의의 과거 상태 정보를 캡슐화하고, 따라서, 어떤 다른 과거 상태 정보도 이 용도로 유지되어서는 안됨 - 감추어진 파라미터는 관측가능한 데이터로부터 결정됨), 및 특정 사례의 제스처 인지를 해결하는데 사용되는 다른 기능을 포함한다.

필터(460, 462, 646,..., 466)는 인식기 엔진(454) 위로 로딩 및 구현되고, 인식기 엔진(454)에 의해 모든 필터(460, 462, 464,..., 466)에 제공되는 서비스를 이용할 수 있다. 일 실시예에서, 인식기 엔진(454)은 임의의 필터(460, 462, 464,..., 466)의 요건에 부합하는지 여부를 결정하기 위해 데이터를 수신한다. 입력 분석과 같은, 이와 같이 제공되는 서비스가 각각의 필터(460, 462, 464,..., 466)에 의해서가 아니라 인식기 엔진(454)에 의해서 한 번 제공되기 때문에, 이러한 서비스는 해당 주기동안 필터 당 한번씩에 반해 시간 주기에 한번씩 만 처리되면 되며, 따라서, 제스처 결정에 사용되는 프로세싱이 감소한다.

애플리케이션(452)은 인식기 엔진(454)을 구비한 필터(460, 462, 464,..., 466)를 이용할 수 있고, 또는, 인식기 엔진(454)에 플러그-인되는 자체 필터를 제공할 수 있다. 일 실시예에서, 모든 필터는 이러한 플러그-인 특성을 가능하게 하는 공통 인터페이스를 갖는다. 더욱이, 모든 필터는 파라미터를 이용할 수 있고, 따라서, 아래의 단일 제스처 툴을 이용하여 전체 필터 시스템을 디버깅 및 튜닝할 수 있다.

인식기 엔진(454)에 관한 더 많은 정보는 2009년 4월 13일자 미국특허출원 제12/422,661호, ,"Gesture Recognizer System Architecture"에서 개시되며, 그 내용 전체는 본 발명에 참고자료로 포함된다. 제스처 인지에 관한 더 많은 정보는 2009년 2월 23일자 미국특허출원 제12/391,150호, "Standard Gestures", 및 2009년 5월 29일자 미국특허출원 제12/474,655호, "Gesture Tool"에서 발견될 수 있고, 두 출원 모두 그 전체 내용이 본 발명에 참고자료로 포함된다.

일 실시예에서, 컴퓨팅 시스템(12)은 허브 컴퓨팅 시스템(12)과 상호작용하는 한 명 이상의 사용자에 관한 사용자-별 정보를 포함하는 사용자 프로파일 데이터베이스(470)를 포함한다. 일례로서, 사용자-별 정보는 사용자의 표현 선호도, 사용자의 친구 리스트, 사용자의 선호 활동, 사용자의 리마인더 리스트, 사용자의 소셜 그룹, 사용자의 현 위치, 사용자 환경 내 객체와 상호작용하는 사용자의 과거 의향, 및 사용자의 사진, 이미지, 녹화 비디오와 같은 다른 사용자 생성 콘텐트와 같이, 사용자에 관련된 정보를 포함한다. 일 실시예에서, 사용자-별 정보는 사용자의 소셜 네트워킹 사이트, 주소록, 이메일 데이터, 인스턴트 메시징 데이터, 사용자 프로파일, 또는 인터넷 상의 다른 소스와 같이, 하나 이상의 데이터 소스로부터 얻을 수 있다. 일 기법에서, 아래 상세하게 논의되는 바와 같이, 사용자-별 정보를 이용하여 사용자 환경 내 하나 이상의 객체와 상호작용하기 위한 사용자 의향을 자동적으로 결정할 수 있다.

도 6은 허브 컴퓨팅 시스템(12)을 구현하는데 사용될 수 있는 컴퓨팅 시스템의 예시적인 실시예를 도시한다. 도 6에 도시되는 바와 같이, 멀티미디어 콘솔(500)은 레벨 1 캐시(502), 레벨 2 캐시(504), 플래시 ROM(읽기 전용 메모리)(506)를 갖는 중앙 프로세싱 유닛(CPU)(501)를 갖는다. 레벨 1 캐시(502) 및 레벨 2 캐시(504)는 일시적으로 데이터를 저장하여 메모리 액세스 사이클의 수를 감소시키며, 따라서, 프로세싱 속도 및 처리량을 개선시킨다. CPU(501)는 2개 이상의 코어와 따라서, 추가적인 레벨 1 및 레벨 2 캐시(502, 504)를 갖는 형태로 제공될 수 있다. 플래시 ROM(506)은 멀티미디어 콘솔(500)이 파워 온 될 때 부트 프로세스의 초기 상태 중 로딩되는 실행가능 코드를 저장할 수 있다.

그래픽 프로세싱 유닛(GPU)(508) 및 비디오 인코더/비디오 코덱(코더/디코더)(514)은 고속 및 고해상도 그래픽 프로세싱을 위해 비디오 프로세싱 파이프라인을 형성한다. 그래픽 프로세싱 유닛(508)으로부터 버스를 통해 비디오 인코더/비디오 코덱(514)에 데이터가 운반된다. 비디오 프로세싱 파이프라인은 데이터를 텔레비전 또는 다른 디스플레이에 전송하기 위해 A/V(오디오/비디오) 포트(540)에 출력한다. 메모리 컨트롤러(510)는 GPU(508)에 연결되어, RAM(임의 액세스 메모리)과 같은, 그러나 이에 제한되지 않는, 다양한 타입의 메모리(512)에 대한 프로세스 액세스를 촉진시킬 수 있다.

멀티미디어 콘솔(500)은, 모듈(518) 상에 구현되는 것이 바람직한, I/O 컨트롤러(520), 시스템 관리 컨트롤러(522), 오디오 프로세싱 유닛(523), 네트워크 인터페이스(524), 제 1 USB 호스트 컨트롤러(526), 제 2 USB 컨트롤러(528), 및 전방 패널 I/O 서브조립체(530)를 포함한다. USB 컨트롤러(526, 528)는 (플래시 메모리, 외부 CD/DVD ROM 드라이브, 탈착형 매체, 등과 같은) 외부 메모리 장치(546), 무선 어댑터(548), 및 주변 컨트롤러(524(1)-542(2))용 호스트로 기능한다. 네트워크 인터페이스(524) 및/또는 무선 어댑터(548)는 네트워크(예를 들어, 인터넷, 홈 네트워크, 등)에 대한 액세스를 제공하고, 이더넷 카드, 모뎀, 블루투스 모듈, 케이블 모뎀, 등을 포함한 다양한 유선 또는 무선 어댑터 구성요소 중 임의의 것일 수 있다.

시스템 메모리(543)는 부트 프로세스 중 로딩되는 애플리케이션 데이터를 저장하기 위해 제공된다. 매체 드라이브(544)가 제공되고, DVD/CD 드라이브, 블루-레이 드라이브, 하드 디스크 드라이브, 또는 다른 탈착형 매체 드라이브, 등을 포함할 수 있다. 매체 드라이브(144)는 멀티미디어 콘솔(500)에 대해 내장형 또는 외장형일 수 있다. 애플리케이션 데이터는 멀티미디어 콘솔(500)에 의한 실행, 재생, 등을 위해 매체 드라이브(544)를 통해 액세스될 수 있다. 매체 드라이브(544)는 시리얼 ATA 버스 또는 다른 고속 연결(예를 들어, IEEE 1394)과 같은, 버스를 통해 I/O 컨트롤러(520)에 연결된다.

시스템 관리 컨트롤러(522)는 멀티미디어 콘솔(500)의 가용성의 보장과 관련된 다양한 서비스 기능을 제공한다. 오디오 프로세싱 유닛(523) 및 오디오 코덱(532)은 고충실도 및 스테레오 프로세싱을 갖는 대응하는 오디오 프로세싱 파이프라인을 형성한다. 오디오 데이터가 통신 링크를 통해 오디오 프로세싱 유닛(523)과 오디오 코덱(5320 사이에서 운반된다. 오디오 프로세싱 파이프라인은 오디오 기능을 갖는 장치 또는 외부 오디오 사용자에 의한 재현을 위해 데이터를 A/V 포트(540)에 출력한다.

전방 패널 I/O 서브조립체(530)는 전원 버튼(550) 및 이젝트 버튼(552), 및 임의의 LED(발광 다이오드), 또는 멀티미디어 콘솔(100)의 외부 표면 상에 노출되는 다른 표시기의 기능을 지원한다. 시스템 전력 공급 모듈(536)은 멀티미디어 콘솔(100)의 구성요소에 전력을 제공한다. 팬(538)은 멀티미디어 콘솔(500) 내의 회로를 냉각시킨다.

CPU(501), GPU(508), 메모리 컨트롤러(510) 및 멀티미디어 콘솔(500) 내의 다양한 다른 구성요소가, 시리얼 및 패럴렐 버스, 메모리 버스, 주변 장치 버스, 및 다양한 버스 구조 중 임의의 구조를 이용한 프로세서 또는 로컬 버스를 포함한, 하나 이상의 버스를 통해 상호연결된다. 예를 들어, 이러한 구조는 주변 구성요소 인터커넥트(PCI) 버스, PCI-익스프레스 버스, 등을 포함할 수 있다.

멀티미디어 콘솔(500)이 파워 온 될 때, 애플리케이션 데이터는 시스템 메모리(543)로부터 메모리(512) 및/또는 캐시(502, 504) 내로 로딩될 수 있고, CPU(501) 상에서 실행될 수 있다. 애플리케이션은 멀티미디어 콘솔(500) 상에서 가용한 서로 다른 미디어 타입에게로 항법할 때, 일관된 사용자 경험을 제공하는 그래픽 사용자 인터페이스를 제시할 수 있다. 작동시, 매체 드라이브(544) 내에 포함된 애플리케이션 및/또는 다른 매체는 매체 드라이브(544)로부터 론칭 또는 재생될 수 있고, 따라서, 멀티미디어 콘솔(500)에 추가 기능을 제공할 수 있다.

멀티미디어 콘솔(500)은 텔레비전 또는 다른 디스플레이에 시스템을 단순히 연결함으로써 독립형 시스템으로 작동할 수 있다. 이러한 독립형 모드에서, 멀티미디어 콘솔(500)은 한 명 이상의 사용자로 하여금 시스템과 상호작용하고, 영화를 보며, 또는 음악을 들을 수 있게 한다. 그러나, 네트워크 인터페이스(524) 또는 무선 어댑터(548)를 통해 가용하게 되는 광대역 연결의 통합을 이용하여, 멀티미디어 콘솔(500)은 더 큰 네트워크 커뮤니티에 참가자로 또한 작동될 수 있다. 추가적으로, 멀티미디어 콘솔(500)은 무선 어댑터(548)를 통해 프로세싱 유닛(4)과 통신할 수 있다.

멀티미디어 콘솔(500)이 파워 온 될 때, 설정량의 하드웨어 리소스가 멀티미디어 콘솔 운영 체제에 의한 시스템 사용을 위해 예비된다(reserved). 이러한 리소스는 메모리, CPU 및 GPU 사이클, 네트워킹 대역폭, 등의 예비를 포함할 수 있다. 이러한 리소스가 시스템 부트 시간에 예비되기 때문에, 예비된 리소스는 애플리케이션의 뷰로부터 존재하지 않는다. 특히, 메모리 예비는 론치 커넬, 동시적 시스템 애플리케이션 및 드라이브을 지니기에 충분히 크다. CPU 예비는, 예비 CPU 이용이 시스템 애플리케이션에 의해 사용되지 않을 경우, 아이들 스레드가 임의의 사용되지 않은 사이클을 소모하도록, 일정한 것이 바람직하다.

GPU 예비와 관련하여, 시스템 애플리케이션에 의해 발생되는 경량 메시지(예를 들어, 팝업)가 오버레이 형태로 팝업을 렌더링하기 위해 코드를 스케줄링하도록 GPU 인터럽트를 이용함으로써 디스플레이된다. 오버레이에 요구되는 메모리 양은 오버레이 영역 크기에 따라 좌우되고, 오버레이는 스크린 해상도와 함께 스케일링되는 것이 바람직하다. 풀 사용자 인터페이스가 동시적 시스템 애플리케이션에 의해 사용될 때, 애플리케이션 해상도에 독립적인 해상도를 이용하는 것이 바람직하다. 주파수 변경 및 TV 재동기화의 필요성이 제거되도록 이러한 분해능을 설정하는데 스케일러가 사용될 수 있다.

멀티미디어 콘솔(500)이 부팅되고 시스템 리소스가 예비된 후, 동시적 시스템 애플리케이션이 실행되어 시스템 기능을 제공하다. 시스템 기능은 앞서 설명한 예비 시스템 리소스 내에서 실행되는 한 세트의 시스템 애플리케이션 내에 캡슐화된다. 운영 체제 커넬은 시스템 애플리케이션 스레드 대 게임 애플리케이션 스레드인 스레드를 식별한다. 시스템 애플리케이션은 일관된 시스템 리소스 뷰를 애플리케이션에 제공하기 위해, 지정 시간 및 간격으로 CPU(501) 상에서 구동되도록 스케줄링되는 것이 바람직하다. 스케줄링은 콘솔 상에서 구동되는 게임 애플리케이션에 대한 캐시 파괴를 최소화시킬 것이다.

동시적 시스템 애플리케이션이 오디오를 요구할 때, 오디오 프로세싱은 시간 민감도로 인해 게임 애플리케이션에 대해 비동기적으로 스케줄링된다. 멀티미디어 콘솔 애플리케이션 매니저(아래 설명됨)는 시스템 애플리케이션이 활성 상태일 때 게임 애플리케이션 오디오 레벨(예를 들어, 묵음, 감쇠)을 제어한다.

선택적인 입력 장치(예를 들어, 컨트롤러(542(1), 542(2))는 게임 애플리케이션과 시스템 애플리케이션에 의해 공유된다. 입력 장치는 예비 리소스가 아니지만, 시스템 애플리케이션과 게임 애플리케이션 사이에서 스위칭되어, 각각이 장치의 초점을 가질 것이다. 애플리케이션 매니저는 게임 애플리케이션의 지식을 알지 못한채로, 입력 스트림의 스위칭을 제어하고, 드라이버는 포커스 스위치에 관한 상태 정보를 유지한다. 캡처 장치(20A, 20B)는 USB 컨트롤러(526) 또는 다른 인터페이스를 통해 콘솔(500)을 위한 추가적인 입력 장치를 규정할 수 있다. 다른 실시예에서, 허브 컴퓨팅 시스템(12)은 다른 하드웨어 구조를 이용하여 구현될 수 있다. 어떤 다른 하드웨어 구조도 요구되지 않는다.

도 1은 하나의 허브 컴퓨팅 장치(12)(허브라고 불림)와 통신하는 헤드-장착 디스플레이 장치(2) 및 프로세싱 유닛(4)(집합적으로 모바일 디스플레이 장치로 불림)를 도시한다. 다른 실시예에서, 복수의 모바일 디스플레이 장치가 단일 허브와 통신할 수 있다. 각각의 모바일 디스플레이 장치는 상술한 바와 같이, 무선 통신을 이용하여 허브와 통신할 것이다. 이러한 실시예에서, 모든 모바일 디스플레이 장치에 유용한 정보 중 상당수가 허브에서 컴퓨팅 및 저장되고, 각각의 모바일 디스플레이 장치에 전송될 것이다. 예를 들어 허브는 환경의 모델을 발생시킬 것이고, 허브와 통신하는 모든 모바일 디스플레이 장치에 상기 모델을 제공할 것이다. 추가적으로, 허브는 모바일 디스플레이 장치의, 그리고, 방 안의 이동하는 객체의, 위치 및 배향을 추적할 수 있고, 그 후 각각의 모바일 디스플레이 장치에 이 정보를 전달할 수 있다.

다른 실시예에서, 시스템은 복수의 허브를 포함할 수 있고, 각각의 허브는 하나 이상의 모바일 디스플레이 장치를 포함한다. 허브는 서로 직접 또는 인터넷(또는 다른 네트워크)을 통해 통신할 수 있다. 예를 들어, 도 7은 허브(560, 562, 564)를 도시한다. 허브(560)는 허브(562)에 직접 통신한다. 허브(560)는 허브(564)에 인터넷을 통해 통신한다. 허브(560)는 모바일 디스플레이 장치(570, 572,..., 574)와 통신한다. 허브(562)는 모바일 디스플레이 장치(578, 580,..., 582)와 통신한다. 허브(564)는 모바일 디스플레이 장치(584, 586,..., 588)와 통신한다. 각각의 모바일 디스플레이 장치는 앞서 논의한 바와 같이 무선 통신을 통해 각자의 허브와 통신한다. 이러한 허브들이 공통 환경 내에 있을 경우, 각각의 허브는 환경의 모델의 일부분을 제공할 수 있고, 또는, 일 허브가 다른 허브에 대한 모델을 생성할 수 있다. 각각의 허브는 이동하는 객체들의 서브세트를 추적할 것이고 이 정보를 다른 허브와 공유하며, 상기 다른 허브는 이 정보를 다시 적절한 모바일 디스플레이 장치와 공유할 것이다. 모바일 디스플레이 장치에 대한 센서 정보는 각자 허브에 제공될 것이고, 그 후, 다른 모바일 디스플레이 장치에 궁극적으로 공유하기 위해 다른 허브에 공유된다. 따라서, 허브 사이에 공유되는 정보는 골격 추적, 모델에 관한 정보, 다양한 애플리케이션 상태, 및 다른 추적을 포함할 수 있다. 허브와 각자의 모바일 디스플레이 장치 사이에서 전송되는 정보는 이동하는 객체의 추적 정보, 세계 모델에 대한 상태 및 물리적 업데이트, 기하구조 및 텍스처 정보, 비디오 및 오디오, 및 여기서 설명되는 작동을 수행하는데 사용되는 다른 정보를 포함한다.

도 8은 헤드-장착 디스플레이 장치의 사용자에게 제시되는 가상화된 정보의 디스플레이를 최적화시키기 위한 프로세스의 일 실시예를 설명한다. 도 8은 앞서 도 2a의 단계(32)를 수행하기 위한 일 실시예를 도시하였다.

단계(600)에서, 시스템(10)이 구성된다. 예를 들어, 애플리케이션(예를 들어, 도 5의 애플리케이션(452))은 지정된 위치에서, 최적화 이미지가 장면의 3차원 모델에 삽입될 것임을 표시하도록 시스템을 구성할 수 있다. 다른 예에서, 허브 컴퓨팅 시스템(12) 상에서 구동되는 애플리케이션은, (특정 가상 아미지 또는 가상 객체와 같은) 증강 콘텐트가 비디오 게임 또는 다른 프로세스의 일부분으로 장면 내에 삽입될 것임을 표시할 것이다.

단계(602)에서, 시스템은 헤드-장착 디스플레이 장치(2)가 위치하는 공간의 볼륨 모델을 생성할 것이다. 일 실시예에서, 예를 들어, 허브 컴퓨팅 장치(12)는 헤드-장착 디스플레이 장치(2)가 위치하는 장면 또는 환경의 3차원 모델을 생성하도록 하나 이상의 깊이 카메라로부터 깊이 이미지를 이용할 것이다. 단계(604)에서, 이 모델은 하나 이상의 객체로 세그먼트화된다. 예를 들어, 허브 컴퓨팅 장치(12)가 방의 3차원 모델을 생성할 경우, 이 방은 방 안에 복수의 객체를 가지기 쉽다. 방 안에 놓일 수 있는 객체의 예는 사람, 의자, 테이블, 소파, 등을 포함한다. 단계(604)는 서로로부터 각자의 객체를 결정하는 단계를 포함한다. 단계(606)에서, 시스템은 객체를 식별할 것이다. 예를 들어, 허브 컴퓨팅 장치(12)는 특정 객체가 테이블이고 다른 객체가 의자임을 식별할 수 있다.

일 실시예에서, 볼륨 모델의 생성과 객체 식별은 본 기술과 함께 사용될 수 있으나, 단계(602-608)는 대안의 실시예에서 생략될 수 있다. 대안의 실시예에서, 최적화 이미지의 발생은 환경(1100) 참조없이 이루어질 수 있고, 주변 환경에 대한 참조없이 이용하기 위한 오버레이 이미지의 제공을 포함할 수 있다. 즉, 본 기술은 오버레이 이미지의 이용을 요하지 않고, 사용자 환경에 대한 참조없이 사용자에게 이미지만을 디스플레이하는데 유리하게 사용될 수 있다.

도 8의 단계(608)에서, 시스템은 사용자 공간의 모델에 기초하여 사용자의 시야를 결정한다. 일 실시예에서, 단계(608)는 도 2a의 단계(32)와 동등하다. 즉, 시스템은 사용자가 바라보고 있는 환경 또는 공간을 결정한다. 일 실시예에서, 단계(608)는 서브 컴퓨팅 장치(12), 프로세싱 유닛(4) 및/또는 헤드-장착 디스플레이 장치(2)를 이용하여 수행될 수 있다. 일례의 구현예에서, 허브 컴퓨팅 장치(12)는 헤드-장착 디스플레이 장치(2)의 위치 및 배향의 예비 결정을 제공하기 위해, 사용자 및 헤드-장착 디스플레이 장치(2)를 추적할 것이다. 헤드-장착 디스플레이 장치(2) 상의 센서는 결정된 배향을 정련하는데 사용될 것이다. 예를 들어, 앞서 설명한 관성 센서(34)는 헤드-장착 디스플레이 장치(2)의 배향을 정련하는데 사용될 수 있다. 추가적으로, 아래 설명되는 눈 추적 프로세스는 사용자의 초점 영역 또는 시야의 초점 심도로 알려진, 특히 사용자가 바라보고 있는 장소에 대응하는, 최초에 결정된 시야의 서브세트를 식별하는데 사용될 수 있다. 세부사항은 도 11-13을 참조하여 아래에서 설명될 것이다.

단계(610)에서, 프로세싱 유닛(4)에서 실행되는 소프트웨어와 같은 시스템은, 사용자의 시야 내에서 사용자의 현 초점 영역을 결정한다. 일 실시예에서, 단계(610)는 도 2a의 단계(34)와 동등하다. 도 12 및 도 13에서 아래 더 논의되는 바와 같이, 각각의 눈에 대한 눈 추적 카메라(134)에 의해 캡처되는 데이터에 기초한 눈 추적 프로세싱은 사용자의 현 초점 영역을 제공할 수 있다. 예를 들어, 사용자의 얼굴 위치를 표시하는 데이터로 동공 사이의 수렴은 초점 곡선 상의 초점에 삼각법을 적용하는데 사용될 수 있고, 이로부터 초점 영역, 파눔 융합역이 연산될 수 있다. 파눔 융합역은 사람의 눈에 의해 사용되는 양안 입체영상을 위한 단일 비전의 영역이다.

단계(612)에서, 소프트웨어의 제어 하에, 프로세싱 유닛(4)은 단독으로, 또는 허브 컴퓨팅 장치(12)와 협동하여, 최적화 이미지를 발생시킨다. 최적화 이미지는 3차원 모델, 검출된 시야 내의 객체, 및 사용자의 시야에 기초한다.

최적화 이미지는 최적화 이미지의 발생을 제어하는 애플리케이션에 따라, 여러 형태를 취할 수 있다. 이미지라는 용어는 모션 이미지 - 디스플레이되는 객체, 또는 객체의 모션을 디스플레이하는 이미지 - 를 포함할 수 있다.

헤드-장착 디스플레이 장치(2)의 사용자는 그 후 헤드-장착 디스플레이 장치(2)에 디스플레이되는 최적화 이미지에 기초하여 허브 컴퓨팅 장치(12)(또는 다른 컴퓨팅 장치) 상에서 구동되는 애플리케이션과 상호작용할 수 있다. 도 8의 프로세싱 단계(608-612)는 시스템의 작동 중 도 2a에 따라 반복되어, 사용자의 사야 및 초점 영역이 사용자가 머리를 움직임에 따라 업데이트되고, 새 시야로부터 새 최적화 이미지가 결정되며, 사용자의 의향에 기초하여 사용자에게 최적화 이미지가 디스플레이된다. 단계(604-612)는 아래에서 더욱 상세하게 설명된다.

도 9는 사용자의 공간의 모델을 생성하기 위한 프로세스의 일 실시예를 설명한다. 예를 들어, 도 9의 프로세스는 도 8의 단계(602)의 일례의 구현예다. 단계(620)에서, 허브 컴퓨팅 시스템(12)은 헤드-장착 디스플레이 장치가 놓인 환경의, 도 1에 도시되는 것과 같은, 복수의 시각에 대해 하나 이상의 깊이 이미지를 수신한다. 예를 들어, 허브 컴퓨팅 장치(12)는 모델이 구축될 환경 또는 공간의 풀 뷰를 가능하게 하는 렌즈를 갖는 깊이 카메라를 이용하여, 또는 서로 다른 방향으로 카메라를 가리킴으로써 동일 카메라로부터 복수의 깊이 이미지를, 또는 복수의 깊이 카메라로부터 깊이 이미지를 얻을 수 있다. 단계(622)에서, 다양한 깊이 이미지로부터 깊이 데이터가 공통 좌표계에 기초하여 조합된다. 예를 들어, 본 시스템이 복수의 카메라로부터 깊이 이미지를 수신할 경우, 시스템은 공통 좌표계를 작도록 두 이미지를 상관시킬 것이다(예를 들어, 이미지를 라인-업할 것이다). 단계(624)에서, 공간의 볼륨 설명이 깊이 데이터를 이용하여 생성된다.

도 10은 공간 모델을 객체로 세그먼트화하기 위한 프로세스의 일 실시예를 설명하는 순서도다. 예를 들어, 도 10의 프로세서는 도 8의 단계(604)의 일례의 구현예다. 도 10의 단계(626)에서, 시스템은 앞서 논의한 바와 같이 하나 이상의 깊이 카메라로부터 하나 이상의 깊이 이미지를 수신할 것이다. 대안으로서, 시스템은 이미 수신한 하나 이상의 깊이 이미지에 액세스할 수 있다. 단계(628)에서, 시스템은 앞서 설명한 카메라로부터 하나 이상의 시각적 이미지를 수신할 것이다. 대안으로서, 시스템은 이미 수신한 하나 이상의 시각적 이미지에 액세스할 수 있다. 단계(630)에서, 허브 컴퓨팅 시스템은 깊이 이미지 및/또는 시각적 이미지에 기초하여 한 명 이상의 사람을 검출할 것이다. 예를 들어, 시스템은 하나 이상의 골격을 인지할 것이다. 단계(632)에서, 허브 컴퓨팅 장치는 깊이 이미지 및/또는 시각적 이미지에 기초하여 모델 내의 에지를 검출할 것이다. 단계(634)에서, 허브 컴퓨팅 장치는 서로로부터 개별 객체들을 식별하기 위해 검출된 에지를 이용할 것이다. 예를 들어, 에지가 객체 사이의 경계라고 가정된다. 단계(636)에서, 도 9의 프로세스를 이용하여 생성되는 모델은, 모델의 어느 부분이 서로 다른 객체와 연관되는지를 보여주기 위해 업데이트될 것이다.

도 11은 도 8의 단계(608)의 예시적 구현예인 사용자의 시야를 결정하기 위한, 그리고, 도 8의 단계(610)의 예시적 구현예인 사용자 초점 영역을 결정하기 위한, 프로세스의 일 실시예를 설명하는 순서도다. 도 11의 프로세스는 앞서 설명한 눈 추적 기술 및/또는 허브 컴퓨팅 장치(12)로부터의 정보에 의존할 수 있다. 도 12는 도 12의 프로세스에 사용되는 추적 정보를 제공하기 위해 허브 컴퓨팅 시스템에 의해 수행되는 프로세스의 일 실시예를 설명하는 순서도다. 대안으로서, 도 12의 프로세스는 도 4a의 프로세서(210)에 의해 수행될 수 있다. 도 13은 눈을 추적하기 위한 프로세스의 일 실시예를 설명하는 순서도이고, 그 결과는 도 12의 프로세스에 의해 사용된다.

허브 컴퓨팅 시스템이 사용될 경우, 도 12의 단계(686)에서, 허브 컴퓨팅 장치(12)는 사용자의 위치를 추적할 것이다. 예를 들어, 허브 컴퓨팅 장치(12)는 사용자를 추적하기 위해 하나 이상의 깊이 이미지 및 하나 이상의 시각적 이미지를 이용할 것이다(예를 들어, 골격 추적 이용). 하나 이상의 깊이 이미지 및 하나 이상의 시각적 이미지를 이용하여, 단계(688)에서 헤드-장착 디스플레이 장치(2)의 위치 및 헤드-장착 디스플레이 장치(2)의 배향을 결정할 수 있다. 단계(690)에서, 사용자 및 헤드-장착 디스플레이 장치(2)의 위치 및 배향은 허브 컴퓨팅 장치(12)로부터 프로세싱 유닛(4)까지 전송된다. 단계(692)에서, 위치 및 배향 정보가 프로세싱 유닛(4)에서 수신된다. 도 12의 프로세싱 단계는 사용자가 연속적으로 추적되도록 시스템 작동 중 연속적으로 수행될 수 있다.

도 13은 환경 내 사용자 눈의 위치를 추적하기 위한 일 실시예를 설명하는 순서도다. 단계(662)에서, 눈이 조명된다. 예를 들어, 눈은 눈 추적 조명(134A)으로부터 적외선 광을 이용하여 조명될 수 있다. 단계(644)에서, 눈으로부터의 반사가 하나 이상의 눈 추적 카메라(134B)를 이용하여 검출된다. 단계(665)에서, 반사 데이터가 헤드-장착 디스플레이 장치(2)로부터 프로세싱 유닛(4)까지 전달된다. 단계(668)에서, 프로세싱 유닛(4)은 앞서 논의한 바와 같이 반사 데이터에 기초하여 눈의 위치를 결정할 것이다.

도 11은 사용자의 시야(예를 들어, 도 8의 단계(608)) 및 사용자의 초점 영역(예를 들어, 도 8의 단계(610))을 결정하기 위한 프로세스의 일 실시예를 설명하는 순서도다. 단계(670)에서, 프로세싱 유닛(4)은 허브로부터 수신되는 최신 위치 및 배향 정보에 액세스할 것이다. 도 12의 프로세스는 단계(686)로부터 단계(690)가지 화살표로 표시되는 바와 같이 연속적으로 수행될 수 있고, 따라서, 프로세싱 유닛(4)은 허브 컴퓨팅 장치(12)로부터 업데이트된 위치 및 배향 정보를 주기적으로 수신할 것이다. 그러나, 프로세싱 유닛(4)은 허브 컴퓨팅 장치(12)로부터 업데이트된 정보를 수신하는 것보다 더 자주 가상 이미지를 불러올 필요가 있을 것이다. 따라서 프로세싱 유닛(4)은, 허브 컴퓨팅 장치(12)로부터 샘플들 사이의 배향에 대한 업데이트를 제공하기 위해, 국부적으로(예를 들어, 헤드-장착 장치(2)로부터) 감지되는 정보에 의존할 필요가 있다. 추가적으로, 프로세싱 대기 시간은 가상 이미지의 급속한 렌더링을 또한 요할 수 있다.

대안으로서, 단계(670)는 임의의 개수의 수단에 의해 수행될 수 있다. 가속계, 자력계, 및 자이로스코프를 포함한, 헤드-장착 디스플레이에 구현된 센서 기술, 또는 다른 센서 기술을 이용하여, 환경 내 사용자 위치 및 배향을 식별할 수 있다. 단계(672)에서, 프로세싱 유닛(4)은 3-축 자이로(132B)로부터 데이터에 액세스할 것이다. 단계(674)에서, 프로세싱 유닛(4)은 3-축 가속계(132C)로부터 데이터에 액세스할 것이다. 단계(676)에서, 프로세싱 유닛(4)은 3-축 자력계(132A)로부터 데이터에 액세스할 것이다. 단계(678)에서, 프로세싱 유닛(4)은 자이로, 가속계, 및 자력계로부터의 데이터를 이용하여 허브 컴퓨팅 장치(12)로부터 위치 및 배향 데이터를 정련할 것이다(또는 그렇지 않을 경우 업데이트할 것이다). 단계(680)에서, 프로세싱 유닛(4)은 헤드-장착 디스플레이 장치의 위치 및 배향에 기초하여 잠재적 시점(potential point of view)을 결정할 것이다. 헤드-장착 디스플레이의 위치는 임의의 개수의 기술을 이용하여 결정되고, 사용자 시야를 결정하기 위해 눈 위치 추적과 연관하여 사용된다. 일부 구현예에서, 사용자 환경의 3차원 모델이 요구되지 않는다. 다수의 헤드 추적 기술 중 임의의 기술이 사용될 수 있다. 헤드-장착 디스플레이로부터 가용한 센서가 주어졌을 때, 관성 감지는 가속계로부터의 관성 측정을 이용하고, 자이로스코프가 사용될 수 있다. 그러나, 다른 기술도 사용될 수 있다. 이러한 기술은 비행 시간, 공간 스캔, 기계적 연동기, 위상차 감지, 및/또는 직접 필드 감지를 포함한다. 이러한 경우에, 추가적인 하드웨어가 헤드-장착 디스플레이에 필요할 수 있다.

단계(682)에서, 프로세싱 유닛(4)은 최신 눈 위치 정보에 액세스할 것이다. 단계(684)에서, 프로세싱 유닛(4)은 눈 위치에 기초하여, 잠재적 시점의 서브세트로, 사용자에게 보이는 모델 부분을 결정할 것이다. 예를 들어, 사용자는 벽을 면할 수 있고, 따라서, 헤드-장착 디스플레이를 위한 시점이, 벽을 따라 임의의 장소를 포함할 수 있다. 그러나, 사용자 눈이 우측을 가리킬 경우, 단계(684)는 사용자의 시야가 벽의 우측부만이라고 결론날 것이다. 단계(684)의 결론에서, 프로세싱 유닛(4)은 헤드-장착 디스플레이(2)를 통해 사용자의 시점을 결정하였다. 그 후 프로세싱 유닛(4)은, 상기 시야 내의 위치를 식별하여, 불투명도 필터를 이용하여 가상 이미지를 삽입하고 광을 차단한다. 도 12의 프로세싱 단계는 시스템의 작동 중 연속으로 수행될 수 있어서, 사용자의 시야 및 초점 영역이 사용자가 머리를 움직임에 따라 연속적으로 업데이트되게 된다.

도 14는 사용자의 초점 영역에 최적화 이미지의 일부분을 연결하기 위한 프로세스를 설명하는 순서도다. 일 실시예에서, 도 14는 도 2a의 단계(236) 및 도 2a의 단계(240)의 구현예다.

단계(1402)에서, 사용자의 검출된 시야에 기초한 이미지가 앞서, 단계(612)에서 렌더링된 것과 같이 불러들여진다. 렌더링은 각각 도 4a 및 도 4b의 프로세싱 구성요소(200, 또는 304) 중 임의의 구성요소에 의해 또는 허브 컴퓨팅 시스템에 의해 제공될 수 있다. 일 실시예에서, 이미지를 처리하기 위해 허브 컴퓨팅 시스템(12)을 이용함으로써, 헤드-장착 디스플레이(2)로부터 컴퓨팅 리소스를 효율적으로 이용할 수 있고, 도 4a 및 도 4b의 구성요소와 같은 프로세싱 구성요소들이 헤드-장착 디스플레이의 디스플레이 요소 및/또는 마이크로역학적 요소들을 더욱 능동적으로 구동시킬 수 있다. 단계(1404)에서, (도 15 및 도 15에 따라 연산되는) 예측된 눈 위치가 수신될 수 있고, 단계(1405)에서, 사용자의 초점 영역에 연결하기 위해 가용한 잠재적 고해상도 부분의 선택된 개수가 감소한다. 일 실시예에서, 프로세싱이 단계(1406)에서 허브 컴퓨팅 시스템에서 이루어질 때, 다수의 잠재적 부분이 단계(1405)에서 선택되고, 헤드-장착 디스플레이(2)의 렌더링 영역에 가장 가까운 프로세싱 유닛에서 가용한 메모리 위치 중 하나 이상 내의 버퍼로 이동한다. 일 실시예에서, 이러한 요소들은 프로세싱 유닛(4)의 메모리(330)에 제공될 수 있다. 다른 실시예에서, 부분은 헤드-장착 디스플레이(2)의 메모리(224)에 제공될 수 있다. 단계(1408)에서, 현재의 눈 위치에서, 그리고 시야 내의 하나 이상의 다음 가능한 눈 위치에서, 렌더링될 수 있는 잠재적 최적화 섹션의 추가적인 감소가 이루어진다. 다시, 최적화 부분이 허브 컴퓨팅 시스템에서 연산될 수 있고, 예를 들어, 허브 컴퓨팅 시스템으로부터 메모리(330)로, 프로세싱 채널 내 하류에서 버퍼링될 수 있으며, 또는, 단계(1410)에서 프로세싱 유닛에서 처리 및 메모리(224)에서 버퍼링될 수 있다. 단계(1412)에서, 고해상도 부분이 단계(236 또는 240)에서 뷰어의 초점 영역에 대해 최적화된 위치 내 디스플레이 상의 위치에서 렌더링된다.

도 15는 알려진 눈 데이터 및 헤드와 알려진 위치 및 배향 데이터와 눈의 위치 추적에 기초하여, 사용자 눈의 다음 위치 및 헤드 위치 및 배향을 결정하기 위한 프로세스를 설명하는 순서도다. 앞서 논의한 바와 같이, 눈 위치 데이터는 눈 추적 카메라(134B)에 의해 캡처될 수 있다. 단계(1502)에서, 사용자의 눈 움직임이 캡처되고, 단계(1504)에서, 헤드-장착 디스플레이 센서 및 캡처 장치(20A, 20B)로부터 가용한 사용자 헤드의 위치, 배향, 및 움직임 정보와 함께 데이터가 수집된다. 눈 위치 데이터는 헤드의 위치 및 배향에 대하 눈의 위치를, 방 또는 환경에 대한 헤드와 함께, 포함할 것이다. 단계(1506)에서, 각각의 시간(Tn)에 대하여, 시간(Tn+1)에 사용자 눈의 위치의 예측이 단계(1508)에서 이루어진다. 시간(Tn+1)에 대한 대안의 예측은 단계(1510, 1512)에서 컴퓨팅될 수 있다. 눈 데이터에 대한 사용자 눈 위치를 예측하는 방법이 도 16에서 도시된다. 또한, 각각의 시간(Tn)에 대하여, 사용자의 다음 헤드 배향 및 위치의 예측이 단계(1507)에서 이루어질 것이다. 헤드 배향 및 위치의 추가적인 예측이 단계(1510, 1512)에서 이루어질 수 있다. 단계(1515)에서, 눈의 예측 위치 중 하나가 도 2a와 관련하여 이미지의 이용에 따라 다음 위치를 위해 선택될 것이고, 단계(1513)에서, 헤드의 예측 위치 중 하나가 선택될 것이다. 단계(1516)에서, 이러한 위치들을 이용하여 단계(240)에서 이미지의 어느 부분을 다음 위치에서 렌더링할 것인지 결정할 수 있고, 방법은 사용자의 눈 및 헤드의 움직임이 계속됨에 따라 단계(1518)에서 반복된다.

도 16은 가능한 눈 위치를 예측하기 위한 프로세스를 설명하는 순서도다. 단계(1630)에서 사용자 눈에 대한 복수의 데이터 위치가 버퍼링된다. 단계(1632)에서 충분한 양의 데이터가 획득 및 버퍼링되면, 시간(Tn+1, Tn+2, 등)에서 주어진 위치에 사용자의 눈이 놓일 확률을 연산하는데 예측 모델링 필터가 사용된다. 일 실시예에서, 값을 예측하고, 예측 값의 불확정성을 추정하며, 예측값 및 측정값의 가중 평균을 연산함으로써, 눈 위치 측정의 참값의 추정치를 연산하기 위해 캄란(Kamlan) 필터가 사용된다. 가장 큰 가중치는 최소 불확정성을 갖는 값에 주어진다. 대안으로서, Markov 모델이 사용된다. Markov 모델은 시간을 따라 변화하는 임의 변수로 시스템의 상태를 결정한다. 이 범주에서, Markov 성질은 이 변수에 대한 분포가 이전 상태의 분포에만 의존함을 제시한다. 유사 방법을 이용하여 헤드 위치 및 배향을 예측할 수 있다.

임의의 개수의 일련의 예측이 이루어져서 단계(1634)에서 출력될 수 있다. 사용자 헤드의 좌표 프레임에 대한 눈 위치의 예측에 임의의 개수의 예측 알고리즘이 이용될 수 있다. 위 참조 방법은 다수의 적절한 실시예 중 2개에 불과하다.

본 발명이 구체적 특징 및/또는 방법적 작용에 특정한 언어로 설명되었으나, 첨부 청구범위에서 규정되는 본 발명은 앞서 설명한 구체적 특징 또는 작용에 반드시 제한되는 것이 아니다. 대신에, 앞서 설명한 구체적인 특징 및 작용은 청구범위 구현의 예시적 형태로 개시된다. 기술의 범위는 여기에 첨부된 청구범위에 의해 규정된다.

Claims

사용자에게 최적화 이미지를 제시하기 위한 방법에 있어서,
물리적 환경 내 사용자의 시야에 기초하여 최적화 이미지를 생성하는 단계와,
상기 사용자에 대한 초점 영역을 결정하도록 상기 시야에 대해 눈 위치 및 움직임을 추적하는 단계와,
상기 사용자의 초점 영역 내에서 사용자에게 상기 최적화 이미지의 일부분을 광학적으로 연결하는 단계와,
상기 사용자에 대한 다음 눈 움직임을 예측하는 단계와,
상기 다음 눈 위치에서 상기 사용자의 초점 영역 내에서 상기 사용자에게 상기 최적화 이미지의 일부분을 광학적으로 연결하는 단계를 포함하는
최적화 이미지 제시 방법.
제 1 항에 있어서,
상기 최적화 이미지를 생성하는 단계는, 상기 사용자에 대한 시야를 결정하고 장면 내 사용자 위치에 기초하여 최적화 이미지를 생성하는 단계를 포함하는
최적화 이미지 제시 방법.
제 1 항에 있어서,
상기 최적화 이미지의 일부분을 제시하는 단계는, 상기 시야에 대한 최적화 이미지의 일부분을 결정하고 사용자 눈의 중심와(fovea)에 상기 일부분을 연결하는 단계를 포함하는
최적화 이미지 제시 방법.
제 1 항에 있어서,
상기 광학적으로 연결하는 단계는, 헤드-장착 디스플레이 상의 눈 위치에서 상기 초점 영역 내에 상기 이미지의 상기 일부분을 배치하는 단계를 포함하는
최적화 이미지 제시 방법.
제 4 항에 있어서,
상기 광학적으로 연결하는 단계는, 상기 이미지의 투영을 반사시키는 기계적으로 제어되는 미러를 이용하여 상기 이미지의 일부분을 배치하는 단계를 포함하는
최적화 이미지 제시 방법.
제 4 항에 있어서,
상기 광학적으로 연결하는 단계는, 사용자의 각각의 눈 앞에 위치하는 발광 디스플레이를 이용하여 상기 이미지의 상기 일부분을 배치하는 단계를 포함하는
최적화 이미지 제시 방법.
제 1 항에 있어서,
상기 광학적으로 연결하는 단계는, 상기 환경 내 현실 세계 객체를 강조(highlighting)하는 단계를 포함하는
최적화 이미지 제시 방법.
헤드-장착 디스플레이 장치에 있어서,
사용자의 초점 영역에 최적화 이미지의 적어도 일부분을 연결하는 디스플레이와,
상기 헤드-장착 디스플레이 장치에 대한 배향 정보를 감지하는 관성 센서와,
사용자 눈 위치를 검출하는 눈 추적 센서와,
상기 디스플레이, 상기 관성 센서, 및 상기 눈 추적 센서와 통신하는 적어도 하나의 프로세싱 유닛을 포함하며,
상기 적어도 하나의 프로세싱 유닛은,
상기 이미지의 일부분이 상기 사용자의 초점 영역에 연결되도록 상기 디스플레이에 대해 상기 사용자의 눈의 현 위치에서 최적화 이미지의 최적화 부분을 자동적으로 디스플레이하고,
사용자의 눈의 다음 위치를 결정하며,
상기 이미지의 일부분이 다음 위치에서 상기 사용자의 초점 영역에 연결되도록 상기 디스플레이에 대해 사용자 눈의 다음 위치에서 상기 최적화 이미지의 다른 최적화 부분을 디스플레이하는
헤드-장착 디스플레이 장치.
제 8 항에 있어서,
상기 디스플레이는,
이미지 프로젝터와,
사용자가 위치하는 장면 내 객체를 사용자가 볼 수 있도록 상기 디스플레이와 정렬되는 광-안내 광학 요소를 포함하며,
상기 디스플레이는 기계적 제어 요소에 연결되는 미러 요소를 더 포함하며, 상기 제어 요소는 상기 적어도 하나의 프로세싱 유닛에 응답하여 상기 이미지의 최적화 부분을 배치하는
헤드-장착 디스플레이 장치.
제 8 항에 있어서,
상기 적어도 하나의 프로세싱 유닛은 하나 이상의 객체를 식별하는 공간의 3차원 모델을 수신하기 위해 허브 컴퓨팅 장치와 통신하고,
상기 적어도 하나의 프로세싱 유닛은 사용자의 시야를 결정하고, 제 1 객체가 상기 시야 내에 있는지 여부를 결정하며, 상기 디스플레이 내 상기 제 1 객체의 위치를 결정하고, 상기 장면 내 사용자의 크기 및 배향에 기초하여 최적화 이미지의 크기 및 배향을 조정하는
헤드-장착 디스플레이 장치.