KR102599889B1

KR102599889B1 - 가상 포커스 피드백

Info

Publication number: KR102599889B1
Application number: KR1020177017581A
Authority: KR
Inventors: 배리 콜렛
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2014-12-05
Filing date: 2015-11-28
Publication date: 2023-11-07
Also published as: EP3228072A1; CN107005653B; CN107005653A; KR20170094255A; JP2018507570A; WO2016089712A1; US10498976B2; US20160165151A1; EP3228072B1; JP6718873B2

Abstract

카메라를 포커싱하기 위한 시스템 및 방법이 개시된다. 시스템은 카메라가 아웃 포커싱되어 있는 정도와 상관되는 정도까지 블러링되는 프록시 이미지를 발생시킬 수 있다. 사용자는 프록시 이미지를 포커스가 맞게 하도록 시도하기 위하여 포커싱 메커니즘을 조정하도록 요청될 수 있다. 이것은 사용자가 카메라로부터의 이미지를 볼 필요 없이 카메라가 포커싱되도록 허용한다. 이것은 예를 들어, 적외선 카메라를 포커싱하는데 사용될 수 있다. 적외선 카메라는 헤드 마운트 디스플레이 디바이스와 같은 디바이스의 추적 카메라일 수 있다.

Description

가상 포커스 피드백{VIRTUAL FOCUS FEEDBACK}

포커싱을 필요로 하는 광학 시스템들에서, 포커싱 메커니즘의 위치설정(positioning)은 전송된 이미지의 포커스의 변화를 직접적으로 초래한다. 수동으로 포커싱되는 시스템들에서, 사용자는 이미지의 포커스가 원하는 상태가 될 때까지 포커싱 엘리먼트를 조정한다. 오토 포커스 시스템들은 거리계(range finder)를 사용함으로써 또는 이미지의 포커스 정도(degree of focus)를 측정함으로써 유사한 목표를 달성하려고 노력한다.

포커싱 광학 시스템들에는 여전히 문제가 있다.

본 기술의 실시예들은 카메라를 포커싱하기 위한 시스템 및 방법과 관련된다. 일 실시예에서, 카메라는 디스플레이 유닛들과 눈 위치 및 추적 어셈블리를 포함하는 헤드 마운트 디스플레이(head mounted display) 디바이스에 있다. 디스플레이 유닛들은 왼쪽 눈과 오른쪽 눈 위의 광학(optics)에 이미지들을 디스플레이한다. 눈 위치 및 추적 어셈블리는 하나 이상의 광원들 및 하나 이상의 카메라들을 포함할 수 있다. HMD의 하나 이상의 카메라들을 포커싱하기 위한 기법들이 개시된다. 이 기법들은 HMD의 카메라들을 포커싱하는 것에 제한되지 않는다.

일 실시예에서, 디스플레이 및 카메라와 통신하는 프로세싱 로직은 카메라와 연관된 데이터를 수신하고, 데이터에 기반하여 카메라가 인 포커싱되어 있는 정도를 결정한다. 프로세싱 로직은 카메라가 인 포커싱되어 있는 정도와 역상관되는 블러링(blurring) 정도를 갖는 프록시 이미지를 발생시키고, 프록시 이미지를 디스플레이 상에 디스플레이한다. 사용자는 프록시 이미지를 더 잘 포커싱하기 위해 카메라 포커스 메커니즘을 조정하도록 지시된다.

대안적인 실시예는 다음을 포함한다. 카메라와 연관된 데이터가 수신된다. 카메라가 인 포커싱되어 있는 정도는 수신된 데이터에 기반하여 결정된다. 카메라가 인 포커싱되어 있는 정도와 역상관되는 블러링 정도를 갖는 프록시 이미지가 발생된다. 프록시 이미지는 디스플레이 스크린 상에 디스플레이된다. 카메라와 연관된 업데이트된 데이터를 수신하는 단계, 카메라가 인 포커싱되어 있는 새로운 정도를 결정하는 단계, 카메라가 인 포커싱되어 있는 새로운 정도와 역상관되도록 프록시 이미지의 블러링 정도를 수정하는 단계를 포함하는 과정이 반복된다.

다른 실시예는 헤드 마운트 디스플레이(HMD, head mounted display)를 포함하며, 헤드 마운트 디스플레이는 니어 아이 씨-스루(near-eye, see-through) 디스플레이, 적외선(IR, infrared) 카메라, 적외선 카메라 및 니어 아이 씨-스루 디스플레이와 통신하는 프로세서를 포함한다. 프로세서는 IR 카메라로부터 적외선 이미지를 수신하고, 적외선 이미지가 아웃 포커싱되어 있는 정도를 결정한다. 프로세서는 적외선 이미지가 아웃 포커싱되어 있는 정도와 상관되는 블러링 정도를 갖는 프록시 이미지를 생성하기 위하여 베이스 이미지를 블러링한다. 프로세서는 프록시 이미지를 니어 아이 씨-스루 디스플레이 상에 디스플레이한다. 프로세서는 프록시 이미지를 디스플레이한 이후에 IR 카메라로부터 새로운 적외선 이미지를 수신하고, 적외선 이미지가 포커스가 맞지 않는 새로운 정도를 결정한다. 프로세서는 적외선 이미지가 포커스가 맞지 않는 새로운 정도와 상관되도록 프록시 이미지의 블러링 정도를 수정한다. 프로세서는 수정된 블러링 정도에 기반하여 업데이트된 프록시 이미지를 디스플레이한다.

이 요약은 아래의 상세한 설명에서 추가로 설명되는 개념들의 셀렉션을 단순한 형태로 소개하기 위해 제공된다. 본 요약은 청구된 발명 내용의 주요 피처들 또는 필수적 피처들을 식별하도록 의도된 것이 아니며, 또한 청구된 발명 내용의 범위의 결정을 돕는 것으로 사용되도록 의도된 것도 아니다.

도 1은 혼합 현실 환경을 하나 이상의 사용자들에게 제시하기 위한 시스템의 일 실시예의 예시적 컴포넌트들의 예시이다.
도 2는 헤드 마운트 디스플레이 유닛의 일 실시예의 사시도이다.
도 3a는 헤드 마운트 디스플레이 유닛의 일 실시예의 일부분의 측면도이다.
도 3b,도 3c 및 도 3d는 안경 세트로 구현된 HMD의 시선 검출 엘리먼트들의 각각의 세트들의 위치들의 예시적인 배열들을 각각 예시한다.
도 4는 헤드 마운트 디스플레이 유닛의 컴포넌트들의 일 실시예의 블록도이다.
도 5는 헤드 마운트 디스플레이 유닛과 연관된 프로세싱 유닛의 컴포넌트들의 일 실시예의 블록도이다.
도 6은 카메라를 포커싱하기 위한 시스템의 일 실시예의 도면이다.
도 7은 카메라를 포커싱하는 프로세스의 일 실시예를 나타낸다.
도 8은 프록시 이미지를 발생시키는 프로세스의 일 실시예의 흐름도이다.
도 9a는 도 8의 프로세스에 사용될 수 있는 예시적인 베이스 이미지를 도시한다.
도 9b는 도 8의 프로세스에서 발생될 수 있는 예시적인 프록시 이미지를 도시한다.
도 9c는 프록시 이미지의 블러링 정도가 카메라의 포커스의 정도와 역상관되는 것을 나타내는 그래프를 도시한다.
도 10a는 카메라를 포커싱하기 위한 시스템의 일 실시예의 도면이다.
도 10b는 카메라를 포커싱하기 위한 시스템의 다른 실시예의 도면이다.
도 11은 본 명세서에 설명된 컴퓨팅 시스템들을 구현하는데 사용될 수 있는 컴퓨팅 시스템의 일 실시예의 블록도이다.

카메라를 포커싱하기 위한 시스템 및 방법과 일반적으로 관련되는 본 기술의 실시예들이 이제 설명될 것이다. 일 실시예에서, 시스템은 카메라가 아웃 포커싱되어 있는 정도와 상관되는 정도까지 블러링되는 프록시 이미지를 발생시킨다. 사용자는 프록시 이미지를 포커스가 맞게 하도록 시도하기 위하여 포커싱 메커니즘을 조정하도록 요청될 수 있다. 이것은 사용자가 카메라로부터의 이미지를 볼 필요 없이 카메라가 포커싱되도록 허용한다. 이것은 예를 들어, 적외선 카메라를 포커싱하는데 사용될 수 있다. 적외선 카메라는 헤드 마운트 디스플레이 디바이스와 가은 디바이스의 추적 카메라일 수 있다.

헤드 마운트 디스플레이 디바이스는 디스플레이 엘리먼트를 포함할 수 있다. 디스플레이 엘리먼트는 사용자가 사용자의 시야(FOV, field of view) 내의 실제 객체(real world object)들에서 디스플레이 엘리먼트를 볼 수 있는 정도로 투명하다. 디스플레이 엘리먼트는 또한 가상 이미지들이 실제 객체들과 나란히 나타날 수 있도록, 가상 이미지들을 사용자의 FOV에 투영하는 능력을 제공한다. 시스템은 시스템이 사용자의 FOV에 가상 이미지를 삽입할 위치를 결정할 수 있도록, 사용자가 보고 있는 위치를 자동으로 추적한다. 시스템이 가상 이미지를 투영할 위치를 알게 되면, 디스플레이 엘리먼트들을 사용하여 이미지가 투영된다.

헤드 마운트 디스플레이 디바이스는 실제 객체 및 가상 객체를 포함하는 혼합 현실 환경을 구현하는데 사용될 수 있다. 혼합 현실은 홀로그램 또는 가상 이미지를 실제 물리적 환경과 혼합되도록 허용하는 기술이다. 사용자의 시야에 디스플레이된 실제 객체들 및 가상 객체들의 혼합된 이미지를 보기 위해 씨-스루 헤드 마운트형의 혼합 현실 디스플레이 디바이스가 사용자에 의해 착용될 수 있다. 3 차원 깊이의 착각을 용이하게 하기 위해, 가상 객체들의 이미지는 이미지들 사이에 작은 양안 시차(binocular disparity)를 갖는 헤드 마운트 디스플레이 디바이스에 의해 좌우 눈에 독립적으로 디스플레이된다. 이 양안 시차는 혼합 현실 환경에서 가상 객체의 깊이를 나타내는 것으로 뇌에 의해 해석된다.

도 1은 가상 오브젝트(21)를 사용자의 FOV 내의 실제 콘텐츠와 융합시킴(fusing)으로써 혼합 현실 경험을 제공하기 위한 시스템(10)을 예시한다. 도 1은 자신의 관점에서 가상 객체(21)와 같은 가상 객체들을 보기 위해 헤드 마운트 디스플레이 디바이스(2)를 각각 착용하는 다수의 사용자들(18a, 18b, 18c)을 도시한다. 추가 예시들에서는 세 명 이상 또는 이하의 사용자들이 존재할 수 있다. 도 2 및 3에 도시된 바와 같이, 헤드 마운트 디스플레이 디바이스(2)는 통합 프로세싱 유닛(4)을 포함할 수 있다. 다른 실시예들에서, 프로세싱 유닛(4)은 헤드 마운트 디스플레이 디바이스(2)와 별개일 수 있고, 유선 또는 무선 통신을 통해 헤드 마운트 디스플레이 디바이스(2)와 통신할 수 있다.

사용자가 디스플레이를 통해 볼 수 있고 그에 따라 사용자의 앞의 공간의 실제로 직접 볼 수 있도록, 일 실시예에서 안경 형상인 헤드 마운트 디스플레이 디바이스(2)가 사용자의 머리에 착용된다. 용어 "실제 직접 보기(actual direct view)”의 사용은 객체들의 생성된 이미지 표현들을 보는 것이 아니라 실제 객체들을 사람의 눈으로 직접 볼 수 있는 능력을 지칭한다. 예를 들어, 방에서 안경을 통해 보는 것은 방의 실제 직접 보기를 허용하나, 텔레비전에서 방의 비디오를 보는 것은 방의 실제 직접 보기가 아니다. 헤드 마운트 디스플레이 디바이스(2)에 대한 보다 상세한 설명은 하기에 제공된다.

프로세싱 유닛(4)은 헤드 마운트 디스플레이 디바이스(2)를 작동시키는데 사용되는 많은 컴퓨팅 파워를 포함할 수 있다. 실시예들에서, 프로세싱 유닛(4)은 하나 이상의 허브 컴퓨팅 시스템들(12)에 무선으로(예를 들어, WiFi, 블루투스, 적외선, 또는 다른 무선 통신 수단으로) 통신한다. 이하에서 설명되는 바와 같이, 허브 컴퓨팅 시스템(12)은 허브 컴퓨팅 시스템(12) 및 프로세싱 유닛(4)이 LAN 또는 WAN과 같은 무선 네트워크를 통해 통신하도록, 프로세싱 유닛(4)으로부터 원격으로 제공될 수 있다. 추가 실시예들에서, 허브 컴퓨팅 시스템(12)은 헤드 마운트 디스플레이 디바이스들(2) 및 프로세싱 유닛들(4)를 사용하는 모바일 혼합 현실 경험을 제공하기 위해 생략될 수 있다.

단독으로 또는 허브 컴퓨팅 시스템(12)과 함께, 헤드 마운트 디스플레이 디바이스(2)는 도 1의 가상 객체(21)와 같은 하나 이상의 가상 이미지들이 장면에서 실제 객체들과 함께 혼합될 수 있는 혼합 현실 경험을 제공할 수 있다. 도 1은 식물(23) 또는 사용자의 손(23)의 예들을 사용자의 FOV 내에 나타나는 실제 객체들로서 예시한다.

도 2 및 도 3a는 헤드 마운트 디스플레이 디바이스(2)의 사시도 및 측면도를 도시한다. 도 3a는 템플(temple)(102) 및 노즈 브릿지(nose bridge)(104)를 갖는 디바이스의 일부를 포함하는 헤드 마운트 디스플레이 디바이스(2)의 우측을 도시한다. 노즈 브릿지(104)에는 하기 설명되는 바와 같이 사운드를 녹음하고 오디오 데이터를 프로세싱 유닛(4)에 전송하기 위한 마이크로폰(110)이 내장된다. 헤드 마운트 디스플레이 디바이스(2)의 전면에는 비디오 및 스틸 이미지들을 캡처할 수 있는 룸 지향(room-facing) 비디오 카메라(112)가 있다. 이들 이미지들은 하기에 설명되는 바와 같이 프로세싱 유닛(4)에 전송된다.

헤드 마운트 디스플레이 디바이스(2)의 프레임의 일부분은 (하나 이상의 렌즈를 포함하는) 디스플레이를 둘러쌀 것이다. 헤드 마운트 디스플레이 디바이스(2)의 컴포넌트들을 도시하기 위해, 디스플레이를 둘러싸는 프레임의 일부분은 도시되지 않는다. 디스플레이는 광 가이드 광학 엘리먼트(115), 불투명 필터(opacity filter)(114), 시스루 렌즈(116) 및 시스루 렌즈(118)를 포함한다. 일 실시예에서, 불투명 필터(114)는 시스루 렌즈(116) 뒤에서 그와 함께 정렬되며, 광 가이드 광학 엘리먼트(115)는 불투명 필터(114) 뒤에서 그와 함께 정렬되며, 시스루 렌즈(118)는 광 가이드 광학 엘리먼트(115) 뒤에서 그와 함께 정렬된다. 시스루 렌즈들(116 및 118)은 안경에 사용되는 표준 렌즈이며, (처방전 없이) 처방받을 수 있다. 광 가이드 광학 엘리먼트(115)는 인공 광을 눈에 전달한다.

제어 회로들(136)은 헤드 마운트 디스플레이 디바이스(2)의 다른 컴포넌트들을 지지하는 다양한 전자장치들을 제공한다. 제어 회로들(136)에 대한 보다 상세한 내용은 도 4와 관련하여 아래에 제공된다. 이어폰(130), 관성 측정 유닛(132) 및 온도 센서(138)가 템플(102)의 내부에 있거나 또는 템플(102)에 장착된다. 도 4에 도시된 일 실시예에서, 관성 측정 유닛(132)(또는 IMU(132))은 3 축 자력계(132A), 3 축 자이로(gyro)(132B) 및 3 축 가속도계(132C)와 같은 관성 센서들을 포함한다. 관성 측정 유닛(132)은 헤드 마운트 디스플레이 디바이스(2)의 위치, 배향, 및 급가속(sudden acceleration)들(피치(pitch), 롤(roll) 및 요우(yaw))을 감지한다. IMU(132)는 자력계(132A), 자이로(132B) 및 가속도계(132C)에 부가하여 또는 그 대신에 다른 관성 센서들을 포함할 수 있다.

마이크로디스플레이(120)는 렌즈(122)를 통해 이미지를 투영한다. 마이크로디스플레이(120)를 구현하는데 사용될 수 있는 상이한 이미지 발생 기술들이 있다. 예를 들어, 마이크로디스플레이(120)는 광원이 광학적 활성 재료에 의해 변조되고, 백색광으로 백라이트되는 투과형 투영(transmissive projection) 기술의 사용에서 구현될 수 있다. 이들 기술들은 대개 강력한 백라이트들 및 높은 광 에너지 밀도들을 갖춘 LCD 타입 디스플레이를 사용하여 구현된다. 마이크로디스플레이(120)는 또한 외부 광이 광학적 활성 재료에 의해 반사 및 변조되는 반사 기술을 사용하여 구현될 수 있다. 조명은 기술에 따라 백색 소스 또는 RGB 소스 중 어느 하나에 의해 전방을 비춘다. Qualcomm, Inc.의 디지털 광 프로세싱(DLP, Digital light processing ), 실리콘 액정 표시 장치(LCOS, liquid crystal on silicon) 및 Mirasol® 디스플레이 기술은 모두 대부분의 에너지가 변조된 구조로부터 반사되어 현재 시스템에서 사용될 수 있으므로 효율적인 반사 기술들의 예들이다. 또한, 마이크로디스플레이(120)는 광이 디스플레이에 의해 발생되는 방사 기술을 사용하여 구현될 수 있다. 예를 들어, Microvision, Inc.의 PicoP ™ 디스플레이 엔진은 눈으로 직접 조사되는(예를 들어, 레이저) 또는 투과성 엘리먼트로서 작용하는 작은 스크린 위에 마이크로 미러 스티어링(steering)으로 레이저 신호를 방출한다.

광 가이드 광학 엘리먼트(115)는 마이크로디스플레이(120)로부터 헤드 마운트 디스플레이 디바이스(2)를 착용한 사용자의 눈(140)으로 광을 전달한다. 광 가이드 광학 엘리먼트(115)는 또한 화살표(142)로 도시된 바와 같이 헤드 마운트 디스플레이 디바이스(2)의 전방으로부터의 광이 광 가이드 광학 엘리먼트(115)를 통해 눈(140)으로 전달되도록 하여, 사용자가 마이크로디스플레이(120)로부터 가상 이미지를 수신하는 것 이외에 헤드 마운트 디스플레이 디바이스(2)의 전방의 공간의 실제로 직접 보도록 허용한다. 따라서, 광 가이드 광학 엘리먼트(115)의 벽들은 시스루형이다. 광 가이드 광학 엘리먼트(115)는 제1 반사면(124)(예를 들어, 미러 또는 다른 표면)을 포함한다. 마이크로디스플레이(120)로부터의 광은 렌즈(122)를 통과하여, 반사면(124)에 입사한다. 내부 반사에 의해 광 가이드 광학 엘리먼트(115)를 포함하는 평면 기판 내에 광이 포획되도록, 반사면(124)은 마이크로디스플레이(120)로부터의 입사광을 반사시킨다. 기판의 표면들로부터의 수차례의 반사 후에, 포획된 광파들은 선택적 반사면들(126)의 어레이에 도달한다. 도면의 과밀함(over-crowding)을 방지하기 위해 5개 표면들 중 하나에 126로 라벨붙여진다. 반사면들(126)은 기판 외부의 이들 반사면들 상에 입사하는 광파들을 사용자의 눈(140)으로 결합시킨다.

본 기술의 양상들에 따라, 헤드 마운트 디스플레이 디바이스(2)는 또한 사용자의 눈의 위치를 찾아내고 추적하기 위한 시스템을 포함할 수 있다. 이 시스템은 눈 추적 조명 디바이스(134A) 및 눈 추적 센서(134B)(도 4)를 갖는 눈 위치 및 추적 어셈블리(134)(도 3a)를 포함한다. 일 실시예에서, 눈 추적 조명 디바이스(134A)는 눈을 향해 IR 광을 방출하는 하나 이상의 적외선(IR) 이미터들을 포함한다. 일 실시예에서, 눈 추적 센서(134B)는 반사된 IR 광을 감지하는 하나 이상의 카메라들을 포함한다. 대안적으로, 눈 추적 센서(134B)는 RGB 또는 깊이 센서일 수 있다. 실시예들에서, 다수의 센서들(134B)이 존재할 수 있다.

사용자 눈의 위치 및 눈 안의 동공은 각막의 반사를 감지하는 알려진 이미징 기법들에 의해 식별될 수 있다. 이러한 기법은 추적 센서(134B)에 대한 눈의 중심의 위치를 찾아낼 수 있다. 실시예들에서, 사용자의 IPD가 결정될 수 있도록, 좌안 및 우안 각각에 대해 별도의 눈 위치 및 추적 어셈블리(134)가 있을 수 있다. 추가 실시예들에서, 좌안 또는 우안 중 어느 하나의 중심을 식별하는 단일 눈 위치 및 추적 어셈블리(134)가 있을 수 있다.

일 실시예에서, 헤드 마운트 디스플레이 디바이스(2)의 렌즈의 각각의 모서리에 하나의 IR LED 및 IR 광 검출기가 존재하도록, 시스템은 4개의 IR LED들 및 4개의 IR 광 검출기들을 직사각형 배열로 사용한다. LED들로부터의 광은 눈에 반사된다. 4개의 IR 광 검출기들 각각에서 검출된 적외선 광량은 동공 방향뿐만 아니라 센서(134B)에 대한 눈의 위치를 결정한다. 특히, 눈의 백색 대 검정색의 양은 그 특정 광 검출기에 대한 눈에서 반사된 광량을 결정할 것이다. 따라서, 광 검출기는 눈의 백색 또는 검정색의 양을 측정할 것이다. 4 개의 샘플들로부터, 시스템은 눈의 방향을 결정할 수 있다.

또 다른 대안은 상기 논의된 바와 같이 4개의 적외선 LED들을, 그러나 헤드 마운트 디스플레이 디바이스(2)의 렌즈 측에 하나의 적외선 CCD를 사용하는 것이다. CCD는 작은 미러 및/또는 렌즈(어안)를 사용하여, CCD가 안경 프레임에서 보이는 눈의 75 %까지 이미징할 수 있을 것이다. CCD는 그 후 상기 논의된 바와 같이 이미지를 감지하고 컴퓨터 비전을 사용하여 이미지를 찾을 것이다. 따라서, 도 3은 하나의 IR 송신기를 갖는 하나의 어셈블리를 도시하지만, 도 3의 구조는 4개의 IR 송신기들 및/또는 4개의 IR 센서들을 갖도록 조정될 수 있다. 4개 초과의 또는 4개 미만의 IR 송신기들 및/또는 4개의 IR 센서들이 또한 사용될 수 있다.

눈의 방향을 추적하기 위한 다른 실시예는 전하 추적에 기반한다. 이 개념은 망막이 측정가능한 양전하를 띠고 각막이 음전하를 갖는다 관찰에 기반한다. 센서들은 사용자의 귀(이어폰(130) 근처)에 장착되어 눈이 움직이는 동안 전위를 검출하고, 실시간으로 눈이 무엇을 하는지 효과적으로 판독한다. 이것은 헤드 마운트 디스플레이 디바이스에 대한 사용자의 눈의 위치 및 사용자의 동공의 위치 모두를 제공한다. 헤드 마운트 디스플레이 디바이스에 대한 사용자의 눈의 위치를 결정하기위한 다른 실시예들이 또한 사용될 수 있다.

상기 설명된 실시예들 중 임의의 것을 사용하여, 눈 위치 및 추적 시스템(134)은 눈 위치 및 추적 시스템(134)의 위치에 대한 좌안 및 우안의 위치를 결정할 수 있다. 광학 엘리먼트들(115)에 대한 시스템(134)의 알려진 위치 및 기하학적 구조를 사용하여, 좌안 및 우안에 대한 광학 엘리먼트들(115)의 위치가 또한 공지된다. 이 위치는 눈 및 광학 엘리먼트들의 x-축을 따른 상대 위치(예를 들어, 수평 위치)를 포함한다. 이 위치는 눈 및 광학 엘리먼트들의 y-축을 따른 상대 위치(예를 들어, 수직 위치)를 포함한다. 그리고이 위치는 눈 및 광학 엘리먼트들의 z-축을 따른 상대 위치(예를 들어, 눈과 광학 엘리먼트들 사이의 거리)를 포함한다.

위치 이외에, 좌안 및 우안에 대한 광학 엘리먼트들(115)의 각도 배향(피치, 요우 및 롤)을 결정하는 것이 또한 유리하다. 이 목적을 위해, 눈 위치 및 추적 어셈블리(134)는 또한 각각의 눈의 중심, 및 눈의 중심으로부터 직선인 눈 벡터를 결정한다.

안구 중심은 다수의 방법들로 결정될 수 있다. 센서(134B)가 (컬러 이미지로서 및/또는 깊이 이미지로서) 눈의 이미지를 캡처하는 경우, 이미지는 눈 중심을 결정하기 위해 분석될 수 있다. 예를 들어, 이미지 센서가 각막 표면을 검사하고, 그로부터 주요축들 및 각막 중심을 결정할 수 있다. 추가 실시예에서, 이미지 센서는 동공, 공막(sclera)(눈의 백색 부분) 및/또는 속눈썹을 포함하는 눈의 다른 피처들을 검사할 수 있다. 눈썹, 코 및 콧날과 같은 얼굴의 다른 피처들은 또한 이미지징되어 좌안 및 우안의 중심들을 결정하는데 사용될 수 있다.

IR 송신기들/수신기들을 포함하는 예들은 또한 눈의 중심 및 중심으로부터 직선인 눈 벡터를 결정할 수 있다. 예를 들어, 4개와 같은 다수의 IR 송신기들/수신기들이 있는 경우, 이들 컴포넌트들 각각은 그들이 탐지하는 눈의 공막의 양을 측정할 수 있다. 이들 4 개의 독립적 값들이 결정되고 비교될 수 있다. 각각이 눈의 동일한 양의 공막을 측정할 때, 눈은 중심에 놓이고(전방을 똑바로 바라봄), 눈 벡터는 동공으로부터 직각으로 똑바로 얻어질 수 있다. 이 위치는 각각의 IR 송신기/수신기가 눈의 동일한 양의 공막을 측정할 때 발견되거나, 또는 4개의 송신기/수신기 쌍들이 눈의 공막의 상이한 값들을 측정하는 측정치로부터 외삽될 수 있다.

상기 논의된 바와 같이, 각각의 눈은 그것 자신의 위치 및 추적 어셈블리(134)일 수 있고, 개별적 눈 벡터가 각각에 대해 결정될 수 있다. 대안적으로, 눈은 대칭이고 함께 움직이며, 단일 눈 벡터가 결정되어 양 눈에 사용될 수 있는 것으로 가정될 수 있다.

도 3a는 헤드 마운트 디스플레이 디바이스(2)의 절반을 도시한다. 풀 헤드 마운트 디스플레이 디바이스는 다른 세트의 시스루 렌즈, 다른 불투명 필터, 다른 광 가이드 광학 엘리먼트, 다른 마이크로디스플레이(120), 다른 렌즈(122), 룸-지향 카메라(112), 눈 위치 및 추적 어셈블리(134) , 마이크로 디스플레이, 이어폰들 및 온도 센서를 포함할 것이다.

일 실시예에서, 디스플레이 및 불투명 필터는 동시에 렌더링되고, 각도 오프셋(angle-offset) 문제들을 보완하기 위해 공간에서 사용자의 정확한 위치에 맞게 조정(calibrate)된다. 눈 추적(예를 들어, 눈 추적 카메라(134)를 사용한)은 시야의 말단(extremity)들에서 정확한 이미지 오프셋을 계산하기 위해 이용될 수 있다. 눈 추적은 또한 정면을 향한 카메라(113) 또는 다른 카메라를 포커싱하기 위한 데이터를 제공하는데 사용될 수 있다. 일 실시예에서, 눈 추적 카메라(134) 및 눈 벡터들을 계산하기 위한 다른 로직은 눈 추적 시스템인 것으로 간주된다.

도 3b는 안경 세트로 구현된 HMD(2)의 시선 검출 엘리먼트들의 각각의 세트들의 위치들의 예시적인 배열들을 예시한다. 각각의 눈에 대한 렌즈로서 나타나는 것은 각각의 눈(예를 들어, 14r 및 14l)에 대한 디스플레이 광학 시스템(14)을 나타낸다. 디스플레이 광학 시스템은 통상의 안경 쌍에서와 같이 시스루 렌즈를 포함하지만, 렌즈(6)를 통해 보여지는 실제의 및 직접 실제 뷰와 가상 콘텐츠를 끊김없이 융합시키는 광학 엘리먼트들(예를 들어, 미러들, 필터들)을 또한 포함한다. 디스플레이 광학 시스템(14)은 광이 일반적으로 일반적으로 왜곡 없는 뷰를 제공하도록 시준되는 시스루 렌즈의 중심에있는 광축을 갖는다. 예를 들어, 안과 전문의가 일반적인 안경을 사용자의 얼굴에 맞출 때, 목표는 각각의 동공이 명확하거나 왜곡 없는 뷰를 위해 사용자의 눈에 도달하는 일반적으로 시준된 광을 초래하는, 각각의 렌즈의 중심 또는 광축과 정렬되는 위치에서 안경을 사용자의 코에 안착시킨다.

도 3b의 예에서, 검출 영역(139r, 139l)의 중심이 광축을 따라 광을 캡처하도록, 적어도 하나의 센서의 검출 영역(139r, 139l)은 그것의 각각의 디스플레이 광학 시스템(14r, 14l)의 광축과 정렬된다. 디스플레이 광학 시스템(14)이 사용자의 동공과 정렬되는 경우, 각각의 센서(134)의 각각의 검출 영역(139)은 사용자의 동공과 정렬된다. 검출 영역(139)의 반사된 광은 이 예에서 프레임(115) 내부에 있는 것으로 파선으로 예시된 하나 이상의 광학 엘리먼트들을 통해 카메라의 실제 이미지 센서(134)로 전달된다.

일 예에서, 흔히 RGB 카메라로도 또한 지칭되는 가시 광선 카메라는 센서일 수 있고, 광학 엘리먼트 또는 광 지향 엘리먼트의 일예는 부분적으로 투과성이고 부분적으로 반사성인 가시광 반사 미러이다. 가시 광선 카메라는 사용자의 동공의 이미지 데이터를 제공하는 반면, IR 광 검출기(162)는 스펙트럼의 IR 부분에서의 반사인 글린트(glint)들을 캡처한다. 가시 광선 카메라가 사용되는 경우, 카메라에 의해 캡처된 눈 데이터에 가상 이미지들의 반사들이 나타날 수 있다. 원하는 경우 이미지 필터링 기법은 가상 이미지 반사들을 제거하는데 사용될 수 있다. IR 카메라는 눈의 가상 이미지 반사들에 민감하지 않다.

일 실시예에서, 적어도 하나의 센서(134)는 IR 복사선이 지향될 수 있는 IR 카메라 또는 위치 감지 검출기(PSD, position sensitive detector)이다. 예를 들어, 고온 반사 표면은 가시광을 투과시키지만 IR 복사선을 반사할 수 있다. 눈으로부터 반사된 IR 복사선은 일루미네이터(illuminator)(153), 다른 IR 일루미네이터들(미도시)의 입사 복사선 또는 눈으로부터 반사된 주변 IR 복사선으로부터의 것일 수 있다. 몇몇 예들에서, 센서(134)는 RGB 및 IR 카메라의 조합일 수 있으며, 광학적 광 지향 엘리먼트들은 가시광 반사 또는 전환(diverting) 엘리먼트 및 IR 복사선 반사 또는 전환 엘리먼트를 포함할 수 있다. 몇몇 예들에서, 카메라는 예를 들어, 2 밀리미터(mm) × 2mm로 작을 수있다. 이러한 카메라 센서의 예는 Omnivision OV7727이다. 다른 예들에서, 카메라는 예를 들어 이미지 센서 또는 카메라(134)가 광축 또는 디스플레이 광학 시스템(14)의 다른 위치에 중심설정될 수 있도록 충분히 작을 수 있는데, 예컨대 Omnivision Ov7727일 수 있다. 예를 들어, 카메라(134)는 시스템(14)의 렌즈 내에 내장될 수 있다. 또한, 카메라를 사용자 시야에 넣어 사용자의 주의를 산만하게 하는 것을 줄이기 위해 이미지 필터링 기법이 적용될 수 있다.

도 3b의 예에서, 광 검출기 (162)와 쌍을 이루고 일루미네이터(163)에 의해 발생된 입사광과 광 검출기(162)에서 수신된 반사된 광 사이의 간섭을 피하기 위해, 장벽(164)에 의해 분리된 일루미네이터(163)의 4개 세트들이 있다. 도면들에서 불필요한 혼란을 피하기 위해, 도면 번호는 대표적인 쌍에 대해 도시된다. 각각의 일루미네이터는 대략 미리 결정된 파장에서 좁은 광 빔을 발생시키는 적외선(IR) 일루미네이터일 수 있다. 각각의 광 검출기들은 대략 미리 결정된 파장에서 광을 캡처하도록 선택될 수 있다. 적외선은 근적외선을 또한 포함할 수 있다. 일루미네이터 또는 광 검출기의 파장 드리프트(drift)가 있거나 파장에 대한 작은 범위가 수용가능할 수 있으므로, 일루미네이터 및 광 검출기는 생성 및 검출을 위한 파장에 대한 공차 범위를 가질 수 있다. 센서가 IR 카메라 또는 IR 위치 감응 검출기(PSD)인 실시예들에서, 광 검출기들은 추가의 데이터 캡처 디바이스들일 수 있으며, 또한 일루미네이터들의 동작, 예를 들어 파장 드리프트, 빔 폭 변화들 등을 모니터링하는데 사용될 수 있다. 광 검출기들은 또한 센서(134)로서 가시 광선 카메라로 글린트 데이터를 제공할 수 있다.

상기 언급된 바와 같이, 시선 벡터를 결정하는 것의 일부로서 각막 중심을 계산하는 몇몇 실시예들에서, 2개의 글린트들, 따라서 2 개의 일루미네이터들이 충분할 것이다. 그러나, 다른 실시예들은 동공 위치 및 그에 따라 시선 벡터를 결정하는데 부가적인 글린트들을 사용할 수 있다. 글린트를 나타내는 눈 데이터가 반복적으로(예를 들어 초당 30 프레임 이상) 캡처됨에 따라, 하나의 글린트에 대한 데이터는 눈꺼풀 또는 심지어 속눈썹에 의해 차단될 수 있지만, 데이터는 다른 일루미네이터에 의해 발생된 글린트에 의해 수집될 수 있다.

도 3b는 안경 세트로 구현된 시선 검출 엘리먼트들의 각각의 세트들의 위치들의 다른 예시적인 배열들을 예시한다. 이 실시예에서, 일루미네이터(163) 및 광 검출기(162)의 2개 세트들은 디스플레이 광학 시스템(14)을 둘러싸는 각각의 프레임 부분(115)의 상단 근처에 위치설정되고, 일루미네이터와 광 검출기 쌍들의 또 다른 2개 세트들은 일루미네이터들 사이의 기하학적 관계의 또 다른 예를 예시하기 위해 각각의 프레임 부분(115)의 하단 근처에 위치설정되고, 따라서 이들이 생성하는 글린트들이 위치설정된다. 이러한 글린트들의 배열은 수직 방향으로 동공 위치에 더 많은 정보를 제공할 수 있다.

도 3d는 시선 검출 엘리먼트들의 각각의 세트들의 위치들의 또 다른 예시적인 배열들을 예시한다. 이 예에서, 센서(134r, 134l)는 일직선 상에 있거나 그 각각의 디스플레이 광학 시스템(14r, 14l)의 광축과 정렬되지만, 시스템(14) 아래의 프레임(115) 상에 위치된다. 또한, 몇몇 실시예들에서, 카메라(134)는 깊이 카메라일 수 있거나 또는 깊이 센서를 포함할 수 있다. 3D로 눈을 추적하기 위해 깊이 카메라가 사용될 수 있다. 이 예에서, 일루미네이터들(153) 및 광 검출기들(152)의 2개 세트들이 있다.

도 4는 헤드 마운트 디스플레이 디바이스(2)의 다양한 컴포넌트들을 도시하는 블록도이다. 도 5는 프로세싱 유닛(4)의 다양한 컴포넌트들을 설명하는 블록도이다. 그 컴포넌트들이 도 4에 도시된 헤드 마운트 디스플레이 디바이스(2)는 현실 세계의 사용자의 뷰와 하나 이상의 가상 이미지들을 매끄럽게 융합시킴으로써 혼합 현실 경험을 사용자에게 제공하는데 사용된다. 또한,도 4의 헤드 마운트 디스플레이 디바이스 컴포넌트들은 다양한 조건들을 추적하는 많은 센서들을 포함한다. 헤드 마운트 디스플레이 디바이스(2)는 프로세싱 유닛(4)으로부터의 가상 이미지에 관한 명령어들을 수신할 것이고, 프로세싱 유닛(4)에 다시 센서 정보를 제공할 것이다. 도 4에 도시된 컴포넌트들인 프로세싱 유닛(4)은 헤드 마운트 디스플레이 디바이스(2)로부터 감각 정보를 수신할 것이다.

그 정보 및 아마도 허브 컴퓨팅 시스템(12)으로부터의 정보를 사용하여, 프로세싱 유닛(4)은 사용자에게 가상 이미지를 언제 어디서 제공할지를 결정할 수 있고, 그에 따라 명령어들을 도 4의 헤드 마운트 디스플레이 디바이스에 전송할 수 있다. 이하에서 설명되는 바와 같이, 눈 위치 및 추적 어셈블리(134)로부터의 정보를 사용하여, 프로세싱 유닛(4)은 눈 위치 및 추적 어셈블리(134)의 카메라가 포커싱되는 정도를 부가적으로 결정할 수 있다. 이 정보는 마이크로디스플레이(120)(및 그에 따라 디스플레이 광학 시스템(14) 또는 다양한 엘리먼트들(124, 115, 126 등)) 상에 제시되는 프록시 이미지를 발생시키는데 사용될 수 있다. 사용자는 카메라 포커스 메커니즘을 조정함으로써 프록시 이미지를 포커싱하도록 지시될 수 있다. 이 방식으로 카메라는 포커싱될 수 있다.

도 4의 컴포넌트들 중 일부(예를 들어, 룸-지향 카메라(112), 눈 추적 센서(134B), 마이크로디스플레이(120), 불투명 필터(114), 눈 추적 조명(134A), 이어폰들(130), 및 온도 센서(138))는 음영으로 도시되어, 이들 디바이스들 각각 중 2개, 즉 헤드 마운트 디스플레이 디바이스(2)의 좌측을 위한 하나와 우측을 위한 하나가 있음을 표시한다. 도 4는 전력 관리 회로(202)와 통신하는 제어 회로(200)를 도시한다. 제어 회로(200)는 프로세서(210), 메모리(214)(예를 들어, D-RAM)와 통신하는 메모리 제어기(212), 카메라 인터페이스(216), 카메라 버퍼(218), 디스플레이 드라이버(220), 디스플레이 포맷터(222), 타이밍 발생기(226), 디스플레이 아웃(out) 인터페이스(228), 및 디스플레이 인(in) 인터페이스(230)를 포함한다.

일 실시예에서, 제어 회로(200)의 컴포넌트들 모두는 전용 라인들 또는 하나 이상의 버스들을 통해 서로 통신한다. 다른 실시예들에서, 제어 회로(200)의 컴포넌트들 각각은 프로세서(210)와 통신한다. 카메라 인터페이스(216)는 2개의 룸-지향 카메라들(112)에 인터페이스를 제공하고, 룸-지향 카메라들로부터 수신 된 이미지들을 카메라 버퍼(218)에 저장한다. 디스플레이 드라이버(220)는 마이크로디스플레이(120)를 구동할 것이다. 디스플레이 포맷터(222)는 마이크로디스플레이(120) 상에 디스플레이되는 가상 이미지에 관한 정보를 불투명 필터(114)를 제어하는 불투명 제어 회로(224)에 제공한다. 타이밍 발생기(226)는 시스템에 타이밍 데이터를 제공하는데 사용된다. 디스플레이 아웃 인터페이스(228)는 룸-지향 카메라(112)로부터 프로세싱 유닛(4)으로 이미지들을 제공하기 위한 버퍼이다. 인터페이스(230)의 디스플레이는 마이크로디스플레이(120) 상에 디스플레이될 가상 이미지와 같은 이미지들을 수신하기 위한 버퍼이다. 디스플레이 아웃 인터페이스(228) 및 디스플레이 인 인터페이스(230)는 프로세싱 유닛(4)에 대한 인터페이스인 밴드 인터페이스(232)와 통신한다.

전력 관리 회로(202)는 전압 레귤레이터(234), 눈 추적 조명 드라이버(236), 오디오 DAC 및 증폭기(238), 마이크로폰 전치 증폭기 및 오디오 ADC(240), 온도 센서 인터페이스(242), 및 클록 발생기(244)를 포함한다. 전압 레귤레이터(234)는 밴드 인터페이스(232)를 통해 프로세싱 유닛(4)으로부터 전력을 수신하고, 그 전력을 헤드 마운트 디스플레이 디바이스(2)의 다른 컴포넌트들에 제공한다. 눈 추적 조명 드라이버(236)는 상기 설명된 바와 같이 눈 추적 조명(134A)을 위한 IR 광원을 제공한다. 오디오 DAC 및 증폭기(238)는 이어폰(130)에 오디오 정보를 출력한다. 마이크로폰 전치 증폭기 및 오디오 ADC(240)는 마이크로폰(110)을 위한 인터페이스를 제공한다. 온도 센서 인터페이스(242)는 온도 센서(138)를 위한 인터페이스이다. 전력 관리 회로(202)는 또한 전력을 제공하고, 3 축 자력계(132A), 3 축 자이로(132B), 및 3 축 가속도계(132C)로부터 다시 데이터를 수신한다.

도 5는 프로세싱 유닛(4)의 다양한 컴포넌트들을 설명하는 블록도이다. 도 5는 전력 관리 회로(306)와 통신하는 제어 회로(304)를 도시한다. 제어 회로(304)는 중앙 처리 장치(CPU, central processing unit)(320), 그래픽 프로세싱 유닛 (GPU, graphics processing unit)(322), 캐시(324), RAM(326), 메모리(330)(예를 들어, D-RAM)와 통신하는 메모리 제어기(328), 플래시 메모리(334)(또는 다른 타입의 비휘발성 저장소)와 통신하는 플래시 메모리 제어기(332), 밴드 인터페이스(302) 및 밴드 인터페이스(232)를 통해 헤드 마운트 디스플레이 디바이스(2)와 통신하는 디스플레이 아웃 버퍼(336), 밴드 인터페이스(302) 및 밴드 인터페이스(232)를 통해 헤드 마운트 디스플레이 디바이스(2)와 통신하는 디스플레이 인 버퍼(338), 마이크로폰에 연결하기 위해 외부 마이크로폰 커넥터(342)와 통신하는 마이크로폰 인터페이스(340), 무선 통신 디바이스(346)에 연결하기 위한 PCI 익스프레스 인터페이스, 및 USB 포트(들)(348)를 포함한다. 일 실시예에서, 무선 통신 디바이스(346)는 Wi-Fi 가능 통신 디바이스, BlueTooth 통신 디바이스, 적외선 통신 디바이스 등을 포함할 수 있다. USB 포트는 데이터 또는 소프트웨어를 프로세싱 유닛(4)에 로딩할 뿐 아니라 프로세싱 유닛(4)을 충전하기 위해 프로세싱 유닛(4)을 허브 컴퓨팅 시스템(12)에 도킹하는데 사용될 수 있다. 일 실시예에서, CPU(320) 및 GPU(322)는 가상 3차원 객체들을 사용자의 뷰에 삽입하는 장소, 시간 및 방법을 결정하기 위한 주요 작업자이다. 더 많은 세부사항들은 하기에 제공된다.

전력 관리 회로(306)는 클록 발생기(360), 아날로그-디지털 컨버터(362), 배터리 충전기(364), 전압 레귤레이터(366), 헤드 마운트 디스플레이 전원(376), 및 (아마도 프로세싱 유닛(4)의 손목 밴드에 위치되는) 온도 센서 (374)와 통신하는 온도 센서 인터페이스(372)를 포함한다. 아날로그-디지털 컨버터(362)는 배터리 전압, 온도 센서를 모니터링하고, 배터리 충전 기능을 제어하는데 사용된다. 전압 레귤레이터(366)는 시스템에 전력을 공급하기 위해 배터리(368)와 연통한다. 배터리 충전기(364)는 충전 잭(370)으로부터 전력을 수신할 때 (전압 레귤레이터(366)를 통해) 배터리(368)를 충전하는데 사용된다. HMD 전원(376)은 헤드 마운트 디스플레이 디바이스(2)에 전력을 제공한다.

도 6은 카메라(604)를 포커싱하기 위한 시스템(600)의 일 실시예의 도면이다. 시스템(600)은 프로세싱 로직(602), 카메라(604) 및 디스플레이(606)를 포함한다. 일 실시예에서, 시스템(600)은 HMD(2)의 일부이다. 카메라(604)는 본 명세서에 설명된 카메라들 중 임의의 것일 수 있다. 일 실시예에서, 카메라(604)는 IR 카메라이다. 카메라(604)는 눈 위치 및 추적 어셈블리(134)의 일부일 수 있다. 예를 들어, 카메라(604)는 눈 추적 카메라(134B)일 수 있다. 카메라(604)는 또한 룸-지향 카메라(112)일 수 있다. 포커싱될 카메라는 이들 예들로 제한되지 않는다.

일 실시예에서, 디스플레이(606)는 본 명세서에 설명된 HMD(2)의 하나 이상의 엘리먼트들을 포함한다. 예를 들어, 디스플레이(606)는 마이크로디스플레이(120)를 포함할 수 있다. 또한, 반사면(124), 광 가이드 광학 엘리먼트(115), 선택적 반 사 표면(126)과 같은 엘리먼트들의 조합은 디스플레이(606)인 것으로 간주될 수 있다. 도 3b 내지 도 3d를 참조하면, 디스플레이(606)는 디스플레이 광학 시스템(14)을 포함할 수 있다. 디스플레이(606)는 우안을 위한 디스플레이 및 좌안을 위한 디스플레이를 포함할 수 있음에 유념한다. 그러나, 각각의 눈마다 별도의 디스플레이가 필요하지는 않다.

프로세싱 로직(602)은 카메라(604)가 포커싱되는 정도를 검출하기 위한 포커스 검출기(612)를 갖는다. 포커스 검출기(612)는 카메라(604)와 연관된 데이터를 입력하고, 카메라(604)가 포커싱되는 정도를 결정하는데 사용될 수 있다. 이 데이터는 카메라(604)로부터의 이미지 데이터일 수 있다. 이는 카메라(604)가 포커스를 맞출 객체로부터 카메라(604)가 얼마나 멀리 떨어져있는지를 표시하는 데이터와 같은, 이미지 데이터 이외의 데이터일 수 있다. 포커스 검출기(612)는 카메라(604)가 포커싱되는 정도(또는 카메라가 "포커스가 맞는” 정도)를 표시하는 신호를 출력한다.

렌더링(614)은 포커스 검출기(612)로부터의 신호를 입력하고, 카메라(604)가 인 포커싱되어 있는 정도와 역상관되는 블러링 정도를 갖는 이미지(예를 들어, "프록시 이미지")를 발생시킨다. 이것은 카메라가 더 포커스가 맞을 때 프록시 이미지에 블러링이 덜 나타날 수 있다는 점에서 역상관관계일 수 있다는 것에 유념한다. 다른 말로하면, 카메라가 더 포커스가 맞지 않을 때 프록시 이미지에 더 많은 블러링이 있을 수 있다. 이 "블러링된” 이미지는 디스플레이(606) 상에 표시된다. 일 실시예에서, 렌더링은 그래픽 프로세싱 유닛(GPU)상에서 구현된다.

카메라 포커스 메커니즘(605)은 카메라(604)가 포커싱되도록 한다. 예를 들어, 사용자는 카메라 포커스 메커니즘(605)을 수동으로 조정할 수 있다. 일예로서, 카메라(604)는 카메라(604)를 포커싱하기 위하여 이동되는 (카메라의 대물 렌즈 이외에) 포커싱 렌즈를 가질 수 있다. 그러나, 많은 다른 타입의 카메라 포커스 메커니즘들(605)이 사용될 수 있다. HMD(2)에 대해, 사용자는 카메라(604)를 포커싱하기 위해 그들의 눈(들)과 카메라(604) 사이의 거리를 조정할 수 있다. 이 예에서, 카메라 포커스 메커니즘(605)은 사용자가 HMD(2)를 착용하고 있는 동안 카메라의 위치가 사용자의 눈에 대해 움직일 수 있게 허용하는 HMD 상의 구조일 수 있다.

이미지 프로세싱(610)은 카메라(604)로부터 이미지 데이터를 입력하고, 이미지 데이터의 몇몇 타입의 프로세싱을 수행한다. 눈 추적은 일예이지만, 프로세싱은 무엇이든 될 수 있다. 프로세싱 로직(602), 포커스 검출기(612), 렌더링(614) 및 이미지 프로세싱(610)은 각각 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 몇몇 조합으로 구현될 수 있다. 도 4 및 5의 다양한 엘리먼트들이 사용될 수 있다. 예를 들어, 렌더링(614)은 GPU(도 5, 322)에 의해 수행될 수 있고, 이미지 프로세싱(610) 및 포커스 검출(612)은 CPU(도 5, 320)에 의해 수행될 수 있다. 프로세서(도 4, 210)는 또한 이미지 프로세싱(610), 렌더링(614) 및/또는 포커스 검출(612)에 대해 사용될 수 있다. 다양한 프로세서들(210, 320, 322) 상에서 실행하기 위한 명령어들은 메모리(예를 들어, 메모리(244, 330, 334), 캐시(324), RAM(326))에 저장될 수 있다. 이들은 단지 예일 뿐이며, 제한하려 의도된 것이 아니다. 또한, 프로세싱 로직(602), 렌더링(614) 및/또는 포커스 검출(612)이 프로세서 상에서 실행되는 명령어들에 의해 구현될 필요는 없다. 예를 들어, 애플리케이션 특정 집적 회로(ASIC, Application Specific Integrated Circuit)가 사용될 수 있다.

도 7은 카메라를 포커싱하는 프로세스의 일 실시예를 나타낸다. 이 프로세스는 도 6의 시스템(600)에서 사용될 수 있다. 도 6의 엘리먼트들에 대한 참조가 이루어질 것이지만, 프로세스는 그 시스템(600)으로 한정되지 않는다. 이 프로세스는 HMD(2)에서 사용될 수 있지만 필수는 아니다. 프로세스는 일 실시예에서 적외선 카메라를 포커싱하는데 사용된다. 프로세스는 다양한 방법들로 개시될 수 있다. 하나의 가능성은 시스템(예를 들어, HMD)이 카메라가 포커싱될 필요가 있음을 결정하고, 그에 응답하여 이 프로세스를 개시하는 것이다.

이 프로세스는 프록시 이미지를 사용자에게 제시하는 것을 수반한다. 단계(702)에서, 시스템(600)은 프로세스 동안 프록시 이미지를 포커싱하도록 시도할 것을 사용자에게 지시한다. 이 명령어가 제공될 때, 시스템(600)은 프록시 이미지를 제시할 수도, 제시하지 않을 수도 있다는 것에 유념한다. 시스템(600)은 또한 프록시 이미지를 포커싱하기 위한 명령어들을 제공할 수 있다. 이 명령어는 사용자가 프록시 이미지를 더 잘 포커스가 맞게 하도록 시도하기 위해 카메라 포커스 메커니즘을 조정하기 위한 것일 수 있다.

단계(704)에서, 시스템(600)은 카메라(604)와 연관된 데이터를 수신한다. 일 실시예에서, 이것은 카메라(604)로부터의 이미지 데이터이다. 예를 들어, 이것은 IR 이미지일 수 있다. 이 데이터가 카메라로부터의 이미지 데이터일 필요는 없다. 일 실시예에서, 이 데이터는 카메라(604)가 포커싱될 객체와 카메라(604) 사이의 거리를 표시한다.

단계(706)에서, 시스템(600)은 카메라(604)가 포커싱되는 정도를 결정한다. 일 실시예에서, 시스템(600)은 카메라(604)로부터의 이미지가 포커싱되는 정도를 결정한다. 그러나, 시스템(600)은 이미지 외의 정보에 대한 결정에 기반할 수 있다. 예를 들어, 이것은 카메라가 포커싱될 객체와 카메라(604) 사이의 거리를 표시하는 데이터에 기반할 수 있다.

단계(708)에서, 시스템(600)은 카메라(604)가 인 포커싱되어 있는 정도와 역상관되는 블러링 정도를 갖는 프록시 이미지를 발생시킨다. 상기 언급된 바와 같이, 이것은 역상관관계일 수 있다. 달리 말하면, 프록시 이미지의 블러링는 정도는 카메라(604)가 아웃 포커싱되어 있는 정도와 상관된다. 추가 세부사항들은 하기에 설명된다.

단계(710)에서, 시스템(600)은 디스플레이(606) 상에 프록시 이미지를 디스플레이한다. 이는 일실시예에서 HMD 상에 디스플레이된다. 상기 언급된 바와 같이, 디스플레이(606)는 디스플레이 광학 시스템(14), 마이크로디스플레이(120), 반사면(124), 광 가이드 광학 엘리먼트(115), 선택적 반사 표면들(126)을 포함할 수 있다.

단계(712)에서, 사용자는 카메라 포커싱 메커니즘을 조정한다. 사용자는 프록시 이미지를 포커스를 맞추도록 시도한다. 추가 세부사항들은 하기에 설명된다.

단계(714)에서, 시스템(600)은 카메라(604)가 적절히 포커싱되는지 여부를 결정한다. 만약 그렇다면, 프로세스는 완료된다. 그렇지 않다면, 프로세스는 카메라(604)와 연관된 추가 데이터를 수신하기 위해 단계(704)로 돌아간다. 사용자가 카메라 포커싱 메커니즘에 대한 조정을했다고 가정하면, 시스템(600)은 카메라 포커스의 정도가 변경되었다고 결정할 것이다(단계(706)). 따라서, 단계(708)에서 발생된 프록시 이미지는 이것이 새로운 정도의 카메라 포커스에 역상관되도록 이것의 블러링 정도를 업데이트시킬 것이다.

도 8은 프록시 이미지를 발생시키는 프로세스의 일 실시예의 흐름도이다. 이것은 도 7의 단계(708)의 일 실시예이다. 다시, 도 6의 엘리먼트들에 대한 참조가 이루어질 것이며, 이 프로세스는 그 시스템(600)으로 제한되지 않는다는 것을 이해해야 한다. 단계(802)에서, 시스템(600)은 프로세서 판독가능 저장소로부터 베이스 이미지에 액세스한다. 베이스 이미지는 통상적으로 가시 스펙트럼에 있는 이미지이다. 베이스 이미지의 콘텐츠가 반드시 중요한 것은 아니다. 이것이 사용자에게 보여질 것이기 때문에, 이 이미지는 사용자가 그것에 포커싱하게 하는 우수한 특성들을 갖는 것에 기반하여 선택될 수 있다. IR 카메라 이미지로부터 직접 발생될 수 있는 이미지는 사용자가 포커스를 맞추기에 적합하지 않을 수 있다는 것에 유념한다. 예를 들어, IR 이미지가 가시화되도록 IR 이미지가 파장이 시프트되는 경우, 사용자가 그러한 이미지에 포커싱하는 것이 쉽지 않을 수 있다. 논의를 위해, 도 9a는 화분의 식물을 갖는 예시적인 베이스 이미지(910)를 도시한다. 이 베이스 이미지(910)는 카메라(604)로부터의 이미지가 아니다.

단계(804)에서, 시스템(600)은 베이스 이미지(910)를 블러링하여 프록시 이미지를 형성한다. 논의를 위해, 도 9b는 베이스 이미지(910)의 블러링된 버전인 예시적인 프록시 이미지(920)를 도시한다. 블러링은 일 실시예에서 수학적 함수를 사용함으로써 수행된다. 예를 들어, 포인트 스프레드 함수(PSF, point spread function)가 사용될 수 있다. PSF는 베이스 이미지(910) 내의 각각의 픽셀에 적용될 수 있으며, 이는 각각의 개별 픽셀의 광 강도를 이웃 픽셀들로 확산시키는 역할을 할 수 있다.. 그 후, 결과들은 요약되어 프록시 이미지(920)를 생성한다. PSF의 폭은 원하는 블러링 정도를 야기하도록 설정될 수 있다. 단계(804)는 일 실시예에서 GPU상에서 수행된다.

이전에 논의된 바와 같이, 프록시 이미지의 블러링 정도는 카메라의 포커스의 정도와 역상관된다. 예를 들어, 카메라 (604)가 더 포커스가 맞을수록, 프록시 이미지(920)는 덜 블러링된다. 따라서, 이것은 역상관관계로 불릴 수 있다. 대안적으로, 카메라(604)의 포커스가 맞지 않을수록, 프록시 이미지(920)는 더 블러링되는 것으로 흐려진다는 것으로 언급될 수 있다.

도 9c는 프록시 이미지(920)의 블러링 정도가 카메라(604)의 포커스의 정도와 역상관되는 것을 나타내는 곡선(950)을 갖는 그래프를 도시한다. 시스템(600)은 x-축에 의해 표시될 수 있는 카메라 포커스의 정도를 나타내는 값을 결정할 수 있다. 시스템(600)은 원하는 역상관관계가 생성되도록 프록시 이미지에 대한 적절한 블러링 정도를 결정할 수 있다.

도 10a는 카메라를 포커싱하기 위한 시스템의 일 실시예의 도면이다. 이것은 도 6의 시스템(600)의 변형으로서, 여기서 포커스 검출기(612a)는 카메라(604)가 인 포커싱되어 있는 정도를 결정하기 위해 이미지 데이터를 입력한다. 이미지 데이터는 일 실시예에서 IR 이미지 데이터이다. 예를 들어, 카메라(604)는 적외선 파장들의 이미지들을 캡처한다. 도 10a의 시스템은 HMD(2)일 수 있다. 도면을 모호하게 하지 않도록 모든 엘리먼트들이 도시되지는 않는다.

포커스 검출기(612a)는 일 실시예에서 이미지 프로세싱 기법들을 사용하여 카메라 이미지가 포커싱되는 정도를 결정한다. 카메라(604)로부터의 이미지가 인 포커싱되어 있는 정도를 결정하는 본 기술분야의 당업자들에게 공지된 기법들이 있다. 임의의 편리한 기법이 사용될 수 있다. 예를 들어, 콘트라스트 검출이 사용될 수 있다. 콘트라스트 검출은 카메라 이미지 내의 콘트라스트를 측정한다. 인접한 픽셀들 간의 강도 차이는 올바른 이미지 포커스로 증가해야 한다. 따라서, 최대 콘트라스트가 검출될 때까지 광학 시스템은 조정될 수 있다. 카메라 이미지가 인 포커싱되어 있는 정도를 결정하기 위하여 카메라 이미지를 분석하는 다른 기법들이 사용될 수 있다.

베이스 이미지(910)는 프록시 이미지(920)를 출력하는 렌더링(614)에 입력되는 것으로 도시된다. 프록시 이미지(920)는 디스플레이(606) 상에 제시된다. 사용자(눈(140)으로 표시됨)는 카메라 포커스 메커니즘(605)을 수동으로 조절할 수 있다. 예를 들어, 사용자는 카메라 포커스 메커니즘(605)을 따라 이중 화살표에 의해 표시된 바와 같이 카메라(604)를 이동시킴으로써 그들의 눈(들)과 카메라(604) 사이의 거리를 조정할 수 있다. 카메라 포커스 메커니즘(605)은 일예로서 눈(140)까지의 카메라(604)의 거리가 조정되도록 허용하는 임의의 구조일 수 있다. 카메라 포커스 메커니즘(605)은 눈에 대한 카메라 위치가 이동되게 허용하는 HMD(2)의 프레임 상의 구조물일 수 있다. 카메라(604)의 포커스를 조정하기 위해 다른 기법들이 사용될 수 있다.

도 10a의 예에서, 프로세싱 로직(602)은 카메라 이미지 데이터를 입력하는 눈 추적부(eye tracking)(1010)를 갖는다. 이것은 도 6의 이미지 프로세싱(610)의 일예이다.

포커스 검출(612)이 이미지 분석을 사용할 필요는 없다. 도 10b는 포커스 검출(612b)이 거리 데이터를 사용하여 카메라(604)가 인 포커싱되어 있는 정도를 결정하는 일 실시예의 도면이다. 거리 데이터는 일 실시예에서 카메라(604)가 포커스를 맞추고 있는 객체로부터 얼마나 멀리 떨어져있는지를 표시한다. 거리 데이터는 일 실시예에서 카메라(604)가 사용자의 눈(140)으로부터 얼마나 멀리 떨어져있는지를 표시한다. 도 10a의 시스템은 HMD(2)일 수 있다. 도면을 모호하게 하지 않도록 모든 엘리먼트들이 도시되지는 않는다.

포커스 검출(612a)은 카메라(604)가 있어야 하는 목표 거리를 가질 수 있다. 포커스 검출(612a)은 일예로서 각각의 거리와 포커스의 정도를 연관시키는 값들을 갖는 테이블에 액세스할 수 있다. 다른 예로서, 포커스 검출(612b)은 초점 거리와 같은 카메라(604)의 알려진 특성들 및 입력 거리에 기반하여 포커스 정도를 결정하기 위해 수학적 방정식을 이용할 수 있다.

거리 데이터는 카메라(604) 자체에 의해 제공될 수 있다. 예를 들어, 카메라(604)는 그 자신과 포커스를 맞출 객체 사이의 거리를 결정할 수 있는 거리계를 가질 수 있다. 거리 데이터는 포커스를 맞추고 있는 카메라(604) 이외의 엘리먼트에 의해 제공될 수 있다. 예를 들어, 거리를 결정하는데 사용될 수 있는 HMD 상의 다른 카메라가 있을 수 있다. 대안적으로, (HMD 상의 카메라에 대한) 거리 데이터는 근처의 다른 카메라와 같이 HMD 상에 없는 디바이스에 의해 결정될 수 있다.

도 11은 본 명세서에 개시된 허브 컴퓨팅 시스템(12) 또는 다른 프로세서들을 구현하는데 사용될 수 있는 컴퓨팅 시스템의 예시적인 실시예를 예시한다. 도 11에 도시된 바와 같이, 컴퓨팅 시스템(500)은 레벨 1 캐시(502), 레벨 2 캐시(504), 및 플래시 ROM(Read Only Memory)(506)을 갖는 중앙 처리 유닛(CPU)(501)을 갖는다. 레벨 1 캐시(502) 및 레벨 2 캐시(504)는 일시적으로 데이터를 저장하고, 따라서 메모리 액세스 사이클의 수를 감소시킴으로써, 프로세싱 속도 및 처리량을 향상시킨다. 둘 이상의 코어, 및 이에 따라 추가 레벨 1 캐시 및 레벨 2 캐시(502 및 504)를 갖는 CPU(501)가 제공될 수 있다. 플래시 ROM(506)은 컴퓨팅 디바이스(500)가 파워 온될 때 부트 프로세스의 초기 단계 동안 로딩되는 실행가능 코드를 저장할 수 있다.

그래픽 프로세싱 유닛(GPU)(508) 및 비디오 인코더/비디오 코덱(코더/디코더)(514)은 고속 및 고해상도 그래픽 프로세싱을 위한 비디오 프로세싱 파이프라인을 형성한다. 데이터는 버스를 통해 그래픽 프로세싱 유닛(508)으로부터 비디오 인코더/비디오 코덱(514)으로 반송(carry)된다. 비디오 프로세싱 파이프라인은 텔레비전 또는 다른 디스플레이로의 전송을 위해 A/V(오디오/비디오) 포트(540)로 데이터를 출력한다. 메모리 제어기(510)는 GPU(508)에 연결되어, RAM(Random Access Memory)과 같은(그러나 이에 제한되는 것은 아님) 다양한 타입의 메모리(512) 로의 프로세서 액세스를 용이하게 한다.

컴퓨팅 디바이스(500)는 I/O 제어기(520), 시스템 관리 제어기(522), 오디오 프로세싱 유닛(523), 네트워크 인터페이스(524), 제1 USB 호스트 제어기(526), 제2 USB 제어기(528), 및 전면 패널 I/O 서브어셈블리를 포함하며, 이들은 바람직하게 모듈(518) 상에 구현된다. USB 제어기들(526 및 528)은 주변 제어기들(542(1)-542(2)), 무선 어댑터(548), 및 외부 메모리 디바이스(546)(플래시 메모리, 외부 CD/DVD ROM 드라이브, 착탈식 미디어 등)에 대한 호스트들로서의 역할을 한다. 네트워크 인터페이스(524) 및/또는 무선 어댑터(548)는 네트워크(예를 들어, 인터넷, 홈 네트워크, 등)에 대한 액세스를 제공하며, 이더넷 카드, 모뎀, 블루투스 모듈, 케이블 모뎀 등을 포함하는 다양한 유선 또는 무선 어댑터 컴포넌트들 중 임의의 것일 수 있다.

시스템 메모리(543)는 부팅 프로세스 동안 로딩되는 애플리케이션 데이터를 저장하기 위해 제공된다. 미디어 드라이브(544)가 제공되고, DVD/CD 드라이브, 블루-레이 드라이브, 하드 디스크 드라이브, 또는 다른 착탈식 미디어 드라이브 등을 포함할 수 있다. 미디어 드라이브(544)는 컴퓨팅 디바이스(500)의 내부 또는 외부에 있을 수 있다. 애플리케이션 데이터는 컴퓨팅 디바이스(500)에 의한 실행, 재생 등을 위해 미디어 드라이브(544)를 통해 액세스될 수 있다. 미디어 드라이브(544)는 직렬 ATA 버스 또는 다른 고속 연결(예를 들어, IEEE 1394)과 같은 버스를 통해 I/O 제어기(520)에 연결된다.

시스템 관리 제어기(522)는 컴퓨팅 디바이스(500)의 가용성을 보장하는 것과 관련된 다양한 서비스 기능들을 제공한다. 오디오 프로세싱 유닛(523) 및 오디오 코덱(532)은 높은 충실도 및 스테레오 프로세싱을 갖는 대응 오디오 프로세싱 파이프라인을 형성한다. 오디오 데이터는 통신 링크를 통해 오디오 프로세싱 유닛(523)과 오디오 코덱(532) 사이에서 반송된다. 오디오 프로세싱 파이프라인은 오디오 능력들을 갖는 외부 오디오 사용자 또는 디바이스에 의한 재생을 위해 데이터를 A/V 포트(540)에 출력한다.

전면 패널 I/O 서브 어셈블리(530)는 컴퓨팅 디바이스(500)의 외부 표면 상에 노출된 임의의 LED들(발광 다이오드들) 또는 다른 표시기들 뿐만 아니라 전원 버튼(550) 및 꺼냄(ejection) 버튼(552)의 기능을 지원한다. 시스템 전력 공급 모듈(536)은 컴퓨팅 디바이스(500)의 컴포넌트들에 전력을 제공한다. 팬(538)은 컴퓨팅 디바이스(500) 내의 회로를 냉각시킨다.

컴퓨팅 디바이스(500) 내의 CPU(501), GPU(508), 메모리 제어기(510) 및 다양한 다른 컴포넌트들은 다양한 버스 아키텍처들 중 임의의 것을 사용하여 직렬 및 병렬 버스, 메모리 버스, 주변 장치 버스, 및 프로세서 또는 로컬 버스를 포함하는 하나 이상의 버스들을 통해 상호연결된다. 예로서, 이러한 아키텍처들은 PCI(Peripheral Component Interconnect) 버스, PCI-익스프레스(Express) 버스 등을 포함할 수 있다.

컴퓨팅 디바이스(500)가 전력 인가(power-on)될 때, 애플리케이션 데이터는 시스템 메모리(543)로부터 메모리(512) 및/또는 캐시들(502, 504)로 로딩될 수 있고, CPU(501)상에서 실행될 수 있다. 애플리케이션은 컴퓨팅 디바이스(500) 상에서 이용가능한 상이한 미디어 타입들로 내비게이팅할 때 일관된 사용자 경험을 제공하는 그래픽 사용자 인터페이스를 제시할 수 있다. 동작시, 미디어 드라이브(544) 내에 포함된 애플리케이션 및/또는 다른 미디어는 컴퓨팅 디바이스(500)에 추가 기능들을 제공하기 위해 미디어 드라이브(544)로부터 론칭되거나 재생될 수 있다.

컴퓨팅 디바이스(500)는 단순히 시스템을 텔레비전 또는 다른 디스플레이에 연결함으로써 독립형 시스템으로서 작동될 수 있다. 이러한 독립형 모드에서, 컴퓨팅 디바이스(500)는 하나 이상의 사용자들이 시스템과 상호 작용하고, 영화를 보고, 음악을 들을 수 있게 한다. 그러나, 네트워크 인터페이스(524) 또는 무선 어댑터(548)를 통해 이용가능해진 광대역 연결성의 통합으로, 컴퓨팅 디바이스(500)는 또한 더 큰 네트워크 커뮤니티에서 참가자로서 작동될 수 있다. 또한, 컴퓨팅 디바이스(500)는 무선 어댑터(548)를 통해 프로세싱 유닛(4)과 통신할 수 있다.

선택적 입력 디바이스들(예를 들어, 제어기들(542(1) 및 542(2))은 게임 애플리케이션들 및 시스템 애플리케이션들에 의해 공유된다. 입력 디바이스들은 예약된 리소스들이 아니지만, 시스템 애플리케이션들과 게임 애플리케이션 간에 전환되어, 입력 디바이스들 각각이 디바이스의 포커스를 갖게 된다. 애플리케이션 매니저는 바람직하게는 게임 애플리케이션의 지식을 알지 못하고 입력 스트림의 스위칭을 제어하며, 드라이버는 포커스 스위치들에 관한 상태 정보를 유지한다. 캡처 디바이스(20)는 USB 제어기(526) 또는 다른 인터페이스를 통해 디바이스(500)에 대한 추가 입력 디바이스들을 정의할 수 있다. 다른 실시예들에서, 허브 컴퓨팅 시스템(12)은 다른 하드웨어 아키텍처들을 사용하여 구현될 수 있다. 어떠한 하드웨어 아키텍처도 요구되지 않는다.

본 발명이 구조적 피처들 및/또는 방법론적 동작들에 특정한 언어로 설명되었지만, 첨부된 청구항들에 정의된 발명 내용이 반드시 상기 설명된 특정 피처들 또는 동작들에 제한되는 것은 아니라는 것을 이해해야 한다. 그보다는, 상기 설명된 특정 피처들 및 동작들은 청구항들을 구현하는 예시적인 형태들로서 개시된다. 발명의 범위는 여기에 첨부된 청구항들에 의해 정의되는 것으로 의도된다.

Claims

장치에 있어서,
디스플레이;
카메라; 및
상기 디스플레이 및 상기 카메라와 통신하는 프로세싱 로직
을 포함하며, 상기 프로세싱 로직은:
상기 카메라와 연관된 이미지 데이터를 수신하고;
상기 이미지 데이터에 기초하여 상기 카메라가 인 포커싱되어 있는 정도를 결정하고,
상기 카메라가 인 포커싱(in focus)되어 있는 정도와 역상관되는(inversely correlate), 프록시 이미지 전체에 걸쳐 동일한 정도의 블러링을 갖는 상기 프록시 이미지를 생성하기 위하여, 상기 카메라로부터의 상기 이미지 데이터의 콘텐츠와 독립적인 콘텐츠를 갖는 가시적 베이스 이미지를 블러링하고;
상기 디스플레이 상에 상기 프록시 이미지를 디스플레이하며,
상기 프록시 이미지를 더 잘 포커싱하기 위해 카메라 포커스 메커니즘을 조정하게끔 사용자에게 명령하도록
구성되며,
상기 프로세싱 로직은 상기 프록시 이미지를 디스플레이한 이후에 상기 카메라와 연관된 업데이트된 이미지 데이터를 수신하고, 상기 카메라가 인 포커싱되어 있는 새로운 정도를 결정하고, 상기 카메라가 인 포커싱되어 있는 새로운 정도와 역상관되도록 상기 프록시 이미지의 블러링 정도를 수정하며, 상기 수정된 블러링 정도에 기반하여 업데이트된 프록시 이미지를 디스플레이하는 것인, 장치.
제1항에 있어서,
상기 프로세싱 로직이 수신하는 상기 카메라와 연관된 이미지 데이터는 상기 카메라로부터의 이미지이며, 상기 프로세싱 로직은 상기 이미지가 인 포커싱되어 있는 정도에 기반하여 상기 카메라가 인 포커싱되어 있는 정도를 결정하는 것인, 장치.
제2항에 있어서,
상기 카메라로부터의 이미지는 적외선(IR, infrared) 이미지인 것인, 장치.
제1항에 있어서,
상기 프로세싱 로직에 의하여 수신되는 상기 카메라와 연관된 이미지 데이터는 상기 카메라가 객체(object)로부터 떨어져 있는 거리를 포함하며;
상기 프로세싱 로직은 상기 거리에 기반하여 상기 카메라가 인 포커싱되어 있는 정도를 결정하는 것인, 장치.
제1항에 있어서,
상기 디스플레이는 니어 아이 씨-스루(near-eye, see-through) 디스플레이이고, 상기 장치는 헤드 마운트 디스플레이(HMD, head mounted display)이며, 상기 카메라는 상기 HMD를 착용하는 사용자에게 포커싱되는 것인, 장치.
제1항에 있어서,
그래픽 프로세싱 유닛(GPU, graphic processing unit)을 더 포함하며, 상기 프로세싱 로직은 상기 GPU 상에서 상기 프록시 이미지를 생성하기 위하여 상기 가시적 베이스 이미지를 블러링하는 것인, 장치.
제1항에 있어서,
상기 프로세싱 로직은 또한:
상기 카메라가 충분한 정도로 포커스가 맞을 때까지, 상기 카메라가 인 포커싱되어 있는 정도의 변화에 응답하여, 상기 디스플레이된 프록시 이미지의 블러링 정도를 계속해서 업데이트하도록
구성되는 것인, 장치.
제2항에 있어서,
상기 프로세싱 로직은 상기 카메라로부터의 이미지와 무관하게 상기 가시적 베이스 이미지를 블러링하도록 구성되는 것인, 장치.
제1항에 있어서,
상기 가시적 베이스 이미지는 상기 가시적 베이스 이미지 내의 각각의 픽셀에 걸쳐 함수에 기반하여 동일한 정도에 따라 블러링되는 것인, 장치.
방법에 있어서,
카메라와 연관된 이미지 데이터를 수신하는 단계;
상기 수신된 이미지 데이터에 기반하여 상기 카메라가 인 포커싱되어 있는 정도를 결정하는 단계;
프로세서 판독가능 저장소로부터 가시적 베이스 이미지에 액세스하는 단계 ― 상기 가시적 베이스 이미지는 상기 카메라로부터의 이미지 내의 콘텐츠와 매칭되지 않는 콘텐츠를 가짐 ― ;
상기 카메라가 인 포커싱되어 있는 정도와 역상관되는, 프록시 이미지 전체에 걸쳐 동일한 블러링 정도를 갖는 상기 프록시 이미지를 생성하기 위하여 상기 가시적 베이스 이미지를 블러링하는 단계;
디스플레이 상에 상기 프록시 이미지를 디스플레이하는 단계;
상기 프록시 이미지가 포커스가 더 잘 맞도록 하기 위해 상기 카메라를 포커싱하도록 구성되는 포커스 메커니즘을 조정하도록 사용자에게 명령하는 단계;
상기 수신하는 단계, 상기 결정하는 단계, 상기 블러링 하는 단계, 및 상기 디스플레이하는 단계를 상기 카메라가 충분한 정도로 포커스가 맞을 때까지 반복하는 단계 ― 상기 반복하는 단계는, 상기 카메라와 연관된 업데이트된 이미지 데이터를 수신하는 단계, 상기 카메라가 인 포커싱되어 있는 새로운 정도를 결정하는 단계, 상기 카메라가 인 포커싱되어 있는 새로운 정도와 역상관되도록 상기 프록시 이미지의 블러링 정도를 수정하는 단계, 및 상기 디스플레이 상에 상기 수정된 프록시 이미지를 디스플레이하는 단계를 포함함 ―
를 포함하는, 방법.
제10항에 있어서,
상기 카메라와 연관된 이미지 데이터를 수신하는 단계는, 상기 카메라로부터 이미지를 수신하는 단계를 포함하고,
상기 이미지 데이터에 기반하여 상기 카메라가 인 포커싱되어 있는 정도를 결정하는 단계는, 상기 수신된 이미지가 인 포커싱되어 있는 정도를 결정하는 단계를 포함하는 것인, 방법.
제11항에 있어서,
상기 카메라로부터의 이미지는 적외선(IR) 이미지인 것인, 방법.
제10항에 있어서,
상기 카메라와 연관된 이미지 데이터를 수신하는 단계는, 상기 카메라가 객체로부터 떨어져 있는 거리를 표시하는 데이터를 수신하는 단계를 포함하며;
상기 카메라가 인 포커싱되어 있는 정도를 결정하는 단계는, 상기 거리에 기반하여 상기 카메라가 인 포커싱되어 있는 정도를 결정하는 단계를 포함하는 것인, 방법.
제10항에 있어서,
상기 카메라가 인 포커싱되어 있는 정도와 역상관되는 동일한 블러링 정도를 갖는 프록시 이미지를 생성하기 위하여 상기 가시적 베이스 이미지를 블러링하는 단계는:
상기 프록시 이미지를 생성하기 위하여 상기 가시적 베이스 이미지를 수학적으로 블러링하는 단계
를 포함하며, 상기 카메라와 연관되어 수신된 데이터와 무관하게 상기 가시적 베이스 이미지가 블러링되는 것인, 방법.
제14항에 있어서,
상기 프록시 이미지를 생성하기 위하여 상기 가시적 베이스 이미지를 수학적으로 블러링하는 단계는, 그래픽 프로세싱 유닛(GPU) 상에서 그래픽 이미지 프로세싱을 사용하는 단계를 포함하는 것인, 방법.
제10항에 있어서,
상기 디스플레이 상에 상기 프록시 이미지를 디스플레이하는 단계는:
헤드 마운트 디스플레이(HMD)의 디스플레이 상에 상기 프록시 이미지를 디스플레이하는 단계
를 포함하는 것인, 방법.
헤드 마운트 디스플레이(HMD)에 있어서,
니어 아이 씨-스루 디스플레이;
적외선(IR) 카메라;
프로세서 판독가능 저장소;
상기 IR 카메라를 포커싱하도록 구성되는 IR 카메라 포커스 메커니즘; 및
상기 적외선 카메라 및 니어 아이 씨-스루 디스플레이와 통신하는 프로세서
를 포함하고, 상기 프로세서는:
상기 IR 카메라로부터 적외선 이미지를 수신하고;
상기 적외선 이미지가 아웃 포커싱(out of focus)되어 있는 정도를 결정하고;
상기 프로세서 판독가능 저장소로부터 가시적 베이스 이미지에 액세스하고 ― 상기 가시적 베이스 이미지는 상기 IR 카메라로부터의 이미지와는 다른 이미지이고, 상기 IR 카메라로부터의 이미지 내의 콘텐츠와 매칭되지 않는 콘텐츠를 가짐 ― ;
상기 적외선 이미지가 아웃 포커싱되어 있는 정도와 상관되는, 프록시 이미지 전체에 걸쳐 동일한 블러링 정도를 갖는 상기 프록시 이미지를 생성하기 위하여 상기 가시적 베이스 이미지를 블러링하고;
상기 니어 아이 씨-스루 디스플레이 상에 블러링된 상기 프록시 이미지를 디스플레이하며,
상기 블러링된 프록시 이미지가 디스플레이된 후, 상기 IR 카메라 포 커스 메커니즘의 변화에 응답하여 상기 IR 카메라가 충분히 포커싱되어 있는지 여부를 결정하도록
구성되고,
상기 프로세서는 또한,
상기 프록시 이미지를 디스플레이한 후, 상기 IR 카메라와 연관된 업데이트된 이미지 데이터를 수신하고,
상기 IR 카메라가 인 포커싱되어 있는 새로운 정도를 결정하고,
상기 IR 카메라가 인 포커싱되어 있는 새로운 정도와 역상관되도록 상기 프록시 이미지의 블러링 정도를 수정하며,
상기 수정된 블러링 정도에 기반하여 업데이트된 프록시 이미지를 디스플레이하도록
구성되는 것인, 헤드 마운트 디스플레이(HMD).
제17항에 있어서,
상기 프로세서는 또한, 상기 프록시 이미지를 더 잘 포커싱하기 위해 상기 카메라 포커스 메커니즘을 수동으로 조정하게끔 사용자에게 명령하도록 구성되는 것인, 헤드 마운트 디스플레이(HMD).
제18항에 있어서,
상기 IR 카메라는 상기 HMD 상의 눈 추적 카메라인 것인, 헤드 마운트 디스플레이(HMD).
제17항에 있어서,
그래픽 프로세싱 유닛(GPU)을 더 포함하며, 상기 프로세서는 상기 GPU를 사용하여 상기 프록시 이미지를 생성하기 위해 상기 가시적 베이스 이미지를 수학적으로 블러링하는 것인, 헤드 마운트 디스플레이(HMD).