KR20160022380A

KR20160022380A - 근안 디스플레이를 위한 동적 양안 정렬

Info

Publication number: KR20160022380A
Application number: KR1020167001856A
Authority: KR
Inventors: 스티븐 존 로빈스; 드류 스티들리; 나단 애커만; 쿠엔틴 시몬 찰스 밀러; 앤드류 씨 고리스
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2013-06-24
Filing date: 2014-06-19
Publication date: 2016-02-29
Also published as: CN105683810A; US20140375681A1; KR102213728B1; CN105683810B; EP3014336A1; US9639985B2; EP3014336B1; WO2014209733A1

Abstract

혼합된 현실 또는 가상 현실 경험을 제공하는 헤드 마운티드 디스플레이 디바이스 상에서의 기준 위치에 대한 디스플레이 소자(104)의 각변위를 검출하기 위한 시스템 및 방법이 개시되어 있다. 변위가 검출되면, 이것은 헤드 마운티드 디스플레이 디바이스의 좌측 및 우측 디스플레이 소자에 디스플레이된 가상 이미지의 적절한 양안 시차를 유지하도록 보정될 수 있다. 한 예에서, 검출 시스템은 시준된 LED(130) 및 카메라(160)(이 둘은 선형 변위에 둔감하다)를 포함하는 광학 조립체를 사용한다. 이러한 시스템은 동공간 조정 메커니즘(126)이 있는데서 헤드 마운티드 디스플레이 디바이스 상에서의 하나 또는 둘 모두의 디스플레이 소자의 진정한 각변위를 측정할 수 있다.

Description

근안 디스플레이를 위한 동적 양안 정렬{ACTIVE BINOCULAR ALIGNMENT FOR NEAR EYE DISPLAYS}

본 발명은 근안 디스플레이를 위한 동적 양안 정렬에 관한 것이다.

혼합 현실(mixed reality)은 가상 이미지가 실세계 물리적 환경과 혼합되게 하는 기술이다. 시스루(see-through), 근안 디스플레이 디바이스는 사용자의 머리에 착용되어 사용자의 시야에 디스플레이된 실제 객체와 가상 객체의 합성 이미지를 보여줄 수 있다. 3차원 깊이의 착각을 일으키기 쉽도록, 가상 객체의 이미지가 헤드 마운티드 디스플레이 디바이스에 의해 좌우측 눈에 독립적으로 디스플레이된다. 좌우측 디스플레이 상의 이미지는, 가상 객체의 각도가 실세계의 객체에 의해 눈에서 생성된 양안 시차(binocular disparity)와 동일하도록, 배치될 수 있다. 이 의도적 수평 양안 시차(수렴(convergence) 또는 입체시(stereopsis))는 수평으로 이동된 눈과 규정된 거리에 있는 가상 객체 사이에 생성된 수평 시차에 근사하게 매칭된다. 이 양안 시차는 두뇌에 의해 혼합 현실 환경에서 가상 객체의 깊이를 나타내는 것으로 해석된다. 디스플레이된 이미지의 양안 시차를 정확히 조절하는 것이 바람직한데, 정확한 각도에서 이탈하면 움직임 시차와 같은 다른 시각적 단서와 충돌을 일으킬 수 있기 때문이다. 이들 충돌은 사용자 경험을 떨어뜨릴 수 있으며, 최악의 경우 몰입 경험이 사라질 수 있다. 또한, 수직 방향으로의 이미지들 사이의 정렬로부터의 일탈(수직 시차 또는 딥버전스(dipvergence)) 또는 발산 양안 시차(divergent binocular disparity)는 부자연스럽고 눈 두뇌 시스템(eye brain system)에 의해 수용될 수 없다. 작은 편차(예컨대 1-2 mRad)도 불편을 일으킬 수 있고 보다 큰 에러는 눈 두뇌 시스템에 의해 전혀 융합될 수 없으며, 그 결과 가상 이미지가 2중 이미지로 나타난다.

광학 디스플레이 시스템은 정확한 양안 시차를 위해 처음에 교정될 수 있다. 그러나, 통상적으로 헤드 마운티드 디스플레이 디바이스는 경량이며, 충격을 받거나 사용자의 머리에 착용될 때 변형될 수 있다. 따라서 헤드마운티드 디스플레이의 우측 아이 피스(right eye piece)에 대한 좌측 아이 피스의 변위를 검출하여 변위를 전자적으로 또는 기계적으로 보정할 필요가 있다. 일례로, 하나의 아이 피스 상의 레이저 광원이 코걸이를 가로질러 반대쪽 아이 피스 상의 광 검출기 어레이로 전달된다. 좌측 및 우측 아이 피스의 상대적인 움직임은 결과적으로 검출가능한 변화를 일으킬 수 있는데, 여기서 레이저가 광검출기 어레이에 부딪혀서 상대적인 변위를 나타낸다.

이러한 검출기 시스템의 단점은 한 아이 피스의 다른 쪽 아이 피스에 대한 선형 변위가 한 아이 피스의 다른 쪽 아이 피스에 대한 각변위(angular displacement)와 구별가능하지 않을 수도 있다는 것이다. 이 둘 모두 광검출기 어레이 상에서 레이저 빔의 동일한 측정 변위를 일으킬 수 있다. 부가적인 레이저/광검출기 쌍을 추가하면 추가적인 정보를 제공할 수 있지만, 여전히 그러한 검출기 시스템으로 판별할 수 없는 일부 변위 및/또는 회전의 조합이 있을 수 있다. 또한, 이러한 검출기 시스템은 다른 아이 피스에 대한 하나의 아이 피스의 변위에 대한 정보만 제공한다. 기술된 종래의 시스템은 헤드 마운티드 디스플레이의 프레임에 대한 좌측 및 우측 아이 피스 중 하나의 절대 움직임(absolute movement)에 대한 정보를 제공할 수 없다.

본 기술의 실시예는 혼합된 현실 또는 가상 현실 경험을 제공하는 헤드 마운티드 디스플레이 디바이스 상에서의 기준 위치에 대한 디스플레이 소자의 각변위를 검출하기 위한 시스템 및 방법에 관한 것이다. 변위가 검출되면, 이 변위는 헤드 마운티드 디스플레이 디바이스의 좌측 및 우측 디스플레이 소자에 디스플레이된 가상 이미지의 적절한 양안 시차를 유지하도록 보정될 수 있다. 검출 시스템의 일실시예는 시준된 LED 및 카메라(이 둘은 선형 변위에 둔감하다)를 포함하는 광학 조립체를 사용한다. 이러한 시스템은 헤드 마운티드 디스플레이 디바이스 상에서의 하나 또는 둘 모두의 디스플레이 소자의 진정한 각변위를 측정할 수 있다.

일례에서, 본 기술은 디스플레이 소자 상에 가상 이미지를 디스플레이하는 헤드 마운티드 디스플레이 디바이스 상의 기준 위치에 대한 디스플레이 소자의 각변위를 검출하는 시스템으로서, 정렬 검출 조립체 -이 정렬 검출 조립체는 디스플레이 소자와 기준 위치 중 하나에 부착된 이미터와, 디스플레이 소자와 기준 위치 중 이미터를 포함하지 않는 하나에 부착된 센서를 포함하되, 이 센서는 이미터로부터의 방사를 수신할 수 있고, 센서는 상기 디스플레이 소자의 각변위를 나타내는 이미터로부터의 방사를 기록할 수 있는 반면에 디스플레이 소자의 선형 변위를 나타내는 이미터로부터의 방사에 둔감함- 와, 정렬 검출 조립체와 통신하며 센서로부터 피드백을 수신하는 처리 유닛 -이 처리 유닛은 피드백으로부터의 디스플레이 소자의 각변위를 결정하고, 처리 유닛은 디스플레이 소자의 결정된 각변위를 보상하기 위해 디스플레이 소자에 대한 가상 이미지의 디스플레이를 조정함- 을 포함하는 시스템과 관련된다.

다른 예에서, 본 기술은 제1 디스플레이 소자 및 양안 시차(binocular disparity)를 갖는 제2 디스플레이 소자에 가상 이미지를 디스플레이하는 헤드 마운티드 디스플레이 디바이스 상의 기준 위치에 대한 상기 제1 디스플레이 소자의 각변위를 검출하는 시스템으로서, 정렬 검출 조립체 -이 정렬 검출 조립체는 광을 방사하는 그룹의 광원들으로서, 그룹의 광원들 내의 적어도 하나의 광원으로부터 방사된 광의 방향은 제1 디스플레이 소자의 각변위 시에 변하고, 적어도 하나의 광원으로부터 방사된 광의 방향은 제1 디스플레이 소자의 선형 변위 시에 변하는, 그룹의 광원들과, 그룹의 광원들 내의 둘 이상의 광원으로부터 광을 수신하는 카메라를 포함하고, 카메라는 둘 이상의 광원으로부터 광을 수신하는 시준 렌즈와, 시준 렌즈를 통해 광을 수신하는 이미지 평면을 포함하고, 이 카메라는 상기 제1 디스플레이 소자의 각변위를 기록하는 반면에 디스플레이 소자의 선형 변위에는 둔감함- 와, 정렬 검출 조립체와 통신하며 카메라로부터 피드백을 수신하는 처리 유닛 -이 처리 유닛은 피드백으로부터의 제1 디스플레이 소자의 각변위를 결정하고, 이 처리 유닛은 제1 디스플레이 소자의 각변위로 인한 양안 시차에서의 변화를 보정하기 위해 제1 디스플레이 소자에 대한 가상 이미지의 디스플레이를 조정함- 을 포함하는 시스템과 관련된다.

또 다른 예에서, 본 기술은 제1 디스플레이 소자 및 양안 시차를 갖는 제2 디스플레이 소자에 가상 이미지를 디스플레이하는 헤드 마운티드 디스플레이 디바이스 상의 기준 위치에 대한 상기 제1 디스플레이 소자의 각변위를 검출하는 방법으로서, (a) 제1 광원으로부터의 광을 제1 디스플레이 소자 상에 시준하는 단계와, (b) 제2 광원으로부터의 광을 제2 디스플레이 소자 상에 시준하는 단계와, (c) 제1 및 제2 광원으로부터의 시준된 광을 카메라 내로 향하게 하는 단계와, (d) 카메라가 상기 제1 및 제2 광원으로부터 수신된 광의 각변위에 민감하고 제1 및 제2 광원으로부터 수신된 광의 선형 변위에는 둔감하도록, 상기 카메라에 수신된 상기 광을 시준하는 단계와, (e) 제1 및 제2 광원으로부터 상기 카메라에 수신된 상기 광의 각변위에 기초하여 제1 디스플레이 소자의 각변위를 결정하는 단계를 포함하는 방법과 관련된다.

본 개요는 후속하여 발명의 상세한 설명 부분에서 설명되는 개념들 중 선택된 것들을 단순화된 형태로 소개하고자 제공되는 것이다. 본 개요는 청구항의 청구대상의 핵심적인 특징이나 필수적인 특징들을 밝히고자 함이 아니며, 청구항의 청구대상의 범위를 결정하는 데 도움이 되고자 함도 아니다.

도 1은 본 기술의 실시예에 따른 정렬 검출 조립체를 포함하는 헤드 마운티드 디스플레이 디바이스의 평면도이다.
도 2는 본 기술의 실시예에 따른 정렬 검출 조립체의 확대 평면도이다.
도 3은 본 기술의 실시예에 따른 정렬 검출 조립체의 카메라의 광검출기 이미지 평면의 정면도이다.
도 4는 본 기술의 실시예에 따른 정렬 검출 조립체의 일부분의 정면도이다.
도 5는 본 기술의 실시예에 따른 정렬 검출 조립체의 일부분의 투시도이다.
도 6은 본 기술의 실시예에 따른 정렬 검출 조립체의 확대 평면도이다.
도 7은 본 기술의 실시예에 따른 정렬 검출 조립체의 카메라의 광 검출기 이미지 평면의 정면도이다.
도 8은 본 기술의 다른 실시예에 따른 정렬 검출 조립체의 확대 평면도이다.
도 9는 본 기술의 실시예에 따른 정렬 검출 조립체의 카메라의 광검출기 이미지 평면의 정면도이다.
도 10은 각변위를 측정할 수 있는 정렬 검출 조립체의 병진 집약적 측면을 도시한 평면도이다.
도 11은 각변위를 측정할 수 있는 정렬 검출 조립체의 각변위 민감도를 도시한 평면도이다.
도 12 내지 16은 본 기술의 실시예에 따른 상이한 각변위를 검출하는 정렬 검출 조립체의 카메라의 광검출기 이미지 평면의 정면도이다.
도 17은 본 기술의 실시예에 따른 헤드 마운티드 디스플레이 디바이스의 동작의 고수준 흐름도이다.
도 18은 본 기술의 실시예에 따른 헤드 마운티드 디스플레이 디바이스 상에 디스플레이되는 가상 객체의 외양을 결정하는 단계(206)에 대한 세부사항이다.
도 19는 본 기술의 다른 실시예에 따른 정렬 검출 조립체를 포함하는 헤드 마운티드 디스플레이 디바이스의 평면도이다.
도 20은 도 19의 실시예에 따른 정렬 검출 조립체의 확대 평면도이다.
도 21은 본 기술의 다른 실시예에 따른 정렬 검출 조립체의 확대 평면도이다.
도 22는 본 기술의 또 다른 실시예에 따른 정렬 검출 조립체의 확대 평면도이다.
도 23 및 24는 카메라와 광원의 정렬 및 동공 거리에 대한 정보를 제공하기 위한 카메라의 이미지 평면에서 수신된 광 패턴이다.
도 25는 본 기술의 실시예에 따른 헤드 마운티드 디스플레이 디바이스와 함께 사용될 수 있는 처리 유닛의 블록도이다.

이하에서는, 도 1 내지 25를 참고하여 본 기술의 실시예를 설명하는데, 도 1 내지 25는 일반적으로 혼합 현실 또는 가상 현실 경험을 나타내기 위한 헤드 마운티드 디스플레이 디바이스에 사용되는 정렬 검출 조립체 및 방법과 관련된다. 정렬 검출 조립체는 디바이스의 기준 위치에 대한 헤드 마운티드 디스플레이 디바이스의 한 개 또는 두 개의 디스플레이 소자의 정렬을 검출할 수 있다. 실시예들에서, 정렬 검출 조립체로부터의 정보는 양안 시차(이미지들은 이 양안 시차를 가지고 헤드 마운티드 디스플레이 디바이스의 좌측 및 우측 디스플레이 소자에 디스플레이됨)를 조정하기 위해 폐루프 피드백 시스템의 일부로서 사용될 수 있다. 이런 방식으로, 디스플레이된 가상 객체의 3차원 깊이의 환영(illusion)이 유지될 수 있다.

본 명세서에서 사용되는 "최상부(top)" 및 "최하부(bottom)"와, "상위(upper)" 및 "하위(lower)"와, "수직" 및 "수평"이란 용어는 예시적인 것일 뿐이며, 언급된 항목이 위치 및 방향에 있어 서로 바뀔 수 있으므로 본 발명의 상세한 설명을 한정하고자 하는 것은 아니다. 또한, 본 명세서에서 사용되는 "실질적으로", "대략" 및/또는 "약"이란 용어는 특정 크기나 파라미터가 소정의 응용예에 대해 허용가능한 제작 공차(acceptable manufacturing tolerance) 내에서 변할 수 있음을 의미한다. 일실시예에서, 허용가능한 제작 공차는 ±0.25%이다.

도 1은 정렬 검출 조립체(102)를 포함하는 헤드 마운티드 디스플레이 디바이스의 평면도이다. 헤드 마운티드 디스플레이 디바이스(100)는 다양한 컴포넌트 및 특징부를 가질 수 있지만, 일반적으로 디바이스(100)를 착용하는 사용자에게 혼합 현실 환경을 프리젠트하는데 사용된다. 대안으로서, 헤드 마운티드 디스플레이 디바이스(100)는 순수한 가상 현실 환경, 즉 실세계 객체는 시야에서 차단되고 가상 객체만 디스플레이되는 환경을 제공하는데 사용될 수도 있다. 헤드 마운티드 디스플레이 디바이스(100)의 컴포넌트 및 특징부 중 일부는 아래에서 설명되지만, 정렬 검출 조립체(102)와 함께 사용될 수 있는 헤드 마운티드 디스플레이 디바이스(100)는, 2012년 5월 24일자로 공개된, 발명의 명칭이 "Head-Mounted Display Device Which Provides Surround Video"인 미국 특허출원 공개 번호 제2012/01272284호에 개시되어 있다.

실시예들에서, 헤드 마운티드 디스플레이 디바이스(100)는 사용자의 좌측 및 우측 눈과 제각기 연관되는 한 쌍의 디스플레이 소자(104, 106)를 포함할 수 있다. 디스플레이 소자(104, 106)는 어느 정도까지는 투명해서 사용자가 이들 디스플레이 소자를 통해 사용자의 시야(field of view; FOV) 내에 있는 실세계 객체를 볼 수 있다. 디스플레이 소자는 또한 사용자의 FOV에 가상 이미지를 투영할 수 있는 능력을 제공하며, 따라서 가상 이미지가 실세계 객체와 동시에 보일 수 있는 한편 이들과 혼합될 수도 있다. 가상 객체는, 가상 객체의 3차원 깊이의 환영을 만들도록 시차(parallax)의 원인이 되는 양안 시차(binocular disparity)를 가지고 디스플레이 소자(104, 106)에 투영될 수 있다. 실시예들에서, 헤드 마운티드 디스플레이 디바이스(100)는 사용자가 어디를 보고 있는지를 자동으로 추적할 수 있으며, 따라서 시스템은 사용자의 FOV 내의 어디에 가상 이미지를 삽입할지를 결정할 수 있다. 시스템이 가상 이미지를 제각기의 디스플레이 소자에 투영하는 방법 또는 장소를 알면, 디스플레이 소자를 사용하여 이미지가 투영된다.

헤드 마운티드 디스플레이 디바이스(100)는 통합 처리 유닛(108)을 포함할 수 있다. 디바이스(100)는, 다른 실시예에서는, 유선 또는 무선 접속을 통해 별개의 처리 유닛(108)과 통신할 수 있다. 실시예들에서, 처리 유닛(108)을 포함하는 헤드 마운티드 디스플레이 디바이스(100)는, 환경 내에 사용자의 x, y, z, 피치(pitch), 요(yaw) 및 롤(roll) 위치, 실세계 객체 및 가상의 3차원 객체의 모델을 포함하는 혼합 현실 환경을 구축할 수 있다. 처리 유닛(108)의 일례의 상세는 도 25와 관련하여 아래에 설명한다. 처리 유닛(108)은 다른 실시예에서 추가적인 또는 대안적인 컴포넌트를 포함할 수 있다.

헤드 마운티드 디스플레이 디바이스(100)는 디스플레이 소자(104, 106) 외에도 안경다리(110, 112), 코걸이(116) 및 프레임(118)을 더 포함할 수 있다. 정렬 검출 조립체(102)는 (후술하는 바와 같이) 디스플레이 소자(104, 106)에 부착된 부분을 가질 수 있으며, 디스플레이 소자(104, 106)는 프레임(118)에 장착될 수 있다. 실시예들에서, 프레임(118)은, 예컨대 폴리카보네이트나 기타 플라스틱과 같은 강성 재료로 형성될 수 있다. 프레임(118)에 대한 도시된 구성은 일례일 뿐이며, 디스플레이 소자(104, 106) 및 정렬 검출 조립체(102)를 지지하는 다양한 다른 구성을 가질 수도 있다.

상이한 사용자는 상이한 동공간 거리를 가지며, 한 크기의 헤드 마운티드 디스플레이 디바이스(100)가 모든 사용자에게 맞지는 않을 것이다. 따라서, 실시예들에서, 프레임(118)은 동공간 거리(inter-pupillary distance) 또는 "IPD"라고 하는 디스플레이 소자(104)와 디스플레이 소자(106) 사이의 거리를 조정할 수 있도록 하는 메커니즘(126)(도 1에 개략적으로 도시되어 있음)에 의해 형성될 수 있다.

후술하는 바와 같이, 정렬 검출 조립체(102)는 각변위를 감지하는 것에 더하여, 예컨대 IPD에서의 허용오차 또는 기계적 슬로프(mechanical slop)로부터 IPD를 측정한다. 디스플레이 소자(104, 106)가 서로에 대해 어디에 있는지에 대한 정보는 이미지가 디스플레이 소자(104, 106)에 어떻게 디스플레이되는지를 결정하는데 사용될 수 있다. 구체적으로, 헤드 마운티드 디스플레이 디바이스(100)는 3차원 공간에서 가상 객체의 소정의 Z 축 깊이를 따라 디스플레이 소자(104, 106) 내에서의(각도 공간 내에서의) 가상 객체의 변위를 계산할 것이다. 이 변위에 대한 계산은 디스플레이 소자(104, 106) 사이의 거리를 이용한다. 일실시예에서, 이 거리는 51mm 내지 74mm 범위일 수 있지만, 이 범위는 다른 실시예에서는 더 크거나 작을 수도 있다.

IPD를 조정할 수 있도록 하는 메커니즘(126)은 다양한 기계적 구성에 따라 동작할 수 있다. 한 예는, 2013년 2월 28일자로 공개된, 발명의 명칭이 "Adjustment of a Mixed Reality Display For Inter-Pupillary Distance Alignment"인 미국 특허공개번호 2013/0050833에 개시되어 있다.

IPD 조정 메커니즘의 일례에서, 프레임(118)은 단일의 강성 구조일 수 있으며, 디스플레이 소자(104, 106)는 프레임(118) 상에서 서로에 대해 병진운동하도록 부착될 수 있다. 많은 예들 중 하나로서, 프레임(118)은 나사골(threaded rod) 또는 레일을 포함할 수 있으며, 디스플레이 소자(104, 106)가 이 레일에 부착된다. 디스플레이 소자(104)와 맞물리는 레일의 나사산(thread)은 디스플레이 소자(106)와 맞물리는 나사산과 대향할 수 있으며, 따라서 레일의 회전은 레일이 회전하는 방향에 따라서 디스플레이 소자(104, 106)를 서로에 대해 가까워지거나 멀어지도록 나사산을 따라 이동시킨다. 디스플레이 소자(104, 106)는 다양한 다른 기계 시스템에 의해 프레임(118)에 병진운동가능하게 부착될 수 있는데, 이들 중 일부가 전술한 2013년 2월 28일자로 공개된, 발명의 명칭이 "Adjustment of a Mixed Reality Display For Inter-Pupillary Distance Alignment"인 미국 특허공개번호 2013/0050833에 개시되어 있다.

다른 기계적 구성에서, 프레임(118)은 2개의 부분, 즉 디스플레이 소자(104)에 고정되게 배치된 제1 부분과 디스플레이 소자(106)에 고정되게 배치된 제2 부분으로 형성될 수 있다. 이들 2개의 부분은 헤드 마운티드 디스플레이 디바이스(100)의 IPD를 조정하기 위해 서로에 대해 가까이 또는 멀리 이동할 수 있다. 프레임(118)의 이들 두 부분은, 예컨대 한 부분이 다른 부분에 끼워지는 끼워넣기식 부분들(telescoping sections)과 같은 다양한 기계적 시스템에 의해 IPD 거리를 조정하도록, 서로에 대해 조정가능할 수 있다. IPD의 조정을 가능하게 하는 다른 기계적 구성(126)도 생각해 볼 수 있다. 이들 메커니즘(126)은 사용자의 제어하에 수동으로 또는 자동으로 동작할 수 있다.

비디오 및 정지 이미지를 캡처할 수 있는 하나 또는 두 개의 디스플레이 소자(104, 106)의 앞에 장면 직시 카메라(scene facing camera)(120)가 제공될 수 있다. 이들 이미지는 처리 유닛(108)으로 전송되어, 장면 맵을 구축하고 장면 맵 내에서 헤드 마운티드 디스플레이 디바이스(100)를 배향하는 것을 돕는다.

각각의 디스플레이 소자(104, 106)는 가상 이미지를 디스플레이하기 위한 다양한 전용 컴포넌트를 포함할 수 있다. 실시예들에서, 각각의 디스플레이 소자(104, 106)는 이미지 소스를 포함할 수 있는데, 이 이미지 소스는, 일실시예에서 가상 이미지를 투영하기 위한 마이크로디스플레이(122) 및 마이크로디스플레이(122)로부터 광도파관 광학 소자(128)로 이미지를 보내는 렌즈(124)를 포함할 수 있다. 일실시예에서, 렌즈(124)는 시준 렌즈일 수 있다.

각각의 광도파관 광학 소자(128)는 디스플레이 소자(104, 106)의 시스루 렌즈(129) 상에 또는 그 내부에 제공될 수 있다. 각각의 광도파관 광학 소자(128)는 관련 마이크로디스플레이(122)로부터의 가상 이미지를 렌즈(129)를 통해 회절 격자 및 기타 광학 소자를 거쳐 사용자의 각 눈 쪽으로(디스플레이 소자(104, 106)로부터의 화살표로 표시된 바와 같이) 전달한다. 광도파관 광학 소자(128)는 또한 광이 헤드 마운티드 디스플레이 디바이스(100) 앞에서부터 광도파관 광학 소자(128) 및 렌즈(129)를 통과하여 사용자의 눈에 전달되게 한다. 시스루 렌즈(129)는 안경에 사용된 표준 렌즈일 수 있고 임의의 처방대로(또한 처방없이도) 만들어질 수 있다.

도 2는 헤드 마운티드 디스플레이 디바이스(100) 상의 기준 위치에 대한 디스플레이 소자(104, 106)의 정렬을 결정하기 위한 정렬 검출 조립체(102)의 확대 평면도이다. 실시예들에서, 기준 위치는 프레임(118) 또는 프레임(118)의 일부분일 수 있다. 이러한 예에서, 정렬 검출 조립체(102)는 프레임(118)에 대한 디스플레이 소자(104)의 정렬과 프레임(118)에 대한 디스플레이 소자(106)의 정렬을 독립적으로 결정할 수 있다. 다른 실시예에서는, 기준 위치가 디스플레이 소자(104, 106) 중 하나이다. 이러한 예에서, 정렬 검출 조립체(102)는 디스플레이 소자(106)에 대한 디스플레이 소자(104)의 정렬을 결정할 수 있고 그 반대로 할 수도 있다.

도 2에 도시된 바와 같이, 정렬 검출 조립체(102)는 제1 그룹의 광원들(130) 및 제2 그룹의 광원들(140) 내에 다수의 방사체를 포함할 수 있다. 제1 그룹의 광원들(130)(본원에서는 제1 그룹(130)이라고도 함)은 디스플레이 소자(104)에 부착될 수 있고, 제2 그룹의 광원들(140)(본원에서는 제2 그룹(140)이라고도 함)은 디스플레이 소자(106)에 부착될 수 있으며, 또는 그 반대로 구성될 수도 있다. 제1 및 제2 그룹(130, 140) 내의 광원은 헤드 마운티드 디스플레이 디바이스(100)를 이등분하는 도 2의 도면의 페이지 내외로 연장되는 기준면(R)에 대해 미러 이미지 위치에 위치할 수 있다. 도 2에 도시된 예에서, 제1 그룹의 광원들(130)은 본원에서 직교(orthogonal) 광원(132)이라고도 하는 제1 광원과, 본원에서 각을 이루는(angled) 광원(134, 136, 138)이라고도 하는 제2, 제3 및 제4 광원을 포함할 수 있다. 이와 유사하게, 제2 그룹의 광원들(140)은 직교 광원(142) 및 각을 이루는 광원(144, 146, 148)을 포함할 수 있다. 후술하는 바와 같이, 제1 그룹(130) 및 제2 그룹(140) 내의 광원의 수는 다른 실시예에서는 변할 수도 있다.

예컨대 도 4에 도시되어 있는 바와 같이, 제1 및 제2 그룹 내의 각을 이루는 광원은 서로 동일 평면에(예컨대 수평으로 동일 평면에) 일렬로 위치할 수 있다. 제1 및 제2 그룹(130, 140) 내의 직교 광원은 각을 이루는 광원의 열에서 벗어나(예컨대 수직으로 벗어나) 있을 수도 있다. 도시된 예에서, 직교 광원은 각을 이루는 광원 위로 벗어나지만, 다른 실시예에서는 직교 광원이 각을 이루는 광원 아래로 벗어날 수도 있다.

일례로, 제1 및 제2 그룹(130, 140) 내의 각각의 광원은 무한대에 포커싱되도록 렌즈(도시되어 있지 않음)를 통해 시준되는 LED 방사 광일 수 있다. 이 예에서, 제1 및 제2 그룹(130, 140) 내의 LED는 850nm의 파장의 적외선 광을 방사할 수 있지만, 다른 유형의 LED가 사용될 수도 있다. 제1 및/또는 제2 그룹으로부터의 광원은 다른 실시예에서는 레이저 광일 수도 있다. 광원으로 레이저가 사용되는 경우, 각 그룹(130, 140) 내의 단일 레이저가 회절 렌즈를 사용하여 각 그룹(130, 140) 내의 다양한 광원으로 나누어질 수 있다. 회절 렌즈는 홀로그래픽, 서피스 릴리프(surface relief) 또는 키노폼(kinoform)을 포함하는 다양한 유형일 수 있다.

제1 및 제2 그룹(130, 140) 내의 광원 중 하나 이상으로부터의 시준된 광의 방사는 이미지 센서(본원에서는 카메라(160)라고도 함) 내에 수신될 수 있다. 카메라(160)는 CMOS 이미지 센서와 같은 광 검출기 어레이를 포함하는 알려진 디바이스일 수 있다. 일례로, 카메라(160)는 캘리포니아주 산타 클라라에 위치한 옴니비전 테크놀로지(OmniVision Technologies, Inc)의 OmniPixel3-GS 센서일 수 있다. 이러한 카메라는 3 마이크론(㎛) 픽셀 및 1248㎛×1248㎛의 이미지 영역을 갖는 400×400 해상도를 가질 수 있다. 이들 사양은 일례일 뿐이며, 카메라(160)는 다른 실시예에서 다른 파라미터를 갖는 다른 유형의 이미지 센서일 수도 있다.

카메라(160)는 시준 렌즈(162)와 시준 렌즈(162)의 초점 거리에 위치해 있는 광검출기의 이미지 평면(164)을 포함할 수 있다. 아래에 보다 자세히 설명하는 바와 같이, 시준 렌즈(162)는 시준 렌즈의 광학 축에 대략적으로 평행한 입사 광선을 아래쪽 이미지 평면(164) 상의 한 지점 또는 영역으로 포커싱한다.

제1 및 제2 그룹(130, 140) 내의 광원으로부터의 광은 반사 소자(150)를 통해 다시 카메라(160)로 보내진다. 반사 소자(150)가 없으면, 카메라(160)는 그룹(130, 140)의 직교 광원 및 각을 이루는 광원으로부터 직접 광을 검출할 필요가 있을 것이다. 이것은 본 기술에서 가능한 것이지만, 직교 광원과 각을 이루는 광원들 모두로부터 광을 검출하기 위해 넓은 FOV를 갖는 비교적 고해상도의 광 검출기 이미지 평면(164)을 사용할 수도 있다. 반사 소자(150)의 사용에 의해, 직교 광원 및 각을 이루는 광원으로부터의 광이 아래쪽 카메라(160)의 중심으로 진행될 수 있다. 이것은 보다 큰 각도 분해능을 제공하며, 사용될 수 있는 카메라(160)의 유형에 대한 제한을 감소시킨다.

실시예들에서, 반사 소자(150)는 기준면(R)에 대해 대칭인 제1 및 제2 절반부를 갖는 프리즘일 수 있다. 프리즘은 프레임(118)에 부착될 수 있다. 이 대칭성으로 인해, 하나의 프리즘이 두 그룹의 광원들(130, 140)으로부터의 광을 카메라(160)로 보내는데 사용될 수 있다. 그러나, 다른 실시예에서는, 두 개의 별개의 프리즘이 사용될 수도 있는데, 즉, 하나는 제1 그룹(130)의 광원으로부터의 광을 재전송하고 다른 하나는 제2 그룹(140)의 광원으로부터의 광을 재전송할 수 있다.

도 2, 4 및 5에 도시된 바와 같이, 반사 소자(150)는 다면(multifaceted)이어서 기준면(R)에 대해 45°의 각도를 이루는 측면(152a, 152b)을 갖는 상부(152)를 가질 수 있다. 반사 소자(150)는 또한 기준면(R)에 대해 60°의 각도를 이루는 측면(154a, 154b)을 갖는 하부(154)를 포함할 수 있다. 후술하는 바와 같이, 이들 각도는 다른 실시예에서는 변할 수도 있다.

반사 소자(150)의 상부 및 하부(152, 154)의 측면의 각도는 제1 및 제2 그룹(130, 140) 내의 광원의 적어도 일부로부터의 광을 카메라(160)로 보내도록 선택된다. 전술한 바와 같이, 직교 광원(132, 142)은 각을 이루는 광원들(134, 136, 138, 144, 146, 148)의 열에서 벗어난다. 직교 광원(132, 142) 및 상부(152)의 측면(152a, 152b)은 동일 평면 상에 있고 직교 광원으로부터 방사된 시준 광이 측면(152a, 152b)에 부딪혀 시준 렌즈(162)의 광학 축에 평행한 카메라(160)로 보내지도록 배치된다(디스플레이 소자(104, 106)가 후술하는 바와 같이 적절히 정렬되는 것으로 가정할 경우).

실시예들에서, 시준 광은 직교 광원(132, 142)으로부터 기준면(R)에 직교하는(또한 카메라(160)의 시준 렌즈(162)의 광학 축에 직교하는) 각도로 방사될 수 있다. 후술하는 바와 같이, 이것은 디스플레이 소자(104, 106)가 IPD 조정을 위해 서로에 대해 다가가거나 멀어지도록 이동하는 방향과 평행할 수 있다. 이 평행 관계가 주어지면, 직교 광원(132, 142)으로부터의 광이 측면(152a, 152b)에 부딪히는 위치가 IPD의 변화에 따라 변하지 않는다. 따라서, 제1 및 제2 그룹의 광원들(130, 140) 각각이 단일 직교 광원을 포함할 수 있다.

또한, 기준면(R)을 중심으로 정렬 검출 조립체(102)가 대칭이고 두 그룹의 광원들으로부터의 광이 단일 카메라(160)에 포커싱된다고 가정하면, 45°의 측면(152a, 152b)에 의해 직교 광원(132, 142)으로부터의 광을 광학 축에 평행하게 시준 렌즈(162)로 정확히 보낼 수 있다.

그러나, 측면(152a, 152b)은 45° 이외의 다른 각도를 이룰 수도 있는데, 이 경우 직교 광원(132, 142)으로부터의 시준 광이 시준 렌즈(162)를 통해 이미지 평면(164) 상의 단일 지점에 수렴하지 않을 수 있다. 이미지 평면(164) 상의 이들 지점들이 (후술하는 바와 같이)처음에 교정되고 알려지면, 정렬 검출 조립체(102)는 (후술하는 바와 같이)여전히 각변위를 감지할 수 있다.

도 2, 4 및 5에 도시된 바와 같이, 하부(154)의 측면(154a, 154b)은 제1 그룹(130) 내의 각을 이루는 광원(134, 136, 138) 및 제2 그룹(140) 내의 광원(14, 146 148)으로부터 방사된 광의 평면 내에 위치한다. 각을 이루는 광원 및 하부(154)의 측면(154a, 154b)은, 각을 이루는 광원에서 방사된 시준 광이 측면(154a, 154b)에 부딪히고 시준 렌즈(162)의 광학 축에 평행한 카메라(160)로 보내진다(디스플레이 소자(104, 106)가 후술하는 바와 같이 적절히 정렬될 경우).

실시예들에서, 예컨대 직교 광원 및 각을 이루는 광원의 수직 오프셋(offset)이 주어지면, 직교 광원(132, 142)으로부터의 시준 광은 제1 수평면에서 카메라(160)로 진행할 수 있고, 각을 이루는 광원(134, 136, 138, 144, 146, 148)의 적어도 일부로부터의 시준 광은 제2 수평면에서 카메라로 진행할 수 있다. 실시예들에서, 이들 제1 및 제2 수평면은 평행할 수 있다. 이들 제1 및 제2 면 각각으로부터의 광은, 시준 렌즈(162)에 부딪히면, 이미지 평면(164) 상의 단일 중심 점 또는 영역에 수렴할 수 있다(디스플레이 소자(104, 106)가 후술하는 바와 같이 적절히 정렬될 경우). 이 수렴 지점 또는 영역이 도 3에 도시되어 있다.

도 2 및 3은 광원(132, 134, 142, 144)으로부터의 광이 카메라(160)에 수신되어 아래쪽 이미지 평면(164)의 중심 점 또는 영역에 포커싱되는 경우의 일례를 도시한 것이다. 이미지 평면(164)은, 예컨대 4분면으로 분할될 수 있고, 이들 각 4분면이 상이한 광원으로부터의 광을 수신하는 것으로 생각해 볼 수 있다. 그러나, 각각의 광원을 한 지점 또는 영역에 포커싱(그리고 후술하는 바와 같이 상이한 광원들을 구별)함으로써, 이미지 평면(164)의 각도 분해능은 4분할된 이미지 평면에 비해 4배 증가될 수 있다.

이미지 평면(164)에 입사하는 다양한 광원으로부터의 광을 구별하기 위한 여러 방법이 존재한다. 일례로, 시준 광을 구별가능한 형상으로 성형하는 패턴형 새도우 마스크가 광원 앞에 위치할 수 있다. 이에 갈음하여 또는 이에 더하여, 다양한 광원으로부터의 광은 각 광원마다 상이한 사전에 정해진 시간 순서로 펄스 온 및 오프(pulse on and off)될 수 있다. 이에 갈음하여 또는 이에 더하여, 다양한 광원으로부터의 광은 각 광원마다 상이한 주파수고 방사될 수도 있다. 이들 방법들 각각에서 방사된 광의 차이는 이미지 평면(164)에 의해 검출가능하며, 따라서 도 3에 도시된 바와 같이 한 개보다 많은 광원의 광이 공통 지점에 수렴하는 경우에도 (이미지 평면(164)과 통신하는) 처리 유닛(108)은 입사되는 광의 광원을 결정할 수 있다.

도시된 예에서, 직교 광원(132, 142)으로부터의 광은 원형일 수 있고, 각을 이루는 광원(134, 144)으로부터의 광은 별 형상일 수 있다. 제1 그룹으로부터의 광을 제2 그룹으로부터의 광과 구별하기 위해, 제1 그룹(130)으로부터의 광은 제1 주기로 시간순 정렬될 수 있고, 제2 그룹(140)으로부터의 광은 제2 주기로 시간순 정렬될 수 있다. 도 2 및 3의 광원(132, 134, 142, 144)으로부터의 광원은 전술한 방법들 중 어느 하나에 의해 서로 구별가능할 수 있다.

전술한 바와 같이, 직교 광원(132, 142)은 디스플레이 소자(104, 106)가 IPD 조정을 위해 서로에 대해 가까워지거나 멀어지는 방향과 평행한 시준 광을 방사할 수 있다. 따라서, 직교 광원(132, 142)을 반사 소자(150)에 대해 가깝게 또는 멀리 이동하는 것은 광이 측면(152a, 152b)에 부딪히는 지점을 변경하지 않을 수 있다. 따라서, 직교 광원(132, 142)의 각변위가 없다고 가정하면, 직교 광원(132, 142)으로부터의 시준 광은 IPD가 조정되는 것과 거의 동일한 이미지 평면 상의 지점에 포커싱될 것이다.

역으로, 각을 이루는 광원(134, 136, 138, 144, 146, 148)으로부터의 시준 광은 IPD 조정 방향과 평행하지 않기 때문에, 이들 소스로부터의 광은 IPD 조정 시에 측면(154a, 154b)에 대해 선형으로 병진운동할 것이다. 역으로, 카메라(160)가 각을 이루는 광원(134, 136, 138, 144 146, 148) 중 단지 일부로부터의 광만 수신하는 상황이 발생할 수 있다. 처리 유닛(108)과 함께 정렬 검출 조립체(102)는 어느 각을 이루는 광원이 카메라(160) 내에 수신되는 광을 제공하는지에 대한 정보를 사용하여 IPD를 판별할 수 있다. 이 정보는, 후술하는 바와 같이, 디스플레이 소자(104, 106)에 대한 디스플레이의 입체시 각도를 조정하는데 사용될 수 있다.

도 2에서는, IPD는 상대적으로 가깝게 조정될 수 있고, 각을 이루는 광원(134, 144)으로부터의 광만이 카메라(160) 내에 수신된다. 도 5에서는, IPD가 도 2에서보다 더 크게 도정되었을 수 있으며, 따라서 각을 이루는 광원(134, 144)으로부터의 광이 더 이상 카메라(160)에 수신되지 않는다. 대신에, 광원(136, 146)으로부터의 광이 카메라(160)에 수신된다(도 4 및 5는 제1 그룹(130)으로부터의 광원을 보여주며, 명확성을 위해 제2 그룹(140)으로부터의 광원은 생략되었지만, 동일한 방식으로 존재하고 반사될 수 있다).

도 6에서, IPD는 도 5에서 보다 더 크게 조정되었을 수 있다. 이 예에서, 각을 이루는 광원(136, 138, 146, 148)으로부터의 광이 카메라(160) 내에 수신된다. 패턴으로 방사된 시준 광을 생성하기 위해 패턴형 새도우 마스크가 광원 앞에 배치되는 예에서, 제1 및 제2 그룹(130, 140) 각각의 직교 광원 및 두 개씩의 각을 이루는 광원으로부터의 광을 카메라(160)에서 수신한 결과 도 7에 도시된 바와 같이 이미지 평면(164)에 패턴이 생성된다. 도 7은, 제1 및 제2 그룹(130, 140) 각각의 직교 광원 및 두 개씩의 각을 이루는 광원을 표현하는, 원형, 정방형 및 삼각형의 광을 수신하는 이미지 평면을 보여준다. 전술한 바와 같이, 제1 그룹(130)으로부터의 광원은, 예컨대 시간 순서(time sequencing) 또는 광 파장에 의해, 제2 그룹(140)과 구별될 수 있다.

어떠한 각을 이루는 광원이 카메라(160) 내에 수신되는 광을 제공하고 있는지에 대한 정보를 이용하여, 처리 유닛(108)은 IPD를 판별할 수 있고 디스플레이 소자(104, 106)가 얼마나 멀리 떨어져 있는지를 알 수 있다. 도 2 및 5는 카메라(160)가 제1 및 제2 그룹(130, 140) 각각의 하나씩의 각을 이루는 광원으로부터의 광을 수신하는 예를 나타낸다. 도 6은 카메라(160)가 제1 및 제2 그룹(130, 140) 각각의 두 개씩의 각을 이루는 광원으로부터의 광을 수신하는 예를 나타낸다. 때로는 IPD 조정 동안에, 제1 및 제2 그룹(130, 140) 각각의 세 개씩의 각을 이루는 광원으로부터의 광이 카메라(160)에 수신될 수도 있다.

또한, 전술한 바와 같이, 다른 실시예에서는 및 제2 그룹(130, 140) 각각 내의 세 개보다 많은 각을 이루는 광원이 있을 수도 있다. 예를 들어, 도 8 및 9는 제4의 각을 이루는 광원(139)이 제1 그룹(130)에 추가되고 제4의 각을 이루는 광원(149)이 제2 그룹(40)에 추가되는 예를 도시하고 있다. 도시된 예에서, IPD 조정 동안의 한 시점에서, 직교 광원(132, 142) 및 각을 이루는 광원(136, 138, 139 및 146, 148, 149)으로부터의 광이 카메라(160) 내에 수신될 수 있다. 처리 유닛(108)은 IPD 및 디스플레이 소자(104, 106)가 얼마나 멀리 떨어져 있는지에 대한 보다 세부적인 결정을 위해 이 정보를 사용할 수 있다. 다른 실시예에서는 보다 많은 각을 이루는 광원이 고려된다. 카메라(160)에 수신된 광의 패턴에 대해 IPD를 결정하는 추가적인 방법이 이하에 설명된다.

제1 및 제2 그룹(130, 140) 내에 개별 광원을 구비하는 대신에, 단일 광원을 구비하여, 이 광원의 광이 서로 구별될 수 있는 시준 광의 여러 개의 빔으로 나누어져질 수도 있다. 예를 들어, 단일 광원이 회절 격자에 의해 시준 광의 여러 빔으로 쪼개질 수 있으며, 이들 제각기의 빔이 전술한 방법 중 어느 한 방법에 의해 구별될 수 있다. 이런 식으로 나누어진 단일 광원이 각을 이루는 광원의 일부 또는 전부를 대신하여 사용될 수 있다. 이 동일한 광원은, 전술한 바와 같이 빔을 디스플레이 소자(104, 106)가 이동하는 방향과 평행하게 보내도록 제공된 미러와 함께, 직교 광원 대신에 사용될 수도 있다.

제1 그룹의 광원들(130) 내의 광원은 디스플레이 소자(104)에 직접 부착될 수 있으며, 제2 그룹의 광원들(140) 내의 광원은 디스플레이 소자(106)에 직접 부착될 수 있다. 따라서, 디스플레이 소자(104)의 각변위(피치, 요 및/또는 롤)는 제1 그룹(130) 내의 광원의 대응하는 각변위를 일으킬 것이다. 이는 디스플레이 소자(106) 및 제2 그룹(140) 내의 광원에 대해서도 마찬가지다. 아래에 보다 자세히 설명하는 바와 같이, 제1 및/또는 제2 그룹(130, 140) 내의 광원의 각변위는 이미지 평면(164) 상에서 광원으로부터의 광을 시프팅함으로써 카메라(160)에 기록되며, 이것은 측정될 수 있으며 디스플레이 소자(104 및/또는 106)의 각변위를 만들어내는 특징이 있다.

전술한 바와 같이, IPD는 조정될 수 있는데, 이 변화는 정렬 검출 조립체(102)에 의해 검출될 수 있다. 그러나, IPD 조정 메커니즘의 컴포넌트들의 허용오차 및 기계적 슬로프(mechanical slop)로 인한 선형 변위의 기생 성분이 있을 수 있다. 기생 선형 변위(parasitic linear displacement)는 다른 이유 때문에 발생할 수도 있다. 이 선형 변위는 디스플레이 소자(104, 106)의 각변위의 측정을 어렵게 하지 않는다.

따라서, (전술한 바와 같이 각을 이루는 광원들 중 어느 것이 카메라(160) 내에 기록되는지를 감지하는 것에 대한 것을 제외하면) 정렬 검출 조립체(102)가 프레임(118)에 대한 디스플레이 소자(104, 106)의 선형 변위에 민감하지 않다는 것이 본 기술의 특징이다. 종래의 시스템과 대조적으로, 이것은 정렬 검출 조립체(102)가 시스템이 각변위를 측정하는지 아니면 선형 변위를 측정하는지에 대해 확실하게 각변위를 측정할 수 있도록 한다.

예를 들어, 도 10의 렌즈(162)에 대한 평면도를 참고하면, 시준 광이 카메라(160)의 시준 렌즈(162)(적어도 그 일부분이 도 10에 도시되어 있다)의 광학 축(OA)에 평형하게 수신될 때, 시준 광선은 이미지 평면(164) 상의 광학 축에 수렴한다. 전술한 바와 같이, 제1 그룹(130)의 광원(132, 134, 136, 138)은 디스플레이 소자(104)에 부착되어 함께 이동한다. 마찬가지로, 제2 그룹(140)의 광원(142, 144, 146, 148)이 디스플레이 소자(106)에 부착되어 함께 이동한다.

디스플레이 소자(104, 106)가 X 방향(IPD 조정 방향으로 도 10의 평면도에서는 상하 방향)으로 병진운동하면, 광원들 중 하나 이상으로부터의 시준 광이 시준 렌즈(162) 상에서 도 10의 평면도의 상하로 이동할 것이다. 그러나, 이 광은 여전히 이미지 평면(164)의 광학 축에 수렴할 것이다.

디스플레이 소자(104, 106)의 Y 방향(일반적으로 헤드 마운티드 디스플레이 디바이스(100)의 정면에 대해 아래위 방향 및 도 10의 평면도의 페이지 내외 방향)의 병진 운동은 광원들 중 하나 이상으로부터의 시준 광을 시준 렌즈(162) 상에서 도 10의 평면도의 페이지 내외로 이동시킬 것이다. 그러나, 이 광은 여전히 이미지 평면(164)에서 광학 축에 수렴할 것이다.

디스플레이 소자(104, 106)의 Z 방향(일반적으로 헤드 마운티드 디스플레이 디바이스(100)의 정면에 대해 가까워지거나 멀어지는 방향 및 도 10의 평면도의 좌우 방향)의 병진 운동은 광원들 중 하나 이상으로부터의 시준 광이 시준 렌즈의 어디에 도달하는지에 대해 아무런 영향을 주기 않을 것이다. 이 광은 이미지 평면(164)에서 광학 축에 계속 수렴할 것이다.

반면에, 헤드 마운티드 디스플레이 디바이스(100) 상의 기준 위치에 대한 디스플레이 소자(104, 106)의 각변위의 변화는 광원들 중 하나 이상으로부터의 광이 이미지 평면(164)의 어디에 그리고 어떻게 부딪치는지에 있어서 검출가능한 변화를 일으킬 수 있다. 이 각변위는, 예컨대 IPD 조정 메커니즘(126)에서의 기계적 슬로프, 헤드 마운티드 디스플레이 디바이스(100)에 대한 충격(shock) 및/또는 사용자의 머리에서의 헤드 마운티드 디스플레이 디바이스(100)의 변형을 포함하는 다양한 원인 때문일 수 있다.

도 11에 도시된 렌즈(162)의 평면도를 참고하면, 그러한 일례로서, 디스플레이 소자들(104, 106) 중 하나는 요(yaw) 회전(즉, 페이지 내외로의 Y 축에 대한 회전)이 이루어졌다. 아래 설명에서, 디스플레이 소자(104)는 각변위되었고 디스플레이 소자(106)는 헤드 마운티드 디스플레이 디바이스(100)에서 정렬되어 평행하게 유지된다고 가정할 것이다. 따라서, (디스플레이 소자(104)에 부착된) 제1 그룹(130)의 광원으로부터의 시준 광이 후술하는 바와 같이 카메라(160)의 이미지 평면(164) 상에서 이동(shift)한다. 이러한 예에서, (디스플레이 소자(106)에 부착된) 제2 그룹(140)의 광원으로부터의 시준 광은 이미지 평면(164) 시준 렌즈(162)의 광학 축에 포커싱된 채로 유지될 수 있다.

디스플레이 소자(106)가 디스플레이 소자(104) 대신에 각변위할 수도 있는데, 이 경우, 제2 그룹(140) 내의 광원으로부터의 광이 이미지 평면(164) 상에서 이동할 수 있는 반면에, 제1 그룹(130) 내의 광원으로부터의 광은 광축에 포커싱된 채로 유지된다. 두 디스플레이 소자(104, 106)가 모두 서로 독립적으로 각변위할 수도 있다. 이 경우에는 이미지 평면(164) 상에서 제1 그룹(130)으로부터의 광의 이동 및 제2 그룹(140)으로부터의 광의 이동이 발생할 것이며, 여기서 이들 이미지 평면(164) 상에서의 제1 및 제2 그룹(130, 140)으로부터의 광의 이동은 서로 독립적이다. 두 디스플레이 소자(104, 106)의 각변위를 제공하기 위해 제각기의 이동이 검출되고 분석될 수 있으며, 독립적으로 설명될 수 있다.

다시 도 11을 참조하면, 디스플레이 소자(104)는 요(yaw) 회전으로 각변위하였고, 그 결과 제1 그룹(130)의 광원으로부터의 시준 광이 반사 소자(150)에서 틀어져서 반사되고(reflecting off) 시준 렌즈(162)의 광학 축(OA)에 대해 각변위 각도(θ)로 카메라(160) 내의 시준 렌즈에 부딪힌다. 이 결과, 광은 광학 축(OA)에서 거리(d)만큼 떨어진 이미지 평면 상에 포커싱된다. 이상적인 렌즈의 경우, 각변위 각도(θ)의 크기는 다음 수식으로 주어진다.

tan θ = d/FL (1)

여기서, FL은 시준 렌즈의 초점 거리이다. 각변위 각도(θ)의 크기를 알면, 이 정보는, 처리 유닛(108)이 후술하는 바와 같이 디스플레이 소자(104)에 디스플레이된 이미지를 조정함으로써 각변위를 정정하도록 하기 위해, 정렬 검출 조립체(102)로부터 처리 유닛(108)으로 전달될 수 있다.

크기 외에, 각변위의 각도 방향(피치, 요 및/또는 롤)이 또한 검출되고 디스플레이된 이미지를 조정하는데 사용될 수 있다. 예컨대, 도 12를 참고하면, 디스플레이 소자(104)의 요(yaw) 회전은 카메라(160)에 수신된 제1 그룹(130) 내의 광원으로부터의 광을 이미지 평면(164) 상에서 수평으로 좌우로 이동시킬 것이다. 도 12의 예에서, 2개의 광원, 예컨대, 광원(132, 136)으로부터의 광이 이미지 평면(164) 상의 광학 축으로부터 수평으로 떨어져서 이동된 점선으로 보인다. 전술한 바와 같이, 이 예에서, 디스플레이 소자(106)는 정렬된 채로 평행하게 유지되며, 제2 그룹(140) 내의 광원으로부터의 광은 광학 중심에 포커싱된 채로 유지된다.

이제 도 13을 참고하면, 디스플레이 소자(104)의 롤 회전은 카메라(160)에 수신된 제1 그룹(130) 내의 광원으로부터의 광을 이미지 평면(164) 상에서 수직으로 위아래로 이동시킬 것이다. 도 13의 예에서, 두 개의 광원, 예컨대 광원(132, 136)으로부터의 광은 이미지 평면(164) 상의 광학 축으로부터 수직으로 떨어지도록 이동된 점선으로 도시되어 있다. 전술한 바와 같이, 이 예에서, 디스플레이 소자(106)는 정렬된 채로 평행하게 유지되며, 제2 그룹(140) 내의 광원으로부터의 광은 광학 중심에 포커싱된 채로 유지된다.

이제 도 14를 참고하면, 디스플레이 소자(104)의 피치 회전은 제1 그룹(130) 내의 광원으로부터의 광을 (회전 축이 직교 광원으로부터의 광과 동심인 제한된 상황(이 상항은 후술한다)을 제외하고는) 광학 축으로부터 떨어진 아치형 경로를 따라 이동시킨다. 실시예들에서, 이 아치형 경로(도 14에서 화살표로 표시되어 있음)는, 이 이동 및 피치 회전을 인식하기 위해 오랜 시간에 걸쳐, 정렬 검출 조립체(102)에 의해 추적될 수 있다.

피치, 요 및 롤 회전의 일부 조합은 도 12 내지 14의 이미지 평면(164)에 변위의 일부 조합으로 나타날 것이다. 카메라(160) 내에 수신된 광원으로부터의 시준 광이 이미지 평면(164) 상에서 어디로 이동했는지에 따라서, 정렬 검출 조립체(102)는 처리 유닛(108)과 함께 광원의 피치, 요, 롤 또는 이들의 조합 및 이동된 광 패턴을 생성한 디스플레이 소자를 결정할 수 있다.

도 10 내지 12에 표시되어 있는 바와 같이, 많은 예에서 각 회전(angular rotation)이 둘 이상의 광원으로부터 수신된 광을 동일 또는 유사한 양만큼 이동시킬 것이다. 따라서, 디스플레이 소자(104, 106)의 피치, 요, 롤 및 각변위의 크기를 결정하기 위해 흔히 단일 광원이 단독으로 사용될 수도 있다. 후술하는 바와 같이, 실시예들은 제1 그룹(130) 및 제2 그룹(140) 내의 단일 광원을 사용하여 동작할 수도 있다.

그러나, 각변위를 판별하기 위해 하나보다 많은 광원이 사용될 수 있는 디스플레이 소자(104, 106)의 각변위의 몇몇 시나리오가 존재한다. 예를 들어, 디스플레이 소자, 예컨대 직교 광원(132)으로부터 방사되어 반사 소자(150)로 이동하는 시준 광과 동심인 축을 갖는 소자(104)의 피치 회전이 있을 수도 있다. 이 예에서, 회전이 직교 광원(132)으로부터의 시준 광의 축에 대한 것이므로, 이 회전은 이미지 평면에서 판별가능하지 않을 것이다. 이 상황은 예컨대 도 15에서 설명되는데, 여기서 직교 광원(132)으로부터의 원형 패턴의 광이 이미지 평면(164) 상의 대략 시준 렌즈(162)의 광학 축에 나타난다.

그러나, 광원(132)으로부터의 시준 광에 대한 피치 회전의 드문 예는 적어도 하나의 각을 이루는 광원으로부터의 광이 카메라(160)에 수신됨을 보장함으로써 판별될 수 있다. 디스플레이 소자들 중 하나, 예컨대 디스플레이 소자(104)가 직교 광원으로부터의 시준 광에 대한 회전 축을 갖는 피치 회전에 의해 각변위된 경우, 적어도 하나의 각을 이루는 광원으로부터의 광이 이미지 평면 상에 도 15에 도시된 바와 같이, 아치형 경로를 따라 이동된 것으로 나타날 것이다.

따라서, 직교 광원(132) 및 적어도 하나의 다른 각을 이루는 광원(134, 136, 138)으로부터의 광이 카메라(160) 내에 수신되도록 광원의 위치를 구성함으로써, 정렬 검출 조립체(102)는 각변위의 다양한 조합을 판별할 수 있다.

마찬가지로, 각을 이루는 광원(134, 136, 138)으로부터의 시준 광이 이미지 평면 상의 어디에 나타나는지에 따라서, 정렬 검출 조립체(102)는 이 정보를 이용하여 디스플레이 소자(104)의 각변위의 대부분의 조합을 도출할 수 있다. 그러나, 각을 이루는 광원으로부터 방사된 시준 광에 대해 동심 축을 가질 수 있는 피치 및 요 회전의 조합이 존재할 것이다. 이 경우에는, 회전이 각을 이루는 광원으로부터의 시준 광의 축에 대한 것이므로, 예컨대 도 16의 점선 별로 표시된 바와 같이 이미지 평면 상에서 판별가능하지 않을 것이다.

그러나, 각을 이루는 광원들 중 하나로부터의 시준 광에 대한 각변위의 이 드문 예는 적어도 직교 광원 또는 하나의 다른 각을 이루는 광원으로부터의 광이 카메라(160)에 수신됨을 보장함으로써 판별할 수 있다. 디스플레이 소자들 중 하나, 예컨대 디스플레이 소자(104)가 각을 이루는 광원으로부터의 시준 광에 대한 회전 축을 갖는 피치 및 요 회전에 의해 각변위된 경우, 적어도 하나의 다른 광원으로부터의 광은, 도 16의 점선 원으로 보여지는 바와 같이, 이미지 평면 상에서 수평으로 그리고 아치형 경로를 따라 이동한 것으로 나타날 것이다.

또한, 디스플레이 소자(104)의 각변위 및 제1 그룹(130) 내의 관련 광원의 예들은 앞에서 설명하였다. 위 설명은 디스플레이 요소(106)의 각변위 및 제2 그룹 내의 관련 광원에 동일한 방식으로 적용될 것이다. 정렬 검출 조립체(102)는 디스플레이 소자들 중 하나의 각변위를 측정할 수도 있고 또는 디스플레이 소자들 모두의 각변위를 서로 독립적으로 측정할 수도 있다.

따라서, 각을 이루는 광원들 중 하나의 광원 및 적어도 하나의 다른 광원(직교 또는 각을 이루는 광원)으로부터의 광이 조합되도록 광원들의 위치를 구성함으로써, 정렬 검출 조립체(102)는 다양한 각변위의 조합을 판별할 수 있다. 후술하는 바와 같이, 정렬 검출 조립체(102)는, 적어도 2개의 각을 이루는 광원으로부터의 광이 카메라(160)에 수신되도록, 각을 이루는 광원을 사용하여(그리고 직교 광원은 사용하지 않고) 구성될 수 있다. 이것은 다양한 가능한 회전의 조합을 판별하기에 충분하다. 아래에서 보다 자세히 설명하는 바와 같이, 시스템은 각 그룹(130, 140) 내의 단일 직교 광원 또는 단일의 각을 이루는 광원을 사용하여 구성될 수 있다. 이러한 실시예는 회전 축이 광원과 동심인 상황을 판별할 수 없을 수도 있지만, 대부분의 경우에 각변위를 제공할 것이며 본 명세서에 일실시예로서 고려된다.

정렬 검출 조립체(102)가 디스플레이 소자(104 및/또는 106)에 대한 각변위의 크기와 방향을 결정하면, 제각기의 디스플레이 소자(104 및/또는 106)에 디스플레이된 가상 이미지가 결정된 각변위에 맞게 조정될 수 있다. 이 보정은 이미지들이 적절한 양안 시차를 가지고 제각기의 디스플레이 소자(104, 106)에 디스플레이되도록 보장하며, 적절한 3차원 혼합 현실 또는 완전히 가상인 경험을 유지한다. 도 17은 혼합 현실 또는 완전히 가상인 경험을 프리젠트하는 헤드 마운티드 디스플레이 디바이스에 의해 수행된 단계들의 일부를 도시한 고수준 흐름도이다.

단계(200)에서, 헤드 마운티드 디스플레이 디바이스(100)가 장면으로부터 데이터를 수집할 수 있다. 이것은 장면 직시 카메라(120)에 의해 감지된 이미지 데이터를 포함할 수 있다. 단계(202)에서, 시스템은 헤드 마운티드 디스플레이 디바이스(100)의 x, y, z 위치, 방향 및 FOV를 결정한다. 장면과 사용자의 위치를 알고 있으면, 단계(204)에서 그 장면 내의 객체의 위치와 기하학적 구조를 식별하는 장면 맵이 개발될 수 있다. 실시예들에서, 소정 프레임에 생성된 장면 맵은 실세계 객체의 x, y, z 위치 및 장면 내의 가상 객체를 포함할 수 있다.

단계(206)에서, 시스템은 사용자 위치의 장면 맵 및 FOV를 이용하여 현재 시간에 사용자의 시각으로부터 가상 객체의 위치 및 외관을 판단할 수 있다. 단계(206)의 일부는 정렬 검출 조립체(102)로부터의 피드백에 기초하여 디스플레이 소자(104 및/또는 106)에 디스플레이된 가상 객체의 위치를 조정하는 것을 포함할 수 있다. 정렬 검출 조립체(102)로부터의 피드백에 포함되는 단계(206)의 세부사항은 도 18의 흐름도와 관련하여 보다 자세하게 설명한다.

단계(230)에서, 처리 유닛(108)은 정렬 검출 조립체(102)로부터의 디스플레이 소자(104 및/또는 106)에 대한 각 변위의 크기 및 방향(피치, 요, 롤 또는 이들의 조합)을 수신할 수 있다. 단계(234)에서, 처리 유닛(108)은 단계(230)에서 수신된 데이터를 디스플레이 소자(104, 106)의 중립의 정렬 위치와 비교할 수 있다.

구체적으로, 전술한 바와 같이, 하나의 이론적인 예에서는, 디스플레이 소자(104, 106)가 정렬되어 헤드 마운티드 디스플레이 디바이스(100)와 평행할 때, 제1 및 제2 그룹(130, 140)으로부터 카메라(160) 내에 수신된 광원으로부터의 시준 광이 이미지 평면(164) 상의 시준 렌즈(162)의 광학 축에 수렴한다. 그러나, 다른 예에서는, 중립 위치(즉, 디스플레이 소자가 적절한 양안 시차를 가지고 가상 이미지를 디스플레이하는 최초 위치)가 그룹들(130, 140) 내의 광원으로부터 수신된 시준 광이 이미지 평면(164) 상의 시준 렌즈(162)의 광학 축에 수렴하게 하지 않을 수도 있다. 허용오차 및 다른 요인들로 인해, 제1 및 제2 그룹(130, 140) 내의 하나 이상의 광원으로부터의 광의 중립 위치가 이미지 평면 상의 광학 축에서 벗어날 수 있다.

실제로, 정렬 검출 조립체(102)는 사용 전에 교정 프로세스를 거칠 수 있다. 이 교정 프로세스에서, 디스플레이 소자(104, 106)가 적절히 배치되면, 각각의 광원으로부터의 광이 이미지 평면의 어디에 부딪히는지와, 이 광이 각 디스플레이 소자(104, 106) 내의 피치, 요, 롤에서 각변위를 일으킬 때 어떻게 이동하는지에 대한 판독이 이루어질 수 있다. 이 정보는 처리 유닛(108)의 메모리에 저장되고 단계(234)에서의 비교에 대한 기초로서 사용될 수 있다.

단계(238)에서, 단계(234)에서의 비교의 결과에 기초하여, 처리 유닛(108)이 디스플레이 소자(104) 및/또는 디스플레이 소자(106)에 디스플레이되는 가상 객체의 위치를 조정할 수 있다. 구체적으로, 처리 유닛(108)은 디스플레이 소자(104, 106)에 디스플레이되는 가상 객체의 위치를 조정하여 중립 위치에 대한 디스플레이 소자(104, 106)의 임의의 각변위를 보상하고 사실상 상쇄한다.

실시예들에서, 각변위에 기초하여 디스플레이된 이미지를 조정하는 것과 관련된 단계들(230-238)은 매번 실시간으로 단계들(200-220)의 루프를 통해 일어날 수 있다. 다른 실시예에서, 단계들(230-238)은 주기적으로 일어날 수도 있고 실시간으로 일어나지 않을 수도 있다. 예를 들어, 시스템은, 매번 도 17의 루프를 통해 정렬 검출 조립체(102)로부터 피드백을 수신할 경우, 디스플레이 소자(104, 106) 또는 정렬 검출 조립체(102)의 컴포넌트의 고주파수 진동에 응답할 수 있다. 이 감도 레벨을 필터링하고자 할 경우, 시스템은 정렬 검출 조립체로부터의 피드백을 덜 주기적으로 수신할 수 있다. 일례로서, 시스템은 초당 10-20 프레임으로 피드백을 제공할 수 있지만, 다른 실시예에서는 이보다 더 높거나 더 낮을 수도 있다.

도 17을 다시 참고하면, 가상 객체 데이터가 수신되면, 처리 유닛(108)은 장면 맵 및 사용자의 FOV를 사용하여 랜더링되는 가상 객체에 대해 단계(208)에서 셋업 동작을 랜더링하는 것을 수행할 수 있다. 단계(208)에서의 셋업 랜더링 동작은 최종 FOV에 디스플레이될 가상 객체와 연관된 일반 랜더링 작업을 포함할 수 있다. 이들 랜더링 작업은, 예컨대, 새도우 맵 생성, 조명, 및 애니메이션을 포함할 수 있다. 실시예들에서, 셋업 랜더링 단계(208)는 예상 최종 FOV에서 디스플레이될 가상 객체에 대한 상태, 버텍스 버퍼(vertex buffer) 및 텍스처와 같은 가능성 있는 드로(draw) 정보의 편집을 더 포함할 수 있다.

단계(212)에서, 처리 유닛(108)의 그래픽 처리 유닛은 다음에 제각기의 디스플레이 소자(104, 106)에 디스플레이될 이미지를 랜더링할 수 있다. 랜더링 동작의 부분들은 셋업 랜더링 단계(208)에서 이미 수행되었을 수도 있고 주기적으로 업데이트될 수도 있다. 단계(216)에서, 처리 유닛(108)은 랜더링된 이미지를 디스플레이 소자(104, 106)에 송신할 시간인지의 여부 또는 헤드 마운티드 디스플레이 디바이스(100) 및 정렬 검출 조립체(102)로부터의 보다 최근의 위치 피드백 데이터를 사용하여 이미지를 더욱 가다듬을(refine) 시간이 있는지의 여부를 검사한다.

이미지를 디스플레이할 시간이 되면, 하나 이상의 가상 객체에 대한 이미지가 단계(220)에서 제각기의 디스플레이 소자 내 적절한 픽셀에 디스플레이될 디스플레이 소자(104, 106) 내의 마이크로디스플레이(122)로 송신된다. 반면에, 단계(216)에서 아직 디스플레이될 이미지 데이터의 프레임을 송신할 시간이 안 된 경우, 처리 유닛은 최종 FOV 및 FOV 내의 가상 객체의 최종 위치의 예측을 더 가다듬기 위해 더 많은 업데이트된 데이터를 찾아 단계(200)로 돌아갈 수 있다. 처리 단계(200 내지 220)는 단지 예로서 설명된다. 이들 단계들 중 하나 이상이 다른 실시예에서는 생략될 수도 있고, 이들 단계는 상이한 순서로 수행될 수도 있고 또는 추가적인 단계들이 추가될 수도 있다. 헤드 마운티드 디스플레이 디바이스(100)의 동작에 대한 보다 상세한 흐름은, 2012년 5월 24일자로 공개된, 발명의 명칭이 "Head-Mounted Display Device Which Provides Surround Video"인 미국 특허출원 공개 번호 제2012/01272284호에 개시되어 있다.

전술한 실시예에서, 헤드 마운티드 디스플레이 디바이스(100)는 IPD를 조정하기 위한 IPD 조정 메커니즘을 포함하고, 정렬 검출 조립체(102)는 IPD 조정에 대한 정보를 제공하는 컴포넌트를 포함한다. 도 19에 도시된 다른 실시예에서는, 본 기술에 따른 정렬 검출 조립체(102)가, IPD 조정 메커니즘(126)이 생략되고 IPD 조정이 없는 헤드 마운티드 디스플레이 디바이스(100)와 함께 사용될 수 있다. 도 19에서, 도 1에서와 동일한 참조번호를 갖는 컴포넌트는, 후술하는 바와 같이 정렬 검출 조립체(102)를 있을 수 있는 예외로 하면, 구조면에서 그리고 동작면에서 도 1과 관련하여 전술한 것과 동일하다.

도 20은 도 19의 정렬 검출 조립체(102)의 확대 평면도이다. 도 20의 정렬 검출 조립체(102)는 예컨대 다면 반사 소자(150) 및 시준 렌즈(162)와 광 검출기 이미지 평면(164)을 포함하는 카메라(160)를 비롯한 전술한 컴포넌트와 동일하거나 유사한 컴포넌트를 포함할 수 있다. 도 20의 정렬 검출 조립체(102)는 또한 전술한 바와 같이 제1 및 제2 그룹의 광원들(130, 140)을 포함할 수 있다. 그러나, IPD 조정은 존재하지 않기 때문에, 제1 및 제2 그룹 내에 복수의 각을 이루는 광원이 필요치 않다.

도 20에 도시된 실시예에서, 제1 그룹(130)에 단일의 직교 광원(132) 및 단일의 각을 이루는 광원(134)이 존재할 수 있다. 제2 그룹(140)은 동일한 2개의 광원을 포함할 수 있다. 직교 광원(132, 142)은 전술한 바와 같이 반사 소자(150) 상의 제2 세트의 면에서 반사될 수 있다. 이들 광원 각각으로부터의 광은 전술한 바와 같이 각변위를 검출하기 위해 아래쪽 카메라(160)로 반사되고 시준 렌즈(162)를 통해 이미지 평면(164)에 촬상될 수 있다. 전술한 바와 같이, IPD 조정과 함께 동작하는 본 기술의 실시예는 도 20에 도시된 정렬 검출 조립체(102)를 이용하여 동작할 수도 있다.

전술한 직교 광원(132, 142)은, 이미지 평면(164) 상의 직교 광원으로부터의 광의 위치가 IPD의 변화에 따라 변하지 않는다는 점에서 IPD 조정이 없을 때 이점을 갖는다. 그러나, IPD 조정이 없는 실시예에서, 직교 광원은 도 21에 도시된 바와 같이 생략될 수도 있다. 도 21의 실시예에서, 제1 및 제2 그룹(130, 140) 각각은 전술한 바와 같은 2개의 각을 이루는 광원을 포함한다. 이들 광원 각각으로부터의 광은 전술한 바와 같은 각변위를 검출하기 위해 아래쪽 카메라(160)로 반사되고 시준 렌즈(162)를 통해 이미지 평면(164)에 촬상될 수 있다. 전술한 바와 같이, IPD 조정과 함께 동작하는 본 기술의 실시예들은 도 21에 도시된 바와 같은 정렬 검출 조립체(102)를 사용하여 동작할 수도 있다.

도 22는 도 21에 도시된 실시예와 유사하지만, 제1 및 제2 그룹(130, 140) 각각은 단일 광원을 포함한다. 도시된 실시예에서, 광원은 전술한 바와 같은 각을 이루는 광원이지만, 이 광원은 전술한 바와 같은 직교 광원일 수도 있다. 도 22에 도시된 정렬 검출 조립체(102)는 디스플레이 소자(104, 106)의 대부분의 각변위에 대한 정렬 정보를 제공할 수 있다. 전술한 바와 같이, IPD 조정과 함께 동작하는 본 기술의 실시예는 또한 도 22에 도시된 바와 같이 정렬 검출 조립체(102)를 사용하여 동작할 수 있다.

전술한 바와 같은 정렬 검출 조립체(102)는, 제1 및 제2 그룹(130, 140)의 각을 이루는 광원 중 어느 것이 카메라(160) 내에 기록되었는지와 이 광이 이미지 평면(164) 상의 어디에 촬상되었는지에 기초하여, 디스플레이 소자(104, 106)의 각변위 및 IPD를 검출할 수 있다. 다른 실시예에서는, 추가적인 및/또는 대안적인 컴포넌트가 IPD의 세부 정보 및 각변위를 제공하기 위해 정렬 검출 조립체(102) 내에 제공될 수 있다.

예를 들어, 일실시예에서, 단순한 광 빔을 방사하는 각을 이루는 광원을 사용하는 대신에, 각을 이루는 광원은, 예컨대 링(ring)으로 둘러싸인 중심 빔을 비롯하여 패터닝된 광 빔을 방사하도록 구성될 수 있다. 이 광의 링은 제1 및 제2 그룹(130, 140) 내의 각을 이루는 광원들 각각 내에 또는 이들과 연관된 링 미러를 사용함으로써 생성될 수 있다. 광학 축(예컨대 중심 빔)에 평행한 광원과 연관된 시준 렌즈(도시되어 있지 않음)에 도달하는 광은 무한대에 포커싱된 시준 렌즈를 통해 투과될 수 있다. 반면에, 비평행 각도로 광원 시준 렌즈에 도달하는 광(예컨대, 광 링의 일부분으로부터의 광)은 시준 렌즈(162)와 부딪히는 각을 이루는 광에 대해 전술한 것과 동일한 방식으로 이동할 것이다.

이러한 구성에 의하면, 각을 이루는 광원이 카메라(160) 및 시준 렌즈(162)와 공간적으로 정렬되어 동심을 이룰 경우, 이미지 평면(164) 상의 패턴은 도 23에 도시된 바와 같은 주변 링을 갖는 스폿(spot)이 될 수 있다(전술한 바와 같이, 중심 빔은 그룹 내의 다른 각을 이루는 광원과 구별하도록 형성될 수 있는데, 도시된 예에서는 정방형이다). 반면에, 각을 이루는 광원이 카메라(160)와 정렬되지 않고 동심을 이루지 않을 경우, 이미지 평면(164) 상의 패턴은 도 24에 도시된 바와 같이 초승달 모양을 갖는 스폿일 수 있다. 초승달 형상은 카메라 렌즈 또는 LED 렌즈 개구에 의한 비네팅(vignetting) 때문이다. 이 비네팅은 패턴에 변화를 일으키도록 의도적으로 설계된다. 이미지 평면(164)에 기록되는 초승달(및 가능하게는 중심 스폿)의 범위는 카메라와 각을 이루는 광원의 정렬을 결정하는데 이용될 수 있다. 이 정보로부터, IPD가 결정될 수 있다. 그룹(130, 140) 내의 하나보다 많은 비슷듬한 광원으로부터의 도 23 및 24에 도시된 바와 같은 패터닝된 광은 카메라(160)에서 동시에 수신될 수도 있다.

또한 광원의 다른 구성이 제공될 수도 있다. 하나의 다른 예로서, 예컨대 각각이 무한대에 포커싱된 시준 LED들의 어레이와 같이, 2차원 광원 격자가 사용될 수도 있다. 이미지 평면(164)에 촬상되는 어레이 내의 이들 LED에 의한 광 패턴은 카메라와 광원 어레이의 정렬을 판단하는데 사용될 수 있다. 이 정보로부터 IPD가 결정될 수 있다.

전술한 실시예에서, 정렬 검출 어셈블리는 디스플레이 소자(104, 106)의 선형 변위에 민감하지 않아 선형 변위에 의해 혼동되지 않고 디스플레이 소자의 각변위를 측정할 수 있게 한다. X 축 IPD 상의 선형 변위는 카메라(160) 상의 각을 이루는 광원으로부터의 광의 패턴에 의해 주어진다. 다른 실시예에서는, 디스플레이 소자(104, 106)의 X, Y 및/또는 Z 선형 변위를 나타내는 부가적/대안적 컴포넌트가 제공될 수 있다.

이러한 한 실시예는 선형 변위를 판별하기 위해 무아레(Moire) 패턴을 이용할 수 있다. 그러한 실시예에서, 제1 새도우 마스크가 디스플레이 소자(104, 106)에 부착된 광원 위에 배치될 수 있다. 제1 새도우 마스크는 광원으로부터의 광이 지나가는 다수의 병렬 직사각형 슬릿으로 패터닝될 수 있다. 제2 패터닝된 새도우 마스크가 이미지 평면(164) 앞에 위치할 수도 있다. 제2 패터닝된 새도우 마스크는 제1 새도우 마스크와 유사하지만, 제1 패터닝된 새도우 마스크에 비해 각을 이루는 각도로 회전할 수 있다. 이 실시예는 시준되지 않은 카메라와 광원 상의 렌즈로 작동할 수 있다.

2개의 패터닝된 새도우 마스크는 이미지 평면(164) 상에 입사하는 광의 2개의 격자를 만들어 무아레 패턴으로 알려져 있는 간섭 패턴을 형성할 것이다. 이러한 간섭 패턴은 2개의 광 격자의 상대적인 움직임에서의 작은 변화에 의해 크게 변한다. 이들 패턴 변화는 검출될 수 있고 (카메라 상의) 다른 격자에 대한 (광원 상의) 한 격자의 수량화할 수 있는 선형 변위와 상관될 수 있다. 광원의 방향과 제1 패터닝된 새도우 마스크에 따라서, 이 실시예는 디스플레이 소자(104, 106)의 X 방향 또는 Y 방향으로의 선형 변위에 대한 정보를 제공하는데 사용될 수 있다.

전술한 실시예는 디스플레이 소자(104, 106)의 각변위를 검출하기 위해 정렬 검출 조립체(102)를 사용하였다. 광학 시스템 이외의 시스템이 이 각변위를 검출하기 위해 사용될 수도 있다. 다른 실시예로서, 기계적인 시스템이 사용될 수 있다. 그러한 한 예로서, 제1 용량 플레이트(capacitive plate)가 디스플레이 소자(104)에 부착될 수 있고 제2 용량 플레이트가 예컨대 프레임(118)과 같은 헤드 마운티드 디스플레이 디바이스(100) 상의 기준 위치에 부착될 수 있다. 제1 및 제2 플레이트는 서로 가까이에 마주보도록 위치하며, 플레이트들 사이에 작은 공기 갭이 제공될 수 있다. 유사한 구성이 디스플레이 소자(106)에 부착된 제3 플레이트 및 이와 나란히 놓여 있으며 헤드 마운티드 디스플레이 디바이스(100) 상의 기준 위치에 부착된 제4 플레이트에 제공될 수 있다.

제1 플레이트 쌍 사이 및 제2 플레이트 쌍 사이에 전하 차가 생성될 수 있다. 그 후, 제각기의 쌍 내의 캐패시턴스는 다음 수식이 주어지면 다양한 공지된 방법으로 측정될 수 있다.

I = C*dV/dt (2)

여기서 dV/dt는 시간에 따른 전압의 변화이고, C는 캐패시턴스이며, I는 전류이다.

측정된 캐패시턴스는 제각기의 쌍 내의 플레이트들 사이의 거리에 선형적으로 비례한다. 한 해석에서는, 하나의 플레이트가 이미터로 그리고 다른 플레이트가 센서로 간주되며, 이들 사이에 전자가 흐르는 것으로 간주될 수 있다. 작은 병진이 있다고 가정하면(캐패시턴스 변화는 오버랩 변화가 아니라 거리의 변화에 의해 지배된다), 각 쌍의 플레이트 내에서의 각 오프셋(angular offset)은 캐패시터의 플레인 내 회전축에 대한 디스플레이 소자의 회전을 판별하는데 사용될 수 있다. 원한다면, 다른 직교 축에 대한 디스플레이 소자의 회전을 판별하기 위해 다른 직교 플레인 내에 추가적인 용량 플레이트 쌍이 제공될 수도 있다.

다른 기계적인 시스템에서는, 디스플레이 소자(104, 106)에 스트레인 게이지(strain gauge)가 부착될 수도 있다. 그러한 실시예에서, 스트레인 게이지는 디스플레이 소자(104, 106)의 선형 및/또는 각변위를 제공하는데 사용될 수 있다.

도 25는 처리 유닛(108)의 다양한 컴포넌트를 나타내는 블록도이다. 도 25는 전력 관리 회로(306)와 통신하는 제어 회로(304)를 보여준다. 제어 회로(304)는 중앙처리 디바이스(CPU)(320), 그래픽 처리 유닛(GPU)(322), 캐시(324), RAM(326), 메모리(330)(예컨대, D-RAM)와 통신하는 메모리 제어기(328), 플래시 메모리(334)(또는 다른 유형의 비휘발성 저장부)와 통신하는 플래시 메모리 컨트롤러(332), 대역 인터페이스(302) 및 대역 인터페이스(232)를 통해 헤드 마운티드 디스플레이 디바이스(100)와 통신하는 디스플레이 아웃 버퍼(336), 대역 인터페이스(302) 및 대역 인터페이스(232)를 통해 헤드 마운티드 디스플레이 디바이스(100)와 통신하는 디스플레이 인 버퍼(338), 마이크로폰에 연결하기 위한 외부 마이크로폰 커넥터(342)와 통신하는 마이크로폰 인터페이스(340), 무선 통신 디바이스(346)와 연결하기 위한 PCI 익스프레스 인터페이스, 및 USB 포트(348)를 포함한다.

일실시예에서, 무선 통신 디바이스(346)는 Wi-Fi 인에이블형 통신 디바이스, 블루투스 통신 디바이스, 적외선 통신 디바이스 등을 포함할 수 있다. USB 포트는, 예컨대 데이터 또는 소프트웨어를 처리 유닛(108) 및 전하 처리 유닛(108)에 로딩하는데 사용될 수 있다. 일실시예에서, CPU(320) 및 GPU(322)는 3차원 가상 객체를 사용자의 뷰에 삽입하는 장소, 시간 및 방법을 결정하기 위한 주 워크호스(main workhorse)이다. 보다 자세한 사항은 아래에 제시된다.

전력 관리 회로(306)는 클록 생성기(360), 아날로그-디지털 변환기(362), 배터리 충전기(364), 전압 조정기(366), 헤드 마운티드 디스플레이 전원(376), 및 온도 센서와 통신하는 온도 센서 인터페이스(372)를 포함한다. 아날로그-디지털 변환기(362)는 배터리 전압, 온도 감지 및 제어와, 배터리 충전 기능을 모니터링하는데 사용된다. 전압 조정기(366)는 전력을 시스템에 공급하는 배터리(368)와 통신한다. 배터리 충전기(364)는 충전 잭(370)으로부터 전력을 공급받을 때 (전압 조정기(366)를 통해) 배터리(368)를 충전하는데 사용된다. HMD 전원(376)은 헤드 마운티드 디스플레이 디바이스(100)에 전력을 공급한다.

청구항의 청구대상은 구조적 특징 및/또는 방법론적 동작에 특정한 언어로 기술되었지만, 첨부된 청구항에 정의된 청구대상은 반드시 전술한 특정한 특징이나 동작으로 한정되지는 않는다. 오히려 전술한 특정한 특징 및 동작은 청구항을 구현하는 예시적인 형태로서 기술된다. 본 발명의 범위는 첨부한 청구범위에 의해 정의된다.

Claims

헤드 마운티드 디스플레이 디바이스 상의 기준 위치에 관한 디스플레이 소자의 각변위를 검출하여 상기 디스플레이 소자 상에 가상 이미지들을 디스플레이하기 위한 시스템에 있어서,
상기 디스플레이 소자와 상기 기준 위치 중 하나에 부착된 이미터와, 상기 디스플레이 소자와 상기 기준 위치 중 상기 이미터를 포함하지 않는 하나에 부착된 센서 - 상기 센서는 상기 이미터로부터의 방사를 수신할 수 있고, 상기 센서는 상기 디스플레이 소자의 각변위를 나타내는 상기 이미터로부터의 방사를 기록할 수 있는 반면에 상기 디스플레이 소자의 선형 변위를 나타내는 상기 이미터로부터의 방사에 둔감함 - 를 포함하는 정렬 검출 조립체와,
상기 정렬 검출 조립체와 통신하고 상기 센서로부터 피드백을 수신하는 처리 유닛 - 상기 처리 유닛은 상기 피드백으로부터의 상기 디스플레이 소자의 각변위를 결정하고, 상기 처리 유닛은 상기 디스플레이 소자의 상기 결정된 각변위를 보상하기 위해 상기 디스플레이 소자에 대한 상기 가상 이미지들의 디스플레이를 조정함 - 을 포함하는 가상 이미지 디스플레이 시스템.
제1항에 있어서,
상기 이미터는 광을 방사하기 위한 광원이고, 상기 센서는 상기 광원으로부터 광을 수신하기 위한 이미지 평면을 포함하는 카메라인 것인 가상 이미지 디스플레이 시스템.
제2항에 있어서,
상기 광원은 LED 및 레이저 중 하나인 것인 가상 이미지 디스플레이 시스템.
제1항에 있어서,
상기 디스플레이 소자는 제1 디스플레이 소자를 포함하고, 상기 시스템은 제2 디스플레이 소자를 더 포함하고, 상기 기준 위치는 상기 제2 디스플레이 소자 상의 위치인 것인 가상 이미지 디스플레이 시스템.
헤드 마운티드 디스플레이 디바이스 상의 기준 위치에 관한 제1 디스플레이 소자의 각변위를 검출하여 상기 제1 디스플레이 소자 및 양안 시차(binocular disparity)를 갖는 제2 디스플레이 소자에 가상 이미지들을 디스플레이하기 위한 시스템에 있어서,
광을 방사하기 위한 그룹의 광원들 - 상기 그룹의 광원들 중 적어도 하나의 광원으로부터 방사된 광의 방향은 상기 제1 디스플레이 소자의 각변위에 따라 변하고, 상기 적어도 하나의 광원으로부터 방사된 광의 방향은 상기 제1 디스플레이 소자의 선형 변위에 따라 변함 - 과, 상기 그룹의 광원들 중 둘 이상의 광원들로부터 광을 수신하기 위한 카메라 - 상기 카메라는 상기 둘 이상의 광원들로부터 광을 수신하기 위한 시준 렌즈들 및 상기 시준 렌즈들을 통해 광을 수신하기 위한 이미지 평면을 포함하고, 상기 카메라는 상기 제1 디스플레이 소자의 각변위를 기록하는 반면에 상기 디스플레이 소자의 선형 변위에는 둔감함 - 를 포함하는 정렬 검출 조립체와,
상기 정렬 검출 조립체와 통신하고 상기 카메라로부터 피드백을 수신하는 처리 유닛 - 상기 처리 유닛은 상기 피드백으로부터의 상기 제1 디스플레이 소자의 각변위를 결정하고, 상기 처리 유닛은 상기 제1 디스플레이 소자의 상기 각변위로 인한 상기 양안 시차의 변화를 보정하기 위해 상기 제1 디스플레이 소자에 대한 상기 가상 이미지들의 디스플레이를 조정함 - 을 포함하는 가상 이미지 디스플레이 시스템.
제5항에 있어서,
상기 그룹의 광원들은 상기 제1 디스플레이 소자에 부착된 제1 그룹의 광원들을 포함하고, 상기 정렬 검출 어셈블리는 상기 제2 디스플레이 소자에 부착된 광을 방사하기 위한 제2 그룹의 광원들을 더 포함하고, 상기 제2 그룹의 광원들 중 적어도 하나의 광원으로부터 방사된 광의 방향은 상기 제2 디스플레이 소자의 각변위에 따라 변하고, 상기 제2 그룹의 광원들 중 상기 적어도 하나의 광원으로부터 방사된 광의 방향은 상기 제2 디스플레이 소자의 선형 변위에 따라 변하는 것인 가상 이미지 디스플레이 시스템.
제6항에 있어서,
상기 카메라는 상기 제2 그룹의 광원들 중 둘 이상의 광원들로부터 광을 수신하고, 상기 처리 유닛은 또한 상기 제2 그룹 중 상기 둘 이상의 광원들로부터 상기 카메라에 수신된 광으로부터 상기 제2 디스플레이 소자의 각변위를 결정할 수 있고, 상기 처리 유닛은 상기 제2 디스플레이 소자의 상기 각변위로 인한 상기 양안 시차의 변화를 보정하기 위해 상기 제2 디스플레이 소자에 대한 상기 가상 이미지들의 디스플레이를 조정하는 것인 가상 이미지 디스플레이 시스템.
제5항에 있어서,
상기 제1 및 제2 디스플레이 소자 사이의 거리를 조정하기 위한 조정 메커니즘을 더 포함하고, 상기 정렬 검출 조립체가
상기 그룹의 광원들 중 직교 광원 - 상기 직교 광원은 제1 방향으로 광을 방사하고 상기 제1 방향을 따라 상기 제1 및 제2 디스플레이 소자들 사이의 거리가 조정됨 - 과,
상기 그룹의 광원들 중 둘 이상의 각을 이루는(angled) 광원들 - 상기 둘 이상의 각을 이루는 광원들은 상기 제1 방향에 대해 각을 이루는 제2 방향으로 광을 방사함 - 과,
상기 직교 광원 및 상기 둘 이상의 각을 이루는 광원들 중 적어도 하나로부터의 광을 상기 카메라 내로 반사하는 다면(multifaceted) 프리즘을 더 포함하는 것인 가상 이미지 디스플레이 시스템.
헤드 마운티드 디스플레이 디바이스 상의 기준 위치에 관한 제1 디스플레이 소자의 각변위를 검출하여 상기 제1 디스플레이 소자 및 양안 시차를 갖는 제2 디스플레이 소자에 가상 이미지들을 디스플레이하기 위한 방법에 있어서,
(a) 제1 광원으로부터의 광을 상기 제1 디스플레이 소자 상에 시준하는 단계와,
(b) 제2 광원으로부터의 광을 상기 제2 디스플레이 소자 상에 시준하는 단계와,
(c) 상기 제1 및 제2 광원들로부터의 상기 시준된 광을 카메라 내로 향하게 하는 단계와,
(d) 상기 카메라가 상기 제1 및 제2 광원들로부터 수신된 광의 각변위에 민감하고 상기 제1 및 제2 광원들로부터 수신된 광의 선형 변위에는 둔감하도록, 상기 카메라에 수신된 광을 시준하는 단계와,
(e) 상기 제1 및 제2 광원들로부터 상기 카메라에 수신된 광의 각변위에 기초하여 상기 제1 디스플레이 소자의 각변위를 결정하는 단계를 포함하는 가상 이미지 디스플레이 방법.
제9항에 있어서,
(f) 상기 제1 디스플레이 소자의 각변위로 인한 상기 양안 시차의 변화를 보정하기 위해 상기 제1 디스플레이 소자에 대한 상기 가상 이미지들의 디스플레이를 조정하는 단계를 더 포함하는 가상 이미지 디스플레이 방법.