KR20210113208A - Hmd에서의 디스플레이 패널들 및/또는 가상 카메라들의 역회전 - Google Patents

Abstract

머리-장착형 디스플레이(HMD) 시스템은 하우징, 및 배향에서 역회전되는, 하우징 내에 장착된 한 쌍의 디스플레이 패널들을 갖는 HMD를 포함할 수 있다. HMD 시스템의 합성기는 또한, 역회전된 카메라 배향들을 갖는 카메라 포즈 데이터를 실행중인 애플리케이션(예를 들어, 비디오 게임 애플리케이션)에 제공하고, HMD의 디스플레이 패널들이 배향에서 직립-배향되는지 또는 역회전되는지에 의존하여, 시계 방향 및 반시계 방향으로 회전 조정들을 이용하여 또는 회전 조정들 없이 애플리케이션으로부터 수신된 프레임들을 리샘플링하도록 구성될 수 있다. 결합된 접근법은 최적화된 디스플레이 성능을 갖는 HMD를 제공하기 위해, 역회전된 디스플레이 패널들과 조합하여 역회전된 카메라 배향들을 사용할 수 있다.

Description

HMD에서의 디스플레이 패널들 및/또는 가상 카메라들의 역회전

관련 출원에 대한 상호 참조

본 출원은, 발명의 명칭이 "COUNTERROTATION OF DISPLAY PANELS AND/OR VIRTUAL CAMERAS IN A HMD"으로 2019년 3월 27일자로 출원된 미국 특허 출원 제16/366,981호에 대한 우선권을 주장하는 PCT 출원이며, 그 미국 특허 출원은, 2019년 1월 14일자로 출원된, 공동으로 할당되고 공동-계류중인 미국 가특허 출원 제62/792,290호에 대한 우선권을 주장한다. 출원들 제16/366,981호 및 제62/792,290호는 본 명세서에 참고로 완전히 통합된다.

머리-장착형 디스플레이(HMD)들은 사용자들을 가상 현실(VR) 환경(예를 들어, VR 게임) 또는 증강 현실(AR) 환경에 몰입시키려는 목적들을 위해 사용자들에 의해 착용될 수 있다. HMD는 애플리케이션(예를 들어, 비디오 게임)에 의해 출력되는 프레임들에 기초하여 하나 이상의 디스플레이 패널들 상에서 이미지들을 디스플레이함으로써 동작한다. 이들 이미지들은 HMD에 포함된 광학기기(예를 들어, 렌즈들)를 통해 사용자에 의해 보여져서, 사용자가 VR 또는 AR 환경에 몰입된 것처럼 사용자가 이미지들을 지각하게 한다.

일부 HMD들은 단일 디스플레이 패널을 사용하는 반면, 다른 HMD들은 한 쌍의 디스플레이 패널들을 이용한다. 단일 디스플레이 패널을 사용하는 하나의 이유는, (재료들의 비용 및/또는 제조 관점으로부터) 단일 디스플레이 패널이 한 쌍의 디스플레이 패널들보다 구현하는 데 더 저렴하기 때문이다. 그러나, 2개의 디스플레이 패널들을 사용하는 것은, 다른 장점들 중에서도, 증가된 디스플레이 대역폭, 이용가능한 픽셀들을 더 많이 이용하기 위한 능력, 및 사용자들이 2개의 디스플레이 패널들 사이의 거리를 조정하게 허용하는 것과 같은 여러가지 장점들을 제공한다.

오늘날 시장에 나와있는 HMD들 모두는 하나의 공통점을 가지며: 그들은 직립 패널 배향의 하나 이상의 디스플레이 패널들을 갖는다. 예를 들어, 2개의 디스플레이 패널들을 갖는 HMD들은 동일 평면의 나란한 배열로 사용자의 얼굴 바로 앞에 디스플레이 패널들을 배향시키며, 이들 개개의 측부 에지들은 서로 평행하다. 이러한 유형의 직립 패널 배향은 여러가지 단점들을 겪는다. 예를 들어, 패널들의 길이에 걸쳐있는 줄무늬들 또는 밴드들과 같은 패널 아티팩트(artifact)들은 종종, 디스플레이된 이미지들과 함께 직립-배향된 패널들 상에 나타난다. 이들 패널 아티팩트들은 보는 사용자에게 시각적으로 산만하다. 부가적으로, 사용자에게 이용가능한 시야(FOV)는, 전형적으로 형상이 직사각형인 디스플레이 패널들의 폭으로 또는 그 폭에 의해 제한된다. 부가적으로, 직립-배향된 이미지들을 리샘플링하는 데 사용되는 기초적인 필터들(예를 들어, 박스 필터들)은 종종, 디스플레이된 이미지들의 수직들 및 수평들을 따라 샘플링 아티팩트들(예를 들어, 들쭉날쭉한 라인들)을 도입한다. 이들 샘플링 아티팩트들은 또한, 특히 위에서-언급된 패널 아티팩트들과 커플링될 때, 보는 사용자에게 상당히 시각적으로 산만하다.

이들 및 다른 시스템들을 개선 및 향상시키기 위한 기술적 솔루션들이 본 명세서에서 제공된다.

상세한 설명은 첨부 도면들을 참조하여 설명된다. 도면들에서, 참조 번호의 가장 왼쪽 숫자(들)는 참조 번호가 처음 나타나는 도면을 식별한다. 상이한 도면들에서 동일한 참조 번호들의 사용은 유사하거나 동일한 컴포넌트들 또는 특징부들을 표시한다.
도 1은 배향에서 역회전(counterrotate)되는 한 쌍의 디스플레이 패널들을 포함하는 예시적인 머리-장착형 디스플레이(HMD)를 예시한 도면이다.
도 2는 직립 패널 배향의 디스플레이 패널(HMD 내의 디스플레이 패널들 중 하나)의 정면도 및 측면도를 예시한 도면이다. 도 2는 또한, 하나 이상의 축들을 중심으로 디스플레이 패널을 회전시키거나 기울인 이후의 직립 패널 배향에 대한 디스플레이 패널의 배향을 설명하기 위한 기준 평면들을 도시한다.
도 3은, 배향에서 역회전된 한 쌍의 디스플레이 패널들의 정면도, 배향에서 역회전된 한 쌍의 디스플레이 패널들의 평면도, 및 디스플레이 패널들을 기울인 이후의 한 쌍의 디스플레이 패널들의 부가적인 평면도를 예시한 도면이다.
도 4는, 역회전된 카메라 배향들을 갖는 카메라 포즈 데이터를 실행중인 애플리케이션에 전송하고, 카메라 포즈 데이터 또는 디스플레이 패널들의 배향에 기초하여 회전 조정들 없이 애플리케이션에 의해 출력된 프레임을 리샘플링하며, 역회전된 디스플레이 패널들 상에서의 디스플레이를 위해, 리샘플링된 프레임에 대한 픽셀 데이터를 프레임 버퍼에 출력하기 위한 예시적인 프로세스의 흐름도이다.
도 5는, 본 명세서에 개시된 실시예들에 따른, HMD의 렌즈들을 통해, 보는 사용자의 관점으로부터 보여지는 바와 같은 디스플레이된 이미지들을 예시한 도면이다.
도 6은, 직립 카메라 배향들을 갖는 카메라 포즈 데이터를 실행중인 애플리케이션에 전송하고, 시계 방향/반시계 방향으로의 회전 조정들을 이용하여 애플리케이션에 의해 출력된 프레임을 리샘플링하며, 역회전된 디스플레이 패널들 상에서의 디스플레이를 위해, 리샘플링된 프레임에 대한 픽셀 데이터를 프레임 버퍼에 출력하기 위한 예시적인 프로세스의 흐름도이다.
도 7은, 직립 패널 배향들의 한 쌍의 디스플레이 패널들의 정면도, 직립 패널 배향들의 한 쌍의 디스플레이 패널들의 평면도, 및 디스플레이 패널들을 기울인 이후의 한 쌍의 디스플레이 패널들의 부가적인 평면도를 예시한 도면이다.
도 8은, 역회전된 카메라 배향들을 갖는 카메라 포즈 데이터를 실행중인 애플리케이션에 전송하고, 시계 방향/반시계 방향으로의 회전 조정들을 이용하여 애플리케이션에 의해 출력된 프레임을 리샘플링하며, 직립-배향된 디스플레이 패널들 상에서의 디스플레이를 위해, 리샘플링된 프레임에 대한 픽셀 데이터를 프레임 버퍼에 출력하기 위한 예시적인 프로세스의 흐름도이다.
도 9는 본 명세서에 개시된 기법들이 구현될 수 있는 HMD의 예시적인 컴포넌트들, 예컨대 VR 헤드셋을 예시한다.

무엇보다도, 하우징 및 하우징 내에 장착된 한 쌍의 디스플레이 패널들을 갖는 HMD를 포함하는 머리-장착형 디스플레이(HMD) 시스템이 본 명세서에 설명되며, 디스플레이 패널들은 배향에서 역회전된다. 한 쌍의 디스플레이 패널들은 제1 디스플레이 패널(예를 들어, HMD를 착용한 사용자의 좌측 눈에 의해 보여지도록 구성된 좌측 디스플레이 패널) 및 제2 디스플레이 패널(예를 들어, HMD를 착용한 사용자의 우측 눈에 의해 보여지도록 구성된 우측 디스플레이 패널)을 포함할 수 있다. 제1 디스플레이 패널은, 제1 디스플레이 패널이 제1 디스플레이 패널의 전면 평면에 직교하는 제1 축을 중심으로 제1 방향(예를 들어, 시계방향)으로 직립 패널 배향에 대해 회전됨으로써 제1 배향으로 배향될 수 있는 반면, 제2 디스플레이 패널은, 제2 디스플레이 패널이 제2 디스플레이 패널의 전면 평면에 직교하는 제2 축을 중심으로 제1 방향과 반대인 제2 방향(예를 들어, 반시계방향)으로 직립 패널 배향에 대해 회전됨으로써 제2 배향으로 배향될 수 있다. 디스플레이 패널들이 동일 평면 상에 있고 서로 인접하는 구성에서, 제1 디스플레이 패널의 측부 에지 및 제2 디스플레이 패널의 측부 에지는 평행하지 않다(예를 들어, 한 쌍의 디스플레이 패널들의 개개의 측부 에지들은 0 내지 180도의 각도(경계 제외)를 형성한다).

역회전된 카메라 배향들을 갖는 카메라 포즈 데이터를 실행중인 애플리케이션(예를 들어, 비디오 게임 애플리케이션)에 제공하고, HMD의 디스플레이 패널들이 배향에서 직립-배향되는지 또는 역회전되는지에 의존하여, 애플리케이션으로부터 수신된 프레임들을 회전 조정들을 이용하여 또는 회전 조정들 없이 리샘플링하기 위한 기법들이 본 명세서에서 또한 설명된다. 예를 들어, 애플리케이션(예를 들어, 비디오 게임 애플리케이션)에 의해 출력되는 프레임들을 리샘플링하기 위해 실행되는 HMD 시스템의 컴퓨터 판독가능 명령어들(예를 들어, 합성기(compositor))은 제1 방향(예를 들어, 반시계방향)으로 회전되는 제1 가상 카메라(예를 들어, 좌측 가상 카메라)의 제1 회전된 카메라 배향, 및 제1 방향과 반대인 제2 방향(예를 들어, 시계방향)으로 회전되는 제2 가상 카메라(예를 들어, 우측 가상 카메라)의 제2 회전된 카메라 배향을 애플리케이션에 전송할 수 있다. 이어서, 합성기는 역회전된 카메라 배향들에 따라 애플리케이션에 의해 출력된 프레임을 수신할 수 있다. 이러한 역회전된 카메라 배향 접근법은 HMD의 직립-배향된 디스플레이 패널들에 사용될 수 있으며, 이러한 경우, 합성기는 직립-배향된 디스플레이 패널들 상에서 한 쌍의 직립-배향된 이미지들을 디스플레이하기 위해, 회전된 카메라 배향들의 방향과 반대 방향들로 프레임의 픽셀 데이터의 제1 및 제2 서브세트들을 회전시킴으로써 프레임을 리샘플링한다. 이것은, 역회전된 카메라 배향들을 실행중인 애플리케이션에 제공하기 위한 개시된 기법들이 HMD의 디스플레이 패널들을 역회전시키는 것과는 독립적으로 수행될 수 있다는 것을 의미한다.

일부 실시예들에서, 결합된 접근법은 배향에서 역회전된 한 쌍의 디스플레이 패널들을 갖는 HMD를 포함하는 HMD 시스템에서 구현되며, 그에 의해, 합성기는 역회전된 카메라 배향들을 갖는 카메라 포즈 데이터를 실행중인 애플리케이션(예를 들어, 비디오 게임 애플리케이션)에 제공하고, 합성기는 카메라 포즈 데이터에 기초하여 또는 디스플레이 패널들의 배향들에 기초하여 회전 조정들을 행하지 않으면서 애플리케이션으로부터 수신된 프레임을 리샘플링한다. 이러한 방식으로, 리샘플링 단계에서 (카메라 포즈 데이터 또는 디스플레이 패널들의 배향들에 기초하여) 회전 조정들을 수행할 필요없이 직립-배향된 이미지들이 역회전된 디스플레이 패널들 상에서 디스플레이된다. 이러한 결합된 접근법은 여러가지 이점들을 제공하며, 이들 대부분은 HMD의 디스플레이 성능을 개선시키는 것에 관련된다. 예를 들어, HMD의 디스플레이 패널들을 역회전시키는 것은 패널 아티팩트들을 위장(camouflage)함으로써 패널의 수직들 및 수평들에서 패널의 길이에 걸쳐있는 줄무늬들 또는 밴드들과 같은 패널 아티팩트들을 완화시킨다. 즉, 개별 디스플레이 패널들 상에 나타나는 패널 아티팩트들은 여전히 존재하지만, 디스플레이 패널들이 회전되기 때문에, 그들은 디스플레이 상의 동일한 위치들에서 사용자의 양쪽 눈들에 더 이상 보이지 않는다. 결과적으로, 패널 아티팩트들은 보는 사용자에게 눈에 띄지 않게 되어, 그들은 더 이상 시각적으로 산만하지 않게 된다. 역회전된 디스플레이 패널들은 또한, 직립-배향된 디스플레이 패널들과 비교하여, 보는 사용자에게 더 넓은 시야(FOV)를 제공하고, 그들은 또한, HMD의 제조자(및/또는 사용자)가 디스플레이 패널들을 사용자의 얼굴에 더 가깝게 이동시킬 수 있게 함으로써 HMD의 깊이 치수를 감소시키는 것을 허용하며, 이는 더 작고, 무게가 더 가벼우며, 착용하기에 더 편안한 더 인체공학적인 HMD를 제공할 수 있다. 게다가, HMD의 합성기가 역회전된 카메라 배향들을 갖는 카메라 포즈 데이터를 실행중인 애플리케이션에 전송하도록 프로그래밍되는 실시예들에서, 샘플링 아티팩트들(예를 들어, 들쭉날쭉한 라인들)이 또한 완화된다. 이것은, 역회전된 이미지들을 리샘플링하는 데 사용되는 필터들(예를 들어, 박스 필터들)이, 직립-배향된 이미지들이 동일한 필터들을 사용하여 리샘플링된 경우, 그들이 그렇지 않았다면 야기할 샘플링 아티팩트들을 더 이상 야기하지 않아서, 그에 의해, 디스플레이된 이미지들에서 더 매끄럽게 보이는 라인들을 제공하기 때문이다.

본 개시내용이 본 명세서에 개시된 기법들 및 프로세스들을 구현하도록 구성된 시스템들(예를 들어, HMD 시스템)을 설명한다는 것이 인식되어야 한다. 일부 실시예들에서, HMD는 배향에서 역회전되는 한 쌍의 디스플레이 패널들을 포함한다. 다른 실시예들에서, HMD는 직립-배향된 디스플레이 패널들을 포함할 수 있으며, 이러한 경우, 역회전된 카메라 배향들은 프레임들을 렌더링하는 프로세스에서 HMD의 합성기에 의해 실행중인 애플리케이션에 제공된다. 또한, 본 명세서에 개시된 기법들 및 프로세스들을 구현하기 위한 컴퓨터 실행가능 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체들이 본 명세서에서 개시된다. 아래의 예들 중 다수가 비디오 게임 애플리케이션들 및 구체적으로는 VR 게이밍 애플리케이션들의 맥락에서 설명되지만, 본 명세서에 설명되는 기법들 및 시스템들이 비-VR 애플리케이션들(예를 들어, AR 애플리케이션들), 및/또는 비-게이밍 애플리케이션들, 예컨대 산업 기계 애플리케이션들, 방위 애플리케이션들, 로봇 애플리케이션들 등을 포함하지만 이에 제한되지 않는 다른 애플리케이션들에 이점들을 제공할 수 있다는 것이 인식되어야 한다.

도 1은 사용자(102)에 의해 착용되는 동안의 예시적인 머리-장착형 디스플레이(HMD)(100)를 예시한 도면이다. 도 1의 예의 HMD(100)는 배향에서 역회전되는 한 쌍의 디스플레이 패널들(104(1), 104(2))을 포함하는 것으로 도시된다. 디스플레이 패널(104), 렌즈 튜브(106), 및 렌즈(108) 각각은 렌즈-및-디스플레이 조립체를 구성한다. 그러므로, HMD(100)는, 제1 디스플레이(104(1)), 제1 렌즈 튜브(106(1)), 및 제1 렌즈(108(1))로 구성된 제1 렌즈-및-디스플레이 조립체 및 제2 디스플레이(104(2)), 제2 렌즈 튜브(106(2)), 및 제2 렌즈(108(2))로 구성된 제2 렌즈-및-디스플레이 조립체를 포함하는 한 쌍의 렌즈-및-디스플레이 조립체들을 포함할 수 있다. 제1 렌즈-및-디스플레이 조립체는 사용자(102)의 좌측 눈에 대응할 수 있는 반면, 제2 렌즈-및-디스플레이 조립체는 사용자(102)의 우측 눈에 대응할 수 있다. 각각의 렌즈-및-디스플레이 조립체는 도 1에서 Z-축들로 라벨링된 그 자체의 주 광축 상에 정렬된다. (각각의 렌즈-및-디스플레이 조립체와 연관된) 각각의 Z-축은 디스플레이 패널(104)의 전면 평면에 직교한다. 전술된 전면 평면과 같은 기준 평면들은 도 2를 참조하여 아래에서 더 상세히 논의된다.

도 1에 도시된 한 쌍의 렌즈-및-디스플레이 조립체들은 HMD(100)의 하우징(110) 내에 장착될 수 있다. 하우징(110)의 외측 셸이 도 1에 도시되지만, 하우징(110)이 하우징(110) 내에 다양한 전자 컴포넌트들 및 인쇄 회로 보드들을 장착하는 데 사용되는 다양한 컴포넌트들 및/또는 구조들을 포함할 수 있다는 것이 인식되어야 한다. 한 쌍의 디스플레이 패널들(104(1), 104(2))(총괄하여, 104) 및 한 쌍의 렌즈들(108(1), 108(2)(총괄하여, 108)은 임의의 적합한 부착 메커니즘(예를 들어, 스크루들, 접착제, 래치들, 핀들 등)을 사용하여 렌즈 튜브들(106(1), 106(2))(총괄하여, 106)의 대향 단부들에 각각 장착될 수 있다. 더욱이, 렌즈-및-디스플레이 조립체들은 디스플레이 패널들(104)의 후면 표면에 접하는 하우징(110) 내의 미드프레임(midframe)에 장착될 수 있다. 이러한 미드프레임은 HMD의 다른 컴포넌트들, 예컨대 다양한 센서들, 프로세서들 등을 갖는 마더보드를 하우징할 수 있다. 하우징(110)은 렌즈들(108)에 대한 조리개들을 갖는 렌즈-및-디스플레이 조립체들에 부착되는 가려진(shrouded)(또는 후드가 쓰여진) 미드프레임을 더 포함할 수 있다. 이러한 가려진 미드프레임은, 사용자(102)가 HMD(100)를 착용하고 있을 때 주변 광이 사용자의 눈들과 렌즈들(108(1), 108(2))(총괄하여, 108) 사이의 공간으로 진입하는 것을 차단하도록 구성될 수 있다.

일반적으로, HMD(100)는 사용자를 가상 현실(VR) 환경(예를 들어, VR 게임) 및/또는 증강 현실(AR) 환경에 몰입시키려는 목적들을 위해 사용자(102)에 의해 착용될 수 있다. 따라서, 일부 예들에서, HMD(100)는 VR 시스템들에서 사용하기 위한, 예컨대 VR 게이밍 시스템과 함께 사용하기 위한 VR 헤드셋을 표현할 수 있다. 그러나, 부가적으로 또는 대안적으로, HMD(100)는 AR 애플리케이션들에서 사용하기 위한 AR 헤드셋으로서 구현될 수 있다. AR에서, 사용자(102)는 실세계 환경 상에 오버레이된 가상 객체들을 보는 반면, VR에서, 사용자(102)는 실세계 환경을 보지 않지만, HMD(100)의 디스플레이 패널들(104) 및 광학기기들(예를 들어, 렌즈들(108))을 통해 지각되는 바와 같은 가상 환경에 완전히 몰입된다. 본 명세서에 설명되는 예들은 주로 VR-기반 HMD(100)에 관한 것이지만, HMD(100)가 VR 애플리케이션들에서의 구현들로 제한되지 않는다는 것이 인식되어야 한다.

한 쌍의 디스플레이 패널들(104)은 애플리케이션(예를 들어, 비디오 게임)에 의해 출력되는 일련의 이미지 프레임들(본 명세서에서 "프레임들"로 지칭됨)에 기초하여 이미지들을 디스플레이하도록 구성된다. 이들 이미지들은, 근안 디스플레이를 제공하기 위한 다양한 유형들의 광학기기들을 포함할 수 있는 렌즈들(108)을 통해 사용자(102)에 의해 보여 진다. 이러한 방식으로, 사용자(102)는 사용자(102)가 VR 또는 AR 환경에 몰입된 것처럼 이미지들을 지각한다. HMD(100)의 합성기는 애플리케이션에 의해 출력되는 프레임들을 리샘플링하기 위해, 예컨대 색채 왜곡, 재투영 등을 수행하기 위해 다양한 기법들을 이용할 수 있다. 일부 실시예들에서, 합성기는 아래에서 더 상세히 설명될 바와 같이, 이미지들이 디스플레이 패널들(104) 상에 직립-배향으로 디스플레이되는 것을 보장하기 위해, 개별 프레임들의 픽셀 데이터의 서브세트들을 (각각, 시계 방향 및 반시계 방향으로) 역회전시킴으로써 프레임들을 리샘플링할 수 있다. 리샘플링 단계가 카메라 포즈 데이터 및/또는 디스플레이 패널들의 배향들에 기초한 회전 조정들을 포함하는지 여부에 관계없이, 리샘플링된 프레임들의 수정된 픽셀 데이터는 디스플레이 패널들(104) 상에서 이미지들을 디스플레이하기 위해 프레임 버퍼에 출력될 수 있다. 예를 들어, HMD(100)에 의해 사용되는 프레임 버퍼는 한 쌍의 디스플레이 패널들 상에서 한 쌍의 이미지들을 렌더링하는 스테레오 프레임 버퍼일 수 있다. 예를 들어, 2160x1200 픽셀들에 대한 픽셀 데이터는 HMD(100)의 한 쌍의 디스플레이 패널들(104) 상에서의 디스플레이를 위해 프레임 버퍼에 출력될 수 있다(예를 들어, 디스플레이 패널(104) 당 1080x1200 픽셀들).

디스플레이 패널들(104)은 임의의 적합한 유형의 디스플레이 기술, 예컨대 HMD(100)의 디스플레이 패널(들)(104) 상에서의 프레임들의 제시 동안 광을 방출하기 위해 발광 요소들을 이용하는 발광 디스플레이를 이용할 수 있다. 일 예로서, HMD(100)의 디스플레이 패널들(104)은 액정 디스플레이(LCD)들, 유기 발광 다이오드(OLED) 디스플레이들, 무기 발광 다이오드(ILED) 디스플레이들, 또는 HMD(100) 애플리케이션들에 대해 사용되는 적합한 디스플레이 기술을 이용하는 임의의 다른 적합한 유형의 디스플레이를 포함할 수 있다. 일부 실시예들에서, HMD(100)의 디스플레이 시스템은 저-지속성 디스플레이 시스템일 수 있으며, 이는, 발광 요소들이 디스플레이 패널들 상에서 이미지를 렌더링하는 데 사용되는 각각의 프레임에 대해 프레임 시간의 작은 부분(예를 들어, 11.11 ms의 프레임 시간으로부터 대략 1 밀리초(ms)) 동안 광을 방출한다는 것을 의미한다.

도 2는 직립 패널 배향(200)의 디스플레이 패널(104)의 정면도 및 측면도를 예시한 도면이다. 도 2의 패널(104)은 디스플레이 패널들(104(1) 또는 104(2)) 중 어느 하나를 표현할 수 있지만, 직립 패널 배향(200)을 갖는다. 도 2는 또한, 각각의 디스플레이 패널(104)이 HMD(100)의 하우징(110) 내에서 특정 배향으로 어떻게 회전 및/또는 기울어질 수 있는지를 설명하기 위해 본 명세서에서 참조되는 3개의 기준 평면들 - 전면 평면, 정중시상(midsagittal) 평면, 및 횡단 평면 - 을 도시한다.

도 2에 도시된 바와 같이, 디스플레이 패널(104)의 전면 평면은 디스플레이 패널(104)의 전면 및 후면 표면에 평행하다. 디스플레이 패널(104)의 전면 표면은 사용자(102)가 이미지 제시 동안 보는 디스플레이 패널(104)의 표면이다. 전면 평면은 디스플레이 패널(104)을 전면 절반 및 후면 절반으로 양분할 수 있으며, 전면 절반은 디스플레이 패널(104)의 전면 (보기) 표면을 갖는다. 더욱이, 디스플레이 패널(104)의 전면 평면에 직교하는 축은 도 2에서 Z-축으로 라벨링된다. 일부 구성들에서, 이러한 Z-축은, 광이 디스플레이 패널(104)로부터 사용자(102)의 눈으로 이동하는 주 광축에 대응할 수 있다. 양의 및 음의 방향들이 임의의 방식으로 정의될 수 있지만, 본 명세서의 예들은 디스플레이 패널(104)로부터 HMD(100)를 착용한 사용자(102)를 향해 포인팅되는 양의 Z-방향을 참조하여 설명된다. 따라서, 음의 Z-방향은 HMD(100)를 착용한 사용자(102)로부터 디스플레이 패널(104)을 향해 포인팅되는 방향에 있는 것으로 고려된다.

정중시상 평면은 좌측 절반 및 우측 절반을 생성하기 위해 수직 방향으로 디스플레이 패널(104)을 양분한다. 디스플레이 패널(104)의 정중시상 평면에 직교하는 축은 도 2에서 X-축으로 라벨링된다. 다시, 양의 및 음의 방향들이 임의의 방식으로 정의될 수 있지만, 본 명세서의 예들은 (디스플레이 패널(104)의 전면 표면을 보는 사용자(102)의 관점에서) 디스플레이 패널(104)의 좌측 절반으로부터 디스플레이 패널(104)의 우측 절반을 향해 포인팅되는 양의 X-방향을 참조하여 설명된다. 따라서, 음의 X-방향은, (다시, 디스플레이 패널(104)의 전면 표면을 보는 사용자(102)의 관점에서) 디스플레이 패널(104)의 우측 절반으로부터 디스플레이 패널(104)의 좌측 절반을 향해 포인팅되는 방향에 있는 것으로 고려된다.

횡단 평면은 상단 절반 및 하단 절반을 생성하기 위해 수평 방향으로 디스플레이 패널(104)을 양분한다. 디스플레이 패널(104)의 횡단 평면에 직교하는 축은 도 2에서 Y-축으로 라벨링된다. 다시, 양의 및 음의 방향들이 임의의 방식으로 정의될 수 있지만, 본 명세서의 예들은 디스플레이 패널(104)의 하단 절반으로부터 디스플레이 패널(104)의 상단 절반을 향해 포인팅되는 양의 Y-방향을 참조하여 설명된다. 따라서, 음의 Y-방향은 디스플레이 패널(104)의 상단 절반으로부터 디스플레이 패널(104)의 하단 절반을 향해 포인팅되는 방향에 있는 것으로 고려된다.

도 3은, 배향에서 역회전되는 한 쌍의 디스플레이 패널들(104(1), 104(2))의 정면도(300) 뿐만 아니라 배향에서 역회전되는 한 쌍의 디스플레이 패널들(104(1), 104)의 평면도(302), 및 디스플레이 패널들(104(1), 104(2))을 반대 방향들로 기울인 이후의 한 쌍의 디스플레이 패널들(104(1), 104(2))의 부가적인 평면도(304)를 예시한 도면이다.

정면도(300)는 디스플레이 패널들(104(1), 104(2))의 전면 표면들의 뷰를 표현하며, 전면 표면들은 각각의 디스플레이 패널(104) 상의 픽셀들의 어레이를 통해 이미지들이 제시되는 표면들이다. 따라서, 제1 디스플레이 패널(104(1))은 사용자(102)의 좌측 눈에 대응하는 좌측 디스플레이 패널을 표현할 수 있고, 제2 디스플레이 패널(104(2))은 사용자(102)의 우측 눈에 대응하는 우측 디스플레이 패널을 표현할 수 있다. 도 3에 도시된 바와 같이, 제1 디스플레이 패널(104(1))은, 제1 디스플레이 패널(104(1))이 제1 디스플레이 패널(104(1))의 전면 평면에 직교하는 제1 축(예를 들어, Z-축)을 중심으로 제1 방향(예를 들어, 시계방향)으로 직립 패널 배향(200)에 대해 회전됨으로써 제1 배향으로 배향된다. 한편, 제2 디스플레이 패널(104(2))은, 제2 디스플레이 패널(104(2))이 제2 디스플레이 패널(104(2))의 전면 평면에 직교하는 제2 축(예를 들어, Z-축)을 중심으로 제1 방향과 반대인 제2 방향(예를 들어, 반시계방향)으로 직립 패널 배향(200)에 대해 회전됨으로써 제2 배향으로 배향된다. 따라서, 한 쌍의 디스플레이 패널들(104)은, 그들 각각이 서로에 대해 반대 방향들로 그들 개개의 Z-축들을 중심으로 회전되기 때문에 배향에서 역회전된다.

일부 실시예들에서, 제2 디스플레이 패널(104(2))은 제1 디스플레이 패널(104(1))에 인접하고, 그 반대의 경우도 가능하며, 2개의 디스플레이 패널들(104(1), 104(2))은 동일 평면 상에 있다. 디스플레이 패널들(104) 사이의 간격은 구성가능하며, 사용자들의 동공간 거리(IPD, interpupillary distance)들과 연관된 휴리스틱(heuristic)들에 기초할 수 있다. 일부 실시예들에서, 2개의 디스플레이 패널들(104)의 최내측 지점들(예를 들어, 인접한 상단 코너들)은 터치(즉, 접촉)될 수 있거나, 또는 그들은 작은 갭(gap), 예컨대 약 1 내지 3 밀리미터(mm)의 거리만큼 분리될 수 있다. 일부 실시예들에서, 디스플레이 패널들(104(1), 104(2))은 서로에 대해 이질적으로 위치될 수 있다. 예를 들어, 디스플레이 패널들(104(1), 104(2))을 사용자(102)의 눈들 바로 앞에 포지셔닝(position)시키는 대신에, 디스플레이 패널들(104)은 HMD 내의 다른 곳에(예를 들어, 사용자의(102) 관자놀이들 부근에, 사용자(102)의 이마 바로 앞에 등에) 위치될 수 있으며, 도파관들, 미러들 등과 같은 광학 컴포넌트들은 렌즈들(108)을 통해 디스플레이 패널들(104) 상에서 출력되는 이미지들을 사용자(102)의 눈들에 송신하기 위해 사용될 수 있다. 디스플레이 패널들(104(1), 104(2))이 HMD(100)에서 서로 인접하지 않은 이들 실시예들에서도, 디스플레이 패널들(104(1), 104(2))은, 자신의 전면 평면에 직교하는 축을 중심으로 제1 방향으로 제1 디스플레이 패널(104(1))을 회전시킴으로써 그리고 자신의 전면 평면에 직교하는 축을 중심으로 제1 방향과 반대인 제2 방향으로 제2 디스플레이 패널(104(2))을 회전시킴으로써 여전히 역회전될 수 있다.

HMD의 하우징(110) 내의 디스플레이 패널들(104)의 포지션 및 배향은 고정될 수 있으며(즉, 조정가능하지 않음), 이는, 교정된 HMD(100)가 "박스-밖에서(out-of-the-box)" 제공되도록 제조자에서 HMD(100)를 교정하는 것을 허용할 수 있다. 그러나, HMD(100)의 하우징(110)은, 사용자가 하우징(110) 내에서 각각의 디스플레이 패널(104)의 포지션 및/또는 배향을 개별적으로 또는 서로에 대해 조정하게 허용하기 위한 하나 이상의 메커니즘들을 포함할 수 있다. 예를 들어, 나사산 로드(threaded rod)는 도 1에 도시된 한 쌍의 렌즈-및-디스플레이 조립체들을 함께 연결시킬 수 있으며, HMD(100)는 사용자(102)가 나사산 로드를 회전시키도록 조작할 수 있는 노브(knob) 또는 유사한 조정 메커니즘을 포함할 수 있으며, 이는, 사용자(102)가 노브를 회전시키는 방향에 의존하여, 한 쌍의 디스플레이 패널들(104) 사이의 거리가 증가 또는 감소되게 한다. 디스플레이 패널들(104)의 수직 포지션들을 조정하기 위해(예를 들어, Y-축을 따라 디스플레이 패널들(104)을 위 또는 아래로 이동시킴), 또는 (예를 들어, Z-축을 중심으로 한) 회전의 양을 조정하기 위해, 그리고/또는 디스플레이 패널들(104)이 (예를 들어, X-축 및/또는 Y-축을 중심으로) 기울어지게 되는 양을 조정하기 위해 유사한 메커니즘들이 사용될 수 있다. 이것이 디스플레이 패널들(104)의 포지션 및/또는 배향을 조정하기 위해, 부가된 유연성을 사용자(102)에게 제공할 수 있지만, 그것은 HMD(100)를 교정된 상태로 유지하는데 일부 부가된 어려움들을 생성할 수 있다.

도 3의 정면도(300)는 또한, 제1 디스플레이 패널(104(1))의 측부 에지(306(1)) 및 제2 디스플레이 패널(104(2))의 측부 에지(306(2))가 평행하지 않도록 디스플레이 패널들(104)이 서로 인접하고 동일 평면 상에 있는 구성을 도시한다. 이것은, 한 쌍의 디스플레이 패널들(104)이 각각 직립 배향(200)으로 배향되었다면 측부 에지들(306(1), 306(2))이 평행할 것이기 때문에, 직립 배향(200)으로 배향된 한 쌍의 디스플레이 패널들(104)과 대조될 수 있다. 역회전된 디스플레이 패널들(104)의 경우, 한 쌍의 디스플레이 패널들(104(1), 104(2))의 측부 에지들(306(1), 306(2)) 사이에 0 및 180도(경계 제외)의 범위 내의 각도가 형성된다.

도 3의 정면도(300)는 또한, 제1 디스플레이 패널(104(1)) 및 제2 디스플레이 패널(104(2))이 각각 실질적으로 동일한 양의 회전(θ)만큼 회전되는 것을 도시한다. 상이한 양들의 회전만큼 각각의 패널을 회전시키는 것은 사용자의 보기 경험을 저하시키는 부가적인 문제들을 야기할 수 있다. 그러므로, 각각의 패널(104)은 실질적으로 동일한 양의 회전(θ)만큼 회전되어야 한다. 본 명세서에서 사용되는 바와 같은 "실질적으로 동일한 양의 회전"은 2도 이내를 의미한다. 따라서, 제1 디스플레이 패널(104(1))이 45도 회전되면, 그리고 제2 디스플레이 패널(104(2))이 44도 회전되면, 그들은 본 명세서에서, 실질적으로 동일한 양의 회전만큼 회전된 것으로 고려된다.

각각의 패널(104)이 회전되는 회전의 양(θ)은 직립 패널 배향(200)에 대해 10 내지 80도의 범위 내에 있을 수 있다. 이러한 범위 밖의 회전의 양들은, 역회전된 패널 배향의 이익들이 사용자(102)에 의해 지각되는 정도를 감소시킬 수 있다. 다시 말하면, 축-정렬된 방식으로(예를 들어, 디스플레이 패널의 수직들 및 수평들을 따라) 나타나는 시각적으로 산만한 결함들은, 디스플레이 패널들이 상당하지 않은 양(예를 들어, 10도 미만)만큼 또는 너무 많이(예를 들어, 80도 내지 90도) 회전되면 사용자(102)에게 눈에 띄게 유지될 수 있다. 일부 실시예들에서, 배향에서 역회전되는 한 쌍의 디스플레이 패널들(104)의 경우, 각각의 디스플레이 패널(104)이 회전되는 회전의 양(θ)은 직립 패널 배향(200)에 대해, 20 내지 70도의 범위 내, 30 내지 60도의 범위 내, 또는 40도 내지 50도의 범위 내에 있을 수 있다. 일부 실시예들에서, 디스플레이 패널들(104)은 45도와 동일한 회전의 양(θ)만큼 직립 패널 배향(200)에 대해 역회전될 수 있다. 45도 회전은 디스플레이 패널들(104)의 픽셀 레이아웃/패턴에 의존하여, 도 3의 정면도(300)에 도시된 바와 같이 가장 넓은 FOV(308) 뿐만 아니라 패널 아티팩트들의 가장 큰 완화를 제공할 수 있다. 공통 픽셀 패턴은 픽셀들이 디스플레이 패널 상에서 수직 열들 및 수평 행들로 배열되는 패턴이다. 이러한 유형의 픽셀 패턴으로, 45도 회전은 패널 아티팩트들의 가장 큰 완화를 제공할 수 있다. 그러나, 수직 열들 및 수평 행들로 배열된 픽셀들을 갖지 않는 다른 픽셀 패턴들이 고려된다. 이들 다른 유형들의 픽셀 패턴들의 경우, 회전의 상이한 양들(θ)이 패널 아티팩트들을 최적으로 완화시킬 수 있다. 더욱이, 10도 내지 45도 미만의 회전의 양이 사용자(102)의 코(312)의 윤곽을 따르는 데 최적일 수 있으며, 이는, 최적화된 인체공학적 이점들(예를 들어, 디스플레이 패널들(104)을 사용자(102)의 얼굴에 가능한 한 가깝게 이동시키는 것)을 허용할 수 있다.

역회전된 패널 배향으로 디스플레이 패널들(104)을 배향시키는 것으로부터 실현되는 다양한 이점들이 이제 설명된다. 하나의 이점은 증가된(예를 들어, 더 넓은) FOV(308)이다. 이러한 증가된 FOV(308)는, 직립 패널 배향(200)으로 배향된 디스플레이 패널들을 갖는 기존의 HMD들(100)에서 이용되지 않는 픽셀들이 도 3에 도시된 바와 같이, 디스플레이 패널들(104)이 배향에서 역회전될 때 이용될 수 있기 때문에, 보는 사용자에게 "자유롭게" 제공될 수 있다. 예를 들어, 렌즈들에 의해 야기되는 역 핀쿠션 왜곡으로 인해, 그리고 HMD가 코너들을 "절단하고", 이미지들의 더 심미적으로 만족스러운 프로파일을 사용자에게 제공하기 위해 코너들의 픽셀들을 이용하지 않는 것으로 인해, 디스플레이 패널들이 직립 패널 배향(200)으로 배향될 때, 디스플레이 패널들의 코너들에 위치된 픽셀들이 이용되지 않을 수 있다. 도 3의 정면도(300)는, 이들 디스플레이 패널들(104)이 직립 패널 배향(200)에 대해 45도와 동일한 회전의 양(θ)만큼 회전될 때, FOV(308)가 직사각형-형상 디스플레이 패널들(104)에 대한 수평 치수에서 어떻게 최대로 증가될 수 있는지를 예시한다. 수평 치수(즉, 직립 패널 배향(200)을 참조한 양의 및 음의 X-방향)에서의 증가된 FOV(308)는 실제로, 주변 비전을 사용하여 상당히 넓은 범위의 FOV로 실세계에서 볼 수 있는 보는 사용자(102)에게 더 현실적인 느낌을 제공할 수 있다.

디스플레이 패널들(104)을 역회전된 패널 배향으로 배향시킴으로써 실현되는 이점들 중 다른 것은, 패널 아티팩트들(예를 들어, 패널의 길이에 걸쳐있는 줄무늬들 또는 밴드들)이 더 이상 시각적으로 산만하지 않도록 그들을 위장하는 것에 의한 그들의 완화이다. 설명하기 위해, 디스플레이 패널들은 종종, 패널 아티팩트들로 지칭되는 결함들을 포함하며, 이들 패널 아티팩트들은 종종, 축-정렬 방식으로 발생한다(즉, 디스플레이 패널 상의 수평들 또는 수직들과 상관됨). 적어도 하나의 유형의 패널 아티팩트 - 디스플레이의 길이에 수직으로 걸쳐있는 밝은 및 어두운 줄무늬들 또는 밴드들 - 는 "반전(inversion)"으로 지칭되는 디스플레이 구동 방식에 의해 야기되며, 이는 교번하는 양의 및 음의 전압 파형을 사용하여 프레임-단위로 디스플레이를 구동시킨다. 양의 전압 및 음의 전압이 동일한 양의 전압으로 인가되도록 의도되지만, 그들은 전형적으로, 실제로는 상이한 전압들로 인가된다. 교류 전압 파형의 양의 및 음의 사이클들 사이의 전압의 이러한 차이는, 이미지들이 디스플레이 패널 상에서 디스플레이될 때, 매 프레임마다 픽셀들의 열당 플리커링(flickering) 출력을 야기한다. 이것은, 이미지들에서 디스플레이되고 있는 콘텐츠에 관련되지 않은 수직 줄무늬들(예를 들어, 인터리빙된 밝은 및 어두운 줄무늬들)로서, 보는 사용자에 의해 시각적으로 지각된다. 이들 줄무늬들은 보는 사용자에게 시각적으로 산만하다. HMD들에서, 이러한 시각적 산만함은, 사용자들의 머리 및 눈들이 HMD를 사용하는 동안 역회전하는 고유한 방식으로 인해 훨씬 더 두드러진다. 게다가, 직립-배향된 디스플레이 패널들을 이용하여, 양쪽 눈들이 프레임들에 걸쳐 디스플레이들 상의 동일한 위치들에서 밝은 및 어두운 줄무늬들을 봐서, 사용자에게 시각적 산만함을 야기한다.

다른 예시적인 패널 아티팩트는 적색, 녹색, 및 청색 픽셀들의 수직 정렬에 의해 야기되며, 이는 직립 배향된 디스플레이 패널들의 길이에 걸쳐있는 적색들, 녹색들, 및 청색들의 착색된 밴드들로서 직립-배향된 디스플레이 패널들에 나타나고, 이는 동일한 위치들에서 양쪽 눈들에 의해 보여 진다. 이것은 사용자(102)가 정확한 회전 레이트로 자신의 머리를 이동시킬 때 눈에 띄게 될 수 있다.

디스플레이 패널들(104)을 역회전된 패널 배향으로 배향시킴으로써, 위에서-언급된 패널 아티팩트들이 완화된다. 도 3은, 패널들(104)이 역회전된 패널 배향에 있을 때 배향되는 바와 같은 제1 디스플레이 패널(104(1)) 상의 픽셀들의 제1 그룹(310(1)) 및 제2 디스플레이 패널(104(2)) 상의 픽셀들의 제2 그룹(310(2))을 도시한다. 이러한 역회전된 패널 배향은 위에서-언급된 패널 결함들이 각각의 눈에서 상이하게 보이게 하며, 이는 실제로 패널 결함들을 위장하여, 이들 결함들이 보는 사용자(102)에 의해 눈에 띄지 않게 한다. 이것은 픽셀들의 그룹들(310(1), 310(2))이 그들의 역회전된 배향으로 인해 각각의 눈에서 더 이상 정렬되지 않기 때문이며, 이는, 각각의 눈이 역회전된 디스플레이 패널들(104) 상에서 이미징되는 장면 내의 그들 개개의 위치들의 관점들에서 상이한 결함을 보고, 결과적으로, 사용자(102)가 더 이상 장면에서 패널 결함들을 지각하지 못한다는 것을 의미한다. 적색, 녹색, 및 청색 픽셀들의 순전히 무작위한 분포가 패널 결함들의 최적화된 완화를 위해 최적일 수 있지만, 순전히 무작위한 분포가 실행불가능하고 그리고/또는 엄청나게 비용이 들 수 있다는 것이 인식된다. 역회전된 패널 배향은 픽셀들이 오정렬되게 하기에 충분하며, 그에 의해 양쪽 눈들이 양쪽 패널들(104) 상의 동일한 위치들에 위치된 동일한 픽셀 결함들을 동시에 보는 스테레오 융합을 방지한다. 일부 결함들이 순차적인 프레임들에 걸쳐, 역회전된 디스플레이 패널들(104) 둘 모두에서 자체적으로 정렬되더라도, 이들 결함들은 픽셀-당 레벨로 나타나며, 그들은 역회전된 패널 배향으로 인해 HMD(100)를 착용한 사용자(102)에 의해 눈에 띄지 않게 된다. 따라서, 도 3에 도시된 역회전된 패널 배향은 전술된 패널 결함들이 사용자(102)의 FOV의 수직 및 수평 방향의 관점들에서 오정렬되게 하고, 결과적으로 사용자(102)는 양쪽 눈들에서 동일한 패널 결함들을 보지 않으며, 이는 사용자(102)의 비전이 더 이상 패널 결함들에 "걸리지(snag)"않고, 그들이 눈에 띄지 않게 유지된다는 것을 의미한다.

디스플레이 패널들(104)을 역회전된 패널 배향으로 배향시킴으로써 실현되는 다른 이점은 개선된 인체공학이다. 이것은, 사용자들(102)의 코(312)가 동일 평면 상의 디스플레이 패널들(104) 각각의 전면 평면을 통과할 수 있는 도 3의 평면도(302)에서 보여질 수 있다. 직립-배향된 디스플레이 패널들의 경우, 디스플레이 패널들 사이에 제공되는 공간이 종종 불충분하며, 이는 디스플레이 패널들이 사용자의 코(312)와 충돌하는 지점을 지나서 사용자의 얼굴에 디스플레이 패널들이 더 가까워질 수 없다는 것을 의미한다. 디스플레이 패널들(104)을 역회전된 배향으로 배향시킴으로써, 사용자(102)의 코(312)에 대한 충분한 공간이 디스플레이 패널들(104) 사이에 제공되고, 그 후, 디스플레이 패널들(104)은 사용자(102)의 얼굴에 더 가깝게 이동될 수 있다. 이것은, HMD(100)의 깊이가 사용자(102)의 눈들 바로 앞에 있는 직립-배향된 디스플레이 패널들을 갖는 기존의 HMD들과 비교하여 추가로 감소될 수 있다는 것을 의미한다. 더 작고, 더 가벼우며, 더 밀착된 HMD(100)는, HMD(100)를 더 긴 시간 기간들 동안 착용하기에 더 편안하게 하고 그리고/또는 더 무겁고/더 부피가 큰 HMD들(100)에 더 민감할 수 있는 어린 사용자들(예를 들어, 어린이들)에 의해 사용가능하게 함으로써 HMD(100)의 인체공학을 개선시킨다.

도 3의 부가적인 평면도(304)는, 직립 패널 배향(200)의 횡단 평면에 직교하는 축(예를 들어, Y-축)을 중심으로 각각의 디스플레이 패널(104)을 기울임으로써 제공될 수 있는 디스플레이 패널들(104(1), 104(2))의 또 다른 배향을 도시한다. 예를 들어, 제1 디스플레이 패널(104(1))은 횡단 평면에 대해 직교 축을 중심으로 제1 방향(예를 들어, 반시계 방향)으로 기울어질 수 있고, 제2 디스플레이 패널(104(2))은 횡단 평면에 대해 직교 축을 중심으로 제1 방향과 반대인 제2 방향(예를 들어, 시계 방향으로)으로 기울어질 수 있다. 부가적으로 또는 대안적으로, 디스플레이 패널들(104)은 직립 패널 배향(200)의 정중시상 평면에 직교하는 제2 축(예를 들어, X-축)을 중심으로 기울어질 수 있다.

본 명세서에 설명되는 프로세스들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합(즉, 로직)으로 구현될 수 있는 동작들의 시퀀스를 표현하는 논리적 흐름 그래프의 블록들의 모음으로서 예시된다. 소프트웨어의 맥락에서, 블록들은, 하나 이상의 프로세서에 의해 실행될 때, 언급된 동작들을 수행하는 컴퓨터 실행가능 명령어들을 표현한다. 일반적으로, 컴퓨터 실행가능 명령어들은, 특정 기능들을 수행하거나 특정한 추상적 데이터 유형들을 구현하는 루틴들, 프로그램들, 객체들, 컴포넌트들, 데이터 구조들 등을 포함한다. 동작들이 설명되는 순서는 제한으로서 해석되게 하려는 의도는 아니며, 임의의 수의 설명된 블록들은 프로세스들을 구현하도록 병렬로 그리고/또는 임의의 순서로 조합될 수 있다.

도 4는, 역회전된 카메라 배향들을 갖는 카메라 포즈 데이터를 실행중인 애플리케이션에 전송하고, 카메라 포즈 데이터 또는 디스플레이 패널들의 배향들에 기초하여 회전 조정들 없이 애플리케이션에 의해 출력된 프레임을 리샘플링하며, 역회전된 디스플레이 패널들 상에서의 디스플레이를 위해, 리샘플링된 프레임에 대한 픽셀 데이터를 프레임 버퍼에 출력하기 위한 예시적인 프로세스(400)의 흐름도이다. 논의 목적들을 위해, 프로세스(400)는 이전의 도면들을 참조하여 설명된다.

도 4는 비디오 게임 애플리케이션 또는 임의의 다른 유형의 그래픽-기반 애플리케이션을 표현할 수 있는 애플리케이션(407)을 도시한다. 애플리케이션(407)은 HMD(100) 자체와 같은 컴퓨팅 디바이스, 또는 HMD 시스템의 일부로서 HMD(100)와 연관된 그리고 그에 커플링된 컴퓨팅 디바이스(예를 들어, 퍼스널 컴퓨터(PC), 게임 콘솔 등) 상에서 실행될 수 있다. 그러므로, 애플리케이션(407)은, HMD(100)(또는 HMD 시스템)의 합성기(403)에 의해 리샘플링되고, 궁극적으로 HMD(100)의 디스플레이 패널(들)(104) 상에서 이미지들로서 디스플레이되는 일련의 프레임들을 출력하도록 구성될 수 있다. 프레임들을 렌더링하기 전에, 애플리케이션(407)은 합성기(403)로부터 다양한 유형들의 데이터를 수신할 수 있다. 프레임들을 렌더링할 시에 애플리케이션(407)에 의한 사용을 위해 합성기(403)가 애플리케이션(407)에 전송하는 적어도 하나의 유형의 데이터는, 한 쌍의 가상 카메라들의 포즈들의 세트(포지션 및 배향을 포함함)를 포함하는 카메라 포즈 데이터(405)이다. 회전된 그리고/또는 기울어진 카메라 배향들을 애플리케이션(407)에 제공하기 위해, 일부 실시예들에서, 애플리케이션(407)은 자신의 능력들(예를 들어, 그것이 기울어지지 않은 직립 카메라 배향들 이외의 더 복잡한 카메라 배향들을 수신할 수 있다는 것을 표시함)을 합성기(403)에 통지할 수 있다. HMD(100)의 그래픽 로직은 비동기식 또는 동기식일 수 있다. 비동기식 시스템에서, 합성기(403)는 HMD(100)(또는 HMD 시스템)의 그래픽 프로세싱 유닛(들)(GPU(들)) 상에서 애플리케이션(407)과는 별개로 (별개의 비동기식 스레드 상에서) 실행된다.

402에서, HMD(100)(또는 HMD 시스템)의 합성기(403)는 픽셀 데이터의 프레임을 출력하도록 구성된 실행중인 애플리케이션(407)에 카메라 포즈 데이터(405)를 전송할 수 있다. 이러한 픽셀 데이터의 제1 서브세트는 제1 디스플레이 패널(104(1)), 제1 이미지, 제1 가상 카메라, 및/또는 HMD(100)를 착용한 사용자의 제1 눈과 연관되는 반면, 이러한 픽셀 데이터의 제2 서브세트는 제2 디스플레이 패널(104(2)), 제2 이미지, 제2 가상 카메라, 및/또는 HMD(100)를 착용한 사용자의 제2 눈과 연관된다. 카메라 포즈 데이터(405)는 카메라 포즈 데이터(405)에 따라 일련의 프레임들에서 다음 프레임을 어떻게 렌더링할지에 관해 애플리케이션(407)에게 통지한다. 블록(402)에서의 동작(들)은 애플리케이션 프로그래밍 인터페이스(API) 호출의 일부로서 수행될 수 있다.

서브-블록(404)에 의해 도시된 바와 같이, 카메라 포즈 데이터(405)는 제1 디스플레이 패널(104(1)) 상에 렌더링될 프레임에 대한 제1 이미지와 연관된 제1 회전된 카메라 배향을 포함할 수 있고, 이러한 제1 회전된 카메라 배향은 한 쌍의 가상 카메라들 중 제1 가상 카메라가 제1 방향(예를 들어, 반시계 방향)으로 직립 카메라 배향에 대해 회전된다는 것을 특정(또는 표시)한다. 제1 회전된 카메라 배향에서 특정된 회전의 양 및 방향은 그의 회전된 패널 배향의 관점들에서 제1 디스플레이 패널(104(1))의 회전의 양 및 방향에 기초할 수 있다. 즉, 제1 디스플레이 패널(104(1))이 직립 패널 배향(200)에 대해 시계방향으로 45도만큼 회전되면, 제1 회전된 카메라 배향은 제1 가상 카메라가 직립 카메라 배향에 대해 반시계방향으로 45도만큼 회전된다는 것을 표시할 수 있다. 본 명세서에서 설명된 바와 같이, 제1 회전된 카메라 배향은, 제1 디스플레이 패널(104(1))이 배향에서 기울어지게 된다면, 제1 가상 카메라가 기울어진다는 것을 추가로 특정(또는 표시)할 수 있다.

서브-블록(406)에 의해 도시된 바와 같이, 카메라 포즈 데이터(405)는 제2 디스플레이 패널(104(2)) 상에 렌더링될 프레임에 대한 제2 이미지와 연관된 제2 회전된 카메라 배향을 더 포함할 수 있고, 이러한 제2 회전된 카메라 배향은 한 쌍의 가상 카메라들 중 제2 가상 카메라가 제1 방향과 반대인 제2 방향(예를 들어, 시계 방향)으로 직립 카메라 배향에 대해 회전된다는 것을 특정(또는 표시)한다. 제2 회전된 카메라 배향에서 특정된 회전의 양 및 방향은 그의 회전된 패널 배향의 관점들에서 제2 디스플레이 패널(104(2))의 회전의 양 및 방향에 기초할 수 있다. 즉, 제2 디스플레이 패널(104(2))이 직립 패널 배향(200)에 대해 반시계방향으로 45도만큼 회전되면, 제2 회전된 카메라 배향은 제2 가상 카메라가 직립 카메라 배향에 대해 시계방향으로 45도만큼 회전된다는 것을 표시할 수 있다. 본 명세서에서 설명된 바와 같이, 제2 회전된 카메라 배향은, 제2 디스플레이 패널(104(2))이 배향에서 기울어지게 된다면, 제2 가상 카메라가 기울어진다는 것을 추가로 특정(또는 표시)할 수 있다.

408에서, 합성기(403)는 애플리케이션(407)으로부터, 제1 이미지(409(1))(예를 들어, 좌측 이미지) 및 제2 이미지(409(2))(예를 들어, 우측 이미지)를 포함하는 프레임을 수신할 수 있다. 이들 이미지들(409(1), 409(2))(총괄하여, 409)이 애플리케이션(407)으로부터 그리고 합성기(403)에 의해 픽셀 데이터로서 수신될 수 있다는 것이 인식되어야 한다. 일부 실시예들에서, 각각의 이미지(409)에 대한 픽셀 데이터는 픽셀-당 값들(예를 들어, 컬러 값들)의 2차원 어레이를 포함할 수 있다. 일부 실시예들에서, 픽셀 데이터는 깊이 값들과 같은 부가적인 데이터 또는 메타데이터를 더 포함한다. 일부 실시예들에서, 픽셀 데이터는 컬러 및 알파 값들(예를 들어, 적색 채널에 대한 하나의 컬러 값, 녹색 채널에 대한 하나의 컬러 값, 청색 채널에 대한 하나의 컬러 값, 및 하나 이상의 알파 채널들에 대한 하나 이상의 값들)의 단일 세트에 의해 표현되는 각각의 픽셀에 대한 데이터를 포함할 수 있다. 도 4에 도시된 바와 같이, 한 쌍의 이미지들(409)은 역회전된 카메라 배향들을 포함했던 카메라 포즈 데이터(405)에 따라 애플리케이션(407)에 의해 렌더링되었다. 그러므로, 한 쌍의 이미지들(409) 내의 장면들은 역회전된 카메라 배향들에 기초하여, 대응하는 회전의 양만큼 역회전된다. 달리 말하면, 애플리케이션(407)은 가상 카메라들의 역회전된 카메라 배향들을 기본적으로 렌더링한다.

410에서, 합성기(403)는 카메라 포즈 데이터 또는 디스플레이 패널들의 배향들에 기초하여 임의의 회전 조정들 없이 프레임을 리샘플링할 수 있다. 리샘플링은, 애플리케이션-렌더링된 프레임이 디스플레이 패널들(104) 상에서의 제시를 위해 프레임 버퍼에 출력되기 전에 애플리케이션-렌더링된 프레임을 수정/변경/보정하기 위해 애플리케이션(407)에 의해 출력된 프레임의 픽셀 데이터에 하나 이상의 디지털 변환들을 적용하는 것을 수반할 수 있다. 예를 들어, 합성기(403)는 리샘플링된 프레임의 수정된 픽셀 데이터를 획득하기 위해 프레임(409(1))의 픽셀 데이터를 수정함으로써, 리샘플링된 프레임을 획득하기 위해 프레임을 리샘플링할 수 있다. 특히, 블록(410)에서의 프레임의 픽셀 데이터의 이러한 수정은 카메라 포즈 데이터(405) 또는 디스플레이 패널들(104)의 배향들에 기초한 픽셀 데이터의 회전 조정들을 수반하지 않는다. 예를 들어, 블록(410)에서의 리샘플링 동작(들)은, 렌즈 왜곡(예를 들어, 색채 왜곡)에 대한 보정, 사용자(102)의 예측된 머리 포즈에 따라 픽셀 데이터를 수정하기 위해 재투영 변환들을 적용하는 것, 및/또는 시각적 관점으로부터 개선되거나 그렇지 않으면 보정되는 리샘플링된 프레임을 생성하기 위해 픽셀 데이터를 수정하는 다른 수학적 연산들을 제한 없이 포함할 수 있다. 재투영이 기준 축을 중심으로 프레임을 효과적으로 회전시키는 회전 변환들을 수반할 수 있지만, 이들 회전 변환들은 재투영에서 사용자(102)의 예측된 머리 포즈에 기초하고, 가상 카메라들에 관한 카메라 포즈 데이터(405) 또는 디스플레이 패널들(104)의 직립에 대한 회전에 기초하지 않는다. 블록(410)에서 카메라 포즈 데이터(405) 또는 디스플레이 패널들(104)의 배향들에 기초하여 회전 조정들을 수행하지 않음으로써, 렌더링 파이프 라인은, 리샘플링 단계에서 (시계 방향/반시계 방향으로의) 회전 조정들을 수반하는 본 명세서에 설명된 다른 실시예들과 비교하여 더 효율적으로 이루어진다.

412에서, 합성기(403)는, 리샘플링된 프레임이 HMD(100)의 역회전된 디스플레이 패널들(104(1), 104(2)) 상에서 한 쌍의 이미지들로서 출력될 수 있도록, 리샘플링된 프레임과 연관된 수정된 픽셀 데이터를 프레임 버퍼에 출력할 수 있다.

414에서, 리샘플링된 프레임에 기초한 한 쌍의 이미지들은 HMD(100)의 역회전된 디스플레이 패널들(104(1), 104(2)) 상에서 디스플레이될 수 있다. 도 4에 도시된 바와 같이, 디스플레이 패널들(104) 상에 제시된 이미지들은 디스플레이 패널들(104)의 역회전 배향에도 불구하고 직립 배향에 있다. 이것은 카메라 포즈 데이터(405)에서 애플리케이션(407)에 제공되는 역회전된 카메라 배향들 때문이다. 프로세스(400)가 단일 프레임을 렌더링하는 것을 수반하고, 프로세스(400)가 애플리케이션(407)의 실행 동안 다수의 순차적인 프레임들을 렌더링하기 위해 반복될 수 있다는 것이 인식되어야 한다.

프로세스(400)의 경우에서와 같이, 역회전된 카메라 배향들을 사용하는 것으로부터 제공되는 예시적인 부가적인 이점은, 디스플레이된 이미지들에서의 샘플링 아티팩트들(예를 들어, 들쭉날쭉한 라인들)의 완화이다. 설명하기 위해, 애플리케이션(407)은, 이미지들(409(1), 409(2))을 포함하는 프레임을 렌더링하는 프로세스에서, 수퍼-샘플링, 안티에일리어싱(예를 들어, 픽셀 당 16개의 샘플들(4x4)로부터 픽셀 당 1개의 샘플로 멀티샘플 안티에일리어싱(MSAA) 버퍼를 변형(resolve)시킴) 등과 같은 다양한 샘플링 단계들 자체를 수행할 수 있다. 애플리케이션(407)에서의 이들 샘플링 단계들은 프레임의 수직들 및 수평들 상에 자체적으로 정렬되는 경향이 있는 샘플링 아티팩트들을 도입한다. 부가적으로, 합성기(403)가 전형적으로, 애플리케이션(407)으로부터 수신된 프레임을 리샘플링하기 위해 8과 11 ms 사이의 임의의 시간을 갖기 때문에, 리샘플링 동작들을 가속화시키기 위해 고속 필터들(예를 들어, 박스 필터들, 선형 필터들 등)이 사용된다. 이들 유형들의 필터들은 종종, (프레임의 수직들 및 수평들에서) 또한 축 정렬되는 리샘플링된 프레임에서 샘플링 아티팩트들이 나타내게 하는 축-정렬된 속성들을 갖는다. 수직으로-정렬된 객체들 및 수평으로 정렬된 객체들이 전형적으로 가상 현실 환경들에서 유비쿼터스(ubiquitous)이기 때문에, 직립 카메라 배향들이 가상 카메라들에 대해 사용될 때, 결과적인 이미지들은 종종, 이미지의 수직들 및 수평들을 따라 많은 샘플링 아티팩트들, 예컨대 디스플레이된 이미지에서 "계단 단계들"처럼 보이는 들쭉날쭉한 수평 라인들 및 들쭉날쭉한 수직 라인들을 포함한다. 이것은, 특히 이들 들쭉날쭉한 라인들이 뷰의 안팎으로 올 때, 보는 사용자에게 상당히 시각적으로 산만해질 수 있다. 반대로, 이미지에 걸쳐 대각선으로 이어지는 라인들은 종종, 인지가능한 들쭉날쭉한 외관 없이 매끄럽게 보인다. 예를 들어, 프로세스(400)에서 설명된 바와 같이, 프레임을 렌더링하기 위해 애플리케이션(407)에 제공되는 카메라 포즈 데이터(405)에서 역회전된 카메라 배향들을 특정함으로써, 이들 샘플링 아티팩트들은 그들이 최종 이미지들에서 비-수직 및 비-수평 각도들로 끝나기 때문에 완화되며, 이미지들 내의 객체들을 보기에 더 심미적으로 만족스럽게 만든다.

도 5는 본 명세서에 개시된 실시예들에 따른, HMD(100)의 렌즈들(108)을 통해, 보는 사용자(102)의 관점으로부터 보여지는 바와 같은 디스플레이된 이미지들의 뷰(502)를 예시한 도면이다. 사용자(102)는 본 명세서에 설명된 이점들을 거두며(reap), 이들 중 많은 것은 디스플레이 패널들(104)이 직립 패널 배향(200)에 있지 않다는 것을 알리지 않을 수 있으면서 개선된 디스플레이 성능(예컨대, 완화된 패널 아티팩트들, 완화된 샘플링 아티팩트들, 증가된 FOV 등)에 관련된다.

도 6은, 직립 카메라 배향들을 갖는 카메라 포즈 데이터를 실행중인 애플리케이션에 전송하고, 시계 방향/반시계 방향으로의 회전 조정들을 이용하여 애플리케이션에 의해 출력된 프레임을 리샘플링하며, 역회전된 디스플레이 패널들 상에서의 디스플레이를 위해, 리샘플링된 프레임에 대한 픽셀 데이터를 프레임 버퍼에 출력하기 위한 예시적인 프로세스(600)의 흐름도이다. 논의 목적들을 위해, 프로세스(600)는 이전의 도면들을 참조하여 설명된다.

602에서, HMD(100)(또는 HMD 시스템)의 합성기(403)는 픽셀 데이터의 프레임을 출력하도록 구성된 실행중인 애플리케이션(407)에 카메라 포즈 데이터(605)를 전송할 수 있다. 이러한 픽셀 데이터의 제1 서브세트는 제1 디스플레이 패널(104(1)), 제1 이미지, 제1 가상 카메라, 및/또는 HMD(100)를 착용한 사용자의 제1 눈과 연관되는 반면, 이러한 픽셀 데이터의 제2 서브세트는 제2 디스플레이 패널(104(2)), 제2 이미지, 제2 가상 카메라, 및/또는 HMD(100)를 착용한 사용자의 제2 눈과 연관된다. 카메라 포즈 데이터(605)는 카메라 포즈 데이터(605)에 따라 일련의 프레임들에서 다음 프레임을 어떻게 렌더링할지에 관해 애플리케이션(407)에게 통지한다. 블록(602)에서의 동작(들)은 API 호출의 일부로서 수행될 수 있다. 일부 실시예들에서, 합성기(403)는, 디스플레이 패널들이 직립-배향되었다면 렌더링하도록 애플리케이션(407)에게 그 합성기(403)가 전형적으로 요청할 픽셀들에 부가적인 픽셀들을 렌더링하도록 애플리케이션(407)에게 추가로 요청할 수 있다. 이것은, 프레임의 이미지들이 아래의 블록(610)에서의 리샘플링 동작(들)에서 역회전될 것이고, 리샘플링 동안 배향으로 이미지들을 회전시키는 것으로부터 초래되는 갭들을 채우기 위해 부가적인 픽셀들이 사용될 수 있기 때문이다.

서브-블록(604)에 의해 도시된 바와 같이, 카메라 포즈 데이터(605)는 제1 디스플레이 패널(104(1)) 상에 렌더링될 프레임에 대한 제1 이미지와 연관된 제1 직립 카메라 배향을 포함할 수 있고, 이러한 제1 직립 카메라 배향은, 한 쌍의 가상 카메라들 중 제1 가상 카메라가 직립 카메라 배향에 있다는 것을 특정(또는 표시)한다. 본 명세서에서 설명된 바와 같이, 제1 직립 카메라 배향은, 제1 디스플레이 패널(104(1))이 배향에서 기울어지게 된다면, 제1 가상 카메라가 기울어진다는 것을 추가로 특정(또는 표시)할 수 있다.

서브-블록(606)에 의해 도시된 바와 같이, 카메라 포즈 데이터(605)는 제2 디스플레이 패널(104(2)) 상에 렌더링될 프레임에 대한 제2 이미지와 연관된 제2 직립 카메라 배향을 더 포함할 수 있고, 이러한 제2 직립 카메라 배향은 한 쌍의 가상 카메라들 중 제2 가상 카메라가 직립 카메라 배향에 있다는 것을 특정(또는 표시)한다. 본 명세서에서 설명된 바와 같이, 제2 직립 카메라 배향은, 제2 디스플레이 패널(104(2))이 배향에서 기울어지게 된다면, 제2 가상 카메라가 기울어진다는 것을 추가로 특정(또는 표시)할 수 있다.

608에서, 합성기(403)는 애플리케이션(407)으로부터, 제1 이미지(609(1))(예를 들어, 좌측 이미지) 및 제2 이미지(609(2))(예를 들어, 우측 이미지)를 포함하는 프레임을 수신할 수 있다. 이들 이미지들(609(1), 609(2))(총괄하여, 609)이 애플리케이션(407)으로부터 그리고 합성기(403)에 의해 픽셀 데이터로서 수신될 수 있다는 것이 인식되어야 한다. 게다가, 도 6에 도시된 바와 같이, 한 쌍의 이미지들(609)은 직립 카메라 배향들을 포함했던 카메라 포즈 데이터(605)에 따라 애플리케이션(407)에 의해 렌더링되었다. 그러므로, 한 쌍의 이미지들(609) 내의 장면들은 프로세스(400)의 경우와 같이, 직립이고 회전되지 않는다.

610에서, 합성기(403)는 프레임의 이미지들(609)을 역회전시킴으로써 프레임을 리샘플링할 수 있다. 예를 들어, 합성기(403)는, 제1 회전된 이미지(611(1))에 대응하는 리샘플링된 프레임의 수정된 픽셀 데이터의 제1 서브세트를 획득하기 위해 제1 가상 카메라와 연관된 프레임의 픽셀 데이터의 제1 서브세트를 제1 방향(예를 들어, 반시계 방향)으로 회전시킴으로써, 그리고 제2 회전된 이미지(611(2))에 대응하는 리샘플링된 프레임의 수정된 픽셀 데이터의 제2 서브세트를 획득하기 위해 제2 가상 카메라와 연관된 프레임의 픽셀 데이터의 제2 서브세트를 제1 방향과 반대인 제2 방향(예를 들어, 시계 방향)으로 회전시킴으로써 프레임을 리샘플링할 수 있다. 이들 회전 조정들은 픽셀들의 X-Y 맵핑을 이용할 수 있고, 시작 좌표(X1, Y1)로부터 타겟 좌표(X2, Y2)로 각각의 픽셀을 이동시키기 위해 수학적 계산들을 수행할 수 있다. 블록(610)에서의 리샘플링 동작(들)은, 렌즈 왜곡(예를 들어, 색채 왜곡)에 대한 보정, 사용자(102)의 예측된 머리 포즈에 따라 픽셀 데이터를 수정하기 위해 재투영 변환들을 적용하는 것 등과 같지만 이에 제한되지 않는 부가적인 디지털 변환들을 포함할 수 있다.

612에서, 합성기(403)는, 리샘플링된 프레임이 HMD(100)의 역회전된 디스플레이 패널들(104(1), 104(2)) 상에서 한 쌍의 이미지들로서 출력될 수 있도록, 리샘플링된 프레임과 연관된 수정된 픽셀 데이터를 프레임 버퍼에 출력할 수 있다.

614에서, 리샘플링된 프레임의 한 쌍의 회전된 이미지들(611)은 HMD(100)의 역회전된 디스플레이 패널들(104(1), 104(2)) 상에서 디스플레이될 수 있다. 도 6에 도시된 바와 같이, 디스플레이 패널들(104) 상에 제시된 이미지들은 디스플레이 패널들(104)의 역회전 배향에도 불구하고 직립 배향에 있다. 이것은, 카메라 포즈 데이터(605)에서 애플리케이션(407)에 제공되는 역회전된 카메라 배향들을 보상하는 블록(610)의 리샘플링 동작(들)에서의 회전 조정들 때문이다. 프로세스(600)가 단일 프레임을 렌더링하는 것을 수반하고, 프로세스(600)가 애플리케이션(407)의 실행 동안 다수의 순차적인 프레임들을 렌더링하기 위해 반복될 수 있다는 것이 인식되어야 한다. 본 명세서에서 설명된 샘플링 아티팩트들이 도 6의 실시예에서 디스플레이된 이미지들에서 그 자체로 나타날 수 있지만, 디스플레이 패널들(104)의 역회전된 배향은 패널 아티팩트들의 완화, 증가된 FOV, 및 개선된 인체공학과 같은 본 명세서에서 설명된 나머지 이점들을 제공한다.

도 7은, 직립 패널 배향들(200)의 한 쌍의 디스플레이 패널들(104(1), 104(2))의 정면도(700) 뿐만 아니라 직립 패널 배향들(200)의 한 쌍의 디스플레이 패널들(104(1), 104(2))의 평면도(702), 및 디스플레이 패널들을 기울인 이후의 한 쌍의 디스플레이 패널들(104(1), 104(2))의 부가적인 평면도(704)를 예시한 도면이다. 도 7의 디스플레이 패널들(104(1), 104(2))의 배향들은 아래의 도 8에서 설명되는 실시예의 맥락에서 제시된다. 즉, 디스플레이 패널들(104)은 이러한 실시예에서 역회전되지 않고, 대신에 직립 패널 배향(200)으로 배향된다. 일부 실시예들에서, 디스플레이 패널들(104)은, 예컨대 직립 패널 배향(200)의 횡단 평면에 직교하는 축(예를 들어, Y-축)을 중심으로 각각의 디스플레이 패널(104)을 기울임으로써 기울어질 수 있다. 예를 들어, 제1 디스플레이 패널(104(1))은 횡단 평면에 대해 직교 축을 중심으로 제1 방향(예를 들어, 반시계 방향)으로 기울어질 수 있고, 제2 디스플레이 패널(104(2))은 횡단 평면에 대해 직교 축을 중심으로 제1 방향과 반대인 제2 방향(예를 들어, 시계 방향으로)으로 기울어질 수 있다. 부가적으로 또는 대안적으로, 디스플레이 패널들(104)은 직립 패널 배향(200)의 정중시상 평면에 직교하는 제2 축(예를 들어, X-축)을 중심으로 기울어질 수 있다.

도 8은, 역회전된 카메라 배향들을 갖는 카메라 포즈 데이터를 실행중인 애플리케이션에 전송하고, 시계 방향/반시계 방향으로의 회전 조정들을 이용하여 애플리케이션에 의해 출력된 프레임을 리샘플링하며, 도 7에 도시된 디스플레이 패널들과 같은 직립-배향된 디스플레이 패널들 상에서의 디스플레이를 위해, 리샘플링된 프레임에 대한 픽셀 데이터를 프레임 버퍼에 출력하기 위한 예시적인 프로세스(800)의 흐름도이다. 논의 목적들을 위해, 프로세스(800)는 이전의 도면들을 참조하여 설명된다.

802에서, HMD(100)(또는 HMD 시스템)의 합성기(403)는 픽셀 데이터의 프레임을 출력하도록 구성된 실행중인 애플리케이션(407)에 카메라 포즈 데이터(805)를 전송할 수 있다. 이러한 픽셀 데이터의 제1 서브세트는 제1 디스플레이 패널(104(1)), 제1 이미지, 제1 가상 카메라, 및/또는 HMD(100)를 착용한 사용자의 제1 눈과 연관되는 반면, 이러한 픽셀 데이터의 제2 서브세트는 제2 디스플레이 패널(104(2)), 제2 이미지, 제2 가상 카메라, 및/또는 HMD(100)를 착용한 사용자의 제2 눈과 연관된다. 카메라 포즈 데이터(805)는 카메라 포즈 데이터(805)에 따라 일련의 프레임들에서 다음 프레임을 어떻게 렌더링할지에 관해 애플리케이션(407)에게 통지한다. 블록(802)에서의 동작(들)은 API 호출의 일부로서 수행될 수 있다. 일부 실시예들에서, 합성기(403)는, 합성기(403)가 카메라 포즈 데이터(805)에서 직립 카메라 배향들을 전송했었다면 렌더링하도록 애플리케이션(407)에게 그 합성기(403)가 전형적으로 요청할 픽셀들에 부가적인 픽셀들을 렌더링하도록 애플리케이션(407)에게 추가로 요청할 수 있다. 이것은, 카메라 포즈 데이터(805)의 역회전된 카메라 배향들을 상쇄시키기 위해 프레임의 이미지들이 아래의 블록(810)에서의 리샘플링 동작(들)에서 역회전될 것이고, 리샘플링 동안 배향으로 이미지들을 회전시키는 것으로부터 초래되는 갭들을 채우기 위해 부가적인 픽셀들이 사용될 수 있기 때문이다.

서브-블록(804)에 의해 도시된 바와 같이, 카메라 포즈 데이터(805)는 제1 디스플레이 패널(104(1)) 상에 렌더링될 프레임에 대한 제1 이미지와 연관된 제1 회전된 카메라 배향을 포함할 수 있고, 이러한 제1 회전된 카메라 배향은 한 쌍의 가상 카메라들 중 제1 가상 카메라가 제1 방향(예를 들어, 반시계 방향)으로 직립 카메라 배향에 대해 회전된다는 것을 특정(또는 표시)한다. 제1 회전된 카메라 배향에서 특정된 회전의 양은 직립 카메라 배향에 대해, 10 내지 80도의 범위 내, 20 내지 70도의 범위 내, 30 내지 60도의 범위 내, 또는 40 내지 50도의 범위 내에 있을 수 있다. 45-도 회전은 샘플링 아티팩트들의 가장 큰 완화를 제공할 수 있다. 본 명세서에서 설명된 바와 같이, 제1 회전된 카메라 배향은, 제1 디스플레이 패널(104(1))이 배향에서 기울어지게 된다면, 제1 가상 카메라가 기울어진다는 것을 추가로 특정(또는 표시)할 수 있다.

서브-블록(806)에 의해 도시된 바와 같이, 카메라 포즈 데이터(805)는 제2 디스플레이 패널(104(2)) 상에 렌더링될 프레임에 대한 제2 이미지와 연관된 제2 회전된 카메라 배향을 더 포함할 수 있고, 이러한 제2 회전된 카메라 배향은 한 쌍의 가상 카메라들 중 제2 가상 카메라가 제1 방향과 반대인 제2 방향(예를 들어, 시계 방향)으로 직립 카메라 배향에 대해 회전된다는 것을 특정(또는 표시)한다. 제2 회전된 카메라 배향에서 특정된 회전의 양은 제1 회전된 카메라 배향에서 특정된 회전의 양과 실질적으로 동일할 수 있고, 서브-블록(804)을 참조하여 특정된 회전 범위들 내에 있을 수 있다. 본 명세서에서 설명된 바와 같이, 제2 회전된 카메라 배향은, 제2 디스플레이 패널(104(2))이 배향에서 기울어지게 된다면, 제2 가상 카메라가 기울어진다는 것을 추가로 특정(또는 표시)할 수 있다.

808에서, 합성기(403)는 애플리케이션(407)으로부터, 제1 이미지(809(1))(예를 들어, 좌측 이미지) 및 제2 이미지(809(2))(예를 들어, 우측 이미지)를 포함하는 프레임을 수신할 수 있다. 이들 이미지들(809(1), 809(2))(총괄하여, 809)이 애플리케이션(407)으로부터 그리고 합성기(403)에 의해 픽셀 데이터로서 수신될 수 있다는 것이 인식되어야 한다. 게다가, 도 8에 도시된 바와 같이, 한 쌍의 이미지들(809)은 역회전된 카메라 배향들을 포함했던 카메라 포즈 데이터(805)에 따라 애플리케이션(407)에 의해 렌더링되었다. 그러므로, 한 쌍의 이미지들(809) 내의 장면들은 역회전된 카메라 배향들에 기초하여, 대응하는 회전의 양만큼 역회전된다. 달리 말하면, 애플리케이션(407)은 가상 카메라들의 역회전된 카메라 배향들을 기본적으로 렌더링한다.

810에서, 합성기(403)는 프레임의 이미지들(809)을 역회전시킴으로써 프레임들을 리샘플링할 수 있다. 예를 들어, 합성기(403)는, 제1 회전된 이미지(811(1))에 대응하는 리샘플링된 프레임의 수정된 픽셀 데이터의 제1 서브세트를 획득하기 위해 제1 가상 카메라와 연관된 프레임의 픽셀 데이터의 제1 서브세트를 제1 방향(예를 들어, 시계 방향)으로 회전시킴으로써, 그리고 제2 회전된 이미지(811(2))에 대응하는 리샘플링된 프레임의 수정된 픽셀 데이터의 제2 서브세트를 획득하기 위해 제2 가상 카메라와 연관된 프레임의 픽셀 데이터의 제2 서브세트를 제1 방향과 반대인 제2 방향(예를 들어, 반시계 방향)으로 회전시킴으로써 프레임을 리샘플링할 수 있다. 픽셀 데이터의 제2 서브세트가 회전된 회전의 양은 픽셀 데이터의 제1 서브세트가 회전된 회전의 양과 실질적으로 동일할 수 있고, 서브-블록(804)을 참조하여 특정된 회전 범위들 내에 있을 수 있다. 블록(810)에서의 리샘플링 동작(들)은, 렌즈 왜곡(예를 들어, 색채 왜곡)에 대한 보정, 사용자(102)의 예측된 머리 포즈에 따라 픽셀 데이터를 수정하기 위해 재투영 변환들을 적용하는 것 등과 같지만 이에 제한되지 않는 부가적인 디지털 변환들을 포함할 수 있다.

812에서, 합성기(403)는, 리샘플링된 프레임이 도 7에 도시된 디스플레이 패널들과 같은 HMD(100)의 직립-배향된 디스플레이 패널들(104(1), 104(2)) 상에서 한 쌍의 이미지들로서 출력될 수 있도록, 리샘플링된 프레임과 연관된 수정된 픽셀 데이터를 프레임 버퍼에 출력할 수 있다.

814에서, 한 쌍의 회전된 이미지들(811)은 HMD(100)의 직립-배향된 디스플레이 패널들(104(1), 104(2)) 상에서 디스플레이될 수 있다. 도 8에 도시된 바와 같이, 디스플레이 패널들(104) 상에 제시된 이미지들은 직립 배향에 있다. 이것은, 카메라 포즈 데이터(805)에서 애플리케이션(407)에 제공되는 역회전된 카메라 배향들을 보상하는 블록(810)의 리샘플링 동작(들)에서의 회전 조정들 때문이다. 프로세스(800)가 단일 프레임을 렌더링하는 것을 수반하고, 프로세스(800)가 애플리케이션(407)의 실행 동안 다수의 순차적인 프레임들을 렌더링하기 위해 반복될 수 있다는 것이 인식되어야 한다. 프로세스(800)는, 수직-배향된 디스플레이 패널들(104)을 갖는 HMD(100)에서의 그것의 사용에도 불구하고, HMD(100)의 디스플레이 성능을 개선시키기 위해, 본 명세서에 설명된 샘플링 아티팩트들(예를 들어, 들쭉날쭉한 라인들)을 완화시킨다.

도 9는 본 명세서에 개시된 실시예들에 따른, VR 헤드셋과 같은 HMD(100)(또는 HMD(100)를 포함하는 HMD 시스템)의 예시적인 컴포넌트들이 임베딩될 수 있는 것을 예시한다. HMD(100)는 (예를 들어, 사용자(102)의 머리 상에) 사용자(102)에 의해 착용될 독립형 디바이스로서 구현될 수 있다. 일부 실시예들에서, HMD(100)는, 예컨대 사용자(102)의 머리 주위에 맞도록 크기설정된 고정 메커니즘(예를 들어, 조정가능한 밴드)을 사용하여 사용자(102)가 자신의 머리 상에 HMD(100)를 고정시키게 허용함으로써 머리-장착가능할 수 있다. 일부 실시예들에서, HMD(100)는 근안 또는 눈-부근 디스플레이(들)를 포함하는 가상 현실(VR) 또는 증강 현실(AR) 헤드셋을 포함한다. 그러므로, 용어들 "웨어러블 디바이스", "웨어러블 전자 디바이스", "VR 헤드셋", "AR 헤드셋", 및 "머리-장착형 디스플레이(HMD)"는 도 1의 디바이스(100)를 지칭하기 위해 본 명세서에서 상호교환가능하게 사용될 수 있다. 그러나, 이들 유형들의 디바이스들이 단지 HMD(100)의 예시일 뿐이라는 것이 인식되어야 하며, HMD(100)가 다양한 다른 폼 팩터들로 구현될 수 있다는 것이 인식되어야 한다. 도 9에 도시된 컴포넌트들 중 일부 또는 전부가 HMD(100) 상에 구현될 수 있다는 것이 또한 인식되어야 한다. 따라서, 일부 실시예들에서, 도 9에 도시된 컴포넌트들의 서브세트는, HMD 시스템의 일부이지만 HMD(100) 자체와는 별개인 컴퓨팅 디바이스, 예컨대, PC, 게임 콘솔, 또는 임의의 다른 적합한 컴퓨팅 디바이스 상에 구현될 수 있다.

예시된 구현예에서, HMD(100)는 하나 이상의 프로세서들(902) 및 메모리(904)(예를 들어, 컴퓨터 판독가능 매체들(904))를 포함한다. 일부 구현예들에서, 프로세서들(들)(902)은 중앙 프로세싱 유닛(CPU)(들), 그래픽 프로세싱 유닛(GPU)(들), CPU(들) 및 GPU(들) 둘 모두, 마이크로프로세서(들), 디지털 신호 프로세서(들) 또는 당업계에 알려진 다른 프로세싱 유닛들 또는 컴포넌트들을 포함할 수 있다. 대안적으로 또는 부가적으로, 본 명세서에 설명된 기능은, 적어도 부분적으로, 하나 이상의 하드웨어 로직 컴포넌트들에 의해 수행될 수 있다. 예를 들어, 그리고 제한 없이, 사용될 수 있는 예시적인 유형들의 하드웨어 로직 컴포넌트들은 필드-프로그래밍가능 게이트 어레이(FPGA)들, 주문형 집적 회로(ASIC)들, 주문형 표준 제품(ASSP)들, 시스템-온-칩 시스템(SOC, system-on-a-chip system)들, 복합 프로그래밍가능 로직 디바이스(CPLD)들 등을 포함한다. 부가적으로, 프로세서(들)(902) 각각은, 프로그램 모듈들, 프로그램 데이터, 및/또는 하나 이상의 운영 체제들을 또한 저장할 수 있는 그 자신의 로컬 메모리를 소유할 수 있다.

메모리(904)는 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성 메모리, 제거가능 및 제거불가능 매체들을 포함할 수 있다. 그러한 메모리는, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다목적 디스크들(DVD) 또는 다른 광학 저장소, 자기 카세트들, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, RAID 저장 시스템들, 또는 원하는 정보를 저장하는 데 사용될 수 있고 컴퓨팅 디바이스에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만 이에 제한되지 않는다. 메모리(904)는 메모리(904) 상에 저장된 명령어들을 실행하기 위해 프로세서(들)(902)에 의해 액세스가능한 임의의 이용가능한 물리적 매체들일 수 있는 컴퓨터 판독가능 저장 매체들("CRSM")로서 구현될 수 있다. 하나의 기본 구현예에서, CRSM은 랜덤 액세스 메모리("RAM") 및 플래시 메모리를 포함할 수 있다. 다른 구현예에서, CRSM은 판독 전용 메모리("ROM"), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리("EEPROM"), 또는 원하는 정보를 저장하는 데 사용될 수 있고 프로세서(들)(902)에 의해 액세스될 수 있는 임의의 다른 유형의(tangible) 매체를 포함할 수 있지만 이에 제한되지 않는다.

일반적으로, HMD(100)는 본 명세서에 설명된 기법들, 기능, 및/또는 동작들을 구현하도록 구성된 로직(예를 들어, 소프트웨어, 하드웨어, 및/또는 펌웨어 등)을 포함할 수 있다. 컴퓨터 판독가능 매체들(904)은, 본 명세서에 설명된 기법들, 기능, 및/또는 동작들을 수행하기 위해 프로세서(들)(902) 상에서 실행되도록 구성될 수 있는 다양한 모듈들, 예컨대 명령어, 데이터스토어들 등을 포함하는 것으로 도시된다. 몇몇 예시적인 기능 모듈들은 컴퓨터 판독가능 매체들(904)에 저장되고 프로세서(들)(902) 상에서 실행가능한 것으로 도시되지만, 동일한 기능은 대안적으로 하드웨어, 펌웨어에서, 또는 시스템 온 칩(SOC), 및/또는 다른 로직으로서 구현될 수 있다.

운영 체제 모듈(906)은 다른 모듈들의 이점을 위해 HMD(100) 내에 있고 그에 커플링된 하드웨어를 관리하도록 구성될 수 있다. 부가적으로, 일부 예시들에서, HMD(100)는 메모리(904)에 저장되거나 또는 그렇지 않으면 HMD(100)에 액세스가능한 하나 이상의 애플리케이션들(407)을 포함할 수 있다. 이러한 구현예에서, 애플리케이션(들)(407)은 비디오 게임 애플리케이션(들)(407)을 포함한다. 그러나, HMD(100)는 임의의 수 또는 유형의 애플리케이션들을 포함할 수 있으며, 본 명세서에 도시된 특정 예로 제한되지 않는다. 비디오 게임 애플리케이션(들)(407)은 사용자(102)에 의해 플레이가능한 비디오-기반의 상호작용형 게임(예를 들어, VR 게임)의 게임플레이를 개시하고, HMD(100)의 디스플레이 패널들(104) 상에 렌더링될 프레임들을 출력하도록 구성될 수 있다. 합성기(403)는 HMD(100)의 다른 로직과 조합하여, 카메라 포즈 데이터(405/605/805)를 애플리케이션(407)에 제공하고, 프레임들을 리샘플링하고, 리샘플링된 프레임들에 대한 픽셀 데이터를 프레임 버퍼에 출력하기 위해 본 명세서에 설명된 기법들을 수행하도록 구성될 수 있다.

일반적으로, HMD(100)는 입력 디바이스들(908) 및 출력 디바이스들(910)을 갖는다. 입력 디바이스들(908)은 제어 버튼들을 포함할 수 있다. 일부 구현예들에서, 하나 이상의 마이크로폰들은 사용자 음성 입력과 같은 오디오 입력을 수신하기 위한 입력 디바이스들(908)로서 기능할 수 있다. 일부 구현예들에서, 하나 이상의 카메라들 또는 다른 유형들의 센서들(예를 들어, 관성 측정 유닛(IMU, inertial measurement unit))은 사용자(102)의 손 및/또는 머리 모션과 같은 제스처 입력을 수신하기 위한 입력 디바이스들(908)로서 기능할 수 있다. 일부 실시예들에서, 부가적인 입력 디바이스들(908)은 키보드, 키패드, 마우스, 터치 스크린, 조이스틱 등의 형태로 제공될 수 있다. 다른 실시예들에서, HMD(100)는 키보드, 키패드, 또는 다른 유사한 형태들의 기계적 입력부를 생략할 수 있다. 대신에, HMD(100)는 입력 디바이스(908), 네트워크 인터페이스(무선 또는 유선 기반), 전력, 및 프로세싱/메모리 능력들의 비교적 단순한 형태들로 구현될 수 있다. 예를 들어, 하나 이상의 입력 컴포넌트들의 제한된 세트(예를 들어, 구성을 개시하거나, 전원을 켜고/끄는 등을 위한 전용 버튼)가 이용될 수 있어서, HMD(100)가 그 후에 사용될 수 있다. 일 구현예에서, 입력 디바이스(들)(908)는 제어 메커니즘들, 예컨대 볼륨을 증가/감소시키기 위한 기본 볼륨 제어 버튼(들) 뿐만 아니라 전원 및 리셋 버튼들을 포함할 수 있다.

출력 디바이스들(910)은 한 쌍의 디스플레이 패널들(104(1), 104(2))을 포함할 수 있다. 출력 디바이스들(910)은 조명 요소(예를 들어, LED), 햅틱 감각들을 생성하기 위한 진동기, 스피커(들)(예를 들어, 헤드폰들) 등을 제한 없이 더 포함할 수 있다. 예를 들어 전원이 켜져 있을 때와 같은 상태를 표시하는 간단한 조명 요소(예를 들어, LED)가 또한 존재할 수 있다.

HMD(100)는 네트워크에 대한 무선 연결을 용이하게 하기 위해 안테나(914)에 커플링된 무선 유닛(912)을 더 포함할 수 있다. 무선 유닛(912)은 Wi-Fi, 블루투스, 무선 주파수(RF) 등과 같은 다양한 무선 기술들 중 하나 이상을 구현할 수 있다. HMD(100)가 네트워크, 연결된 주변기기 디바이스(PC, 게임 콘솔 등을 포함함), 또는 다른 무선 네트워크와 통신하고 HMD 시스템의 일부일 수 있는 플러그-인 네트워크 디바이스에 대한 유선 연결을 용이하게 하기 위한 물리적 포트들을 더 포함할 수 있다는 것이 인식되어야 한다.

HMD(100)는 하나 이상의 광학 요소들을 사용하여 디스플레이 패널들(104)로부터 사용자의 눈들로 광을 지향시키는 광학 서브시스템(916)을 더 포함할 수 있다. 광학 서브시스템(916)은, 예컨대 조리개들, 렌즈들(예를 들어, 프레넬 렌즈들, 볼록 렌즈들, 오목 렌즈들 등), 필터들 등을 제한 없이 포함하는 상이한 광학 요소들의 다양한 유형들 및 조합들을 포함할 수 있다. 렌즈들(108(1), 108(2)) 각각은 이들 광학 요소들 중 일부 또는 전부를 포함할 수 있다. 일부 실시예들에서, 광학 서브시스템(916) 내의 하나 이상의 광학 요소들은 반사-방지 코팅들과 같은 하나 이상의 코팅들을 가질 수 있다. 광학 서브시스템(916)에 의한 이미지 광의 확대는 디스플레이 패널들(104)이 더 큰 디스플레이들보다 물리적으로 더 작고, 무게가 더 적으며, 더 적은 전력을 소비하게 허용한다. 부가적으로, 이미지 광의 확대는 디스플레이된 콘텐츠(예를 들어, 이미지들)의 시야(FOV)를 증가시킬 수 있다. 예를 들어, 디스플레이된 콘텐츠의 FOV는, 디스플레이된 콘텐츠가 사용자의 FOV의 거의 전부(예를 들어, 120 내지 150도 대각선) 및 일부 경우들에서는 전부를 사용하여 제시되도록 이루어진다. 디스플레이 패널들(104(1), 104(2))의 역회전된 배향과 커플링될 때, 이러한 FOV는 수평으로 훨씬 더 증가될 수 있다. AR 애플리케이션들은 더 좁은 FOV(예를 들어, 약 40도의 FOV)를 가질 수 있다. 광학 서브시스템(916)은 배럴 왜곡, 핀쿠션 왜곡, 종방향 색수차, 횡방향 색수차, 구면 수차, 코마 수차(comatic aberration), 상면 만곡, 비점 수차 등과 같지만 이에 제한되지 않는 하나 이상의 광학 오류들을 보정하도록 설계될 수 있다. 일부 실시예들에서, 디스플레이를 위해 디스플레이 패널들(104)에 제공되는 콘텐츠는 전치-왜곡되며, 광학 서브시스템(916)은, 그것이 콘텐츠에 기초하여 생성된 이미지 광을 디스플레이 패널들(104)로부터 수신할 때 왜곡을 보정한다. 일부 실시예들에서, 합성기(403)는 위에서 설명된 바와 같이, 왜곡을 보정하기 위해 렌더링 파이프라인에서 프레임들을 리샘플링하도록 구성된다.

HMD(100)는 모션, 포지션, 및 배향 데이터를 생성하기 위해 사용되는 센서들과 같은 하나 이상의 센서들(918)을 더 포함할 수 있다. 이들 센서들(918)은 자이로스코프들, 가속도계들, 자력계들, 비디오 카메라들, 컬러 센서들, 또는 다른 모션, 포지션, 및 배향 센서들일 수 있거나 이들을 포함할 수 있다. 센서들(918)은 또한, 모션, 포지션, 및 배향 데이터를 생성하기 위해 카메라 또는 컬러 센서에 의해 외부에서 보여질 수 있는 일련의 능동 또는 수동 마커들과 같은 센서들의 서브-부분들을 포함할 수 있다. 예를 들어, VR 헤드셋은 그의 외부 상에, 외부 카메라에 의해 보여지거나 광(예를 들어, 적외선 또는 가시광)에 의해 조명될 때, 모션, 포지션, 및 배향 데이터를 생성하기 위해 소프트웨어에 의한 해석을 위한 하나 이상의 기준 지점들을 제공할 수 있는 다수의 마커들, 예컨대 반사기들 또는 광들(예를 들어, 적외선 또는 가시광)을 포함할 수 있다. HMD(100)는 모션, 포지션, 및 배향 데이터를 생성하기 위해 HMD(100)의 환경에서 기지국들에 의해 투영되거나 브로드캐스팅되는 광(예를 들어, 적외선 또는 가시광)에 민감한 광 센서들을 포함할 수 있다.

일 예에서, 센서(들)(918)는 관성 측정 유닛(IMU)(920)을 포함할 수 있다. IMU(920)는 가속도계들, 자이로스코프들, 자력계들, 및/또는 모션을 검출하고, IMU(920)와 연관된 오류를 보정하는 데 적합한 다른 센서들, 또는 이들의 일부 조합으로부터 수신된 측정 신호들에 기초하여 교정 데이터를 생성하는 전자 디바이스일 수 있다. 측정 신호들에 기초하여, IMU(920)와 같은 그러한 모션-기반 센서들은 HMD(100)의 초기 포지션에 대한 HMD(100)의 추정된 포지션을 표시하는 교정 데이터를 생성할 수 있다. 예를 들어, 다수의 가속도계들은 병진이동 모션(전방/후방, 위/아래, 좌측/우측)을 측정할 수 있고, 다수의 자이로스코프들은 회전 모션(예를 들어, 피치(pitch), 요(yaw), 및 롤(roll))을 측정할 수 있다. IMU(920)는, 예를 들어 측정 신호들을 신속하게 샘플링하고, 샘플링된 데이터로부터 HMD(100)의 추정된 포지션을 계산할 수 있다. 예를 들어, IMU(920)는, 속도 벡터를 추정하기 위해 시간에 걸쳐 가속도계들로부터 수신된 측정 신호들을 통합할 수 있고, HMD(100) 상의 기준 지점의 추정된 포지션을 결정하기 위해 시간에 걸쳐 속도 벡터를 통합한다. 기준 지점은 HMD(100)의 포지션을 설명하는 데 사용될 수 있는 지점이다. 기준 지점이 일반적으로 공간 내의 지점으로서 정의될 수 있지만, 다양한 실시예들에서, 기준 지점은 HMD(100) 내의 지점(예를 들어, IMU(920)의 중심)으로서 정의된다. 대안적으로, IMU(920)는 샘플링된 측정 신호들을 외부 콘솔(또는 다른 컴퓨팅 디바이스)에 제공하며, 외부 콘솔은 교정 데이터를 결정한다.

센서들(918)은 센서 데이터를 높은 레이트로 제공하기 위해 비교적 높은 주파수들로 동작할 수 있다. 예를 들어, 센서 데이터는 1000 Hz(또는 1 밀리초마다 1개의 센서 판독)의 레이트로 생성될 수 있다. 이러한 방식으로, 초당 1000개의 판독들이 취해진다. 센서들이 이러한 레이트로(또는 더 큰 레이트로) 이러한 많은 데이터를 생성할 때, 모션을 예측하기 위해 사용되는 데이터 세트는 심지어 대략 수십 밀리초의 비교적 짧은 시간 기간들에 걸쳐서도 상당히 크다.

언급된 바와 같이, 일부 실시예들에서, 센서들(918)은 3D 공간 내의 HMD(100)의 포지션 및/또는 배향, 포즈 등을 추적하려는 목적들을 위해 HMD(100)의 환경에서 기지국들에 의해 방출되는 광에 민감한 광 센서들을 포함할 수 있다. 포지션 및/또는 배향의 계산은 광 펄스들의 타이밍 특성들 및 센서들(918)에 의해 검출된 광의 존재 또는 부재에 기초할 수 있다.

HMD(100)는 눈 추적 모듈(922)을 더 포함할 수 있다. HMD(100) 내부의 카메라 또는 다른 광학 센서는 사용자의 눈들의 이미지 정보를 캡처할 수 있고, 눈 추적 모듈(922)은 (예를 들어, 왜곡 조정 목적들을 위해) HMD(100)에 대한 각각의 눈의 동공간 거리, 안구간 거리, 3차원(3D) 포지션(비틀림 및 회전(즉, 롤, 피치, 및 요)의 크기 및 각각의 눈에 대한 시선 방향들을 포함함)을 결정하기 위해 캡처된 정보를 사용할 수 있다. 일 예에서, 적외선 광은 HMD(100) 내에서 방출되고 각각의 눈으로부터 반사된다. 반사된 광은 HMD(100)의 카메라에 의해 수신 또는 검출되고, 각각의 눈에 의해 반사된 적외선 광의 변화들로부터 눈 회전을 추출하기 위해 분석된다. 사용자(102)의 눈들을 추적하기 위한 많은 방법들이 눈 추적 모듈(922)에 의해 사용될 수 있다. 따라서, 눈 추적 모듈(922)은 각각의 눈의 최대 6개의 자유도들(즉, 3D 포지션, 롤, 피치, 및 요)을 추적할 수 있고, 추적된 양들의 적어도 서브세트는 시선 지점(즉, 사용자가 보고 있는 가상 장면 내의 3D 위치 또는 포지션)을 추정하기 위해 사용자(102)의 2개의 눈들로부터 결합될 수 있다. 예를 들어, 눈 추적 모듈(922)은 과거 측정들로부터의 정보, 사용자(102)의 머리의 포지션을 식별하는 측정들, 및 디스플레이 패널들(104)에 의해 제시된 장면을 설명하는 3D 정보를 통합할 수 있다. 따라서, 사용자(102)가 보고 있는 HMD(100)에 의해 제시된 가상 장면에서 시선 지점을 결정하기 위해, 사용자(102)의 눈들의 포지션 및 배향에 대한 정보가 사용된다.

HMD(100)는 머리 추적 모듈(924)을 더 포함할 수 있다. 머리 추적 모듈(924)은 위에서 설명된 바와 같이, 사용자(102)의 머리 모션(머리 회전을 포함함)을 추적하기 위해 센서(918) 중 하나 이상을 레버리지(leverage)할 수 있다. 예를 들어, 머리 추적 모듈(924)은 HMD(100)의 최대 6개의 자유도들(즉, 3D 포지션, 롤, 피치, 및 요)을 추적할 수 있다. 이들 계산들은, 애플리케이션(407)이 머리 포지션 및 배향에 따라 다음 프레임에서 장면을 어떻게 렌더링할지를 결정할 수 있도록, 일련의 프레임들(또는 프레임 쌍들)의 모든 프레임(또는 프레임 쌍)에서 이루어질 수 있다. 일부 실시예들에서, 머리 추적 모듈(924), 및/또는 머리 추적 모듈(924)을 사용하는 합성기(403)는 현재 및/또는 과거 데이터에 기초하여 HMD(100)의 미래 포지션 및/또는 배향을 예측하도록 구성된다. 이것은, 사용자(102)가 디스플레이 패널들(104) 상에서 광(및 그에 따라, 이미지)을 실제로 보기 전에 애플리케이션(407)이 프레임(또는 프레임 쌍)을 렌더링하도록 요청받기 때문이다. 따라서, 다음 프레임(또는 프레임 쌍)은, 프레임(또는 프레임 쌍)을 렌더링하기 전에 대략 25 내지 30 밀리초(ms)와 같은 더 이른 시점에 이루어졌던 머리 포지션 및/또는 배향의 이러한 미래의 예측에 기초하여 렌더링될 수 있다. 머리 추적 모듈(924)에 의해 제공되는 회전 데이터는 HMD(100) 회전의 방향 및 임의의 적합한 측정 단위의 HMD(100) 회전의 양 둘 모두를 결정하는 데 사용될 수 있다. 예를 들어, 회전 방향은 좌측, 우측, 위, 및 아래에 대응하는 양의 또는 음의 수평 및 양의 또는 음의 수직 방향들의 관점들에서 단순화되고 출력될 수 있다. 회전의 양은 도, 라디안 등의 관점에서 이루어질 수 있다. 각속도는 HMD(100)의 회전 레이트를 결정하기 위해 계산될 수 있다.

달리 표시되지 않는 한, 본 명세서 및 청구범위에서 사용되는 양들을 표현하는 모든 수치들은 모든 예시들에서 용어 "약"에 의해 수식되는 것으로 이해되어야 한다. 따라서, 반대로 표시되지 않는 한, 명세서 및 첨부된 청구범위에 기재된 수치 파라미터들은 본 개시내용이 얻고자 하는 원하는 속성들에 의존하여 변할 수 있는 근사치들이다. 최소한으로, 그리고 청구범위의 범주에 대한 균등론의 적용을 제한하려는 시도로서가 아니라, 각각의 수치 파라미터는 적어도 보고된 유효 자릿수들의 숫자의 관점에서 그리고 보통의 반올림 기법들을 적용함으로써 해석되어야 한다. 추가적인 명확성이 요구될 때, 용어 "약"은, 언급된 수치 값 또는 범위와 함께 사용될 때 당업자에 의해 그 용어에 합리적으로 부여된 의미를 가지며, 언급된 수치 값 또는 범위는, 즉 언급된 값의 ±20%; 언급된 값의 ±19%; 언급된 값의 ±18%; 언급된 값의 ±17%; 언급된 값의 ±16%; 언급된 값의 ±15%; 언급된 값의 ±14%; 언급된 값의 ±13%; 언급된 값의 ±12%; 언급된 값의 ±11%; 언급된 값의 ±10%; 언급된 값의 ±9%; 언급된 값의 ±8%; 언급된 값의 ±7%; 언급된 값의 ±6%; 언급된 값의 ±5%; 언급된 값의 ±4%; 언급된 값의 ±3%; 언급된 값의 ±2%; 또는 언급된 값의 ±1%의 범위 내로 언급된 값 또는 범위보다 다소 많거나 또는 다소 작다는 것을 나타낸다.

주제가 구조적 특징들에 대해 특정한 언어로 설명되었지만, 첨부된 청구범위에서 정의된 주제는 설명된 구체적 특징들에 반드시 제한되지는 않는다는 것을 이해하여야 한다. 오히려, 구체적 특징들은 청구범위를 구현하는 예시적인 형태로 개시된다.

Claims (20)

1. 머리-장착형 디스플레이(HMD) 시스템으로서,
   HMD를 포함하며,
   상기 HMD는,
   하우징; 및
   상기 하우징 내에 장착된 한 쌍의 디스플레이 패널들을 포함하고, 상기 한 쌍의 디스플레이 패널들은 제1 디스플레이 패널 및 제2 디스플레이 패널을 포함하고,
   상기 제1 디스플레이 패널은, 상기 제1 디스플레이 패널이 상기 제1 디스플레이 패널의 전면 평면에 직교하는 제1 축을 중심으로 제1 방향으로 직립 패널 배향에 대해 회전됨으로써 제1 배향으로 배향되고;
   상기 제2 디스플레이 패널은, 상기 제2 디스플레이 패널이 상기 제2 디스플레이 패널의 전면 평면에 직교하는 제2 축을 중심으로 상기 제1 방향과 반대인 제2 방향으로 상기 직립 패널 배향에 대해 회전됨으로써 제2 배향으로 배향되는, 머리-장착형 디스플레이 시스템.
2. 제1항에 있어서,
   하나 이상의 프로세서들; 및
   상기 HMD 시스템의 메모리에 저장된 컴퓨터 실행가능 명령어들을 더 포함하며, 상기 컴퓨터 실행가능 명령어들은 상기 하나 이상의 프로세서들에 의해,
   한 쌍의 가상 카메라들에 관련된 카메라 포즈 데이터를, 프레임을 출력하도록 구성된 애플리케이션에 전송하고 - 상기 카메라 포즈 데이터는, 상기 한 쌍의 가상 카메라들 중 제1 가상 카메라가 상기 제2 방향으로 직립 카메라 배향에 대해 회전된다는 것을 특정하는 제1 회전된 카메라 배향; 및 상기 한 쌍의 가상 카메라들 중 제2 가상 카메라가 상기 제1 방향으로 상기 직립 카메라 배향에 대해 회전된다는 것을 특정하는 제2 회전된 카메라 배향을 포함함 -;
   상기 애플리케이션으로부터 상기 프레임을 수신하고;
   리샘플링된 프레임의 수정된 픽셀 데이터를 획득하기 위해 상기 프레임의 픽셀 데이터를 수정함으로써 상기 프레임을 리샘플링하며;
   상기 수정된 픽셀 데이터를 프레임 버퍼에 출력하도록 실행가능한, 머리-장착형 디스플레이 시스템.
3. 제2항에 있어서, 상기 애플리케이션은 비디오 게임 애플리케이션인, 머리-장착형 디스플레이 시스템.
4. 제1항에 있어서,
   하나 이상의 프로세서들; 및
   상기 HMD 시스템의 메모리에 저장된 컴퓨터 실행가능 명령어들을 더 포함하며, 상기 컴퓨터 실행가능 명령어들은 상기 하나 이상의 프로세서들에 의해,
   한 쌍의 가상 카메라들에 관련된 카메라 포즈 데이터를, 프레임을 출력하도록 구성된 애플리케이션에 전송하고 - 상기 카메라 포즈 데이터는, 상기 한 쌍의 가상 카메라들 중 제1 가상 카메라가 직립 카메라 배향에 있다는 것을 특정하는 제1 직립 카메라 배향; 및 상기 한 쌍의 가상 카메라들 중 제2 가상 카메라가 상기 직립 카메라 배향에 있다는 것을 특정하는 제2 직립 카메라 배향을 포함함 -;
   상기 애플리케이션으로부터 상기 프레임을 수신하고;
   리샘플링된 프레임의 수정된 픽셀 데이터의 제1 서브세트를 획득하기 위해 상기 제1 가상 카메라와 연관된 상기 프레임의 픽셀 데이터의 제1 서브세트를 상기 제2 방향으로 회전시키고, 상기 리샘플링된 프레임의 상기 수정된 픽셀 데이터의 제2 서브세트를 획득하기 위해 상기 제2 가상 카메라와 연관된 상기 프레임의 상기 픽셀 데이터의 제2 서브세트를 상기 제1 방향으로 회전시킴으로써, 상기 리샘플링된 프레임을 획득하도록 상기 프레임을 리샘플링하고;
   상기 수정된 픽셀 데이터를 프레임 버퍼에 출력하도록 실행가능한, 머리-장착형 디스플레이 시스템.
5. 제1항에 있어서, 각각의 디스플레이 패널이 실질적으로 동일한 양의 회전만큼 회전됨으로써, 상기 제1 디스플레이 패널은 상기 제1 배향으로 배향되고 상기 제2 디스플레이 패널은 상기 제2 배향으로 배향되는, 머리-장착형 디스플레이 시스템.
6. 제5항에 있어서, 상기 실질적으로 동일한 양의 회전은 상기 직립 패널 배향에 대해 10 내지 80도의 범위 내에 있는, 머리-장착형 디스플레이 시스템.
7. 제1항에 있어서, 상기 한 쌍의 디스플레이 패널들은 동일 평면 상에 있는, 머리-장착형 디스플레이 시스템.
8. 제1항에 있어서,
   상기 제1 디스플레이 패널은, 상기 제1 디스플레이 패널이 상기 직립 패널 배향의 횡단 평면에 직교하는 축을 중심으로 추가로 기울어짐으로써 상기 제1 배향으로 배향되고;
   상기 제2 디스플레이 패널은, 상기 제2 디스플레이 패널이 상기 직립 패널 배향의 상기 횡단 평면에 직교하는 상기 축을 중심으로 상기 제1 디스플레이 패널의 방향과 반대인 방향으로 추가로 기울어짐으로써 상기 제2 배향으로 배향되는, 머리-장착형 디스플레이 시스템.
9. 머리-장착형 디스플레이(HMD) 시스템으로서,
   HMD를 포함하며,
   상기 HMD는,
   하우징; 및
   상기 하우징 내에 장착된 한 쌍의 디스플레이 패널들을 포함하고, 상기 한 쌍의 디스플레이 패널들은 제1 디스플레이 패널 및 상기 제1 디스플레이 패널에 인접한 제2 디스플레이 패널을 포함하고, 상기 제1 디스플레이 패널 및 상기 제2 디스플레이 패널은 각각, 상기 제1 디스플레이 패널의 측부 에지 및 상기 제2 디스플레이 패널의 측부 에지가 평행하지 않도록 배향되는, 머리-장착형 디스플레이 시스템.
10. 제9항에 있어서,
    상기 제1 디스플레이 패널은, 상기 제1 디스플레이 패널이 상기 제1 디스플레이 패널의 전면 평면에 직교하는 제1 축을 중심으로 제1 방향으로 직립 패널 배향에 대해 10도만큼 많은 회전의 양으로 회전됨으로써 제1 배향으로 배향되고;
    상기 제2 디스플레이 패널은, 상기 제2 디스플레이 패널이 상기 제2 디스플레이 패널의 전면 평면에 직교하는 제2 축을 중심으로 상기 제1 방향과 반대인 제2 방향으로 상기 직립 패널 배향에 대해 상기 회전의 양으로 회전됨으로써 제2 배향으로 배향되는, 머리-장착형 디스플레이 시스템.
11. 제9항에 있어서,
    하나 이상의 프로세서들; 및
    상기 HMD 시스템의 메모리에 저장된 컴퓨터 실행가능 명령어들을 더 포함하며, 상기 컴퓨터 실행가능 명령어들은 상기 하나 이상의 프로세서들에 의해,
    한 쌍의 가상 카메라들에 관련된 카메라 포즈 데이터를, 프레임을 출력하도록 구성된 애플리케이션에 전송하고 - 상기 카메라 포즈 데이터는, 상기 한 쌍의 가상 카메라들 중 제1 가상 카메라가 제1 방향으로 직립 카메라 배향에 대해 회전된다는 것을 표시하는 제1 회전된 카메라 배향; 및 상기 한 쌍의 가상 카메라들 중 제2 가상 카메라가 상기 제1 방향과 반대인 제2 방향으로 상기 직립 카메라 배향에 대해 회전된다는 것을 표시하는 제2 회전된 카메라 배향을 포함함 -;
    상기 애플리케이션으로부터 상기 프레임을 수신하고;
    리샘플링된 프레임의 수정된 픽셀 데이터를 획득하기 위해 상기 프레임의 픽셀 데이터를 수정함으로써 상기 프레임을 리샘플링하며;
    상기 수정된 픽셀 데이터를 프레임 버퍼에 출력하도록 실행가능한, 머리-장착형 디스플레이 시스템.
12. 제11항에 있어서, 상기 애플리케이션은 비디오 게임 애플리케이션인, 머리-장착형 디스플레이 시스템.
13. 제9항에 있어서,
    하나 이상의 프로세서들; 및
    상기 HMD 시스템의 메모리에 저장된 컴퓨터 실행가능 명령어들을 더 포함하며, 상기 컴퓨터 실행가능 명령어들은 상기 하나 이상의 프로세서들에 의해,
    한 쌍의 가상 카메라들에 관련된 카메라 포즈 데이터를, 프레임을 출력하도록 구성된 애플리케이션에 전송하고 - 상기 카메라 포즈 데이터는, 상기 한 쌍의 가상 카메라들 중 제1 가상 카메라가 직립 카메라 배향에 있다는 것을 표시하는 제1 직립 카메라 배향; 및 상기 한 쌍의 가상 카메라들 중 제2 가상 카메라가 상기 직립 카메라 배향에 있다는 것을 표시하는 제2 직립 카메라 배향을 포함함 -;
    상기 애플리케이션으로부터 상기 프레임을 수신하고;
    리샘플링된 프레임의 수정된 픽셀 데이터의 제1 서브세트를 획득하기 위해 상기 제1 가상 카메라와 연관된 상기 프레임의 픽셀 데이터의 제1 서브세트를 제1 방향으로 회전시키고, 상기 리샘플링된 프레임의 상기 수정된 픽셀 데이터의 제2 서브세트를 획득하기 위해 상기 제2 가상 카메라와 연관된 상기 프레임의 상기 픽셀 데이터의 제2 서브세트를 상기 제1 방향과 반대인 제2 방향으로 회전시킴으로써, 상기 리샘플링된 프레임을 획득하도록 상기 프레임을 리샘플링하고;
    상기 수정된 픽셀 데이터를 프레임 버퍼에 출력하도록 실행가능한, 머리-장착형 디스플레이 시스템.
14. 제13항에 있어서, 상기 애플리케이션은 비디오 게임 애플리케이션인, 머리-장착형 디스플레이 시스템.
15. 제9항에 있어서, 상기 HMD는 가상 현실 헤드셋 또는 증강 현실 헤드셋 중 적어도 하나인, 머리-장착형 디스플레이 시스템.
16. 제9항에 있어서,
    상기 제1 디스플레이 패널은 직립 패널 배향의 횡단 평면에 직교하는 축을 중심으로 제1 방향으로 기울어지고;
    상기 제2 디스플레이 패널은 상기 직립 패널 배향의 상기 횡단 평면에 직교하는 상기 축을 중심으로 상기 제1 방향과 반대인 제2 방향으로 기울어지는, 머리-장착형 디스플레이 시스템.
17. 머리-장착형 디스플레이(HMD) 시스템으로서,
    HMD - 상기 HMD는,
    하우징; 및
    상기 하우징 내에 장착된 한 쌍의 디스플레이 패널들을 포함하고, 상기 한 쌍의 디스플레이 패널들은 제1 디스플레이 패널 및 제2 디스플레이 패널을 포함하고, 상기 제1 디스플레이 패널 및 상기 제2 디스플레이 패널은 각각 직립 패널 배향으로 배향됨 -;
    하나 이상의 프로세서들; 및
    상기 HMD 시스템의 메모리에 저장된 컴퓨터 실행가능 명령어들을 포함하며, 상기 컴퓨터 실행가능 명령어들은 상기 하나 이상의 프로세서들에 의해,
    한 쌍의 가상 카메라들에 관련된 카메라 포즈 데이터를, 프레임을 출력하도록 구성된 애플리케이션에 전송하고 - 상기 카메라 포즈 데이터는, 상기 한 쌍의 가상 카메라들 중 제1 가상 카메라가 제1 방향으로 직립 카메라 배향에 대해 회전된다는 것을 표시하는 제1 회전된 카메라 배향; 및 상기 한 쌍의 가상 카메라들 중 제2 가상 카메라가 상기 제1 방향과 반대인 제2 방향으로 상기 직립 카메라 배향에 대해 회전된다는 것을 표시하는 제2 회전된 카메라 배향을 포함함 -;
    상기 애플리케이션으로부터 상기 프레임을 수신하고;
    리샘플링된 프레임의 수정된 픽셀 데이터의 제1 서브세트를 획득하기 위해 상기 제1 가상 카메라와 연관된 상기 프레임의 픽셀 데이터의 제1 서브세트를 상기 제2 방향으로 회전시키고, 상기 리샘플링된 프레임의 상기 수정된 픽셀 데이터의 제2 서브세트를 획득하기 위해 상기 제2 가상 카메라와 연관된 상기 프레임의 상기 픽셀 데이터의 제2 서브세트를 상기 제1 방향으로 회전시킴으로써, 상기 리샘플링된 프레임을 획득하도록 상기 프레임을 리샘플링하고;
    상기 수정된 픽셀 데이터를 프레임 버퍼에 출력하도록 실행가능한, 머리-장착형 디스플레이 시스템.
18. 제17항에 있어서,
    상기 제1 디스플레이 패널은 상기 직립 패널 배향의 횡단 평면에 직교하는 축을 중심으로 기울어지고;
    상기 제2 디스플레이 패널은 상기 직립 패널 배향의 상기 횡단 평면에 직교하는 상기 축을 중심으로 상기 제1 디스플레이 패널의 방향과 반대인 방향으로 기울어지고;
    상기 제1 회전된 카메라 배향은 상기 제1 가상 카메라가 기울어진다는 것을 추가로 표시하며;
    상기 제2 회전된 카메라 배향은 상기 제2 가상 카메라가 기울어진다는 것을 추가로 표시하는, 머리-장착형 디스플레이 시스템.
19. 제17항에 있어서, 상기 프레임을 리샘플링하는 것은, 상기 픽셀 데이터의 상기 제1 서브세트 및 상기 픽셀 데이터의 상기 제2 서브세트 각각을 실질적으로 동일한 양의 회전만큼 회전시키는 것을 포함하는, 머리-장착형 디스플레이 시스템.
20. 제19항에 있어서, 상기 실질적으로 동일한 양의 회전은 상기 직립 카메라 배향에 대해 40 내지 50도의 범위 내에 있는, 머리-장착형 디스플레이 시스템.

Images