KR20220120571A - 전자 디스플레이들에 대한 포비티드 렌더링을 위한 예측적 눈 추적 시스템들 및 방법들 - Google Patents

전자 디스플레이들에 대한 포비티드 렌더링을 위한 예측적 눈 추적 시스템들 및 방법들 Download PDF

Info

Publication number
KR20220120571A
KR20220120571A KR1020227021146A KR20227021146A KR20220120571A KR 20220120571 A KR20220120571 A KR 20220120571A KR 1020227021146 A KR1020227021146 A KR 1020227021146A KR 20227021146 A KR20227021146 A KR 20227021146A KR 20220120571 A KR20220120571 A KR 20220120571A
Authority
KR
South Korea
Prior art keywords
eye
display
gaze position
user
predicted
Prior art date
Application number
KR1020227021146A
Other languages
English (en)
Inventor
세바스찬 슈툭
아구스틴 로페즈 하비에르 산
스티븐 폴 란셀
Original Assignee
메타 플랫폼즈 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메타 플랫폼즈 테크놀로지스, 엘엘씨 filed Critical 메타 플랫폼즈 테크놀로지스, 엘엘씨
Publication of KR20220120571A publication Critical patent/KR20220120571A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0189—Sight systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Generation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 기술의 다양한 양태들은 머리 장착 가능 디스플레이 디바이스의 사용자의 눈 운동들의 예측에 관한 것이다. 예측된 눈 운동들을 사용하는 예측적 포비티드 디스플레이 시스템들 및 방법들이 또한 개시된다. 예측된 눈 운동들을 사용하는 예측적 가변 초점 디스플레이 시스템들 및 방법들이 또한 개시된다. 눈 운동들을 예측하는 것은, 사용자의 눈들 중 하나 또는 양쪽 모두의 현재 운동에 기초하여, 사용자의 눈들에 대해 미래 시선 위치를 예측하는 것 및/또는 미래 폭주 평면을 예측하는 것을 포함할 수 있다. 예측된 시선 위치는 예측된 시선 위치에서 고해상도 영역을 갖는 포비티드 디스플레이 이미지 프레임을 사전 렌더링하는 데 사용될 수 있다. 예측된 폭주 평면은 사용자에 대한 폭주/조절 불일치를 완화시키거나 회피하기 위해 디스플레이 어셈블리의 이미지 평면을 수정하는 데 사용될 수 있다.

Description

전자 디스플레이들에 대한 포비티드 렌더링을 위한 예측적 눈 추적 시스템들 및 방법들
본 개시는 일반적으로 몰입형 시청(immersive viewing)을 위한 디스플레이 시스템들에 관한 것이며, 더 상세하게는 머리 장착 가능(head-mountable) 디스플레이 디바이스들에 대한 예측적 눈 추적(predictive eye tracking)에 관한 것이다.
머리 장착형(head-mounted) 디스플레이(Head-mounted display, HMD)들은 사용자에게 가상 현실, 증강 현실, 또는 혼합 현실 환경들을 디스플레이하는 데 사용될 수 있는 액정 디스플레이 패널들, 발광 다이오드 디스플레이 패널들, 또는 도파관 디스플레이들과 같은 디스플레이 패널들을 포함할 수 있다. 예를 들어, 깊이 착시를 시뮬레이션하기 위해 헤드셋 내부의 전자 디스플레이 상에 입체 이미지들이 디스플레이될 수 있다. 머리 추적 센서들 및 눈 추적 센서들은 환경의 어느 부분을 디스플레이 상에 제시할지를 결정하기 위해 사용자가 현재 가상 환경의 어떤 부분을 보고 있는지를 추정하는 데 사용될 수 있다. 그렇지만, 사용자의 머리와 눈 위치의 변화에 따라 변하는 시뮬레이션된 3차원 콘텐츠를 제시할 때 문제들이 발생할 수 있다.
예를 들어, 그러한 시뮬레이션은, 일부 상황들에서, 기존의 헤드셋들이 폭주 및 조절 불일치(vergence and accommodation conflict)를 올바르게 렌더링할 수 없거나 다른 방식으로 보상할 수 없는 것으로 인해 결과되는 시각적 피로와 메스꺼움을 유발할 수 있다. 가변 초점 디스플레이 특징들과 같은, 고급 디스플레이 특징들을 갖는 HMD들은 이러한 폭주 및 조절 문제들을 해결하기 위해 제안되었다.
다른 예로서, 종래의 디스플레이들은 일정한 해상도로 이미지들을 제시한다. 대조적으로, 인간의 눈의 망막에 걸쳐 해상도가 달라진다. 눈은 약 200도의 시계(field)로부터 데이터를 수신하지만, 해당 범위의 대부분에 걸친 시력(acuity)은 좋지 않다. 사실, 고해상도 이미지들을 형성하기 위해서는 광이 중심와에 떨어져야 하며, 이는 예민한 시각 각도를 약 15도로 제한한다. 머리 장착형 디스플레이들에서, 임의의 주어진 시간에, 디스플레이로부터 방출되는 이미지 광의 작은 부분만이 실제로 중심와 상에 결상된다. 망막 상에 결상되는 나머지 이미지 광은 방출된 이미지 광에서의 고해상도를 인지할 수 없는 다른 영역들에 결상된다. 그에 따라, 사용자가 보고 있는 고해상도 이미지를 생성하는 데 투입된 자원들(예를 들면, 전력, 메모리, 프로세싱 시간 등) 중 일부가 낭비되는데 그 이유는 사용자가 전체 해상도로 중심와 외부에 결상되는 이미지 광의 부분을 인지할 수 없기 때문이다. 이러한 비효율성 문제들을 해결하기 위해, 포비티드(foveated) 디스플레이 특징들과 같은, 고급 디스플레이 특징들을 갖는 HMD들이 제안되었다.
그렇지만, 가변 초점 디스플레이 특징들 및 포비티드 디스플레이 특징들과 같은, 고급 디스플레이 특징들의 동작들을 콘텐츠 생성으로부터 콘텐츠 디스플레이까지의 디스플레이 파이프라인의 다른 부분들과 통합시키는 것은 추가적으로 어려울 수 있다.
본 개시는 예측적 눈 추적을 갖는 머리 장착 가능 디스플레이 시스템들을 제공한다. 본 명세서에 개시된 예측적 눈 추적 시스템들 및 방법들은, 예컨대, 가상 현실, 증강 현실 및/또는 혼합 현실 콘텐츠를 디스플레이하기 위한, 머리 장착 가능 디스플레이 디바이스들에 예측적 가변 초점 시스템들 및/또는 예측적 포비티드 디스플레이 시스템들을 제공하는 데 특히 유용할 수 있다.
따라서, 본 발명은 청구항 1에 따른 머리 장착 가능 디스플레이와 청구항 9 및 청구항 11에 따른 방법들에 관한 것이다. 유리한 실시예들은 종속 청구항들의 특징들을 포함할 수 있다.
따라서, 본 발명에 따른 머리 장착 가능 디스플레이 시스템은 하우징, 하우징 내의 디스플레이 패널 및 눈 추적 데이터를 획득하도록 구성된 하나 이상의 눈 추적 유닛을 갖는 머리 장착 가능 디스플레이 디바이스를 포함한다. 이 시스템은, 눈 추적 데이터에 기초하여, 현재 시선 위치의 변화를 식별하도록 구성된 눈 추적 모듈, 식별된 변화에 기초하여 예측된 미래 시선 위치를 생성하도록 구성된 눈 예측 모듈, 및 디스플레이 패널에 의해 디스플레이하기 위해, 예측된 미래 시선 위치에 기초하여 적어도 하나의 예측적 포비티드 디스플레이 이미지 프레임을 렌더링하도록 구성된 프로세싱 회로를 더 포함한다.
일 실시예에서, 디스플레이 패널은, 프로세싱 회로가 적어도 하나의 예측적 포비티드 디스플레이 이미지 프레임을 렌더링하는 동안, 현재 시선 위치에 기초하여 현재 포비티드 디스플레이 이미지 프레임을 디스플레이하도록 구성될 수 있다. 현재 포비티드 디스플레이 이미지 프레임은, 현재 시선 위치에 중심을 두고 제1 해상도를 갖는 고해상도 부분, 고해상도 부분의 적어도 일부 주위에 있고 제1 해상도보다 낮은 제2 해상도를 갖는 주변 부분, 및 고해상도 부분과 주변 부분 사이에서 연장되는 전이 부분을 포함할 수 있다. 예측적 포비티드 디스플레이 이미지 프레임은, 예측된 미래 시선 위치에 중심을 두고 제1 해상도를 갖는 고해상도 부분, 고해상도 부분의 적어도 일부 주위에 있고 제1 해상도보다 낮은 제2 해상도를 갖는 주변 부분, 및 고해상도 부분과 주변 부분 사이에서 연장되는 전이 부분을 포함할 수 있다. 선택적으로, 현재 시선 위치 및 예측된 미래 시선 위치는 디스플레이 패널 상의 위치들일 수 있다. 눈 예측 모듈은 또한 예측된 미래 시선 위치에 대한 시선 위치 신뢰 레벨(confidence level)을 생성하도록 선택적으로 구성될 수 있다. 이 경우에, 프로세싱 회로는 시선 위치 신뢰 레벨에 기초하여 예측적 포비티드 디스플레이 이미지 프레임의 고해상도 부분의 크기를 결정하도록 선택적으로 구성될 수 있다. 또한 선택적으로, 프로세싱 회로는 시선 위치 신뢰 레벨에 기초하여 예측적 포비티드 디스플레이 이미지 프레임의 고해상도 부분의 형상을 결정하도록 구성될 수 있다.
추가의 실시예에 따르면, 눈 예측 모듈은, 식별된 변화에 기초하여 눈 운동 유형을 식별하는 것; 및 식별된 변화에 기초하여 그리고 식별된 눈 운동 유형의 모델에 기초하여 예측된 미래 시선 위치 및 시선 위치 신뢰 레벨을 생성하는 것에 의해, 식별된 변화에 기초하여 예측된 미래 시선 위치를 생성하도록 구성될 수 있다. 선택적으로, 눈 운동 유형은 단속성 운동(saccade movement), 원활 추종 운동(smooth-pursuit movement) 또는 전정 안구 운동(vestibulo-ocular movement)일 수 있다.
추가의 실시예에서, 눈 예측 모듈은 식별된 변화에 기초하여 제1, 제2, 및 제3 예측된 미래 시선 위치들을 생성하도록 구성될 수 있고, 프로세싱 회로는 제1, 제2, 및 제3 예측된 미래 시선 위치들에 기초하여 대응하는 제1, 제2, 및 제3 예측적 포비티드 디스플레이 이미지 프레임들을 사전 렌더링(pre-render)하도록 구성될 수 있다. 선택적으로, 제1, 제2, 및 제3 예측된 미래 시선 위치들은 현재 디스플레이 프레임으로부터, 제각기, 1 개, 3 개, 및 10 개의 디스플레이 프레임 떨어져 있는 미래 디스플레이 프레임들과 연관된 시간들에 대응할 수 있다.
일 실시예에서, 이 시스템은 머리 장착 가능 디스플레이 디바이스에 통신 가능하게 결합되는 콘솔을 더 포함할 수 있으며, 여기서 프로세싱 회로는 콘솔의 인공 현실 엔진을 포함한다.
추가의 실시예에 따르면, 프로세싱 회로는 머리 장착 가능 디스플레이 디바이스의 장면 렌더링 모듈을 포함할 수 있다.
본 발명에 따른 방법은, 디스플레이 패널을 갖는 머리 장착 가능 디스플레이 디바이스의 사용자에 대한 눈 추적 데이터를 획득하는 단계, 눈 추적 데이터에 기초하여, 현재 시선 위치 및 현재 시선 위치의 변화의 현재 방향 및 속력을 결정하는 단계, 현재 방향 및 속력에 기초하여 예측된 미래 시선 위치를 생성하는 단계, 디스플레이 패널에 의해 디스플레이하기 위해, 현재 시선 위치에 기초하여 현재 포비티드 디스플레이 이미지 프레임을 렌더링하는 단계, 및 현재 포비티드 디스플레이 이미지 프레임을 디스플레이하는 것에 후속하여 디스플레이 패널에 의해 디스플레이하기 위해, 예측된 미래 시선 위치에 기초하여 적어도 하나의 예측적 포비티드 디스플레이 이미지 프레임을 사전 렌더링하는 단계를 포함한다.
일 실시예에서, 이 방법은 현재 방향 및 속력에 기초하여 예측된 미래 폭주 평면(vergence plane)을 생성하는 단계를 더 포함할 수 있다. 선택적으로, 이 방법은, 현재 포비티드 디스플레이 이미지 프레임을 디스플레이하는 동안, 예측된 미래 폭주 평면에 기초하여 디스플레이 패널과 정렬되는 광학 요소를 수정하는 단계를 더 포함할 수 있다.
본 발명에 따른 디스플레이 패널, 디스플레이 패널로부터의 디스플레이 광을 집속시키도록 구성된 광학 블록, 및 좌안 및 우안 추적 유닛들을 포함하는 머리 장착 가능 디스플레이 디바이스를 갖는 머리 장착 가능 디스플레이 시스템을 작동시키기 위한 방법은, 머리 장착 가능 디스플레이 시스템의 눈 예측 모듈로, 좌안 및 우안 추적 유닛들로부터 눈 추적 데이터를 획득하는 단계, 눈 추적 데이터를 사용하여 눈 예측 모듈로 눈 운동 유형을 결정하는 단계, 및 눈 추적 데이터 및 결정된 눈 운동 유형을 사용하여 눈 예측 모듈로, 예측된 미래 시선 위치 또는 예측된 미래 폭주 평면 중 적어도 하나를 생성하는 단계를 포함한다.
일 실시예에서, 눈 운동 유형은 단속성 운동, 원활 추종 운동, 또는 전정 안구 운동일 수 있으며, 여기서 예측된 미래 시선 위치 또는 예측된 미래 폭주 평면 중 적어도 하나를 생성하는 단계는 예측된 미래 시선 위치를 생성하는 단계를 포함할 수 있다.
추가의 실시예에서, 눈 운동 유형은 폭주 운동(vergence movement)일 수 있고, 예측된 미래 시선 위치 또는 예측된 미래 폭주 평면 중 적어도 하나를 생성하는 단계는 예측된 미래 폭주 평면을 생성하는 단계를 포함할 수 있다.
일 실시예에서, 눈 예측 모듈은 머리 장착 가능 디스플레이 디바이스의 눈 예측 모듈일 수 있다.
본 개시의 일부 양태들에 따르면, 하우징; 하우징 내의 디스플레이 어셈블리 - 디스플레이 어셈블리는 디스플레이 패널; 디스플레이 패널로부터의 디스플레이 광을 집속시키도록 구성된 적어도 하나의 광학 요소를 포함하는 광학 블록; 및 눈 추적 데이터를 획득하도록 구성된 하나 이상의 눈 추적 유닛을 포함함 -; 눈 추적 데이터에 기초하여, 눈 운동을 식별하도록 구성된 눈 추적 모듈; 식별된 눈 운동에 기초하여 예측된 미래 폭주 평면을 생성하도록 구성된 눈 예측 모듈; 및 예측된 미래 폭주 평면에 기초하여 디스플레이 패널 또는 광학 블록의 컴포넌트 중 적어도 하나를 조정하도록 구성된 가변 초점 작동 블록(varifocal actuation block)을 포함하는 머리 장착 가능 디스플레이 디바이스가 개시된다.
본 개시의 일부 양태들에 따르면, 디스플레이 패널 및 디스플레이 패널을 위한 광학 블록을 갖는 머리 장착 가능 디스플레이 디바이스의 사용자에 대한 눈 추적 데이터를 획득하는 단계; 눈 추적 데이터에 기초하여, 눈 운동의 현재 방향 및 속력을 결정하는 단계; 눈 운동의 현재 방향 및 속력에 기초하여 예측된 미래 폭주 평면을 생성하는 단계; 및 예측된 미래 폭주 평면에 기초하여 디스플레이 패널 또는 광학 블록의 컴포넌트 중 적어도 하나를 조정하는 단계를 포함하는 방법이 개시된다.
본 개시의 일부 양태들에 따르면, 디스플레이 패널, 디스플레이 패널로부터의 디스플레이 광을 집속시키도록 구성된 광학 블록, 및 좌안 및 우안 추적 유닛들을 포함하는 머리 장착 가능 디스플레이 디바이스를 갖는 머리 장착 가능 디스플레이 시스템을 작동시키기 위한 방법이 개시된다. 이 방법은, 머리 장착 가능 디스플레이 시스템의 눈 예측 모듈로, 좌안 및 우안 추적 유닛들로부터 눈 추적 데이터를 획득하는 단계; 눈 예측 모듈로: 눈 추적 데이터 및 눈 운동의 단속성 모델에 기초한 제1 예측된 시선 위치, 눈 추적 데이터 및 눈 운동의 원활 추종 모델에 기초한 제2 예측된 시선 위치, 눈 추적 데이터 및 눈 운동의 전정 안구 모델에 기초한 제3 예측된 시선 위치, 및 눈 추적 데이터 및 눈 운동의 폭주 모델(vergence model)에 기초한 예측된 폭주 평면을 결정하는 단계를 포함한다.
본 기술의 다양한 구성들이 예시로서 도시되고 설명되는 이하의 상세한 설명으로부터 본 기술의 다른 구성들이 본 기술 분야의 통상의 기술자에게 즉각 명백해질 것임이 이해된다. 인식될 것인 바와 같이, 본 기술은 다른 상이한 구성들이 가능하며 그의 몇 가지 세부 사항은, 모두가 본 기술의 범위를 벗어나지 않으면서, 다양한 다른 측면들에서 수정될 수 있다. 그에 따라, 도면들 및 상세한 설명은 본질적으로 예시적인 것으로 간주되어야 하며, 제한적인 것으로 간주되어서는 안 된다.
추가의 이해를 제공하기 위해 포함되고 본 명세서에 통합되어 그 일부를 구성하는 첨부 도면들은 개시된 실시예들을 예시하고 설명과 함께 개시된 실시예들의 원리들을 설명하는 역할을 한다. 도면들에서:
도 1은 본 개시의 양태들에 따른, 머리 장착 가능 디스플레이 디바이스의 사시도를 예시한다.
도 2는 본 개시의 양태들에 따른, 머리 장착 가능 디스플레이 디바이스의 정면도(face-on view)를 예시한다.
도 3은 본 개시의 양태들에 따른, 머리 장착 가능 디스플레이 디바이스의 디스플레이 및 눈 추적 요소들의 평면도를 예시한다.
도 4는 본 개시의 양태들에 따른, 포비티드 디스플레이 이미지의 다양한 컴포넌트들을 예시한다.
도 5는 본 개시의 양태들에 따른, 머리 장착 가능 디스플레이 디바이스와 연관된 다양한 디스플레이 및 눈 추적 요소들, 및 폭주 양태들의 표시기들의 평면도를 예시한다.
도 6은 본 개시의 양태들에 따른, 머리 장착 가능 디스플레이 디바이스를 위한 가변 초점 컴포넌트들의 측단면도를 예시한다.
도 7은 본 개시의 양태들에 따른, 머리 장착 가능 디스플레이 시스템의 개략 다이어그램을 예시한다.
도 8은 본 개시의 양태들에 따른, 머리 장착 가능 디스플레이 시스템을 위한 눈 예측 모듈의 개략 다이어그램을 예시한다.
도 9는 본 개시의 양태들에 따른, 예측된 눈 데이터를 사용하여 머리 장착 가능 디스플레이 디바이스의 작동을 위해 수행될 수 있는 예시적인 동작들의 플로차트를 예시한다.
도 10은 본 개시의 양태들에 따른, 시선 위치 및/또는 폭주 깊이(vergence depth)를 예측하기 위해 수행될 수 있는 예시적인 동작들의 플로차트를 예시한다.
도 11은 본 개시의 양태들에 따른, 시선 위치 및/또는 폭주 깊이를 예측하기 위해 수행될 수 있는 예시적인 동작들의 다른 플로차트를 예시한다.
도 12는 본 개시의 양태들에 따른, 예측적 포비티드 디스플레이를 위해 수행될 수 있는 예시적인 동작들의 플로차트를 예시한다.
도 13 내지 도 16은 본 개시의 양태들에 따른, 사용자의 눈의 검출된 단속성 운동과 연관된 포비티드 디스플레이 동작의 다양한 스테이지들을 예시한다.
도 17은 본 개시의 양태들에 따른, 사용자의 눈의 검출된 원활 추종 운동과 연관된 포비티드 디스플레이 동작의 다양한 스테이지들을 예시한다.
도 18은 본 개시의 양태들에 따른, 사용자의 눈의 검출된 전정 안구 운동과 연관된 포비티드 디스플레이 동작의 다양한 스테이지들을 예시한다.
도 19는 본 개시의 양태들에 따른, 예측적 가변 초점 디스플레이를 위해 수행될 수 있는 예시적인 동작들의 플로차트를 예시한다.
도 20 내지 도 23은 본 개시의 양태들에 따른, 사용자의 눈의 검출된 폭주 운동과 연관된 가변 초점 디스플레이 동작의 다양한 스테이지들을 예시한다.
이하의 상세한 설명에서, 본 개시의 완전한 이해를 제공하기 위해 많은 특정 세부 사항들이 기재되어 있다. 그렇지만, 본 개시의 실시예들이 이러한 특정 세부 사항들 중 일부가 없어도 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 다른 경우에, 본 개시를 모호하게 하지 않기 위해 잘 알려진 구조들 및 기술들은 상세하게 도시되지 않았다.
일반 개요
머리 장착 가능 디스플레이 디바이스들은 사용자가 머리 장착 가능 디스플레이 디바이스를 착용할 때 사용자의 개별 눈들에 보이는 개별 디스플레이 패널들 또는 디스플레이 패널의 개별 부분들을 포함할 수 있다. 예를 들어, 좌안 디스플레이 픽셀 어레이와 우안 디스플레이 픽셀 어레이로부터의 광을, 제각기, 사용자의 좌안 및 우안에 집속시키기 위해 좌안 렌즈 및 우안 렌즈가 디바이스의 하우징에 장착될 수 있다.
디스플레이 패널(들)로 사용자에게 이미지 프레임들을 디스플레이할 때 에너지 및 프로세싱 복잡도를 절감하기 위해, 디스플레이 패널들의 디스플레이 픽셀들이 포비티드 디스플레이 모드에서 작동될 수 있다. 포비티드 디스플레이 모드에서, 사용자의 시선 위치에 중심을 둔 영역(예를 들면, 고해상도 영역)에 있는 디스플레이 픽셀들은 이미지 프레임의 고해상도 부분을 디스플레이한다. 사용자의 시각은 그의 시야의 중앙(중심와) 부분 외부에서 그러한 고해상도를 인지할 수 없기 때문에, 주변의 영역의 디스플레이 픽셀들은 해당 영역에 이미지 프레임의 더 낮은 해상도 버전을 디스플레이한다. 고해상도 영역과 주변의 영역 사이의 전이 영역도 제공될 수 있다.
사용자의 눈들의 시선 위치를 추적하는 것에 의해, 이미지의 고해상도 부분들에 대응하는 디스플레이 패널(들)의 부분들이 사용자의 눈들의 운동에 따라 이동할 수 있다. 그렇지만, 이는 디스플레이의 고해상도 영역이 사용자의 현재 시선 위치에 위치하지 않는 경우 사용자에게 특히 방해가 되고/되거나 혼란스럽게 만들 수 있다. 더욱이, 디스플레이 파이프라인(예를 들면, 추적 동작들로부터 콘텐츠 식별 및/또는 생성, 렌더링까지)의 모든 부분들을 완료하는 데 시간이 걸릴 수 있으며, 이는 눈들이 고정 상태로 자리잡을 때(또는 그 전에) 정확한 시선 위치에 고해상도 영역을 디스플레이하는 것을 어렵게 만들 수 있다.
그에 따라, 예측된 시선 위치가 결정될 수 있는 시선 예측 시스템들 및 방법들이 본 명세서에서 설명된다. 사용자의 눈이 항상 디스플레이의 고해상도 부분을 응시하도록 보장하는 데 도움을 주기 위해, 고해상도 영역, 전이 영역, 및/또는 주변의 영역들의 크기, 형상, 위치 및/또는 다른 특징들이 예측된 시선 위치에 기초하여 조정될 수 있다. 이하에서 더 상세히 설명되는 바와 같이, (예를 들면, 예측 모델이 신뢰를 쌓음에 따라) 고해상도(예를 들면, 와가 있는(foveate))) 영역의 크기 및/또는 형상이 또한 동적으로 변할 수 있다. 시선 예측 시스템들 및 방법들, 및 시선 예측들에 기초한 예측적 포비티드 디스플레이 시스템들 및 방법들이 이하에서 더 상세히 설명된다.
디스플레이된 객체가 상이한 거리들에서 나타나도록 하기 위해, 사용자의 각각의 눈에 대한 디스플레이된 객체의 위치가 변경될 수 있다. 예를 들어, 객체가 사용자로부터 멀어지게 이동하는 것처럼 보이도록 하기 위해, 사용자의 좌안 및 우안에, 개별적으로, 디스플레이되는 객체의 사본들이 서로로부터 멀어지게 이동될 수 있다. 유사하게, 객체가 사용자를 향해 이동하는 것처럼 보이도록 하기 위해, 사용자의 좌안 및 우안에, 개별적으로, 디스플레이되는 객체의 사본들이 서로를 향해 이동될 수 있다. 객체 이미지의 사본들의 이러한 움직임들은 사용자의 눈들로 하여금 개별적으로 해당 사본을 따라가게 하고, 이에 의해 발산(diverge) 또는 수렴(converge)하게 하여, 3차원 운동의 인상을 유발한다. 사용자는 또한 사용자의 좌안 및 우안에 디스플레이되는 해당 객체의 좌측 사본 및 우측 사본 사이에 (디스플레이 평면을 따라) 다양한 횡방향 거리들을 갖는, 다양한 가상 거리들에서 다양한 객체들을 보도록 선택할 수 있다.
그렇지만, 각각의 객체의 2 개의 디스플레이된 사본 각각은 각각의 눈에 대한 이미지 평면에 초점이 맞춰져 디스플레이된다. 이미지 평면의 거리는 광학 시스템과 디스플레이 어셈블리의 배열에 의해(예를 들면, 액정 디스플레이 패널, 발광 다이오드 디스플레이 패널, 또는 도파관 디스플레이와 같은 디스플레이 패널의 배열 및/또는 디스플레이 광을 안내, 집속, 및/또는 재지향시키도록 배열된 하나 이상의 렌즈의 크기, 형상, 및/또는 위치에 의해, 또는 액정 광학 시스템, 다초점 시스템, 및/또는 라이트 필드(light-field) 디스플레이의 컴포넌트들의 제어에 의해) 결정되고, 각각의 눈에 디스플레이되는 객체의 2 개의 사본 사이의 횡방향 거리에 의해 야기되는 객체의 겉보기 깊이와 상이할 수 있다. 그에 따라, 사용자의 각각의 눈은, 디스플레이된 객체의 인지된 3차원 위치 또는 움직임에 관계없이, 이미지 평면에 초점이 맞춰질 수 있거나 이미지 평면에 초점을 맞추지 못할 수 있다. 사용자의 눈들의 폭주가 변할 때 (예를 들면, 이미지 평면의 깊이의 조정에 의해 야기되는) 사용자의 눈들의 초점의 조정이 없는 경우, 폭주-조절 불일치는 사용자의 피로 및/또는 현기증을 유발할 수 있다. 큰 폭주-조절 불일치의 경우, 사용자의 눈이 심지어 이미지 평면에 초점을 맞출 수 없으며, 이는 디스플레이된 이미지가 블러링된 것처럼 보이는 것을 결과한다. 이러한 폭주-조절 불일치를 완화시키기 위해, (예들로서) 렌즈들, 다초점 액정 광학 컴포넌트들과 같은 하나 이상의 광학 요소의 위치, 형상, 또는 다른 양태들, 및/또는 디스플레이 패널의 위치 및/또는 구성이 이미지 평면을 이동시키도록 수정될 수 있으며, 이에 의해 폭주의 변화와 함께 사용자의 초점을 또한 변화시킨다.
일부 상황들에서는, 인공 현실 디스플레이에서 이미지 평면을 모든 객체들의 실제 가상 거리에 이르기까지 이동시키는 것은 실용적이지 않거나 실현 가능하지 않을 수 있다. 따라서, 사용자에게 편안한 시청 경험을 제공하기 위해, 이미지 평면이 배치될 수 있는, 각각의 폭주 평면에 대한 쾌적 구역(zone of comfort)이 정의될 수 있다. 예를 들어, 쾌적 구역은 폭주 평면에 수직으로 +/- 2 디옵터까지 연장될 수 있다.
이미지 평면을 특정 폭주 평면에 대응하는 쾌적 구역을 향해 및/또는 쾌적 구역 내로 이동시키는 것에 의해, 디스플레이 어셈블리 광학 컴포넌트(들)의 조정은 폭주 변화의 방향과 일치하는 방향으로 사용자의 눈들의 조절 변화를 야기하며, 따라서 폭주은 변하지만 초점(조절)은 변하지 않을 때 피로하게 하거나 어지럽게 하는 불일치감(sense of conflict)을 완화 및/또는 방지한다.
그렇지만, 이미지 평면을 이동시키기 위해 디스플레이 어셈블리의 요소들을 조정(예를 들면, 이동, 형상을 변경, 또는 다른 방식으로 조정)하는 데 시간이 걸린다. 사용자가 동적 장면을 보고 있고/있거나 정적 장면을 동적으로 둘러보고 있을 수 있기 때문에, 디스플레이 어셈블리 응답이 제때에 수행되어 다음 폭주 변화 이전에 사용자에게 이익을 제공하도록, 디스플레이 어셈블리가 폭주 변화에 응답하는 시간을 최소화하는 것이 바람직하다.
그에 따라, 예측된 폭주 평면 및/또는 쾌적 구역이 결정될 수 있는 폭주 예측 시스템들 및 방법들이 본 명세서에서 설명된다. 디스플레이 패널 및 대응하는 광학 장치에 의해 생성되는 이미지 평면이, 예측된 폭주에 기초하여, 사용자가 새로운 폭주 평면으로의 이동을 완료하는 것보다 앞서 조정될 수 있다. 이러한 방식으로, 본 명세서에 개시된 폭주 예측 시스템들 및 방법들은, 사용자의 눈들이 폭주 평면에 랜딩(landing)하는 것과 가상 이미지 평면의 초점이 해당 폭주 평면에 대응하는 쾌적 구역 내에 랜딩하는 것 사이의 시간을 감소시키거나 최소화하는 데 도움이 될 수 있다. 폭주 예측 시스템들 및 방법들, 및 폭주 예측들에 기초한 예측적 가변 초점 디스플레이 시스템들 및 방법들이 이하에서 더 상세히 설명된다.
예시적인 머리 장착 가능 디스플레이 시스템
도 1은 본 개시의 양태들에 따른, 예시적인 머리 장착 가능 디스플레이 시스템(100)을 예시한다. 도 1에 도시된 바와 같이, 머리 장착 가능 디스플레이 시스템(100)은 머리 장착 가능 디스플레이 디바이스(102), 안면 인터페이스(facial-interface) 시스템(108), 스트랩 어셈블리(114), 및 오디오 서브시스템들(116)을 포함할 수 있다. 머리 장착 가능 디스플레이 디바이스는 사용자의 머리에 또는 머리 주위에 착용되고 사용자에게 시각적 콘텐츠를 디스플레이하는 임의의 유형 또는 형태의 디스플레이 디바이스 또는 시스템을 포함할 수 있다. 머리 장착 가능 디스플레이 디바이스들은, 디스플레이 패널(예를 들면, LCD 또는 LED 디스플레이 패널), 프로젝터, 음극선관, 광학 믹서 등을 통하는 것을 포함한, 임의의 적합한 방식으로 시각적 콘텐츠를 디스플레이할 수 있다. 머리 장착 가능 디스플레이 디바이스들은 다양한 미디어 포맷들 중 하나 이상의 미디어 포맷의 콘텐츠를 디스플레이할 수 있다. 예를 들어, 머리 장착 가능 디스플레이 디바이스는 비디오, 사진, 및/또는 컴퓨터 생성 이미지(computer-generated imagery, CGI)를 디스플레이할 수 있다.
도 1의 예에서, 머리 장착 가능 디스플레이 디바이스(102)는 디스플레이 하우징(110)을 포함하며, 그 내에 및/또는 그에 렌즈들(104) 및/또는, 본 명세서에 설명된 바와 같은 디스플레이 컴포넌트들을 포함한, 다양한 전자 컴포넌트들을 포함한, 머리 장착 가능 디스플레이 디바이스(102)의 다양한 컴포넌트들이 장착될 수 있다. 디스플레이 하우징(110)은 하나 이상의 내부 컴포넌트를 실질적으로 둘러싸는 하우징 후방 표면(112) 및 주변 표면들(113), 및 디스플레이 하우징(110)의 전방 측면에 있는 시청 영역(106)을 둘러싸는 개구부(115)를 포함할 수 있다.
머리 장착 가능 디스플레이 디바이스(102)와 같은 머리 장착 가능 디스플레이 디바이스들은 다양하고 독특한 사용자 경험들을 제공할 수 있다. 일부 머리 장착 가능 디스플레이 디바이스들은 가상 현실(VR) 경험들을 제공할 수 있는 반면(즉, 컴퓨터 생성 또는 사전 녹화 콘텐츠를 사용자에게 디스플레이하고 사용자가 그의 현실 세계 주변 환경을 보는 것을 차단할 수 있음), 다른 머리 장착 가능 디스플레이들은 현실 세계 경험들을 제공할 수 있다(즉, 실제 세계로부터의 라이브 이미지를 디스플레이할 수 있음). 머리 장착 가능 디스플레이들은 또한 라이브 콘텐츠와 가상 콘텐츠의 임의의 혼합물을 제공할 수 있다. 예를 들어, 가상 콘텐츠가 (예를 들면, 광학 투과(optical see-through) 또는 비디오 투과(video see-through)를 통해) 실제 세계의 뷰 상에 투사될 수 있으며, 이는 사용자를 위한 증강 현실(AR) 또는 혼합 현실(MR) 경험들을 결과할 수 있다. 머리 장착 가능 디스플레이 디바이스(102)와 같은 머리 장착 가능 디스플레이 디바이스들은 다수의 방식들로 사용자의 머리에 장착되도록 구성될 수 있다. 일부 머리 장착 가능 디스플레이 디바이스들은 안경 또는 바이저에 통합될 수 있다. 다른 머리 장착 가능 디스플레이 디바이스들은 헬멧, 모자, 또는 다른 헤드웨어(headwear)에 통합될 수 있다.
머리 장착 가능 디스플레이 디바이스(102)는 인공 현실 시스템을 포함하거나 이와 함께 구현될 수 있다. 인공 현실은 디바이스의 오디오, 시각적, 촉각적, 및/또는 다른 감각 출력에 대한 사용자 경험을 지칭하며, 출력은 디바이스에 의해 생성되거나, 사용자에게 제시되기 전에, 현실 세계와 관련하여 디바이스에 의해 조정된다. 인공 현실은, 예를 들면, 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 이들의 어떤 조합 및/또는 파생물을 지칭할 수 있다. 인공 현실 콘텐츠는 전적으로 가상 디바이스에 의해 생성되고/되거나 가상 시스템에 의해 생성된 콘텐츠인 콘텐츠를 포함할 수 있고/있거나, (예를 들면, 디바이스의 투명 또는 반투명 부분을 통해) 사용자가 직접 볼 수 있거나 하나 이상의 시스템 카메라에 의해 캡처되어 디바이스에 의해 사용자에게 디스플레이되는 현실 세계 콘텐츠와 결합되는 가상 콘텐츠를 포함할 수 있다.
인공 현실 콘텐츠는 비디오, 오디오, 햅틱 피드백, 또는 이들의 어떤 조합을 포함할 수 있으며, 이들 중 임의의 것이 단일 채널로 또는 다수의 채널들(예컨대, 시청자에게 3차원 시각적 효과를 생성하는 스테레오 비디오)로 제시될 수 있다. 추가적으로, 인공 현실은 또한, 예를 들면, 인공 현실에서 콘텐츠를 생성하는 데 사용되고/되거나 인공 현실에서 다른 방식으로 사용되는(예를 들면, 활동들을 수행하는) 애플리케이션들, 제품들, 액세서리들, 서비스들, 또는 이들의 어떤 조합과 연관될 수 있다. 인공 현실 콘텐츠를 제공하는 인공 현실 시스템은 호스트 컴퓨터 시스템, 독립형 HMD, 모바일 디바이스 또는 컴퓨팅 시스템, 또는 인공 현실 콘텐츠를 한 명 이상의 시청자에게 제공할 수 있는 임의의 다른 하드웨어 플랫폼에 연결되는 머리 장착 가능 디스플레이(때로는 머리 장착형 디스플레이(HMD)라고 지칭됨, HMD가 사용자의 머리에 현재 착용되어 있을 것을 요구하도록 의도하지 않음)를 포함한, 다양한 플랫폼들에서 구현될 수 있다.
오디오 서브시스템들(116)은 (예를 들면, 연장부들(123)에 의해) 하우징(110)에 장착되는 스피커들(121)을 포함할 수 있고, 머리 장착 가능 디스플레이 디바이스(102)와 통합될 수 있거나 하우징에 장착되거나 사용자의 귀들에 직접 부착 가능한 별도의 컴포넌트들로 형성될 수 있다. 오디오 서브시스템들(116)은 디스플레이된 콘텐츠와 함께 또는 디스플레이된 콘텐츠와 별도로 오디오 신호들을 사용자의 귀들에 제공할 수 있다. 도 1에 도시된 바와 같이, 머리 장착 가능 디스플레이 시스템(100)은, 예를 들어, 사용자의 좌측 귀 및 우측 귀에 오디오 신호들을 제공하기 위해 머리 장착 가능 디스플레이 디바이스(102)의 좌측 및 우측에 위치하는 2 개의 오디오 서브시스템(116)을 가질 수 있다.
도시된 바와 같이, 머리 장착 가능 디스플레이 디바이스(102)는 머리 장착 가능 디스플레이 디바이스(102)를 사용자의 머리에 조절 가능하게 장착하는 데 사용될 수 있는 스트랩 어셈블리(114)를 포함할 수 있다. 도 1에 도시된 바와 같이, 스트랩 어셈블리(114)는 사용자가 머리 장착 가능 디스플레이 시스템(100)을 착용하고 있을 때 사용자의 머리의 상단 및/또는 측면들에 조절 가능하게 들어맞도록 머리 장착 가능 디스플레이 디바이스(102)에 결합되는 하부 스트랩들 및/또는 상부 스트랩을 포함할 수 있다. 스트랩 어셈블리(114)는 사용자의 머리의 후면(예를 들면, 사용자의 후두엽 주위)에 안착되도록 상부 스트랩 및 하부 스트랩들과 결합되는 후면 피스(back piece)(125)를 포함할 수 있다. 적어도 하나의 실시예에서, 후면 피스는 사용자의 머리의 후면 부분(예를 들면, 사용자의 후두골의 일 부분) 주위에 견고하게 들어맞도록 치수가 정해지고 배치된 개구부를 포함할 수 있다.
머리 장착 가능 디스플레이 시스템(100)이 사용자에 의해 착용될 때, 안면 인터페이스 시스템(108)은, 사용자의 눈들을 둘러싸는 영역을 포함한, 사용자의 안면의 영역에 편안하게 안착하도록 구성될 수 있다. 예를 들어, 안면 인터페이스 시스템(108)은 사용자의 안면의 부분들(예를 들면, 사용자의 코, 볼, 관자놀이, 및/또는 이마 안면 영역들의 적어도 일 부분)에 안착하도록 구성된 인터페이스 쿠션(interface cushion)(127)을 포함할 수 있다. 안면 인터페이스 시스템(108)은 시청 영역(106) 주위에 연장되고, 머리 장착 가능 디스플레이 디바이스(102)를 착용한 사용자가 외부 광으로 인한 간섭 없이 머리 장착 가능 디스플레이 디바이스(102)의 렌즈들(104)을 통해 볼 수 있게 하도록 배열될 수 있다.
도 2는 본 개시의 양태들에 따른, 머리 장착 가능 디스플레이 디바이스(102)의 정면도를 도시한다. 도 2에 나타낸 바와 같이, 머리 장착 가능 디스플레이 디바이스(102)는 디스플레이 하우징(110) 내에 배치된 디스플레이 패널(118)을 포함할 수 있다. 디스플레이 패널(118)은 액정 디스플레이(LCD) 패널, 발광 다이오드(LED) 디스플레이 패널 또는 다른 디스플레이 픽셀 기술들을 구현하는 디스플레이 패널로서 구현될 수 있다.
도 2에 도시된 바와 같이, 디스플레이 패널(118)의 대응하는 영역들에 의해 생성되는 이미지들이 좌안 렌즈(들)(104L) 및 우안 렌즈(들)(104R)를 통해 사용자에게 보이도록, 디스플레이 패널(118)은 좌안 렌즈(들)(104L) 및 우안 렌즈(들)(104R)와 오버랩(overlap)하도록 디스플레이 하우징(110) 내에 배치될 수 있다. 예를 들어, 디스플레이 패널(118)의 별개의 부분들이 사용자의 눈들 각각에 보일 수 있고, 디스플레이 패널의 별개의 부분들은 디스플레이 패널(118)과 좌안 렌즈(들)(104L) 및 우안 렌즈(들)(104R)를 위한 장착 구조물 사이에서 연장되는 분할 영역(예를 들면, 각각의 렌즈에 대한 개별 아이 컵(eye cup)의 부분, 중앙 분할 파티션 등)에 의해 분리된다. 그러한 구성은 별개의 이미지들이, 디스플레이 패널(118)에 의해, 사용자의 눈들 각각에 제시되는 것을 가능하게 할 수 있어, 3차원 콘텐츠가 사용자에 의해 인지될 수 있게 한다. 단일 연속 디스플레이 패널(118)(사용자의 각각의 눈에 대한 디스플레이 영역을 갖는 연속 패널)이 도 2에 예시되어 있지만, 머리 장착 가능 디스플레이 디바이스(102)가 다수의 디스플레이 패널들(예를 들면, 사용자의 각각의 눈에 대해 하나의 LCD 디스플레이 패널과 같은 단독 디스플레이 패널들)을 구비하고 있을 수 있다는 것이 이해되어야 한다.
도 2에 도시된 바와 같이, 머리 장착 가능 디스플레이 디바이스(102)는 사용자의 눈들 각각의 위치, 배향, 및/또는 운동을 추적하도록 배열된 눈 추적 유닛들(215)을 또한 포함할 수 있고, 좌안 렌즈(들)(104L) 및 우안 렌즈(들)(104R)를 둘러싸는 광 차단 층(119)을 또한 포함할 수 있다. 광 차단 층(119)은, 예를 들어, 좌안 렌즈(104L) 및 우안 렌즈(104R)와 디스플레이 하우징(110)의 주변의 부분들 사이에서 연장될 수 있다. 광 차단 층(119)은, 예를 들어, 머리 장착 가능 디스플레이 디바이스(102)의 내부 컴포넌트들을 마스킹하고 (예를 들면, 사용자의 안면과 안면 인터페이스 시스템(108) 사이의 갭을 통해) 시청 영역(106)에 우연히 들어가는 임의의 외부 광이 시청 영역(106) 내에서 반사되는 것을 방지하는 광 흡수 재료(예를 들면, 어두운 중합체 및/또는 직물 재료)를 포함할 수 있다.
디스플레이 하우징(110)은, 디스플레이 패널(118) 및 다른 전자 장치와 같은, 그 내에 수용된 내부 컴포넌트들을 지지하고 보호하는, 강성 플라스틱과 같은, 강성 재료로 형성될 수 있다. 시청 영역(106)을 둘러싸는 디스플레이 하우징(110)의 일 부분과 같은, 디스플레이 하우징(110)의 적어도 일 부분은, 외부 광의 통과를 방지하고 시청 영역(106)에 우연히 들어가는 광의 반사를 방지하는 광 흡수 재료를 포함할 수 있다. 머리 장착 가능 디스플레이 디바이스(102)의 시청 영역(106)에서 외부 광을 차단하고/하거나 광의 반사를 방지하는 것은 사용자에게 보이는 거의 모든 광이 디스플레이 패널(118)로부터 방출되도록 보장하는 것에 의해 사용자의 몰입형 시청 경험을 크게 향상시킬 수 있다. 도 1을 다시 참조하면, 머리 장착 가능 디스플레이 디바이스(102)는 디스플레이 패널(118)에 의해 디스플레이될 콘텐츠를 생성하는 원격 컴퓨팅 디바이스(예를 들면, 데스크탑 컴퓨터, 태블릿, 게임 콘솔, 서버, 전용 컴퓨터 등)와 같은 원격 시스템에 머리 장착 가능 디스플레이 디바이스(102)를 통신 가능하게 결합시키는 연결 케이블(129)을 구비할 수 있다. 그렇지만, 머리 장착 가능 디스플레이 디바이스(102)가 원격 컴퓨팅 디바이스에 무선으로 결합될 수 있다는 것이 또한 이해되어야 한다.
도 3은 사용자의 한쪽 눈을 위한 디스플레이 어셈블리 및 디스플레이 패널의 일 부분을 포함하는 머리 장착 가능 디스플레이 디바이스의 일 부분의 개략 평면도를 도시한다. 도 3의 예시에서, 머리 장착 가능 디스플레이 디바이스(102)는, 사용자의 각각의 눈에 대해, 강체(305)(예를 들면, 하우징(110)의 후방 표면(112)의 일 부분에 대응함), 및 광학 블록(320)과, 디스플레이 패널(118)의 일 부분을 포함하는 디스플레이 어셈블리(360)를 포함한다. 예시를 위해, 도 3은 한쪽 눈(350)과 연관된 디스플레이 어셈블리(360)의 단면을 도시한다. 그에 따라, 별도의 광학 블록(320) 및/또는 디스플레이 패널(118), 및/또는 눈 추적 유닛(215)이 사용자의 다른 쪽 눈을 위한 하우징(110)에 제공될 수 있다.
작동 중에, 도 3의 예시적인 디스플레이 어셈블리 내의 디스플레이 패널(118)의 디스플레이 픽셀들은 광학 블록(320)을 향해 디스플레이 광을 방출한다. 광학 블록(320)은 도 1 및 도 2의 렌즈들(104)과 같은 렌즈들을 포함한 하나 이상의 광학 요소를 포함할 수 있으며, 이 광학 요소들은 디스플레이 광을 결합시키며, 디스플레이 광을 확대시키고/시키며, 하나 이상의 추가적인 광학적 오차(예를 들면, 왜곡, 비점수차 등)에 대해 디스플레이 광을 보정하도록 배열되고, 크기 조정되며, 성형되고, 배치된다. 광학 블록(320)은 하나 이상의 조리개, 프레넬 렌즈, 볼록 렌즈, 오목 렌즈, 필터 등을 포함할 수 있고, 상이한 광학 요소들의 조합들을 포함할 수 있다. 광학 블록(320)의 광학 요소들 중 하나 이상은, 반사 방지 코팅과 같은, 하나 이상의 코팅을 가질 수 있다. 광학 블록(320)에 의한 디스플레이 패널(118)로부터의 디스플레이 광의 확대는 디스플레이 패널(118)이 더 큰 디스플레이들보다 물리적으로 더 작고, 중량이 더 적으며, 더 적은 전력을 소비하도록 할 수 있다. 추가적으로, 디스플레이 광의 확대는 디스플레이된 콘텐츠의 시야를 증가시킬 수 있다. 예를 들어, 디스플레이된 콘텐츠의 시야는 디스플레이된 콘텐츠가 사용자 시야의 거의 전부(예를 들면, 150도 대각선)을 사용하여 제시되고, 일부 경우에, 전부를 사용하여 제시되도록 되어 있다. 광학 블록(320)은 디스플레이 광을 사용자의 눈(350)에 제시하기 위해 출사동(340)으로 지향시킨다. 출사동(340)은 사용자의 눈(350)의 동공(354)의 위치에 또는 그 근처에 배치된다. 도 3의 예는 디스플레이 패널 및 디스플레이 광을 디스플레이 패널의 디스플레이 픽셀들로부터 출사동(340)으로 지향시키는 광학 블록을 도시하지만, (예를 들면, 프로젝터로부터의 디스플레이 광을, 도파관 기판 상의 하나 이상의 격자를 사용하여, 출사동으로 재지향시키는 것에 의해) 디스플레이 광을 출사동(340)으로 지향시키는 도파관 디스플레이를 포함하는 디스플레이 어셈블리와 같은, 다른 디스플레이 어셈블리 배열들이 머리 장착 가능 디스플레이 디바이스(102)에 제공될 수 있다는 것이 이해되어야 한다.
도 3에 도시된 바와 같이, 머리 장착 가능 디스플레이 디바이스(102)는 하나 이상의 눈 추적 유닛(215)을 또한 포함할 수 있다. 눈 추적 유닛(215)은 눈(350)의 운동에 대응하는 눈 추적 데이터를 획득하도록 구성된 하나 이상의 카메라 및/또는 하나 이상의 광원(예를 들면, 적외선 광원)을 포함할 수 있다. 일 예에서, 적외선 광(368)은 머리 장착 가능 디스플레이 디바이스(102) 내에서 방출되고 사용자의 각각의 눈(350)으로부터 반사된다. 각각의 눈에 의해 반사되는 적외선 광의 변화들로부터 (예를 들면, 눈 운동의 방향 및 속력을 결정하는 것에 의하는 것과 같이 시선 위치의 변화를 식별하는 것에 의해) 눈 운동을 식별하기 위한 눈 회전 정보를 추출하기 위해, 반사 광이 카메라에 의해 수신 또는 검출되고 분석된다.
도 3에 나타낸 바와 같이, 사용자의 눈(350)은 각막(352), 동공(354), 수정체(356), 홍채(358), 공막(361), 및 중심와(362)를 포함한다. 중심와(362)는 망막 상의 작은 함몰부로서 예시되어 있다. 중심와(362)는 사용자의 망막 중에서 최고 시력을 갖는 영역에 대응한다. 도 3에 나타낸 바와 같이, 눈(350)의 각도 배향은 디스플레이 패널(118) 상의 시선 위치(317)를 향한 사용자의 시선의 방향에 대응한다. 시선 방향은 본 명세서에서, 광학 블록(320)에 의한 임의의 수정들 또는 재지향들을 포함하여, 눈의 중심와와 눈의 동공(354)의 중심 사이의 축인, 중심와 축(364)의 방향으로서 정의된다. 일반적으로, 사용자의 눈들이 한 지점에 고정될 때, 사용자의 눈들의 중심와 축들은 해당 지점과 교차한다. 눈은 각막 표면(352)에 수직인, 동공(354)의 중심을 통과하는 축인, 동공 축(366)을 또한 포함한다. 일부 실시예들에서, 눈 추적 유닛(215)은 동공 축의 배향을 검출하고, 검출된 동공 축에 기초하여 중심와 축(364)을 추정한다. 대안적으로, 눈 추적 유닛(215)은 중심와(362)의 위치 및/또는 눈의 망막의 다른 특징부들의 위치를 직접 검출하는 것에 의해 중심와 축을 추정한다.
이하에서 더 상세히 설명되는 바와 같이, 디스플레이 패널(118) 상에 디스플레이되는 이미지 프레임들은, 머리 장착 가능 디스플레이 디바이스(102)에 의해 추적되는 바와 같은, 사용자의 머리의 위치 및/또는 움직임에 의존할 수 있다. 예를 들어, 사용자가 가상 현실 장면, 증강 현실 장면, 혼합 현실 장면, 또는 인공 현실 장면을 둘러보기 위해 머리를 움직일 때, 장면에서의 디스플레이 패널의 위치에 대응하는 장면의 부분이 디스플레이 패널에 의해 디스플레이된다.
일부 작동 시나리오들에서, 디스플레이(118)는 각각의 이미지 프레임의 포비티드 디스플레이를 제공하도록 작동된다. 포비티드 디스플레이에서는, 시선 위치(317) 주위의 이미지 프레임의 일 부분이 고해상도로 디스플레이된다. 도 3에 나타낸 바와 같이, 사용자의 시선 위치를 둘러싸는 디스플레이 패널(118)의 일 부분(319)은 디스플레이 이미지의 고해상도 부분을 디스플레이하는 데 사용될 수 있다. 이미지 프레임의 고해상도 부분을 디스플레이하는 부분(319)을 둘러싸는 디스플레이 패널(118)의 일 부분(321)은 시선 위치(317)로부터의 거리가 증가함에 따라 디스플레이된 이미지 프레임의 해상도가 감소하는 전이 영역을 디스플레이하는 데 사용될 수 있다. 디스플레이 패널(118)의 나머지 부분(323)은 이미지 프레임의 상대적으로 낮은 해상도 부분을 디스플레이하는 데 사용될 수 있다.
사용자의 시선 위치(317)가 사용자의 눈(350)의 회전으로 인해 디스플레이 패널 여기저기로 이동함에 따라, 이미지의 고해상도 부분, 전이 부분, 및 주변 부분에 대응하는 디스플레이 패널(118)의 부분들(319, 321, 및 323)이 그에 따라 변한다.
도 4는 디스플레이 패널(118)을 사용하여 디스플레이될 수 있는 포비티드 디스플레이 이미지 프레임의 예를 예시한다. 도 4에 도시된 바와 같이, 포비티드 디스플레이 이미지 프레임(401)은 고해상도 부분(430), 주변 부분(400), 및 고해상도 부분과 주변 부분 사이에서 연장되는 전이 부분(440)을 포함할 수 있다. 고해상도 부분(430), 전이 부분(440), 및 주변 부분(400)은, 제각기, 디스플레이 패널(118)의 부분들(319, 321, 및 323)에 의해 디스플레이될 수 있다(이 부분들(319, 321, 및 323)에 대응하는 픽셀들이 사용자의 시선 위치의 변화에 따라 변할 수 있다는 점에 유의함).
이미지 프레임(401)의 주변 부분(400)은 고해상도 부분(430)의 해상도보다 낮은 해상도를 가질 수 있다. 예를 들어, 주변 부분(400)은 인간의 눈의 중심와가 아닌 영역의 해상도에 대응하는 해상도를 가질 수 있다. 예를 들어, 고해상도 부분(430)은 인간의 눈의 중심와 영역에 대응하는 해상도로 디스플레이될 수 있다.
도시된 바와 같이, 전이 부분(440)은 외부 경계(455) 및 내부 경계(460)(본 설명의 명확성을 위해, 도 4에 표시되어 있지만, 이미지(401)가 디스플레이될 때 사용자에게 보이지 않을 것임)를 갖는다. 전이 부분(440)은 해상도가 위에서 논의된 저해상도 부분(400)의 해상도인 외부 경계(455)로부터 내부 경계(460)에서의 고해상도 부분(430)의 고해상도까지 원활하게 변화하도록 블렌딩될 수 있다. 추가적으로, 전이 부분(450)은 배경 부분(400)과 블렌딩되도록 페이딩될 수 있다.
도 4의 예에서, 고해상도 부분(430)은 직선 경계를 가지며, 사용자의 시선 위치(417)에 중심을 두고, 이미지(401) 내에서 중앙에 있으며, 대칭적인 둥근 모서리들을 갖는다. 그렇지만, 고해상도 부분(430)이 사용자의 시선 위치(317)의 움직임들에 따라 이동할 때, (예를 들면, 사용자의 시선 위치가 디스플레이 패널(118)의 에지 및/또는 사용자의 시야의 에지에 접근하는 경우에) 고해상도 부분(430)(및 주변의 전이 부분(440))의 위치가 이미지(401)의 에지들에 더 가까이 또는 그로부터 멀어지게 이동할 수 있다는 것이 이해되어야 한다.
도 4의 고해상도 부분(430) 및 전이 부분(440)의 크기 및 형상이 단지 예시적인 것임이 또한 이해되어야 한다. 고해상도 부분(430) 및/또는 전이 부분(440)에 대한 다른 형상들은 원형 형상들, 계란 형상들, 타원형 형상들, 가늘고 긴 직선 형상들 등을 포함할 수 있으며, 형상들은 도 4의 예에서와 같이 대칭일 수 있거나 디스플레이 패널의 하나 이상의 차원을 따라 비대칭일 수 있다(예를 들면, 고해상도 부분(430) 및/또는 전이 부분(440)이 사용자의 눈(305)의 운동 방향을 따라 연장될 수 있다). 고해상도 부분(430) 및 전이 부분(440)은 유사한 동심 형상들 및 위치들을 가질 수 있거나, 상이한 형상이고/이거나 이미지(401) 내에서 중앙에 있을 수 있다(예를 들면, 전이 부분(440)은 사용자의 눈의 움직임 방향에 따라 연장될 수 있고 원형 또는 가늘고 긴 고해상도 영역(430)을 둘러쌀 수 있다).
현재 시선 위치(317)에 중심을 두도록 고해상도 영역(430) 및 전이 영역(440)을 디스플레이함으로써, 사용자가 영역들(440 및 400)에서의 감소된 해상도를 인지하지 못하도록 하기 위해, 사용자의 눈이 추적된다. 그렇지만, 해당 시선 위치에 대한 포비티드 디스플레이 이미지 프레임이 사용자에게 디스플레이될 수 있기 전에, 시선 위치가 디스플레이 제어 회로에 제공되고, 시선 위치와 연관된 콘텐츠가 식별되며, 디스플레이 이미지들이 렌더링, 보정 및/또는 다른 방식으로 프로세싱되고, 디스플레이 픽셀들은 포비티드 디스플레이 이미지 프레임(401)을 디스플레이하도록 작동된다. (예를 들면, 머리 추적 및/또는 사용자 입력의 수신 및/또는 프로세싱과 같은 다른 동작들 외에도) 이러한 동작들 각각은 시간이 걸려, 사용자의 눈에 대한 실시간 추적에서 모든 동작들을 완료하기 어렵게 만든다. 이러한 이유들로, 그리고 사용자의 시선 위치가 전이 영역(440) 또는 저해상도 부분(400)의 일 부분에 떨어지는 것은 사용자의 경험에 특히 방해가 될 수 있기 때문에, (예를 들면, 사용자의 눈이 각각의 시선 위치에 도달하기 전에 프로세싱이 시작될 수 있도록) 사용자의 시선 위치에 대한 사전 지식을 갖는 것이 도움이 된다.
본 개시의 양태들에 따르면, 미래 디스플레이 프레임에 대한 포비티드 디스플레이 이미지 프레임(401)이 사전에 생성(예를 들면, 사전 렌더링 및/또는 저장)될 수 있도록, 해당 미래 디스플레이 프레임에 대한 예측된 시선 위치가 획득될 수 있다. 미래 (예측된) 시선 위치들이 확실히 알려지지 않을 수 있기 때문에, 고해상도 영역(430), 전이 영역(440), 및 배경 부분(400)의 크기 및/또는 형상이, 예를 들어, 각각의 예측된 시선 위치에 대한 신뢰 레벨, 사용자의 눈(350)의 운동 유형, 및/또는 다른 정보에 기초하여 적응적으로 수정될 수 있다.
따라서, 고해상도 영역(430)은 현재 시선 위치 또는 예측된(예를 들면, 미래) 시선 위치에 중심을 둘 수 있다. 고해상도 부분(430)이 예측된 시선 위치에 기초하여 배치될 때, 고해상도 부분(430), 전이 부분(440), 및/또는 배경 부분(400)의 크기 및/또는 형상이 예측에 기초하여(예를 들면, 예측된 위치가 사용자에 의해 달성될 것으로 예상되는 미래에서의 시간량에 기초하여, 예측과 연관된 신뢰 레벨에 기초하여, 및/또는 예측된 위치가 사용자에 의해 달성될 것으로 예상되는 시간에 이미지(401)에 디스플레이될 콘텐츠에 기초하여) 결정될 수 있다. 시선 위치 예측 및 포비티드 디스플레이의 부분들의 크기 및/또는 형상에 대한 수정들의 추가 세부 사항들이 이하에서 설명된다.
도 3 및 도 4와 관련하여 설명된 포비티드 디스플레이 특징들 외에도, 디스플레이 어셈블리(360)는 폭주/조절 불일치로 인한 바람직하지 않은 효과들을 감소 또는 방지하기 위해 가변 초점을 제공하기 위한 컴포넌트들 및/또는 동작들을 또한 포함할 수 있다.
예를 들어, 사용자가 보고 있는 인공 장면의 일 부분에 대응하는 이미지 프레임(예를 들면, 도 4의 이미지 프레임(401)과 같은 포비티드 디스플레이 이미지 프레임 또는 균일 해상도 이미지 프레임)을 결정하고 디스플레이한 후에, 시스템(100)은 이어서 사용자가 보고 있는 결정된 부분 내의 위치 또는 객체를 결정할 수 있고, 해당 위치 또는 객체에 대한 초점을 그에 따라 조정할 수 있다. 사용자가 보고 있는 가상 장면의 결정된 부분 내의 위치 또는 객체를 결정하기 위해, 각각의 눈에 대한 눈 추적 유닛들(215)이 시선 위치(317) 및/또는 폭주 평면(예를 들면, 사용자의 두 눈의 중심와 축들(364)이 교차하는 디스플레이 패널(118)에 수직인 평면)을 결정하는 데 사용될 수 있다.
눈 추적 유닛들(215)은 사용자의 각각의 눈(350)에 대한 눈 위치, 방향, 및/또는 배향을 추적하는 데 사용될 수 있다. 예를 들어, 머리 장착 가능 디스플레이 디바이스(102)는 각각의 눈(350)의 3D 위치, 롤(roll), 피치(pitch), 및 요(yaw)의 적어도 서브세트를 추적하기 위해 눈 추적 유닛들(215)로부터의 눈 추적 데이터를 사용할 수 있고, 시선 위치(317), 폭주 평면, 및/또는 각각의 눈의 3D 응시 지점을 추정하기 위해 이러한 양들을 포함하거나 이러한 양들에 기초한 눈 추적 데이터를 사용할 수 있다. 게다가, 다양한 실시예들에서, 과거 눈 위치들로부터의 정보, 사용자의 머리의 위치를 설명하는 정보, 및 사용자에게 제시되는 장면을 설명하는 정보가 또한 눈의 3D 응시 지점을 추정하는 데 사용될 수 있다.
예를 들어, 도 5는 양쪽 눈들(350)을 위한 눈 추적 유닛들(215) 및 디스플레이 컴포넌트들이 보일 수 있는 디스플레이 어셈블리(360)의 확대 평면도를 도시한다. 도 5의 예에서, 눈 추적 유닛들(215) 각각은 카메라(예를 들면, 광원을 포함함)를 포함하고, 디스플레이 어셈블리(360)는 사용자의 각각의 눈과 각각의 눈(350)에 대한 디스플레이 패널(118)의 개별 부분들 사이에 배치되는 렌즈들(104)(예를 들면, 렌즈 블록(320) 내의 렌즈들)을 포함한다. 렌즈들(104)은, 예를 들어, 2 개 이상의 만곡된 광학 요소(예를 들면, 사용자의 좌안 및 우안 각각에 대한 한 쌍의 팬케이크 렌즈들)를 포함하는 팬케이크 렌즈 블록을 형성할 수 있다.
도 5의 예에서, 눈 추적 유닛들(215)은 디스플레이 패널들(118)을 사용하여 사용자로부터 가상 거리에 디스플레이되는 가상 객체(508)를 보고 있는 사용자의 눈들(350)의 이미지들을 캡처한다. 머리 장착 가능 디스플레이 디바이스(102)는 (예를 들면, 디스플레이 패널(118) 상의 각각의 눈에 대해 결정된 시선 위치(317)에 기초하여) 각각의 눈(350)에 대해 디스플레이될 장면 콘텐츠를 결정하기 위해 그리고 시선 라인들(506)의 교차 지점(예를 들면, 도 3에서 설명된 바와 같은 중심와 축 또는 동공 축에 대응함)을 결정하기 위해 눈 추적 유닛들(215)로부터의 눈 추적 데이터를 사용할 수 있다. 폭주 깊이(dν)는 시선 라인들(506)의 추정된 교차점에 기초하여 결정될 수 있다. 폭주 깊이는 가상 객체(508)의 가상 깊이에 대응할 수 있다. 디스플레이 패널(118)에 평행하고 시선 라인들(506)의 교차 지점을 포함하는 평면에 대응하는 폭주 평면이 식별될 수 있다.
머리 장착 가능 디스플레이 디바이스(102)의 광학 시스템의 초점 거리(또는 배율)를 변경하여, 사용자가 보고 있는 가상 장면의 디스플레이된 부분에 있는 장소(where) 또는 대상(what)에 대응하는 결정된 폭주 깊이에 대한 조절을 제공하기 위해, 디스플레이 어셈블리(360)의 하나 이상의 컴포넌트가, 결정된 폭주 깊이 및/또는 폭주 평면에 기초하여, 사용자의 눈(350)에 상대적으로 및/또는 디스플레이 어셈블리의 다른 컴포넌트들에 상대적으로 이동될 수 있다. 예로서, 다중 렌즈 블록 내의 하나 이상의 렌즈(104)는 사용자의 눈을 향해 또는 그로부터 멀어지게 또는 다중 렌즈 블록 내의 다른 렌즈를 향해 또는 그로부터 멀어지게 이동될 수 있고, 렌즈들(104) 중 하나 이상은 광학 시스템의 초점 거리를 수정하기 위해 해당 렌즈를 통한 광 경로를 변경하도록 변형될 수 있으며, 디스플레이 패널(118)은 사용자의 눈(350)을 향해 또는 그로부터 멀어지게 및/또는 렌즈들(104)을 향해 또는 그로부터 멀어지게 이동될 수 있고/있으며, 렌즈들(104)은 사용자의 눈(350)을 향해 또는 그로부터 멀어지게 및/또는 디스플레이 패널(118)을 향해 또는 그로부터 멀어지게 이동될 수 있다.
예를 들어, 도 6은 렌즈 블록(320)이 서로 이격된 2 개의 곡면 렌즈(104)를 갖는 팬케이크 렌즈 블록인 디스플레이 어셈블리(360)의 일 부분의 단면도를 예시한다. 이 예에서, 렌즈 블록(320)은, 결과적인 이미지 평면을 이동시켜 결정된 폭주 깊이에 대한 조절을 제공하기 위해, 렌즈들(104) 중 하나의 렌즈의 위치 및/또는 형상을 수정하여 머리 장착 가능 디스플레이 디바이스(102)의 광학 시스템의 초점 거리(또는 배율)를 조정하도록 배열된 액추에이터(610)(예를 들면, 모터, 압전 컴포넌트 등)를 구비한다. 일 예에서, 렌즈들(104) 중 하나의 렌즈의 위치 및/또는 형상을 수정하는 것은 후방 광학 요소(606)와 전방 광학 요소(604) 사이의 거리를 변경하는 것을 포함한다. 다른 예에서, 렌즈들(104) 중 하나의 렌즈의 위치 및/또는 형상을 수정하는 것은 2 개의 광학 요소 중 큰 쪽(예를 들면, 후방 광학 요소(606))에 힘을 가하는 것을 포함한다. 다른 예에서, 광학 요소들(604 및 606) 양쪽 모두의 형상이 동시에 변경될 수 있거나, 광학 요소들 중 적어도 하나의 형상을 변경하는 것 또는 2 개의 광학 요소 사이의 거리를 변경하는 것의 조합이 렌즈 블록(320)의 초점 거리를 변경하는 데 사용된다.
일 예에서, 렌즈들(104) 중 하나의 렌즈의 위치 및/또는 형상을 수정하는 것은 전방 광학 요소(604)에 상대적으로 후방 광학 요소(606)를 이동시키기 위해 대략 3 내지 4 mm의 선형 이동(linear travel)을 제공할 수 있는 보이스 코일 모터를 작동시키는 것을 포함한다. 후방 광학 요소(606)의 움직임을 안내하고 틸트를 방지하기 위해 가이드 샤프트들(608) 또는 다른 구조적 리미터들이 또한 제공될 수 있다. 압전 모터, 또는 어떤 다른 적합한 모터가, 일부 실시예들에서, 이 구현에서의 보이스 코일 모터에 대한 대안으로서 사용될 수 있다.
다른 예에서, 후방 광학 요소(606)는 고정 하우징 또는 나사산이 있는 칼라(threaded collar)에 장착될 수 있고 외부 에지에 수나사를 포함할 수 있는 반면, 나사산이 있는 칼라의 내부는 암나사를 포함한다. 다른 예에서, 결정된 폭주 평면/깊이에 기초하여 광학 시스템의 초점 거리를 변화시키기 위해 렌즈들(104) 사이 또는 그 주위의 진공 압력이 사용될 수 있도록 렌즈들(104)이 진공 압력 하우징에 제공될 수 있다.
가변 초점 작동에 대한 이러한 예들 외에도, 광학 시스템의 초점이 또한, 또는 대안적으로, (예들로서) 액체 튜닝 가능 렌즈들, 액정 광학 장치, 다초점 광학 장치, 라이트 필드 디스플레이들, 다초점 액정 광학 장치, 알바레즈(Alvarez) 렌즈들, 및/또는 PBP(Pancharatnam-Berry phase) 렌즈들과 같은 다른 컴포넌트들의 조정에 의해 수정될 수 있다는 것이 또한 이해되어야 한다.
도 6에 예시된 바와 같이, 액추에이터(612)는 또한, 또는 대안적으로, 결정된 폭주 평면/거리에 기초하여 디스플레이 패널(118) 및 렌즈 블록(320)을 포함하는 광학 시스템의 이미지 평면을 조정하기 위해 디스플레이 패널(118)에 결합될 수 있다.
조절/폭주 불일치를 줄이기 위해 초점 거리 및/또는 결과적인 이미지 평면을 조정하도록 디스플레이 시스템의 컴포넌트들을 작동시키기 위한 본 명세서에 설명된 다양한 구현들 중 임의의 것에서, 광학 요소(들)의 작동을 위한 시간이 렌더링에서의 지연들, 누락된 프레임들과 같은 바람직하지 않은 효과들을 유발할 수 있고/있거나 사용자의 눈 운동들을 따라잡기에는 너무 늦을 수 있다.
본 개시의 양태들에 따르면, 광학 요소(들)의 조정이 미래 디스플레이 프레임에 대해 사전에 시작될 수 있도록, 해당 미래 디스플레이 프레임에 대한 예측된 폭주 평면 및/또는 폭주 깊이가 획득될 수 있다. 미래의 (예측된) 폭주 평면들/깊이들이 확실히 알려지지 않을 수 있기 때문에, 각각의 예측된 폭주 평면과 연관된 쾌적 구역은, 예를 들어, 각각의 예측된 폭주 평면에 대한 신뢰 레벨, 및/또는 미래 디스플레이 프레임의 시간에서의 장면 콘텐츠 정보, 사용자 교정 정보, 및/또는 사용자 모델링 데이터와 같은 다른 정보에 기초하여 적응적으로 수정될 수 있다. 폭주 평면 예측 및 쾌적 구역에 대한 수정들 및 가변 초점 컴포넌트들의 작동에 대한 추가 세부 사항들은 이하에서 설명된다.
도 7은 시선 위치들 및/또는 폭주 평면들의 예측을 위한 컴포넌트들, 및/또는 예측적 포비티드 디스플레이 및/또는 예측적 가변 초점 동작들을 위한 컴포넌트들을 포함한, 시스템(100)의 다양한 컴포넌트들의 개략 다이어그램을 예시한다. 도 7에 도시된 바와 같이, 시스템(100)은 디스플레이 패널(118) 및 렌즈 블록(320)을 갖는 머리 장착 가능 디스플레이 디바이스(102)를 포함할 수 있다. 이 예에서, 시스템(100)은, 각각이 콘솔(750)에 결합되는, 이미징 디바이스(760), 및 입력 인터페이스(770)를 또한 포함한다.
도 7이 단일 머리 장착 가능 디스플레이 디바이스(102), 단일 이미징 디바이스(760), 및 단일 입력 인터페이스(770)를 도시하지만, 임의의 수의 이러한 컴포넌트들이 시스템에 포함될 수 있다는 것이 이해되어야 한다. 예를 들어, 시스템(100)은, 각각이 연관된 입력 인터페이스(770)를 갖고 하나 이상의 이미징 디바이스(760)에 의해 모니터링되는 다수의 머리 장착 가능 디스플레이 디바이스들(102)을 포함할 수 있으며, 각각의 머리 장착 가능 디스플레이 디바이스(102), 입력 인터페이스(770), 및 이미징 디바이스들(760)은 콘솔(750)과 통신한다. 대안적인 구성들에서, 상이한 및/또는 추가적인 컴포넌트들이 시스템(100)에 또한 포함될 수 있다.
머리 장착 가능 디스플레이 디바이스(102)는 콘텐츠를 사용자에게 제시하기 위해 디스플레이(118) 및/또는 오디오 컴포넌트들과 같은 다른 컴포넌트들을 작동시킨다. 이 예에서, 머리 장착 가능 디스플레이 디바이스(102)는 가변 초점 작동 블록(706), 초점 예측 모듈(708), 눈 추적 모듈(710), 폭주 프로세싱 모듈(712), 하나 이상의 로케이터(locator)(714), 관성 측정 유닛(internal measurement unit, IMU)(716), 머리 추적 센서들(718), 장면 렌더링 모듈(720), 및 눈 예측 모듈(722)을 포함한다.
가변 초점 작동 블록(706)은 폭주 및 조절이 변함에 따라 사용자의 눈들을 쾌적 구역에 유지하기 위해 머리 장착 가능 디스플레이 디바이스(102)의 초점 거리(또는 광학 배율)를 변화시키도록 광학 블록(320) 및/또는 디스플레이 패널(118)의 하나 이상의 컴포넌트를 조정하는 하나 이상의 가변 초점 요소(예를 들면, 도 6의 액추에이터들(610 또는 612) 중 하나 이상, 하나 이상의 액체 튜닝 가능 렌즈, 라이트 필드 디스플레이의 하나 이상의 마이크로렌즈 등)를 포함한다. 가변 초점 요소들의 조정이 컴포넌트들의 기계적 움직임인 일 예에서, 가변 초점 작동 블록(706)은 사용자에 대한 예측된 폭주 평면 및/또는 현재 폭주 평면에 기초하여 광학 블록(320)의 2 개의 광학 요소 사이의 거리를 물리적으로 변경한다. 기계적 초점 변동의 동일한 예에서, 대안적으로, 또는 광학 요소들 사이의 거리를 변경하는 것에 추가적으로, 가변 초점 작동 블록(706)은 도 6에서 설명된 후방 광학 요소(606) 또는 전방 광학 요소(604) 중 하나에 힘을 가하는 것에 의해 광학 블록(320)의 초점 거리를 변경할 수 있다. 기계적 및/또는 다른 가변 초점 구현들의 다양한 예들에서, 가변 초점 작동 블록(706)은 광학 블록(320)의 적어도 하나의 광학 요소의 형상, 위치, 배향, 및/또는 위상, 편광, 및/또는 다른 반응도를 변경하는 액추에이터들, 모터들, 진공 압력 제어기들, 제어 가능 편광기들, 액체 튜닝 가능 렌즈들 및/또는 다른 액정 광학 장치를 튜닝하기 위한 전자 및/또는 기계 컴포넌트들, 라이트 필드 디스플레이 컴포넌트들 등을 포함할 수 있다. 가변 초점 작동 블록(706)은 현재 폭주 평면에 기초하여 또는 사용자에 대한 예측된 폭주 평면에 기초하여 광학 블록(320) 및/또는 디스플레이 패널(118)의 배열을 조정할 수 있다.
예를 들어, 가변 초점 작동 블록(706)은 사용자에 대한 특정의 현재 또는 예측된 폭주 평면에 대한 조절/폭주 불일치를 완화시키는 원하는 초점 거리 및/또는 객체 거리를 달성하기 위해 광학 블록(320) 및/또는 디스플레이 패널(118)의 상태를 설정 및/또는 변경할 수 있다.
초점 예측 모듈(708)은 광학 블록(320)의 하나 이상의 미래 상태를 예측하기 위해 광학 블록(320)의 상태를 추적하는 로직을 포함하는 인코더이다. 예를 들어, 초점 예측 모듈(708)은 광학 블록(320)의 이전 상태들에 대응하는 이력 정보를 축적하고 이전 상태들에 기초하여 광학 블록(320)의 미래 상태를 예측한다. 디바이스(102)에 의한 장면의 렌더링이 광학 블록(320)의 상태에 기초하여 조정되기 때문에, 예측된 상태는 아래에서 더 설명되는 장면 렌더링 모듈(720)이 특정 프레임에 대한 장면에 적용할 조정을 결정할 수 있게 한다. 그에 따라, 초점 예측 모듈(708)은 프레임에 대한 광학 블록(320)의 예측된 상태를 설명하는 정보를 장면 렌더링 모듈(720)에 통신한다. 장면 렌더링 모듈(720)에 의해 수행되는 광학 블록(320)의 상이한 상태들에 대한 조정들은 아래에서 더 설명된다. 초점 예측 모듈(708)은 현재 폭주 평면에 기초한 가변 초점 동작들에 대해서도 광학 블록(320)의 상태를 예측하도록 작동할 수 있다.
눈 추적 모듈(710)은 눈 추적 유닛들(215)으로부터 눈 추적 데이터를 수신하고, 눈 추적 데이터에 기초하여 사용자의 눈(350)의 눈 위치 및 눈 운동을 추적할 수 있다. 머리 장착 가능 디스플레이 디바이스(102) 내부의 눈 추적 유닛(215)의 카메라 또는 다른 광학 센서는 사용자의 눈들에 대한 이미지 정보를 캡처하고, 눈 추적 모듈(710)은, 비틀림 및 회전(예를 들면, 롤, 피치, 및 요)의 크기를 포함하여, 동공 간 거리, 안구 간 거리, (예를 들면, 왜곡 조정을 위한) 디스플레이 패널(118) 및/또는 렌즈들(104) 중 하나 이상에 상대적인 각각의 눈(350)의 3차원(3D) 위치를 결정하기 위해 캡처된 이미지 정보를 사용한다.
눈 추적 모듈(710)은 각각의 눈(350)의 최대 6 개의 자유도(예를 들면, 3D 위치, 롤, 피치, 및 요)를 추적할 수 있고, 시선 위치 및/또는 폭주 평면을 추정하기 위해 사용자의 두 눈으로부터의 추적된 양들의 적어도 서브세트가 결합될 수 있다. 일부 예들에서, 가상 장면에서의 사용자의 시선의 3D 장소 또는 위치가 결정될 수 있다. 예를 들어, 눈 추적 모듈(710)은 과거 눈 추적 측정치들로부터의 정보, 사용자의 머리의 위치를 식별해 주는 측정치들, 및 디스플레이 패널(118)에 의해 제시되는 장면을 설명하는 3D 콘텐츠 정보를 통합한다.
눈 추적 모듈(710)은 각각의 눈에 대한 한 세트의 과거 시선 방향들, 사용자의 눈들에 대한 한 세트의 과거 폭주 평면들, 각각의 눈에 대한 현재 시선 방향, 사용자의 눈들에 대한 현재 폭주 평면, 및/또는 사용자의 눈들의 각각의 눈의 운동의 현재 방향, 속력 및/또는 가속도와 같은 눈 추적 데이터를 출력할 수 있다. 눈 추적 모듈(710)로부터 출력되는 눈 추적 데이터는 머리 장착 가능 디스플레이 디바이스(102)의 폭주 프로세싱 모듈, 장면 렌더링 모듈(720), 초점 예측 모듈(708), 및/또는 눈 예측 모듈(722)에 제공될 수 있다. 눈 추적 모듈로부터 출력되는 눈 추적 데이터는 또한 머리 장착 가능 디스플레이 디바이스(102)의 외부에, 예를 들어, 콘솔(750)의 인공 현실 엔진(756)에 제공될 수 있다.
눈 예측 모듈(722)은 눈 추적 모듈로부터 수신되는 눈 추적 데이터(예를 들면, 각각의 눈의 운동의 현재 시선 위치, 현재 폭주 평면, 및 현재 및 과거 시선 방향들, 속도들, 및/또는 가속도들), 및/또는 다른 정보(예를 들면, 장면 콘텐츠 정보 및/또는 사용자 교정 정보)에 기초하여 하나 이상의 예측된 시선 위치 및/또는 하나 이상의 예측된 폭주 평면을 생성할 수 있다. 예측된 시선 위치들 및/또는 예측된 폭주 평면들은, 눈 운동 동안, 사용자의 눈들의 속도 및/또는 가속도의 처음 2 개, 3 개, 또는 3 개 초과의 측정치에 기초하여 결정될 수 있다. 눈 예측 모듈(722)은 디스플레이 패널(118)에 의해 디스플레이될 다음 이미지 프레임 및/또는 하나 이상의 후속 이미지 프레임에 대한 예측된 시선 위치들 및/또는 예측된 폭주 평면들을 생성할 수 있다. 예로서, 눈 예측 모듈(722)은 시선 위치 및/또는 폭주 평면에 대한 다음 프레임 예측, 2-프레임 예측, 3-프레임 예측, 5-프레임 예측, 10-프레임 예측 등을 생성할 수 있다. 다른 예로서, 눈 예측 모듈(722)은 10 밀리초(ms) 예측, 20 ms 예측, 30 ms 예측, 50 밀리초 예측, 및 100 ms 예측과 같은 다수의 다가오는 시간들에 대한 다수의 예측들을 생성할 수 있다. 예를 들어, 폭주 평면 예측들의 경우, 가변 초점 작동 블록(706)은 알려진 최대 조정 시간(예를 들면, ms 단위)을 가질 수 있다. 눈 예측 모듈(722)은 가변 초점 작동 블록(706)에서의 이 알려진 지연시간(예를 들면, 그의 하나 이상의 배수)에 기초하는 미래 시간들에서의 예측된 폭주 평면들을 생성할 수 있다. 이러한 예측 시간들이 디스플레이 프레임 시간과 무관할 수 있다는 것이 이해되어야 한다.
눈 예측 모듈(722)은 각각의 예측된 시선 위치 및/또는 폭주 평면에 대한 신뢰 레벨을 생성할 수 있다. 예를 들어, 사용자의 눈들의 특정 운동 동안, 운동의 끝에서 예측된 시선 위치(들) 및/또는 폭주 평면(들)에 대한 신뢰 레벨(들)은 눈 추적 모듈(710)로부터, 운동 동안, 더 많은 눈 추적 데이터가 제공됨에 따라 증가할 수 있다. 눈 예측 모듈(722)의 추가의 특징들은 (예를 들면, 도 8과 관련하여) 이하에서 설명될 것이다.
폭주 프로세싱 모듈(712)은 사용자에 대한 쾌적 구역을 유지하기 위해 대응하는 이미지 평면 깊이를 달성하도록 광학 블록(320) 및/또는 디스플레이(110)의 수정을 결정하기 위해 눈 추적 모듈(710)로부터 수신되는 폭주 깊이 또는 폭주 평면에 대해 작동할 수 있다. 일부 구현들에서, 현재 폭주 깊이는 또한, 또는 대안적으로, (예를 들면, 눈 추적 모듈(710)로부터 제공되는 바와 같은 각각의 눈에 대한 시선 방향 정보에 기초하여) 폭주 프로세싱 모듈(712)에 의해 결정될 수 있다.
로케이터들(714)은 서로에 상대적으로 및 머리 장착 가능 디스플레이 디바이스(102) 상의 특정 기준점에 상대적으로 머리 장착 가능 디스플레이 디바이스(102) 상의 특정 위치들에 위치하는 컴포넌트들이다. 로케이터들(714)은 발광 다이오드(LED), 코너 큐브 반사체, 반사 마커, 머리 장착 가능 디스플레이 디바이스(102)가 작동하는 환경과 대비되는 다른 유형의 광원, 또는 이들의 어떤 조합으로서 구현될 수 있다. 능동 로케이터들(714)(예를 들면, LED 또는 다른 유형의 발광 디바이스)은 가시 대역(예를 들면, 380 nm 내지 750 nm), 적외선(IR) 대역(예를 들면, 750 nm 내지 1 mm), 자외선 대역(예를 들면, 10 nm 내지 380 nm), 전자기 스펙트럼의 어떤 다른 부분, 또는 이들의 어떤 조합에서 광을 방출할 수 있다.
로케이터들(714)은, 로케이터들(714)에 의해 방출되거나 반사되는 광의 파장들에 투명하거나 로케이터들(714)에 의해 방출되거나 반사되는 광의 파장들을 실질적으로 감쇠시키지 않을 정도로 충분히 얇은, 머리 장착 가능 디스플레이 디바이스(102)의 외부 표면 아래에 위치할 수 있다. 게다가, 머리 장착 가능 디스플레이 디바이스(102)의 외부 표면 또는 다른 부분들은 가시 대역의 광 파장들에서 불투명할 수 있다. 따라서, 로케이터들(714)은 IR 대역에서는 투명하지만 가시 대역에서는 불투명한 머리 장착 가능 디스플레이 디바이스(102)의 외부 표면 아래에 있는 동안 IR 대역의 광을 방출할 수 있다.
관성 측정 유닛(IMU)(716)은 머리 장착 가능 디스플레이 디바이스(102)의 움직임에 응답하여 하나 이상의 측정 신호를 생성하는 머리 추적 센서들(718) 중 하나 이상으로부터 수신되는 측정 신호들에 기초하여 빠른 교정 데이터를 생성하는 전자 디바이스이다. 머리 추적 센서들(718)의 예들은 움직임을 검출하고 IMU(716)와 연관된 오차를 보정하기에 적합한 가속도계들, 자이로스코프들, 자력계들, 다른 센서들, 또는 이들의 어떤 조합을 포함한다. 머리 추적 센서들(718)은 IMU(716) 외부에, IMU(716) 내부에, 또는 이들의 어떤 조합으로 위치할 수 있다.
머리 추적 센서들(718)로부터의 측정 신호들에 기초하여, IMU(716)는 머리 장착 가능 디스플레이 디바이스(102)의 초기 위치에 상대적인 머리 장착 가능 디스플레이 디바이스(102)의 추정된 위치를 나타내는 빠른 교정 데이터를 생성한다. 예를 들어, 머리 추적 센서들(718)은 병진 운동(전후, 상하, 좌우)을 측정하기 위한 다수의 가속도계들 및 회전 운동(예를 들면, 피치, 요, 및 롤)을 측정하기 위한 다수의 자이로스코프들을 포함한다. IMU(716)는, 예를 들어, 측정 신호들을 신속하게 샘플링하고 샘플링된 데이터로부터 머리 장착 가능 디스플레이 디바이스(102)의 추정된 위치를 계산할 수 있다. 예를 들어, IMU(716)는 시간에 따라 가속도계들로부터 수신되는 측정 신호들을 적분하여 속도 벡터를 추정하고, 시간에 따라 속도 벡터를 적분하여 머리 장착 가능 디스플레이 디바이스(102) 상의 기준점의 추정된 위치를 결정한다. 기준점은 머리 장착 가능 디스플레이 디바이스(102)의 위치를 설명하는 데 사용될 수 있는 지점이다. 기준점은 일반적으로 공간에서의 한 지점으로서 정의될 수 있지만, 다양한 실시예들에서, 기준점은 머리 장착 가능 디스플레이 디바이스(102) 내의 한 지점(예를 들면, IMU(716)의 중심)으로서 정의된다. 대안적으로, IMU(716)는 샘플링된 측정 신호들을 콘솔(750)에 제공하고, 콘솔(750)은 빠른 교정 데이터를 결정한다.
IMU(716)는 콘솔(750)로부터 하나 이상의 교정 파라미터를 추가적으로 수신할 수 있다. 아래에서 더 논의되는 바와 같이, 하나 이상의 교정 파라미터는 머리 장착 가능 디스플레이 디바이스(102)의 추적을 유지하는 데 사용된다. 수신된 교정 파라미터에 기초하여, IMU(716)는 하나 이상의 IMU 파라미터(예를 들면, 샘플 레이트)를 조정할 수 있다. 일부 실시예들에서, 특정 교정 파라미터들은 IMU(716)로 하여금 기준점의 다음 교정된 위치에 대응하도록 기준점의 초기 위치를 업데이트하게 한다. 기준점의 초기 위치를 기준점의 다음 교정된 위치로서 업데이트하는 것은 추정된 위치를 결정하는 것과 연관된 누적 오차를 줄이는 데 도움이 된다. 드리프트 오차(drift error)라고도 지칭되는 누적 오차는 시간이 지남에 따라 기준점의 추정된 위치가 기준점의 실제 위치로부터 멀어지게 "드리프트"하게 한다.
장면 렌더링 모듈(720)은 인공 현실 엔진(756)으로부터 인공 장면에 대한 콘텐츠를 수신하고 디스플레이 패널(118) 상에 디스플레이하기 위한 콘텐츠를 제공한다. 추가적으로, 장면 렌더링 모듈(720)은 초점 예측 모듈(708), 폭주 프로세싱 모듈(712), IMU(716), 머리 추적 센서들(718), 및 눈 예측 모듈(722)로부터의 정보에 기초하여 콘텐츠를 조정할 수 있다. 예를 들어, 엔진(756)으로부터 콘텐츠를 수신할 시에, 장면 렌더링 모듈(720)은 초점 예측 모듈(708)로부터 수신되는 광학 블록(320)의 예측된 상태에 기초하여 콘텐츠를 조정한다. 예를 들어, 장면 렌더링 모듈(720)은 광학 블록(320)의 광학 요소들로 인해 야기될 수 있는 디스플레이된 이미지 프레임의 임의의 왜곡을 상쇄시키기 위해 (예를 들면, 광학 블록(320)의 예측된 상태에 기초하여 디스플레이하기 전에 렌더링된 이미지 프레임을 워핑하는 것에 의해) 디스플레이될 디스플레이 콘텐츠에 왜곡 보정을 적용할 수 있다. 예측된 3차원 시선 위치(예를 들면, 예측된 시선 위치 및 예측된 폭주 평면에 기초함)는 (예를 들면, 예측된 3차원 시선 위치를 초점 예측 모듈(708)에 제공하는 것에 의해) 일부 시나리오들에서 이러한 왜곡 보정을 예측하는 데 사용될 수 있다. 추가적으로, 아래에서 더 설명되는 바와 같이, 장면 렌더링 모듈(720)은 추적 모듈(754), 머리 추적 센서들(718), 또는 IMU(716) 중 하나 이상에 기초하여 전자 디스플레이(118) 상에 디스플레이될 콘텐츠의 일 부분을 결정한다.
장면 렌더링 모듈(720) 및/또는 머리 장착 가능 디스플레이 디바이스(102) 및/또는 콘솔(750) 내의 다른 프로세싱 회로는 디스플레이 패널(118)에 의해 디스플레이하기 위한 포비티드 디스플레이 이미지 프레임을 렌더링하기 위해, 본 명세서에 설명된 바와 같이, 이미지 프레임(또는 일련의 이미지 프레임들)을 고해상도 부분(430), 전이 부분(440) 및 주변 부분(400)으로 분할할 수 있다.
장면 렌더링 모듈(720)은 눈 추적 모듈(710)로부터의 현재 시선 위치 및/또는 눈 예측 모듈(722)로부터의 하나 이상의 예측된 시선 위치에 기초하여 렌더링될 고해상도 영역(430), 전이 영역(440), 및 주변 영역(400) 각각의 위치, 크기, 및/또는 형상을 결정한다. 장면 렌더링 모듈(720)은 이어서, 예를 들어, 목표 해상도(예를 들면, 인간의 눈의 중심와 영역에 대응하는 해상도)로 고해상도 영역(430)을 렌더링하고, 고해상도 부분(430)의 해상도보다 낮은 해상도로 주변 부분(400)을 렌더링할 수 있다. 일부 작동 시나리오들에서, 고해상도 영역(430)은, 원하는 경우, 목표 해상도를 달성하기 위해 (예컨대, 초해상도(super-resolution) 기술들을 통해) 업샘플링될 수 있다. 일부 작동 시나리오들에서, 장면 렌더링 모듈(720)은 예측된 시선 위치 및 해당 예측된 시선 위치에 대한 신뢰 레벨에 기초하여 주변 부분(400)의 콘텐츠를 조정할 수 있다. 예를 들어, 장면 렌더링 모듈(720)은 예측된 시선 위치에 대한 신뢰 레벨에 따라 주변 부분(400)에 채우기(fill)를 적용할 수 있다.
렌더링 시에, 해상도가 이미지의 고해상도 부분(430)의 해상도로부터 배경 영역(400)의 해상도로 원활하게 전이되도록, 장면 렌더링 모듈(720)은 또한 렌더링될 전이 부분(440)의 해상도를 조정하기 위해 블렌딩 함수를 적용할 수 있다. 블렌딩 함수는 인간의 눈의 중심와로부터 중심와가 아닌 영역으로의 전이와 연관된 시력 저하(fall off in acuity)에 대응할 수 있다. 블렌딩 함수는, 예를 들어, 가우시안 피라미드 분해 함수, 가우시안 블렌딩 함수, 삽도 영역(inset region)의 해상도로부터 배경 영역의 해상도로 원활하게 전이하는 어떤 함수, 또는 이들의 어떤 조합일 수 있다. 추가적으로, 피라미드 블렌딩 함수는 (예를 들면, 적절한 평활화 필터로 콘텐츠를 평활화하고 이어서 평활화된 콘텐츠를 서브샘플링하며 미리 결정된 레벨의 샘플링 밀도를 위해 프로세스를 계속하기 위해) 가우시안 피라미드 분해를 수행하는 것을 포함할 수 있다. 서브샘플링되고 평활화된 콘텐츠가 가우시안 블렌딩 함수를 사용하여 원본 콘텐츠에 블렌딩될 수 있다. 블렌딩된 전이 부분은 합성 콘텐츠의 전이 영역(440)에 사용될 수 있다.
장면 렌더링 모듈(720)은 또한 강도 페이딩 함수를 사용하여 주변 부분(400) 및/또는 전이 부분(440)에서 페이딩할(예를 들면, 디스플레이 강도를 감소시킬) 수 있다. 일부 작동 상황들에서, 장면 렌더링 모듈(720)은 사용자가 폭주하여 다양한 객체들에 초점을 맞출 수 있게 하는 깊이 단서들을 향상시키기 위해, 예측된 폭주 평면에 기초하여, (예를 들면, 사용자의 눈들이 폭주되는 고해상도 영역 내의 다른 객체와 상이한 깊이에 있는 고해상도 영역(430) 내의 객체를 의도적으로 블러링하는 것에 의해) 고해상도 부분(430), 전이 부분(440), 및/또는 주변 부분(400) 중 하나 이상의 일부 또는 전부의 해상도를 조정할 수 있다. 이러한 인공 디포커스 블러링(artificial defocus blur)은 게다가 눈이 제한된 피사계 심도(depth of field)를 갖는 현실 세계 효과를 시뮬레이션하는 데 도움이 될 수 있다. 디스플레이된 이미지 프레임이 전적으로 단일 초점 평면에 있을 가능성이 있기 때문에, 이미지 프레임이 상이한 깊이들에 있는 객체들을 포함할 수 있더라도, 장면 렌더링 모듈은 이미지 프레임 내의 객체들을, 초점 평면으로부터의 그들의 거리에 기초하여, 인공적으로 블러링할 수 있다. 이러한 인공 디포커스는 고해상도 영역(430)을 전체 해상도로 렌더링하는 것 및 이어서 초점 평면으로부터 멀리 떨어진 깊이들에 있는 해당 영역 내의 객체들에 대해 디포커스 블러링을 인위적으로 적용하는 것에 의해 수행될 수 있거나, 초점 평면으로부터 멀리 떨어진 깊이들에 있는 고해상도 영역 내의 객체들을 더 낮은 해상도로 렌더링하는 것에 의해 수행될 수 있다. 이러한 인공 디포커스 블러링은 고해상도 영역(예를 들면, 사용자의 시각이 효과를 가장 잘 인지할 수 있는 곳)에, 고해상도 영역(430) 및 전이 부분(440)에, 또는 고해상도 영역(430), 전이 부분(440), 및 주변 부분(400) 모두에 있는 객체들에 대해서만 수행될 수 있다.
예측된 시선 위치들 및/또는 예측된 폭주 평면들과 같은 예측된 눈 데이터에 기초하여 작동할 때, 장면 렌더링 모듈(720)은 하나 이상의 이미지 프레임을 사전 렌더링하고 해당 이미지 프레임들을 디스플레이하기 전에 사전 렌더링된 이미지 프레임들을 저장할 수 있다. 업데이트 및/또는 개선된 예측된 눈 데이터가 획득될 때, 사전 렌더링된 이미지 프레임들이 또한, 디스플레이 이전에, 조정 및/또는 대체될 수 있다.
이미징 디바이스(760)는 콘솔(750)로부터 수신되는 교정 파라미터들에 따라 느린 교정 데이터를 생성한다. 느린 교정 데이터는 이미징 디바이스(760)에 의해 검출 가능한 로케이터들(714)의 관찰된 위치들을 보여주는 하나 이상의 이미지를 포함한다. 이미징 디바이스(760)는 하나 이상의 카메라, 하나 이상의 비디오 카메라, 하나 이상의 로케이터(714)를 포함하는 이미지들을 캡처할 수 있는 다른 디바이스들, 또는 이들의 어떤 조합을 포함할 수 있다. 추가적으로, 이미징 디바이스(760)는 (예를 들면, 신호 대 잡음 비를 증가시키기 위한) 하나 이상의 필터를 포함할 수 있다. 이미징 디바이스(760)는 이미징 디바이스(760)의 시야 내의 로케이터들(714)로부터 방출 또는 반사되는 광을 검출하도록 구성된다. 로케이터들(714)이 수동 요소들(예를 들면, 역반사체)을 포함하는 실시예들에서, 이미징 디바이스(760)는 로케이터들(714)의 일부 또는 전부를 조명하는 광원을 포함할 수 있으며, 로케이터들(714)은 이미징 디바이스(760) 내의 광원을 향해 광을 역반사(retro-reflect)한다. 느린 교정 데이터는 이미징 디바이스(760)로부터 콘솔(750)에 통신되고, 이미징 디바이스(760)는 하나 이상의 이미징 파라미터(예를 들면, 초점 거리, 초점, 프레임 레이트, ISO, 센서 온도, 셔터 속도, 조리개 등)를 조정하기 위해 콘솔(750)로부터 하나 이상의 교정 파라미터를 수신한다.
입력 인터페이스(770)는 사용자가 액션 요청들과 같은 입력을 콘솔(750)로 송신할 수 있게 하는 디바이스이다. 액션 요청은 특정 액션을 수행하기 위한 요청이다. 예를 들어, 액션 요청은 애플리케이션을 시작 또는 종료하는 것 또는 애플리케이션 내에서 특정 액션을 수행하는 것일 수 있다. 입력 인터페이스(770)는 하나 이상의 입력 디바이스를 포함할 수 있다. 예시적인 입력 디바이스들은 키보드, 마우스, 게임 컨트롤러, 또는 액션 요청들을 수신하고 수신된 액션 요청들을 콘솔(750)에 통신하기 위한 임의의 다른 적합한 디바이스를 포함한다. 입력 인터페이스(770)에 의해 수신되는 액션 요청은 콘솔(750)에 통신되고, 콘솔(750)은 액션 요청에 대응하는 액션을 수행한다. 일부 실시예들에서, 입력 인터페이스(770)는 콘솔(750)로부터 수신되는 지시사항들에 따라 사용자에게 햅틱 피드백을 제공할 수 있다.
콘솔(750)은 이미징 디바이스(760), 머리 장착 가능 디스플레이 디바이스(102), 및/또는 입력 인터페이스(770)로부터 수신되는 정보에 따라 사용자에게 제시하기 위한 콘텐츠를 머리 장착 가능 디스플레이 디바이스(102)에 제공한다. 도 7에 도시된 예에서, 콘솔(750)은 애플리케이션 저장소(752), 추적 모듈(754), 및 엔진(756)을 포함한다. 콘솔(750)의 일부 구현들은 도 7과 관련하여 설명된 것들과 상이한 또는 추가적인 모듈들을 갖는다. 유사하게, 아래에서 더 설명되는 기능들이 여기에 설명된 것과 상이한 방식으로 콘솔(750)의 컴포넌트들 간에 배포될 수 있다.
애플리케이션 저장소(752)는 콘솔(750)에 의해 실행하기 위한 하나 이상의 애플리케이션을 저장한다. 애플리케이션은, 프로세서에 의해 실행될 때, 사용자에게 제시하기 위한 콘텐츠를 생성하는 명령어 그룹이다. 애플리케이션에 의해 생성되는 콘텐츠는 머리 장착 가능 디스플레이 디바이스(102)의 움직임 및/또는 인터페이스 디바이스(770)를 통해 사용자로부터 수신되는 입력들에 응답한 것일 수 있다. 애플리케이션들의 예들은 게이밍 애플리케이션들, 회의 애플리케이션들, 비디오 재생 애플리케이션, 또는 다른 적합한 애플리케이션들을 포함한다.
추적 모듈(754)은 이미징 디바이스(760)로부터의 느린 교정 정보를 사용하여 머리 장착 가능 디스플레이 디바이스(102)의 움직임을 추적하고, 느린 교정 정보로부터의 관찰된 로케이터들(714) 및 머리 장착 가능 디스플레이 디바이스(102)의 모델을 사용하여 머리 장착 가능 디스플레이 디바이스(102) 상의 기준점의 위치들을 결정한다. 추적 모듈(754)은 또한 머리 장착 가능 디스플레이 디바이스(102)의 IMU(716)로부터의 빠른 교정 정보로부터의 위치 정보를 사용하여 머리 장착 가능 디스플레이 디바이스(102) 상의 기준점의 위치들을 결정한다. 추가적으로, 추적 모듈(754)은 엔진(756)에 제공되는 머리 장착 가능 디스플레이 디바이스(102)의 미래 위치를 예측하기 위해 빠른 교정 정보, 느린 교정 정보, 또는 이들의 어떤 조합의 부분들을 사용할 수 있다.
엔진(756)은 시스템 내의 애플리케이션들을 실행하고 추적 모듈(754)로부터 머리 장착 가능 디스플레이 디바이스(102)에 대한 위치 정보, 가속도 정보, 속도 정보, 예측된 미래 위치들, 또는 이들의 어떤 조합을 수신한다. 수신된 정보에 기초하여, 엔진(756)은, 인공 장면과 같은, 사용자에게 제시하기 위해 머리 장착 가능 디스플레이 디바이스(102)에 제공할 콘텐츠를 결정한다. 예를 들어, 수신된 정보가 사용자가 왼쪽을 보았다는 것을 나타내는 경우, 엔진(756)은, 인공 환경에서의 사용자의 움직임에 따라, 이전에 디스플레이된 콘텐츠의 왼쪽에 있는 머리 장착 가능 디스플레이 디바이스(102)에 대한 콘텐츠를 생성한다. 추가적으로, 엔진(756)은 입력 인터페이스(770)로부터 수신되는 액션 요청에 응답하여 콘솔(750) 상에서 실행되는 애플리케이션 내에서 액션을 수행하고, 액션이 수행되었다는 피드백을 사용자에게 제공한다. 제공된 피드백은 머리 장착 가능 디스플레이 디바이스(102)를 통한 시각적 또는 청각적 피드백 또는 입력 인터페이스(770)를 통한 햅틱 피드백일 수 있다. 다양한 구현들에서, 장면 렌더링 모듈(720)에 의해 수행되는 것으로 설명되는 동작들의 일부 또는 전부가 다른 곳에서, 예컨대, AR 엔진(756)에 의해 수행될 수 있다는 것이 이해되어야 한다.
머리 장착 가능 디스플레이 디바이스들을 위한 예시적인 눈 예측 컴포넌트들 및 방법들
도 8은 눈 예측 모듈(722)의 예시적인 구현의 개략 다이어그램을 예시한다. 도시된 바와 같이, 눈 예측 모듈(722)은 필터링 모듈(800), 시선 예측 모듈(802), 및 폭주 예측 모듈(804)을 포함할 수 있다. 필터링 모듈(800)은 눈 추적 모듈(710)로부터 눈 추적 데이터(814)(예를 들면, 현재 시선 방향, 현재 시선 움직임 방향, 및/또는 각각의 눈에 대한 현재 시선 움직임 속력, 및/또는 사용자의 눈 각각의 하나 이상의 부위에 대한 현재 및/또는 과거 원시 위치 및/또는 배향 데이터와 같은 다른 눈 추적 데이터)를 수신할 수 있고, 예측된 시선 위치들 및/또는 예측된 폭주 평면들과 같은 예측들을 출력할 수 있다.
필터링 모듈(800)은 또한 사용자 교정 데이터(816), 장면 콘텐츠 정보(818), 및/또는 머리 추적 데이터(820)와 같은 다른 데이터를 수신할 수 있다. 사용자 교정 데이터(816)는, 예를 들어, 각각의 특정 사용자에 대한 트레이닝 세션에서 획득될 수 있다. 트레이닝 세션에서, 머리 장착 가능 디스플레이 디바이스(102)를 착용한 사용자는, 디스플레이 패널(118)에 의해, 사용자의 눈들이 하나 이상의 알려진 유형의 눈 운동으로 움직이게 하는 시각적 자극들을 제시받을 수 있다.
예를 들어, 네 가지 유형의 인간의 눈 운동은 단속성 운동(예를 들면, 시선 방향으로의 양 눈 모두의 빠른 움직임), 원활 추종 운동(예를 들면, 전형적으로 움직이는 객체를 따라가는, 양 눈 모두의 상대적으로 더 느린 움직임), 전정 안구 운동(예를 들면, 신체 및/또는 머리의 운동에 대해 시각을 안정화시키는 두 눈 모두의 상대적으로 느린 안정화 움직임), 및 폭주 운동(예를 들면, 상이한 방향들로의 눈들의 시선 방향의, 개별적인, 수렴 또는 발산 움직임)을 포함한다.
사용자의 눈이 이러한 네 가지 유형의 눈 운동들 중 하나 이상을 수행하게 하는 시각적 자극들은, 각각의 사용자에 대한 디바이스 트레이닝 세션 동안, 디스플레이(118)에 의해 제공될 수 있다. 알려진 눈 운동들 동안 눈 추적 유닛들(215)에 의해 수집되는 눈 추적 데이터는 (i) 디바이스(102)의 정상 작동 동안 사용자의 눈들에 의해 수행되는 눈 운동 유형을 식별하고, (ii) 눈 추적 데이터 및 식별된 눈 운동 유형을 사용하여 하나 이상의 미래 시선 위치 및/또는 폭주 평면을 예측하기 위해, 필터링 모듈(800)에 의해 나중에 사용될 수 있다.
인간의 눈은 일반적으로 이러한 네 가지 기본 운동 유형 중 하나를 수행하기 때문에, 눈 예측 모듈(722)은 각각의 유형의 자연스러운 눈 운동에 대응하는 프로세싱 필터를 포함할 수 있다. 예를 들어, 필터링 모듈(800)은 단속성 필터(806), 원활 추종 필터(808), 전정 안구 필터(810), 및 폭주 필터(812)를 포함할 수 있다. 다른 운동 필터들이 필터링 모듈(800)에 포함될 수 있지만, 눈 예측 모듈(722)에 의해 생성되는 예측된 시선 위치 및 예측된 폭주 평면이 인간의 눈에 의해 자연스럽게 수행될 수 있는 눈 운동들에 의해 달성될 수 있는 해당 예측들로 (예를 들면, 필터들에 의해) 제한된다는 것이 이해되어야 한다. 단속성 필터(806), 원활 추종 필터(808), 전정 안구 필터(810), 및 폭주 필터(812) 및/또는 다른 자연스러운 눈 운동 필터들은 각각이 눈 추적 모듈(710)로부터 눈 추적 데이터(예를 들면, 과거 및/또는 미래 시선 위치들, 및/또는 각각의 눈의 운동의 방향 및/또는 속력)를 수신할 수 있고, 각각이 현재 눈 운동이 해당 필터에 대응하는 눈 운동 유형이라는 가정에 기초하여 수신된 눈 추적 데이터를 프로세싱할 수 있다.
예를 들어, 단속성 필터(806), 원활 추종 필터(808), 전정 안구 필터(810), 및 폭주 필터(812) 각각은 수신된 눈 추적 데이터를 해당 눈 운동 유형에 대응하는 하나 이상의 곡선, 표면, 또는 다른 모델(예를 들면, 조정 가능한 파라미터화된 모델, 또는 트레이닝된 머신 러닝 모델)에 피팅하거나 적용하려고 시도할 수 있고, 예를 들어, 피팅의 적합성(goodness)에 기초하여 현재 눈 운동이 해당 필터에 대응하는 눈 운동 유형일 신뢰 레벨을 생성할 수 있다. 단속성 필터(806), 원활 추종 필터(808), 전정 안구 필터(810), 및 폭주 필터(812) 각각이 수신된 눈 추적 데이터를 피팅하거나 적용하려고 시도하는 곡선 또는 다른 모델은 각각의 필터(예를 들면, 해당 눈 운동 유형의 알려진 특징들에 대응하는 곡선 또는 모델)에 고유할 수 있고, (예를 들면, 예를 들어, 각각의 눈 운동 유형에 특유한 머신 러닝 모델에 대한 트레이닝 데이터로서 사용될 수 있는 사용자 교정 데이터(816)에 기초하여) 디바이스(102)의 각각의 특정 사용자에 맞게 (예를 들면, 사용자 교정 데이터(816)를 사용하여) 튜닝될 수 있다. 사용자에 의해 현재 수행되고 있는 눈 운동 유형은 필터들(806, 808, 810 또는 812) 중 하나의 필터 내에서의 신뢰 레벨이 미리 결정된 임계치로 상승할 때 해당 필터에 의해 식별될 수 있거나, 신뢰 레벨들 중 하나가 미리 결정된 비교 임계치만큼 모든 다른 신뢰 레벨들 초과로 상승할 때까지 다수의 필터들의 신뢰 레벨들이 비교될 수 있다. 예를 들어, 새로운 눈 추적 데이터가 수신되고 시도된 피팅에 포함됨에 따라 신뢰 레벨들이 변할 수 있다. 예를 들어, 원활 추종 필터(808)에서, 현재 눈 운동이 원활 추종 운동인 경우, 신뢰 레벨이 추가적인 눈 추적 데이터로 상승할 것일 반면, 모든 다른 필터들에서는 감소할 것이다.
일부 예들에서, 일단 필터링 모듈(800)이 눈 운동 유형을 식별하면, 눈 운동 유형 및 눈 추적 데이터(예를 들면, 결정에 사용되는 눈 추적 데이터 및 식별 이후에 지속적으로 획득되는 추가적인 눈 추적 데이터를 포함함)가 시선 예측 모듈(802) 또는 폭주 예측 모듈(804) 중 하나 또는 양쪽 모두에 제공될 수 있다. 예를 들어, 단속성 운동, 원활 추종 운동, 또는 전정 안구 운동이 식별될 때, 해당 식별된 운동 유형 및 눈 추적 데이터(예를 들면, 식별에 사용되는 눈 추적 데이터 및 지속적으로 획득되는 추가적인 눈 추적 데이터)가 시선 예측 모듈(802)에 제공될 수 있다. 이러한 예들에서, 시선 예측 모듈(802)은 이어서 하나 이상의 예측된 미래 시선 위치, 및 예측된 미래 시선 위치들 각각에 대한 하나 이상의 대응하는 신뢰 레벨을 결정한다. 예측된 시선 위치(들) 및, 각각의 예측된 시선 위치에 대한 신뢰 레벨을 포함한, 시선 예측 메타데이터가 이어서 시선 예측 모듈(802)로부터, 예를 들어, 장면 렌더링 모듈(720), 초점 예측 모듈(708), 및/또는 디스플레이 패널(118)에 의해 디스플레이하기 위한 포비티드 디스플레이 이미지 프레임들을 렌더링(예를 들면, 사전 렌더링)하기 위한 인공 현실 엔진(756)에 제공될 수 있다. 폭주 운동이 식별될 때, 해당 식별된 운동 유형 및 눈 추적 데이터(예를 들면, 식별에 사용되는 눈 추적 데이터 및 지속적으로 획득되는 추가적인 눈 추적 데이터)가 폭주 예측 모듈(804)에 제공될 수 있다. 이러한 예들에서, 폭주 예측 모듈(804)은 이어서 하나 이상의 예측된 미래 폭주 평면 또는 깊이, 및 예측된 폭주 평면들 또는 깊이들 각각에 대한 하나 이상의 대응하는 신뢰 레벨을 결정한다. 예측된 폭주 평면(들) 및, 각각의 예측된 폭주 평면에 대한 신뢰 레벨을 포함한, 폭주 예측 메타데이터가 이어서 폭주 예측 모듈(804)로부터, 예를 들어, 장면 렌더링 모듈(720), 초점 예측 모듈(708), 인공 현실 엔진(756), 및/또는 디스플레이 어셈블리(360)를 사용한 가변 초점 디스플레이를 위한 폭주 프로세싱 모듈(712)에 제공될 수 있다.
위의 예들에서, 시선 위치들 및/또는 폭주 평면들의 예측들 및 눈 운동 유형은 개별적인 별도의 동작들에서 수행된다. 그렇지만, 유형 식별 및 예측들이 병렬 또는 부분 병렬 동작들에서 수행될 수 있다는 것이 이해되어야 한다. 예를 들어, 단속성 필터(806), 원활 추종 필터(808), 전정 안구 필터(810), 및 폭주 필터(812) 각각은 각각의 들어오는 눈 추적 측정치로 예측들 및 신뢰 레벨들을 생성 및/또는 업데이트할 수 있다. 예를 들어, 단속성 모델에 대한 눈 추적 데이터의 각각의 시도된 피팅 또는 적용에 대해, 단속성 필터(806)는 신뢰 레벨 및 예측된 시선 위치를 생성할 수 있고, 해당 예측에 대한 신뢰 레벨이 미리 결정된 임계치 초과로 상승할 때 단속성 기반 시선 예측을 출력할 수 있다. 단속성 운동의 예들에서, 원활 추종 필터(808), 전정 안구 필터(810), 및 폭주 필터(812)가 단속성 필터(806)와 병렬로 예측들을 생성하고 있지만, 이러한 예측들은 사용되지 않을 것인데, 그 이유는 눈 추적 데이터가 해당 예측들에서의 신뢰 레벨들을 단속성 필터에서의 신뢰 레벨보다 낮게 하고 추가적인 데이터로 감소되게 할 것이기 때문이다.
단속성 필터(806), 원활 추종 필터(808), 전정 안구 필터(810), 및 폭주 필터(812) 중 일부 또는 전부에 대한 모델들은, 시간이 지남에 따라 모델들이 각각의 사용자의 눈들의 거동을 학습하고 그에 적응함에 따라, 디바이스의 정상 작동들 이전의 트레이닝 세션에서 및/또는 머리 장착 가능 디스플레이 디바이스(102)의 정상 사용 동안 머리 장착 가능 디스플레이 디바이스(102)의 각각의 사용자에 맞게 튜닝될 수 있다는 것이 또한 이해되어야 한다.
장면 콘텐츠 정보(818)가 또한 일부 시나리오들에서 필터들(806, 808, 810 또는 812) 중 하나 이상에 의해 사용될 수 있다. 예를 들어, 원활 추종 운동이 필터링 모듈(800)에 의해 식별될 때, 사용자에게 제시되는 장면 내의 객체는 추종되는 객체로서 식별될 수 있다. 이 시나리오에서, 장면 내의 객체의 움직임이 사전에 알려져 있기 때문에, 해당 객체의 시각적 추종(visual pursuit) 동안 예측된 미래 시선 위치들에 사전 지식이 적용될 수 있다. 다른 예에서, 사용자의 눈이 최근의 시각적 자극(예를 들면, 폭발, 또는 게임 캐릭터가 문을 통해 들어가는 것)의 방향으로 단속성 운동을 수행하고 있는 시나리오에서, (예를 들면, 눈이 최근의 시각적 자극의 위치로 이동할 것으로 예측될 가능성이 더 높도록 하기 위해 모델에 제약 또는 추가적인 입력 데이터 포인트를 적용하는 것에 의해) 최근의 시각적 자극의 위치는 현재 단속성 운동의 끝에서 예측된 시선 위치를 결정하는 데 사용될 수 있다. 장면 콘텐츠 정보(818)는 또한 예측된 시선 위치 및/또는 예측된 폭주 평면에 대한 신뢰 레벨을 결정하는 데 사용될 수 있다. 예를 들어, 예측된 시선 위치 또는 그 근처에 활성 장면 객체가 디스플레이되는 시나리오에서, 해당 예측된 시선 위치에 대한 신뢰 레벨은 예측된 시선 위치에 배경만이 디스플레이되는 시나리오에서의 신뢰 레벨보다 높을 수 있다.
(예를 들면, 추적 모듈(754), IMU(716), 및/또는 머리 추적 센서들(718)로부터의) 머리 추적 데이터(820)는 또한 일부 시나리오들에서 필터들(806, 808, 810 또는 812) 중 하나 이상에 의해 사용될 수 있다. 예를 들어, 필터링 모듈(800)에 의해 전정 안구 운동이 식별될 때, 머리 추적 데이터는 머리 추적 데이터에 의해 표시되는 머리 움직임의 일부 또는 전부를 보상하기 위해 사용자의 눈들의 다음 운동들을 예측하는 데 사용될 수 있다. 머리 추적 데이터(820)에 의해 표시되는 바와 같은, 머리 움직임 정보는 또한 (예를 들면, 단독으로 또는 사용자 교정 데이터(816) 및/또는 장면 콘텐츠 정보(818)와 함께) 단속성 운동들, 원활 추종 운동들, 및/또는 폭주 운동들에 대한 예측들을 향상시키는 데 사용될 수 있다.
시선 예측 모듈(802)과 폭주 예측 모듈(804)이 개별적으로 도시되어 있지만, 일부 구현들에서, 시선 예측과 폭주 예측이 공통 모듈에 의해 및/또는 동시에(예를 들면, 식별된 눈 운동 유형 및 눈 추적 데이터에 기초하여 3차원 시선 위치를 예측하는 것에 의해) 수행될 수 있다는 것이 또한 이해되어야 한다.
도 9는 하나 이상의 구현에 따른, 머리 장착 가능 디스플레이 디바이스 내의 디스플레이 패널과 같은, 전자 디스플레이의 예측 동작을 위한 예시적인 프로세스의 흐름 다이어그램을 예시한다. 설명 목적으로, 도 9의 프로세스는 본 명세서에서 주로 도 1 내지 도 3 및 도 5 내지 도 8의 하나 이상의 디바이스를 참조하여(상세하게는 머리 장착 가능 디스플레이 디바이스(102), 눈 추적 유닛들(215), 눈 추적 모듈(710), 눈 예측 모듈(722), 장면 렌더링 모듈(720), 폭주 프로세싱 모듈(712), 가변 초점 작동 블록(706), 디스플레이 어셈블리(360), 및 디스플레이 패널(118)을 참조하여) 설명되며, 그 중 일부는 도 1의 머리 장착 가능 디바이스(102)의 하나 이상의 프로세서에 의해 실행될 수 있다. 그렇지만, 도 9의 프로세스는 이러한 디바이스들 및/또는 모듈들로 제한되지 않으며, 프로세스의 하나 이상의 블록(또는 동작)은 다른 적합한 디바이스들의 하나 이상의 다른 컴포넌트에 의해 수행될 수 있다. 추가로 설명 목적으로, 도 9의 프로세스의 블록들은 직렬로 또는 선형적으로 발생하는 것으로 본 명세서에서 설명된다. 그렇지만, 도 9의 프로세스의 다수의 블록들이 병렬로 발생할 수 있다. 추가적으로, 도 9의 프로세스의 블록들은 도시된 순서로 수행될 필요가 없고/없거나 도 9의 프로세스의 하나 이상의 블록은 수행될 필요가 없고/없거나 다른 동작들로 대체될 수 있다.
블록(900)에서, 예측된 눈 데이터가 획득된다. 예측된 눈 데이터는 머리 장착 가능 디스플레이 디바이스(102)와 같은 머리 장착 가능 디스플레이 디바이스를 착용한 사용자에 대한 하나 이상의 예측된 시선 위치 및/또는 하나 이상의 예측된 폭주 평면 또는 폭주 깊이를 포함할 수 있다. 각각의 예측된 시선 위치 및 각각의 예측된 폭주 평면은, 디스플레이 패널(118)에 의해 디스플레이하기 위한 다가오는 이미지 프레임에 대한 디스플레이 시간에 대응하는 예측 시간과 같은, 미래에서의 연관된 예측 시간을 가질 수 있다. 일부 예들에서, 예측된 눈 데이터는 다음 다가오는 이미지 프레임에 대해, 및/또는 현재 디스플레이 프레임으로부터 2 개, 3 개, 4 개, 5 개, 10 개, 또는 그 이상의 디스플레이 프레임에 대해 획득될 수 있다. 예측된 눈 데이터를 획득하는 것은, 예를 들어, 도 7 및 도 8의 눈 예측 모듈(722)을 사용하여 예측된 눈 데이터를 생성하는 것을 포함할 수 있다. 예측된 눈 데이터를 획득하기 위해 수행될 수 있는 동작들의 예들은, 예를 들어, 도 7 및 도 8과 도 10 및 도 11의 흐름 다이어그램들과 관련하여 더 상세히 설명된다.
블록(902)에서, 머리 장착 가능 디스플레이 디바이스(102)의 포비티드 디스플레이 특징들이, 예측된 눈 데이터에 기초하여, 제어될 수 있다. 예를 들어, 장면 렌더링 모듈(720) 및/또는 AR 엔진(756)은 디스플레이 패널(118)에 의해 디스플레이하기 위한, 눈 예측 모듈(722)로부터의 예측된 시선 위치 주위에 고해상도 영역을 갖는, 도 4의 이미지 프레임(401)과 같은 포비티드 디스플레이 이미지 프레임을 생성(예를 들면, 사전 렌더링)할 수 있다. 장면 렌더링 모듈(720) 및/또는 AR 엔진(756)은, 예를 들어, 예측된 시선 위치와 연관된 신뢰 레벨에 기초하여 고해상도 영역 및/또는 주변의 전이 영역들 및/또는 주변 영역들의 크기 및/또는 형상을 결정할 수 있다. 예측된 눈 데이터에 기초하여 포비티드 디스플레이 특징들을 제어하기 위해 수행될 수 있는 동작들의 예들은, 예를 들어, 도 12 내지 도 18과 관련하여 더 상세히 설명된다.
블록(904)에서, 머리 장착 가능 디스플레이 디바이스(102)의 폭주 프로세싱 모듈(712) 및/또는 가변 초점 작동 블록(706)과 같은 가변 초점 시스템은 예측된 눈 데이터에 기초하여 제어될 수 있다. 예를 들어, 예측된 눈 데이터가 현재 폭주 평면과 상이한 예측된 폭주 평면을 포함할 때, 폭주 프로세싱 모듈(712)은 (예를 들어, 팬케이크 렌즈 블록 내의 렌즈들(104) 중 하나를 이동시키거나 변형시키는 것에 의해) 디스플레이 어셈블리(306)의 하나 이상의 컴포넌트를 이동시키거나 그 형상을 변경하기 위해 가변 초점 작동 블록(706)을 작동시킬 수 있다. 일부 예들에서, 폭주 프로세싱 모듈(712)은 예측된 폭주 평면과 연관된 쾌적 구역을 결정할 수 있고, 디스플레이 어셈블리의 이미지 평면을 쾌적 구역으로 이동시키도록 디스플레이 어셈블리의 하나 이상의 컴포넌트를 수정할 수 있다. 예측된 눈 데이터에 기초하여 포비티드 디스플레이 특징들을 제어하기 위해 수행될 수 있는 동작들의 예들은, 예를 들어, 도 19 내지 도 23과 관련하여 더 상세히 설명된다.
도 10은 하나 이상의 구현에 따른, 예측된 눈 데이터를 획득하기 위한 예시적인 프로세스의 흐름 다이어그램을 예시한다. 도 10의 프로세스의 블록들은 직렬로 또는 선형적으로 발생하는 것으로 본 명세서에서 설명된다. 그렇지만, 도 10의 프로세스의 다수의 블록들이 병렬로 발생할 수 있다. 추가적으로, 도 10의 프로세스의 블록들은 도시된 순서로 수행될 필요가 없고/없거나 도 10의 프로세스의 하나 이상의 블록은 수행될 필요가 없고/없거나 다른 동작들로 대체될 수 있다.
블록(1000)에서, 머리 장착 가능 디스플레이 디바이스(102)를 착용한 사용자와 같은, 사용자의 양 눈에 대한 눈 추적 데이터가 획득된다. 눈 추적 유닛들(215) 각각 내의 적외선 광원으로 사용자의 눈들을 조명하는 것, 및 눈 추적 유닛들(215) 각각 내의 적외선 카메라들로 사용자의 눈들의 적외선 이미지들을 캡처하는 것에 의해 눈 추적 데이터가 획득될 수 있다. 사용자의 눈들의 하나 이상의 특징을 식별하기 위해, 그리고 각각의 눈에 대한 현재 시선 위치(예를 들면, 사용자의 중심와 축이 디스플레이 패널(118)과 교차하는 위치에 대응하는 위치)를 식별하기 위해 그리고 각각의 눈에 대한 시선 위치 및/또는 중심와 축의 변화를 (예를 들면, 현재 움직임 방향 및/또는 속력을 결정하는 것에 의해) 식별하기 위해 눈 추적 데이터가 프로세싱될 수 있다.
블록(1002)에서, 눈 추적 데이터에 기초하여 하나 이상의 눈 운동 유형이 결정된다. 눈 운동 유형은, 예를 들어, 머리 장착 가능 디스플레이 디바이스(102)의 사용자의 눈들에 의해 현재 수행되고 있는, 단속성 운동, 원활 추종 운동, 전정 안구 운동, 폭주 운동, 또는 이러한 눈 운동 유형들 중 둘 이상의 조합일 수 있다. 눈 운동 유형(들)은 눈 운동 동안, 그리고 눈 운동이 완료되기 전에 처음 2 개, 3 개, 또는 몇 개의 눈 추적 데이터 포인트에 기초하여 결정될 수 있다. 눈 운동 유형을 결정하는 것은 처음 몇 개의 눈 추적 데이터 포인트를 각각의 눈 운동 유형에 대한 모델에 또는 입력 데이터를 출력 눈 운동 유형들로 분류하도록 트레이닝된 결합 모델에 피팅하거나 적용하는 것을 동시에 시도하는 것, 각각의 눈 운동 유형에 대한 신뢰 레벨을 결정하는 것, 및 개별 신뢰 레벨들 및/또는 신뢰 레벨들의 비교에 기초하여 하나 이상의 눈 운동 유형을 식별하는 것을 포함할 수 있다. 일부 시나리오들에서, 단일 눈 운동 유형(예를 들면, 단속성 운동, 원활 추종 운동, 전정 안구 운동 또는 폭주 운동)이 눈 추적 데이터에 기초하여 표시될 수 있다. 다른 시나리오들에서, 사용자의 눈들이 결합된 운동(예를 들면, 새로운 깊이에 있는 객체에 대한 단속성 운동, 또는 후퇴하거나 접근하는 객체의 원활 추종 운동)을 수행할 수 있으며, 이 경우에 두 개의 동시적인 눈 운동 유형이 식별될 수 있다. 다른 시나리오들에서, 각각의 눈 운동 유형에 대한 신뢰 레벨들에 기초하여 두 가지 눈 운동 유형이 타당해 보일 수 있으며, 이 경우에 두 가지 눈 운동 유형이 식별될 수 있다.
블록(1004)에서, 결정된 하나 이상의 눈 운동 유형, 눈 추적 데이터, 및 눈 운동 유형이 식별된 후 눈 운동이 완료되기 전에 획득되는 추가적인 눈 추적 데이터 포인트들에 기초하여 예측된 시선 위치 및/또는 예측된 폭주 평면이 결정된다. 예를 들어, 눈 운동이 폭주 운동인 것으로 결정되는 경우, 눈 운동의 끝에서 각각의 눈의 시선 방향을 예측하기 위해 각각의 눈의 과거 및/또는 현재 시선 방향 및/또는 시선 방향의 움직임 속력 및 방향이 사용될 수 있으며, 이로부터 폭주 깊이 또는 평면을 식별하기 위해 두 눈의 위치들의 교차점이 결정될 수 있다. 다른 예로서, 단속성 운동, 원활 추종 운동, 또는 전정 안구 운동 중 임의의 것이 단독으로 식별되는 경우, 현재 눈 운동의 끝에서 최종 시선 위치를 결정하기 위해, 눈 추적 데이터 및 추가적인 눈 추적 데이터가 (예를 들면, 특정 사용자에 맞게 튜닝되는 바와 같이) 해당 눈 운동 유형에 대한 모델에 적용될 수 있다. 다른 예로, 사용자의 눈들에 의해 현재 수행되고 있는 눈 운동에 대해 단속성 운동, 원활 추종 운동, 및 전정 안구 운동 중 둘 이상이 타당해 보이는 유형들인 것으로 식별되는 경우, 눈 추적 데이터 및 추가적인 눈 추적 데이터가 (예를 들면, 특정 사용자에 맞게 튜닝되는 바와 같이) 각각의 눈 운동 유형에 대한 모델들에 적용될 수 있으며, 현재 눈 운동의 끝에서 최종 시선 위치를 결정하기 위해 결과적인 예측들이 (예를 들면, 신뢰 레벨들에 기초한 가중 평균을 사용하여) 결합될 수 있다. 예측된 시선 위치 및/또는 예측된 폭주 평면은 이어서 디바이스의 예측적 포비티드 디스플레이 및/또는 예측적 가변 초점 특징들을 제어하는 데 사용될 수 있다.
일부 시나리오들에서, 예측된 시선 위치들 및/또는 예측된 폭주 평면들이 눈 운동 유형의 식별과 병렬로 결정될 수 있다. 도 11은 하나 이상의 구현에 따른, 다양한 병렬 프로세싱 양태들이 보여질 수 있는 예측된 눈 데이터를 획득하기 위한 예시적인 프로세스의 흐름 다이어그램을 예시한다. 도 11의 프로세스의 일부 블록들은 다른 블록들과 직렬로 또는 선형적으로 발생하는 것으로 본 명세서에서 설명된다. 그렇지만, 도 11의 프로세스의 다수의 블록들이 병렬로 발생할 수 있다. 추가적으로, 도 11의 프로세스의 블록들은 도시된 순서로 수행될 필요가 없고/없거나 도 11의 프로세스의 하나 이상의 블록은 수행될 필요가 없고/없거나 다른 동작들로 대체될 수 있다.
블록(1100)에서, 디바이스의 하우징에 장착되는 적어도 하나의 카메라를 사용하여, 머리 장착 가능 디스플레이 디바이스(102)를 착용한 사용자와 같은, 사용자의 양 눈에 대한 눈 추적 데이터가 획득된다. 예를 들어, 눈 추적 데이터는, 하우징에 장착되는 적외선 광원으로 조명되는 사용자의 눈들의 이미지들을 각각 캡처하는, 2 개의 적외선 카메라를 사용하여 획득될 수 있다. 사용자의 눈들의 하나 이상의 특징을 식별하기 위해, 각각의 눈에 대한 현재 시선 위치(예를 들면, 사용자의 중심와 축이 디스플레이 패널(118)과 교차하는 위치에 대응하는 위치)를 식별하기 위해, 눈 운동을 식별하기 위해, 시선 위치의 변화를 식별하기 위해, 및/또는 각각의 눈에 대한 시선 위치 및/또는 중심와 축의 현재 움직임 방향 및/또는 속력을 결정하기 위해 눈 추적 데이터가 프로세싱될 수 있다.
블록들(1102, 1104, 1106, 및 1108)에서, 머리 장착 가능 디스플레이 디바이스 내의 프로세싱 회로는 사용자의 눈들에 의해 현재 수행되고 있을 수 있는 네 가지(또는 그 이상) 눈 운동 유형을 식별하려고, 병렬로, 시도할 수 있다. 블록들(1102, 1104, 1106, 및 1108)의 동작들은, 제각기, 예를 들어, 도 8의 필터링 모듈들(806, 808, 810, 및 812)에 의해 수행될 수 있다.
블록(1102)에서, (단속성 운동 중인 눈 운동의 동일한 특징들의 모델에 눈 추적 데이터의 특징들을 피팅하려고 시도하는 것에 의해, 또는 입력 눈 추적 데이터에 응답하여 예측된 시선 위치 및 예측된 시선 위치 신뢰 레벨을 출력하도록 트레이닝된 머신 러닝 단속성 모델에 대한 입력으로서 눈 추적 데이터를 제공하는 것에 의해) 제1 예측된 시선 위치 및 제1 시선 위치 신뢰 레벨이 (예를 들면, 단속성 필터(806)에 의해) 단속성 모델을 사용하여 눈 추적 데이터에 기초하여 결정될 수 있다. 예를 들어, 현재 눈 운동에 대해 획득되는 처음 몇 개(예를 들면, 2 개, 3 개 또는 4 개)의 속도(예를 들면, 속력 및 방향) 측정치를, 일반 사용자에 대한 또는 현재 사용자에 맞게 튜닝된 단속성 운동에 전형적인 속도 측정치들의 모델에, 적용하는 것(예를 들면, 및 처음 몇 개의 속도 측정치를 사용하여 단속성 모델의 파라미터들을 튜닝하는 것)에 의해, 이 모델은 미래 시간에서의 예측된 시선 위치를 출력하는 데 사용될 수 있다. 현재 눈 운동에 대한 가속도 측정치들(예를 들면, 속도 측정치들을 사용하여 결정됨)이 또한 (예를 들면, 일반 사용자에 대한 또는 현재 사용자에 맞게 튜닝된) 단속성 운동에 전형적인 가속도 측정치들의 모델에 적용될 수 있다. 처음 몇 개의 속도 및/또는 가속도 측정치에 피팅된 모델의 적합성 또는 품질은 예측된 시선 위치에 대한 신뢰 레벨을 제공할 수 있다(예를 들면, 열악한 피팅은 낮은 신뢰 레벨을 결과할 것이고, 양호한 피팅은 높은 신뢰 레벨을 결과할 것이다). 다른 예로서, 새로운 입력 눈 추적 데이터 세트에 대한 예측된 시선 위치 및 시선 위치 신뢰 레벨을 출력하도록 (예를 들면, (i) 사용자 및/또는 눈 추적 능력을 가진 디바이스의 한 명 이상의 이전 사용자에 대해 알려진 단속성 운동들에 대응하는 눈 추적 데이터를 머신 러닝 모델에 입력 트레이닝 데이터로서 제공하는 것, (ii) 알려진 단속성 운동들을 머신 러닝 모델에 출력 트레이닝 데이터로서 제공하는 것, 및 (iii) 트레이닝된 모델을 생성하기 위해 입력 트레이닝 데이터 및 출력 트레이닝 데이터를 사용하여 모델의 파라미터들을 조정하는 것에 의해) 트레이닝된 머신 러닝 모델이 (예를 들면, 눈 예측 모델(722)의 단속성 필터(806)에) 제공될 수 있다. 이 머신 러닝 예에서, 예를 들어, 현재 눈 추적 데이터를 피팅하도록 모델의 파라미터들을 조정함이 없이, 예측된 시선 위치 및 시선 위치 신뢰 레벨이 생성될 수 있다. 각각의 새로운 눈 추적 데이터 포인트가 획득됨에 따라, 예측, 신뢰 레벨, 및/또는 모델 파라미터들이 업데이트될 수 있다. 현재 눈 운동이, 실제로, 단속성 운동인 경우, 데이터 포인트가 추가될 때마다 단속성 모델에 기초한 예측의 신뢰 레벨이 증가할 것이고, 예측된 시선 위치는 최종 예측을 향하는 경향이 있을 것이다. 현재 눈 운동이 단속성 운동이 아닌 경우, 운동이 단속성 운동이 아니라는 것이 데이터로부터 더 명확해지기 때문에 데이터 포인트가 추가될 때마다 신뢰 레벨이 감소할 것이다.
블록(1104)에서, 블록(1102)의 동작들과 병렬로, (원활 추종 운동 중인 눈 운동의 동일한 특징들의 모델에 눈 추적 데이터의 특징들을 피팅하려고 시도하는 것에 의해, 또는 입력 눈 추적 데이터에 응답하여 예측된 시선 위치 및 예측된 시선 위치 신뢰 레벨을 출력하도록 트레이닝된 머신 러닝 원활 추종 모델에 대한 입력으로서 눈 추적 데이터를 제공하는 것에 의해) 제2 예측된 시선 위치 및 제2 시선 위치 신뢰 레벨이 (예를 들면, 원활 추종 필터(808)에 의해) 눈 추적 데이터 및 원활 추종 모델에 기초하여 결정될 수 있다.
블록(1106)에서, 블록들(1102 및 1104)의 동작들과 병렬로, (전정 안구 운동 중인 눈 운동의 동일한 특징들의 모델에 눈 추적 데이터 및/또는 머리 추적 데이터의 특징들을 피팅하려고 시도하는 것에 의해, 또는 입력 눈 추적 데이터에 응답하여 예측된 시선 위치 및 예측된 시선 위치 신뢰 레벨을 출력하도록 트레이닝된 머신 러닝 전정 안구 모델에 대한 입력으로서 눈 추적 데이터 및/또는 머리 추적 데이터를 제공하는 것에 의해) 제3 예측된 시선 위치 및 제3 시선 위치 신뢰 레벨이 (예를 들면, 전정 안구 필터(810)에 의해) 사용자의 현재 눈 운동이 전정 안구 운동이라고 가정하여 눈 추적 데이터에 기초하여 결정될 수 있다.
블록(1108)에서, 블록들(1102, 1104, 및 1106)의 동작들과 병렬로, (폭주 운동 중인 눈 운동의 동일한 특징들의 모델에 눈 추적 데이터의 특징들을 피팅하려고 시도하는 것에 의해, 또는 입력 눈 추적 데이터에 응답하여 예측된 시선 위치 및 예측된 시선 위치 신뢰 레벨을 출력하도록 트레이닝된 머신 러닝 폭주 모델에 대한 입력으로서 눈 추적 데이터를 제공하는 것에 의해) 예측된 폭주 평면 및 폭주 평면 신뢰 레벨이 (예를 들면, 폭주 필터(812)에 의해) 사용자의 현재 눈 운동이 폭주 운동이라고 가정하여 눈 추적 데이터에 기초하여 결정될 수 있다.
블록들(1102, 1104, 1106, 및 1108)과 관련하여 설명된 모델들은 또한 머리 장착 가능 디스플레이 디바이스(102)의 하나 이상의 특정 사용자 각각에 맞게 튜닝될 수 있다. 예를 들어, 머리 장착 가능 디스플레이 디바이스(102)의 사용 동안 사용자에 의해 수행되는 눈 운동에 따라, 해당 눈 운동으로부터 결과되는 눈 추적 데이터, 예측된 시선 위치, 예측된 폭주 평면, 실제 시선 위치, 및/또는 실제 폭주 평면이 각각의 사용자에 대한 모델들의 추가의 미세 튜닝을 위해 (예를 들면, 추가적인 트레이닝 데이터로서) 모델들에 피드백될 수 있다. 이러한 방식으로, 모델들은 각각의 사용자에 대한 특정 눈 거동을 학습하고 그에 적응할 수 있다.
블록(1110)에서, 눈 예측 모듈(722)은 제1, 제2, 또는 제3 시선 위치 신뢰 레벨들 중 임의의 것이 신뢰 레벨 임계치 초과인지 여부를 결정할 수 있다. 신뢰 레벨 임계치는 제1, 제2, 및 제3 시선 위치 신뢰 레벨들 각각과 공통으로 비교되는 미리 결정된 임계치일 수 있거나, 현재 시선 위치 신뢰 레벨들에 기초하여 변하는 동적 신뢰 레벨일 수 있다. 예를 들어, 블록(1110)에서, 제1, 제2, 또는 제3 시선 위치 신뢰 레벨들 중 임의의 것이 공통 신뢰 레벨 임계치 초과로 상승할 때, 해당 신뢰 레벨과 연관된 눈 운동 유형이 사용자에 의해 현재 수행되고 있는 눈 운동 유형으로서 식별될 수 있다. 다른 예에서, 제1, 제2, 또는 제3 시선 위치 신뢰 레벨들 중 임의의 것이 제1, 제2, 및 제3 시선 위치 신뢰 레벨들 및/또는 폭주 평면 신뢰 레벨 중 다른 2 개 초과로 상승할 때, 해당 신뢰 레벨과 연관된 눈 운동 유형이 사용자에 의해 현재 수행되고 있는 눈 운동 유형으로서 식별될 수 있다.
블록(1112)에서, 눈 예측 모듈(722)은 또한 폭주 평면 신뢰 레벨이 폭주 평면 신뢰 레벨 임계치 초과인지 여부를 결정할 수 있다. 폭주 평면 신뢰 레벨이 폭주 평면 신뢰 레벨 임계치 초과인 경우, 눈 예측 모듈(722)은 사용자의 현재 눈 운동이 폭주 운동이라고 결정할 수 있다. 폭주 운동은, 예를 들어, 사용자의 두 눈이 수평으로 상이한(예를 들면, 반대) 방향들로 움직이고 있다고 결정하는 것에 의해, 결정될 수 있다.
도 11의 예에서, 각각의 시선 위치 신뢰 레벨에 대한 예측된 시선 위치가 생성되고, 눈 운동 유형이 식별되고 있는 동안 각각의 예측된 폭주 평면에 대한 폭주 평면이 생성되기 때문에, 눈 운동이 식별되는 때에, 대응하는 시선 위치 및/또는 폭주 평면이 포비티드 디스플레이 및/또는 가변 초점 동작들을 위해 다른 컴포넌트들에 제공될 준비가 되어 있다.
예를 들어, 블록(1114)에서, 제1, 제2, 또는 제3 시선 위치 신뢰 레벨들 중 임의의 것이 신뢰 레벨 임계치 초과인 경우, 예측적 포비티드 디스플레이 동작들을 위해, 대응하는 제1, 제2, 또는 제3 예측된 시선 위치가, 임계값 초과인 시선 위치 신뢰 레벨과 함께, 장면 렌더링 모듈(720) 및/또는 인공 현실 엔진(756)에 제공될 수 있다. 일부 시나리오들에서, 블록(1114)에서, (예를 들면, 예측된 위치에 디스플레이될 디스플레이 콘텐츠가 사용자의 현재 위치에 있는 디스플레이 콘텐츠와 상이한 깊이에 있는 경우, 예컨대, 사용자의 눈들이 멀리 있는 객체에 대응하는 시선 위치로부터 사용자 전방의 테이블을 향해 아래로 이동하고 있는 경우) 예측된 시선 위치가 또한 폭주 프로세싱 모듈(712)에 제공될 수 있다. 이러한 방식으로, 가변 초점 컴포넌트들은 아직 시작되지 않은 폭주 변화를 예견하기 위해 예측적으로 이동할 수 있다.
예를 들어, 블록(1116)에서, 폭주 평면 신뢰 레벨이 폭주 평면 신뢰 레벨 임계치 초과인 경우, 예측적 가변 초점 동작들을 위해, 대응하는 예측된 폭주 평면이, 폭주 평면 신뢰 레벨과 함께, 폭주 프로세싱 모듈(712) 및/또는 초점 예측 모듈(708)에 제공될 수 있다.
시선 위치와 폭주 평면 양쪽 모두가 변하고 있는 경우에, 블록(1114)에서 하나 이상의 예측된 시선 위치가 제공될 수 있고 블록(1116)에서 하나 이상의 예측된 폭주 평면이 제공될 수 있다.
예시적인 예측적 포비티드 디스플레이 시스템들 및 방법들
도 12는 하나 이상의 구현에 따른, 예측적 포비티드 디스플레이를 위한 예시적인 프로세스의 흐름 다이어그램을 예시한다. 설명 목적으로, 도 12의 프로세스는 본 명세서에서 주로 도 1 내지 도 3 및 도 7 및 도 8의 하나 이상의 디바이스를 참조하여(상세하게는 머리 장착 가능 디스플레이 디바이스(102), 눈 추적 유닛들(215), 눈 추적 모듈(710), 눈 예측 모듈(722), 장면 렌더링 모듈(720), 디스플레이 어셈블리(360), 및 디스플레이 패널(110)을 참조하여) 설명되며, 그 중 일부는 도 1의 머리 장착 가능 디바이스(102)의 하나 이상의 프로세서에 의해 실행될 수 있다. 그렇지만, 도 12의 프로세스는 이러한 디바이스들 및/또는 모듈들로 제한되지 않으며, 프로세스의 하나 이상의 블록(또는 동작)은 다른 적합한 디바이스들의 하나 이상의 다른 컴포넌트에 의해 수행될 수 있다. 추가로 설명 목적으로, 도 12의 프로세스의 블록들은 직렬로 또는 선형적으로 발생하는 것으로 본 명세서에서 설명된다. 그렇지만, 도 12의 프로세스의 다수의 블록들이 병렬로 발생할 수 있다. 추가적으로, 도 12의 프로세스의 블록들은 도시된 순서로 수행될 필요가 없고/없거나 도 12의 프로세스의 하나 이상의 블록은 수행될 필요가 없고/없거나 다른 동작들로 대체될 수 있다.
블록(1200)에서, 하나 이상의 예측된 시선 위치가 획득된다. 예측된 시선 위치(들)는, 예를 들어, 도 10 또는 도 11의 동작들에 기초하여, 예를 들어, 눈 예측 모듈(722)로부터 획득될 수 있다. 예측된 시선 위치들은 현재 디스플레이된 프레임으로부터 1 프레임, 3 프레임, 또는 10 프레임 미래에 있는 예측 시간들에 대응하는 1-프레임 예측, 3-프레임 예측, 및 10-프레임 예측을 (예들로서) 포함할 수 있다. 각각의 예측된 시선 위치는 역시 획득될 수 있는 연관된 신뢰 레벨을 갖는다.
블록(1202)에서, 장면 렌더링 모듈(720), AR 엔진(756), 및/또는 머리 장착 가능 디스플레이 디바이스(102) 및/또는 콘솔(750)의 다른 프로세싱 회로는, 예측된 시선 위치들 중 하나 이상 및 그와 연관된 시선 위치 신뢰 레벨에 기초하여, 다가오는 이미지 프레임에 대한 고해상도 영역의 위치(예를 들면, 중심), 크기, 및/또는 형상을 결정한다.
예를 들어, 고해상도 영역은 예측된 시선 위치에 중심을 두고 주변의 주변 영역까지 동심의 직사각형 또는 원형 전이 영역으로 둘러싸인 직사각형 또는 원형 고해상도 영역일 수 있다. 이 예에서, 고해상도 영역 및 전이 영역의 폭 또는 반경은 신뢰 레벨에 기초하여 결정될 수 있다(예를 들면, 신뢰 레벨과 역의존 관계를 가짐(inversely dependent)). 이러한 방식으로, 예측의 확실성이 상대적으로 낮을 때 예측된 시선 위치에 상대적으로 더 큰 고해상도 영역이 생성된다. 그렇지만, 이미지 프레임에 대한 직사각형 또는 원형 영역들의 예는 예시적인 것에 불과하다.
고해상도 영역, 전이 영역, 및/또는 주변 영역의 형상도 시선 위치 신뢰 레벨에 기초하여 결정될 수 있다. 예를 들어, 고해상도 영역 및/또는 전이 영역은 사용자의 시선의 움직임 방향을 따라 연장될 수 있으며, 연장의 양은 (예를 들어) 신뢰 레벨과 역의존 관계를 갖는다. 예를 들어, 예측된 시선 위치에 대한 신뢰 레벨이 상대적으로 낮을 때, 고해상도 영역 및/또는 전이 영역은 움직임 방향을 따라 상대적으로 큰 연장을 가질 수 있다. 예측된 시선 위치에 대한 신뢰 레벨이 증가함에 따라 연장이 감소할 수 있다(예를 들면, 상한 임계치 초과의 신뢰 레벨들에 대해 또는 현재 (측정된) 시선 위치에 대해 정사각형 또는 원형 형상으로 됨). 연장은 예측된 시선 위치를 중심으로 대칭일 수 있거나, 비대칭(예를 들면, 일정한 비대칭 또는 신뢰 레벨에 역의존 관계를 갖는 비대칭)을 가질 수 있다. 예를 들어, 도 13 내지 도 18과 관련하여 더 상세히 설명되는 바와 같이, 예측 모델이 신뢰를 구축함에 따라 고해상도 영역들(예를 들면, 와가 있는 영역)의 크기 및/또는 형상이 동적으로 변할될 수 있다.
렌더링 이전에, 추가적인 눈 추적 데이터가 획득됨에 따라, 각각의 예측된 시선 위치에 대한 신뢰 레벨들이 증가(또는 감소)할 수 있고, 각각의 예측에 대한 고해상도 영역(430) 및 전이 영역(440)의 크기 및/또는 형상이 그에 따라 수정될 수 있다. 예를 들어, 들어오는 눈 추적 데이터에 의해 1-프레임 예측된 시선 위치, 3-프레임 예측된 시선 위치, 및 10-프레임 예측된 시선 위치 각각에 대한 신뢰 레벨이 상승할 때, 각각의 예측과 연관된 고해상도 영역(430) 및 전이 영역(440)의 크기는 감소될 수 있다.
블록(1204)에서, 이미지 프레임의 제1 콘텐츠가 (예를 들면, 디스플레이 패널(118)을 사용하여) 결정된 위치, 크기, 및/또는 형상을 갖는 고해상도 영역에 디스플레이하기 위해 렌더링될 수 있다. 고해상도 영역에서의 제1 콘텐츠는 상대적으로 높은(예를 들면, 중심와) 해상도로 렌더링될 수 있다. 제1 콘텐츠를 둘러싸는 제2 콘텐츠는 전이 영역에 대해 결정된 크기 및/또는 형상을 갖고 고해상도 영역과의 경계에서의 고해상도로부터 주변 영역과의 경계에서의 더 낮은 해상도로 감소하는 해상도를 갖는 전이 영역에 디스플레이하기 위해 렌더링될 수 있다. 제2 콘텐츠를 둘러싸는 제3 콘텐츠는 주변 영역에 상대적으로 낮은 해상도로 디스플레이하기 위해 렌더링될 수 있다. 이러한 방식으로, 사용자의 눈들이 미래 시선 위치로 움직이고 있는 동안, 사용자의 눈들에 대한 미래 시선 위치에 고해상도 영역이 사전 렌더링되는, 이미지 프레임의 포비티드 디스플레이가 제공될 수 있다. 렌더링된 포비티드 디스플레이 이미지 프레임은 추후의 디스플레이를 위해 및/또는 디스플레이 이전의 업데이트 또는 수정을 위해 저장될 수 있고/있거나, 사용자의 눈이 예측된 시선 위치를 향해 움직이고 있는 동안 디스플레이될 수 있다. 예를 들어, 일단 단속성 운동이 개시되면, 사용자는 단속성 운동을 방향 변경할 수 없고, 단속성 운동 동안의 시각적 인지가 감소될 수 있기 때문에(예를 들면, 빠른 눈 운동들 또는 초점 이동들 동안 눈이 많은 양의 세부 사항을 인지하지 못하기 때문에), 단속성 운동 및 연관된 미래 시선 위치가 식별될 때, 예측된 미래 시선 위치에서 고해상도 영역을 갖는 포비티드 디스플레이 이미지 프레임이 예측된 시선 위치에 사용자의 눈들이 도착하기 전에 디스플레이 및/또는 조정될 수 있다. 다른 상황들에서, 눈의 현재 운동이 완료될 때 디스플레이하기 위해, 예측된 미래 시선 위치에서 고해상도 영역을 갖는 포비티드 디스플레이 이미지 프레임이 사전 렌더링되어 저장될 수 있다. 일부 상황들에서, 사용자의 눈들이 고해상도 영역에 랜딩하도록 보장하기 위해, (예를 들면, 예측된 시선 위치와 상이한 새로운 예측된 시선 위치에서의 업데이트된 예측에 기초하여, 현재 시선 위치가 예측된 시선 위치와 상이한 것으로 인해, 및/또는 예측된 시선 위치에서의 감소된 신뢰로 인해) 렌더링 및/또는 디스플레이된 이미지 프레임의 고해상도 영역의 크기가 렌더링 이후에 증가될 수 있다. 일부 상황들에서, 주변(저해상도) 영역(400)이 먼저 렌더링될 수 있고, 새로 업데이트된 눈 추적 데이터에 기초하여 고해상도 영역이 나중에 추가될 수 있다.
블록(1206)에서, 다음 디스플레이 프레임의 고해상도 영역의 크기 및/또는 형상은 렌더링 및/또는 디스플레이된 이미지 프레임의 고해상도 영역의 크기 및/또는 형상에 비해 수정될 수 있다. 예를 들어, 사용자의 눈이 렌더링 및/또는 디스플레이된 이미지 프레임의 예측된 미래 시선 위치를 향해 여전히 움직이고 있는 동안 추가적인 눈 추적 데이터가 획득될 때, 예측된 시선 위치에 대한 신뢰 레벨이 증가할 수 있으며, 이에 의해 다음 디스플레이 프레임에 대한 고해상도 영역(및/또는 주변의 전이 영역)의 크기가 감소할 수 있게 한다. 사용자의 눈이 예측된 시선 위치에 접근할 때 신뢰 레벨이 증가함에 따라 고해상도 영역(및/또는 주변의 전이 영역)의 형상이 또한 변할 수 있다(예를 들면, 더 대칭이고/이거나 더 원형으로 될 수 있다).
블록(1208)에서, 정적 시선 위치 또는 현재 시선 위치가 결정될 수 있다. 예를 들어, 사용자의 눈 운동이 완료되고 사용자의 시선이 (적어도 일시적으로) 정적 시선 위치에 랜딩한 후에, 예를 들어, 최신의(가장 최근의) 눈 추적 데이터 포인트를 사용하여 현재 정적 시선 위치가 식별될 수 있다. 정적 시선 위치는 이전에 획득된 예측된 미래 시선 위치에 또는 그 근처에 있을 수 있다.
블록(1210)에서, 사용자의 시선 위치가 이제 알려져 있기 때문에(예를 들면, 그 위치가 가장 최근에 측정된 위치에서 정적이기 때문에), 고해상도 영역의 크기가 시선 위치가 정적인 동안 디스플레이될 포비티드 디스플레이 프레임들에 대한 최소 크기로 더 감소될 수 있다. 도 12의 동작들에 의해 예시된 바와 같이, 예측된 시선 위치들 및 대응하는 신뢰 레벨들은 포비티드 디스플레이 동작들의 양태들이 사전에 및/또는 다른 장면 콘텐츠 식별 및 렌더링 동작들과 병렬로 수행될 수 있게 함으로써, 사용자의 눈이 새로운 위치에 도착하기 전에 포비티드 디스플레이 이미지 프레임이 생성될 수 있으며, 이에 의해 시스템 지연시간의 영향을 감소시키고 사용자에 대한 시각적 오차들 또는 방해들을 방지할 수 있도록 한다.
도 13 내지 도 18은 본 개시의 양태들에 따른, 예측적 포비티드 디스플레이 동작들 동안 디스플레이 패널(118)의 다양한 뷰들을 예시한다. 예를 들어, 도 13에서, 디스플레이 패널(118)은 현재 정적 시선 위치(317)에 대한 포비티드 디스플레이 이미지 프레임(401)을 디스플레이하는 것으로 도시되어 있다. 도 13 내지 도 18의 예에서, 광학 블록(320) 및 그의 광학 효과들이 현재 논의의 명확성을 위해 생략되어 있지만, 사용자의 눈과 디바이스(102) 내의 디스플레이 패널(118) 사이에 개재되는 것으로 이해될 것이다.
도 13의 예에서, 시선 위치(317)는 눈 추적 유닛들(215) 및 눈 추적 모듈(710)로부터의 가장 최근의 시선 방향(506) 측정치에 기초한 현재 정적 시선 위치이다. 이 예에서, 포비티드 디스플레이 이미지 프레임(401)의 고해상도 영역(430) 및 전이 영역(440)은 원형이고, 포비티드 디스플레이 동작에서 이러한 영역들에 대한 최소 폭들인 각자의 폭들(RH 및 RT)(이 예에서는 반경들)을 갖는다. 도 13의 예에서 포비티드 디스플레이 이미지 프레임(401)의 고해상도 영역(430) 및 전이 영역(440)이 원형이지만, 직사각형 형상들과 같은 다른 형상들이 포비티드 디스플레이 이미지 프레임(401)의 고해상도 영역(430) 및 전이 영역(440)에 사용될 수 있다는 것이 이해되어야 한다.
도 14는 사용자의 눈(350)이 도 13의 시선 위치(317)(도 14에서는 이전 시선 위치(1400)로서 표시됨)로부터 아직 알려지지 않은 새로운 시선 위치를 향해 단속성 운동을 시작한 예를 도시한다. 도 14의 예에서, 눈(350)은 방향 D가 속력 S로 변하는 현재 시선 위치(317M)를 갖는다. 방향 D 및 속력 S는, 예를 들어, 사용자의 동공 및/또는 사용자의 눈의 다른 식별된 부위들의 움직임의 눈 추적 데이터 포인트들(1402)(예를 들면, 측정치들)에 기초하여 결정될 수 있다. 방향 D 및 속력 S는 수집되는 각각의 데이터 포인트(1402)로 측정 및/또는 업데이트될 수 있다. 도 14에 도시된 바와 같이, 방향 D 및 속력 S(예를 들면, 눈의 움직임의 이미 완료된 부분과 연관된 그의 하나 이상의 측정치)에 기초하여, 예측된 시선 위치(317P)가 (예를 들면, 눈 예측 모듈(722)에 의해) 생성된다. 다양한 시간들(예를 들면, 사용자의 눈들의 시선 방향의 변화에 대응함)에서의 눈 추적 데이터 포인트들(1402)(예를 들면, 측정치들)이 속력 S 또는 방향 D의 측정치를 명시적으로 출력함이 없이 예측된 시선 위치(317P)를 생성하는 데 사용될 수 있다는 것이 또한 이해되어야 한다.
위에서 논의된 바와 같이(예를 들면, 도 9 내지 도 11 참조), 예측된 시선 위치(317P)는 사용자의 눈이 예측된 시선 위치에 도달하는 시간에 또는 그 이전에 디스플레이될 이미지 프레임의 고해상도 영역(430) 및 전이 영역(440)의 크기 및 형상을 결정하는 데 사용될 수 있는 신뢰 레벨로 생성된다. 도 14의 예에서, 사용자의 눈의 운동의 이 스테이지에서 예측된 시선 위치(317P)에 대한 상대적으로 낮은 신뢰 레벨로 인해, 예측적 포비티드 디스플레이 이미지 프레임(401P)은 도 13의 고해상도 영역(430)보다 크고 시선 위치(317M)의 움직임 방향을 따라 연장되는 고해상도 영역(430P)으로 디스플레이된다. 도 14의 예에서, 사용자의 눈의 운동의 이 스테이지에서 예측된 시선 위치(317P)에 대한 상대적으로 낮은 신뢰 레벨로 인해, 전이 영역(440P)은 또한 도 13의 전이 영역(440)보다 크고 시선 위치(317M)의 움직임 방향을 따라 연장된다. 주변 부분(400P)의 크기 및 형상이 그에 따라 결정된다.
도 15는 사용자의 눈(350)이 이전 시선 위치(1400)로부터 예측된 시선 위치(317P)를 향한 단속성 운동의 대부분을 완료한 예를 도시한다. 도 15에 도시된 바와 같이, 더 많은 눈 추적 데이터 포인트들(1402)이 획득되어, 예측된 시선 위치(317P)가 도 14의 시점에서의 신뢰 레벨보다 상대적으로 더 높은 신뢰 레벨로 생성될 수 있게 한다. 그에 따라, 도 15의 시점에서 디스플레이되는 이미지 프레임에서의 고해상도 영역(430P) 및 전이 영역(440P)의 크기는 도 14의 시점에서 디스플레이되는 이미지 프레임에서의 해당 영역들의 크기들에 비해 감소되고, 고해상도 영역(430P) 및 전이 영역(440P)은 도 15의 예측에 대한 더 높은 신뢰 레벨로 인해 시선 위치(317M)의 움직임을 따라 감소된 연장을 갖는다.
도 16은 단속성 운동이 완료되고 사용자의 시선 방향(506)이 랜딩하여 새로운 시선 위치(317)에서 정적인 예를 도시한다. 이 예에서, 새로운 시선 위치(317)는 이전의 예측된 시선 위치(317P)의 위치에 가깝지만 정확히 그 위치에 있지는 않다. 이 예에서, 다시 한번 말하지만 시선 위치(317)가 정적이기 때문에, 고해상도 영역(430) 및 전이 영역(440)은 대칭(예를 들면, 이 예시적인 예에서 원형)이고, 동심이며, 제각기, 최소 폭들(RH 및 RT)을 갖는다.
도 17은 본 개시의 양태들에 따른, 사용자의 눈의 원활 추종 운동 동안 예측적 포비티드 디스플레이 동작들 동안의 디스플레이 패널(118)을 예시한다. 예를 들어, 도 17에서, 디스플레이 패널(118)은 사용자의 시선 위치가, 중간 시선 위치들(317M-1, 317M-2, 및 317M-3)을 통해 이동하면서, 제1 정적 시선 위치(317-1)로부터 제2 정적 시선 위치(317-2)로의 원활 추종 운동을 수행하기 위해 변경될 때 포비티드 디스플레이 이미지 프레임들을 디스플레이하는 것으로 예시되어 있다. 도 17의 예에서, 시선 위치들(317-1 및 317-2) 각각은 눈 추적 유닛들(215) 및 눈 추적 모듈(710)로부터의 가장 최근의 시선 방향(506-1 및 506-2) 측정치에 기초한 현재 정적 시선 위치이다. 그에 따라, 포비티드 디스플레이 이미지 프레임(401)의 고해상도 영역(430) 및 전이 영역(440)은 사용자의 눈의 원활 추종 운동 전후의 포비티드 디스플레이 동작에서 이러한 영역들에 대한 최소 폭들인 각자의 폭들(RH 및 RT)(예를 들면, 도 17의 예에서 반경들)을 갖는다.
도 17에 예시된 바와 같이, 원활 추종 운동이 검출될 때, 사용자의 눈의 운동이 도 13 내지 도 16에 예시된 단속성 운동보다 느리고 더 높은 신뢰 레벨로 예측 가능할 수 있기 때문에(예를 들면, 상세하게는, 디스플레이 객체의 알려진 움직임에 대응하는 알려진 디스플레이 콘텐츠가 추종과 연관될 수 있는 경우), 도 17의 시선 위치들(317M)과 같은 움직이는 및/또는 예측된 시선 위치들 주위의 영역들(430 및 440)은 일정한 형상을 유지할 수 있고 이미지 프레임들에서 크기(예를 들면, 폭 또는 반경)가 예측들에 기초하여(예를 들면, 예측된 시선 위치의 신뢰 레벨에 기초하여), 알려진 시선 위치들에 대한 이미지 프레임들에 대한 최소 RH 및 RT에 비해, 증가할 수 있지만, 단속성 운동에 사용되는 증가보다는 작을 수 있다.
도 18은 본 개시의 양태들에 따른, 사용자의 눈의 전정 안구 운동 동안 예측적 포비티드 디스플레이 동작들 동안의 디스플레이 패널(118)을 예시한다. 예를 들어, 도 18에서, 디스플레이 패널(118)은 사용자의 정적 시선 위치가 정적 시선 위치(317) 주위의 다양한 움직이는 시선 위치들(317M)에 대해 전정 안구 운동을 수행할 때 포비티드 디스플레이 이미지 프레임들을 디스플레이하는 것으로 도시되어 있다. 사용자의 눈의 운동이 전정 안구 운동인 것으로 결정되고 주로 머리 및/또는 신체 움직임으로 인한 안정화를 위한 것으로 결정될 때, 저지연 렌더링을 위해, 사용자의 시선 위치의 작은 움직임들이 예측될 때에도 고해상도 영역(430) 및 전이 영역(440)의 크기 및 형상이 최소 폭으로 유지될 수 있다. 그렇지만, 일부 시나리오들에서, 고해상도 영역 및/또는 전이 영역(440)의 크기 및/또는 형상이 또한, 시선 예측 신뢰 레벨들에 기초하여, 전정 안구 운동들 동안 수정(예를 들면, 증가)될 수 있다.
도 13 내지 도 18에 묘사된 영역들(430 및 440)의 크기 및 형상이 예시적인 것에 불과하고, 영역들(430 및/또는 440)에 대한 다른 크기들 및/또는 형상들이, 눈 운동 유형, 예측된 시선 위치, 및/또는 예측된 시선 위치에 대한 신뢰 레벨에 기초하여 결정될 수 있다는 것이 이해되어야 한다.
예시적인 가변 초점 디스플레이 시스템들 및 방법들
도 19는 하나 이상의 구현에 따른, 예측적 가변 초점 디스플레이를 위한 예시적인 프로세스의 흐름 다이어그램을 예시한다. 설명 목적으로, 도 19의 프로세스는 본 명세서에서 주로 도 1, 도 2 및 도 5 내지 도 8의 하나 이상의 디바이스를 참조하여(상세하게는 머리 장착 가능 디스플레이 디바이스(102), 눈 추적 유닛들(215), 눈 추적 모듈(710), 눈 예측 모듈(722), 폭주 프로세싱 모듈(712), 가변 초점 작동 블록(706), 디스플레이 어셈블리(360), 및 디스플레이 패널(110)을 참조하여) 설명되며, 그 중 일부는 도 1의 머리 장착 가능 디바이스(102)의 하나 이상의 프로세서에 의해 실행될 수 있다. 그렇지만, 도 19의 프로세스는 이러한 디바이스들 및/또는 모듈들로 제한되지 않으며, 프로세스의 하나 이상의 블록(또는 동작)은 다른 적합한 디바이스들의 하나 이상의 다른 컴포넌트에 의해 수행될 수 있다. 추가로 설명 목적으로, 도 19의 프로세스의 블록들은 직렬로 또는 선형적으로 발생하는 것으로 본 명세서에서 설명된다. 그렇지만, 도 19의 프로세스의 다수의 블록들이 병렬로 발생할 수 있다. 추가적으로, 도 19의 프로세스의 블록들은 도시된 순서로 수행될 필요가 없고/없거나 도 19의 프로세스의 하나 이상의 블록은 수행될 필요가 없고/없거나 다른 동작들로 대체될 수 있다.
블록(1900)에서, 하나 이상의 예측된 폭주 평면이 획득된다. 예측된 폭주 평면(들)은, 예를 들어, 도 10 또는 도 11의 동작들에 기초하여, 예를 들어, 눈 예측 모듈(722)로부터 획득될 수 있다. 예측된 폭주 평면들은 현재 시간으로부터 10 ms, 30 ms 및 100 ms에 있는 예측 시간들에 대해, 제각기, 10 ms 예측, 30 ms 예측, 및 100 ms 예측을 포함할 수 있다. 예를 들어, 폭주 평면 예측들의 경우, 가변 초점 작동 블록(706)은 알려진 최대 조정 시간(예를 들면, ms 단위)을 가질 수 있다. 예측 시간들은 가변 초점 작동 블록(706)에서의 알려진 지연 시간(예를 들면, 그의 하나 이상의 배수)에 기초하는 미래 시간들일 수 있다. 다른 예로서, 예측된 폭주 평면들은 현재 디스플레이된 프레임으로부터 1 프레임, 3 프레임, 또는 10 프레임 미래에 있는 예측 시간들에 대응하는 1-프레임 예측, 3-프레임 예측, 및 10-프레임 예측을 (예들로서) 포함할 수 있다. 각각의 예측된 폭주 평면은 역시 획득될 수 있는 연관된 신뢰 레벨을 갖는다.
블록(1902)에서, 예측된 폭주 평면 및 예측된 폭주 평면에 대한 신뢰 레벨에 기초하여, 디스플레이 어셈블리(360)의 광학 시스템의 이미지 평면에 대한 예측된 쾌적 구역이 결정된다. 예측된 쾌적 구역은, 광학 시스템의 이미지 평면이 폭주 깊이 또는 가상 객체 깊이와 동일하지 않을 수 있지만, 이미지 평면과 폭주 깊이 사이의 차이가 사용자에게 편안하게 유지되는 범위일 수 있다. 이미지 평면에 대한 예측된 쾌적 구역은, 예를 들어, 폭주 평면으로부터 1.5 디옵터 내의 구역일 수 있다. 일부 작동 시나리오들에서, 블록(1902)에서 결정되는 예측된 쾌적 구역은 예측된 폭주 평면을 보는 사용자의 쾌적함과 예측된 폭주 평면에 대한 신뢰 레벨 양쪽 모두에 기초하여 결정될 수 있다. 예를 들어, 예측된 평면에 대한 신뢰 레벨이 임계 값보다 작을 때, 예측된 쾌적 구역의 크기는 최소 쾌적함 크기에 비해 증가될 수 있다. 이러한 방식으로, 이 시스템은 저신뢰 폭주 예측들에 기초하여 디스플레이 어셈블리(360)의 광학 시스템의 지나치게 공격적인 변경들을 피할 수 있다.
블록(1904)에서, 하나 이상의 광학 요소(예를 들면, 렌즈들(104) 중 하나 이상 및/또는 디스플레이 패널(118))가 이미지 평면을 예측된 쾌적 구역 내로 이동시키도록 조정될 수 있다. 광학 요소(들)를 조정하는 것은 (예를 들면, 도 5 및 도 6과 관련하여 위에서 논의된 바와 같이) 렌즈들(104) 중 하나 이상을 이동 및/또는 변형시키는 것, (예를 들면, 디스플레이 패널(118)을 이동시키는 것에 의해) 디스플레이 어셈블리(360)의 하나 이상의 다른 요소를 이동 및/또는 변형시키는 것, 액체 튜닝 가능 렌즈를 튜닝하는 것, 하나 이상의 알바레즈 렌즈의 하나 이상의 컴포넌트를 이동시키는 것, 및/또는 하나 이상의 PBP(Pancharatnam-Berry phase) 렌즈를 통과하는 디스플레이 광의 편광을 수정하는 것을 (예들로서) 포함할 수 있다. 예를 들어, 예측된 폭주 평면에서의 사용자의 눈들의 폭주 이전에(예를 들면, 사용자의 눈들의 폭주 운동 동안), 하나 이상의 광학 요소가 조정될 수 있다. 블록(1904)에서, 이미지 평면이 예측된 쾌적 구역의 언더슈트 에지(undershoot edge)로 조정될 수 있다. 예측된 쾌적 구역의 언더슈트 에지는 현재 이미지 평면에 가장 가까운 예측된 쾌적 구역의 에지이다. 이러한 방식으로, 사용자의 눈들이 새로운 폭주 평면에 랜딩하기 전에 광학 요소들의 조정이 감소된다. 사용자의 눈들의 폭주 운동 동안 예측된 쾌적 구역의 언더슈트 에지로 광학 요소들을 조정하는 것은 개략 조정(gross adjustment)일 수 있으며, 개략 조정 속도(gross adjustment rate)로 수행될 수 있다.
블록(1906)에서, 예측된 쾌적 구역 및/또는 예측된 폭주 평면은 사용자의 눈들이 새로운 폭주 평면을 향해 폭주(예를 들면, 수렴 또는 발산)하는 동안 조정될 수 있다. 예를 들어, 추가적인 눈 추적 데이터 포인트들이 눈 추적 모듈(710)로부터 획득될 때, 업데이트된 예측된 폭주 평면들 및 예측된 쾌적 구역들이 신뢰 레벨들을 증가시키면서 생성될 수 있다.
블록(1908)에서, 여전히 예측된 폭주 평면에서의 사용자의 눈들의 폭주 이전에, 하나 이상의 광학 요소가 추가로 조정될 수 있다. 추가의 조정은, 예를 들어, 이미지 평면을 조정된 예측된 쾌적 구역 내에 유지하기 위해 이루어질 수 있고, 제2(예를 들면, 더 느린) 조정 속도로 이루어질 수 있다.
블록(1910)에서, 정적 폭주 평면 또는 현재 폭주 평면이 결정될 수 있다. 예를 들어, 사용자의 폭주 운동이 완료되고 사용자의 시선이 (적어도 일시적으로) 정적 폭주 깊이에 랜딩한 후에, 예를 들어, 각각의 눈의 시선 방향에 대한 최신의(가장 최근의) 눈 추적 데이터 포인트를 사용하여 현재 정적 폭주 평면이 식별될 수 있다. 정적 폭주 평면은 이전에 획득된 예측된 미래 폭주 평면에 또는 그 근처에 있을 수 있다.
블록(1912)에서, 사용자의 폭주 평면이 이제 알려져 있기 때문에(예를 들면, 평면이 가장 최근에 측정된 폭주 깊이에서 정적이기 때문에), 현재 폭주 평면에 대한 원하는 이미지 평면 및 대응하는 원하는 쾌적 구역이 (예를 들면, 현재 폭주 평면으로부터 1.5 디옵터 이내에서) 식별될 수 있다.
블록(1914)에서, 하나 이상의 광학 요소가 이미지 평면을 원하는 이미지 평면으로 이동시키도록 추가로 조정될 수 있다. (이미지 평면을 현재 폭주 평면의 방향으로 이동시키기 위해) 광학 요소(들)가 예측된 폭주 평면에 기초하여 예측적으로 이동된, 블록들(1904 및/또는 1908)에서의 하나 이상의 광학 요소의 이전의 예측적 조정으로 인해, 현재 폭주 평면에서 사용자의 눈들이 폭주되기 전에, 블록(1914)에서의 조정은, 예를 들어, 제3 상대적으로 더 느린 조정 속도로 수행될 수 있는 미세 튜닝 조정일 수 있다.
도 20 내지 도 23은 본 개시의 양태들에 따른, 예측적 가변 초점 디스플레이 동작들 동안 디스플레이 어셈블리(360)의 다양한 뷰들을 예시한다. 예를 들어, 도 20에서, 디스플레이 패널(118)은 폭주 평면(2000)에서 사용자의 눈들(350)이 폭주되는 가상 객체(도시되지 않음)를 디스플레이한다. 도 20의 예에서, 폭주 평면(2000)은 눈 추적 유닛들(215) 및 눈 추적 모듈(710)로부터의 각각의 눈(350)에 대한 시선 방향들(506)의 가장 최근의 측정치에 기초하여 알려지는 현재 정적 폭주 평면이다.
도 20의 예에서, 광학 블록(320)의 렌즈들(104)은 이미지 평면(2002)에 디스플레이 패널(118)의 이미지를 형성하도록 배열된다. 도 20에 예시된 바와 같이, 사용자가 디스플레이 패널(118)의 이미지에 초점을 맞추는 이미지 평면(2002)은 사용자의 눈들이 디스플레이되는 특정 가상 객체로 폭주하는 폭주 평면(2000)과 동일하지 않을 수 있다.
도 21은 사용자의 눈들이 이전의 정적 폭주 평면(도 21에서 이전 폭주 평면(2100)으로서 표시됨)으로부터 아직 도달되지 않은 새로운 폭주 평면을 향해 발산하기 시작한 예를 예시한다. 예를 들어, 눈 추적 측정치들(2110)은 사용자의 두 눈이 서로 멀어지게 회전하고 있음을 나타낼 수 있다. 시선 방향들(506)이 중간 폭주 평면(2000M)에서 현재 교차할 때에도, 사용자의 우안의 운동의 방향 DR과 속력 SR 및 사용자의 좌안의 운동의 방향 DL과 속력 SL(또는 속력 또는 방향을 명시적으로 계산 또는 출력함이 없이 시간 경과에 따른 눈 추적 데이터 포인트들)이 예측된 폭주 평면(2000P)을 생성하는 데 사용될 수 있다. 도 21에서 화살표들(2103)로 예시된 바와 같이, 예측된 폭주 평면(2000P)에 기초하여, 광학 블록(320) 및/또는 디스플레이 패널(118)의 조정들은, 진행 중인 폭주 변화에 따라 사용자의 눈들(350)의 조절을 야기하기 위해, 이미지 평면(2102)을 예측된 폭주 평면을 향해 이동시키기 시작하였다.
예를 들어, 화살표들(2103)의 방향으로 이미지 평면(2102)을 이동시키기 위해, 전방 광학 요소(604) 또는 후방 광학 요소(606)(예를 들면, 도 6 참조)와 같은 광학 요소의 위치 및/또는 형상이 이미지 평면을 예측된 폭주 평면(2000P)에 대해 식별된 쾌적 구역(2104) 내로 이동시키도록 조정될 수 있다. 도 21에 예시된 바와 같이, 쾌적 구역(2104)은 언더슈트 에지(2106) 및 오버슈트 에지(overshoot edge)(2108)를 포함할 수 있다. 디스플레이 어셈블리(360)의 요소들은 이미지 평면(2102)을 쾌적 구역(2104)의 언더슈트 에지(2106)에 또는 그 근처에 있는 깊이로 이동시키기 위해, 눈들(350)의 폭주 운동 동안, 이동 및/또는 변형될 수 있다. 도시된 바와 같이, 언더슈트 에지(2106)는 현재 이미지 평면(2102)에 가장 가까운 쾌적 구역(2104)의 에지이다.
도 22는, 도 21에 대응하는 시간 이후, 현재 폭주 평면(2000M)이 예측된 폭주 평면(2000P)을 향해 더 이동하였고 화살표들(2203)로 표시된 바와 같이 계속 이동하고 있는 예를 예시한다. 도 22에 도시된 바와 같이, 이미지 평면(2102)은 쾌적 구역(2104) 내부로, 즉 언더슈트 에지(2106) 바로 내부로 이동하였다. 도 22에 나타낸 바와 같이, 사용자의 눈들(350)의 운동이 계속됨에 따라, 추가적인 눈 추적 데이터 포인트들(2110)이 획득되었다. 예측된 폭주 평면(2000P), 예측된 폭주 평면(2000P)에 대한 신뢰 레벨, 및/또는 언더슈트 에지(2106) 및/또는 오버슈트 에지(2108)가 추가적인 눈 추적 데이터 포인트들(2110)에 기초하여 조정될 수 있다.
도 23의 예에서, 사용자의 눈들(350)은 새로운 폭주 평면(2000)에 안착되었고 정적이다. 표시된 바와 같이, 새로운 폭주 평면(2000)은 (예를 들면, 예측의 정확도에 따라) 이전에 예측된 폭주 평면(2000P)에 또는 그 근처에 있을 수 있다. 도 23에서 화살표들(2300)로 나타낸 바와 같이, 정적 폭주 평면(2000)이 검출된 후에, 사용자의 쾌적함을 더욱 향상시키기 위해, 이미지 평면(2102)의 추가적인(예를 들면, 미세 튜닝) 조정들이 계속 이루어질 수 있다. 도 23에 표시된 미세 튜닝 조정들은, 예를 들어, 사용자의 눈들의 폭주 운동 동안 수행되는 개략 조정 속도보다 느린 미세 튜닝 조정 속도로 수행될 수 있다.
본 명세서에서 사용되는 바와 같이, 일련의 항목들에 선행하는 어구 “~중 적어도 하나”는, 항목들 중 임의의 것을 분리시키는 용어들 “및” 또는 “또는”과 함께, 리스트의 각각의 멤버(즉, 각각의 항목)보다는, 리스트 전체를 수식한다. 어구 "~중 적어도 하나"는 적어도 하나의 항목의 선택을 요구하지 않으며; 오히려, 이 어구는 항목들 중 임의의 것 중 적어도 하나, 및/또는 항목들의 임의의 조합 중 적어도 하나, 및/또는 항목들 중 각각의 항목 중 적어도 하나를 포함하는 의미를 허용한다. 예로서, 어구들 “A, B, 및 C 중 적어도 하나” 또는 “A, B, 또는 C 중 적어도 하나” 각각은 A만, B만, 또는 C만; A, B, 및 C의 임의의 조합; 및/또는 A, B, 및 C 각각 중 적어도 하나를 지칭한다.
용어 “포함한다(include)”, “갖는다(have)” 등이 상세한 설명 또는 청구항들에서 사용되는 한, 그러한 용어는, “포함하다(comprise)”가 청구항에서 전이구로서 이용될 때 해석되는 바와 같이, 용어 “포함하다”와 유사한 방식으로 포함적인 것으로 의도된다. “예시적인”이라는 단어는 본 명세서에서 "예, 인스턴스, 또는 예시로서 역할하는" 것을 의미하기 위해 사용된다. 본 명세서에서 "예시적인" 것으로 설명되는 임의의 실시예는 다른 실시예들에 비해 바람직하거나 유리한 것으로 반드시 해석되는 것은 아니다.
단수의 요소에 대한 언급은 구체적으로 언급되지 않는 한, "단 하나"를 의미하는 것이 아니라 오히려 "하나 이상"을 의미하도록 의도된다. 본 기술 분야의 통상의 기술자에게 알려져 있거나 추후에 알려지게 될 본 개시 전반에 걸쳐 설명된 다양한 구성들의 요소들에 대한 모든 구조적 및 기능적 등가물들은 본 명세서에 참고로 명시적으로 포함되며 본 기술에 의해 포괄되는 것으로 의도된다. 더욱이, 본 명세서에 개시된 어떠한 것도, 그러한 개시가 이상의 설명에 명시적으로 기재되어 있는지 여부에 관계없이, 일반 대중에 공개된 것으로 의도되지 않는다.
본 명세서가 많은 상세들을 포함하고 있지만, 이들이 청구될 수 있는 것의 범위에 대한 제한으로서 해석되어서는 안 되고, 오히려 본 주제의 특정 구현들에 대한 설명으로서 해석되어야 한다. 본 명세서에서 개별적인 실시예들의 맥락으로 설명되는 특정 특징들이 또한 단일 실시예에서 조합하여 구현될 수 있다. 이와 달리, 단일 실시예의 맥락으로 설명되는 다양한 특징들은 또한 다수의 실시예들에서 개별적으로 또는 임의의 적합한 하위 조합으로 구현될 수 있다. 더욱이, 특징들이 특정 조합들로 기능하는 것으로 위에서 설명되고 심지어 처음에 그 자체로서 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징이 일부 경우에 그 조합으로부터 제거될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형에 관한 것일 수 있다.
상단, 하단, 전방, 후방, 측면, 수평, 수직 등과 같은 용어들은, 통상적인 중력 기준 좌표계가 아닌, 임의의 기준 좌표계를 지칭한다. 따라서, 그러한 용어는 중력 기준 좌표계에서 상방으로, 하방으로, 대각으로, 또는 수평으로 확장될 수 있다.
본 명세서의 주제는 특정 양태들과 관련하여 설명되었지만, 다른 양태들이 구현될 수 있고 이하의 청구항들의 범위 내에 있다. 예를 들어, 동작들이 도면들에서 특정의 순서로 묘사되지만, 이것은, 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정의 순서로 또는 순차적 순서로 수행되어야 하거나, 모든 예시된 동작들이 수행되어야 하는 것을 요구하는 것으로 이해되어서는 안 된다. 청구항들에 기재된 액션들은 상이한 순서로 수행될 수 있고 바람직한 결과들을 여전히 달성할 수 있다. 일 예로서, 첨부 도면들에 묘사된 프로세스들은, 바람직한 결과들을 달성하기 위해, 도시된 특정의 순서 또는 순차적 순서를 반드시 요구하지는 않는다. 특정 상황들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 위에서 설명된 양태들에서의 다양한 시스템 컴포넌트들의 분리는 모든 양태들에서 그러한 분리를 요구하는 것으로 이해되어서는 안 되며, 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 다른 변형들이 이하의 청구항들의 범위 내에 있다.

Claims (14)

  1. 머리 장착 가능 디스플레이 시스템에 있어서,
    머리 장착 가능 디스플레이 디바이스 - 상기 머리 장착 가능 디스플레이 디바이스는:
    하우징;
    상기 하우징 내의 디스플레이 패널; 및
    눈 추적 데이터를 획득하도록 구성된 하나 이상의 눈 추적 유닛
    을 포함함 - ;
    상기 눈 추적 데이터에 기초하여, 현재 시선 위치의 변화를 식별하도록 구성된 눈 추적 모듈;
    상기 식별된 변화에 기초하여 예측된 미래 시선 위치를 생성하도록 구성된 눈 예측 모듈; 및
    상기 디스플레이 패널에 의해 디스플레이하기 위해, 상기 예측된 미래 시선 위치에 기초하여 적어도 하나의 예측적 포비티드 디스플레이 이미지 프레임을 렌더링하도록 구성된 프로세싱 회로
    를 포함하는, 머리 장착 가능 디스플레이 시스템.
  2. 제1항에 있어서,
    상기 디스플레이 패널은, 상기 프로세싱 회로가 상기 적어도 하나의 예측적 포비티드 디스플레이 이미지 프레임을 렌더링하는 동안, 상기 현재 시선 위치에 기초하여 현재 포비티드 디스플레이 이미지 프레임을 디스플레이하도록 구성되고,
    상기 현재 포비티드 디스플레이 이미지 프레임은, 상기 현재 시선 위치에 중심을 두고 제1 해상도를 갖는 고해상도 부분, 상기 고해상도 부분의 적어도 일부 주위에 있고 상기 제1 해상도보다 낮은 제2 해상도를 갖는 주변 부분, 및 상기 고해상도 부분과 상기 주변 부분 사이에서 연장되는 전이 부분을 포함하며,
    상기 예측적 포비티드 디스플레이 이미지 프레임은, 상기 예측된 미래 시선 위치에 중심을 두고 상기 제1 해상도를 갖는 고해상도 부분, 상기 고해상도 부분의 적어도 일부 주위에 있고 상기 제1 해상도보다 낮은 상기 제2 해상도를 갖는 주변 부분, 및 상기 고해상도 부분과 상기 주변 부분 사이에서 연장되는 전이 부분을 포함하는 것인, 머리 장착 가능 디스플레이 시스템.
  3. 제2항에 있어서,
    상기 현재 시선 위치 및 상기 예측된 미래 시선 위치는 상기 디스플레이 패널 상의 위치들인 것인, 머리 장착 가능 디스플레이 시스템.
  4. 제2항에 있어서,
    상기 눈 예측 모듈은 또한 상기 예측된 미래 시선 위치에 대한 시선 위치 신뢰 레벨을 생성하도록 구성되고,
    선택적으로 상기 프로세싱 회로는 상기 시선 위치 신뢰 레벨에 기초하여 상기 예측적 포비티드 디스플레이 이미지 프레임의 상기 고해상도 부분의 크기 및/또는 상기 예측적 포비티드 디스플레이 이미지 프레임의 상기 고해상도 부분의 형상을 결정하도록 구성되는 것인, 머리 장착 가능 디스플레이 시스템.
  5. 제4항에 있어서,
    상기 눈 예측 모듈은:
    상기 식별된 변화에 기초하여 눈 운동 유형을 식별하는 것; 및
    상기 식별된 변화에 기초하여 그리고 상기 식별된 눈 운동 유형의 모델에 기초하여 상기 예측된 미래 시선 위치 및 상기 시선 위치 신뢰 레벨을 생성하는 것
    에 의해 상기 식별된 변화에 기초하여 상기 예측된 미래 시선 위치를 생성하도록 구성되며,
    선택적으로 상기 눈 운동 유형은 단속성 운동, 원활 추종 운동, 또는 전정 안구 운동인 것인, 머리 장착 가능 디스플레이 시스템.
  6. 제1항에 있어서,
    상기 눈 예측 모듈은 상기 식별된 변화에 기초하여 제1, 제2, 및 제3 예측된 미래 시선 위치들을 생성하도록 구성되고,
    상기 프로세싱 회로는 상기 제1, 제2, 및 제3 예측된 미래 시선 위치들에 기초하여 대응하는 제1, 제2, 및 제3 예측적 포비티드 디스플레이 이미지 프레임들을 사전 렌더링하도록 구성되며,
    선택적으로 상기 제1, 제2, 및 제3 예측된 미래 시선 위치들은 현재 디스플레이 프레임으로부터, 제각기, 1 개, 3 개, 및 10 개의 디스플레이 프레임 떨어져 있는 미래 디스플레이 프레임들과 연관된 시간들에 대응하는 것인, 머리 장착 가능 디스플레이 시스템.
  7. 제1항에 있어서,
    상기 머리 장착 가능 디스플레이 디바이스에 통신 가능하게 결합되는 콘솔을 더 포함하며, 상기 프로세싱 회로는 상기 콘솔의 인공 현실 엔진을 포함하는 것인, 머리 장착 가능 디스플레이 시스템.
  8. 제1항에 있어서,
    상기 프로세싱 회로는 상기 머리 장착 가능 디스플레이 디바이스의 장면 렌더링 모듈을 포함하는 것인, 머리 장착 가능 디스플레이 시스템.
  9. 방법에 있어서,
    디스플레이 패널을 갖는 머리 장착 가능 디스플레이 디바이스의 사용자에 대한 눈 추적 데이터를 획득하는 단계;
    상기 눈 추적 데이터에 기초하여, 현재 시선 위치 및 상기 현재 시선 위치의 변화의 현재 방향 및 속력을 결정하는 단계;
    상기 현재 방향 및 속력에 기초하여 예측된 미래 시선 위치를 생성하는 단계;
    상기 디스플레이 패널에 의해 디스플레이하기 위해, 상기 현재 시선 위치에 기초하여 현재 포비티드 디스플레이 이미지 프레임을 렌더링하는 단계; 및
    상기 현재 포비티드 디스플레이 이미지 프레임을 디스플레이하는 것에 후속하여 상기 디스플레이 패널에 의해 디스플레이하기 위해, 상기 예측된 미래 시선 위치에 기초하여 적어도 하나의 예측적 포비티드 디스플레이 이미지 프레임을 사전 렌더링하는 단계
    를 포함하는, 방법.
  10. 제9항에 있어서,
    상기 현재 방향 및 속력에 기초하여 예측된 미래 폭주 평면을 생성하는 단계
    를 더 포함하며,
    선택적으로 상기 방법은, 상기 현재 포비티드 디스플레이 이미지 프레임을 디스플레이하는 동안, 상기 예측된 미래 폭주 평면에 기초하여, 상기 디스플레이 패널과 정렬되는 광학 요소를 수정하는 단계를 더 포함하는 것인, 방법.
  11. 디스플레이 패널, 상기 디스플레이 패널로부터의 디스플레이 광을 집속시키도록 구성된 광학 블록, 및 좌안 및 우안 추적 유닛들을 포함하는 머리 장착 가능 디스플레이 디바이스를 갖는 머리 장착 가능 디스플레이 시스템을 작동시키는 방법에 있어서,
    상기 머리 장착 가능 디스플레이 시스템의 눈 예측 모듈로, 상기 좌안 및 우안 추적 유닛들로부터 눈 추적 데이터를 획득하는 단계;
    상기 눈 추적 데이터를 사용하여 상기 눈 예측 모듈로 눈 운동 유형을 결정하는 단계; 및
    상기 눈 추적 데이터 및 상기 결정된 눈 운동 유형을 사용하여 상기 눈 예측 모듈로, 예측된 미래 시선 위치 또는 예측된 미래 폭주 평면 중 적어도 하나를 생성하는 단계
    를 포함하는, 방법.
  12. 제11항에 있어서,
    상기 눈 운동 유형은 단속성 운동, 원활 추종 운동, 또는 전정 안구 운동이고, 상기 예측된 미래 시선 위치 또는 상기 예측된 미래 폭주 평면 중 적어도 하나를 생성하는 단계는 상기 예측된 미래 시선 위치를 생성하는 단계를 포함하는 것인, 방법.
  13. 제11항에 있어서,
    상기 눈 운동 유형은 폭주 운동이고, 상기 예측된 미래 시선 위치 또는 상기 예측된 미래 폭주 평면 중 적어도 하나를 생성하는 단계는 상기 예측된 미래 폭주 평면을 생성하는 단계를 포함하는 것인, 방법.
  14. 제11항에 있어서,
    상기 눈 예측 모듈은 상기 머리 장착 가능 디스플레이 디바이스의 눈 예측 모듈인 것인, 방법.
KR1020227021146A 2019-12-04 2020-10-31 전자 디스플레이들에 대한 포비티드 렌더링을 위한 예측적 눈 추적 시스템들 및 방법들 KR20220120571A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/703,649 US11132056B2 (en) 2019-12-04 2019-12-04 Predictive eye tracking systems and methods for foveated rendering for electronic displays
US16/703,649 2019-12-04
PCT/US2020/058436 WO2021112990A1 (en) 2019-12-04 2020-10-31 Predictive eye tracking systems and methods for foveated rendering for electronic displays

Publications (1)

Publication Number Publication Date
KR20220120571A true KR20220120571A (ko) 2022-08-30

Family

ID=73544394

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227021146A KR20220120571A (ko) 2019-12-04 2020-10-31 전자 디스플레이들에 대한 포비티드 렌더링을 위한 예측적 눈 추적 시스템들 및 방법들

Country Status (6)

Country Link
US (2) US11132056B2 (ko)
EP (1) EP4070146A1 (ko)
JP (1) JP2023504373A (ko)
KR (1) KR20220120571A (ko)
CN (1) CN114868069A (ko)
WO (1) WO2021112990A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102586828B1 (ko) * 2022-12-16 2023-10-10 한국전자기술연구원 안면, 안구 형상, hmd 착용 위치 기반 고도 영상 출력 방법

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230144093A (ko) * 2019-07-28 2023-10-13 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
CN114830011A (zh) * 2019-12-06 2022-07-29 奇跃公司 虚拟、增强和混合现实系统和方法
US20230045580A1 (en) * 2020-01-06 2023-02-09 Eyeway Vision Ltd. An eye tracking device and method thereof
CN111629198B (zh) * 2020-06-08 2022-08-09 京东方科技集团股份有限公司 成像系统及其控制方法、控制装置和存储介质
US11410272B2 (en) * 2020-07-01 2022-08-09 Facebook Technologies, Llc. Dynamic uniformity correction
GB2597533B (en) * 2020-07-28 2022-11-23 Sony Interactive Entertainment Inc Gaze tracking system and method
US20220072381A1 (en) * 2020-09-04 2022-03-10 Rajiv Trehan Method and system for training users to perform activities
WO2022066478A1 (en) * 2020-09-22 2022-03-31 Sterling Labs Llc Glint analysis using multi-zone lens
GB2599900B (en) * 2020-10-09 2023-01-11 Sony Interactive Entertainment Inc Data processing system and method for image enhancement
CN112380989B (zh) * 2020-11-13 2023-01-24 歌尔科技有限公司 一种头戴显示设备及其数据获取方法、装置和主机
US11593962B2 (en) * 2020-12-29 2023-02-28 Tobii Ab Eye gaze tracking system, associated methods and computer programs
US11263821B1 (en) 2021-01-20 2022-03-01 Google Llc Generating augmented reality prerenderings using template images
US11442543B1 (en) * 2021-01-29 2022-09-13 Apple Inc. Electronic devices with monocular gaze estimation capabilities
US20220413292A1 (en) * 2021-06-29 2022-12-29 Htc Corporation Virtual reality head mounted display
US20230020061A1 (en) * 2021-07-15 2023-01-19 Robert Bosch Gmbh Vehicle mounted virtual visor system having predictive pre-shading of visor segments
TW202315398A (zh) * 2021-08-05 2023-04-01 美商元平台技術有限公司 用於預測凝視距離的光學系統和方法
US11822085B2 (en) * 2021-09-03 2023-11-21 Advanced Semiconductor Engineering, Inc. Optical adaptive device and wearable device
US11722655B2 (en) * 2021-11-30 2023-08-08 SoliDDD Corp. Low latency networking of plenoptic data
WO2023203923A1 (ja) * 2022-04-22 2023-10-26 ソニーグループ株式会社 頭部装着型情報処理装置、情報処理方法、記憶媒体
US20230338841A1 (en) * 2022-04-26 2023-10-26 Sony Interactive Entertainment Inc. Foveated enhancement of non-xr games within a hmd system
WO2023215112A1 (en) * 2022-05-04 2023-11-09 Apple Inc. Retinal reflection tracking for gaze alignment
US20230410405A1 (en) * 2022-06-17 2023-12-21 Inseye Inc. Minimal latency apparatus and method for supporting foveated rendering
US20240087191A1 (en) * 2022-09-12 2024-03-14 Rovi Guides, Inc. Systems and method for rendering of virtual objects
CN117635888B (zh) * 2023-12-07 2024-04-26 腾讯科技（深圳）有限公司 一种数据处理方法及相关装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3332554B1 (en) 2015-08-07 2022-07-06 Apple Inc. System and method for displaying a stream of images
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10429647B2 (en) 2016-06-10 2019-10-01 Facebook Technologies, Llc Focus adjusting virtual reality headset
US10140695B2 (en) 2016-10-04 2018-11-27 Facebook Technologies, Llc Head-mounted compound display including a high resolution inset
CN114326128A (zh) * 2017-02-21 2022-04-12 脸谱科技有限责任公司 聚焦调整多平面头戴式显示器
WO2018183405A1 (en) * 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
US10565964B2 (en) * 2017-04-24 2020-02-18 Intel Corporation Display bandwidth reduction with multiple resolutions
US10890968B2 (en) * 2018-05-07 2021-01-12 Apple Inc. Electronic device with foveated display and gaze prediction
US10942564B2 (en) 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102586828B1 (ko) * 2022-12-16 2023-10-10 한국전자기술연구원 안면, 안구 형상, hmd 착용 위치 기반 고도 영상 출력 방법

Also Published As

Publication number Publication date
JP2023504373A (ja) 2023-02-03
US11669160B2 (en) 2023-06-06
US20220004256A1 (en) 2022-01-06
US11132056B2 (en) 2021-09-28
EP4070146A1 (en) 2022-10-12
WO2021112990A1 (en) 2021-06-10
US20210173474A1 (en) 2021-06-10
CN114868069A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
US11669160B2 (en) Predictive eye tracking systems and methods for foveated rendering for electronic displays
US10871825B1 (en) Predictive eye tracking systems and methods for variable focus electronic displays
US10983354B2 (en) Focus adjusting multiplanar head mounted display
US11106276B2 (en) Focus adjusting headset
CN108369325B (zh) 焦点调整虚拟现实耳机
US10241569B2 (en) Focus adjustment method for a virtual reality headset
US9984507B2 (en) Eye tracking for mitigating vergence and accommodation conflicts
CN112136094A (zh) 用于显示系统的基于深度的凹式渲染
CN108886612A (zh) 减少深度平面之间切换的多深度平面显示系统
US10598941B1 (en) Dynamic control of optical axis location in head-mounted displays
US10819898B1 (en) Imaging device with field-of-view shift control
EP3179289B1 (en) Focus adjusting virtual reality headset
US20210397253A1 (en) Gaze tracking apparatus and systems
CN113177434A (zh) 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
US10989927B2 (en) Image frame synchronization in a near eye display
US10416445B1 (en) Lenses with consistent distortion profile

Legal Events

Date Code Title Description
A201 Request for examination