KR20200003890A - 비평면 계산 디스플레이 - Google Patents

비평면 계산 디스플레이 Download PDF

Info

Publication number
KR20200003890A
KR20200003890A KR1020197035909A KR20197035909A KR20200003890A KR 20200003890 A KR20200003890 A KR 20200003890A KR 1020197035909 A KR1020197035909 A KR 1020197035909A KR 20197035909 A KR20197035909 A KR 20197035909A KR 20200003890 A KR20200003890 A KR 20200003890A
Authority
KR
South Korea
Prior art keywords
display
eye
user
planar
volume
Prior art date
Application number
KR1020197035909A
Other languages
English (en)
Other versions
KR102303809B1 (ko
Inventor
존 디. 페레얼트
패트릭 룰
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20200003890A publication Critical patent/KR20200003890A/ko
Application granted granted Critical
Publication of KR102303809B1 publication Critical patent/KR102303809B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

근안 디스플레이 시스템(100)은 근안 라이트필드 프레임(120)을 디스플레이하기 위한 하나 이상의 비평면 디스플레이 패널들(110, 112) 및 렌즈릿 어레이(124)를 포함한다. 상기 근안 디스플레이 시스템은 상기 하나 이상의 비평면 디스플레이 패널들의 디스플레이 지오메트리 데이터의 세트와 연관된 입체 초점 볼륨(316)에 기초하여, 상기 입체 초점 볼륨 내의 오브젝트들이 상기 사용자의 눈에 의해 초점이 되게 인식하도록 상기 근안 라이트필드 프레임에서 상기 요소 이미지들의 어레이를 렌더링하기 위한 렌더링 컴포넌트(104)를 더 포함한다.

Description

비평면 계산 디스플레이
몰입형 가상 현실(VR) 및 증강 현실(AR) 시스템은 일반적으로 헤드 마운트 디스플레이(HMD) 및 기타 근안 디스플레이 시스템을 사용하여 입체 이미지를 사용자에게 제공하여 3차원(3D) 장면 내의 입체감을 제공한다. 종래의 HMD는 근안 라이트필드 디스플레이 또는 다른 계산 디스플레이를 이용하여 3 차원(3D) 그래픽의 디스플레이를 제공할 수 있다. 일반적으로, 근안 라이트필드 디스플레이는 하나 이상의 디스플레이 패널들 및 하나 이상의 디스플레이 패널들 위에 놓인 다수의 렌즈, 핀홀 또는 다른 광학 요소를 사용한다. 렌더링 시스템은 요소 이미지의 어레이를 렌더링하며, 각 요소 이미지는 대응하는 관점 또는 가상 카메라 포지션으로부터 오브젝트 또는 장면의 이미지 또는 뷰를 표현한다.
본 개시는 더 잘 이해될 수 있고, 그것의 수많은 구성 및 이점은 첨부 도면을 참조함으로써 통상의 기술자에게 명백해진다. 상이한 도면에서 동일한 참조 부호의 사용은 유사하거나 동일한 아이템을 표시한다.
도 1은 일부 실시예에 따라 입체 초점 볼륨을 생성하기 위한 비평면 디스플레이를 통합하는 근안 디스플레이 시스템을 도시하는 도면이다.
도 2는 일부 실시예에 따라 입체 초점 볼륨을 생성하기 위한 비평면 디스플레이를 통합하는 도 1의 근안 디스플레이 시스템의 사시도를 도시한다.
도 3은 일부 실시예에 따라 입체 초점 볼륨을 생성하기 위한 도 1의 근안 디스플레이 시스템에서 비평면 계산 디스플레이의 예시를 도시하는 도면이다.
도 4는 일부 실시예에 따라 도 1의 근안 디스플레이 시스템에서 가상 평면 회전의 예시를 도시하는 도면이다.
도 5는 일부 실시예에 따라 입체 초점 볼륨을 생성하기 위한 도 1의 근안 디스플레이 시스템에서 비평면 계산 디스플레이의 추가 예시를 도시하는 도면이다.
도 6는 일부 실시예에 따라 입체 초점 볼륨을 생성하기 위한 도 1의 근안 디스플레이 시스템에서 비평면 계산 디스플레이의 다른 예시를 도시하는 도면이다.
도 7은 일부 실시예에 따라 비평면 계산 디스플레이에서 갭 숨김의 예시를 도시하는 도면이다.
도 8은 일부 실시예에 따라 입체 초점 볼륨을 생성하기 위한 방법을 도시하는 흐름도이다.
도 1-8은 비평면 디스플레이를 통합하고, 근안 디스플레이 시스템에서 입체 초점 볼륨을 생성하기 위한 예시적 방법 및 시스템을 도시한다. 적어도 하나의 실시예에서, 근안 디스플레이 시스템은 사용자에게 몰입형 VR 또는 AR 경험을 제공하기 위해 이미지의 근안 라이트필드 프레임을 사용자에게 디스플레이하기 위해 비평면 계산 디스플레이를 사용한다. 각 근안 라이트필드 프레임은 요소 이미지들의 어레이로 구성되며, 각 요소 이미지는 상이한 대응 뷰포인트로부터 오브젝트 또는 장면의 뷰를 나타낸다.
많은 종래의 HMD 디바이스들은 2개의 독립적 디스플레이 영역(사용자의 왼쪽 눈용 및 오른쪽 눈용)으로 분리된 단일 평면 디스플레이 또는 사용자의 각 눈마다 하나씩 독립된 평면 디스플레이 중 하나를 구현한다. 이러한 디바이스들은 또한 디스플레이의 전체 이미지를 사용자의 눈에 초점을 맞추기 위해 각 눈마다 단일 렌즈를 포함한다. 그러나 각 눈에 평면 디스플레이와 단일 렌즈를 사용하면 부피가 큰 HMD 폼 팩터가 생겨서, 사용시 높은 관성 모멘트가 발생한다. 더욱이, 평면 디스플레이 및 렌즈는 전체 측면 시야(FOV)를 종종 110도 이하로 제한한다. 이러한 종래의 HMD 디바이스들의 큰 부피 및 제한된 크기는 디스플레이된 이미지에서 사용자의 입체감에 안 좋은 영향을 미치므로 제시된 장면에 몰입되는 느낌을 억제할 수 있다.
시야(field of view) 및/또는 피사계 심도 감소없이 개선된 HMD 폼 팩터를 제공하기 위해, 적어도 하나의 실시예에서, 본 명세서에 기술된 근안 디스플레이 시스템은 비평면 계산 디스플레이 구성을 이용하여, 비평면 계산 디스플레이(들)와 연관된 입체 초점 볼륨 내의 오브젝트들에 초점이 맞춰진 것으로 인식된다. 예를 들어, 종래의 근안 디스플레이 시스템은 종종 평면 HMD 폼 팩터를 가지며, 이는 왼쪽 및 오른쪽 이미지 평면(즉, HMD의 왼쪽 눈 및 오른쪽 눈 디스플레이 패널을 위한 이미지 평면)이 초점이 맞춰진 오브젝트를 인식하기 위해 동일 평면 상에 위치될 것을 요구한다. 그러나, 이러한 평면 HMD 폼 팩터는 큰 디스플레이 패널을 필요로 하므로 충분한 시야를 유지하기 위해 "다이빙 마스크" 제품 엔벨로프가 필요하다. 본 명세서에 기술된 근안 디스플레이 시스템은 하나 이상의 디스플레이 패널을 더 큰 피사계 심도를 갖는 렌즈릿 어레이와 쌍을 이루어 3D 공간에서 초점 볼륨을 렌더링함으로써 랩 어라운드 또는 비평면 폼 팩터를 가능하게 한다. 이들 초점 볼륨이 오버랩되는 볼륨은 사용자의 양안이 근안 디스플레이 시스템의 시야를 감소시키지 않고 초점이 맞는 것으로 인식할 수 있는 입체 초점 볼륨을 나타낸다.
도 1은 일부 실시예에 따라 입체 초점 볼륨을 생성하기 위한 비평면 디스플레이를 통합하는 근안 디스플레이 시스템(100)을 도시한다. 일부 실시예에서, 근안 디스플레이 시스템(100)은 HMD가 사용자의 얼굴에 장착되는 폼 팩터를 갖는 HMD 디바이스일 수 있다. 도시된 예에서, 근안 디스플레이 시스템(100)은 계산 디스플레이 서브시스템(102), 렌더링 컴포넌트(104) 및 사용자의 좌안을 추적하기 위한 눈 추적 컴포넌트(106)와 사용자의 우안을 추적하기 위한 눈 추적 컴포넌트(108) 중 하나 또는 둘 모두와 같은 하나 이상의 눈 추적 컴포넌트들을 포함한다. 계산 디스플레이 서브시스템(102)은 비평면 디스플레이이고, 디스플레이(110, 112)를 사용자의 좌안과 우안 앞에 각각 배치하는 장치(114)(예를 들어, 고글, 안경 등)에 장착된 좌안 디스플레이(110) 및 우안 디스플레이(112)를 포함한다.
각 디스플레이(110, 112)는 근안 라이트필드 프레임(이하, 참조의 용이성을 위해 "라이트필드 프레임"이라 함)의 시퀀스 또는 연속을 디스플레이하기 위한 적어도 하나의 디스플레이 패널(118)을 포함하고, 그 각각은 요소 이미지들(122)의 어레이(120)를 포함한다. 용이한 참조를 위해, 요소 이미지들(122)의 어레이(120)는 또한 본 명세서에서 라이트필드 프레임(120)으로 지칭될 수 있다. 각각의 디스플레이(110, 112)는 디스플레이 패널(118) 위에 놓인 렌즈릿(126)(일반적으로 "마이크로렌즈"라고도 함)의 어레이(124)를 더 포함한다. 일반적으로, 렌즈릿 어레이(124)의 렌즈릿들(126)의 수는 어레이(120)의 요소 이미지들(122)의 수와 동일하지만, 다른 구현에서 렌즈릿들(126)의 수는 요소 이미지들(122)의 수보다 적거나 많을 수 있다. 도 1은 예시의 용이성을 위해 요소 이미지들(121)의 10x4 어레이 및 렌즈릿들(126)의 대응하는 10x4 어레이(120)를 도시하지만, 일반적인 구현예에서, 라이트필드 프레임(120)에서 요소 이미지들(122)의 수 및 렌즈릿 어레이(124)의 렌즈릿들(126)의 수 훨씬 더 많다. 또한, 일부 실시예에서, 개별 디스플레이 패널(118)이 각각의 디스플레이(110, 112)에 대해 구현되는 반면에, 다른 실시예에서 좌안 디스플레이(110) 및 우안 디스플레이(112)는 단일 디스플레이 패널(118)을 공유하며, 디스플레이 패널(118)의 좌측 절반은 좌안 디스플레이(110)를 위해 사용되고 디스플레이 패널(118)의 우측 절반은 우안 디스플레이(112)를 위해 사용된다.
도 1의 단면도(128)는 렌즈릿 어레이(124)가 디스플레이 표면(130)과 사용자의 대응하는 눈(132) 사이에 배치되도록 렌즈릿 어레이(124)가 각 디스플레이 패널(118)의 디스플레이 표면(130) 위에 놓이도록 디스플레이 패널(118) 위에 놓인 렌즈릿 어레이(124)의 선 A-A에 따른 단면도를 도시한다. 이 구성에서, 각 렌즈릿(126)은 디스플레이 표면(130)의 대응 영역을 눈의 동공(134)에 초점을 맞추고, 이러한 영역 각각은 하나 이상의 인접 영역과 적어도 부분적으로 오버랩핑된다. 따라서, 요소 이미지들(122)의 어레이(120)가 디스플레이 패널(118)의 디스플레이 표면(130)에 디스플레이되고, 렌즈릿 어레이(124)를 통해 눈(132)에 의해 볼 때, 사용자는 요소 이미지들(122)의 어레이(120)를 장면의 단일 이미지로서 인식한다. 따라서, 적절한 시차가 구현된 상태에서 사용자의 좌안 및 우안 모두에 대해 이 프로세스가 병렬로 수행될 때, 결과는 사용자에게 무안경(autostereoscopic) 입체 3차원(3D) 이미지를 제시한다.
또한, 단면도(128)에 도시된 바와 같이, 좌안 디스플레이(110)의 디스플레이 패널(118)과 우안 디스플레이(112)의 디스플레이 패널(118)은 상호 비평면 배향으로 포지셔닝된다(디스플레이 패널에 의해 제시되는 좌안 및 우안 이미지 평면이 동일 평면에 있는 전통적인 VR/AR 디스플레이와 반대됨). 다시 말해, (디스플레이 패널(118)을 포함하는) 계산 디스플레이 서브시스템(102)은 비평면 디스플레이이다. 좌안 디스플레이(110)의 디스플레이 패널(118) 및 우안 디스플레이(112)의 디스플레이 패널(118)은 각각 단면도(128)에 도시된 바와 같이 개별적으로 평면일 수 있다. 그러나, 2개의 디스플레이 패널(118)은 동일 평면에 있지 않다. 대신에, 디스플레이 패널(118)은 사용 중인 착용자의 얼굴 주위를 부분적으로 감싸도록 서로에 대해 기울어져 있다. 이 예에서 각각의 좌안 디스플레이(110) 및 우안 디스플레이(112)가 단일 디스플레이 패널(118)을 갖는 것으로 도시되어 있지만, 다른 실시예에서, 디스플레이(110, 112) 각각은 임의의 "N"개의 디스플레이 패널 세그먼트들을 포함할 수 있다(각각 본 명세서에서 "디스플레이 패널 타일"이라고도 함). 예를 들어, 일부 실시예에서(예를 들어, 도 5과 관련하여 아래에서 설명되는 바와 같이), 각각의 디스플레이(110, 112)는 2개의 디스플레이 패널을 포함한다. 통상의 기술자는 디스플레이 패널 세그먼트들의 수가 증가할수록 디스플레이(110, 112)의 디스플레이 표면이 점점 곡선에 근접할 것이라는 것을 인식할 것이다. 일부 실시예에서, 개별 디스플레이 패널(118) 자체는 비평면(즉, 곡선)일 수 있다.
다른 실시예에서, N개의 디스플레이 패널 세그먼트들을 갖지 않고, 각각의 디스플레이(110, 112)는 상이한 곡률도(또는 실질적으로 곡률이 없음), 상이한 배향 또는 이들의 조합을 갖는 상이한 측면 부분을 갖는 연속 디스플레이 패널을 포함하고, 각각의 부분이 디스플레이(110, 112)의 별도의 논리 섹션 또는 "타일"을 나타내도록 한다(예를 들어, 도 2 및 도 5와 관련하여 아래에서 설명되는 바와 같이). 즉, 좌안 및 우안 디스플레이(110, 112) 각각은 디스플레이 패널의 전체 측면 범위를 가로 질러 연장되고 동일한 디스플레이 드라이버 하드웨어에 의해 구동되는 한 세트의 픽셀 행들을 포함하고, 디스플레이 패널은 섹션에서 디스플레이 패널의 곡률의 변화에 기초하여 또는 사용자의 대응하는 눈에 대한 섹션의 배향에 기초하여 인접한 측면 섹션들의 세트로서 논리적으로 구성된다. 만곡된 좌안 및 우안 디스플레이(110, 112)는 원하는 곡률 및 섹션적 배향으로 구부러지고 지지 프레임을 통해 유지되는 박막 유연 OLED 기반 디스플레이와 같은 다양한 곡률 또는 배향 구성을 갖는 디스플레이 패널을 제공할 수 있는 다양한 디스플레이 기술 중 임의의 것을 사용하여 구현될 수 있다. 또한, 렌즈릿 어레이(124)는 연관된 디스플레이 패널의 대응하는 섹션에 초점이 맞춰지는 복수의 렌즈릿들(126)을 포함한다. 즉, 각 렌즈릿(126)의 광학 축은 대응하는 디스플레이 패널 섹션의 디스플레이 표면(130)과 교차하고(본 명세서에서 "디스플레이 패널 타일"로 지칭됨), 일부 실시예에서, 광학 축은 대응하는 얼굴의 표면에 수직이다.
또한 도 1에 도시된 바와 같이, 렌더링 컴포넌트(104)는 도시된 중앙 프로세싱 유닛(CPU)(136) 및 그래픽 프로세싱 유닛(GPU)(138, 140)와 같은 하나 이상의 프로세서들의 세트 및 하나 이상의 프로세서들(136, 138, 140)을 조작하여 본 명세서에 기술된 바와 같은 다양한 작업을 수행하기 위해 프로세서들(136, 138, 140)에 의해 액세스되고 실행되는 소프트웨어 프로그램 또는 다른 실행가능 명령어들을 저장하는 시스템 메모리(142)와 같은 하나 이상의 저장 컴포넌트들을 포함한다. 이러한 소프트웨어 프로그램은 예를 들어, 후술되는 바와 같이, 라이트필드 프레임 렌더링 프로세스를 위한 실행가능한 명령어들을 포함하는 렌더링 프로그램(144) 뿐만 아니라 후술되는 입체 볼륨 생성 프로세스를 위한 실행가능한 명령어들을 포함하는 눈 추적 프로그램(146)을 포함한다.
동작에서, 렌더링 컴포넌트(104)는 로컬 또는 원격 컨텐츠 소스(150)로부터 렌더링 정보(148)를 수신하며, 상기 렌더링 정보(148)는 렌더링되고 디스플레이 서브시스템(102)에 디스플레이될 이미지의 대상인 오브젝트 또는 장면을 나타내는 그래픽 데이터, 비디오 데이터 또는 다른 데이터를 나타낸다. 렌더링 프로그램(144)을 실행하면, CPU(136)는 렌더링 정보(148)를 사용하여 드로잉 명령을 GPU(138, 140)에 송신하고, 드로잉 명령을 이용하여, 임의의 다양한 공지된 VR/AR 계산/라이트필드 렌더링 프로세스를 사용하여 좌안 디스플레이(110)에서 디스플레이하기 위한 일련의 라이트필드 프레임들(151) 및 우안 디스플레이(112)에서 디스플레이하기 위한 일련의 라이트필드 프레임들(153)을 렌더링한다. 이 렌더링 프로세스의 일부로서, CPU(136)는 관성 관리 유닛(IMU)(154)으로부터 포즈 정보(150)를 수신할 수 있고, 이에 의해 포즈 정보(150)는 디스플레이 서브시스템(102)의 포즈를 나타내고, 포즈로부터 오브젝트 또는 장면의 뷰포인트를 반영하기 위해 하나 이상의 쌍들의 라이트필드 프레임들(151, 153)의 렌더링을 제어한다.
이를 위해, 눈 추적 컴포넌트(106, 108)는 IR 빛으로 대응하는 눈을 조명하기 위한 하나 이상의 IR 광원들(본 명세서에서 "IR 조명기"로 지칭됨), 대응하는 눈으로부터 대응하는 눈 이미지(눈 이미지 정보(156))로 반사된 IR 빛을 캡처하기 위한 하나 이상의 이미징 카메라들, 상기 이미지 카메라들에 상기 반사된 IR 빛이 향하게 하기 위한 하나 이상의 거울들, 웨이브가이드들, 빔 스플리터 등 및 눈 추적 프로그램(146)을 실행하여 캡처된 눈 이미지로부터 대응하는 눈의 현재 포지션, 현재 배향 또는 둘 모두(본 명세서에 단일 또는 집합적으로 "포즈"로 지칭됨)를 결정하도록 하는 하나 이상의 프로세서들을 각각 포함할 수 있다. 사용자의 한쪽 또는 양쪽 눈을 추적하기 위해 임의의 다양한 공지된 눈 추적 장치 및 기법이 눈 추적 컴포넌트(106, 108)로서 이용될 수 있다.
적어도 하나의 실시예에서, 근안 디스플레이 시스템(100)은 눈 포즈를 과거 눈 포즈, 현재 눈 포즈, 또는 예측(미래) 눈 포즈 또는 이들의 조합으로 결정할 수 있다. 특히, 미래 눈 포즈의 예측은 개선된 성능 또는 응답 시간을 제공할 수 있고, 미래 눈 포즈를 예측하기 위해 임의의 다양한 눈 움직임 예측 알고리즘이 구현될 수 있다. 또한, 일부 경우에, 눈 추적 컴포넌트(106, 108)는 장면 정보(예를 들면, 이미지 내에서 얼굴의 위치가 렌더링될 또는 핵심 휴리스틱)를 눈 포즈 계산을 위한 사용자의 눈의 미래 시선 예측에 대한 입력으로서 활용될 수 있다. 이와 같이, 본원에 사용된 용어 "눈 포즈"는 이전, 현재 또는 예측된 눈 포즈 또는 이들의 일부 조합을 지칭할 수 있다.
본 명세서에서 보다 상세하게 설명되는 바와 같이, 적어도 하나의 실시예에서, 근안 디스플레이 시스템(100)은 오브젝트들이 사용자의 좌안 및 우안(132) 모두에 초점을 맞추는 것으로 보이는 입체 초점 볼륨을 결정함으로써 입체 초점 볼륨을 생성한다. 사용자의 눈에 대해 상이한 곡률 및/또는 배향을 갖는 디스플레이 패널 섹션의 사용을 통해, 근안 디스플레이 시스템(100)은 HMD의 벌크를 사용자의 머리에 더 가깝게 유지하는 폼 팩터로 제조될 수 있고, 그에 의해 더 넓은 측면 시야와 보다 심미적으로 즐거운 외형을 제공할 뿐만 아니라 관성 모멘트를 감소시킨다.
도 2는 일부 실시예에 따라 입체 초점 볼륨을 생성하기 위한 근안 디스플레이 시스템(100)에서 활용되는 것과 같은 비평면 계산 디스플레이의 사시도를 도시한다. 본 발명의 예시적인 실시예에 따르면, 도 2는 근안 디스플레이 시스템(100)을 "안경" 폼 팩터를 갖는 HMD(200)로서 도시하며, HMD 디바이스(200)는 템플(202, 204)을 통해 사용자의 얼굴에 장착되고, 사용자에 의해 착용시 사용자의 귀에 또는 귀 뒤에 포지셔닝된다. 그러나, 다른 실시예들에서, HMD 디바이스(200)는 HMD 디바이스(200)가 하나 이상의 스트랩, 하네스 또는 다른 부착 디바이스를 통해 사용자의 얼굴에 장착되는 "마스크" 폼 팩터로 구현될 수 있다. 또한, 예시의 용이성을 위해 생략되었지만, HMD 디바이스(200)는 주변 빛 침투를 제한하기 위해 사용자의 얼굴에 대해 밀착하기 위한 하나 이상의 얼굴 개스킷을 포함할 수 있다. 도시된 예에서, HMD(200) 디바이스는 하우징(206)을 포함하며, 하우징(206)에 장착되거나 그 안에 디스플레이 디바이스(예를 들어, 도 1의 좌안 및 우안 디스플레이(110, 112))가 사용자의 눈 앞에 배치되도록 한다. 본 명세서에서 더 설명되는 바와 같이, 하우징(206)에 결합되거나 하우징(206) 내에 내장된 프로세서는 디스플레이 디바이스에 디스플레이하기 위한 AR/VR 컨텐츠를 생성하여, AR/VR 컨텐츠와 연관된 AR/VR 환경에 사용자를 몰입시킨다.
도 3은 일부 실시예에 따라 도 1의 선 A-A를 따라 잘린 근안 디스플레이 시스템(100)에서 활용되는 것과 같은 비평면 계산 디스플레이의 단면도(300)를 도시하는 도면이다. 도시된 바와 같이, 디스플레이 패널(118) 및 렌즈릿(126)은 근안 디스플레이 시스템(100)을 착용할 때 사용자의 정중시상면에 대응하는 내측면(302)에 대해 실질적으로 대칭이다. 또한, 디스플레이 패널(118)은 상호 그리고 평면(304)에 대해 비평면이다. 평면(304)은 일반적으로 사용자의 관상면에 평행하고, 일반적으로 종래의 HMD의 디스플레이가 포지셔닝될 평면에 대응한다.
이 도면에 도시된 바와 같이, 사용자의 눈(132)은 다른 깊이에서 눈(132)에 의해 인식되도록 의도된 다수의 오브젝트들(도시되지 않음)을 포함하는 가상 이미지(308) 내의 포인트(306)를 향한다. 렌즈릿(126)으로 인한 피사계 심도(310)(즉, 눈(132)에 의해 초점이 맞춰질 것으로 인식될 가장 가까운 오브젝트들과 가장 먼 오브젝트들 사이의 거리)는 오브젝트들이 초점이 맞춰져 보이게 될 가상 이미지(308) 내의 볼륨으로 인도한다.
특히, 좌안 초점 볼륨(312) 내의 오브젝트들은 좌안 디스플레이(110)의 디스플레이 패널(118)에 의해 디스플레이되도록 제시될 때 사용자의 좌안(132)에 초점이 맞춰져 보일 것이다. 유사하게, 우안 초점 볼륨(314) 내의 오브젝트들은 우안 디스플레이(112)의 디스플레이 패널(118)에 의해 디스플레이되도록 제시될 때 사용자의 우안(132)에 초점이 맞춰져 보일 것이다. 다양한 실시예들에서, 좌안 초점 볼륨(312) 및 우안 초점 볼륨(314)의 피사계 심도는 다음 식을 사용하여 결정될 수 있다:
dPhi = 2c /(d * f) (1)
여기서, dPhi는 디옵터에서의 피사계 심도를 나타내고, c는 미터 단위의 디스플레이 픽셀 크기를 나타내고, d는 미터 단위의 렌즈릿 직경을 나타내고, f는 미터 단위의 렌즈릿 초점 거리를 나타낸다.
도 3에 도시된 바와 같이, 좌안 초점 볼륨(312) 및 우안 초점 볼륨(314)은 입체 초점 볼륨(316)에서 오버랩된다. 따라서, 라이트필드 프레임은 디스플레이 패널(118)의 비평면 구성에 기초하여 렌더링되고 입체 초점 볼륨(316) 내의 오브젝트들은 사용자의 좌안 및 우안(132) 모두에 초점이 맞춰져 보인다.
일부 실시예들에서, 예를 들어, 비평면 디스플레이(즉, 계산 디스플레이 서브시스템(102))에 대한 물리적 치수 및 지오메트리에 관한 세트 디스플레이 지오메트리 데이터가 렌더링 컴포넌트(104)에 제공된다. 예를 들어, 디스플레이 지오메트리 데이터의 세트는 하나 이상의 디스플레이 패널(118) 및 렌즈릿(126)에 대한 물리적 치수 및 지오메트리를 포함할 수 있다. 예를 들어, 디스플레이 지오메트리 데이터의 세트는 디스플레이 패널(118)의 폭, 눈(132)과 패널(118) 사이의 시거리, 패널(118)과 평면(304) 사이의 각도, 패널과 내측면(302) 사이의 각도 등과 같은 다양한 데이터를 포함할 수 있다. 통상의 기술자는 3D 공간에서의 좌안 초점 볼륨(312) 및 우안 초점 볼륨(314)의 포지션이 렌즈릿(126) 및 디스플레이 패널(118) 치수/지오메트리에 의해 결정된다는 것을 인식할 것이다. 그러나, 다양한 실시예들에서, 그러한 좌안 및 우안 초점 볼륨들(312, 314) 및 입체 초점 볼륨(316) 내의 가상 평면들의 포지션은 초점 볼륨 내에서 회전될 수 있다.
예를 들어, 도 4는 가상 평면(402)의 회전을 갖는 비평면 계산 디스플레이의 단면도(400)를 도시하는 도면을 도시한다. 다양한 실시예들에서, 가상 평면(402)은 다음 방정식을 사용하여 요소 이미지들의 디스플레이 포지션을 일정량만큼 시프팅함으로써 회전될 수 있다:
dx = n * Φ * d * f +(n * Φ * d) 2 * f * tan(θ) (2)
여기서, n = [-N / 2, N / 2]는 렌즈릿 수를 나타내고, Φ = 1 / z는 디옵터에서 가상 평면까지의 거리를 나타내고, θ는 렌즈릿에 대한 가상 평면(402)의 경사(즉, 디스플레이-렌즈 탄젠트와 렌더링된 가상 평면(402) 사이의 각도)를 나타낸다. 또한, 일부 실시예들에서, 디스플레이 패널들 사이의 접힘 각도(도시되지 않음)가 조정가능할 수 있고, 센서는 렌더링 컴포넌트(104)가 요소 이미지의 디스플레이 포지션의 시프트를 결정하게 하기 위해 θ를 결정하는데 사용된다. 눈 추적은 그러한 실시예들에 필요하지 않지만, 접힘 각도가 변하거나 근안 디스플레이 시스템(100)이 사용자의 눈(132)에 대해 상대적으로 이동하는 경우, 다른 보기 파라미터들(예를 들어, 안구 완화 거리 및 동공 위치)을 결정하기 위해 선택적으로 사용될 수 있음에 유의한다.
대안적 실시예에서, 도 5는 일부 실시예에 따라 입체 초점 볼륨을 생성하기 위한 다른 구현예의 비평면 디스플레이의 단면도(500)를 도시하는 도면을 도시한다. 도 1과 관련하여 이전에 논의된 바와 같이, 일부 실시예에서, 좌안 및 우안 디스플레이(110, 112) 각각은 임의의 "N"개의 디스플레이 패널 세그먼트들을 포함할 수 있다. 예를 들어, 뷰(500)에 도시된 바와 같이, 각각의 디스플레이(110, 112)는 2개의 디스플레이 패널 세그먼트들(즉, 디스플레이 패널 세그먼트(118a 및 118b))을 포함한다. 이 도면에 도시된 바와 같이, 사용자의 눈(132)은 다른 깊이에서 눈(132)에 의해 인식되도록 의도된 다수의 오브젝트들(도시되지 않음)을 포함하는 가상 이미지(504) 내의 포인트(502)를 향한다. 렌즈릿(126)으로 인한 피사계 심도(506)(즉, 눈(132)에 의해 초점이 맞춰질 것으로 인식될 가장 가까운 오브젝트들과 가장 먼 오브젝트들 사이의 거리)는 오브젝트들이 초점이 맞춰져 보이게 될 가상 이미지(504) 내의 볼륨으로 인도한다.
도 3과 관련하여 논의된 예시적인 구현예와 유사하게, 각각의 디스플레이 패널 세그먼트들(예를 들어, 디스플레이(110, 112)의 디스플레이 패널 세그먼트(118a 및 118b)) 각각은 각각의 눈(132)에 디스플레이하기 위해 제시될 때 오브젝트들이 초점이 맞춰져 보이게 되는 대응 초점 볼륨과 연관된다. 도 5에서 도시된 바와 같이, 이들 초점 볼륨은 입체 초점 볼륨(508)에서 오버랩된다. 따라서, 라이트필드 프레임은 디스플레이 패널 세그먼트들(118a, 118b)의 비평면 구성에 기초하여 렌더링되고 입체 초점 볼륨(508) 내의 오브젝트들은 사용자의 좌안 및 우안(132) 모두에 초점이 맞춰져 보인다. 또한, 도 4와 관련하여 논의된 예시적 구현예와 유사하게, 입체 초점 볼륨(508)의 가상 평면(도시되지 않음)은 상기 식(2)에 기초하여 다양한 디스플레이 세그먼트들(118a 및 118b)을 따라 요소 이미지들의 디스플레이 포지션을 시프팅함으로써 회전될 수 있다.
대안적 실시예에서, 도 6는 일부 실시예에 따라 입체 초점 볼륨을 생성하기 위한 또 다른 구현예의 비평면 디스플레이의 단면도(600)를 도시하는 도면을 도시한다. 도 3의 예시적 실시예와 유사하게, 렌즈릿들(126)은 근안 디스플레이 시스템(100)을 착용할 때 사용자의 정중시상면(midsagittal plane)에 대응하는 내측면(medial plane)(602)에 대해 실질적으로 대칭이다. 디스플레이는 곡면형 디스플레이 패널(604)이며, 통상적인 HMD의 디스플레이가 포지셔닝될 평면에 비해 일반적으로 비평면이다. N개의 디스플레이 패널 세그먼트들 및 N개의 오버랩핑 초점 볼륨(즉, 도 5에서 4개의 세그먼트 및 4개의 오버랩핑 초점 볼륨)을 갖기 보다는, N개의 세그먼트들을 갖는 다각형은 N이 커지면 대략적으로 곡선/원형 표면에 접근한다. 도 6에 도시된 바와 같이, 작은 각도로 회전된 대응하는 더 많은 수의 오버랩핑 직사각형 초점 볼륨(606)이 있을 것이며, 이는 도시된 타원형의 초점 볼륨의 오버랩핑을 형성한다. 그러나, 도 5의 예시적인 실시예와 유사하게, 입체 초점 볼륨(608)은 에지에서 최대 디스플레이 패널 경사에 의해 제한되며 일반적으로 다이아몬드 형상이다. 가상 평면은 초점 체적(606) 내의 임의의 평면에서 렌더링될 수 있고, 입체 융합은 입체 초점 체적(608) 내에서 달성될 수 있다. 가상 평면은 z축 방향을 따라 시프팅될 수 있다. 또한, 곡선 디스플레이 패널(604)에 대해 조정하기 위해 이미지의 렌더링을 변경하기 위해 위에서 논의된 것과 동일한 렌더링 식(2)이 사용될 수 있고, 여기서 θ는 렌더링된 가상 평면에 대한 디스플레이 패널(604) 사이의 국소 경사(또는 각도)에 의해 결정된다(즉, 곡면의 국소 공간 미분 또는 접선).
통상의 기술자는 디스플레이 패널 세그먼테이션으로 인해, 일부 실시예에서, 좌안 및 우안 디스플레이(110, 112)의 전체 표면적의 일부만이 사용자의 눈에 보일 수 있음을 인식할 것이다. 설명하기 위해, 도 7은 렌즈릿들 및 디스플레이 패널 세그먼트들을 사용하는 도 4의 뷰(400)와 관련하여 논의된 근안 디스플레이 시스템에서 활용되는 것과 같은 계산 디스플레이의 단면도(700)를 도시한다. 이 뷰(700)에 도시된 바와 같이, 예를 들어, 디스플레이 패널 세그먼트들(118a, 118b)을 유지하는 하우징의 디스플레이 경계/외부 프레임으로 인해 디스플레이 패널 세그먼트(118a, 118b) 사이에 갭(702)이 존재한다.
렌즈릿 어레이(124)의 각각의 렌즈릿(126)은 눈(132)에 별개의 "프로젝터"로서 역할을 하며, 각 "프로젝터"는 디스플레이 패널(118)에 디스플레이된 요소 이미지의 어레이로부터 합성 가상 이미지(704)를 형성하는 것에서 하나 이상의 인접한 프로젝터와 오버랩핑된다. 설명하기 위해, 렌즈릿(126-2)은 가상 이미지(704)의 영역(710)으로부터 대응하는 요소 이미지(영역(706)으로 표시됨)를 투사하고, 렌즈릿(126-4)은 가상 이미지(704)의 영역(712)으로부터 대응하는 요소 이미지(영역(708)으로 표시됨)를 투사한다. 도 2에 도시된 바와 같이, 영역(710 및 712)은 서브 영역(714)에서 오버랩된다. 따라서, 이 오버랩핑 서브 영역(714)으로부터의 이미지 데이터는 디스플레이 패널 세그먼트(118a, 118b)에 의해 디스플레이된 요소 이미지를 렌더링하여, 디스플레이 패널 세그먼트(118a, 118b) 사이의 갭(702)을 감추어, 사용자의 눈(132)에 의해 인식되는 것으로서 합성 가상 이미지(704)가 갭(702)의 존재를 감지하지 못하도록 한다.
일부 실시예에서, 디스플레이 경계가 가상 이미지(704) 평면으로 투사되면, 디스플레이 베젤/에지가 위치된 어두운 스팟이 있을 것이다.　 주변의 요소 이미지 내에서 복제된(예를 들어, 오버랩핑된) 픽셀의 강도는 N + 1 / N의 비율에 의해 스케일링되며, 여기서 N은 차단된 픽셀 영역을 공유하는 요소 이미지의 수이다. 　즉, 영역(706, 708)에 대응하는 요소 이미지의 강도는 갭(702)을 보상하도록 조정될 수 있다.
또한, 다양한 실시예에서, 도 1의 눈 추적 컴포넌트(106, 108)는 사용자의 눈(132)에 대한 포즈 변화를 추적하고, 포즈 정보를 렌더링 컴포넌트(104)에 제공하여 디스플레이 패널 세그먼트들 사이에 갭을 갖는 좌안 및 우안 디스플레이(110, 112)의 일부를 향할 수 있는 사용자의 눈(132)에 의한 임의의 시선을 고려한다.
도 8은 일부 실시예에 따라 입체 초점 볼륨에 기초하여 라이트필드 프레임을 렌더링하기 위한 비평면 계산 디스플레이를 갖는 근안 디스플레이 시스템(100)의 동작의 방법(800)이다. 이해를 용이하게 하기 위해, 방법(800)은 도 1-7에 의해 예시된 예시적 시나리오를 참조하여 아래에 설명된다. 방법(800)은 좌안 디스플레이(110) 또는 우안 디스플레이(112) 중 하나에 대한 라이트필드 프레임을 렌더링하고 디스플레이하는 프로세스의 하나의 반복을 도시하고, 따라서 도시된 프로세스는 디스플레이(110, 112) 각각에 대해 병렬로 반복적으로 수행되어, 상이한 시점에 각각의 눈에 대해 라이트필드 프레임들의 상이한 스트림 또는 시퀀스를 생성하고 디스플레이하여, 3D, 무안경 입체 VR 또는 AR 경험을 사용자에게 제공한다.
라이트필드 프레임이 생성되고 디스플레이되기 위해, 방법(800)은 블록(802)에서 시작하여, 렌더링 컴포넌트(104)는 사용자의 대응하는 눈에 디스플레이될 이미지 컨텐츠를 라이트필드 프레임으로서 식별한다. 적어도 하나의 실시예에서, 렌더링 컴포넌트(104)는 자이로스코프, 가속도계, 자력계, GPS(Global Positioning System) 센서 등과 같은 다양한 포즈 관련 센서로부터 데이터를 나타내는 IMU 정보(152)를 수신하고, IMU 정보(150)로부터 디스플레이(110, 112)를 사용자의 눈 근처에 장착하는데 사용되는 장치(114)(예를 들어, HMD)의 포즈를 결정한다. 이 포즈로부터, 렌더링 프로그램(144)을 실행하는 CPU(136)는 대상 장면 또는 오브젝트의 대응하는 현재 뷰포인트를 결정할 수 있고, 이 뷰포인트 및 렌더링 정보(148)로서 제공된 장면 또는 오브젝트의 그래픽 및 공간적 설명으로부터 상기 포즈에 대해 렌더링될 이미지를 결정한다.
블록(804)에서, CPU(136)는 근안 디스플레이 시스템(100)의 비평면 디스플레이에 대한 디스플레이 지오메트리 데이터의 세트를 수신한다. 적어도 하나의 실시예에서, 디스플레이 지오메트리 데이터의 세트는 도 3에 도시된 바와 같이, 사용자의 눈(들)에 대한 하나 이상의 디스플레이 패널들의 기하학적 구성(예를 들어, 광축의 각도)을 나타내는 데이터를 포함한다. 다른 실시예에서, 디스플레이 지오메트리 데이터의 세트는 하나 이상의 비평면 디스플레이 패널들이 세그먼트화되었음을 나타내는 데이터를 포함하고, 도 4에 도시된 바와 같이 복수의 디스플레이 패널 세그먼트들을 포함한다. 근안 디스플레이 시스템(100)이 복수의 디스플레이 패널 세그먼트들을 포함하는 경우, 디스플레이 지오메트리 데이터의 세트는 디스플레이 패널 세그먼트들의 디스플레이 경계/베젤의 포지션을 나타내는 데이터를 더 포함할 수 있다. 다른 실시예에서, 디스플레이 지오메트리 데이터의 세트는 도 5 및 6에 도시된 바와 같이, 비평면 디스플레이의 곡률 지오메트리를 나타내는 데이터를 포함한다.
선택적 블록(806)에서, 눈 추적 프로그램(146)을 실행하는 CPU(136)는 사용자의 대응하는 눈의 포즈를 결정한다. 여기에 설명된 바와 같이, 눈의 포즈는 다양한 눈 추적 기법 중 임의의 것을 사용하여 결정될 수 있다. 일반적으로, 이러한 기법은 눈의 동공 및 각막으로부터 반사된 하나 이상의 IR 광 이미지의 캡처를 포함한다. 눈 추적 프로그램(146)은 CPU(136) 또는 GPU(138, 140)를 조작하여, 동공 반사 또는 각막 반사 중 하나 또는 둘 모두의 대응하는 포지션에 기초하여 눈의 포즈를 결정하기 위해 이미지를 분석할 수 있다. 예를 들어, 일부 실시예들에서, 단안 눈 추적은 관심 영역 정보를 획득하고 렌더링된 장면에서 사용자의 눈이 수용(accomodation)하려고 하는 위치를 계산하기 위해 수행된다(예를 들어, 장면에서 어떤 오브젝트(들)을 눈이 응시하는지). 각각의 눈에 대해 단안 눈 추적을 수행함으로써, 두 눈 사이의 상대 각도 변위가 측정되어 수렴(vergence)을 결정한다. 따라서, 수용은 결정된 수렴(예를 들어, 시선 눈 추적)에 기초하여 계산된다. 다른 실시예에서, 양안 눈 추적은 렌더링된 장면 컨텐츠 및/또는 각막에 대한 동공의 배향과 무관하게 수용을 결정하기 위해 수행되며, 이어서 눈의 배향(즉, 시선의 방향)을 결정하는데 사용될 수 있다. 비록 블록(806)이 도 8에 블록(802 및 804)에 후속하는 것으로 도시되었지만, 블록(806)의 프로세스는 블록(802 및 804)의 프로세스 전, 동안 또는 후에 수행될 수 있다.
비평면 디스플레이(및 일부 실시예에서, 사용자의 눈의 포즈)의 지오메트리가 결정되면, 블록(808)에서 렌더링 프로그램(144)은 CPU(136)를 조작하여 GPU(138, 140) 중 대응하는 것에 지시하여 라이트필드 프레임을 블록(802)에서 식별된 이미지 컨텐츠를 사용하여 어레이(120)로 렌더링하게 하며, 여기서 라이트필드 프레임은 요소 이미지들의 어레이를 포함한다. 일부 실시예에서, 이 프로세스의 일부로서, 상기 CPU(136)는 이미지 컨텐츠(즉, 가상 이미지) 내에 입체 초점 볼륨이 디스플레이되도록 계산한다. 특히, CPU(136)는 비평면 디스플레이가 초점을 맞출 입체 초점 볼륨 내에 오브젝트들을 제시하도록 입체 초점 볼륨을 계산한다. 예를 들면, 도 3의 컨텍스트에서, 좌안 초점 볼륨(308) 내의 오브젝트들은 좌안 디스플레이(110)의 디스플레이 패널(118)에 의해 디스플레이되도록 제시될 때 사용자의 좌안(132)에 초점이 맞춰져 보일 것이다. 유사하게, 우안 초점 볼륨(310) 내의 오브젝트들은 우안 디스플레이(112)의 디스플레이 패널(118)에 의해 디스플레이되도록 제시될 때 사용자의 우안(132)에 초점이 맞춰져 보일 것이다. 따라서, CPU(136)는 좌안 초점 볼륨(308)과 우안 초점 볼륨(310)이 입체 초점 볼륨(312)에서 오버랩되는 것으로 결정하고, 라이트필드 프레임들은 입체 초점 볼륨(312) 내의 오브젝트들이 사용자의 좌안 및 우안(132) 둘 모두에 초점을 맞추는 것처럼 보이도록 렌더링된다.
일부 실시예에서, 도 5의 컨텍스트에서와 같이, 좌안 및 우안 디스플레이(110, 112) 각각은 임의의 "N"개의 디스플레이 패널 세그먼트들을 포함할 수 있다. 예를 들어, 뷰(500)에 도시된 바와 같이, 각각의 디스플레이(110, 112)는 2개의 디스플레이 패널 세그먼트들(즉, 디스플레이 패널 세그먼트(118a 및 118b))을 포함한다. 각각의 디스플레이 패널 세그먼트들(예를 들어, 디스플레이(110, 112)의 디스플레이 패널 세그먼트(118a 및 118b)) 각각은 각각의 눈(132)에 디스플레이하기 위해 제시될 때 오브젝트들이 초점이 맞춰져 보이게 되는 대응 초점 볼륨과 연관된다. 따라서, CPU(136)는 이들 초점 볼륨들이 입체 초점 볼륨(408)에서 오버랩되는 것으로 결정하고, 라이트필드 프레임들은 입체 초점 볼륨(408) 내의 오브젝트들이 사용자의 좌안 및 우안(132) 둘 모두에 초점을 맞추는 것처럼 보이도록 렌더링된다.
또한, 다른 실시예에서, 도 7의 컨텍스트에서와 같이, 예를 들어, 디스플레이 패널 세그먼트들(118a, 118b)을 유지하는 하우징의 디스플레이 경계/외부 프레임으로 인해 디스플레이 패널 세그먼트(118a, 118b) 사이에 갭(702)이 존재한다. 따라서, CPU(136)는 블록(804)의 디스플레이 패널 세그먼트들의 디스플레이 경계/베젤의 포지션을 나타내는 데이터 및 블록(806)의 사용자의 눈의 포즈를 GPU에 제공하고, GPU에 지시하여 사용자의 눈(132)에 의해 인식되는 합성 가상 이미지(704)가 갭(702)의 존재를 검출하지 않도록 요소 이미지가 디스플레이 패널 세그먼트들(118a 및 118b) 사이의 갭(702)을 숨기도록 라이트필드 프레임을 렌더링하게 한다. 즉, 영역(706, 708)에 대응하는 요소 이미지들의 강도(intensities)는 하나 이상의 디스플레이 패널들의 디스플레이 경계에 의한 갭(702)을 보상하고 갭(702)의 인식 방지하도록 조정될 수 있다. 후속적으로, GPU는 블록(810)에서 라이트필드 프레임을 렌더링하고, 사용자의 눈(132)에 디스플레이하기 위해 라이트필드 프레임을 계산 디스플레이(110, 112) 중 대응하는 하나에 제공한다.
도 1 내지 7에 도시된 비평면 계산 디스플레이 구성은 큰 시야를 유지하면서 눈에 더 가까운 "안경" 폼 팩터를 제공할 수 있다는 이점이 있다. 즉, 본 명세서에 기술된 실시예는 (종래의 HMD의 "다이빙 마스크" 폼 팩터에 비해) 더 작고 경량화된 폼 팩터를 허용한다. 사용자의 눈에 대해 상이한 곡률 및/또는 배향을 갖는 디스플레이 패널 섹션의 사용을 통해, HMD 디바이스는 HMD 디바이스의 벌크를 사용자의 머리에 더 가깝게 유지하는 폼 팩터로 제조될 수 있고, 그에 의해 더 넓은 측면 시야와 보다 심미적으로 즐거운 외형을 제공할 뿐만 아니라 관성 모멘트를 감소시킨다. 또한, 상이한 곡률 및 각도를 갖는 섹션들을 가진 비평면 디스플레이의 사용은 하나 이상의 평면 디스플레이 패널을 이용하는 종래의 HMD 디바이스와 비교하여 사용자의 머리에 더 잘 맞는 폼 팩터를 갖는 HMD 디바이스의 구현을 허용하며, 또한 종래의 HMD 디바이스에 비해 시야 전체에서 보다 균일한 색상 및 밝기와 덜 복잡한 디스플레이 및 광학 어셈블리 구성을 제공한다.
일부 실시예에서, 전술한 기법의 일정 양태는 소프트웨어를 실행하는 프로세싱 시스템의 하나 이상의 프로세서에 의해 구현될 수 있다.　 소프트웨어는 비일시적 컴퓨터 판독가능 저장 매체에 저장되거나 그렇지 않으면 유형적으로 수록된 하나 이상의 실행가능한 명령어들의 세트를 포함한다.　 소프트웨어는 하나 이상의 프로세서들에 의해 실행될 때 전술한 기법들 중 하나 이상의 양태를 수행하기 위해 하나 이상의 프로세서를 조작하는 명령어 및 특정 데이터를 포함할 수 있다. 비일시적 컴퓨터 판독가능 저장 매체는, 예를 들어 자기 또는 광 디스크 저장 디바이스, 플래시 메모리와 같은 솔리드 스테이트 저장 디바이스, 캐시, 랜덤 액세스 메모리(RAM) 또는 다른 비휘발성 메모리 디바이스 등을 포함할 수 있다. 비일시적 컴퓨터 판독가능 저장 매체에 저장된 실행가능한 명령어는 소스 코드, 어셈블리 언어 코드, 객체 코드 또는 하나 이상의 프로세서들에 의해 해석되거나 실행가능한 다른 명령어 포맷일 수 있다.
컴퓨터 판독가능 저장 매체는 컴퓨터 시스템에 명령어 및/또는 데이터를 제공하기 위해 사용 중에 컴퓨터 시스템에 의해 액세스가능한 임의의 저장 매체, 또는 저장 매체의 조합을 포함할 수 있다. 이러한 저장 매체는 광학 매체(예를 들어, 콤팩트 디스크(CD), 디지털 다목적 디스크(DVD), 블루레이 디스크), 자기 매체(예를 들어, 플로피 디스크, 자기 테이프 또는 자기 하드 드라이브), 휘발성 메모리(예를 들어, 랜덤 액세스 메모리(RAM) 또는 캐시), 비휘발성 메모리(예를 들어, ROM(read-only memory) 또는 플래시 메모리), 또는 MEMS(microelectromechanical systems) 기반 저장 매체를 포함할 수 있으나, 이에 한정되지 않는다. 컴퓨터 판독가능 저장 매체는 컴퓨팅 시스템에 내장되고(예를 들어, 시스템 RAM 또는 ROM), 컴퓨팅 시스템에 고정적으로 부착되고(예를 들어, 자기 하드 드라이브), 컴퓨팅 시스템에 제거 가능하게 부착되거나(예를 들어, 광 디스크 또는 범용 직렬 버스(USB) 기반 플래시 메모리) 또는 유선 또는 무선 네트워크를 통해 컴퓨터 시스템에 연결될 수 있다(예를 들어, NAS(Network Access Storage)).
일반적 설명에서 상술된 모든 활동 또는 요소가 요구되는 것은 아니며, 특정 활동 또는 디바이스의 일부가 요구되지 않을 수 있으며, 하나 이상의 추가 활동이 수행될 수 있거나 또는 요소가 설명된 것들에 더하여 포함될 수 있다. 또한, 활동들이 나열된 순서는 반드시 그들이 수행되어야 하는 순서가 아니다. 또한, 개념들이 특정 실시예들을 참조하여 설명되었다. 그러나, 통상의 기술자는 아래의 청구 범위에 기재된 본 개시의 범위를 벗어나지 않고 다양한 수정 및 변경이 이루어질 수 있음을 인식한다. 따라서, 명세서 및 도면은 제한적인 의미가 아닌 예시적인 의미로 간주되어야하고, 그러한 모든 수정은 본 개시의 범위 내에 포함되는 것으로 의도된다.
특정 실시예들과 관련하여 이점들, 다른 장점들 및 문제들에 대한 해결책들이 위에서 설명되었다. 그러나, 이점, 장점, 문제에 대한 해결책 및 이점, 장점 또는 해결책이 발생하거나 더 두드러지게 할 수 있는 구성(들)은 임의의 또는 모든 청구항들의 중요, 필수 또는 기본 구성으로서 해석되어서는 안된다. 또한, 개시된 주제는 수정될 수 있고, 다르게 그러나 본 명세서의 교시의 이익을 가지며 통상의 기술자에게 명백한 균등한 방식으로 실행될 수 있으므로, 상기 개시된 특정한 실시예들은 예시적인 것이다. 아래의 청구 범위에 기재된 것 이외의 본 명세서에 도시된 구성 또는 설계의 세부 사항에 대한 제한은 의도되지 않았다. 따라서, 상기 개시된 특정한 실시예는 변경되거나 수정될 수 있으며, 이러한 모든 변형은 개시된 주제의 범위 내에서 고려된다는 것이 명백하다. 따라서, 본 명세서에서 요구되는 보호는 아래의 청구 범위에 기술된 바와 같다.

Claims (20)

  1. 근안 디스플레이(near-eye display) 시스템(100)에서의 방법으로서:
    상기 근안 디스플레이 시스템의 하나 이상의 디스플레이 패널들(110, 112)을 포함하는 비평면 디스플레이(102)에 대한 디스플레이 지오메트리 데이터를 수신하는 단계;
    상기 디스플레이 지오메트리 데이터와 연관된 입체 초점 볼륨(stereoscopic focus volume)(316)에 기초하여, 근안 라이트필드 프레임 내의 포지션에서 요소 이미지들(122)의 어레이(120)를 렌더링하는 단계, 상기 비평면 디스플레이는 초점이 될 입체 초점 볼륨 내에서 오브젝트들을 제시하며; 및
    상기 근안 디스플레이 시스템의 상기 비평면 디스플레이의 상기 하나 이상의 디스플레이 패널들에서 디스플레이하기 위해 상기 근안 라이트필드 프레임과 통신하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 청구항 1에 있어서, 상기 디스플레이 지오메트리 데이터를 수신하는 단계는:
    상기 비평면 디스플레이가 복수의 디스플레이 패널 세그먼트들(118a, 118b)을 포함한다는 것을 표시하는 데이터를 수신하는 것을 포함하는 것을 특징으로 하는 방법.
  3. 청구항 2에 있어서, 상기 입체 초점 볼륨을 결정하는 단계는:
    상기 복수의 디스플레이 패널 세그먼트들 각각에 대한 초점 볼륨을 결정하는 것, 상기 복수의 디스플레이 패널 세그먼트들 각각은 초점이 될 대응하는 초점 볼륨 내에서 오브젝트들을 제시하며; 및
    상기 복수의 디스플레이 패널 세그먼트들 각각에 대한 상기 초점 볼륨 사이의 오버랩에 적어도 부분적으로 기초하여 상기 입체 초점 볼륨을 결정하는 것을 더 포함하는 것을 특징으로 하는 방법.
  4. 임의의 선행하는 청구항에 있어서, 상기 디스플레이 지오메트리 데이터를 수신하는 단계는:
    상기 비평면 디스플레이의 곡률 지오메트리를 표시하는 데이터 수신하는 것을 포함하는 것을 특징으로 하는 방법.
  5. 임의의 선행하는 청구항에 있어서, 상기 디스플레이 지오메트리 데이터를 수신하는 단계는:
    상기 하나 이상의 디스플레이 패널들의 디스플레이 경계들의 포지션을 표현하는 디스플레이 경계 데이터의 세트를 표시하는 데이터를 수신하는 것을 포함하는 것을 특징으로 하는 방법.
  6. 청구항 5에 있어서,
    근안 디스플레이 시스템의 눈 추적 컴포넌트(108)를 사용하여, 사용자의 눈의 포즈를 결정하는 단계; 및
    상기 사용자의 눈의 포즈 및 상기 디스플레이 경계 데이터의 세트에 기초하여, 상기 사용자의 눈에 의한 상기 하나 이상의 디스플레이 패널들의 상기 디스플레이 경계들의 인식을 방지하기 위해 상기 요소 이미지들의 어레이의 렌더링을 수정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 청구항 6에 있어서, 상기 사용자의 눈의 포즈를 결정하는 단계는:
    상기 비평면 디스플레이와 상기 사용자의 눈 사이에 배치된 이미징 카메라를 사용하여 상기 사용자의 눈의 이미지를 캡처하는 것을 포함하는 것을 특징으로 하는 방법.
  8. 청구항 1 내지 7 중 어느 한 항에 있어서,
    상기 요소 이미지들의 어레이의 디스플레이 포지션을 시프팅함으로써 상기 입체 초점 볼륨 볼륨 내에서 가상 평면(402)의 포지션을 회전하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 청구항 1 내지 7 중 어느 한 항에 있어서,
    2 이상의 디스플레이 패널들 사이의 접힘 각도를 변경함으로써, 상기 입체 초점 볼륨 볼륨 내에서 가상 평면(402)의 포지션을 회전하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  10. 근안 디스플레이(near-eye display) 시스템(100)으로서:
    요소 이미지들(122)의 어레이를 포함하는 근안 라이트필드 프레임을 디스플레이하기 위한 하나 이상의 디스플레이 패널들(110, 112)을 포함하는 비평면 디스플레이(102);
    상기 비평면 디스플레이의 디스플레이 지오메트리 데이터의 세트와 연관된 입체 초점 볼륨(316)에 기초하여, 상기 입체 초점 볼륨 내의 오브젝트들이 상기 사용자의 눈에 의해 초점이 되게 인식하도록 상기 근안 라이트필드 프레임에서 상기 요소 이미지들의 어레이를 렌더링하기 위한 렌더링 컴포넌트(104); 및
    상기 근안 라이트필드 프레임을 사용자의 눈에 제시하기 위한 렌즈릿 어레이를 포함하는 것을 특징으로 하는 근안 디스플레이 시스템.
  11. 청구항 10에 있어서, 상기 입체 초점 볼륨을 결정하기 위한 프로세서를 더 포함하며, 상기 결정하는 것은:
    상기 비평면 디스플레이가 복수의 디스플레이 패널 세그먼트들을 포함한다는 것을 표시하는 데이터를 수신하는 것;
    상기 복수의 디스플레이 패널 세그먼트들 각각에 대한 초점 볼륨을 결정하는 것, 상기 복수의 디스플레이 패널 세그먼트들 각각은 초점이 될 대응하는 초점 볼륨 내에서 오브젝트들을 제시하며; 및
    상기 복수의 디스플레이 패널 세그먼트들 각각에 대한 상기 초점 볼륨 사이의 오버랩에 적어도 부분적으로 기초하여 상기 입체 초점 볼륨을 결정하는 것을 포함하는 것을 특징으로 하는 근안 디스플레이 시스템.
  12. 청구항 10에 있어서, 상기 입체 초점 볼륨을 결정하기 위한 프로세서를 더 포함하며, 상기 결정하는 것은:
    상기 하나 이상의 디스플레이 패널들의 디스플레이 경계들의 포지션을 표현하는 디스플레이 경계 데이터의 세트를 표시하는 데이터를 수신하는 것;
    근안 디스플레이 시스템의 눈 추적 컴포넌트를 사용하여, 사용자의 눈의 포즈를 결정하는 단계; 및
    상기 사용자의 눈의 포즈 및 상기 디스플레이 경계 데이터의 세트에 기초하여, 상기 사용자의 눈에 의한 상기 하나 이상의 디스플레이 패널들의 상기 디스플레이 경계들의 인식을 방지하기 위해 상기 요소 이미지들의 어레이의 렌더링을 수정하는 것을 포함하는 것을 특징으로 하는 근안 디스플레이 시스템.
  13. 청구항 10 또는 11에 있어서,
    상기 사용자 눈의 포즈를 추적하기 위한 눈 추적 컴포넌트를 더 포함하며, 상기 눈 추적 컴포넌트는 상기 사용자의 눈에 빛을 투사하기 위한 하나 이상의 적외선(IR) 조명기들의 세트 및 상기 렌즈릿 어레이(124)와 상기 비평면 디스플레이 사이에 배치되고 상기 렌즈릿 어레이를 통해 상기 사용자의 눈을 향해 배향된 이미징 카메라를 포함하는 것을 특징으로 하는 근안 디스플레이 시스템.
  14. 청구항 10에 있어서, 상기 비평면 디스플레이는:
    상이한 곡률의 정도를 갖는 상이한 측면 부분들을 포함하는 단일 연속 디스플레이 패널을 포함하는 것을 특징으로 하는 근안 디스플레이 시스템.
  15. 청구항 10에 있어서, 상기 비평면 디스플레이는:
    상호 비평면 배향으로 포지셔닝된 복수의 플랫 패널 디스플레이들을 포함하는 것을 특징으로 하는 근안 디스플레이 시스템.
  16. 렌더링 시스템으로서,
    적어도 하나의 프로세서(136, 138, 140);
    상기 근안 디스플레이 시스템(100)의 하나 이상의 디스플레이 패널들(110, 112)을 포함하는 비평면 디스플레이(102)에 대한 디스플레이 지오메트리 데이터의 세트를 표시하는 데이터를 수신하기 위한 입력; 및
    실행가능한 명령어들(144, 146)의 세트를 저장하기 위한 저장 컴포넌트(142)를 포함하며, 상기 실행가능한 명령어들의 세트는 상기 디스플레이 지오메트리 데이터의 세트와 연관된 입체 초점 볼륨(316)에 기초하여, 근안 라이트필드 프레임 내의 포지션에서 요소 이미지들(122)의 어레이(120)를 렌더링하기 위해 상기 적어도 하나의 프로세서를 조작하도록 구성되며, 상기 비평면 디스플레이는 초점이 될 상기 입체 초점 볼륨 내에서 오브젝트들을 제시하는 것을 특징으로 하는 렌더링 시스템.
  17. 청구항 16에 있어서, 상기 실행가능한 명령어들의 세트는 상기 입체 초점 볼륨을 결정하도록 더 구성되며, 상기 결정하는 것은:
    상기 하나 이상의 디스플레이 패널들의 디스플레이 경계들의 포지션을 표현하는 디스플레이 경계 데이터의 세트를 표시하는 데이터를 수신하는 것;
    근안 디스플레이 시스템의 눈 추적 컴포넌트(108)를 사용하여, 사용자의 눈의 포즈를 결정하는 단계; 및
    상기 사용자의 눈의 포즈 및 상기 디스플레이 경계 데이터의 세트에 기초하여, 상기 사용자의 눈에 의한 상기 하나 이상의 디스플레이 패널들의 상기 디스플레이 경계들의 인식을 방지하기 위해 상기 요소 이미지들의 어레이의 렌더링을 수정하는 것을 포함하는 것을 특징으로 하는 렌더링 시스템.
  18. 청구항 16 또는 17에 있어서, 상기 디스플레이 지오메트리 데이터의 세트는 상기 비평면 디스플레이가 복수의 디스플레이 패널 세그먼트들(118a, 118b)을 포함한다고 표시하는 데이터를 포함하는 것을 특징으로 하는 렌더링 시스템.
  19. 청구항 18에 있어서, 상기 실행가능한 명령어들의 세트는 상기 입체 초점 볼륨을 결정하도록 더 구성되며, 상기 결정하는 것은:
    상기 복수의 디스플레이 패널 세그먼트들 각각에 대한 초점 볼륨을 결정하는 것, 상기 복수의 디스플레이 패널 세그먼트들 각각은 초점이 될 대응하는 초점 볼륨 내에서 오브젝트들을 제시하며; 및
    상기 복수의 디스플레이 패널 세그먼트들 각각에 대한 상기 초점 볼륨 사이의 오버랩에 적어도 부분적으로 기초하여 상기 입체 초점 볼륨을 결정하는 것을 포함하는 것을 특징으로 하는 렌더링 시스템.
  20. 청구항 16 내지 19 중 어느 한 항에 있어서, 상기 실행가능한 명령어들의 세트는 상기 요소 이미지들의 어레이를 렌더링하도록 더 구성되며, 상기 렌더링하는 것은:
    상기 요소 이미지들의 어레이의 디스플레이 포지션을 시프팅함으로써 상기 입체 초점 볼륨 볼륨 내에서 가상 평면(402)의 포지션을 회전하는 것을 포함하는 것을 특징으로 하는 렌더링 시스템.
KR1020197035909A 2017-07-13 2018-05-15 비평면 계산 디스플레이 KR102303809B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762532123P 2017-07-13 2017-07-13
US62/532,123 2017-07-13
US15/952,508 US10659771B2 (en) 2017-07-13 2018-04-13 Non-planar computational displays
US15/952,508 2018-04-13
PCT/US2018/032675 WO2019013865A1 (en) 2017-07-13 2018-05-15 NONPLANS COMPUTER DISPLAYS

Publications (2)

Publication Number Publication Date
KR20200003890A true KR20200003890A (ko) 2020-01-10
KR102303809B1 KR102303809B1 (ko) 2021-09-23

Family

ID=64999363

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197035909A KR102303809B1 (ko) 2017-07-13 2018-05-15 비평면 계산 디스플레이

Country Status (6)

Country Link
US (1) US10659771B2 (ko)
EP (1) EP3526967B1 (ko)
JP (1) JP7005658B2 (ko)
KR (1) KR102303809B1 (ko)
CN (1) CN110583016B (ko)
WO (1) WO2019013865A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018144890A1 (en) * 2017-02-03 2018-08-09 Warner Bros. Entertainment, Inc. Rendering extended video in virtual reality
EP3729802A4 (en) * 2017-12-22 2021-09-08 Mirage 3.4D Pty Ltd SYSTEM AND PROCEDURE FOR CAMERA PROJECTION TECHNOLOGY
CN111175990B (zh) * 2020-02-19 2022-07-15 京东方科技集团股份有限公司 光场显示系统
CN111427166B (zh) * 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
CN111381377B (zh) * 2020-04-24 2023-12-08 深圳珑璟光电科技有限公司 一种近眼显示设备
US11493772B1 (en) 2020-07-22 2022-11-08 Meta Platforms Technologies, Llc Peripheral light field display
CN112206517B (zh) * 2020-10-22 2024-03-12 网易（杭州）网络有限公司 一种渲染方法、装置、存储介质及计算机设备
US11467320B2 (en) * 2020-12-24 2022-10-11 Microsoft Technology Licensing, Llc Head mounted display device having dynamically addressable shutter array
US11740473B2 (en) 2021-06-24 2023-08-29 Meta Platforms Technologies, Llc Flexible displays for VR/AR headsets
EP4359854A1 (en) * 2021-06-24 2024-05-01 Meta Platforms Technologies, Llc Free-form light field displays for vr/ar headsets
CN114296234A (zh) * 2021-12-10 2022-04-08 华为技术有限公司 近眼显示装置及头戴设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781165A (en) * 1993-05-14 1998-07-14 Olympus Optical Co., Ltd. Image display apparatus of head mounted type
US20150049390A1 (en) * 2013-08-14 2015-02-19 Nvidia Corporation Hybrid optics for near-eye displays

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3877080B2 (ja) * 1996-05-24 2007-02-07 オリンパス株式会社 立体視ディスプレイ装置
KR100809479B1 (ko) * 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
JP2012244453A (ja) * 2011-05-20 2012-12-10 Panasonic Corp 画像表示装置、画像表示システム、及び３次元眼鏡
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
JP6294780B2 (ja) * 2014-07-17 2018-03-14 株式会社ソニー・インタラクティブエンタテインメント 立体画像提示装置、立体画像提示方法、およびヘッドマウントディスプレイ
FR3028326B1 (fr) * 2014-11-07 2018-08-17 Thales Systeme de visualisation de tete comportant un systeme oculometrique et des moyens d'adaptation des images emises
JP2016218366A (ja) * 2015-05-25 2016-12-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、出力制御装置、情報処理システム、および動画データ出力方法
JP2017028446A (ja) * 2015-07-21 2017-02-02 株式会社ソニー・インタラクティブエンタテインメント 画像提示装置、光学透過型ヘッドマウントディスプレイ、および画像提示方法
US10757399B2 (en) * 2015-09-10 2020-08-25 Google Llc Stereo rendering system
US11609427B2 (en) * 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
US10247858B2 (en) * 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
US20170115489A1 (en) * 2015-10-26 2017-04-27 Xinda Hu Head mounted display device with multiple segment display and optics

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781165A (en) * 1993-05-14 1998-07-14 Olympus Optical Co., Ltd. Image display apparatus of head mounted type
US20150049390A1 (en) * 2013-08-14 2015-02-19 Nvidia Corporation Hybrid optics for near-eye displays

Also Published As

Publication number Publication date
WO2019013865A1 (en) 2019-01-17
CN110583016A (zh) 2019-12-17
EP3526967A1 (en) 2019-08-21
KR102303809B1 (ko) 2021-09-23
JP2020527872A (ja) 2020-09-10
US20190020869A1 (en) 2019-01-17
EP3526967B1 (en) 2020-09-23
US10659771B2 (en) 2020-05-19
JP7005658B2 (ja) 2022-01-21
CN110583016B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
KR102303809B1 (ko) 비평면 계산 디스플레이
TWI681663B (zh) 具有經由眼睛追蹤之延伸有效眼動範圍之近眼顯示器
JP6860488B2 (ja) 複合現実システム
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
US11435576B2 (en) Near-eye display with extended accommodation range adjustment
US20160210784A1 (en) Augmented reality field of view object follower
US20150187115A1 (en) Dynamically adjustable 3d goggles
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
KR20130139280A (ko) 증강 현실 디스플레이를 위한 자동 가변 가상 초점
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
US20210037225A1 (en) Method of modifying an image on a computational device
US20200049994A1 (en) Tilted focal plane for near-eye display system
EP3566093A1 (en) Near-eye display with extended accommodation range adjustment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant