KR102516095B1 - 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리 - Google Patents

머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리 Download PDF

Info

Publication number
KR102516095B1
KR102516095B1 KR1020197017215A KR20197017215A KR102516095B1 KR 102516095 B1 KR102516095 B1 KR 102516095B1 KR 1020197017215 A KR1020197017215 A KR 1020197017215A KR 20197017215 A KR20197017215 A KR 20197017215A KR 102516095 B1 KR102516095 B1 KR 102516095B1
Authority
KR
South Korea
Prior art keywords
display
user
display device
zone
peripheral
Prior art date
Application number
KR1020197017215A
Other languages
English (en)
Other versions
KR20190082916A (ko
Inventor
사무엘 에이. 밀러
윌리엄 허드슨 웰치
라이오넬 어네스트 에드윈
이반 리 추엔 예오
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Priority to KR1020237010311A priority Critical patent/KR102563846B1/ko
Publication of KR20190082916A publication Critical patent/KR20190082916A/ko
Application granted granted Critical
Publication of KR102516095B1 publication Critical patent/KR102516095B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0189—Sight systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/10—Projectors with built-in or built-on screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

본 개시내용은, 사용자의 시야의 대부분 또는 전부에 콘텐츠를 디스플레이하도록 구성된 디스플레이 어셈블리를 갖는 머리-장착 디스플레이를 설명한다. 디스플레이 어셈블리는 사용자가 포커싱할 수 있는 콘텐츠와 상이하게, 사용자의 시야의 먼-주변 구역들의 콘텐츠를 디스플레이하도록 구성될 수 있다. 예컨대, 공간 해상도, 컬러 해상도, 리프레시 레이트 및 세기(즉, 밝기)는 자원들을 절감하고 그리고/또는 먼-주변 구역 내에 포지셔닝되는 가상 콘텐츠에 주의를 기울이도록 조정될 수 있다. 일부 실시예들에서, 이러한 변화들은 사용자의 전반적인 경험을 손상시키지 않으면서 프로세싱 자원들을 절감할 수 있다.

Description

머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리
[0001] 본 출원은, 2016년 11월 16일에 출원되고 발명의 명칭이 "Multi-Resolution Display Assembly for Head-Mounted Display Systems"인 미국 가특허 출원 번호 제62/423,162호, 2017년 3월 22일에 출원되고 발명의 명칭이 "High Resolution High Field of View Display"인 미국 가특허 출원 번호 제62/475,012호, 및 2017년 8월 1일 출원되고 발명의 명칭이 "High Resolution High Field of View Display"인 미국 가특허 출원 번호 제62/539,934호를 우선권으로 주장한다.
[0002] 가상 및 증강 현실 시스템들은 일반적으로 사용자의 눈들에 광을 프로젝팅하는 디스플레이들을 포함한다. 불행하게도, 이들 시스템들은 이용 가능한 디스플레이 기술들의 출력-각도 제한들로 인해 사용자의 시야의 바깥 주변부(outer periphery)를 따라 또는 사용자의 시야의 작은 중심 부분을 넘어 콘텐츠를 프로젝팅하도록 설계되지 않는다. 이는, 보통은 콘텐츠가 사용자의 시야의 바깥 주변부로 완전히 확장되는 각도들로부터 전달될 때 가능했을 이러한 시스템들의 사용자가 느끼는 몰입도를 감소시킬 수 있다. 이러한 이유들로, 사용자의 시야의 바깥 주변부를 자극하기 위한 메커니즘들이 바람직하다.
[0003] 본 개시내용은 몰입형 가상, 증강 및 혼합 현실 콘텐츠를 사용자에게 제시하도록 구성된 웨어러블 디바이스를 설명한다. 일 실시예에서, 사용자의 시야의 대부분 또는 전부에 콘텐츠를 디스플레이하도록 구성된 랩어라운드(wraparound) 디스플레이 어셈블리를 갖는 머리-장착 디스플레이가 제공된다. 디스플레이 어셈블리는 사용자가 포커싱할 수 있는 콘텐츠와 상이하게, 사용자의 시야의 먼-주변 구역들의 콘텐츠를 디스플레이하도록 구성될 수 있다. 예컨대, 공간 또는 각 해상도, 컬러 해상도, 리프레시 레이트 및 세기(즉, 밝기)는, 자원들을 절감하고 그리고/또는 먼-주변 구역 내에 포지셔닝되는 가상 콘텐츠에 주의를 기울이도록 조정될 수 있다. 일부 실시예들에서, 이러한 변화들은 사용자의 전반적인 경험을 손상시키지 않으면서 프로세싱 자원들을 절감할 수 있다.
[0004] 본 개시내용은 머리-장착 디스플레이 어셈블리를 설명하며, 이 머리-장착 디스플레이 어셈블리는, 제1 디스플레이; 제1 디스플레이를 적어도 부분적으로 둘러싸는 제2 디스플레이; 및 제1 및 제2 디스플레이들을 사용자의 머리에 커플링하도록 구성된 부착 부재를 포함한다. 제2 디스플레이는 제1 디스플레이보다 큰 곡률을 갖는다.
[0005] 웨어러블 디스플레이 디바이스가 개시되며, 이 웨어러블 디스플레이 디바이스는, 사용자의 머리에 디스플레이 디바이스를 고정하도록 구성된 부착 부재를 포함하는 프레임; 및 프레임에 커플링된 디스플레이 어셈블리를 포함하고, 디스플레이 어셈블리는, 메인 디스플레이, 및 메인 디스플레이의 주변부를 따라 배열된 주변 디스플레이를 포함한다.
[0006] 머리-장착 디스플레이 디바이스의 디스플레이가 개시된다. 디스플레이는 즉, 제1 해상도를 갖는 제1 구역; 제1 구역을 적어도 부분적으로 둘러싸고 제1 해상도보다 실질적으로 낮은 제2 해상도를 갖는 제2 구역; 및 제1 구역과 제2 구역 사이에 있는 트랜지션 구역(transition region)을 포함하고, 트랜지션 구역은 제2 구역에 인접한 트랜지션 구역의 측보다 제1 구역에 인접한 트랜지션 구역의 측 상에서 더 낮은 가변 해상도를 갖는다.
[0007] 종래 기술들에 비해 본 발명에 의해 다수의 이익들이 달성된다. 예컨대, 본 발명의 실시예들은 사용자의 시야의 먼-주변 구역들을 타겟팅하지 않는 머리-장착 디스플레이들 보다 우수한 몰입형 경험을 제공한다. 또한, 인간 눈은 사용자의 시야의 주변 구역들에서 고해상도 공간 및 컬러 이미저리를 거의 구분할 수 없기 때문에, 더 저렴한 주변 디스플레이가 먼-주변 구역들을 커버하는 데 사용될 수 있다. 이러한 이유로, 본 발명은 머리-장착 디스플레이의 전반적인 비용을 실질적으로 부가하지 않으면서 보다 몰입형 경험을 허용한다.
[0008] 또한, 기본적으로 단순히 장애물들로 작용할 수 있는 웨어러블 프레임 부분들은 이제 광 디스플레이 및 변조를 위한 표면들이 될 수 있다. 이러한 이전의 방해 구조들은 미적으로 만족스럽거나 상호작용식으로 만들어질 수 있다. 이러한 이전의 방해 구조들은 또한, 디스플레이되는 콘텐츠를 구조/웨어러블 뒤에 있는 장면과 매칭시킴으로써 뷰어에게 "보이지 않게" 될 수 있다.
[0009] 본 발명의 이들 및 다른 실시예들은 다수의 본 발명의 이점들 및 특징들과 함께, 아래의 텍스트 및 첨부된 도면들과 함께 보다 상세하게 설명된다.
[0010] 본 개시내용은 유사한 참조 번호들이 유사한 구조적 엘리먼트들을 지정하는 첨부 도면들과 함께 다음의 상세한 설명에 의해 쉽게 이해될 것이다.
[0011] 도 1a 내지 도 1c는 일부 실시예들에 따른 다수의 상이한 웨어러블 디스플레이 실시예들을 도시한다.
[0012] 도 1d 내지 도 1e는 메인 디스플레이들이 주변 디스플레이(peripheral display)의 외부-대면 또는 내부-대면 표면 상에 어떻게 포지셔닝될 수 있는지를 도시한다.
[0013] 도 1f는 주변 디스플레이가 하나 이상의 메인 디스플레이들의 도파관들 사이에서 어떻게 연장될 수 있는지를 도시한다.
[0014] 도 1g는 주변 디스플레이가 2개의 메인 디스플레이들을 어떻게 둘러쌀 수 있는지를 도시한다.
[0015] 도 1h 내지 도 1m은 다양한 메인 및 주변 디스플레이 어레인지먼트들을 도시한다.
[0016] 도 2a는 인간의 눈에 대한 예시적인 단안의 시야를 도시한다.
[0017] 도 2b는 일부 실시예들에 따라 사용자의 시야를 커버하기에 적합한 영역에 걸쳐 가상 콘텐츠를 제공하도록 구성된 예시적인 웨어러블 디스플레이 디바이스를 도시한다.
[0018] 도 2c는 도 2b에 도시된 메인 디스플레이들 중 하나 상에 오버레이되는 시야 및 주시 필드(field of regard)를 도시한다.
[0019] 도 2d는 가상 콘텐츠를 사용자에게 제공하도록 구성된 증강 현실 시스템의 예시적인 실시예를 도시한다.
[0020] 도 2e는 본 발명의 일 실시예에 따라 뷰어에게 디지털 또는 가상 이미지를 제시하는 데 사용될 수 있는 예시적인 VOA(viewing optics assembly)의 광 경로들을 개략적으로 예시한다.
[0021] 도 3a는 일부 실시예들에 따라 주변 디스플레이가 사용자의 얼굴의 윤곽들에 어떻게 부합할 수 있는지를 도시한다.
[0022] 도 3b는 일부 실시예들에 따라 도 3a에 도시된 주변 및 메인 디스플레이들의 곡률의 반경을 비교한다.
[0023] 도 3c 내지 도 3d는 일부 실시예들에 따라 웨어러블 디바이스 내에 통합된 다양한 메인 및 주변 디스플레이들의 평면도들을 도시한다.
[0024] 도 3e는 일부 실시예들에 따른 웨어러블 또는 머리-장착 디스플레이 디바이스의 내부-대면 표면을 도시한다.
[0025] 도 3f는 일부 실시예들에 따라 주변 디스플레이가, 경로를 따라 이동하는 가상 콘텐츠를 어떻게 표현하는지를 설명하는 흐름도를 도시한다.
[0026] 도 4a는 일부 실시예들에 따라, 주변 디스플레이가 없는 예시적인 웨어러블 디스플레이 디바이스의 사시도를 도시한다.
[0027] 도 4b는 일부 실시예들에 따라 주변 디스플레이가 도 4a에 도시된 웨어러블 디스플레이 디바이스와 어떻게 통합될 수 있는지를 도시한다.
[0028] 도 5a는 일부 실시예들에 따라 브릿지에 의해 결합된 2개의 다구역 디스플레이들을 포함하는 웨어러블 디스플레이 디바이스를 도시한다.
[0029] 도 5b는 일부 실시예들에 따라 다수의 디스플레이 구역들을 갖는 디스플레이들을 갖는 웨어러블 디스플레이 디바이스를 도시한다.
[0030] 도 5c는 일부 실시예들에 따라 도 5a 및 도 5b에 도시된 디스플레이들과 유사한 다해상도 디스플레이(570)를 도시한다.
[0031] 도 6 및 도 7은 특정 디스플레이 기술과 연관된 디스플레이 컴포넌트들을 도시한다.
[0032] 도 8a 내지 도 8c는 본 발명의 일부 다른 실시예들에 따른 디스플레이 시스템을 개략적으로 예시한다.
[0033] 본 출원에 따른 방법들 및 장치의 대표적인 애플리케이션들이 이 섹션에서 설명된다. 이들 예들은 단지 설명된 실시예들의 이해를 돕고 맥락을 추가하기 위해 제공된다. 따라서, 설명된 실시예들은 이들 특정한 세부사항들 중 일부 또는 전부 없이도 실시될 수 있다는 것이 당업자에게 명백할 것이다. 다른 경우들에서, 잘 알려진 프로세스 단계들은 설명된 실시예들을 불필요하게 모호하게 하는 것을 피하기 위해 상세히 설명되지 않았다. 다른 애플리케이션들이 가능하여서, 다음의 예들은 제한하는 것으로 받아 들여지지 않아야 한다.
[0034] 머리-장착 디스플레이 디바이스 또는 웨어러블 디스플레이 디바이스는 가상 콘텐츠를 사용자의 눈들에 직접 프로젝팅함으로써 몰입형 사용자 경험을 제공하도록 구성될 수 있다. 불행하게도, 이러한 유형들의 디바이스들과 연관된 디스플레이들은 일반적으로 사용자의 전체 시야를 커버하도록 확장되지 않는다. 사용자가 객체들에 포커싱하는 능력은 약 30 내지 50도의 오프-축(off-axis) 사이로 제한되지만, 대부분의 사용자의 눈들은 일부 방향들에서 100도를 지난 오프-축의 콘텐츠 및 특히 빠른 움직임을 검출할 수 있다. 이러한 이유로, 진정한 몰입형 경험을 생성하기 위해, 디스플레이가 사용자의 비전의 바깥 주변부를 커버하도록 설계될 필요가 있다.
[0035] 이 문제점에 대한 하나의 해결책은 사용자의 주시 필드 외부에 있는 사용자의 시야의 주변 구역에 콘텐츠를 디스플레이하기 위한 주변 디스플레이를 통합하는 것이다. 주시 필드는 사용자가 직접 포커싱할 수 있는 사용자의 시야의 부분으로 구성된다. 주변 디스플레이는 사용자의 주시 필드 외부의 콘텐츠를 보여주기 때문에, 자연스럽게(seamlessly) 콘텐츠를 혼합하거나 주변 디스플레이로부터 메인 디스플레이로 트랜지션할 필요성이 최소화된다. 또한, 사용자의 시력이 주변 구역에서 실질적으로 감소되기 때문에, 주변 디스플레이는 전력 및/또는 프로세싱 전력을 절감하는 감소된 예민성(acuity) 모드에서 동작될 수 있다. 예컨대, 주변 디스플레이는 더 낮은 공간 또는 각 해상도, 더 낮은 컬러 해상도, 상이한 세기 및/또는 더 낮은 리프레시(refresh) 레이트로 콘텐츠를 디스플레이할 수 있다. 일부 실시예들에서, 디스플레이의 부분들은 예컨대, 감소된 픽셀 밀도들로 인해 높은 공간, 각 및/또는 컬러 해상도 이미저리를 디스플레이할 수 없을 수 있다. 웨어러블 디바이스가 더 낮은 전력 레벨들에서 동작할 수 있도록 하는 것 외에도, 이들 더 낮은 예민성 디스플레이 모드들은, 주변 디스플레이가 높은 리프레시 레이트들에서 고해상도 이미저리를 생성하는 능력을 가질 필요가 없기 때문에, 주변 디스플레이와 연관된 하드웨어가 비용들이 실질적으로 더 낮아지게 할 수 한다. 일부 실시예들에서, 주변 디스플레이는 투명 OLED(organic light emitting diode) 디스플레이의 형태를 취할 수 있다. 투명 OLED는 투명한 가요성 기판에 걸쳐 분포된 픽셀들의 어레이를 포함할 수 있다. 일부 실시예들에서, 기판은 중합체들의 혼합으로 형성될 수 있다. 다른 실시예들에서, 주변 디스플레이는 또한 웨어러블 디스플레이 디바이스의 내부 및/또는 외부 표면 상에 콘텐츠를 프로젝팅하는 피코-프로젝터(pico-projector)의 형태를 취할 수 있다.
[0036] 다른 솔루션은 사용자의 전체 시야를 커버하는 커스터마이징된 디스플레이를 사용하는 것을 수반한다. 커스터마이징된 디스플레이는 디스플레이의 주변부로 갈수록 감소하는 공간 및 컬러 해상도들로 콘텐츠를 디스플레이하도록 설계될 수 있다. 일부 실시예들에서, 해상도는 디스플레이의 주변부로 갈수록 점진적으로 하락할 수 있다. 일부 실시예들에서, 해상도 변화는 사용자의 눈들의 현재 위치에 기초할 수 있다. 예컨대, 눈-추적 센서가, 사용자의 눈들이 디스플레이의 한 측에 포커싱된 것으로 결정하는 경우, 디스플레이의 대향하는 측은 비례적으로(commensurately) 더 낮은 해상도를 디스플레이하도록 구성될 수 있다.
[0037] 이들 및 다른 실시예들이 도 1a 내지 도 8c를 참조하여 아래에서 논의되지만; 당업자들은 이들 도면과 관련하여 본원에서 주어진 상세한 설명이 단지 설명 목적들을 위한 것이며, 제한적인 것으로 해석되어서는 안 된다는 것을 쉽게 인지할 것이다.
[0038] 도 1a는 고해상도 메인 디스플레이들(102) 및 메인 디스플레이들(102)을 둘러싸는 저해상도 주변 디스플레이(104)를 포함하는 웨어러블 디스플레이 디바이스(100)를 도시한다. 일부 실시예들에서, 주변 디스플레이(104)는 템플 아암(temple arm)들(106)의 내부-대면 표면에 부합하도록 배열될 수 있다. 메인 디스플레이들(102)의 크기는 웨어러블 디스플레이 디바이스(100)를 착용하는 사용자에 대한 평균 주시 필드와 일치하도록 조정될 수 있다는 것이 주의되어야 한다. 템플 아암들(106)과 함께 구부러지고 휘어질 수 있는 가요성 기판 재료를 포함하는 주변 디스플레이(104)를 위한 디스플레이 기술을 선택하는 것은 주변 디스플레이(104)가 템플 아암들(106)의 내부 대면 표면의 적어도 일부와 부합할 수 있게 할 수 있다. 일부 실시예들에서, 가요성 기판 재료는 템플 아암들(106)이 보관을 위해 디스플레이들에 대해 접히는 것을 수용할 정도로 충분히 가요성일 수 있다.
[0039] 도 1b는 웨어러블 디스플레이 디바이스(110)를 동작시키는 사용자의 양 눈들에 대한 주시 필드를 커버하는 단일 메인 디스플레이(112)를 갖는 웨어러블 디스플레이 디바이스(110)를 도시한다. 일부 실시예들에서, 메인 디스플레이(112)는 주변 디스플레이(114)와 상이한 디스플레이 기술을 활용할 수 있다. 예컨대, 메인 디스플레이(112)는 광 필드들을 사용자의 망막으로 프로젝팅하도록 구성된 하나 이상의 도파관들을 포함할 수 있는 광 필드 디스플레이 디바이스의 형태를 취할 수 있다. 광 필드 디스플레이의 출력은 콘텐츠의 각 표현이며, 변동 각 해상도들을 프로젝팅하도록 구성될 수 있다. 미국 특허 출원 일련 번호 제14/707,000호, 제14/555,585호 및/또는 제15/182,511호는 모두 메인 디스플레이로서 사용할 수 있는 광 필드 디스플레이 디바이스들의 상세한 예들을 제공한다. 주변 디스플레이(114)는, 콘텐츠가 디스플레이되는 "스크린"(예컨대, LCD, OLED, 프로젝터 + 프로젝션 스크린, CRT 등)을 포함할 수 있는 스크린-기반 디스플레이 디바이스의 형태를 취할 수 있다. 이러한 유형의 디바이스의 출력은 스크린 상에 제시된 바와 같은 콘텐츠의 공간 표현이다. 메인 디스플레이(112) 및 주변 디스플레이(114)는 템플들(116)에 의해 사용자의 귀들에 커플링될 수 있다.
[0040] 일부 실시예들에서, 메인 디스플레이(들) 및 주변 디스플레이(들) 둘 모두는 투명할 수 있어, 디지털 콘텐츠가 활성으로 디스플레이되지 않는 영역들에서 외부 세계가 보여질 수 있게 한다. 도 1c는 2개의 별개의 메인 디스플레이들(122) 및 2개의 별개의 주변 디스플레이들(124)을 갖는 웨어러블 디스플레이 디바이스(120)를 도시한다. 메인 디스플레이들(122)은 사용자의 눈들의 주시 필드를 협력하여 커버하도록 구성될 수 있는 반면, 주변 디스플레이들(124)은 메인 디스플레이들(122)에 의해 커버되지 않는 시야의 임의의 부분을 협력하여 커버할 수 있다. 템플들(126)은 사용자의 귀들과 맞물리기에(engaging) 적합한 부착 부재들을 표현하고 브릿지(128)는 2개의 별개의 메인 디스플레이들(122)을 함께 결합한다.
[0041] 도 1d 내지 도 1e는 웨어러블 디스플레이 디바이스(130)의 다양한 구성들의 단면도들을 도시한다. 도 1d는 웨어러블 디스플레이 디바이스(130)의 전방 부분이 어떻게 주변 디스플레이 디바이스(132)의 형태를 취할 수 있는지를 도시한다. 이러한 방식으로, 주변 디스플레이 디바이스(132)는 메인 디스플레이들(134 및 136)에 대한 보호 커버로서 작용할 수 있다. 상이한 파장들의 광을 사용자에게 지향시키기 위한 상이한 도파관들을 표현하는 다수의 상이한 층들을 포함하는 메인 디스플레이들(134 및 136)이 도시된다. 일부 실시예들에서, 메인 디스플레이들(134 및 136)은 주변 디스플레이(132)의 표면에 접착되거나 다른 방식으로 부착될 수 있다. 예컨대, 주변 디스플레이(132)의 이러한 표면은 주변 디스플레이 기능성을 제공하기 위해, 메인 디스플레이(134) 및 메인 디스플레이(136)의 둘레를 넘어 연장되는 연속적인 재료 시트 또는 부품일 수 있다. 주변 디스플레이(132) 및 메인 디스플레이들(134 및 136)은 투명할 수 있어서, 사용자가 주변 디스플레이들(132) 및 메인 디스플레이들(134 및 136)에 의해 생성된 임의의 가상 콘텐츠 외에도, 외부 세계를 지각할 수 있게 된다. 일부 실시예들에서, 메인 디스플레이들(134 및 136)과 중첩되는 주변 디스플레이 디바이스(132)의 부분들은 콘텐츠를 디스플레이하지 않도록 구성될 수 있어서, 디스플레이들이 동일한 콘텐츠를 디스플레이하는 것을 방지하게 된다. 일부 실시예들에서, 주변 디스플레이(132)는 시작 시에 콘텐츠를 디스플레이하도록 구성될 수 있는 반면, 메인 디스플레이들(134 및 136)은 워밍업 사이클들을 거친다. 메인 디스플레이들(134 및 136)의 초기화에 이어, 메인 디스플레이들(134 및 136)과 중첩되는 주변 디스플레이(132)의 부분들은 디스에이블(disable)될 수 있다. 일부 실시예들에서, 주변 디스플레이(132)는, 상호작용식 또는 고해상도 콘텐츠가 활성으로 디스플레이되지 않을 때, 메인 디스플레이들(134 및 136)을 대신할 수 있다. 예컨대, 사용자가, 디스플레이된 콘텐츠가 텍스트 또는 간단한 메뉴 구조들로 제한되는 구성 메뉴에 진입하는 경우, 메인 디스플레이들(134, 136)과 중첩되는 주변 디스플레이(132)의 하나 이상의 부분들이 메인 디스플레이들(134, 136) 대신 실행될 수 있게 하는 것은, 메인 디스플레이들(134 및 136)이 더 전력-소비적이고 그리고/또는 주변 디스플레이(132) 보다 더 많은 열을 생성하는 실시예들에서 전력을 절감하고 열 생성을 감소시키는 것을 도울 수 있다. 예컨대, 메인 디스플레이들(134 및 136)이 비교적 고-에너지 소비 광 프로젝터들에 의해 구동될 때, 주변 디스플레이(132)는 메인 디스플레이들보다 적은 전력을 소비할 수 있는 가요성 투명 OLED 디스플레이의 형태를 취할 수 있다.
[0042] 일부 구현들에서, 주변 디스플레이(132)의 일부 또는 모든 부분들은 추가의 사용자 경험 향상을 위해 메인 디스플레이들(134 및 136)과 함께 콘텐츠를 제시하도록 동작될 수 있다. 예컨대, 혼합 현실 게임플레이 경험에 관여되는 사용자에 대해 폭발을 시뮬레이팅하기 위해, 메인 디스플레이들(134 및 136)이 화재/화염들을 닮은 가상 콘텐츠를 제시하는 동안, 메인 디스플레이들(134 및 136)에 부착되거나 이에 다른 방식으로 중첩되는 주변 디스플레이(132)의 부분들은 백색 광의 플래시를 제공할 수 있다. 다른 예에서, 메인 디스플레이들(134 및 136)에 부착되거나 이에 다른 방식으로 중첩되는 주변 디스플레이의 부분들은 텍스트를 제시하고 그리고/또는 사용자의 시야 내의 실세계 객체들을 강조하는 역할을 할 수 있다. 또한, 메인 디스플레이들(134 및 136)에 부착되거나 이에 다른 방식으로 중첩되는 주변 디스플레이(132)의 부분들뿐만 아니라, 메인 디스플레이들(134 및 136)에 부착되지 않은 주변 디스플레이(132)의 부분들(예컨대, 메인 디스플레이들(134 및 136)의 외부 둘레들을 둘러싸는 그리고/또는 메인 디스플레이들(134 및 136) 사이에 있는 주변 디스플레이(132)의 구역들)를 활용함으로써, 두 유형들의 디스플레이 디바이스들 사이의 경계들이 사용자에게 더 매끄럽게 나타날 수 있다. 일부 예들에서, 도 1d를 참조하여 본원에서 설명된 바와 같이, 메인 디스플레이들(134 및 136)에 부착되거나 이에 다른 방식으로 중첩되는 주변 디스플레이(132)의 부분들의 기능성 중 일부 또는 전부는 또한, 도 1i 및 1k 내지 도 1m을 참조하여 아래에서 추가로 상세히 설명되는 바와 같이, (사용자의 시야에 대해) 하나 이상의 메인 디스플레이들과 중첩되는 주변 디스플레이들의 부분들로 연장될 수 있다.
[0043] 도 1e는 메인 디스플레이들이 주변 디스플레이(132) 앞에 포지셔닝될 수 있는 대안적인 구성을 갖는 웨어러블 디스플레이 디바이스(130)를 도시한다. 이러한 구성에서, 메인 디스플레이들(134 및 136)은 손상으로부터 메인 디스플레이들(134 및 136)을 보호하는 보호 커버 층(138)을 포함할 수 있다. 웨어러블 디스플레이 디바이스(140)는 웨어러블 디스플레이 디바이스(130)와 유사한 방식으로 동작될 수 있어, 주변 디스플레이 디바이스(132)는 소정의 상황들에서 메인 디스플레이 디바이스(134 및 136)로부터 동작을 인계받을 수 있게 된다.
[0044] 유사하게, 일부 실시예들에서 그리고 도 1f에 도시된 바와 같이, 주변 디스플레이는 메인 디스플레이들(134 및 136)의 중앙 부분을 통해 연장될 수 있다. 일부 실시예들에서, 주변 디스플레이(132)는 디스플레이의 제1 부분과 디스플레이의 제2 부분 사이의 거리를 강조하기 위한 스페이서로서 작용할 수 있다. 이러한 거리는 주변 디스플레이의 외부 대면 표면 상의 메인 디스플레이들의 부분으로부터 방출된 광이 주변 디스플레이의 내부 대면 표면을 따라 포지셔닝된 부분보다 더 멀리서 기원하는 것처럼 보이게 하는 것을 도울 수 있다.
[0045] 도 1g는 웨어러블 디스플레이 디바이스(130)의 정면도를 도시한다. 웨어러블 디스플레이 디바이스(130)의 정면도는 주변 디스플레이(132)가 메인 디스플레이들(134 및 136) 둘 모두와 어떻게 접경되고 이를 둘러싸는지를 나타낸다. 일부 실시예들에서, 메인 디스플레이들(134 및 136)의 주변부는 주변 디스플레이(132) 상에 디스플레이되는 저해상도 데이터와 혼합되기 위해 감소된 공간, 각 및/또는 컬러 해상도를 가질 수 있다. 본 출원이 우선권으로 주장하는 미국 가특허 출원들 제62/475,012호 및 제62/539,934호(둘 다 발명의 명칭이 "High Resolution High Field of View Display"임)은 프로젝션-기반 디스플레이 시스템의 해상도가 변동되는 각 해상도로 구성될 수 있는 다양한 방식들을 설명한다.
[0046] 도 1h 내지 도 1k는 다양한 웨어러블 디스플레이 디바이스들(140, 150, 160)의 측면도들을 도시한다. 웨어러블 디스플레이 디바이스(140)는 메인 디스플레이(144) 및 주변 디스플레이(146)가 커플링될 수 있는 강성 기판을 제공하는 바이저(visor) 컴포넌트(142)를 포함한다. 바이저 컴포넌트는 광학적으로 중립일 수 있지만, 그것은 또한, 바이저의 시야 내에서 객체들의 약간의 확대 또는 축소를 생성하도록 구성할 수 있다. 일부 실시예들에서, 바이저는 외부 사용 동안 도움이 될 수 있는 편광 층 및/또는 착색 층을 포함할 수 있다. 주변 디스플레이(146)는 바이저 컴포넌트(152)의 에지로부터 메인 디스플레이(154)의 주변부로 연장될 수 있다. 디스플레이는 다수의 방식들로 서로 부착될 수 있다. 예컨대, 주변 디스플레이(156)는 메인 디스플레이(154)에 접착식으로(adhesively) 커플링될 수 있다. 일부 실시예들에서, 광학적으로 투명한 프레임은 주변 디스플레이(156)의 형상을 유지하는 것을 돕기 위해 바이저 컴포넌트(152)와 주변 디스플레이(156) 사이에 포지셔닝될 수 있다. 도 1i는 주변 디스플레이(152)가 바이저 컴포넌트(154)의 내부-대면 표면에 어떻게 부착되지를 도시한다. 이러한 방식으로, 바이저 컴포넌트(154)는 주변 디스플레이(162)의 형상 및 포지션을 세팅하도록 구성될 수 있다. 도 1j는 웨어러블 디스플레이 디바이스(160), 및 주변 디스플레이(162)가 바이저 컴포넌트(164)의 주변 부분에 어떻게 부착될 수 있는지를 도시한다. 일부 실시예들에서, 주변 디스플레이(162)는 바이저 컴포넌트(164)에 의해 정의된 리세스 구역에 부착될 수 있다. 이러한 방식으로, 주변 디스플레이(162)는 단지, 메인 디스플레이(166)의 외부로 연장되는 사용자의 시야의 부분을 채우는 크기로 정해질 필요가 있다.
[0047] 도 1k는 웨어러블 디스플레이 디바이스(170)의 측 단면도, 및 메인 디스플레이(172)가, 주변 디스플레이(176)의 주변부를 지지하는 투명 곡선 광학 엘리먼트(174)에 의해 어떻게 둘러싸일 수 있는지를 도시한다. 일부 실시예들에서, 곡선 광학 엘리먼트(174)의 굴절률은 주변 디스플레이(176)에 의해 방출되는 광의 왜곡을 최소화하도록 튜닝될 수 있다. 일부 실시예들에서, 투명 곡선 광학 엘리먼트(174)는 웨어러블 디스플레이 디바이스(170)와 연관된 다양한 다른 컴포넌트를 지지하고 포지셔닝하는 데 사용되는 투명한 프레임의 형태를 취할 수 있다. 예컨대, 일부 실시예들에서, 광을 메인 디스플레이(172)로 투과하도록 구성된 도파관들이 투명 곡선 광학 엘리먼트(174)에 의해 정의된 개구 또는 채널을 통해 연장될 수 있다.
[0048] 도 1l 내지 도 1m은 주변 디스플레이들이 메인 디스플레이 디바이스의 에지들 주위를 어떻게 감싸는지, 그리고 광을 웨어러블 디스플레이 디바이스의 사용자의 눈들로 역으로 재배향시키는 반사기들을 향해, 주변 디스플레이들로부터 방출된 광을 지향시키기 위해 다양한 광학기들을 어떻게 활용하는지를 도시한다. 도 1l은 메인 디스플레이(184)를 둘러싸는 자유 형식 광학기(182)를 도시한다. 자유 형식 광학기(182)는 주변 디스플레이(186)에 의해 방출된 광(184)을 사용자의 눈을 향해 역으로 재지향시키도록 구성된 적어도 부분적으로 반사성인 표면(182)을 포함할 수 있다. 이러한 방식으로, 자유 형식 광학기(182)는 주변 디스플레이를 웨어러블 디스플레이 디바이스(180)의 극단까지 연장할 필요없이 웨어러블 디스플레이 디바이스(180)의 활성 디스플레이의 유효 크기를 확장시킬 수 있다. 대안적인 실시예는 메인 디스플레이(194)의 주변부를 따라 배열되는 삼각형 단면을 갖는 프리즘(192)을 대신 포함할 수 있는 웨어러블 디스플레이 디바이스(190)에 의해 도시된다. 프리즘(192)은 메인 디스플레이(184)의 에지들 주위를 감싸는 주변 디스플레이(186)에 의해 방출된 광(196)을 재지향시킬 수 있다.
[0049] 도 2a는 2차원 각 공간에서 인간 눈에 대한 예시적인 단안 시야(202)의 외주를 도시하는 시계도를 도시한다. 도 2a에 도시된 바와 같이, 시계도의 관자놀이-코 및 하위-상위 축들은 단안 시야(202)의 외주가 맵핑되는 2-차원 각 공간을 정의하는 역할을 한다. 이러한 방식으로, 도 2a의 시계도는 인간 눈에 대한 "골드만(Goldmann)" 시계맵 또는 플롯과 동등하거나 유사한 것으로 보여질 수 있다. 관자놀이-코 및 하위-상위 축들의 도시된 어레인지먼트에 의해 표시된 바와 같이, 도 2a에 도시된 시계도는 인간의 왼쪽 눈에 대한 시계도를 표현한다. 시야는 사람마다 약간 변동될 수 있지만, 도시된 시야는 대부분의 인간들이 자신의 왼쪽 눈으로 볼 수 있는 것에 근접하다. 따라서, 오른쪽 눈의 예시적인 단안 시야의 외주를 도시하는 시계도는 관자놀이-코 축 및 단안 시야(202)의 외주가 하위-상위 축에 대해 미러링되는, 도 2a의 시계도의 버전의 것과 유사한 것이 된다. 도 2a의 시계도는 추가로, 사람이 응시할 수 있는 각 공간 내의 단안 시야(202)의 부분을 표현하는, 인간 눈에 대한 예시적인 주시 필드(204)의 외주를 도시한다. 또한, 도 2a의 시계도는 또한, 인간 눈에 대한 예시적인 중심와 필드(206)의 외주를 도시하며, 이는 주어진 시점에 인간 눈의 중심와의 직접 뷰에서의 각 공간 내의 단안 시야(202)의 부분을 표현한다. 도시된 바와 같이, 사람의 중심와 필드(206)는 주시 필드(204) 내의 임의의 위치로 이동할 수 있다. 각 공간 내의 중심와 필드(206) 외부의 단안 시야(202)의 부분들은 사람의 시야의 주변 구역으로서 본원에서 지칭될 수 있다. 중심와 필드(206) 외부에서 높은 레벨의 세부사항들을 구별하는 인간 눈들의 능력이 상당히 제한되기 때문에, 중심와 필드(206) 외부에 감소된 해상도 이미저리를 디스플레이하는 것은 눈에 띌 가능성이 적고, 디스플레이를 위한 콘텐츠를 생성하는 것을 담당하는 프로세싱 컴포넌트들에 대한 전력 지출에 대한 상당한 절감을 허용할 수 있다.
[0050] 도 2b는 도 2a에 도시된 바와 같은 사용자의 시야를 커버하기에 적합한 영역에 걸쳐 가상 콘텐츠를 제공하도록 구성된 예시적인 웨어러블 디스플레이 디바이스(250)를 도시한다. 웨어러블 디스플레이 디바이스(250)는 프레임(254)에 의해 지지되는 메인 디스플레이들(252)을 포함한다. 프레임(254)은 템플 아암들(106)의 형태를 취하는 부착 부재를 사용하여 사용자의 머리에 부착될 수 있다. 일부 실시예들에서, 웨어러블 디스플레이 디바이스(250)에 의해 디스플레이되는 이미지 품질은 메인 디스플레이들(252) 및 주변 디스플레이(256) 중 어느 하나 또는 둘 모두에서 점진적으로 감소될 수 있어서, 주시 필드 근처 및 그 안의 영역들은 메인 디스플레이(252)의 에지 근처의 영역들보다 더 높은 품질(예컨대, 더 높은 공간 및/또는 컬러 해상도)을 갖게 된다. 일부 실시예들에서, 메인 디스플레이들(252)의 주변부는 주변 디스플레이(256)의 품질 또는 이미저리 특성과 매칭하도록 구성될 수 있다. 일부 실시예들에서, 이미지 품질의 감소는 메인 디스플레이(252)의 공간 해상도, 컬러 비트 깊이 및/또는 리프레시 레이트를 변경함으로써 달성될 수 있다. 예컨대, 컬러 비트 깊이는 12비트로부터 5 또는 6비트로 감소되어 필요한 프로세싱 전력 및 주변 디스플레이 복잡성 둘 모두를 감소시킬 수 있다. 일부 실시예들에서, 컬러 비트 깊이는, 단지 그레이스케일 또는 흑백 콘텐츠만이 디스플레이되도록 감소될 수 있다.
[0051] 도 2c는 메인 디스플레이들(252) 중 하나 상에 오버레이되는 시야(202) 및 주시 필드(204)를 도시한다. 도 2c는 메인 디스플레이(252)가 주시 필드(204)를 어떻게 커버할 수 있는지 그리고 주변 디스플레이(256)와 협력하여, 웨어러블 디스플레이 디바이스(250)의 사용자에 대한 시야(202) 대부분을 어떻게 커버할 수 있는지를 도시한다. 메인 디스플레이(252)는 모든 주시 필드(204)를 커버하는 것으로 도시되지만, 메인 디스플레이(252)의 주변부는 주시 필드(204)를 활성으로 커버하지 않는 메인 디스플레이(252)의 임의의 부분의 해상도를 감소시킴으로써 시스템 자원들을 최적화하도록 구성될 수 있다. 일부 실시예들에서, 웨어러블 디스플레이 디바이스(250)와 연관된 센서들은 주시 필드(204) 내에서 콘텐츠를 제시하지 않는 메인 디스플레이(252)의 구역들을 식별하기 위해 웨어러블 디스플레이의 사용자의 눈들로 웨어러블 디스플레이의 포지션을 식별하도록 구성될 수 있다. 눈 포지션은 웨어러블 디스플레이 디바이스(250)의 사용자의 머리의 형상으로 인해 변동될 수 있기 때문에, 과도한 크기(oversized)의 메인 디스플레이(252)는 메인 디스플레이(252)가 사용자들의 광범위한 단면에 대한 전체(full) 주시 필드들을 커버할 수 있게 하는데 도움이 될 수 있다. 일부 실시예들에서, 등록 메커니즘이 또한 적절한 눈-디스플레이 포지셔닝을 보장하는 것을 도울 수 있다. 예컨대, 등록 메커니즘은 사용자의 주시 필드가 메인 디스플레이(252)에 의해 커버되고 사용자의 주변 시야가 주변 디스플레이(256)에 의해 실질적으로 커버된다는 것을 확인함으로써 상이한 얼굴 특징들을 수용하기 위해 사용될 수 있는 조정 가능한 코-피스(nose-piece)들 및 템플들의 형태를 취할 수 있다. 이러한 정렬을 달성하는 것을 돕기 위해, 주변 디스플레이(256)는 도시된 바와 같이 사용자의 주변 시야(204)의 형상과 부합하도록 구성된 비대칭 형상을 가질 수 있다. 일부 실시예들에서, 204 내에서 웨어러블 디스플레이 디바이스를 둘러싼 실-세계 콘텐츠를 관찰하는 사용자의 능력은 웨어러블 디스플레이 디바이스의 동작을 지원하는 컴포넌트에 의해 방해를 받을 수 있다. 주변 디스플레이(256)는 방해 컴포넌트들을 오버레이하는 주변 디스플레이의 그러한 부분들 상에 콘텐츠를 오버레이하도록 구성될 수 있다. 일부 실시예들에서, 실-세계 콘텐츠는 템플들(106)의 외부-대면 표면을 따라 배열된 세계 카메라들로부터 획득된 이미저리를 활용하여 템플들(106)의 내부-대면 표면을 따라 디스플레이될 수 있다.
[0052] 이제 도 2d를 참조하면, 가상 콘텐츠를 사용자에게 제공하도록 구성된 AR 시스템의 예시적인 실시예가 이제 설명될 것이다. 일부 실시예들에서, 도 2d의 AR 시스템은 도 2b의 웨어러블 디스플레이 디바이스(250)가 속하는 시스템을 표현할 수 있다. 도 2d의 AR 시스템은 스택된 광-안내 광학 엘리먼트 어셈블리들(200)을 사용하고, 일반적으로, 이미지 생성 프로세서(210), 광원(220), 제어기(230), "SLM"(spatial light modulator)(240), 주입 광학 시스템(260), 및 다중 평면 포커스 시스템으로서 기능하는 스택된 접안렌즈 층들 또는 "LOE"(light guiding optical element)들(예컨대, 평면 도파관)(200)의 적어도 하나의 세트를 포함한다. 시스템은 또한 눈-추적 서브시스템(270)을 포함할 수 있다. 다른 실시예들은 스택된 LOE들(200)의 다수의 세트들을 가질 수 있지만, 다음의 개시내용은 도 2d의 예시적인 실시예에 초점을 맞출 것이란 점이 인지되어야 한다.
[0053] 이미지 생성 프로세서(210)는 사용자에게 디스플레이될 가상 콘텐츠를 생성하도록 구성된다. 이미지 생성 프로세서는 가상 콘텐츠와 연관된 이미지 또는 비디오를 3D로 사용자에게 프로젝팅될 수 있는 포맷으로 변환할 수 있다. 예컨대, 3-D 콘텐츠의 생성 시에, 가상 콘텐츠는 특정 이미지의 부분들이 특정 깊이 평면에 디스플레이되는 반면, 다른 것들은 다른 깊이 평면들에 디스플레이되도록 포맷팅될 필요가 있을 수 있다. 일 실시예에서, 모든 이미지는 특정 깊이 평면에서 생성될 수 있다. 다른 실시예에서, 이미지 생성 프로세서는, 함께 뷰잉될 때 가상 콘텐츠가 사용자의 눈들에 일관성 있고 편안하게 나타나도록 하기 위해 오른쪽 눈 및 왼쪽 눈에 약간 상이한 이미지들을 제공하도록 프로그래밍될 수 있다.
[0054] 이미지 생성 프로세서(210)는 메모리(212), GPU(214), CPU(216), 및 이미지 생성 및 프로세싱을 위한 다른 회로를 더 포함할 수 있다. 이미지 생성 프로세서(210)는 도 2d의 AR 시스템의 사용자에게 제시될 원하는 가상 콘텐츠로 프로그래밍될 수 있다. 일부 실시예들에서, 이미지 생성 프로세서(210)는 웨어러블 AR 시스템에 하우징될 수 있다는 것이 인지되어야 한다. 다른 실시예들에서, 이미지 생성 프로세서(210) 및 다른 회로는 웨어러블 광학기(optics)에 커플링되는 벨트 팩에 하우징될 수 있다. 이미지 생성 프로세서(210)는 원하는 가상 콘텐츠와 연관된 광을 프로젝팅하는 광원(220) 및 하나 이상의 공간 광 변조기들(아래에서 설명됨)에 동작 가능하게 커플링된다.
[0055] 광원(220)은 콤팩트하고 고해상도를 갖는다. 광원(220)은 제어기(230)(아래에서 설명됨)에 동작 가능하게 커플링된 복수의 공간적으로 분리된 서브-광원들(222)을 포함한다. 예컨대, 광원(220)은 다양한 기하학적 구성들로 배치된 컬러 특정 LED들 및 레이저들을 포함할 수 있다. 대안적으로, 광원(220)은 디스플레이의 시야의 특정 구역에 각각 링크되는 유사한 컬러의 LED들 또는 레이저들을 포함할 수 있다. 다른 실시예에서, 광원(220)은 방출 영역들 및 포지션들의 세그먼테이션(segmentation)을 위한 마스크 오버레이를 갖는 넓은 영역 이미터, 이를테면, 백열등 또는 형광등을 포함할 수 있다. 서브-광원들(222)은 도 2d의 AR 시스템에 직접 연결되지만, 서브-광원들(222)은, (서브-광원(222)으로부터 떨어져 있는) 광 섬유들(도시되지 않음)의 원위 단부들이 서로 공간적으로 분리되는 한, 광섬유들을 통해 시스템에 연결될 수 있다. 시스템은 또한 광원(220)으로부터의 광을 시준하도록 구성된 콘덴서(도시되지 않음)를 포함할 수 있다.
[0056] SLM(240)은 다양한 예시적인 실시예들에서 반사형(예컨대, DLP DMD, MEMS 미러 시스템, LCOS 또는 FLCOS), 투과형(예컨대, LCD) 또는 방출형(예컨대, FSD 또는 OLED)일 수 있다. 공간 광 변조기의 유형(예컨대, 속도, 크기 등)은 3-D 지각의 생성을 개선하도록 선택될 수 있다. 더 높은 리프레시 레이트들로 동작하는 DLP DMD들이 고정 AR 시스템들에 쉽게 통합될 수 있지만, 웨어러블 AR 시스템들은 통상적으로 더 작은 크기 및 전력의 DLP들을 사용한다. DLP의 전력은 3-D 깊이 평면들/초점 평면들이 생성되는 방식을 변경한다. 이미지 생성 프로세서(210)는 원하는 가상 콘텐츠로 광원(220)으로부터의 광을 인코딩하는 SLM(240)에 동작 가능하게 커플링된다. 광원(220)으로부터의 광은, 그것이 SLM(240)으로부터 반사되거나, 그로부터 방출되거나 그것을 통과할 때 이미지 정보로 인코딩될 수 있다.
[0057] 다시, 도 2d를 참조하면, AR 시스템은 또한, 광원(220)(즉, 복수의 공간적으로 분리된 서브-광원들(222)) 및 SLM(240)으로부터 LOE 어셈블리(200)로 광을 지향시키도록 구성된 주입 광학 시스템(260)을 포함한다. 주입 광학 시스템(260)은 광을 LOE 어셈블리(200)로 지향시키도록 구성된 하나 이상의 렌즈들을 포함할 수 있다. 주입 광학 시스템(260)은, 광원(220)의 서브-광원들(222)로부터의 공간적으로 분리된 그리고 별도의 빔들에 대응하는, LOE들(200)에 인접한 (주입 광학 시스템(260)을 빠져나가는 빔들의 각각의 초점들에서) 공간적으로 분리된 그리고 별도의 동공들을 형성하도록 구성된다. 주입 광학 시스템(260)은 동공들이 서로 공간적으로 변위되도록 구성된다. 일부 실시예들에서, 주입 광학 시스템(260)은 빔들을 단지 X 및 Y 방향들로만 공간적으로 변위시키도록 구성된다. 이러한 실시예들에서, 동공들은 하나의 X, Y 평면에 형성된다. 다른 실시예들에서, 주입 광학 시스템(260)은 빔들을 X, Y 및 Z 방향들로 공간적으로 변위시키도록 구성된다.
[0058] 광 빔들의 공간적 분리는 별도의 빔들 및 동공들을 형성하여서(이는 별도의 빔 경로들 내의 인-커플링 격자의 배치를 허용할 수 있음), 각각의 인-커플링 격자는 단지 하나의 별도의 빔(또는 빔들의 그룹)에 의해 대부분 어드레싱(예컨대, 교차 또는 충돌)되게 된다. 이는 차례로, 복수의 다른 서브-광원들(222)로부터의 다른 광 빔들의 진입(즉, 크로스토크)을 최소화하면서, LOE 어셈블리(200)의 각각의 LOE들(200) 내로 공간적으로 분리된 광 빔들의 진입을 용이하게 한다. 특정 서브-광원(222)으로부터의 광 빔은 인-커플링 격자(도시되지 않음)를 통해 각각의 LOE(200)에 진입한다. 각각의 LOE들(200)의 인-커플링 격자들은, 각각의 공간적으로 분리된 광 빔만이 하나의 LOE(200)의 인-커플링 격자와 교차하도록, 복수의 서브-광원들(222)로부터의 공간적으로 분리된 광 빔들과 상호작용하게 구성된다. 따라서, 각각의 공간적으로 분리된 광 빔은 주로 하나의 LOE(200)에 진입한다. 따라서, SLM(240)에 의해 서브-광원들(222) 각각으로부터의 광 빔들 상에 인코딩된 이미지 데이터는 사용자의 눈으로의 전달을 위해 단일 LOE(200)를 따라 효과적으로 전파될 수 있다.
[0059] 각각의 LOE(200)는 그 후, 원하는 깊이 평면 또는 FOV 각 포지션(angular position)으로부터 기원하는 것처럼 보이는 이미지 또는 서브-이미지를 사용자의 망막 상으로 프로젝팅하도록 구성된다. 따라서, 각자의 복수의 LOE들(200) 및 서브-광원들(222)은 공간의 다양한 깊이 평면들 또는 포지션들로부터 기원하는 것처럼 보이는 이미지들(제어기(230)의 제어 하에서 SLM(240)에 의해 동기식으로 인코딩됨)을 선택적으로 프로젝팅할 수 있다. 충분히 높은 프레임 레이트(예컨대, 60Hz의 유효 풀-볼륨(full-volume) 프레임 레이트로 6개의 깊이 평면들의 경우 360Hz)로 각자의 복수의 LOE들(200) 및 서브-광원들(222) 각각을 사용하여 이미지들을 순차적으로 프로젝팅함으로써, 도 2d의 시스템은 3-D 이미지에 동시에 존재하는 것처럼 보이는 다양한 깊이 평면들에 있는 가상 객체들의 3-D 이미지를 생성할 수 있다.
[0060] 제어기(230)는 이미지 생성 프로세서(210), 광원(220)(서브-광원들(222)), 및 SLM(240)과 통신하고 이들과 동작 가능하게 커플링되어, 이미지 생성 프로세서(210)로부터의 적절한 이미지 정보로 서브-광원들(222)로부터의 광 빔들을 인코딩하도록 SLM(240)에 지시함으로써 이미지들의 동기식 디스플레이를 조절(coordinate)한다.
[0061] AR 시스템은 또한 사용자의 눈들을 추적하고 사용자의 포커스를 결정하도록 구성된 선택적인 눈-추적 서브시스템(270)을 포함한다. 일 실시예에서, 서브-광원들(222)의 서브세트만이 아래에서 논의되는 바와 같이, LOE들(200)의 서브 세트를 조명하기 위해, 눈-추적 서브시스템으로부터의 입력에 기초하여 활성화될 수 있다. 눈-추적 서브시스템(270)으로부터의 입력에 기초하여, 특정 LOE(200)에 대응하는 하나 이상의 서브-광원들(222)은 이미지가 사용자의 포커스/원근조절과 일치하는 원하는 깊이 평면에서 생성되도록 활성화될 수 있다. 예컨대, 사용자의 눈들이 서로 평행한 경우, 도 2d의 AR 시스템은 사용자의 눈들에 시준된 광을 전달하도록 구성된 LOE(200)에 대응하는 서브-광원들(222)을 활성화할 수 있어서, 이미지가 광학 무한대로부터 기원하는 것처럼 보이게 된다. 다른 예에서, 눈-추적 서브-시스템(270)이, 사용자의 포커스가 1미터 떨어져 있다고 결정하는 경우, 그 범위 내에서 대략 포커싱하도록 구성된 LOE(200)에 대응하는 서브-광원들(222)이 대신 활성화될 수 있다. 이 특정 실시예에서, 단지 하나의 서브-광원들(222)의 그룹만이 임의의 주어진 시간에 활성화되는 반면, 다른 서브-광원들(220)은 전력을 보존하기 위해 비활성화된다는 것이 인지되어야 한다.
[0062] 도 2e는 본 발명의 일 실시예에 따라 뷰어에게 디지털 또는 가상 이미지를 제시하는 데 사용될 수 있는 예시적인 VOA(viewing optics assembly)의 광 경로들을 개략적으로 예시한다. 일부 실시예들에서, VOA는 도 2b에 도시된 바와 같은 웨어러블 디스플레이 디바이스(250)와 유사한 시스템에 통합될 수 있다. VOA는 뷰어의 눈 주위에 착용될 수 있는 프로젝터(201) 및 접안렌즈(200)를 포함한다. 접안렌즈(200)는 예컨대, 도 2d를 참조하여 위에서 설명된 바와 같은 LOE들(200)에 대응할 수 있다. 일부 실시예들에서, 프로젝터(201)는 적색 LED들의 그룹, 녹색 LED들의 그룹, 및 청색 LED들의 그룹을 포함할 수 있다. 예컨대, 프로젝터(201)는 일 실시예에 따라 2개의 적색 LED들, 2개의 녹색 LED들 및 2개의 청색 LED들을 포함할 수 있다. 일부 예들에서, 도 2e에 도시된 프로젝터(201) 및 그의 컴포넌트들(예컨대, LED 광원, 반사 시준기, LCoS SLM 및 프로젝터 릴레이)은 도 2d를 참조하여 위에서 설명된 바와 같은 광원(220), 서브-광원들(222), SLM(240) 및 주입 광학 시스템(260) 중 하나 이상의 기능성을 표현하거나 이를 제공할 수 있다. 접안렌즈(200)는 각각이 도 2d를 참조하여 위에서 설명된 바와 같은 LOE들(200) 중 하나를 표현할 수 있는 하나 이상의 접안렌즈 층들을 포함할 수 있다. 접안렌즈(200)의 각각의 접안렌즈 층은 뷰어의 눈의 망막 상에, 각각의 원하는 깊이 평면 또는 FOV 각 포지션(angular position)으로부터 기원하는 것처럼 보이는 이미지 또는 서브-이미지를 프로젝팅하도록 구성된다.
[0063] 일 실시예에서, 접안렌즈(200)는 3개의 접안렌즈 층들(3원색들(적색, 녹색 및 청색) 각각에 대해 하나씩의 접안렌즈 층)을 포함한다. 예컨대, 이 실시예에서, 접안렌즈(200)의 각각의 접안렌즈 층은 광학 무한대 깊이 평면(0 디옵터)으로부터 기원하는 것처럼 보이는 시준된 광을 눈에 전달하도록 구성될 수 있다. 다른 실시예에서, 접안렌즈(200)는 6개의 접안렌즈 층들, 즉 하나의 깊이 평면의 가상 이미지를 형성하도록 구성된 3원색들 각각에 대한 접안렌즈 층들의 하나의 세트, 및 다른 깊이 평면의 가상 이미지를 형성하도록 구성된 3원색들 각각에 대한 접안렌즈 층들의 다른 세트를 포함할 수 있다. 예컨대, 이 실시예에서, 접안렌즈(200)의 접안렌즈 층들의 하나의 세트 내의 각각의 접안렌즈 층은, 광학 무한대 깊이 평면(0 디옵터)으로부터 기원하는 것처럼 보이는 시준된 광을 눈에 전달하도록 구성될 수 있는 반면, 접안렌즈(200)의 접안렌즈 층들의 다른 세트 내의 각각의 접안렌즈 층은 2미터(0.5 디옵터)의 거리로부터 기원하는 것처럼 보이는 시준된 광을 눈에 전달하도록 구성될 수 있다. 다른 실시예들에서, 접안렌즈(200)는 3개 이상의 상이한 깊이 평면들에 대해 3원색들 각각마다 3개 이상의 접안렌즈 층들을 포함할 수 있다. 예컨대, 이러한 실시예들에서, 접안렌즈 층들의 또 다른 세트는 각각, 1 미터(1 디옵터)의 거리로부터 기원하는 것처럼 보이는 시준된 광을 전달하도록 구성될 수 있다.
[0064] 각각의 접안렌즈 층은 평면 도파관을 포함하고, 인커플링 격자(207), OPE(orthogonal pupil expander) 구역(208) 및 EPE(exit pupil expander) 구역(209)을 포함할 수 있다. 인커플링 격자, 직교 동공 확장 및 출사동 확장에 대한 더 많은 세부사항들은 미국 특허 출원 일련 번호 제14/555,585호 및 미국 특허 출원 일련 번호 제14/726,424호에서 설명된다. 도 2e를 계속 참조하면, 프로젝터(201)는 접안렌즈 층(200)의 인커플링 격자(207) 상에 이미지 광을 프로젝팅한다. 인커플링 격자(207)는 프로젝터(201)로부터의 이미지 광을, OPE 구역(208)을 향하는 방향으로 전파되는 도파관 내로 커플링한다. 도파관은 TIR(total internal reflection)에 의해 이미지 광을 수평 방향으로 전파시킨다. 접안렌즈 층(200)의 OPE 구역(208)은 또한, 도파관에서 전파되는 이미지 광의 부분을 EPE 구역(209)에 커플링하고 이를 향해 재지향시키는 회절 엘리먼트를 포함한다. 보다 구체적으로는, 시준된 광이 TIR에 의해 도파관을 따라 수평 방향으로 전파(즉, 도 2e의 뷰에 대해)되고, 그렇게 하면서, OPE 구역(208)의 회절 엘리먼트와 반복적으로 교차한다. 일부 예들에서, OPE 구역(208)의 회절 엘리먼트는 비교적 낮은 회절 효율을 갖는다. 이는, OPE 구역(208)의 회절 엘리먼트와의 각각의 교차점에서 광의 프랙션(예컨대, 10%)이 EPE 구역(209)을 향하여 수직으로 하향으로 회절되게 하고, 광의 프랙션이 TIR을 통해 도파관을 따라 수평으로 자신의 오리지널 궤도를 지속하게 한다. 이러한 방식으로, OPE 구역(208)의 회절 엘리먼트와의 각각의 교차점에서, 부가적인 광은 EPE 구역(209)을 향해 하향으로 회절된다. 인입 광을 다수의 아웃커플링된 세트들로 분할함으로써, 광의 출사동은 OPE 구역(208)의 회절 엘리먼트에 의해 수평으로 확장된다. OPE 구역(208) 밖으로 커플링된 확장된 광은 EPE 구역(209)에 진입한다.
[0065] 접안렌즈 층(200)의 EPE 구역(209)은 또한, 도파관에서 전파되는 이미지 광의 부분을 뷰어의 눈을 향해 커플링 및 재지향시키는 회절 엘리먼트를 포함한다. EPE 구역(209)에 진입하는 광은 TIR에 의해 도파관을 따라 수직으로(즉, 도 2e의 뷰에 대해) 전파된다. 전파되는 광과 EPE 구역(209)의 회절 엘리먼트 사이의 각각의 교차점에서, 광의 프랙션은, 광이 TIR을 벗어날 수 있도록 도파관의 인접한 면을 향해 회절되고, 도파관의 면으로부터 나오고, 뷰어의 눈의 향해 전파된다. 이러한 방식으로, 프로젝터(201)에 의해 프로젝팅된 이미지는 뷰어의 눈에 의해 보여질 수 있다. 일부 실시예들에서, EPE 구역(209)의 회절 엘리먼트는 선형 회절 격자와 방사상 대칭 회절 렌즈의 합인 위상 프로파일을 갖도록 설계되거나 구성될 수 있다. EPE 구역(209)의 회절 엘리먼트의 방사상 대칭 렌즈 양상은 부가적으로, 회절된 광에 포커스 레벨을 부여하여, 개별 빔의 광 파면을 성형(예컨대, 곡률을 부여함)하는 것은 물론, 설계된 포커스 레벨과 매칭하는 각도로 빔을 조종한다. EPE 구역(209)의 회절 엘리먼트에 의해 아웃커플링되는 각각의 광 빔은 뷰어 전방에 포지셔닝된 각각의 포커스 포인트까지 기하학적으로 연장될 수 있고, 각각의 포커스 포인트에서 반경의 중심을 갖는 볼록한 파면 프로파일이 부여되어 주어진 초점면에 있는 이미지 또는 가상 객체를 생성할 수 있다.
[0066] 이러한 뷰잉 광학기 어셈블리 및 다른 유사한 셋-업들의 설명들은 미국 특허 출원 일련 번호 제14/331,218호, 미국 특허 출원 일련 번호 제15/146,296호, 및 미국 특허 출원 일련 번호 제14/555,585호에 추가로 제공된다. 따라서, 일부 실시예들에서, 예시적인 VOA는 도 2e를 참조하여 위에서 언급된 특허 출원들 중 임의의 것에서 설명된 하나 이상의 컴포넌트들의 형태를 취하거나 그리고/또는 이들을 포함할 수 있다.
[0067] 도 3a는 주변 디스플레이(256)가 사용자(300)의 얼굴의 윤곽들에 어떻게 부합할 수 있는지를 도시한다. 일부 실시예들에서, 주변 디스플레이(256)는 메인 디스플레이(252)보다 큰 곡률을 가질 수 있어서, 주변 디스플레이(256)는 더 높은 해상도 메인 디스플레이(204)의 상당한 곡률을 요구하지 않고도 사용자(300)의 얼굴과 접촉할 수 있다. 주변 디스플레이(256)와 사용자의 얼굴 사이의 접촉은 주변 디스플레이(256)가, 메인 디스플레이(204)의 위 또는 아래로부터 사용자(300)의 눈(305)에 도달하는 임의의 외부 광(304)과 함께 콘텐츠(302)를 효과적으로 프로젝팅할 수 있게 한다. 일부 실시예들에서, 주변 디스플레이(256)는 사용자(300)의 얼굴에 부합하도록 변형되게 구성될 수 있다. 또한, 메인 디스플레이(252)가 또한 사용자(300)의 얼굴의 소정의 윤곽들을 수용하도록 변형될 수 있다. 일부 실시예들에서, 주변 디스플레이(256)와 메인 디스플레이(252) 사이의 기계적 커플링은 메인 디스플레이(252)에 대한 주변 디스플레이(256)의 회전을 수용하도록 구성될 수 있다. 예컨대, 회전을 수용하는 가요성 또는 탄성 중합체 커플링이 메인 디스플레이(252)를 주변 디스플레이(256)에 커플링할 수 있다. 주변 디스플레이(256)의 내부-대면 표면은 웨어러블 디스플레이 디바이스(250)를 착용하는 동안 사용자(300)의 안락감을 증가시키기 위한 패드 또는 밀봉 엘리먼트를 포함할 수 있다. 다른 실시예에서, 주변 디스플레이(256)는 사용자가 웨어러블 디스플레이 디바이스(250)를 착용하는 동안 사용자(300)의 얼굴과 접촉하지 않도록 메인 디스플레이(204)로부터 도시된 것보다 더 수직 방향으로 연장될 수 있다.
[0068] 도 3b는 메인 디스플레이(252)에 대한 곡률의 반경(R1)이 곡률의 반경(R2) 및 곡률의 반경(R3) 보다 실질적으로 얼마나 큰지를 도시한다. 곡률은 곡률의 반경에 반비례하기 때문에, 메인 디스플레이(252)는 주변 디스플레이(256)보다 훨씬 작은 곡률을 갖는다. 도 3b는 또한 곡률의 반경(R2)이 곡률의 반경(R3)과 어떻게 상이할 수 있는지를 도시한다. 주변 디스플레이(256)가 구부러지고 휘어져서 사용자(300)의 얼굴의 형상을 수용할 때 곡률의 차이들이 훨씬 더 변경될 수 있다.
[0069] 도 3c는 사용자의 머리에 착용된 웨어러블 디바이스(250)의 평면도를 도시한다. 도시된 바와 같이, 웨어러블 디바이스(250)는 메인 디스플레이들(252)이 장착되는 표면에 대응하는 주 뷰잉 포트(primary viewing port)를 갖는 바이저(306)를 포함할 수 있다. 바이저(306)는 또한 뷰잉 포트의 최상부, 최하부 및 측면(lateral side)들 상에서 뷰잉 포트로부터 사용자의 얼굴을 향해 연장되는 벽들을 포함할 수 있다. 일부 실시예들에서, 벽들은 실질적으로 직각으로 뷰잉 포트로부터 돌출할 수 있다. 주변 디스플레이(256)는 그 후, 벽들의 내부 또는 외부 대면 표면에 부착될 수 있어서, 벽들 중 임의의 하나를 통해 진입하는 광과 이미저리가 오버레이될 수 있게 된다. 일부 실시예들에서, 주변 디스플레이(256)는 또한 메인 디스플레이들(252)에 의해 커버되지 않는 주 뷰잉 포트의 부분들을 커버할 수 있다. 웨어러블 디바이스(250)는 사용자의 머리에 이르도록 연장되는 것으로 도시되지 않지만, 일부 실시예들에서, 바이저(306)의 벽들이 사용자의 얼굴과 완전히 접촉하게 되도록 구성될 수 있어, 모두는 아니더라도 사용자의 주변 비전의 대부분이 주변 디스플레이(256)에 의해 커버되게 한다는 것이 주의되어야 한다.
[0070] 도 3d는 주변 디스플레이(256)가 보다 제한된 방식으로 웨어러블 디바이스(250)에 어떻게 통합될 수 있는지를 도시한다. 주변 디스플레이(256)는 각각의 템플(106)의 부분으로부터 바이저(306)의 내부-대면 표면으로 연장되는 2개의 가요성 디스플레이들에 의해 구체화될 수 있다. 게다가, 주변 디스플레이(256)의 가요성 본질은 바이저(306)로의 템플들(106)의 접힘을 수용할 수 있다. 이러한 방식으로, 사용자의 주변 비전의 측방향 주변부는 웨어러블 디바이스(250)의 보관성을 감소시키지 않고 커버될 수 있다. 일부 실시예들에서, 주변 디스플레이(256)는 또한 바이저(306)의 부분들 내에서 연장될 수 있다. 예컨대, 메인 디스플레이들(252)에 의해 커버되지 않는 바이저(306)의 부분들은 주변 디스플레이(256)의 부가적인 부분들에 의해 커버될 수 있다. 일부 실시예들에서, 주변 디스플레이(256)는 템플들(106) 중 하나로부터 다른 템플(106)로 연장되는 단일 디스플레이일 수 있다.
[0071] 도 3e는 웨어러블 또는 머리-장착 디스플레이 디바이스(250)의 내부-대면 표면을 도시한다. 웨어러블 디스플레이 디바이스(250)는 힌지들(308)에 의해 템플 아암(106)과 피봇식으로(pivotally) 커플링된 프레임 또는 바이저(254)를 포함한다. 도시된 바와 같이, 프레임(254)은 메인 디스플레이(252)를 지지하고, 주변 디스플레이(256)가 부착될 수 있는 표면을 제공한다. 주변 디스플레이(256)는 강조를 위해 음영 처리된다. 특히, 도 3e는, 주변 디스플레이(256)가 가상 콘텐츠(309)의 표현을 렌더링하게 하는 공간 내의 포지션으로 가상 콘텐츠(309)가 반복적으로 들어가고 나올 때, 주변 디스플레이(256)가 이 가상 콘텐츠(309)를 어떻게 디스플레이할 수 있는지를 도시한다.
[0072] 도 3f는 주변 디스플레이(256)가, 경로를 따라 이동하는 가상 콘텐츠(309)를 어떻게 표현하는지를 설명하는 흐름도를 도시한다. 점선은 가상 콘텐츠(309)의 경로를 표시한다. 가상 콘텐츠(309)는 3-차원 공간을 통과하는 경로를 따르기 때문에, 웨어러블 디스플레이 디바이스(250)는 항상 가상 콘텐츠(309)를 보여주진 않을 것이다. 세그먼트(310)는 머리-장착 디스플레이의 시야 외부에서 발생하는 경로의 부분을 표현한다. 세그먼트(312)는, 주변 디스플레이(256)가 가상 콘텐츠(309)를 디스플레이하는 것을 담당하는 포지션에 먼저 로케이팅되는 가상 콘텐츠(309)에 대응하는 경로의 부분이다. 일부 실시예들에서, 주변 디스플레이(256)는 사용자가 가상 콘텐츠(309)를 보다 신속하게 인식하는 것을 돕기 위해 더 높은 세기 레벨들 및/또는 리프레시 레이트들로 가상 콘텐츠(309)를 보여주도록 구성될 수 있다. 예컨대, 주변 비전은 통상적으로 빠르게 움직이는 객체를 추적하는 데 더 효과적이기 때문에, 더 높은 리프레시 레이트가 주변 디스플레이(256)에 의해 표현되는 객체들을 식별하는 데 사용자에게 도움이 될 수 있다. 일부 실시예들에서, 주변 디스플레이(256)는 세그먼트(312)에서, 인입 콘텐츠로 사용자의 주의를 유도하는 것을 돕기 위해 밝은 컬러 블랍(blob) 또는 섬광(flashing light)으로서 가상 콘텐츠(309)를 적어도 초기에 묘사할 수 있다. 일부 실시예들에서, 주변 디스플레이(256)의 주변 부분은 특정 이벤트가 발생했다는 것을 사용자에게 경고하기 위해 미리 결정된 방식으로 조명될 수 있다. 예컨대, 빠른 섬광은 인입 증강 현실 객체가 사용자의 시야에 진입하기 직전이라는 것을 표시하는 반면, 느리게 펄싱하는 청색 구는 텍스트 또는 게임-내 메시지의 수신을 표시할 수 있다.
[0073] 세그먼트(314)에서, 가상 콘텐츠(309)가 메인 디스플레이(252)에 더 근접하게 접근함에 따라, 프레임(254)이 광학적으로 불투명할 때, 외부 세계의 선명한 뷰가 프레임(254)에 의해 차단될 수 있다. 일부 실시예들에서, 프레임(254)의 전방에 포지셔닝된 주변 디스플레이(256)의 부분은 프레임(254)에 의해 사실상 방해받지 않는 뷰를 사용자에게 제시하기 위해 웨어러블 디바이스에 장착된 카메라에 의해 수집된 실-세계 콘텐츠를 디스플레이하도록 구성될 수 있다. 이러한 방식으로, 실-세계 콘텐츠는 가상 콘텐츠(309)와 혼합되어 가상 및 실-세계 콘텐츠의 가상 표현을 생성할 수 있다. 일부 실시예들에서, 주변 디스플레이(256)에 의해 재생되는 실-세계 콘텐츠는 주위 환경에 존재하는 주변 광의 측정된 세기 및 컬러에 적어도 부분적으로 기초할 수 있다. 이러한 구현은 부가적인 카메라로부터의 비디오 피드를 통합할 필요 없이 더 뛰어난 느낌의 제한되지 않는 비전 및 몰입감을 생성할 수 있다. 이러한 방식으로 뷰를 구성하는 데 있어 누락된 임의의 미세한 세부사항들은 사용자가 사용자의 시야의 그 부분에 직접 포커싱하지 않을 수 있기 때문에 크게 눈에 띄지 않을 수 있다. 마스크 프레임(254) 위에 실-세계 이미저리를 오버레이하는 단계는 선택적인 동작이며, 일부 실시예들에서, 프레임(254)의 존재를 강조하기 위해 세그먼트(314) 동안 어떤 콘텐츠도 전혀 보여주지 않거나, 또는 세그먼트(314)에 걸쳐 가상 콘텐츠가 이동함에 따라 이 가상 콘텐츠만을 보여주는 것이 보다 바람직할 수 있다는 것이 주의되어야 한다. 일단 가상 콘텐츠가 세그먼트(314)에 도달하면, 주변 디스플레이(256)는 더 높은 해상도를 지각하는 사람의 능력이 증가하기 때문에, 가상 콘텐츠(309)를 보다 상세히 디스플레이하기 시작할 수 있다.
[0074] 세그먼트(316)에서, 메인 디스플레이(252)는 가상 콘텐츠(309)의 디스플레이를 대신한다. 주변 디스플레이(258) 및 메인 디스플레이(252)는 접하는 접촉부가 있기 때문에, 가상 콘텐츠(309)가 주변 디스플레이(256)로부터 메인 디스플레이(252)로 트랜지션함에 따라 가상 콘텐츠(309)는 뷰에 계속 머무를 수 있다. 세그먼트(318)에서, 주변 디스플레이(256)는 가상 콘텐츠(309)의 디스플레이를 재개하며, 가상 콘텐츠(309)를, 사용자의 뷰로부터 프레임(254)을 마스킹하는 배경 이미저리와 혼합한다. 세그먼트(314)에서와 같이, 배경 실-세계 이미저리의 디스플레이는 선택적인 단계일 수 있다는 것이 주의되어야 한다. 세그먼트(320)에서, 주변 디스플레이(258)는 단지 가상 콘텐츠(309)의 표현을 생성하고, 세그먼트(322)에서, 주변 디스플레이(256)는 가상 콘텐츠(309)의 디스플레이를 중단한다.
[0075] 도 4a는 주변 디스플레이가 없는 예시적인 웨어러블 디스플레이 디바이스(400)의 사시도를 도시한다. 웨어러블 디스플레이 디바이스(400)는 메인 디스플레이들(252)을 포함한다. 메인 디스플레이들(252) 각각은 웨어러블 디스플레이 디바이스(400)의 사용자의 눈들의 움직임을 추적하도록 구성된 눈 추적 센서(402)를 포함할 수 있다. 일부 실시예들에서, 메인 디스플레이(252)에 의해 묘사되는 이미저리의 해상도는 눈 추적 센서(402)에 의해 결정된 바와 같이 사용자의 눈들의 움직임을 참작하도록 조정될 수 있다. 예컨대, 해상도는 메인 디스플레이들(252)의 표면에 걸쳐 변동될 수 있어서, 프로세싱 능력은 사용자의 눈들에 의해 포커싱되는 그런 영역들에만 고해상도를 제공하도록 할애될 수 있다. 다른 영역들은 더 낮은 해상도로 렌더링될 수 있다. 웨어러블 디스플레이 디바이스(400)는 또한 템플 아암들(106)에 통합된 프로젝터 어셈블리들(404)을 포함한다. 프로젝터 어셈블리들(404)은 회절 광학기를 통해 광을 비추는 프로젝터들을 포함할 수 있으며, 이 광은 그 후 메인 디스플레이들(252)을 통해 사용자의 눈들로 반사된다. 웨어러블 디스플레이 디바이스(400)는 또한 카메라 어셈블리들(406)을 포함할 수 있다. 카메라 어셈블리들(406) 각각은 웨어러블 디스플레이 디바이스(400)를 둘러싼 환경을 관찰 및 특징화하기 위한 다수의 카메라 모듈들(408)을 포함할 수 있다. 환경의 특징화는 예컨대, 가상 콘텐츠를 환경 내의 실생활 객체들과 통합하는 것을 포함한 여러 이유들로 중요할 수 있다. 예컨대, 카메라 모듈들을 사용하여 의자들과 같은 아이템들을 식별할 수 있게 되는 것은, 가상 의자를 생성하거나 공중에 앉아있는 것처럼 보이게 하는 대신, 가상 캐릭터가 실제 의자들 중 하나에 앉게 할 수 있을 수 있다. 일부 실시예들에서, 웨어러블 디스플레이 디바이스(400)는 메인 디스플레이들(204)에 의해 디스플레이된 가상 콘텐츠의 깊이를 동기화시키기 위한 깊이 검출 센서들을 갖는 하나 이상의 카메라 모듈들(408)을 포함할 수 있다. 프로젝터 어셈블리들(404)에서와 같이, 카메라 어셈블리들(406)은 템플 아암들(106)과 통합될 수 있다.
[0076] 도 4b는 주변 디스플레이(256)가 웨어러블 디스플레이 디바이스(400)에 어떻게 통합될 수 있는지를 도시한다. 도시된 바와 같이, 주변 디스플레이(256)는 메인 디스플레이들(252) 각각의 주변부를 따라 배열될 수 있다. 주변 디스플레이(256)는 또한 메인 디스플레이들(252) 사이에서 연장되어 브릿지(410) 위의 임의의 커버리지 간극을 방지할 수 있다. 일부 실시예들에서, 주변 디스플레이(256)의 템플 구역들(412)은 주변 디스플레이(256)의 나머지 보다 메인 디스플레이들(252)로부터 더 멀리 연장될 수 있다. 템플 구역들(412)은 사용자의 주변 시야로부터 프로젝터 어셈블리들(404) 및 카메라 어셈블리들(406)을 가리기 위한 콘텐츠를 디스플레이하도록 구성될 수 있다. 이는, 사용자가 주위 가상 및/또는 실-세계 콘텐츠에 더 몰입되게 느끼게 할 수 있다.
[0077] 도 5a는 브릿지(504)에 의해 결합된 2개의 디스플레이들(502)을 포함하는 웨어러블 디스플레이 디바이스(500)를 도시한다. 특히, 도 5a는 디스플레이들(502)이 상이한 방식들로 콘텐츠를 디스플레이하도록 구성된 2개의 상이한 구역들을 어떻게 가질 수 있는지를 도시한다. 고 예민성 구역들(506)은 돌출 별 패턴들에 의해 표시된 바와 같이 트랜지션 구역들(510)에서 더 낮은 예민성 구역들(508)로 트랜지션할 수 있다. 예민성의 변화는 다수의 상이한 방식들로 달성될 수 있다. 일부 실시예들에서, 저 예민성 구역은 고 예민성 구역과 동일한 수의 픽셀들을 가질 수 있고, 단순히 콘텐츠를 더 낮은 해상도로 디스플레이할 수 있다. 예컨대, 저 예민성 구역(508) 내의 4개의 픽셀들은 동일한 값을 디스플레이할 수 있어서, 저 예민성 구역들(508)은 고 예민성 구역(506)의 공간 해상도보다 4배 낮은 공간 해상도를 갖게 된다. 다른 실시예들에서, 저 예민성 구역들(508) 내의 픽셀들 사이의 간격은 고 예민성 구역들(506)에서의 것보다 클 수 있다. 일부 실시예들에서, 저 예민성 구역들(508) 내의 픽셀들은 더 큰 픽셀 간격에 의해 제공되는 부가적인 공간으로 인해 고 예민성 구역들(506) 내의 픽셀들 보다 클 수 있다. 트랜지션 구역(510)은 또한 구역들(506 및 508) 사이에서 보다 균일한 트랜지션을 생성하기 위해 점진적으로 더 멀리 이격된 픽셀들을 가질 수 있다. 고 예민성 구역들(506) 및 저 예민성 구역들(508)은 공간 인식의 차이들로 제한되지 않는 다수의 상이한 변동들을 가질 수 있다는 것이 주의되어야 한다. 예컨대, 저 예민성 구역(508)은 고 예민성 구역(506) 보다 더 적은 컬러들을 디스플레이하고, 그와 상이한 레이트들로 리프레시하고, 그리고 심지어 상이한 레벨의 세기(즉, 밝기)로 가상 콘텐츠를 디스플레이할 수 있다.
[0078] 도 5b는 다수의 구역들(554, 556 및 558)을 갖는 디스플레이들(552)을 갖는 웨어러블 디스플레이 디바이스(550)를 도시한다. 구역들(554)은 컬러 및 공간 해상도를 구별하는 인간의 눈의 능력에 대응하도록 설계될 수 있다. 눈의 중심은 세부사항 및 컬러를 구별하는 최상의 능력을 갖는 가장 밀집된 추상체들을 갖기 때문에, 구역(554)은 최고 해상도 및 진짜 컬러 재현을 방출하도록 구성될 수 있다. 구역(556)은 비교적 더 낮은 공간 및/또는 컬러 해상도로 가상 콘텐츠를 디스플레이하도록 구성될 수 있다. 일부 실시예들에서, 구역(556)은 웨어러블 디스플레이 디바이스(550)의 사용자의 주시 필드의 경계를 따라 배열될 수 있다. 이러한 이유로, 구역(556)과 구역(554) 사이의 차이들은 구역들(554 및 556) 사이의 트랜지션 존 위에 구현될 수 있어서, 해상도의 변화는 웨어러블 디스플레이 디바이스(550)의 사용자를 산만하게 하거나 명백하지 않게 된다. 유사하게, 구역(558)은 먼 주변 시야에 대응하는 사용자의 시야의 부분을 커버할 수 있다. 구역(558)은 구역(556)보다 훨씬 더 낮은 해상도로 가상 콘텐츠를 디스플레이하도록 구성될 수 있다. 예컨대, 구역(558)은 그레이스케일로 가상 콘텐츠를 디스플레이하도록 구성될 수 있다.
[0079] 도 5c는 디스플레이(502 및 552)와 유사한 디스플레이(570)를 도시한다. 픽셀들(572)의 분포는 디스플레이(570)에 걸쳐 변동될 수 있다. 특히, 픽셀들(572)은 주변 구역(574)에서 더 낮은 밀도를 갖고 중앙 구역(576)에서보다 높은 밀도를 갖는 것으로 도시된다. 이러한 방식으로 디스플레이(570)를 셋업함으로써, 디스플레이(570)에 의해 디스플레이된 임의의 이미저리의 공간 해상도는 가상 콘텐츠가 디스플레이(570)의 중앙 구역(576)으로부터 주변 구역(574)으로 이동함에 따라 점진적으로 감소될 수 있다.
[0080] 도 6 및 도 7은 메인 디스플레이들(102, 112, 122, 134, 136, 144, 166, 172, 184, 252, 506, 554 및 576)과 같은 메인 디스플레이들과 함께 사용될 수 있는 디스플레이 기술을 상세히 설명한다. 일부 실시예들에서, 주변 디스플레이는 또한 이러한 유형의 디스플레이 기술을 활용할 수 있다. 디스플레이들은 눈-추적 장치를 통합하거나, 고해상도 및 저해상도 이미저리가 디스플레이될 수 있는 포지션을 추가로 최적화하기 위해 통합되지 않을 수 있다.
[0081] 도 6에서, 뷰어의 눈(602)은 뷰어가 비교적 직선 방향으로 접안렌즈(600)를 볼 수 있도록 접안렌즈(600)에 대해 제1 방식으로 배향된다. 도 6에서 뷰어의 눈(602)의 배향은, 예컨대, 도 3a 내지 도 3b를 참조하여 위에서 설명된 바와 같은 뷰어의 눈(302)의 배향과 동일하거나 유사할 수 있고, 본원에서 설명된 감지 컴포넌트들 및/또는 기술들 중 하나 이상을 사용하여 AR 시스템에 의해 결정될 수 있다. 따라서, 도 6에 도시된 스테이지에서, AR 시스템은 상대적 포지션들 및 배향들에서 머리-추적 및 중심와-추적 렌더링 관점들을 사용할 수 있다. AR 시스템에 의해 사용된 중심와-추적 렌더링 관점의 FOV는 예컨대, 가상 객체(612)를 포함할 수 있지만, 가상 객체들(611 및 613) 중 어느 것도 포함하지 않을 수 있다. 따라서, 도 6에서, AR 시스템은 가상 객체(612)가 중심와-추적 가상 카메라의 관점으로부터 캡처됨에 따라 이 가상 객체(612)를 고화질로 렌더링할 수 있고, 가상 객체들(611 및 613)이 머리-추적 가상 카메라의 관점으로부터 캡처됨에 따라 이 가상 객체들(611 및 613)을 저화질로 렌더링할 수 있게 된다. 또한, AR 시스템은 접안렌즈(600)를 통해 그리고 뷰어의 눈(602)의 망막 상으로 가상 객체들(611, 612 및 613)의 이러한 렌더링을 표현하는 광을 프로젝팅할 수 있다. 일부 실시예들에서, AR 시스템은 또한 가상 객체(612)가 머리-추적 가상 카메라의 관점으로부터 캡처됨에 따라 이 가상 객체(612)를 저화질로 렌더링할 수 있다.
[0082] 도 6은 또한 접안렌즈(600)에 의해 아웃커플링되고 뷰어의 눈(602)의 망막 상에 프로젝팅되는 예시적인 광 필드(630A)를 예시한다. 광 필드(630A)는 가상 객체들(611, 612 및 613)의 상술한 렌더링들 중 하나 이상을 나타내는 다양한 각도의 광 컴포넌트들을 포함할 수 있다. 예컨대, 가상 객체(611)가 머리-추적 가상 카메라의 관점으로부터 캡처될 때, 이 가상 객체(611)를 나타내는 광 필드(630A)의 각도 광 컴포넌트들은, 뷰어의 눈(602)에 대하여 -α 내지 -β 각도 유닛들의 각도들에서 뷰어의 눈(602)의 망막 상에 프로젝팅되는 것들을 포함할 수 있고, 가상 객체(613)가 머리-추적 가상 카메라의 관점으로부터 캡처될 때, 이 가상 객체(613)를 나타내는 광 필드(630A)의 각도 광 컴포넌트들은, 뷰어의 눈(602)에 대하여 ε 내지 ζ 각도 유닛들의 각도들에서 뷰어의 눈(602)의 망막 상에 프로젝팅되는 것들을 포함할 수 있다. 유사하게, 가상 객체(612)가 중심와-추적 가상 카메라의 관점으로부터 캡처될 때, 이 가상 객체(612)를 나타내는 광 필드(630A)의 각도 광 컴포넌트들은, 뷰어의 눈(602)에 대하여 -γ 내지 δ 각도 유닛들의 각도들에서 뷰어의 눈(602)의 중심와 상에 프로젝팅되는 것들을 포함할 수 있다. 따라서, 가상 객체(612)를 나타내는 광 필드(630A)의 컴포넌트들(즉, 뷰어의 눈(602)에 대해 -γ 내지 δ 각도 유닛들의 각도들로 프로젝팅될 컴포넌트들)은 가상 객체(611, 613)를 나타내는 광 필드(630A)의 컴포넌트들(즉, 뷰어의 눈(602)에 대해 -α 내지 -β 또는 ε 내지 ζ 각도 유닛들의 각도들로 프로젝팅될 컴포넌트들)보다 각 공간에서 훨씬 밀집되게 분포될 수 있다. 이러한 방식으로, 가상 객체(612)가 렌더링되어 뷰어에게 제시될 수 있는 해상도는, 가상 객체(611 또는 613)가 랜더링되어 뷰어에게 제시될 수 있는 해상도보다 높을 수 있다.
[0083] 도 7에서, 뷰어의 눈(602)은 뷰어의 눈(602)이 도 6의 접안렌즈(600)에 대해 배향되는 제1 방식과 상이한, 접안렌즈(600)에 대해 제2 방식으로 배향된다. 도 7에서 뷰어의 눈(602)의 배향은 본원에서 설명된 감지 컴포넌트들 및/또는 기술들 중 하나 이상을 사용하여 AR 시스템에 의해 결정될 수 있다. 따라서, 도 7에 도시된 스테이지에서, AR 시스템은 머리-추적 및 중심와-추적 렌더링 관점들의 것들과 유사한 상대적 포지션들 및 배향들에서 머리-추적 및 중심와-추적 렌더링 관점들을 사용할 수 있다. 도 7의 특정 예에서, AR 시스템에 의해 사용된 중심와-추적 렌더링 관점의 FOV는 예컨대, 가상 객체(613)를 포함할 수 있지만, 가상 객체들(611 및 612) 중 어느 것도 포함하지 않을 수 있다. 따라서, 도 7에서, AR 시스템은 가상 객체(613)가 중심와-추적 가상 카메라의 관점으로부터 캡처됨에 따라 이 가상 객체(613)를 고화질로 렌더링할 수 있고, 가상 객체들(611 및 612)이 머리-추적 가상 카메라의 관점으로부터 캡처됨에 따라 이 가상 객체들(611 및 612)을 저화질로 렌더링할 수 있게 된다. 또한, AR 시스템은 접안렌즈(600)를 통해 그리고 뷰어의 눈(602)의 망막 상으로 가상 객체들(611, 612 및 613)의 이러한 렌더링들을 표현하는 광을 프로젝팅할 수 있다. 일부 실시예들에서, AR 시스템은 또한 가상 객체(613)가 머리-추적 가상 카메라의 관점으로부터 캡처됨에 따라 이 가상 객체(613)를 저화질로 렌더링할 수 있다.
[0084] 도 7은 또한 접안렌즈(600)에 의해 아웃커플링되고 뷰어의 눈(602)의 망막 상에 프로젝팅되는 예시적인 광 필드(630B)를 예시한다. 광 필드(630B)는 가상 객체들(611, 612 및 613)의 상술한 렌더링들 중 하나 이상을 나타내는 다양한 각도의 광 컴포넌트들을 포함할 수 있다. 예컨대, 가상 객체(611)가 머리-추적 가상 카메라의 관점으로부터 캡처될 때, 이 가상 객체(611)를 나타내는 광 필드(630B)의 각도 광 컴포넌트들은, 뷰어의 눈(602)에 대하여 -α 내지 -β 각도 유닛들의 각도들에서 뷰어의 눈(602)의 망막 상에 프로젝팅되는 것들을 포함할 수 있고, 가상 객체(612)가 머리-추적 가상 카메라의 관점으로부터 캡처될 때, 이 가상 객체(612)를 나타내는 광 필드(630B)의 각도 광 컴포넌트들은, 뷰어의 눈(602)에 대하여 -γ 내지 δ 각도 유닛들의 각도들에서 뷰어의 눈(602)의 망막 상에 프로젝팅되는 것들을 포함할 수 있다. 유사하게, 가상 객체(613)가 중심와-추적 가상 카메라의 관점으로부터 캡처될 때, 이 가상 객체(613)를 나타내는 광 필드(630B)의 각도 광 컴포넌트들은, 뷰어의 눈(602)에 대하여 ε 내지 ζ 각도 유닛들의 각도들에서 뷰어의 눈(602)의 중심와 상에 프로젝팅되는 것들을 포함할 수 있다. 따라서, 가상 객체(613)를 나타내는 광 필드(630B)의 컴포넌트들(즉, 뷰어의 눈(602)에 대해 ε 내지 ζ 각도 유닛들의 각도들로 프로젝팅될 컴포넌트들)은 가상 객체(611 또는 612)를 나타내는 광 필드(630A)의 컴포넌트들(즉, 뷰어의 눈(602)에 대해 -α 내지 -β 또는 -γ 내지 δ 각도 유닛들의 각도들로 프로젝팅될 컴포넌트들)보다 각 공간에서 훨씬 밀집되게 분포될 수 있다. 이러한 방식으로, 가상 객체(613)가 렌더링되어 뷰어에게 제시될 수 있는 해상도는, 가상 객체(611 또는 612)가 랜더링되어 뷰어에게 제시될 수 있는 해상도보다 높을 수 있다. 사실상, 도 6의 스테이지로부터 도 7의 스테이지까지, 이를 참조로 하여 본원에서 설명되는 AR 시스템은, 스테이지들 사이에서 뷰어의 눈(602)의 시선의 변화에 따라 고해상도로 가상 콘텐츠가 보여질 수 있는 원근감을 효과적으로 재배향시킨다.
[0085] 도 8a 내지 도 8c는 본 발명의 일부 다른 실시예들에 따른 디스플레이 시스템(800)을 개략적으로 예시한다. 디스플레이 시스템(800)은 이미지 소스(810), 빔 스플리터(830), 제1 광학 렌즈(842), 제2 광학 렌즈(844), 제3 광학 렌즈(845), 제4 광학 렌즈(846), 제5 광학 렌즈(847), 제6 광학 렌즈(848), 스캐닝 미러(860), 편광기(880) 및 스위칭 편광 회전기(890)를 포함한다. 이 컴포넌트들은, 변동되는 해상도들을 갖는 이미저리를 포함하는 합성 이미지를 디스플레이에서 생성하는 것을 돕기 위해 프로젝터가 다수의 이미지 소스들로부터 디스플레이로 광을 입력할 수 있게 한다.
[0086] 보다 구체적으로, 도 8a 내지 도 8c는 3개의 상이한 스테이지들 각각에서의 디스플레이 시스템(800)을 예시한다. 3개의 스테이지들 각각에서, 웨어러블 디스플레이 디바이스의 템플에 커플링될 수 있는 이미지 소스(810)는, 머리-추적 가상 카메라의 관점으로부터 캡처되는 바와 같은 가상 콘텐츠를 나타내는 다양한 각도 광 필드 컴포넌트들 및 중심와-추적 가상 카메라의 관점으로부터 캡처되는 바와 같은 가상 콘텐츠를 나타내는 다양한 각도 광 필드 컴포넌트들을 출력할 수 있다. 각도 광 필드 컴포넌트들의 2개의 세트들은 예컨대, 시분할 멀티플렉싱되고, 편광-분할 멀티플렉싱되고, 파장-분할 멀티플렉싱 등이 될 수 있다. 따라서, 머리-추적 가상 카메라와 연관된 각도 광 필드 컴포넌트들은 제1 및 제2 광학 렌즈들(842 및 844)을 통한 제1 광학 경로를 따라 편광 빔 스플리터(830)에 의해 상향으로 전환될 수 있고, 중심와-추적 가상 카메라와 연관된 각도 광 필드 컴포넌트들은 제3 및 제4 광학 렌즈들(845 및 846)을 통한 제2 광학 경로를 따라 스캐닝 미러(860)를 향해 편광 빔 스플리터(830)를 통과하고 제5 및 제6 광학 렌즈들(847 및 848)를 통해 상향으로 반사될 수 있다.
[0087] 머리-추적 가상 카메라와 연관된 각도 광 필드 컴포넌트들에 의해 표현되는 가상 콘텐츠는 비교적 낮은 해상도로 이미지 소스(810)로부터 업스트림으로 렌더링될 수 있는 반면, 중심와-추적 가상 카메라와 연관된 각도 광 필드 컴포넌트들에 의해 표현되는 가상 콘텐츠는 비교적 높은 해상도로 이미지 소스(810)로부터 업스트림으로 렌더링될 수 있다. 그리고, 도 8a 내지 도 8c에 도시된 바와 같이, 디스플레이 시스템(800)은 높은 FOV 및 낮은 FOV 광 필드들로서 각각, 머리-추적 렌더링 관점과 연관된 각도 광 필드 컴포넌트들 및 중심와-추적 렌더링 관점과 연관된 각도 광 필드 컴포넌트들을 출력하도록 구성될 수 있다. 도 8a 내지 도 8c 각각에서, 제1 광학 경로를 따라 전파되는 광 필드 컴포넌트들은 비교적 넓은 원뿔형 광(852)으로서 디스플레이 시스템(800)에 의해 출력된다.
[0088] 도 8a에 도시된 스테이지에서, 스캐닝 미러(860)는 제1 포지션에 있다. 따라서, 편광 빔 스플리터(830)를 통과하고 제2 광학 경로를 따라 전파되는 광 필드 컴포넌트들은, 각 공간의 실질적으로 중심 구역에 걸친 비교적 좁은 원뿔형 광(854A)으로서 디스플레이 시스템(800)에 의해 출력된다는 것을 알 수 있다. 도 6 및 도 7을 참조하여 위에서 설명된 예들의 맥락 내에서, 예컨대, 디스플레이 시스템(800)은 사용자의 눈이 도 6의 뷰어의 눈(602)의 것과 유사한 방식으로 배향될 때 도 8a에 도시된 제1 포지션에 스캐닝 미러(860)를 배치할 수 있다. 이러한 방식으로, 광 컴포넌트들(854A)은 렌더링 공간의 비교적 중앙 구역의 가상 콘텐츠, 이를테면, 가상 객체(612)를 표현할 수 있다. 도 6 및 도 7의 예들에 부가하여, 비교적 넓은 원뿔형 광(852)은, 예컨대, 렌더링 공간의 중앙-외 구역(off-centered region)들의 가상 콘텐츠, 이를테면, 가상 객체들(611 및 613)을 포함할 수 있다. 일부 예들에서, 비교적 넓은 원뿔형 광(852)은 광 컴포넌트들(854A)에 의해 표현되는 것과 동일하지만 해상도가 더 낮은 가상 콘텐츠를 표현하는 광 컴포넌트들을 더 포함할 수 있다.
[0089] 도 8b에 도시된 스테이지에서, 스캐닝 미러(860)는 제1 포지션과 상이한 제2 포지션에 있다. 따라서, 편광 빔 스플리터(830)를 통과하고 제2 광학 경로를 따라 전파되는 광 필드 컴포넌트들은, 각 공간의 하나의 실질적으로 중앙-외 구역에 걸친 비교적 좁은 원뿔형 광(854B)으로서 디스플레이 시스템(800)에 의해 출력된다는 것을 알 수 있다. 도 6 및 도 7을 참조하여 위에서 설명된 예들의 맥락 내에서, 예컨대, 디스플레이 시스템(800)은, 뷰어가 가상 객체(611)를 바라보는 동안 뷰어의 눈(602)의 것과 유사한 방식으로 사용자의 눈이 배향될 때 도 8B에 도시된 제2 포지션에 스캐닝 미러(860)를 배치할 수 있다. 이러한 방식으로, 광 컴포넌트들(854B)은 렌더링 공간의 하나의 비교적 중앙-외 구역의 가상 콘텐츠, 이를테면, 가상 객체(611)를 표현할 수 있다. 도 6 및 도 7의 예들에 부가하여, 비교적 넓은 원뿔형 광(852)은, 예컨대, 렌더링 공간의 다른 중앙-외 구역의 가상 콘텐츠, 이를테면, 가상 객체(613) 뿐만 아니라, 렌더링 공간의 중앙 구역의 가상 콘텐츠, 이를테면, 가상 객체(612)를 포함할 수 있다. 일부 예들에서, 비교적 넓은 원뿔형 광(852)은 광 컴포넌트(854B)에 의해 표현되는 것과 동일하지만 해상도가 더 낮은 가상 콘텐츠를 표현하는 광 컴포넌트들을 더 포함할 수 있다.
[0090] 도 8c에 도시된 스테이지에서, 스캐닝 미러(860)는 제1 및 제2 포지션들과 상이한 제3 포지션에 있다. 따라서, 편광 빔 스플리터(830)를 통과하고 제2 광학 경로를 따라 전파되는 광 필드 컴포넌트들은, 각 공간의 다른, 상이한 실질적으로 중앙-외 구역에 걸친 비교적 좁은 원뿔형 광(854C)으로서 디스플레이 시스템(800)에 의해 출력된다는 것을 알 수 있다. 도 6 및 도 7을 참조하여 위에서 설명된 예들의 맥락 내에서, 예컨대, 디스플레이 시스템(800)은 사용자의 눈이 도 7의 뷰어의 눈(602)의 것과 유사한 방식으로 배향될 때 도 8c에 도시된 제2 포지션에 스캐닝 미러(860)를 배치할 수 있다. 이러한 방식으로, 광 컴포넌트들(854C)은 렌더링 공간의 다른 비교적 중앙-외 구역의 가상 콘텐츠, 이를테면, 가상 객체(613)를 표현할 수 있다. 도 6 및 도 7의 예들에 부가하여, 비교적 넓은 원뿔형 광(852)은, 예컨대, 도 8b를 참조하여 위에서 설명된 렌더링 공간의 중앙-외 구역의 가상 콘텐츠, 이를테면, 가상 객체(611) 뿐만 아니라, 렌더링 공간의 중앙 구역의 가상 콘텐츠, 이를테면, 가상 객체(612)를 포함할 수 있다. 일부 예들에서, 비교적 넓은 원뿔형 광(852)은 광 컴포넌트(854C)에 의해 표현되는 것과 동일하지만 해상도가 더 낮은 가상 콘텐츠를 표현하는 광 컴포넌트들을 더 포함할 수 있다.
[0091] 설명된 실시예들의 다양한 양상들, 실시예들, 구현들 또는 특징들은 개별적으로 또는 임의의 조합으로 사용될 수 있다. 설명된 실시예들의 다양한 양상들은 소프트웨어, 하드웨어 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 설명된 실시예들은 또한 제조 동작들을 제어하기 위한 컴퓨터 판독 가능 매체 상의 컴퓨터 판독 가능 코드로서 또는 제조 라인을 제어하기 위한 컴퓨터 판독 가능 매체 상의 컴퓨터 판독 가능 코드로서 구체화될 수 있다. 컴퓨터 판독 가능 매체는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이며, 이는 이후에 컴퓨터 시스템에 의해 판독될 수 있다. 컴퓨터 판독 가능 매체의 예들은 판독-전용 메모리, 랜덤-액세스 메모리, CD-ROM들, HDD들, DVD들, 자기 테이프 및 광학 데이터 저장 디바이스들을 포함한다. 컴퓨터 판독 가능 매체는 또한 네트워크-커플링된 컴퓨터 시스템들에 걸쳐 분배될 수 있어서, 컴퓨터 판독 가능 코드는 분배된 방식으로 저장 및 실행될 수 있다.
[0092] 위의 설명은 설명 목적들을 위해, 설명된 실시예들의 완전한 이해를 제공하기 위해 특정 명칭을 사용하였다. 그러나, 특정한 세부사항들이 설명된 실시예들을 실시하기 위해 요구되는 것은 아니라는 것이 당업자에게 명백할 것이다. 따라서, 특정 실시예들의 위의 설명은 예시 및 설명의 목적들로 제시된다. 이들은 설명된 실시예들을 개시된 그 형태들로 제한하거나 총망라하려는 것은 아니다. 위의 교시들의 관점에서 다수의 수정들 및 변형들이 가능하다는 것이 당업자에게 명백할 것이다.

Claims (20)

  1. 웨어러블 디스플레이 디바이스로서,
    사용자의 머리에 상기 웨어러블 디스플레이 디바이스를 고정하도록 구성된 부착 부재를 포함하는 프레임; 및
    상기 프레임에 커플링된 디스플레이 어셈블리를 포함하고,
    상기 디스플레이 어셈블리는,
    가상 콘텐츠의 각 표현(angular representation)을 상기 사용자의 눈으로 프로젝팅하도록 구성된 하나 이상의 광 도파관들을 포함하는 메인 디스플레이, 및
    상기 메인 디스플레이에 접하면서 둘러싸는 주변 디스플레이를 포함하며,
    상기 주변 디스플레이는 상기 가상 콘텐츠의 공간 표현을 생성하도록 구성되는 스크린-기반 디스플레이를 포함하고, 상기 주변 디스플레이의 상기 스크린-기반 디스플레이는 상기 메인 디스플레이의 상기 하나 이상의 광 도파관들과 물리적으로 접촉하는,
    웨어러블 디스플레이 디바이스.
  2. 삭제
  3. 제1 항에 있어서,
    상기 주변 디스플레이의 제1 구역은 상기 주변 디스플레이의 제2 구역보다 높은 공간 해상도로 콘텐츠를 보여주고, 상기 제1 구역은 상기 제2 구역보다 사용자의 주시 필드(field of regard)에 더 근접한,
    웨어러블 디스플레이 디바이스.
  4. 제3 항에 있어서,
    픽셀들은 상기 제2 구역에서 보다, 상기 제1 구역에서 함께 더 근접하게 이격되는,
    웨어러블 디스플레이 디바이스.
  5. 제1 항에 있어서,
    상기 메인 디스플레이는 상기 주변 디스플레이의 적어도 일부와 중첩되는,
    웨어러블 디스플레이 디바이스.
  6. 제1 항에 있어서,
    상기 메인 디스플레이는 상기 사용자의 왼쪽 눈과 연관된 제1 메인 디스플레이 및 상기 사용자의 오른쪽 눈과 연관된 제2 메인 디스플레이를 포함하고, 상기 제1 메인 디스플레이 및 상기 제2 메인 디스플레이는 둘 모두 상기 주변 디스플레이의 층에 커플링되는,
    웨어러블 디스플레이 디바이스.
  7. 삭제
  8. 머리-장착 디스플레이 디바이스로서,
    사용자의 머리에 상기 머리-장착 디스플레이 디바이스를 고정하도록 구성된 부착 부재를 포함하는 프레임; 및
    상기 프레임에 커플링되며, 가상 콘텐츠를 상기 사용자의 눈을 향해 출력하도록 구성된 디스플레이 어셈블리를 포함하고,
    상기 디스플레이 어셈블리는,
    제1 해상도를 갖는 제1 구역 － 상기 제1 구역은 상기 가상 콘텐츠의 각 표현을 상기 사용자의 눈으로 프로젝팅하도록 구성된 하나 이상의 광 도파관들을 포함함 －;
    상기 제1 구역에 적어도 부분적으로 접하면서 둘러싸고 제2 해상도를 갖는 제2 구역 － 상기 제2 해상도는 상기 제1 해상도보다 낮으며, 상기 제2 구역은 상기 가상 콘텐츠의 공간 표현을 생성하도록 구성되는 스크린-기반 디스플레이를 포함함 －; 및
    상기 제1 구역과 상기 제2 구역 사이의 트랜지션 구역(transition region)을 포함하며,
    상기 트랜지션 구역은, 상기 제2 구역에 인접한 상기 트랜지션 구역의 제2 측보다 상기 제1 구역에 인접한 상기 트랜지션 구역의 제1 측 상에서 더 높은 가변 해상도를 갖고, 상기 트랜지션 구역은 상기 제1 구역 및 상기 제2 구역 각각과 물리적으로 접촉하는,
    머리-장착 디스플레이 디바이스.
  9. 제8 항에 있어서,
    상기 제1 구역은 상기 사용자의 눈의 주시 필드를 커버하도록 크기가 정해지는,
    머리-장착 디스플레이 디바이스.
  10. 제8 항에 있어서,
    상기 제2 구역은 상기 가상 콘텐츠를 그레이스케일(grayscale)로 렌더링하고, 상기 제1 구역은 상기 가상 콘텐츠를 컬러로 렌더링하는,
    머리-장착 디스플레이 디바이스.
  11. 제8 항에 있어서,
    상기 제1 구역의 공간 해상도는 상기 제2 구역의 공간 해상도보다 높은,
    머리-장착 디스플레이 디바이스.
  12. 제8 항에 있어서,
    상기 스크린-기반 디스플레이는 투명 OLED(organic light emitting diode) 디스플레이인,
    머리-장착 디스플레이 디바이스.
  13. 제8 항에 있어서,
    상기 디스플레이 어셈블리의 내부 표면 또는 외부 표면 상에 콘텐츠를 프로젝팅함으로써 상기 제1 구역을 조명하도록 구성된 피코-프로젝터(pico-projector)를 더 포함하는,
    머리-장착 디스플레이 디바이스.
  14. 제8 항에 있어서,
    상기 제2 구역은, 상기 머리-장착 디스플레이 디바이스가 착용될 때 상기 제1 구역의 주변부와 사용자의 얼굴 사이의 간극을 채우도록 크기가 정해지는,
    머리-장착 디스플레이 디바이스.
  15. 제8 항에 있어서,
    상기 제2 구역은 제1 구역보다 큰 곡률을 갖는,
    머리-장착 디스플레이 디바이스.
  16. 웨어러블 디스플레이 디바이스로서,
    프레임;
    상기 프레임에 커플링된 프로젝터; 및
    디스플레이 어셈블리를 포함하고,
    상기 디스플레이 어셈블리는,
    상기 프레임에 커플링되며, 가상 콘텐츠의 각 표현을 사용자의 눈으로 프로젝팅하도록 구성된 하나 이상의 광 도파관들을 포함하는 메인 디스플레이, 및
    상기 메인 디스플레이에 적어도 부분적으로 접하면서 둘러싸는 주변 디스플레이를 포함하며,
    상기 주변 디스플레이는 상기 가상 콘텐츠의 공간 표현을 출력하도록 구성되는 스크린-기반 디스플레이를 포함하고, 상기 주변 디스플레이의 상기 스크린-기반 디스플레이는 상기 메인 디스플레이의 상기 하나 이상의 광 도파관들과 물리적으로 접촉하는,
    웨어러블 디스플레이 디바이스.
  17. 제16 항에 있어서,
    상기 웨어러블 디스플레이 디바이스를 상기 사용자에게 부착하고 그리고 상기 프레임에 대해 회전하도록 구성된 템플(temple)들을 더 포함하고,
    상기 주변 디스플레이는 상기 프레임에 대한 상기 템플들의 회전을 수용하도록 구부러지고 휘어지도록 구성되는,
    웨어러블 디스플레이 디바이스.
  18. 제16 항에 있어서,
    상기 주변 디스플레이의 일부는, 상기 웨어러블 디스플레이 디바이스가 상기 사용자에 의해 착용되고 있을 때에, 부착 부재의 일부와 상기 웨어러블 디스플레이 디바이스의 상기 사용자 사이에 포지셔닝되는,
    웨어러블 디스플레이 디바이스.
  19. 제16 항에 있어서,
    상기 사용자의 주위 환경을 모니터링하도록 구성되는 카메라를 더 포함하고,
    상기 주변 디스플레이는, 상기 프레임의 하나 이상의 광학적으로 불투명한 부분들 위에 상기 사용자의 주위 환경을 디스플레이하도록 구성되는,
    웨어러블 디스플레이 디바이스.
  20. 제16 항에 있어서,
    상기 주변 디스플레이는, 상기 메인 디스플레이의 적어도 하나의 측을 따라 포지셔닝되는 하나 이상의 광학 컴포넌트들에 광학적으로 커플링되는,
    웨어러블 디스플레이 디바이스.
KR1020197017215A 2016-11-16 2017-11-16 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리 KR102516095B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237010311A KR102563846B1 (ko) 2016-11-16 2017-11-16 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662423162P 2016-11-16 2016-11-16
US62/423,162 2016-11-16
US201762475012P 2017-03-22 2017-03-22
US62/475,012 2017-03-22
US201762539934P 2017-08-01 2017-08-01
US62/539,934 2017-08-01
PCT/US2017/062070 WO2018094086A1 (en) 2016-11-16 2017-11-16 Multi-resolution display assembly for head-mounted display systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237010311A Division KR102563846B1 (ko) 2016-11-16 2017-11-16 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리

Publications (2)

Publication Number Publication Date
KR20190082916A KR20190082916A (ko) 2019-07-10
KR102516095B1 true KR102516095B1 (ko) 2023-03-29

Family

ID=62108439

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237010311A KR102563846B1 (ko) 2016-11-16 2017-11-16 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리
KR1020197017215A KR102516095B1 (ko) 2016-11-16 2017-11-16 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237010311A KR102563846B1 (ko) 2016-11-16 2017-11-16 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리

Country Status (9)

Country Link
US (2) US10948722B2 (ko)
EP (1) EP3542359A4 (ko)
JP (2) JP7212616B2 (ko)
KR (2) KR102563846B1 (ko)
CN (2) CN116153272A (ko)
AU (1) AU2017362344B2 (ko)
CA (1) CA3042554C (ko)
IL (2) IL301297B1 (ko)
WO (1) WO2018094086A1 (ko)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630754B1 (ko) 2015-03-16 2024-01-26 매직 립, 인코포레이티드 증강 현실 펄스 옥시미트리
AU2017246901B2 (en) 2016-04-08 2022-06-02 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
KR102563846B1 (ko) 2016-11-16 2023-08-03 매직 립, 인코포레이티드 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리
CN110537122B (zh) 2017-02-23 2022-04-29 奇跃公司 基于偏振转换的可变焦虚拟图像设备
AU2018239511A1 (en) 2017-03-22 2019-10-17 Magic Leap, Inc. Depth based foveated rendering for display systems
AU2018240367B2 (en) 2017-03-22 2022-06-02 Magic Leap, Inc. Dynamic field of view variable focus display system
CA3057878A1 (en) * 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
US11861255B1 (en) 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
GB2563832B (en) * 2017-06-23 2021-11-10 Sony Interactive Entertainment Inc Display method and apparatus
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10726627B2 (en) * 2017-07-25 2020-07-28 Facebook Technologies, Llc Sensor system based on stacked sensor layers
US11568609B1 (en) 2017-07-25 2023-01-31 Meta Platforms Technologies, Llc Image sensor having on-chip compute circuit
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11347052B2 (en) * 2017-10-23 2022-05-31 Sony Corporation Display control apparatus, head mounted display, and display control method
US10895913B1 (en) * 2018-01-05 2021-01-19 Amazon Technologies, Inc. Input control for augmented reality applications
US11057581B2 (en) 2018-01-24 2021-07-06 Facebook Technologies, Llc Digital pixel array with multi-stage readouts
US10535319B2 (en) 2018-02-23 2020-01-14 Facebook Technologies, Llc Apparatus, systems, and methods for displaying images in rotated display regions of display screens
EP3765943A4 (en) 2018-03-16 2021-12-22 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS
US11595637B2 (en) * 2018-05-14 2023-02-28 Dell Products, L.P. Systems and methods for using peripheral vision in virtual, augmented, and mixed reality (xR) applications
US10788892B2 (en) * 2018-05-23 2020-09-29 Facebook Technologies, Llc In-field illumination and imaging for eye tracking
US11455031B1 (en) 2018-06-04 2022-09-27 Meta Platforms Technologies, Llc In-field illumination for eye tracking
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
CN112673298A (zh) * 2018-07-05 2021-04-16 奇跃公司 用于头戴式显示系统的基于波导的照明
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11450297B1 (en) * 2018-08-30 2022-09-20 Apple Inc. Electronic device with central and peripheral displays
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
CN113196132A (zh) 2018-12-07 2021-07-30 阿维甘特公司 可操纵定位元件
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US10962795B1 (en) 2018-12-17 2021-03-30 Facebook Technologies, Llc Display with a resolution enhanced region
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US10897601B2 (en) 2018-12-19 2021-01-19 Microsoft Technology Licensing, Llc Display projector with non-uniform pixel resolution
JP7460637B2 (ja) 2019-01-07 2024-04-02 エイヴギャント コーポレイション 制御システムおよびレンダリングパイプライン
US20200285055A1 (en) * 2019-03-08 2020-09-10 Varjo Technologies Oy Direct retina projection apparatus and method
US11686935B2 (en) * 2019-01-29 2023-06-27 Meta Platforms Technologies, Llc Interferometric structured illumination for depth determination
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
KR102649783B1 (ko) 2019-03-29 2024-03-20 아브간트 코포레이션 도파관을 사용한 조향 가능한 하이브리드 디스플레이
US11650426B2 (en) 2019-05-09 2023-05-16 Meta Platforms Technologies, Llc Holographic optical elements for eye-tracking illumination
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US20210063745A1 (en) * 2019-08-27 2021-03-04 Apple Inc. Transparent Display System With Peripheral Illumination
KR20210138739A (ko) * 2019-09-27 2021-11-19 애플 인크. 애디티브 디스플레이들을 갖는 관리 디바이스들
US10928695B1 (en) 2019-10-11 2021-02-23 Facebook Technologies, Llc Rotated displays for electronic devices
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
EP4045964A4 (en) 2019-10-17 2023-11-08 Magic Leap, Inc. ATTENUATION OF LIGHT TRANSMISSION ARTIFACTS IN PORTABLE DISPLAY UNITS
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11947108B2 (en) * 2019-11-14 2024-04-02 Intel Corporation Gaze-attenuated virtual desktop
KR20220120615A (ko) 2020-01-06 2022-08-30 아브간트 코포레이션 색 특이적인 변조를 이용한 머리 장착형 시스템
US11056030B1 (en) * 2020-02-06 2021-07-06 Varjo Technologies Oy Display apparatus and method of enhancing apparent resolution using liquid-crystal device
US11348514B2 (en) * 2020-02-06 2022-05-31 Varjo Technologies Oy LED-based display apparatus and method incorporating sub-pixel shifting
US11170678B2 (en) * 2020-02-06 2021-11-09 Varjo Technologies Oy Display apparatus and method incorporating gaze-based modulation of pixel values
US11307410B2 (en) * 2020-02-06 2022-04-19 Varjo Technologies Oy Display apparatus and method incorporating adaptive pose locking
WO2021178908A1 (en) * 2020-03-06 2021-09-10 Magic Leap, Inc. Angularly selective attenuation of light transmission artifacts in wearable displays
US11119326B1 (en) 2020-03-11 2021-09-14 Snap Inc. Eyewear display for generating an immersive image
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
WO2022066341A1 (en) * 2020-09-22 2022-03-31 Sterling Labs Llc Attention-driven rendering for computer-generated objects
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
CN112578564B (zh) * 2020-12-15 2023-04-11 京东方科技集团股份有限公司 一种虚拟现实显示设备及显示方法
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
KR20230023845A (ko) 2021-08-10 2023-02-20 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 전자 장치
US20230236420A1 (en) * 2021-08-17 2023-07-27 Texas Instruments Incorporated Compact near eye display engine
US20230161217A1 (en) * 2021-11-24 2023-05-25 Meta Platforms Technologies, Llc Light guide display system for providing increased pixel density
WO2023139445A1 (ja) * 2022-01-21 2023-07-27 株式会社半導体エネルギー研究所 電子機器
CN115185083B (zh) * 2022-07-14 2024-02-06 东南大学 一种ar头戴显示器自适应刷新率和分辨率渲染方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005521099A (ja) 2002-03-21 2005-07-14 ラマス リミテッド 光導体光学装置
JP2013214856A (ja) 2012-04-02 2013-10-17 Seiko Epson Corp 頭部装着型表示装置
WO2013188690A2 (en) 2012-06-15 2013-12-19 Michael Wang Projector based display systems and methods
US20150234477A1 (en) 2013-07-12 2015-08-20 Magic Leap, Inc. Method and system for determining user input based on gesture
JP2015172616A (ja) 2014-03-11 2015-10-01 パナソニック株式会社 ディスプレイ装置
US20150317956A1 (en) * 2014-04-30 2015-11-05 International Business Machines Corporation Head mounted display utilizing compressed imagery in the visual periphery
US20160240013A1 (en) * 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2932075C2 (de) 1979-08-08 1986-04-10 Barmag Barmer Maschinenfabrik Ag, 5630 Remscheid Friktionsfalschdraller
JPS6282245A (ja) * 1985-10-03 1987-04-15 Honda Motor Co Ltd 内燃エンジンの始動時の燃料供給方法
JPH05108036A (ja) * 1991-10-18 1993-04-30 Sony Corp 表示装置
JPH0638219A (ja) * 1992-07-20 1994-02-10 Olympus Optical Co Ltd 映像表示装置
JPH06282245A (ja) * 1993-03-25 1994-10-07 Toshiba Corp 画像表示装置および画像処理システム
JPH09130519A (ja) * 1995-10-30 1997-05-16 Minolta Co Ltd フィルム画像再生装置
JPH09305156A (ja) * 1996-05-16 1997-11-28 Nippon Telegr & Teleph Corp <Ntt> 映像表示方法及び装置
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
US7081870B2 (en) 2001-05-09 2006-07-25 Hewlett-Packard Development Company, L.P. Wearable display and method of displaying images using a wearable display
JP2004056335A (ja) * 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
US6890077B2 (en) * 2002-11-27 2005-05-10 The Boeing Company Method and apparatus for high resolution video image display
US7672119B2 (en) * 2006-12-18 2010-03-02 Jonathan Marc Hollander Folding user interface
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
MX2013006722A (es) * 2010-12-16 2014-01-31 Lockheed Corp Visualizador colimante con lentes de pixel.
US9316834B2 (en) * 2011-11-24 2016-04-19 Panasonic Intellectual Property Management Co., Ltd. Head-mounted display device with foveated pixels
US9417660B2 (en) * 2012-04-25 2016-08-16 Kopin Corporation Collapsible head set computer
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20140146394A1 (en) * 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
JP6070259B2 (ja) * 2013-02-22 2017-02-01 セイコーエプソン株式会社 導光装置の製造方法、導光装置及び虚像表示装置
US20140253605A1 (en) * 2013-03-05 2014-09-11 John N. Border Controlling brightness of a displayed image
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9495125B2 (en) * 2013-08-13 2016-11-15 Beijing Lenovo Software Ltd. Electronic device and display method
CN109445095B (zh) 2013-11-27 2021-11-23 奇跃公司 虚拟和增强现实系统与方法
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
KR102247831B1 (ko) * 2014-02-06 2021-05-04 삼성전자 주식회사 변형 가능한 디스플레이를 포함하는 전자 장치 및 그의 운용 방법
CN106662754B (zh) 2014-05-30 2021-05-25 奇跃公司 用于采用虚拟或增强现实装置生成虚拟内容显示的方法和系统
US9451802B2 (en) 2014-08-08 2016-09-27 Fusar Technologies, Inc. Helmet system and methods
KR102232419B1 (ko) * 2014-08-26 2021-03-26 엘지전자 주식회사 웨어러블 디스플레이 디바이스 및 그 제어 방법
US9557822B2 (en) * 2014-09-08 2017-01-31 Atheer, Inc. Method and apparatus for distinguishing features in data
US20160150219A1 (en) * 2014-11-20 2016-05-26 Mantisvision Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation
US9759919B2 (en) * 2015-01-05 2017-09-12 Microsoft Technology Licensing, Llc Virtual image display with curved light path
JP6488786B2 (ja) * 2015-03-17 2019-03-27 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
CA2989414A1 (en) 2015-06-15 2016-12-22 Magic Leap, Inc. Display system with optical elements for in-coupling multiplexed light streams
CN108027984B (zh) 2015-09-25 2022-05-13 奇跃公司 用于在3d重建中检测和组合结构特征的方法和系统
WO2017070121A1 (en) 2015-10-20 2017-04-27 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
US9851792B2 (en) * 2016-04-27 2017-12-26 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
KR102563846B1 (ko) 2016-11-16 2023-08-03 매직 립, 인코포레이티드 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005521099A (ja) 2002-03-21 2005-07-14 ラマス リミテッド 光導体光学装置
JP2013214856A (ja) 2012-04-02 2013-10-17 Seiko Epson Corp 頭部装着型表示装置
WO2013188690A2 (en) 2012-06-15 2013-12-19 Michael Wang Projector based display systems and methods
US20150234477A1 (en) 2013-07-12 2015-08-20 Magic Leap, Inc. Method and system for determining user input based on gesture
JP2015172616A (ja) 2014-03-11 2015-10-01 パナソニック株式会社 ディスプレイ装置
US20150317956A1 (en) * 2014-04-30 2015-11-05 International Business Machines Corporation Head mounted display utilizing compressed imagery in the visual periphery
US20160240013A1 (en) * 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display

Also Published As

Publication number Publication date
US11604353B2 (en) 2023-03-14
WO2018094086A1 (en) 2018-05-24
CA3042554A1 (en) 2018-05-24
EP3542359A1 (en) 2019-09-25
JP2023021184A (ja) 2023-02-09
IL266500B2 (en) 2023-08-01
CN116153272A (zh) 2023-05-23
IL301297A (en) 2023-05-01
US10948722B2 (en) 2021-03-16
KR20190082916A (ko) 2019-07-10
IL301297B1 (en) 2024-04-01
CN110226199A (zh) 2019-09-10
IL266500B1 (en) 2023-04-01
EP3542359A4 (en) 2019-12-18
US20210239991A1 (en) 2021-08-05
JP7212616B2 (ja) 2023-01-25
CA3042554C (en) 2023-07-18
AU2017362344A1 (en) 2019-05-16
JP2019537060A (ja) 2019-12-19
KR102563846B1 (ko) 2023-08-03
AU2017362344B2 (en) 2023-09-28
CN110226199B (zh) 2022-11-22
IL266500A (en) 2019-07-31
US20180136471A1 (en) 2018-05-17
KR20230047208A (ko) 2023-04-06

Similar Documents

Publication Publication Date Title
KR102516095B1 (ko) 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리
US11714284B2 (en) Display device including foveal and peripheral projectors
US20230251492A1 (en) Depth based foveated rendering for display systems
US11710469B2 (en) Depth based foveated rendering for display systems
US20210124177A1 (en) Dynamic field of view variable focus display system
JP6286781B2 (ja) 眼鏡型画像表示装置
CA2976905A1 (en) Systems, devices, and methods for eyebox expansion in wearable heads-up displays
CN114365027A (zh) 显示具有景深的物体的系统与方法
US11122256B1 (en) Mixed reality system
TW202136861A (zh) 顯示一個具有景深的物體的系統與方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant