KR102649783B1 - 도파관을 사용한 조향 가능한 하이브리드 디스플레이 - Google Patents

도파관을 사용한 조향 가능한 하이브리드 디스플레이 Download PDF

Info

Publication number
KR102649783B1
KR102649783B1 KR1020217032204A KR20217032204A KR102649783B1 KR 102649783 B1 KR102649783 B1 KR 102649783B1 KR 1020217032204 A KR1020217032204 A KR 1020217032204A KR 20217032204 A KR20217032204 A KR 20217032204A KR 102649783 B1 KR102649783 B1 KR 102649783B1
Authority
KR
South Korea
Prior art keywords
foveal
display
optics
beam splitter
field
Prior art date
Application number
KR1020217032204A
Other languages
English (en)
Other versions
KR20210144748A (ko
Inventor
아론 매튜 이쉬
앤드류 존 그로스
크리스토퍼 데이비드 웨스트라
에드워드 치아 닝 탕
3세 워렌 코넬리우스 웰치
Original Assignee
아브간트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아브간트 코포레이션 filed Critical 아브간트 코포레이션
Publication of KR20210144748A publication Critical patent/KR20210144748A/ko
Application granted granted Critical
Publication of KR102649783B1 publication Critical patent/KR102649783B1/ko

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

조향 가능한 거울, 도파관, 제1 광학계, 중간 광학계, 및 최종 광학계를 포함하는 시스템. 시스템은 중심와 이미지 요소를 위한 제1 광 경로, 제1 광학계를 포함하는 제1 광 경로, 중심와 이미지 요소의 위치를 특정한 방향으로 조향시키는 조향 가능한 거울, 중간 광학계, 및 중심와 이미지 요소를 도파관의 인-결합 영역(in-coupling region)으로 지향시키는 최종 광학계를 포함한다. 시스템은 필드 이미지 요소를 위한 제2 광 경로를 더 포함하고, 제2 광 경로는 최종 광학계를 포함한다.

Description

도파관을 사용한 조향 가능한 하이브리드 디스플레이
관련된 출원
본 출원은 미국 특허 가출원 제62/826,888호(출원일: 2019년 3월 29일)의 우선권을 주장하고, 이 출원의 전문을 원용한다.
분야
본 발명은 디스플레이에 관한 것이고, 특히 조향 가능한 디스플레이에 관한 것이다.
근안 디스플레이는 넓은 시야(FOV)에 걸쳐, 고 해상도로 이미지를 디스플레이하는 경쟁적인 요구조건을 갖는다. 가상 및 증강 현실에서의 많은 적용에 대해, 시야는 90도보다 커야 하며, 이상적으로 쌍안 시야는 180도를 넘어 확장될 것이다. 동시에, 디스플레이의 해상도는 가상 이미지에서 픽셀화가 거의 또는 전혀 인지되지 않도록 인간 시각 시스템의 해상도와 매칭해야 한다. 단일 시스템에서 이 2가지 요구조건을 조합하는 것은 다수의 도전을 제공한다.
부가적으로, 전체 시야에 걸쳐 충분히 높은 해상도로 넓은 FOV 이미지를 사용자에게 투영할 수 있는 광학 시스템은 또한 설계하기 어렵다. 렌더링, 데이터 레이트, 및 패널 요구조건을 동시에 감소시키면서, 사용자에게 넓은 시야에 걸쳐 고 해상도 이미지를 제공할 수 있는 시스템 아키텍처는 증강 및 가상 현실 시스템을 위한 새로운 적용을 가능하게 할 것이다.
또한, 증강 현실에서의 많은 적용에 대해, 디바이스의 폼 팩터(form factor)는 일반 안경과 유사하도록 요망될 수 있다. 이것은 부가적인 광학 설계 도전을 제공한다.
본 발명은 제한이 아닌 예로서 도시되고 첨부된 도면의 도면에서 유사한 참조 부호는 유사한 요소를 언급하며, 여기서:
도 1a는 도파관에 투입된 합성된 조향 가능한 중심와 디스플레이(foveal display) 및 필드 디스플레이를 도시하는 하이브리드 디스플레이의 일 실시형태를 도시한 도면.
도 1b는 중심와 디스플레이가 상이한 위치로 조향된, 도 1a의 디스플레이의 일 실시형태를 도시한 도면.
도 2는 조향 가능한 중심와 경로 및 필드 경로로 공간적으로 분할된 단일 디스플레이를 갖는 하이브리드 디스플레이를 사용하는 일 실시형태를 도시한 도면.
도 3a는 편광을 통해 선택된 조향 가능한 중심와 경로를 도시하는 단일 디스플레이를 갖는 하이브리드 디스플레이의 일 실시형태를 도시한 도면.
도 3b는 편광을 통해 선택된 필드 경로를 도시하는, 도 3a의 하이브리드 디스플레이의 일 실시형태를 도시한 도면.
도 4는 이중 도파관 구성의 일 실시형태를 도시한 도면.
도 5는 단일 도파관에서 분리된 인-결합 영역(in-coupling region)을 가지는 일 실시형태를 도시한 도면.
도 6은 도파관이 단일 인-결합 영역을 갖는, 조향 큐브(steering cube)를 사용하는 하이브리드 디스플레이의 일 실시형태를 도시한 도면.
도 7은 도파관이 2개의 인-결합 영역을 갖는, 조향 큐브를 사용하는 하이브리드 디스플레이의 또 다른 실시형태를 도시한 도면.
도 8은 단일 분할 디스플레이를 갖는, 조향 큐브를 사용하는 하이브리드 디스플레이의 또 다른 실시형태를 도시한 도면.
도 9는 본 도파관 기반 광학계가 사용될 수 있는 시스템의 일 실시형태의 블록도.
도 10은 시스템을 사용하는 일 실시형태의 흐름도.
도 11은 본 시스템과 함께 사용될 수 있는 컴퓨터 시스템의 블록도.
본 출원은 중심와 디스플레이로서 또한 언급된 조향 가능한 디스플레이, 및 필드 디스플레이 둘 모두가 사용자의 눈으로 지향되도록 도파관에 투입되는 하이브리드 디스플레이를 개시한다. 일 실시형태에서 중심와 디스플레이는 사용자의 중심와가 현재 위치되는 고 해상도 이미지를 제공하도록 이동 가능하게 배치되는 조향 가능한 디스플레이이다. "중심와(fovea)"는 시력이 가장 높은 눈의 망막에 있는 작은 함몰부이다.
일 실시형태에서, 시스템은 사용자의 눈의 시야의 중심, 또는 또 다른 산출된 위치와 정렬되도록 지향된 조향 가능한 중심와 디스플레이를 제공함으로써 이를 이용한다. 일 실시형태에서, 필드 디스플레이는 더 큰 시야에 걸쳐 더 낮은 해상도 필드 디스플레이 이미지를 제공한다. 이것은 사용자가 그들의 시선의 방향뿐만 아니라, 그들의 주변 시야에서 이미지를 인지한다는 것을 의미한다.
일 실시형태에서, 시스템은 주로 사용자 눈의 시야의 중심을 향하여 지향된, 중심와 디스플레이를 사용하여 더 높은 해상도의 이미지, 및 필드 디스플레이를 활용하여 넓은 시야에 걸쳐 더 낮은 해상도 필드 디스플레이 이미지를 제공한다. 이러한 필드 디스플레이 및 중심와 디스플레이 합성을 구현하는 일 실시형태는 미국 특허 번호 제10,514,546호에서 설명되고, 이 기초 출원은 본 명세서에 참조에 의해 원용된다. 이러한 필드 디스플레이 및 중심와 디스플레이를 구현하는 일 실시형태가 도 9 및 도 10과 관련하여 하기에서 설명된다.
일 실시형태에서, 시스템은 양안 및 주변 영역을 채우기 위해 작은 시야에 걸쳐 고 해상도 이미지 및 넓은 시야에 걸쳐 더 낮은 해상도 이미지를 제공하도록 눈 당 높은 픽셀 밀도 이미지를 사용한다. "이미지"가 논의될지라도, 당업자는 기술 및 설명이 비디오와 같은, 이미지의 연속 스트림의 디스플레이에 적용된다는 것을 이해할 것이다.
일 실시형태에서, 조향 가능한 중심와 디스플레이로부터의 이미지는 사용자의 눈으로 지향되도록 도파관에 입력된다. 일 실시형태에서, 2차 필드 디스플레이로부터의 이미지는 또한 도파관으로 입력된다. 일 실시형태에서, 2개의 디스플레이는 단일 도파관을 통해 출력될 수 있다. 또 다른 실시형태에서, 2개의 디스플레이는 별개의 연관된 도파관을 가질 수 있다.
본 출원은 다양한 위치에서 이미지를 출력할 수 있는 조향 가능한 디스플레이가 사용자의 눈에 출력하기 위해 도파관으로 조향되는 시스템을 설명한다. 조향 가능한 요소로부터 도파관으로 위치 결정 가능한 이미지를 조향하는 능력은 본 출원의 새로운 특징이다. 본 발명의 실시형태의 다음의 상세한 설명은 유사한 참조 부호가 유사한 요소를 나타내는 첨부된 도면을 참조하여, 예시로서 본 발명을 실시하는 특정 실시형태를 도시한다. 이 실시형태의 설명은 당업자가 본 발명을 실시하는 것을 가능하게 하도록 충분히 상세하다. 당업자는 다른 실시형태가 활용될 수 있고 본 발명의 범위를 벗어나지 않고 논리적, 기계적, 전기적, 기능적 및 다른 변경이 행해질 수 있음을 이해한다. 다음의 상세한 설명은 따라서, 제한적인 의미로 취해져서는 안 되며, 본 발명의 범위는 첨부된 청구항에 의해서만 정의된다.
도 1은 2차 필드 디스플레이와 합성되고 도파관에 투입된 조향 가능한 중심와 디스플레이의 일 실시형태를 도시한다. 일 실시형태에서 중심와 디스플레이 패널(110)은 DLP, LCOS, LBS, 마이크로LED, 마이크로OLED, LCD, 또는 또 다른 기술이다. 도 1 및 다른 도면에서 광 빔을 도시하기 위해 단일 라인이 사용될지라도, 당업자는 디스플레이 패널이 단일 광 빔이 아니라 전체 이미지를 투영한다는 것을 이해할 것이다.
중심와 디스플레이 패널(110)로부터의 중심와 이미지는 제1 광학계(115)를 통과한 다음, 조향 가능한 거울(130)로 이동된다. 일 실시형태에서 광학계(115)는 하나 이상의 렌즈를 포함한다. 일 실시형태에서, 하나 이상의 거울(120)은 광을 이동시키기 위해 사용될 수 있지만, 선택적이다.
조향 가능한 요소(130)는 사용자의 시야에서 선택된 위치로 이미지를 조향하기 위해 사용된다. 일 실시형태에서, 조향 가능한 요소(130)는 조향 가능한 거울이다. 사용자의 시야에서 선택한 위치로 이미지를 조향하기 위해 사용된 다른 유형의 요소가 사용될 수 있다. 상기 언급된 바와 같이, 중심와 이미지는 일 실시형태에서 사용자의 중심와를 목표로 할 수 있다. 일 실시형태에서, 조향 가능 요소(130)는 2개의 자유도를 갖고 범위 내의 어딘가에 중심와 이미지를 배치할 수 있다. 일 실시형태에서, 그 범위는 +/-1도와 +/-20도 사이이고, 중심와 이미지의 크기는 1도와 20도 사이이다.
조향 가능한 거울(130)로부터 반사된 이미지 데이터는 제2 세트의 광학계(140)를 통과할 수 있다. 일 실시형태에서 이 중간 광학계(140)는 하나 이상의 렌즈를 포함한다. 일 실시형태에서, 중간 광학계(140)는 회절 광학계일 수 있다. 일 실시형태에서, 중간 광학계(140)는 굴절 광학계일 수 있다. 일 실시형태에서, 광학계(140)는 편광 의존적일 수 있다. 광학계(140)의 출력은 중간 광학계(140) 다음에 중심와 디스플레이의 가상 이미지(145)를 형성한다. 일 실시형태에서 가상 이미지(145)는 중심와 디스플레이 패널(110)로부터의 이미지의 축소된 버전이다.
빔 스플리터/합성기(beam splitter/combiner)(150)는 필드 디스플레이 패널(160)로부터 이미지 데이터를 반사시키면서 중심와 이미지 광을 통과시킨다. 빔 스플리터/합성기(150)는 빔을 하나의 방향으로 분할하고, 다른 방향의 빔을 합성하는 요소이다. 빔 스플리터/합성기(150)는 이것이 하나의 빔을 수신할 때 빔 스플리터로서 작용하고, 상이한 방향으로 또 다른 부분을 통과시키면서 하나의 방향으로 그 일부를 반사한다. 빔 스플리터/합성기는 이것이 2개의 방향으로부터 이것에 진입하는 빔을 합성할 때 다른 빔을 통과시키면서 하나의 빔을 반사함으로써 빔 합성기의 역할을 한다. 빔 스플리터/합성기(150)는 이 경우에, 중심와 이미지와 필드 이미지 데이터를 합성하는 빔 합성기로서 작동한다. 필드 디스플레이 패널(160)은 DLP, LCOS, LBS, 마이크로LED, 마이크로OLED, LCD, 등과 같은 임의의 디스플레이 기술을 사용할 수 있다.
일 실시형태에서 빔 스플리터/합성기(150)는 부분 거울이다. 또 다른 실시형태에서 빔 스플리터/합성기(150)는 편광된 빔 스플리터이다. 도시된 이미지가 필드 디스플레이가 반사되고 중심와 이미지가 통과되는 것을 도시하지만, 그 반대가 또한 구현될 수 있다. 일 실시형태에서, 통과 대 반사는 이미지 데이터의 편광에 의존한다. 일 실시형태에서, 중심와 이미지는 제1 편광을 갖고, 필드 이미지는 반대 편광을 갖는다. 빔 스플리터/합성기(150)는 필드 이미지와 중심와 이미지를 합성하고, 이를 최종 광학계(170)로 이동시킨다.
합성된 이미지는 그 다음, 최종 광학계(170)를 통과한 다음 도파관(190)의 인-결합 영역(180)으로 이동된다. 도파관(190)은 합성된 중심와 이미지 및 필드 이미지를 사용자의 눈으로 안내한다.
제1 광학계, 중간 광학계, 및 최종 광학계를 포함하는 이 실시형태, 및 모든 다른 실시형태에 포함된 광학 요소는 기술에 구애받지 않으며, 회절, 굴절, 반사, 또는 임의의 다른 유형의 광학 구성을 갖는 요소를 포함할 수 있다. 광학 요소는 또한, 편광 의존적일 수 있다.
도 1b는 중심와 이미지 데이터가 상이한 각도로 중간 광학계(140)로 지향되도록 조향 가능한 거울(130)이 이동된, 도 1a와 동일한 구성을 도시한다. 이것은 중심와 이미지의 가상 이미지(145)가 상이한 위치에 형성됨을 의미한다. 이미지는 그 다음, 빔 스플리터/합성기(150)를 통과한다. 최종 광학계(170)는 조향 가능한 거울(130)의 위치 결정에 관계없이 중심와 이미지가 대략 동일한 위치에서 도파관에 진입하는 것을 보장한다. 그러나, 격자(180)에 진입하는 중심와 이미지의 각도는 조향 가능한 거울(130)의 위치에 의존하여 상이하다.
도파관(190)을 빠져나가는 광은 이것이 도파관(190)에 진입한 것과 동일한 각도, 또는 반대 각도로 빠져나갈 것이다. 따라서, 중심와 이미지가 도파관에 진입하는 각도는 중심와 이미지의 위치를 정의한다. 일부 적용에서, 중심와 및 필드 디스플레이 모두에 대해 눈 당 단일 디스플레이를 사용하는 것이 바람직할 수 있다. 일 실시형태는 하나의 디스플레이를 중심와 또는 필드 디스플레이를 위한 2개 이상의 영역으로 공간적으로 분할할 수 있다.
도 2는 공간적으로 2개의 영역으로 분할된 단일 디스플레이 패널(210)만을 사용하여 도파관으로 투입된 조향 가능한 중심와 디스플레이 및 필드 디스플레이의 일 실시형태를 도시한다. 영역 중 하나는 조향 가능한 중심와 경로를 따르고, 다른 영역은 필드 경로를 따른다. 두 경로가 합성되어 도파관에 투입된다.
일 실시형태에서, 디스플레이 패널(210)은 편광 필터(220, 225)를 사용하여 2개의 영역으로 분할된다. 디스플레이 패널(210)은 DLP, LCOS, LBS, 마이크로LED, 마이크로OLED, LCD, 등과 같은 기술을 사용할 수 있다. 일 실시형태에서, 디스플레이 패널(210)의 2개의 영역은 동일한 화소 밀도를 갖는다. 그러나, 중심와 이미지를 위해 사용되는 이미지의 부분은 제1 및 중간 광학계에 의해 축소되어, 중심와 이미지에 대한 픽셀 밀도가 증가되게 한다. 일 실시형태에서, 이미지는 이의 원래 크기의 10%와 40% 사이로 감소된다.
일 실시형태에서, 이미지 데이터의 S-편광된 부분은 중심와 이미지이고, 빔 스플리터/합성기(270)를 통과한다. 일 실시형태에서, 빔 스플리터/합성기(270)는 이 경우에 빔 스플리터이다. 일 실시형태에서, 빔 스플리터/합성기(270)는 편광된 빔 스플리터(270)이다. 이미지 데이터의 P-편광된 부분은 필드 이미지이고, 최종 광학계(275)를 통해 도파관의 입력 결합기(280)로 반사된다. 물론, 분할은 P-편광된 부분이 중심와 이미지이고, S-편광된 부분이 필드 이미지인 다른 방식일 수 있다.
중심와 이미지 부분, 일 실시형태에서, 이미지 데이터의 S-편광된 부분은 제1 광학계(230)를 통과한다. 일 실시형태에서, 이미지 데이터는 그 다음, 하나 이상의 거울(235, 240)에 의해 조향 가능한 거울로 지향된다. 일 실시형태에서, 조향 가능한 거울(250)은 이미지가 이동되어야 하는 위치에 대해 중심와 이미지 데이터를 적절하게 배치한다. 조향 가능한 거울(250)는 이미지를 중간 광학계(260)로 지향시킨다. 가상 중심와 이미지(265)는 수평 및 수직으로 이동하여, 이미지를 사용자의 중심와 또는 다른 지정된 위치에 적절하게 배치한다.
가상 중심와 이미지(265)는 중간 광학계(260)에 의해 형성된다. 가상 중심와 이미지(265)는 디스플레이(210)의 중심와 부분으로부터의 이미지의 축소된 버전이다. 중심와 이미지는 그 다음, 편광된 빔 스플리터/합성기(270)를 통과한다. 디스플레이 패널(210)로부터의 필드 디스플레이 이미지는 또한, 편광된 빔 스플리터/합성기(270)를 통과한다.
중심와 이미지 및 필드 이미지 둘 모두는 도파관 인-결합 영역(280)을 통해 도파관(290)에 진입하기 전에 최종 광학계(275)를 통과한다. 이 포맷은 단일 디스플레이 패널(210)을 활용하고, 이는 유리할 수 있다. 별개의 예시가 존재하지 않을지라도, 조향 가능한 거울(250)이 중심와 이미지를 이동시킴에 따라, 이미지는 도파관 인-결합 영역(280)으로 조향되도록 최종 광학계(275)를 통과한다.
중심와 및 필드 디스플레이 둘 모두에 대해 눈 당 단일 디스플레이를 사용하는 또 다른 실시형태는 시간 순차 분할을 제공하기 위해 편광과 함께, 중심와 및 필드 이미지 데이터의 시간 순차 분할을 활용한다. 그 구성에서, 편광 필터는 시간 순차 기반으로 스위칭될 수 있다.
도 3a는 단일 디스플레이 패널(310)이 중심와 이미지 및 필드 이미지 둘 모두를 위해 사용되는 공유된 디스플레이 패널을 갖는 또 다른 하이브리드 디스플레이의 일 실시형태를 도시한다. 도 3a는 중심와 디스플레이에 대한 광 경로를 도시하는 디스플레이를 도시하고, 도 3b는 필드 디스플레이에 대한 광 경로를 도시하는 디스플레이를 도시한다.
중심와 및 필드 디스플레이 둘 모두에 대해 눈 당 단일 디스플레이를 사용하는 일 실시형태는 편광 및 시간 다중화를 활용한다. 편광 상태를 빠르게 교번시킴으로써, 사용자는 합성된 중심와 및 필드 이미지를 인지한다.
디스플레이 패널(310)은 DLP, LCOS, LBS, 마이크로LED, 마이크로OLED, LCD, 또는 다른 유형의 패널일 수 있다. 일 실시형태에서, 편광 필터(320) 및 편광 변조기(325)는 디스플레이 패널(310) 위에 배치된다.
도 3a의 이 예시에서, 도시된 광 빔은 제1 방향으로 빔 스플리터/합성기(330)를 통과하도록 편광된 중심와 디스플레이 빔이다. 일 실시형태에서, 빔 스플리터/합성기는 편광된 빔 스플리터(330)이다. 따라서, 중심와 이미지는 빔 스플리터(330), 및 제1 광학계(340)를 통과한다. 하나 이상의 거울(350, 355)은 중심와 디스플레이에 대해 편광된 광을 조향 가능한 거울(360)로 재지향시킨다. 이제 사용자의 중심와 또는 또 다른 결정된 위치를 향해 지향된 조향 가능한 거울(360)의 출력은 중간 광학계(370)를 통과한다.
중간 광학계(370)의 출력은 가상 중심와 이미지(375)를 형성한다. 현재 지향된 중심와 이미지는 빔 스플리터/합성기(330)를 다시 통과한다. 이때, 빔 스플리터/합성기(330)는 빔 합성기의 역할을 한다. 합성된 빔은 최종 광학계(380)를 통과한 다음, 도파관의 인-결합 영역(395)으로 이동한다. 상기 논의된 바와 같이, 조향 가능한 거울(360)의 각도에 관계 없이, 최종 광학계(380)는 중심와 이미지 데이터가 도파관(390)의 인-결합 영역(395)으로 정확하게 조향됨을 보장한다.
대조적으로, 도 3b에 도시된 바와 같이, 필드 디스플레이에 대한 반대 편광된 광은 최종 광학계(380)를 통해 편광된 빔 스플리터/합성기(330)에 의해 도파관 인-결합 영역(395)으로 반사된다.
일 실시형태에서, 사용 중에, 시스템은 중심와 이미지 데이터 및 필드 이미지 데이터를 교번시킨다. 일 실시형태에서, 교번은 일 대 일이 아닐 수 있다. 예를 들면, 중심와 디스플레이가 다중 초점 디스플레이인 경우, 중심와 디스플레이를 위한 다수의 초점 길이에 대한 다수의 이미지는 하나의 필드 디스플레이 이미지를 전송하기 전에 전송될 수 있다.
일반적으로, 필드 디스플레이의 듀티 사이클은 10 내지 50%이다. 따라서, 이미지의 교번은 사용자 경험, 또는 인지된 이미지의 품질이 저하시키지 않을 것이다.
도 4는 이중 도파관 구성의 일 실시형태를 도시한다. 이중 도파관 구성은 중심와 도파관(490) 및 별개의 필드 도파관(495)을 갖는다. 중심와 디스플레이 패널(410)은 일 실시형태에서 제1 광학계(415)를 통과한다. 하나 이상의 거울(420)은 이미지를 조향 가능한 거울(425)을 향해 지향시킬 수 있다. 조향 가능한 거울(425), 또는 다른 조향 가능한 요소는 중심와 이미지를 사용자의 중심와 또는 다른 지정된 위치로 향하게 한다.
이미지는 조향 가능한 거울(425)에 의해 중간 광학계(430)로 지향된다. 중간 광학계(430)는 중심와 디스플레이(435)의 가상 이미지를 형성한다.
이미지 데이터는 그 다음, 최종 광학계(440)를 통해 지향된다. 최종 광학계는 중심와 도파관(490)의 인-결합 영역(465)으로 이미지를 조향한다.
필드 디스플레이 이미지는 필드 디스플레이 패널(450)에 의해 생성된다. 필드 이미지는 별개의 최종 광학계(460)를 통해 필드 도파관(495)으로 지향된다. 필드 도파관(495) 및 중심와 도파관(490)의 출력은 사용자의 눈으로 지향된다. 합성된 이미지는 사용자에 의해 단일 합성된 이미지로서 인지된다.
도 5는 단일 도파관에 대해 분리된 인-결합 영역을 가지는 일 실시형태를 도시한다. 분리된 인-결합 영역은 중심와 이미지 및 필드 이미지를 동일한 도파관(580)으로 인-결합한다. 분리된 인-결합 영역은 2개의 인-결합 영역이 있는 단일 긴 입력 결합기를 포함할 수 있거나, 공간에 의해 분리된 2개의 입력 결합기를 포함할 수 있다.
중심와 디스플레이 패널(510)로부터의 이미지는 제1 광학계(515)를 통과한다. 거울(520)은 제1 광학계의 출력을 조향 가능한 거울(525)로 재지향시킨다. 조향 가능한 거울(525)은 사용자의 중심와, 또는 또 다른 선택된 위치에 대해 이미지를 배치한다. 이미지는 그 다음, 중간 광학계(530)를 통과한다. 가상 이미지(532)는 중간 광학계(530)에 의해 형성된다. 최종 광학계(535)는 이미지를 도파관(580)의 중심와 인-결합 영역(540)으로 지향시킨다.
필드 디스플레이는 별개의 경로를 취한다. 필드 디스플레이 패널(550)의 출력은 별개의 필드 디스플레이 최종 광학계(555)를 통과한다. 필드 디스플레이 최종 광학계(555)의 출력은 필드 인-결합 영역(field in-coupling region)(560)을 통해 도파관(580)에 진입한다. 중심와 이미지 및 필드 이미지는 도파관(580)을 통해 이동하고 아웃-결합 영역을 통해 사용자의 눈으로 출력된다.
도 6은 단일 인-결합 영역을 가지는 도파관과 함께, 조향 큐브를 사용하는 하이브리드 디스플레이의 일 실시형태를 도시한다. 시스템은 중심와 디스플레이 패널(610)을 포함한다. 중심와 디스플레이 패널(610)의 출력은 조향 큐브(620)를 통과한다.
일 실시형태에서 조향 큐브(620)는 직사각형 프리즘이다. 조향 큐브(620)는 유리 또는 플라스틱과 같은 광학적으로 투명한 재료로 만들어진다. 일 실시형태에서, 조향 큐브(620)는 0.5cm 내지 2cm의 치수를 갖는 큐브이다. 일 실시형태에서, 이는 1cm 큐브이다. 조향 큐브(620)의 진입 면은 중심와 디스플레이 패널(610)와 대면한다. 편광된 빔 스플리터(625)는 조향 큐브(620)를 대각선으로 가로지르는 평면이다. 일 실시형태에서, 편광된 빔 스플리터는 2개의 합동 삼각형 프리즘을 형성하는 큐브를 이등분한다. 편광된 빔 스플리터(625)는 중심와 디스플레이 패널(610)로부터 조향 큐브(620)에 진입하는 광을 반사한다. 편광된 빔 스플리터는 조향 큐브(620)의 제1 면을 향해 광을 반사한다. 제1 1/4 파장 판(630)은 제1 측면을 따라 배치된다. 거울(635)는 1/4 파장 판(630) 너머에 있다. 일 실시형태에서, 거울은 조향 큐브(620)와 일체화된다. 또 다른 실시형태에서, 거울(635)은 조향 큐브(620)로부터 분리된다. 일 실시형태에서, 거울(635)은 만곡된 오목 거울이다. 또 다른 실시형태에서, 거울(635)은 평면 거울, 또는 볼록 거울이다.
거울(635)은 이미지를 조향 큐브(620)를 통해 제1 측면에 대향하는 제2 측면으로 다시 반사한다. 이미지는 제1 1/4 파장 판(630)을 다시 통과한다. 제1 1/4 파장 판(630)을 2번 통과함으로써, 이미지의 편광이 90도로 반전된다. 이것은 광이 조향 큐브(620)의 제2 측면으로 가는 도중에 편광된 빔 스플리터(625)를 통과한다는 것을 의미한다.
광은 조향 큐브(620)의 제2 면을 통해 빠져나온다. 광은 제2 1/4 파장 판(640)을 통과한다. 광은 그 다음, 조향 거울(650)에 충돌한다. 조향 거울(650)은 상기 설명된 바와 같이, 중심와 이미지 데이터를 적절한 위치에 배치하기 위해 광을 배치한다.
조향 가능한 거울(650)은 이미지를 다시 조향 큐브(620)의 제2 면으로 반사한다. 제2 1/4 파장 판(640)을 2번 통과하는 광에 의해, 편광은 다시 반전된다. 따라서, 광이 3번째로 편광된 빔 스플리터(625)에 충돌할 때, 광은 조향 큐브(620)의 제3 측면 밖으로 반사된다.
광은 그 다음, 중간 광학계(655)를 통과한다. 가상 중심와 이미지(660)는 중간 광학계(655)에 의해 형성된다. 광은 그 다음, 편광된 빔 스플리터/합성기 또는 부분 거울(665)을 통과한다. 중심와 이미지 데이터는 편광된 빔 스플리터/합성기 또는 부분 거울(665)을 통해 최종 광학계(670)로 이동한다. 최종 광학계(665)의 출력은 도파관(680)의 인-결합 영역(675)으로 조향된다.
필드 디스플레이 패널(690)로부터의 이미지는 조향 큐브(620)를 빠져나가는 중심와 이미지 데이터로부터 반대 방향으로 편광되고, 따라서 편광된 빔 스플리터/합성기 또는 부분 거울(665)에 의해 최종 광학계(670)를 향해 반사된다. 일 실시형태에서, 편광기는 필드 디스플레이 패널(690)로부터의 이미지를 편광시키기 위해 사용될 수 있다. 필드 디스플레이 이미지는 최종 광학계(670)에 의해 도파관(680)의 인-결합 영역(675)으로 이동된다.
도시된 이미지가 중심와 디스플레이를 위한 직선 경로 및 필드 디스플레이를 위한 회전된 경로를 도시할지라도, 이것은 변경될 수 있다. 또한, 모든 구성에서 부가적인 거울은 이미지 데이터를 재배치하기 위해 사용될 수 있다.
도 7은 2개의 인-결합 영역을 가지는 도파관과 함께, 조향 큐브를 사용하는 하이브리드 디스플레이의 또 다른 실시형태를 도시한다. 이 구성이 중심와 이미지 및 필드 이미지에 대해 별개의 인-결합 영역을 갖기 때문에, 빔 스플리터/합성기에 대한 어떠한 요구도 존재하지 않는다. 분리된 인-결합 영역은 2개의 인-결합 영역을 갖는 단일의 긴 입력 결합기를 포함할 수 있거나, 공간으로 분리된 2개의 입력 결합기를 포함할 수 있다.
중심와 디스플레이 패널(710)의 출력은 조향 큐브(720)를 통과한다. 조향 큐브의 편광된 빔 스플리터(725)는 거울(730)로 반사하고, 거울은 결과적으로 이를 조향 가능한 거울(735)로 반사한다. 제1 및 제2 면의 1/4 파장 판(725)은 광의 편광을 회전시킨다. 광은 그 다음, 조향 큐브(720)를 빠져나온다. 중간 광학계(740)는 가상 중심와 이미지(745)를 형성한다. 이미지는 그 다음, 중심와 최종 광학계(750)를 통과하고, 이는 출력을 도파관(760)의 중심와 인-결합 영역(765)으로 조향시킨다.
필드 디스플레이 패널(770)은 별개의 필드 최종 광학계(775)를 통과하는 출력을 갖는다. 필드 최종 광학계(775)의 출력은 도파관(760)의 필드 인-결합 영역(780)에 입력된다.
또 다른 실시형태에서, 단일 도파관(760)은 도 4에 도시된 바와 같이, 별개의 중심 도파관 및 필드 도파관으로 교체될 수 있다.
도 8은 단일 분할 디스플레이를 갖는, 조향 큐브를 사용하는 하이브리드 디스플레이의 또 다른 실시형태를 도시한다. 디스플레이 패널(810)은 2개의 부분을 갖고, 하나는 중심와 디스플레이를 위한 것이며 하나는 필드 디스플레이를 위한 것이다. 일 실시형태에서, 편광 필터(815)는 디스플레이 패널을 가로질러 있다. 편광 필터(815)는 이미지를 편광시킨다. 편광된 빔 스플리터/합성기(820)는 필드 디스플레이로부터 이미지를 하나의 방향으로 반사하고, 중심와 디스플레이로부터 다른 방향으로 반사하는 2개의 부분을 갖는다.
중심와 이미지는 편광된 빔 스플리터/합성기(820)에 의해 중간 광학계(830)를 향하여 지향된다. 이미지는 중간 광학계(830)를 통해 조향 큐브(840)로 이동한다. 일 실시형태에서, 조향 큐브의 진입 면은 중간 광학계와 대면한다. 광은 조향 큐브(840)를 통해 이동하고, 편광된 빔 스플리터(845)를 통과한다. 광은 그 다음, 제1 1/4 파장 판(850)을 통해 조향 큐브(840)를 빠져나와, 제1 거울(855)을 향한다. 일 실시형태에서, 제1 거울은 평면 거울이다. 또 다른 실시형태에서, 제1 거울(855)은 만곡된 거울일 수 있다. 이미지는 그 다음, 거울(855)에 의해 반사되고, 이것이 편광된 빔 스플리터(845)에 다시 충돌할 때, 이것은 제1 1/4 파장 판(850)을 통과함으로써 이의 편광이 회전되었기 때문에, 조향 큐브(840)의 제2 면을 향해 반사된다.
조향 큐브(840)의 제2 면은 또한, 제2 1/4 파장 판(860), 및 제2 거울(865)을 포함한다. 제2 거울(865)은 만곡되거나 직선일 수 있다. 제2 거울(865)은 조향 큐브의 제3 면을 향해 조향 큐브(840)로 광을 다시 반사한다. 광은 제2 1/4 파장 판(860)을 통한 이중 통과에 의해 이의 편광이 다시 회전되었기 때문에, 편광된 빔 스플리터(845)를 통과한다. 조향 큐브의 제3 면에는 제3 파장 판(870)이 존재한다. 광이 3/4 파장 판(870)를 통해 조향 큐브(840) 외부로 통과할 때, 광은 조향 거울(875)에 충돌한다. 조향 거울(875)은 사용자의 중심와 또는 다른 설계된 위치에 대해 광을 배치하고, 3/4 파장 판(870)를 통해 광을 다시 조향 큐브(840)로 반사한다.
조향 큐브(840) 외부의 광을 중간 광학계(830)를 향해 반사하는 편광된 빔 스플리터(845)에 충돌하는 광. 중간 광학계(830)의 출력은 가상 중심와 이미지(880)를 생성한다.
광은 그 다음, 처음에 광을 조향 큐브(840)를 향해 지향시킨 편광된 빔 스플리터/합성기(820)를 통과하고, 조향 큐브는 이제 빔 합성기의 역할을 하여, 중간 광학계(830)로부터의 중심와 이미지를 디스플레이 패널(810)로부터의 필드 이미지와 합성한다. 광은 그 다음, 최종 광학계(885)를 통과한다. 최종 광학계(885)의 출력은 도파관(890)의 도파관 인-결합 영역(895)으로 지향된다. 필드 디스플레이 이미지는 편광된 빔 스플리터/합성기 또는 부분 거울(820)의 다른 부분에 의해 최종 광학계(885)를 향해 반사된다. 최종 광학계의 출력은 도파관(890)의 도파관 인-결합 영역(895)으로 지향된다.
도 9는 예시적인 광학 시스템(910, 980) 및 연관된 프로세싱 시스템(938)의 일 실시형태를 도시한다. 일 실시형태에서, 프로세싱 시스템은 프로세서를 포함하는 컴퓨터 시스템에서 구현될 수 있다. 일 실시형태에서, 프로세싱 시스템(938)은 디스플레이 시스템의 일부일 수 있다. 또 다른 실시형태에서, 프로세싱 시스템(938)은 원격일 수 있다. 일 실시형태에서, 광학 시스템(910, 980)은 머리 장착 디스플레이와 같은 착용 가능한 시스템에서 구현될 수 있다. 중심와 이미지는 중심와 디스플레이를 지향시키는 우측 눈 중심와 디스플레이(920) 및 좌측 눈 중심와 디스플레이(930)를 통해 사용자의 눈에 제공된다. 일 실시형태에서, 중심와 디스플레이(920, 930)는 중심와 디스플레이 이미지를 주로 사용자의 눈의 시야의 중심을 향해 지향시킨다. 또 다른 실시형태에서, 이미지는 하기에서 설명될 바와 같이, 상이한 위치로 지향될 수 있다.
우측 눈에 대한 중심와 이미지는 제1 디스플레이 요소(922)를 사용하여 생성된다. 일 실시형태에서, 디스플레이 요소는 디지털 마이크로거울 디바이스(DMD)이다. 일 실시형태에서, 디스플레이 요소(922)는 스캐닝 마이크로거울 디바이스이다. 일 실시형태에서, 디스플레이 요소(922)는 스캐닝 섬유 디바이스이다. 일 실시형태에서, 디스플레이 요소는 유기 발광 다이오드(OLED)이다. 일 실시형태에서, 디스플레이 요소(922)는 실리콘 액정 표시 디바이스(LCOS) 패널이다. 일 실시형태에서, 디스플레이 요소(922)는 액정 디스플레이(LCD) 패널이다. 일 실시형태에서, 디스플레이 요소(922)는 마이크로-LED 또는 마이크로 발광 다이오드(μLED) 패널이다. 일 실시형태에서, 디스플레이 요소는 스캐닝된 레이저 시스템이다. 일 실시형태에서, 시스템은 축외 홀로그래픽 광학 요소(HOE)를 갖는 하이브리드 시스템이다.
일 실시형태에서, 시스템은 도파관을 포함한다. 일 실시형태에서, 도파관은 다층 도파관이다. 일 실시형태에서, 디스플레이 요소는 이러한 요소의 합성을 포함할 수 있다.
일 실시형태에서, 제1 디스플레이 요소(922)는 안경 또는 고글과 같은 근안 디바이스에 위치된다. 결과적인 출력은 가상 현실, 증강 현실 또는 혼합 현실일 수 있다.
중심와 디스플레이에 대한 초점 및 시야는 중간 광학 요소(924)를 사용하여 설정된다. 중간 광학 요소(924)는 렌즈, 거울, 및 회절, 굴절, 또는 반사 광학 요소를 포함할 수 있지만 이로 제한되지는 않는다. 일 실시형태에서, 가상 이미지의 초점은 무한대로 설정된다. 또 다른 실시형태에서, 가상 이미지의 초점은 무한대보다 가깝게 설정된다. 일 실시형태에서, 가상 이미지의 초점은 변경될 수 있다. 일 실시형태에서, 가상 이미지는 동시에 인지된 2개 이상의 초점 거리를 가질 수 있다.
일 실시형태에서, 중심와 디스플레이 이미지는 주로 사용자의 눈의 시야의 중심을 향해 지향된다. 일 실시형태에서, 중심와 디스플레이 이미지의 시야(FOV)는 1도보다 크다. 일 실시형태에서, 중심와 디스플레이 이미지의 FOV는 1도와 90도 사이이다. 일 실시형태에서, 중심와 디스플레이 이미지는 눈 추적의 부정확성을 해결하고, 사용자가 배합을 인지할 수 없도록 성공적으로 배합하는 데 필요한 영역을 제공하며, 다양한 유형의 안구 운동에 대해 중심와 디스플레이를 재배치하는데 걸리는 시간을 설명하기 위해 5도보다 클 수 있다.
일 실시형태에서, 시스템은 90 내지 220도의 시야를 갖는 더 낮은 해상도 필드 디스플레이 이미지를 더 포함한다.
일 실시형태에서, 중심와 디스플레이 이미지는 하나 이상의 완전히 또는 부분적으로 투명한 위치 결정 요소(926)의 세트를 사용하여 사용자의 눈에 직접적으로 투영된다. 위치 결정 요소는 상기 설명된 조향 가능한 요소, 최종 광학계, 및 도파관(들)을 포함할 수 있다. 일 실시형태에서, 위치 결정 요소(926)는 조향 가능한 거울을 포함한다. 일 실시형태에서, 위치 결정 요소(926)는 만곡된 거울을 포함한다. 일 실시형태에서, 위치 결정 요소(926)는 프레넬 거울을 포함한다. 일 실시형태에서, 위치 결정 요소(926)는 회절 요소를 포함한다. 일 실시형태에서, 회절 요소는 표면 릴리프 격자이다. 일 실시형태에서, 회절 요소는 체적 홀로그램이다.
일 실시형태에서, 디스플레이(920)는 초점 조정기(923)를 포함할 수 있고, 이는 디스플레이가 동일한 프레임에서 복수의 초점 거리에 있는 이미지 요소를 도시하는 것을 가능하게 한다. 일 실시형태에서, 초점 조정기(923)는 미국 특허 출원 번호 제15/236,101호(출원일: 2016년 8월 12일)에서 설명된 바와 같이, 광학 경로 길이 연장기일 수 있다.
유사한 세트의 요소가 좌측 눈 중심와 디스플레이(930)에 대해 존재한다. 일 실시형태에서, 우측 눈 중심와 디스플레이(920) 및 좌측 눈 중심와 디스플레이(930)가 매칭된다. 또 다른 실시형태에서, 그들은 상이한 요소를 포함할 수 있다.
일 실시형태에서, 눈 추적기(940)는 사용자의 시선 벡터 예컨대, 눈이 보고 있는 곳을 추적한다. 일 실시형태에서, 눈 추적 시스템은 카메라 기반 눈 추적 시스템(940)이다. 일 실시형태에서, 눈 추적 시스템(940)은 수신 센서를 갖는 적외선 스캐닝 레이저이다. 다른 눈 추적 메커니즘이 사용될 수 있다. 중심와 위치 산출기(945)는 눈 추적 시스템(940)으로부터의 데이터에 기초하여 사용자의 시야의 중심을 결정한다.
일 실시형태에서, 조향 가능한 위치 결정 요소(926, 936)는 중심와 디스플레이(920, 930)를 조정하여 중심와 이미지를 주로 사용자 눈의 시야의 중심을 향해 지향되도록 배치하기 위해 사용된다. 일 실시형태에서, 위치 요소(926, 936) 중 하나인 거울의 각도를 변경함으로써 이미지의 방향이 조정된다. 일 실시형태에서, 거울의 각도는 전자기력을 사용함으로써 변경된다. 일 실시형태에서, 거울의 각도는 정전기력을 사용함으로써 변경된다. 일 실시형태에서, 거울의 각도는 압전력을 사용함으로써 변경된다. 일 실시형태에서, 조정 가능한 요소는 이미지를 배치하기 위해 이동되는 이미지 소스, 또는 디스플레이 요소(922, 932)이다. 일 실시형태에서, 중심와 이미지는 사용자의 눈의 시야의 중심으로 지향되도록 배치된다. 또 다른 실시형태에서, 조향 요소(926, 936)와 같은 또 다른 위치 요소(926, 936)가 변경될 수 있다.
필드 디스플레이(980)는 통신 로직(970, 990)을 통해 프로세싱 시스템(938)과 통신한다. 일 실시형태에서, 다수의 디스플레이가 존재할 수 있다. 여기서, 2개의 필드 디스플레이 즉, 필드 디스플레이(985) 및 주변 디스플레이(988)가 표시된다. 부가적인 레벨의 해상도가 또한 도시될 수 있다. 일 실시형태에서, 필드 디스플레이(980)는 사용자의 양 눈에 의해 뷰잉된 단일 필드 디스플레이(985), 또는 눈 당 하나의 필드 디스플레이를 포함할 수 있다. 일 실시형태에서, 필드 디스플레이(980)는 가변 해상도를 가질 수 있다.
일 실시형태에서, 필드 디스플레이(980)가 별개의 시스템일 때, 동기 신호 생성기(992)는 독립 중심와 디스플레이(910)의 디스플레이를 필드 디스플레이(980)의 디스플레이와 동기화하기 위해 사용된다. 일 실시형태에서, 동기 신호 생성기(992)는 조정 가능한 거울, 또는 중심와 디스플레이의 다른 위치 결정 요소를 필드 디스플레이와 동기화하기 위해 사용된다. 이것은 디스플레이의 동기화를 야기한다. 일 실시형태에서, 필드 디스플레이(980)는 전환이 부드러움을 보장하기 위해 중심와 디스플레이 이미지의 에지를 필드 디스플레이 이미지와 배합하는 블렌더 시스템(994)을 포함한다.
일 실시형태에서, 더 낮은 해상도 필드 디스플레이 이미지는 완전히 또는 부분적으로 투명한 광학 시스템으로 사용자에게 제공된다. 일 실시형태에서, 이 부분적으로 투명한 시스템은 도파관 광학 시스템을 포함한다. 일 실시형태에서, 이 부분적으로 투명한 시스템은 평평하거나 광학 능력을 가질 수 있는 부분 거울을 포함한다. 일 실시형태에서, 이 부분적으로 투명한 시스템은 회절 광학 요소를 포함한다. 일 실시형태에서, 이 이미지는 직접적인 뷰 광학 시스템을 통해 사용자에게 제공된다. 일 실시형태에서, 이 부분적으로 투명한 시스템은 광을 반사하거나 산란시키는 개재물을 포함한다.
필드 디스플레이(980)의 일 실시형태에서, 모노비전 주변 뷰(988)의 영역에서 이미지를 디스플레이하기 위해 부가적인 디스플레이 서브시스템이 사용된다. 일 실시형태에서, 이 서브시스템은 LED 어레이이다. 일 실시형태에서, 이 서브시스템은 OLED 어레이이다. 일 실시형태에서, 이 디스플레이 서브시스템은 스캐닝된 레이저를 사용한다. 일 실시형태에서, 이 서브시스템은 LCD 패널을 사용한다. 일 실시형태에서, 이 서브시스템은 FOV 또는 이미지의 초점을 조작하기 위한 어떠한 중간 광학 요소도 갖지 않는다. 일 실시형태에서, 이 서브시스템은 중간 광학 요소를 갖는다. 일 실시형태에서, 이 중간 광학 요소는 마이크로 렌즈 어레이를 포함한다.
조향 가능한 중심와 디스플레이(910) 및 필드 디스플레이(980)에 의해 디스플레이된 이미지 데이터는 프로세싱 시스템(938)에 의해 생성된다. 일 실시형태에서, 시스템은 눈 추적기(940)를 포함한다. 일 실시형태에서, 눈 추적기(940)는 사용자의 시선 벡터 예컨대, 눈이 보고 있는 곳을 추적한다. 일 실시형태에서, 눈 추적 시스템은 카메라 기반 눈 추적 시스템(940)이다. 대안적으로, 눈 추적 시스템(940)은 적외선 레이저 기반일 수 있다. 중심와 위치 산출기(945)는 눈 추적 시스템(940)으로부터의 데이터에 기초하여 사용자의 시야의 중심을 결정한다.
일 실시형태에서 프로세싱 시스템(938)은 디스플레이(920, 930)가 적절하게 배치되는 것을 보장하기 위해, 위치 요소(926, 936)의 위치 결정을 검증하는 중심와 위치 검증기(947)를 더 포함한다. 일 실시형태에서, 이것은 중심와 디스플레이의 이동에 비추어, 사용자의 눈의 시야의 중심에 대한 중심와 디스플레이 위치를 재평가하는 것을 포함한다. 일 실시형태에서, 중심와 위치 검증기(947)는 감지 메커니즘을 사용하여, 위치 결정 요소가 이의 타겟 위치에 도달했는지를 입증하기 위해 피드백을 제공한다. 감지 메커니즘은 일 실시형태에서 카메라일 수 있다. 감지 메커니즘은 일 실시형태에서 기어링(gearing)일 수 있다. 감지 메커니즘은 광학 요소의 위치를 결정할 수 있는 또 다른 유형의 센서일 수 있다. 일 실시형태에서, 중심와 디스플레이의 실제 위치가 타겟 위치가 아닌 경우, 중심와 위치 검증기(947)는 정확한 이미지 데이터를 제공하기 위해 디스플레이를 변경할 수 있다. 이것은 하기에서 더 상세하게 설명된다.
일 실시형태에서, 눈 운동 분류기(960)는 사용자의 시선 벡터가 이동할 곳을 예측하기 위해 사용될 수 있다. 이 데이터는 사용자의 시선 벡터의 다음 위치에 기초하여 중심와 디스플레이(920, 930)를 이동시키기 위해 예측 포지셔너(965)에 의해 사용될 수 있다. 일 실시형태에서, 스마트 포지셔너(967)는 디스플레이(920, 930)를 예측적으로 배치하기 위해 눈 운동 분류 및 눈 추적과 같은 사용자 데이터를 활용할 수 있다. 일 실시형태에서, 스마트 포지셔너(967)는 부가적으로, 디스플레이(920, 930)에 대한 최적의 위치 결정을 식별하기 위해 디스플레이될 프레임에서 다음의 데이터에 관한 데이터를 사용할 수 있다. 일 실시형태에서, 스마트 포지셔너(967)는 시선 벡터에 의해 표시되지 않은 위치에 디스플레이(920, 930)를 배치할 수 있다. 예를 들면, 디스플레이된 프레임 데이터가 단지 소량의 관련 데이터를 갖거나(예컨대, 다른 어두운 스크린에 조명된 나비) 프레임의 의도는 뷰어로 하여금 특정한 위치를 보게 하는 경우.
프로세싱 시스템(938)은 컷아웃 로직(cut-out logic)(950)을 더 포함할 수 있다. 컷아웃 로직(950)은 중심와 디스플레이(920, 930)의 위치를 정의하고 연관된 필드 디스플레이(980)에 대한 컷아웃과 함께 디스플레이 정보를 제공한다. 필드 디스플레이(980)는 이 데이터를 렌더링하여 필드 디스플레이에서 이미지의 대응하는 부분의 컷아웃을 포함하는 더 낮은 해상도 필드 디스플레이 이미지를 생성한다. 이것은 중심와 이미지와 필드 이미지 사이에 간섭이 존재하지 않음을 보장한다. 일 실시형태에서, 컷아웃이 존재할 때, 블렌더 로직(955)은 전환이 부드러운 것을 보장하기 위해 컷아웃의 에지를 중심와 이미지와 배합한다. 또 다른 실시형태에서, 중심와 디스플레이는 더 낮은 해상도 필드 이미지 위에 오버레이된 더 밝은 요소인 스프라이트(sprite)를 디스플레이하기 위해 사용될 수 있다. 이러한 경우에, 컷아웃 로직(950)도 블렌더 로직(955)도 필요하지 않다. 일 실시형태에서, 컷아웃 로직(950) 및 블렌더 로직(955)은 필요에 따라 선택적으로 활성화될 수 있다.
일 실시형태에서, 시스템은 중심와 디스플레이(910)를 독립 필드 디스플레이(980)와 동기화할 수 있다. 이 경우에, 일 실시형태에서, 동기화 로직(972)은 디스플레이를 동기화한다. 일 실시형태에서, 독립 필드 디스플레이(980)는 조정 가능한 거울, 또는 중심와 디스플레이(910)의 다른 위치 결정 요소와 동기화된다. 이것은 디스플레이의 동기화를 야기한다. 필드 디스플레이(980)는 위치 결정 데이터를 수신할 수 있다. 일 실시형태에서, 이 경우에 컷아웃이 존재하지 않을 수 있다.
일 실시형태에서, 프로세싱 시스템(938)은 중심으로부터 이미지의 에지로 증가하는 왜곡을 갖는 중심와 디스플레이(910)를 위한 광학 왜곡 시스템(975)을 포함할 수 있다. 이러한 의도적인 왜곡은 픽셀로 하여금 중심와 이미지의 중심으로부터 에지로 이동하면서 인지된 크기가 증가하게 할 것이다. 인지된 해상도의 이 변화는 중심와 디스플레이 이미지의 동일한 각도 영역을 커버하는데 더 적은 픽셀이 필요할 것이기 때문에, 요구된 프로세싱 양을 감소시킬 것이다.
도 5b는 광축으로부터의 각도가 증가함에 따라 더 낮은 해상도를 갖는 왜곡된 이미지의 일례를 도시한다. 광학 왜곡은 중심와 디스플레이(910)와 필드 디스플레이(980) 사이의 배합을 도울 수 있다. 또 다른 실시형태에서, 광학 왜곡 시스템(975)을 포함하는 중심와 디스플레이(910)는 필드 디스플레이 없이 사용될 수 있다. 그것은 또한, 더 용이한 광학 설계를 제공하고, 배합에 대한 프로세싱을 절약한다.
일 실시형태에서, 가변 해상도의 고도로 왜곡된 이미지는 중심과 에지 사이에 큰 비를 갖는다. 이 디스플레이의 총 FOV는 클 것이다(최대 180도).
일 실시형태에서, 감쇠 로직(roll-off logic)(977)은 디스플레이의 에지에서 감쇠를 제공한다. 일 실시형태에서 감쇠는 해상도 감쇠(디스플레이 영역의 에지를 향해 해상도를 감소시킴)를 포함할 수 있다. 일 실시형태에서, 이것은 광학 왜곡 시스템(975)에 의해 확대로 구현될 수 있다. 감쇠는 일 실시형태에서 밝기 및/또는 콘트라스트 감쇠(에지를 향한 밝기 및/또는 콘트라스트 감소)를 포함한다. 이러한 감쇠는 디스플레이의 에지의 갑작스러움(abruptness)을 감소시키도록 설계된다. 일 실시형태에서, 감쇠는 "무(nothing)"로 감쇠되도록 설계될 수 있으며, 이는 전체 밝기/콘트라스트로부터 회색 또는 검은색 또는 환경 컬러로 점진적으로 감소된다. 일 실시형태에서, 감쇠 로직(977)은 어떠한 연관된 필드 디스플레이도 존재하지 않을 때 중심와 디스플레이(910)에 의해 사용될 수 있다. 일 실시형태에서, 감쇠 로직(997)은 시스템에 필드 디스플레이가 존재할 때 필드 디스플레이(980)의 일부일 수 있다.
도 10은 중심와 디스플레이를 활용하는 일 실시형태의 흐름도이다. 프로세스는 블록(1010)에서 시작한다. 일 실시형태에서, 이 프로세스의 시작 이전에, 디스플레이 시스템이 사용자에게 맞춰진다. 이 초기 설정은 사용자에 대한 "기준선" 디스플레이가 정확함을 보장하기 위해 필요한 임의의 처방(prescription) 및 동공 간 거리(IPD)를 결정하는 것을 포함한다.
블록(1015)에서, 사용자의 눈이 추적된다. 일 실시형태에서, IR 카메라는 눈을 추적하기 위해 사용된다. 일 실시형태에서, 눈 추적은 사용자의 시선 벡터 예컨대, 사용자가 집중하는 곳을 식별한다. 시선 추적은 좌측 및 우측 눈 시선 벡터/각도, 및 시선 중심(L/R 눈 시선 벡터로부터 파생됨)을 식별할 수 있다. 눈 추적은 기준선 기준 프레임에 대한 좌측 및 우측 눈의 위치(X, Y, Z) 및 방향(롤, 피치, 요)을 결정할 수 있다. 기준선 기준 프레임은 일 실시형태에서, 디스플레이가 처음에 사용자에게 맞춰지고 사용자의 동공간 거리, 디옵터, 및 다른 관련 데이터가 확립될 때 확립된다.
블록(1020)에서, 시선 벡터 데이터에 기초하여 중심와의 위치가 결정된다. 일 실시형태에서, 중심와 위치는 각각의 눈에 대한 좌표(X, Y, Z) 및 방향(롤, 피치, 요)을 포함한다.
블록(1025)에서, 프로세스는 중심와 디스플레이가 재배치되어야 하는지의 여부를 결정한다. 이것은 중심와 디스플레이의 현재 위치를 사용자의 시선 벡터 또는 중심와 이미지의 의도된 위치와 비교한 것에 기초한다. 그들이 잘못 정렬된 경우, 시스템은 중심와 디스플레이가 재배치해야 한다고 결정한다. 그렇다면, 블록(1030)에서, 디스플레이가 재배치된다. 일 실시형태에서, 중심와 디스플레이가 특정한 거리 이상으로 이동되는 경우, 이동 동안 디스플레이가 턴 오프된다. 이것은 사용자가 이동을 인지하지 못함을 보장한다. 일 실시형태에서, 특정한 거리는 0.5도 이상이다. 일 실시형태에서, 사용자가 깜박이는 동안 이동이 발생하는 경우 중심와 디스플레이는 턴 오프되지 않는다. 용어 "재배치"가 사용될지라도, 이것은 일반적으로 접안 렌즈의 물리적 이동이 존재함을 의미하지 않는다. 일 실시형태에서, 디스플레이를 배치하는 거울 또는 다른 광학 요소는 중심와 이미지의 중심 위치 결정을 변경하기 위해 사용된다. 디스플레이가 재배치되었는지의 여부에 관계없이 프로세스는 그 다음, 블록(1035)으로 계속된다.
블록(1035)에서, 선택적으로 시스템은 중심와 디스플레이와 동일한 위치에 배치될 필드 디스플레이의 부분을 차단한다. 이것은 필드 디스플레이가 중심와 디스플레이를 방해하는 것을 방지한다. 일 실시형태에서 컷아웃은 렌더링 엔진에서 수행된다. 또 다른 실시형태에서, 중심와 이미지는 컷아웃이 투명해질 필요가 없는 스프라이트 또는 다른 밝은 이미지 요소일 수 있다. 그 사례에서, 이 블록을 건너뛸 수 있다. 일 실시형태에서, 사용자 눈 추적이 사용자의 시선이 기준선 기준으로부터 실질적으로 이동했음을 나타내는 경우 컷아웃을 건너뛴다. 기준선 참조는 시선의 이동이 추적되는 사용자의 디폴트 시선 위치이다. 기준선 기준으로부터의 상당한 이동은 시스템이 사용자의 정확한 시선 위치를 결정할 수 없음을 의미한다. 이 사례에서, 일 실시형태에서, 중심와 이미지가 삭제될 수 있거나, 중심와 디스플레이가 일시적으로 턴 오프될 수 있다.
블록(1040)에서, 일 실시형태에서, 중심와 이미지와 필드 이미지 사이의 에지가 배합된다. 이것은 필드 이미지와 중심와 이미지 사이의 부드럽고 눈에 띄지 않는 전환을 보장한다. 블록(1045)에서, 중심와 디스플레이 및 필드 디스플레이를 통합하는 하이브리드 이미지가 사용자에게 디스플레이된다. 프로세스는 그 다음, 추적 및 디스플레이를 계속하기 위해 블록(1010)으로 되돌아간다. 설명이 중심와 이미지 및 필드 이미지에 관해 이야기하는 동안, 고려된 이미지는 비디오의 순차적 이미지를 포함함에 유의한다.
도 11은 본 발명과 함께 사용될 수 있는 컴퓨터 시스템의 일 실시형태의 블록도이다. 그러나, 다양한 시스템 아키텍처의 다른 대안적인 시스템이 또한 사용될 수 있다는 것이 당업자에게 명백할 것이다.
도 11에 도시된 데이터 프로세싱 시스템은 정보를 전달하기 위한 버스 또는 다른 내부 통신 수단(1140), 및 정보를 프로세싱하기 위해 버스(1140)에 결합된 처리 장치(1110)를 포함한다. 처리 장치(1110)는 중앙 처리 장치(CPU), 디지털 신호 프로세서(DSP), 또는 또 다른 유형의 처리 장치(1110)일 수 있다.
시스템은 일 실시형태에서, 프로세서(1110)에 의해 실행될 정보 및 명령어를 저장하기 위해 버스(1140)에 결합된 랜덤 액세스 메모리(RAM) 또는 다른 휘발성 저장 디바이스(1120)(메모리로서 언급됨)를 더 포함한다. 메인 메모리(1120)는 또한, 처리 장치(1110)에 의한 명령어의 실행 동안 임시 변수 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다.
시스템은 또한, 일 실시형태에서 프로세서(1110)에 대한 정적 정보 및 명령어를 저장하기 위해 버스(1140)에 결합된 판독 전용 메모리(ROM)(1150) 및/또는 정적 저장 디바이스(1150)를 포함한다. 일 실시형태에서, 시스템은 또한, 자기 디스크 또는 광 디스크 및 이의 대응하는 디스크 드라이브와 같은 데이터 저장 디바이스(1130), 또는 시스템에 어떠한 전력도 공급되지 않을 때 데이터를 저장할 수 있는 플래시 메모리 또는 다른 저장장치를 포함한다. 일 실시형태에서 데이터 저장 디바이스(1130)는 정보 및 명령어를 저장하기 위해 버스(1140)에 결합된다.
시스템은 또한, 정보를 출력하기 위해 버스(1160)를 통해 버스(1140)에 결합된 음극선관(CRT) 또는 액정 디스플레이(LCD)와 같은 출력 디바이스(1170)에 결합될 수 있다. 출력 디바이스(1170)는 시각 출력 디바이스, 오디오 출력 디바이스, 및/또는 촉각 출력 디바이스(예컨대, 진동, 등)일 수 있다.
입력 디바이스(1175)는 버스(1160)에 결합될 수 있다. 입력 디바이스(1175)는 사용자가 정보 및 명령 선택을 처리 장치(1110)에 전달하는 것을 가능하게 하기 위해, 영숫자 및 다른 키를 포함하는 키보드와 같은 영숫자 입력 디바이스일 수 있다. 부가적인 사용자 입력 디바이스(1180)가 더 포함될 수 있다. 하나의 이러한 사용자 입력 디바이스(1180)는 마우스, 트랙볼, 스타일러스, 커서 방향 키, 또는 터치 스크린과 같은 커서 제어 디바이스(1180)이며, 방향 정보 및 명령 선택을 처리 장치(1110)에 전달하기 위해, 및 디스플레이 디바이스(1170)에 대한 이동을 제어하기 위해 버스(1160)를 통해 버스(1140)에 결합될 수 있다.
컴퓨터 시스템(1100)에 선택적으로 결합될 수 있는 또 다른 디바이스는 네트워크를 통해 분산 시스템의 다른 노드에 액세스하기 위한 네트워크 디바이스(1185)이다. 통신 디바이스(1185)는 이더넷, 토큰 링, 인터넷, 또는 광역 네트워크, 개인 영역 네트워크, 다른 디바이스에 액세스하는 무선 네트워크 또는 다른 방법에 결합하기 위해 사용된 것과 같은 다수의 상업적으로 이용 가능한 네트워킹 주변 디바이스 중 임의의 디바이스를 포함할 수 있다. 통신 디바이스(1185)는 또한, 널 모뎀 연결, 또는 컴퓨터 시스템(1100)과 외부 세계 사이의 연결을 제공하는 임의의 다른 메커니즘일 수 있다.
도 11에 도시된 이 시스템의 구성요소 중 임의의 구성요소 또는 전부 및 연관된 하드웨어가 본 발명의 다양한 실시형태에서 사용될 수 있음에 유의한다.
본 발명을 구현하는 특정한 기계가 특정한 구현에 따라 다양한 방식으로 구성될 수 있다는 것이 당업자에 의해 인식될 것이다. 본 발명을 구현하는 제어 로직 또는 소프트웨어는 메인 메모리(1120), 대용량 저장 디바이스(1130), 또는 프로세서(1110)에 로컬로 또는 원격으로 액세스 가능한 다른 저장 매체에 저장될 수 있다.
본 명세서에서 설명된 시스템, 방법, 및 프로세스가 메인 메모리(1120) 또는 판독 전용 메모리(1150)에 저장되고 프로세서(1110)에 의해 실행된 소프트웨어로서 구현될 수 있다는 것이 당업자에게 명백할 것이다. 이 제어 로직 또는 소프트웨어는 또한, 컴퓨터 판독 가능한 매체에 구현되고 대용량 저장 디바이스(1130)에 의해 판독 가능하며 프로세서(1110)로 하여금 본 명세서의 방법 및 교시에 따라 동작하게 하기 위한 컴퓨터 판독 가능한 프로그램 코드를 가지는 컴퓨터 판독 가능한 매체를 포함하는 제조 물품에 상주할 수 있다.
본 발명은 또한, 상기 설명된 컴퓨터 하드웨어 구성요소의 서브세트를 포함하는 핸드헬드 또는 휴대용 디바이스로 구현될 수 있다. 예를 들면, 핸드헬드 디바이스는 버스(1140), 프로세서(1110), 및 메모리(1150 및/또는 1120)만을 포함하도록 구성될 수 있다.
핸드헬드 디바이스는 사용자가 이용 가능한 옵션의 세트로부터 선택할 수 있는 버튼의 세트 또는 입력 시그널링 구성요소를 포함하도록 구성될 수 있다. 이는 입력 디바이스 #1(1175) 또는 입력 디바이스 #2(1180)로 간주될 수 있다. 핸드헬드 디바이스는 또한, 정보를 핸드헬드 디바이스의 사용자에게 디스플레이하기 위한 액정 디스플레이(LCD) 또는 디스플레이 요소 매트릭스와 같은 출력 디바이스(1170)를 포함하도록 구성될 수 있다. 이러한 핸드헬드 디바이스를 구현하기 위해 종래의 방법이 사용될 수 있다. 이러한 디바이스에 대한 본 발명의 구현은 본 명세서에 제공된 바와 같이 본 발명의 개시를 고려할 때 당업자에게 명백할 것이다.
본 발명은 또한, 키오스크 또는 차량과 같은, 상기 설명된 컴퓨터 하드웨어 구성요소의 서브세트를 포함하는 특수 목적 기기로 구현될 수 있다. 예를 들면, 기기는 처리 장치(1110), 데이터 저장 디바이스(1130), 버스(1140), 및 메모리(1120)를 포함하고, 어떠한 입력/출력 메커니즘도 포함하지 않거나, 사용자가 디바이스와 기본적인 방식으로 통신하는 것을 허용하는 작은 터치 스크린과 같은 단지 가장 기본적인 통신 메커니즘을 포함할 수 있다. 일반적으로, 디바이스가 특수 목적일수록, 디바이스가 기능하기 위해 더 적은 요소가 존재할 필요가 있다. 일부 디바이스에서, 사용자와의 통신은 터치 기반 스크린, 또는 유사한 메커니즘을 통한 것일 수 있다. 일 실시형태에서, 디바이스는 어떠한 직접적인 입력/출력 신호를 제공하지 않을 수 있지만, 웹사이트 또는 네트워크 디바이스(1185)를 통한 다른 네트워크 기반 연결을 통해 구성되고 액세스될 수 있다.
컴퓨터 시스템으로서 구현된 특정한 기계의 임의의 구성이 특정한 구현에 따라 사용될 수 있다는 것이 당업자에 의해 이해될 것이다. 본 발명을 구현하는 제어 로직 또는 소프트웨어는 프로세서(1110)에 로컬로 또는 원격으로 액세스 가능한 임의의 기계 판독 가능한 매체에 저장될 수 있다. 기계 판독 가능한 매체는 기계(예컨대, 컴퓨터)에 의해 판독가능한 형태로 정보를 저장하기 위한 임의의 메커니즘을 포함한다. 예를 들면, 기계 판독 가능한 매체는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 디바이스, 또는 임시 또는 영구 데이터 저장을 위해 사용될 수 있는 다른 저장 매체를 포함한다. 일 실시형태에서, 제어 로직은 전기, 광학, 음향 또는 다른 형태의 전파된 신호(예컨대, 반송파, 적외선 신호, 디지털 신호, 등)와 같은 송신 가능한 데이터로서 구현될 수 있다.
상기 명세서에서, 본 발명은 이의 특정 예시적인 실시형태를 참조하여 설명되었다. 그러나, 첨부된 청구항에 제시된 바와 같이 본 발명의 더 넓은 사상 및 범위를 벗어나지 않고 이에 대한 다양한 수정 및 변경이 행해질 수 있음이 명백할 것이다. 명세서 및 도면은 그에 따라, 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.

Claims (20)

  1. 시스템으로서,
    도파관;
    빔 스플리터/합성기(beam splitter/combiner);
    중심와 이미지 요소(foveal image element)를 위한 제1 광 경로로서, 제1 광학계, 상기 중심와 이미지 요소의 위치를 특정한 방향으로 조향시키는 조향 가능한 요소, 중간 광학계, 상기 빔 스플리터/합성기, 및 상기 중심와 이미지 요소를 상기 도파관의 인-결합 영역(in-coupling region)으로 지향시키는 최종 광학계를 포함하고, 상기 중간 광학계의 출력은 상기 빔 스플리터/합성기 이전에 가상 중심와 이미지를 생성하는, 상기 제1 광 경로;
    필드 이미지 요소를 위한 제2 광 경로로서, 상기 빔 스플리터/합성기 및 상기 최종 광학계를 포함하는, 상기 제2 광 경로
    를 포함하는, 하이브리드 디스플레이 시스템.
  2. 제1항에 있어서,
    중심와 디스플레이 패널로서, 상기 중심와 디스플레이 패널의 출력은 상기 제1 광 경로를 통과하는, 상기 중심와 디스플레이 패널;
    필드 디스플레이 패널로서, 상기 필드 디스플레이 패널의 출력은 상기 제2 광 경로를 통과하는, 상기 필드 디스플레이 패널; 및
    상기 중심와 디스플레이 패널로부터의 광을 상기 최종 광학계에 상기 광이 진입하기 이전에 필드 디스플레이 패널로부터의 광과 합성하기 위해, 빔 합성기로서 작동하는 상기 빔 스플리터/합성기
    를 더 포함하는, 하이브리드 디스플레이 시스템.
  3. 제1항에 있어서, 상기 빔 스플리터/합성기는,
    역으로 작동하는 편광된 빔 스플리터 및 부분 거울 중 하나인, 하이브리드 디스플레이 시스템.
  4. 제1항에 있어서,
    상기 제1 광학계로부터의 광을 상기 조향 가능한 요소로 재지향시키는 하나 이상의 거울을 더 포함하는, 하이브리드 디스플레이 시스템.
  5. 제1항에 있어서,
    제1 부분 및 제2 부분을 가지는 단일 디스플레이 패널을 더 포함하되, 상기 단일 디스플레이 패널의 상기 제1 부분으로부터의 광은 상기 제1 광 경로를 통해 지향되고, 상기 단일 디스플레이 패널의 상기 제2 부분으로부터의 광은 상기 제2 광 경로를 통해 지향되는, 하이브리드 디스플레이 시스템.
  6. 제5항에 있어서,
    상기 단일 디스플레이 패널의 상기 제1 부분에 걸친 제1 유형의 편광의 제1 편광 필터;
    상기 단일 디스플레이 패널의 상기 제2 부분에 걸친 제2 유형의 편광의 제2 편광 필터;
    편광된 빔 스플리터로서 작동하는 상기 빔 스플리터/합성기
    를 더 포함하되, 상기 제1 유형의 편광을 갖는 광은 상기 제1 광 경로의 제1 광학계 이전에 상기 편광된 빔 스플리터를 통과하고, 상기 최종 광학계에 진입하기 이전에 다시 상기 편광된 빔 스플리터를 통과하고; 그리고
    상기 제2 유형의 편광을 갖는 광은 상기 제2 광 경로의 최종 광학계를 향해 상기 편광된 빔 스플리터에 의해 반사되는, 하이브리드 디스플레이 시스템.
  7. 제6항에 있어서, 상기 제1 광 경로를 따라 상기 광을 지향시키는 복수의 거울을 더 포함하는, 하이브리드 디스플레이 시스템.
  8. 제1항에 있어서,
    단일 디스플레이 패널;
    편광 필터;
    편광 변조기;
    편광된 빔 스플리터로서 작동하는 상기 빔 스플리터/합성기
    를 더 포함하되; 제1 편광을 갖는 광은 상기 제1 광 경로의 제1 광학계에 진입하기 이전에 상기 편광된 빔 스플리터를 통과하고, 제2 편광을 갖는 광은 상기 제2 광 경로로 상기 최종 광학계에 진입하기 이전에 상기 편광된 빔 스플리터에 의해 반사되는, 하이브리드 디스플레이 시스템.
  9. 제8항에 있어서, 상기 단일 디스플레이 패널은 필드 이미지 요소 및 중심와 이미지 요소의 디스플레이를 교번시켜, 시간 순차 분할을 생성하는, 하이브리드 디스플레이 시스템.
  10. 제8항에 있어서, 상기 제1 광 경로를 따라 상기 광을 지향시키는 복수의 거울을 더 포함하는, 하이브리드 디스플레이 시스템.
  11. 제8항에 있어서, 상기 중간 광학계의 출력은 상기 편광된 빔 스플리터 이전에 상기 가상 중심와 이미지를 생성하는, 하이브리드 디스플레이 시스템.
  12. 제1항에 있어서, 상기 제1 광학계는 조향 큐브(steering cube)를 포함하되, 상기 조향 큐브는 편광된 빔 스플리터를 포함하고, 상기 조향 큐브에 진입하는 상기 광은 상기 중간 광학계를 향해 상기 조향 큐브를 빠져나가기 이전에, 상기 조향 큐브의 다수의 측면을 통과하는, 하이브리드 디스플레이 시스템.
  13. 시스템으로서,
    중심와 이미지 데이터를 출력하는 중심와 디스플레이;
    중심와 이미지 데이터를 위한 제1 광 경로로서:
    제1 광학계,
    상기 중심와 이미지 데이터의 위치를 특정한 방향으로 조향시키는 조향 가능한 요소,
    가상 중심와 이미지를 형성하는 중간 광학계, 및
    중심와 최종 광학계를 포함하는, 상기 제1 광 경로;
    필드 이미지 데이터를 출력하는 필드 디스플레이;
    상기 필드 이미지 데이터를 위한 제2 광 경로로서, 필드 최종 광학계를 포함하는, 상기 제2 광 경로; 및
    상기 중심와 최종 광학계로부터 상기 중심와 이미지 데이터를 그리고 상기 필드 최종 광학계로부터 상기 필드 이미지 데이터를 수신하는 도파관으로서, 사용자에게 디스플레이하기 위해 상기 이미지 데이터를 아웃 결합기로 안내하는, 상기 도파관
    을 포함하는, 하이브리드 디스플레이 시스템.
  14. 제13항에 있어서, 상기 중심와 디스플레이 및 상기 필드 디스플레이는 단일 디스플레이인, 하이브리드 디스플레이 시스템.
  15. 제14항에 있어서, 상기 단일 디스플레이는 제1 부분 및 제2 부분을 갖고, 상기 단일 디스플레이의 제1 부분으로부터의 광은 상기 제1 광 경로를 통해 지향되고, 상기 단일 디스플레이의 제2 부분으로부터의 상기 광은 상기 제2 광 경로를 통해 지향되는, 하이브리드 디스플레이 시스템.
  16. 제14항에 있어서, 상기 단일 디스플레이는 편광 필터를 포함하고, 단일 디스플레이 시간은 상기 중심와 이미지 데이터 및 상기 필드 이미지 데이터를 순차적으로 출력하는, 하이브리드 디스플레이 시스템.
  17. 제13항에 있어서, 상기 필드 최종 광학계 및 상기 중심와 최종 광학계는 광학계의 단일 세트이고, 상기 시스템은,
    상기 단일 세트의 광학계에 진입하기 이전에 상기 중심와 이미지 데이터와 상기 필드 이미지 데이터를 합성하는 빔 스플리터/합성기를 더 포함하는, 하이브리드 디스플레이 시스템.
  18. 제13항에 있어서, 상기 제1 광학계는,
    조향 큐브를 포함하되, 상기 조향 큐브는 복수의 측면을 가지는, 편광된 빔 스플리터에 의해 이등분된 직사각형 프리즘을 포함하는, 하이브리드 디스플레이 시스템.
  19. 제18항에 있어서, 상기 중심와 이미지 데이터는 상기 조향 큐브에 진입하고, 상기 편광된 빔 스플리터에 의해 반사되고, 상기 조향 큐브를 빠져나오며 상기 조향 큐브의 또 다른 면을 통해 상기 조향 큐브를 빠져나가기 이전에, 상기 조향 가능한 요소에 의해 상기 조향 큐브로 다시 반사되는, 하이브리드 디스플레이 시스템.
  20. 중심와 이미지 요소 및 필드 이미지 요소를 포함하는 이미지를 디스플레이하는 시스템으로서,
    제1 광학계;
    상기 중심와 이미지 요소의 위치를 조향시키는 조향 가능한 요소;
    중간 광학계;
    빔 스플리터/합성기; 및
    최종 광학계
    를 포함하되;
    상기 중심와 이미지 요소는 상기 제1 광학계, 상기 조향 가능한 요소 및 상기 중간 광학계를 통과하고, 상기 중간 광학계의 출력은 상기 빔 스플리터/합성기 이전에 가상 중심와 이미지를 생성하고;
    상기 중심와 이미지 요소 및 상기 필드 이미지 요소는 둘 다 상기 빔 스플리터/합성기 및 상기 최종 광학계를 통과하는, 하이브리드 디스플레이 시스템.
KR1020217032204A 2019-03-29 2020-03-30 도파관을 사용한 조향 가능한 하이브리드 디스플레이 KR102649783B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962826888P 2019-03-29 2019-03-29
US62/826,888 2019-03-29
PCT/US2020/025812 WO2020205784A1 (en) 2019-03-29 2020-03-30 Steerable hybrid display using a waveguide

Publications (2)

Publication Number Publication Date
KR20210144748A KR20210144748A (ko) 2021-11-30
KR102649783B1 true KR102649783B1 (ko) 2024-03-20

Family

ID=70416574

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217032204A KR102649783B1 (ko) 2019-03-29 2020-03-30 도파관을 사용한 조향 가능한 하이브리드 디스플레이

Country Status (6)

Country Link
US (2) US11586049B2 (ko)
EP (1) EP3948399A1 (ko)
KR (1) KR102649783B1 (ko)
CN (1) CN217739617U (ko)
CA (1) CA3134149A1 (ko)
WO (1) WO2020205784A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021101815A1 (en) * 2019-11-22 2021-05-27 Akalana Management Llc Display systems having multiple light paths for performing foveation
EP4070159A4 (en) * 2019-12-04 2023-01-18 Magic Leap, Inc. VARIABLE PITCH COLOR EMISSION DISPLAY DEVICE
WO2022015647A2 (en) * 2020-07-13 2022-01-20 Perdix Systems Llc Optical systems with multiple light engines for foveation
KR20230174355A (ko) * 2022-06-20 2023-12-28 삼성디스플레이 주식회사 표시 장치 및 그 제어방법
CN117331125B (zh) * 2023-12-01 2024-03-01 中国海洋大学 一种分裂波束数据处理方法、装置、电子设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180096471A1 (en) * 2016-10-04 2018-04-05 Oculus Vr, Llc Head-mounted compound display including a high resolution inset

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4924522A (en) 1987-08-26 1990-05-08 Ncr Corporation Method and apparatus for displaying a high resolution image on a low resolution CRT
US5035500A (en) 1988-08-12 1991-07-30 Rorabaugh Dale A Automated ocular perimetry, particularly kinetic perimetry
US6008781A (en) 1992-10-22 1999-12-28 Board Of Regents Of The University Of Washington Virtual retinal display
US8330812B2 (en) 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
US6204974B1 (en) 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
US6097353A (en) 1998-01-20 2000-08-01 University Of Washington Augmented retinal display with view tracking and data positioning
JP2003502711A (ja) 1999-06-21 2003-01-21 ザ マイクロオプティカル コーポレイション 軸から外れている光学設計を使用する接眼レンズ・ディスプレイ・レンズ・システム
JP4374708B2 (ja) 2000-03-30 2009-12-02 株式会社デンソー 網膜走査ディスプレイ装置及び光走査装置
NZ537849A (en) 2005-01-21 2007-09-28 Peter James Hilton Direct Retinal Display projecting a scanned optical beam via diverging and converging reflectors
JP4735234B2 (ja) 2005-12-19 2011-07-27 ブラザー工業株式会社 画像表示システム
US20080015553A1 (en) 2006-07-12 2008-01-17 Jaime Zacharias Steering laser treatment system and method of use
CN101589329B (zh) 2007-11-21 2011-10-12 松下电器产业株式会社 显示装置
IL196078A (en) 2007-12-20 2014-09-30 Raytheon Co Imaging system
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US7786648B2 (en) 2008-08-18 2010-08-31 New Scale Technologies Semi-resonant driving systems and methods thereof
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US20110141225A1 (en) 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9632315B2 (en) 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US9513490B2 (en) 2011-01-10 2016-12-06 Eastman Kodak Company Three channel delivery of stereo images
BR112014005192A2 (pt) 2011-09-07 2017-03-21 Improved Vision Systems (I V S ) Ltd método e sistema para o tratamento de deficiência visual
US20130100176A1 (en) 2011-10-21 2013-04-25 Qualcomm Mems Technologies, Inc. Systems and methods for optimizing frame rate and resolution for displays
US8681426B2 (en) 2011-11-04 2014-03-25 Honeywell International Inc. Steerable near-to-eye display and steerable near-to-eye display system
JP5524254B2 (ja) 2012-02-14 2014-06-18 富士フイルム株式会社 ミラー駆動装置及びその制御方法
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
WO2014155288A2 (en) * 2013-03-25 2014-10-02 Ecole Polytechnique Federale De Lausanne (Epfl) Method and apparatus for head worn display with multiple exit pupils
DE102013208625A1 (de) 2013-05-10 2014-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiapertur-projektionsdisplay und einzelbilderzeuger für ein solches
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
US9335548B1 (en) 2013-08-21 2016-05-10 Google Inc. Head-wearable display with collimated light source and beam steering mechanism
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
JP2015132747A (ja) 2014-01-15 2015-07-23 セイコーエプソン株式会社 プロジェクター
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10068311B2 (en) 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
US9588408B1 (en) 2014-05-15 2017-03-07 Autofuss Methods and systems for projecting a target portion of an image at a higher resolution
US9874744B2 (en) 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
KR102420313B1 (ko) 2014-06-30 2022-07-13 소니그룹주식회사 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 화상 처리 시스템
US20160077338A1 (en) * 2014-09-16 2016-03-17 Steven John Robbins Compact Projection Light Engine For A Diffractive Waveguide Display
GB201417208D0 (en) 2014-09-30 2014-11-12 Ibvision Ltd Method Software And Apparatus For Testing A Patiants Visual Field
IL235073A (en) 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest
WO2016105521A1 (en) 2014-12-23 2016-06-30 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
EP3237953A1 (en) 2014-12-26 2017-11-01 CY Vision Inc. Near-to-eye display device with variable resolution
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10284118B2 (en) 2015-02-06 2019-05-07 New Scale Technologies, Inc. Two-axis angular pointing device and methods of use thereof
US10054797B2 (en) 2015-02-12 2018-08-21 Google Llc Combining a high resolution narrow field display and a mid resolution wide field display
US10078922B2 (en) 2015-03-11 2018-09-18 Oculus Vr, Llc Eye tracking for display resolution adjustment in a virtual reality system
US20160274365A1 (en) 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
JP6520432B2 (ja) 2015-06-09 2019-05-29 セイコーエプソン株式会社 光学デバイスおよび画像表示装置
US10210844B2 (en) 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
WO2017025487A1 (en) 2015-08-07 2017-02-16 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH System and method for displaying a stream of images
US10545717B2 (en) 2015-10-08 2020-01-28 Pcms Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
US10726619B2 (en) 2015-10-29 2020-07-28 Sony Interactive Entertainment Inc. Foveated geometry tessellation
US11109916B2 (en) 2015-11-09 2021-09-07 Digital Surgicals Pte Ltd Personalized hand-eye coordinated digital stereo microscopic systems and methods
WO2017112958A1 (en) 2015-12-24 2017-06-29 Meta Company Optical engine for creating wide-field of view fovea-based display
CN108700743A (zh) * 2016-01-22 2018-10-23 康宁股份有限公司 宽视场个人显示器
US20170255020A1 (en) 2016-03-04 2017-09-07 Sharp Kabushiki Kaisha Head mounted display with directional panel illumination unit
US20170255012A1 (en) 2016-03-04 2017-09-07 Sharp Kabushiki Kaisha Head mounted display using spatial light modulator to move the viewing zone
US10438400B2 (en) 2016-03-08 2019-10-08 Nvidia Corporation Perceptually-based foveated rendering using a contrast-enhancing filter
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10460704B2 (en) 2016-04-01 2019-10-29 Movidius Limited Systems and methods for head-mounted display adapted to human visual mechanism
GB2553744B (en) 2016-04-29 2018-09-05 Advanced Risc Mach Ltd Graphics processing systems
WO2018019831A1 (en) 2016-07-25 2018-02-01 Optotune Ag Optical device for enhancing resolution of an image using multistable states
US10255714B2 (en) 2016-08-24 2019-04-09 Disney Enterprises, Inc. System and method of gaze predictive rendering of a focal area of an animation
US9779478B1 (en) 2016-10-04 2017-10-03 Oculus Vr, Llc Rendering composite content on a head-mounted display including a high resolution inset
AU2017362344B2 (en) 2016-11-16 2023-09-28 Magic Leap, Inc. Multi-resolution display assembly for head-mounted display systems
US9711072B1 (en) 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using focus and context displays
US9711114B1 (en) 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using projectors
US11050364B2 (en) 2016-12-09 2021-06-29 New Scale Technologies, Inc. Semi-resonant motion devices and methods thereof
GB2560306B (en) 2017-03-01 2020-07-08 Sony Interactive Entertainment Inc Image processing
US20180269266A1 (en) 2017-03-16 2018-09-20 Intel Corporation Foveated displays for virtual and augmented reality
JP7096836B2 (ja) 2017-03-22 2022-07-06 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベース中心窩化レンダリング
CA3057878A1 (en) 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
US11209650B1 (en) * 2018-09-06 2021-12-28 Facebook Technologies, Llc Waveguide based display with multiple coupling elements for artificial reality
US10866422B2 (en) 2019-02-21 2020-12-15 Microsoft Technology Licensing, Llc Micro LED display system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180096471A1 (en) * 2016-10-04 2018-04-05 Oculus Vr, Llc Head-mounted compound display including a high resolution inset

Also Published As

Publication number Publication date
CA3134149A1 (en) 2020-10-08
EP3948399A1 (en) 2022-02-09
US20200310145A1 (en) 2020-10-01
CN217739617U (zh) 2022-11-04
US11586049B2 (en) 2023-02-21
WO2020205784A1 (en) 2020-10-08
US20230314826A1 (en) 2023-10-05
KR20210144748A (ko) 2021-11-30

Similar Documents

Publication Publication Date Title
KR102649783B1 (ko) 도파관을 사용한 조향 가능한 하이브리드 디스플레이
US11656468B2 (en) Steerable high-resolution display having a foveal display and a field display with intermediate optics
JP6600675B2 (ja) 仮想現実および拡張現実のシステムおよび方法
US11803054B2 (en) Near eye 3D display with separate phase and amplitude modulators
CN114868070A (zh) 具有能转向眼动范围的增强现实平视显示器
US20230152592A1 (en) Augmented reality display device
JP3453086B2 (ja) 三次元表示方法およびヘッドマウントディスプレイ装置
US11415794B2 (en) Low-obliquity pupil relay for near-eye display
US11822086B2 (en) Lightguide based illuminator for reflective display panel
US20230107434A1 (en) Geometrical waveguide illuminator and display based thereon
TW202407420A (zh) 用於反射式顯示面板之基於光導的照明器
WO2023056083A1 (en) Geometrical waveguide illuminator and display based thereon
CN117631275A (zh) 头戴式显示器、显示设备及其影像显示方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant