KR20170039294A - 구면 미러 및 결합 해제된 비구면 엘리먼트를 갖는 근안 디스플레이 - Google Patents

구면 미러 및 결합 해제된 비구면 엘리먼트를 갖는 근안 디스플레이 Download PDF

Info

Publication number
KR20170039294A
KR20170039294A KR1020177006202A KR20177006202A KR20170039294A KR 20170039294 A KR20170039294 A KR 20170039294A KR 1020177006202 A KR1020177006202 A KR 1020177006202A KR 20177006202 A KR20177006202 A KR 20177006202A KR 20170039294 A KR20170039294 A KR 20170039294A
Authority
KR
South Korea
Prior art keywords
image light
optical element
aspherical
beam splitter
display
Prior art date
Application number
KR1020177006202A
Other languages
English (en)
Other versions
KR102460874B1 (ko
Inventor
얀 치 푼
조슈아 에이. 허드만
알. 앤드류 월
스캇 맥엘다우니
스티븐 존 로빈스
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170039294A publication Critical patent/KR20170039294A/ko
Application granted granted Critical
Publication of KR102460874B1 publication Critical patent/KR102460874B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08Catadioptric systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/02Simple or compound lenses with non-spherical faces
    • G02B3/04Simple or compound lenses with non-spherical faces with continuous faces that are rotationally symmetrical but deviate from a true sphere, e.g. so called "aspheric" lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/08Mirrors
    • G02B5/10Mirrors with curved faces
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • G02B5/3083Birefringent or phase retarding elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

본 기술은 근안 디스플레이(NED) 디바이스에서 비구면 광학 엘리먼트를 버드배스 광학 엘리먼트로부터 결합 해제시키는 것을 제공한다. NED 디바이스의 투사 광 엔진에서 구면 버드배스 반사 미러와 함께 하나 이상의 비구면 렌즈가 사용된다. 투사 광 엔진은 이미지 광(또는 다른 정보)을, 구면 버드배스 반사 미러 및 적어도 하나의 비구면 렌즈를 통해, NED 디바이스의 근안 디스플레이에 제공한다. 구면 버드배스 반사 미러는 이미지 광을 시준하여 투사 광 엔진의 외부에 있는 출사동으로 반사한다. 비구면 광학 엘리먼트를 구면 버드배스 반사 미러로부터 결합 해제시키는 것은 투사 광 엔진의 높은 변조 전달 함수(MTF) 및 개선된 제조성을 가능하게 할 수 있다. 버드배스 광학 엘리먼트와 결합 해제된 비구면 광학 엘리먼트들을 갖는 NED 디바이스가 헤드 마운티드 디스플레이(HMD) 또는 헤드 업 디스플레이(HUD) 내의 지지 구조물에 의해 배치될 수 있다.

Description

구면 미러 및 결합 해제된 비구면 엘리먼트를 갖는 근안 디스플레이{NEAR EYE DISPLAY WITH A SPHERICAL MIRROR AND A DECOUPLED ASPHERICAL ELEMENT}
근안 디스플레이(near-eye display, NED) 디바이스는 증강 현실(augmented reality, AR) 경험 및 가상 현실(virtual reality, VR) 경험과 같은 경험을 위해 사용자에 의해 착용될 수 있다. NED 디바이스는 컴퓨터 생성 이미지(computer-generated image)(CGI) 또는 다른 정보를 NED 디바이스의 근안 디스플레이에 제공할 수 있는 투사 광 엔진(projection light engine)을 포함할 수 있다. AR 경험에서, NED 디바이스의 근안 디스플레이는 CGI가 사용자의 현실 세계 시야 상에 중첩될 수 있게 하기 위해 광학 투시 렌즈(optical see-through lens)를 포함할 수 있다.
NED 디바이스는 헤드 마운티드 디스플레이(head-mounted display)(HMD) 또는 헤드 업 디스플레이(head-up display)(HUD)에 포함될 수 있다. HMD는 헬멧, 바이저(visor), 안경, 및 고글 내에 있거나 하나 이상의 스트랩(strap)에 의해 부착된 NED 디바이스를 포함할 수 있다. HMD는 적어도 항공, 엔지니어링, 과학, 의료, 컴퓨터 게임, 비디오, 스포츠, 훈련, 시뮬레이션 및 다른 응용분야들에서 사용될 수 있다. HUD는 적어도 군사 및 상업 항공, 자동차, 컴퓨터 게임, 및 다른 응용분야들에서 사용될 수 있다.
본 기술은 근안 디스플레이(NED) 디바이스에서 비구면(aspheric) 광학 엘리먼트를 버드배스(birdbath) 광학 엘리먼트로부터 결합 해제(decoupling)시키는 것의 실시예들을 제공한다. 예를 들어, NED 디바이스의 투사 광 엔진에서 구면 버드배스 반사 미러(spherical birdbath reflective mirror)와 함께 하나 이상의 비구면 렌즈(aspheric lens)가 사용된다. 투사 광 엔진은 이미지 광(또는 정보)을, 구면 버드배스 반사 미러 및 적어도 하나의 비구면 광학 엘리먼트를 통해, NED 디바이스의 근안 디스플레이에 제공한다. 구면 버드배스 반사 미러는 이미지 광을 시준하여 투사 광 엔진의 외부에 있는 출사동(exit pupil)으로 반사한다. 비구면 광학 엘리먼트를 구면 버드배스 반사 미러로부터 결합 해제시키는 것은 투사 광 엔진의 높은 변조 전달 함수(modulation transfer function)(MTF) 및 개선된 제조성을 가능하게 할 수 있다. 버드배스 광학 엘리먼트와 결합 해제된 비구면 광학 엘리먼트들을 갖는 NED 디바이스가 헤드 마운티드 디스플레이(HMD) 또는 헤드 업 디스플레이(HUD)의 지지 구조물에 의해 배치될 수 있다.
본 기술은 NED 디바이스의 하나 이상의 실시예들을 제공한다. 투사 광 엔진 실시예는 이미지 광을 분할하는 빔 분할기(beam splitter)에 이미지 광을 제공하는 디스플레이를 포함하는 장치를 포함한다. 버드배스 광학 엘리먼트는 빔 분할기로부터 이미지 광을 수광하고 이미지 광을 반사하는 것은 물론 시준한다. 이미지 광에서의 수차(aberration)를 보정하기 위해 적어도 하나의 비구면 광학 엘리먼트가 버드배스 광학 엘리먼트와 출사동 사이의 광학 경로에 배치된다.
본 기술은 이미지 광을 제1 광학 경로를 따라 버드배스 반사 미러로 지향시키는 단계를 포함하는 방법의 하나 이상의 실시예들을 제공한다. 버드배스 반사 미러는 이미지 광을 시준하여 제2 광학 경로를 따라 버드배스 반사 미러의 하우징 외부에 있는 출사동으로 반사한다. 이미지 광이 제1 광학 경로와 제2 광학 경로 중 적어도 하나에서 편광된다. 이미지 광의 광학 수차가 제2 광학 경로를 따라 배치된 비구면 광학 엘리먼트에 의해 보정된다.
본 기술은 또한 컴퓨팅 시스템 및 근안 디스플레이를 갖는 헤드 마운티드 디스플레이를 포함하는 하나 이상의 실시예들을 제공한다. 장치는 이미지 데이터를 표현하는 전자 신호를 제공하는 컴퓨터 시스템을 포함한다. 헤드 마운티드 디스플레이는 전자 신호에 응답하여 이미지 데이터를 제공한다. 헤드 마운티드 디스플레이는 투사 광 엔진 및 근안 디스플레이를 갖는 근안 디스플레이 디바이스를 포함한다. 투사 광 엔진은 전자 신호에 응답하여 이미지 데이터를 제공한다. 투사 광 엔진 내의 반사 표면은 마이크로디스플레이(microdisplay)로부터의 이미지 데이터를 반사한다. 역시 투사 광 엔진에 있는, 편광 빔 분할기(polarizing beam splitter)는 이어서 반사 표면으로부터의 이미지 데이터의 빔을 편광시키고 분할한다. 구면 버드배스 반사 미러는 편광 빔 분할기로부터의 이미지 데이터를 반사하고 투사 광 엔진의 외부에 있는 출사동으로 시준한다. 투사 광 엔진에 있을 수 있는 비구면 메니스커스(meniscus) 렌즈는 이어서 이미지 데이터를 보정한다. 근안 디스플레이는 이미지 데이터를 수광하는 도파관(waveguide)을 포함한다.
이 발명의 내용은 이하에서 발명을 실시하기 위한 구체적인 내용에 추가로 기술되는 선택된 개념들을 간략화된 형태로 소개하기 위해 제공된다. 이 발명의 내용은 청구된 발명 요지의 핵심적인 특징들 또는 필수적인 특징들을 언급하려고 의도되어 있지도 않고, 청구된 발명 요지의 범주를 제한하기 위해 사용되는 것으로 의도되어 있지도 않다.
도 1은 근안 디스플레이(NED) 디바이스 시스템의 일 실시예의 예시적인 컴포넌트들을 나타낸 블록도.
도 2a는 NED 디바이스의 제어 회로부 내의 예시적인 하드웨어 컴포넌트들의 블록도.
도 2b는 외부 출사동(exit pupil)을 갖는 투사 광 엔진과 결합되는 근안 디스플레이의 일 실시예의 평면도.
도 3a는 버드배스 광학 엘리먼트 및 버드배스 광학 엘리먼트에 인접한 비구면 광학 엘리먼트를 사용하는 투사 광 엔진의 일 실시예의 블록도.
도 3b는 버드배스 광학 엘리먼트 및 빔 분할기에 인접한 비구면 광학 엘리먼트를 사용하는 투사 광 엔진의 일 실시예의 블록도.
도 3c는 버드배스 광학 엘리먼트 및 적어도 2개의 비구면 메니스커스 렌즈를 사용하는 투사 광 엔진의 일 실시예의 블록도.
도 3d는 고굴절률 유리에 매몰된 버드배스 광학 엘리먼트 및 비구면 광학 엘리먼트를 사용하는 투사 광 엔진의 다른 실시예의 블록도.
도 3e는 도 3d에 예시된 도파관 예의 층들의 평면도를 나타낸 블록도.
도 3f는 버드배스 광학 엘리먼트, 비구면 색지움 렌즈(aspheric achromatic lens) 및 비구면 메니스커스 렌즈를 사용하는 투사 광 엔진의 다른 실시예의 블록도.
도 3g는 버드배스 광학 엘리먼트 및 비구면 메니스커스 더블릿(doublet)을 사용하는 투사 광 엔진의 다른 실시예의 블록도.
도 4는 안경테를 사용하여 NED 디바이스 내의 근안 디스플레이와의 광학적 결합을 위한 외부 출사동을 갖는 투사 광 엔진를 하우징하는 것의 일 실시예를 나타낸 도면.
도 5는 NED 디바이스에 의해 이미지 데이터를 디스플레이하기 위한 소프트웨어 관점에서의 시스템의 일 실시예의 블록도.
도 6a 및 도 6b는 NED 디바이스 및/또는 NED 디바이스 시스템을 작동시키는 방법들의 실시예들의 플로우차트.
도 7은 NED 디바이스의 네트워크 액세스가능 컴퓨팅 시스템, 부속 프로세싱 모듈(companion processing module) 또는 제어 회로부를 구현하는 데 사용될 수 있는 컴퓨터 시스템의 일 실시예의 블록도.
본 기술은 근안 디스플레이(NED) 디바이스에서 비구면 광학 엘리먼트를 버드배스 광학 엘리먼트로부터 결합 해제시키는 것의 실시예들을 제공한다. 예를 들어, 투사 광 엔진에서 구면 버드배스 반사 미러와 함께 하나 이상의 비구면 렌즈가 사용된다. 투사 광 엔진은 이미지 광(또는 정보)을, 구면 버드배스 반사 미러 및 적어도 하나의 비구면 광학 엘리먼트를 통해, NED 디바이스의 근안 디스플레이 내로 제공한다. 구면 버드배스 반사 미러는 이미지 광을 시준하여 투사 광 엔진의 외부에 있는 출사동으로 반사한다. 버드배스 광학 엘리먼트와 결합 해제된 비구면 광학 엘리먼트들을 갖는 NED 디바이스가 HMD 또는 HUD의 지지 구조물에 의해 배치된 투사 광 엔진에 포함될 수 있다.
전형적으로, 구면 버드배스 반사 미러들은, 미러들이 높은 MTF를 달성할 수 있도록, 광학 수차들을 보정하기 위해 비구면 광학 엘리먼트들을 포함한다. 그렇지만, 비구면 광학 엘리먼트들을 갖는 이 미러들은 MTF를 열화시킬 수 있는 제조에서의 경면 오차(surface error) 및/또는 조립 허용 오차(assembly tolerance error)에 민감할 수 있다. 경면 오차 및 조립 허용오차(assembly tolerance)에 대한 높은 민감성은 구면 버드배스 반사 미러의 대량(고수율) 제조를 제한할 수 있다. 경면 오차 및 조립 허용 오차에 대한 민감성은, 본원에 기술되는 바와 같이, 미러로부터 비구면 광학 엘리먼트들을 제거하고 그들을 투사 광 엔진 내의 다른 곳에, 또는 다른 렌즈들 상에 제공하는 것에 의해 감소될 수 있다.
결합 해제된 비구면 광학 엘리먼트 및 구면 버드배스 반사 미러를 갖는 투사 광 엔진은 보다 큰 시야(field of view)(FOV) 및 보다 빠른 NED 디바이스 시스템에서 사용될 때 보다 높은 MTF 및 감소된 이미지 왜곡을 가질 수 있다. 다른 장점들은 1) 비구면 엘리먼트들을 포함할 필요가 없기 때문에, 보다 높은 성능 및 보다 높은 제조 수율을 갖는 구면 버드배스 반사 미러들이 제조될 수 있게 하는 것; 2) 투과 광학 경로(transmission optical path)에 비구면 광학 엘리먼트를 갖는 것에 의해 허용 오차를 감소시키는 것; 및 3) 비구면 광학 엘리먼트를 다른 위치들 또는 표면들로 이동시키는 것은 다른 광학 엘리먼트들의 민감성에 도움을 주기 위해 허용오차를 분산시킬 수 있다는 것을 포함할 수 있지만, 이들로 제한되지 않는다.
도 1은 근안 디스플레이(NED) 디바이스 시스템(8)의 일 실시예의 예시적인 컴포넌트들을 나타낸 블록도이다. 예시된 실시예에서, NED 디바이스 시스템(8)은 헤드 마운티드 디스플레이(HMD) 디바이스(2) 내의 근안 디스플레이(NED) 디바이스 및 부속 프로세싱 모듈(4)을 포함한다. HMD(2)는 부속 프로세싱 모듈(4)에 통신가능하게 결합된다. 이 예에서 무선 통신이 예시되어 있지만, 부속 프로세싱 모듈(4)과 HMD(2) 사이의 전선(wire)을 통한 통신이 또한 구현될 수 있다. 일 실시예에서, HMD(2)는 본원에서 상세히 기술되는 바와 같이 투사 광 엔진(120)(도 2b 및 도 3a 내지 도 3d 그리고 도 3f와 도 3g에 도시됨)을 갖는 NED 디바이스 및 도파관을 갖는 근안 디스플레이(14)를 포함한다. 대안의 실시예들에서, NED 디바이스는 헤드 업 디스플레이(HUD)에 포함될 수 있다.
이 실시예에서, HMD(2)는 프레임(115)을 갖는 안경의 형상으로 되어 있고, 여기서 각각의 디스플레이 광학 시스템(display optical system)(14l 및 14r)은 사용자에 의해 착용될 때 각각의 눈에 의해 투시되도록 HMD(2)의 전방에 위치되어 있다. 각각의 디스플레이 광학 시스템(14l 및 14r)이 또한 디스플레이 또는 근안 디스플레이(14)라고 지칭되고, 2 개의 디스플레이 광학 시스템들(14l 및 14r) 모두가 또한 디스플레이 또는 근안 디스플레이(14)라고 지칭될 수 있다. 이 실시예에서, 각각의 디스플레이 광학 시스템(14l 및 14r)은, 이미지 데이터가 사용자의 전방에 있는 3차원 시야 내의 위치에서 사용자에게 보이도록 이미지 데이터의 디스플레이를 생성하기 위해, 이미지 데이터(또는 이미지 광)가 사용자의 눈 안으로 투사되는 투사 디스플레이(projection display)를 사용한다. 예를 들어, 사용자는 사용자의 거실에서 광학 투시 모드(optical see-through mode)로 적군 헬리콥터 격추 게임을 플레이하고 있을 수 있다. 사용자가 사람의 눈에 그렇게 가까운 이미지 데이터에 초점을 맞출 수 없기 때문에, 헬리콥터의 이미지가, 도 2b에 도시된 선택적인 렌즈들(116 및 118) 사이가 아니라, 사용자의 거실에 있는 의자 위를 날아가고 있는 것처럼 사용자에게 보인다.
이 실시예에서, 프레임(115)은 HMD(2)의 엘리먼트들을 제자리에 유지시키기 위한 종래의 안경테는 물론 전기적 연결을 위한 통로를 제공한다. 일 실시예에서, 프레임(115)은 본원에 기술되는 바와 같이 투사 광 엔진(120) 및 근안 디스플레이(14)를 위한 NED 디바이스 지지 구조물을 제공한다. NED 디바이스 지지 구조물들의 어떤 다른 예들은 헬멧, 바이저 프레임, 고글 지지체 또는 하나 이상의 스트랩이다. 프레임(115)은 코 받침(nose bridge)(104), 전방 상부 커버 섹션(117), HMD(2)의 좌측 하우징(130l) 및 우측 하우징(130r) 각각에 대한 각자의 투사 광 엔진 하우징(130)은 물론, 사용자의 각각의 귀에 걸리도록 설계되어 있는 좌측 및 우측 안경다리 또는 사이드 아암(side arm)(102l 및 102r)을 포함한다. 이 실시예에서, 코 받침(104)은 소리를 녹음하고 오디오 데이터를 제어 회로부(136)로 전송하기 위한 마이크로폰(110)을 포함한다. 측면 하우징 유닛(130l 및 130r)의 외부에는, 근안 디스플레이(NED) 디바이스의 FOV에 무엇이 있는지를 매핑하기 위해 사용자의 전방에 있는 실제 환경의 이미지 데이터를 포착하는 각자의 바깥쪽으로 향해 있는 카메라들(113l 및 113r)이 있다.
이 실시예에서, 파선들(128)은 제어 회로부(136) - 역시 파선으로 나타내어져 있음 - 에 연결되는 어떤 전기적 연결 경로들의 예시적인 예들이다. 도면을 복잡하게 만드는 것을 피하기 위해, 하나의 파선으로 된 전기적 연결 라인에 도면 부호 128이 부기되어 있다. 전기적 연결들 및 제어 회로부(136)는, 이 예에서, 전방 상부 커버 섹션(1117) 아래에 있다는 것을 나타내기 위해, 파선으로 되어 있다. 다른 컴포넌트들에 대한 사이드 아암들 내의 전원 버스(power bus)의 연장부들을 포함하는 다른 전기적 연결들(도시되지 않음)이 또한 있을 수 있고, 다른 컴포넌트들의 일부 예로는 부가의 카메라들을 비롯한 센서 유닛들, 이어폰 또는 유닛과 같은 오디오 출력 디바이스들, 및 어쩌면 부가의 프로세서 및 메모리가 있다. 프레임의 다양한 부분들을 서로 연결시키기 위해 사용될 수 있는 나사(screw)로서의 커넥터들(129)의 일부 예들이 예시되어 있다.
부속 프로세싱 모듈(4)은 다양한 실시예들을 취할 수 있다. 일부 실시예들에서, 부속 프로세싱 모듈(4)은 사용자의 신체, 예컨대, 손목 상에 착용될 수 있거나 모바일 디바이스(예컨대, 스마트폰, 태블릿, 랩톱)와 같은 별도의 휴대용 컴퓨터 시스템일 수 있는 휴대용 형태로 되어 있다. 부속 프로세싱 모듈(4)은 전선을 사용하여 또는 무선으로(예컨대, WiFi, 블루투스, 적외선, 적외선 개인 영역 네트워크, RFID 전송, WUSB(wireless Universal Serial Bus), 셀룰러, 3G, 4G 또는 다른 무선 통신 수단) 하나 이상의 통신 네트워크들(50)을 거쳐 하나 이상의 네트워크 액세스가능 컴퓨팅 시스템(들)(12) - 근방에 위치해 있든 원격 장소에 위치해 있든 관계 없음 - 과 통신할 수 있다. 다른 실시예들에서, 부속 프로세싱 모듈(4)의 기능이 HMD(2)의 소프트웨어 및 하드웨어 컴포넌트들 내에 통합되어 있을 수 있다. 부속 프로세싱 모듈(4) 및 네트워크 액세스가능 컴퓨팅 시스템(들)(12)의 하드웨어 컴포넌트들의 일부 예들이 도 7에 도시되어 있다.
하나 이상의 네트워크 액세스가능 컴퓨터 시스템(들)(12)은 프로세싱 능력 및 원격 데이터 액세스를 위해 이용될 수 있다. 네트워크 액세스가능 컴퓨팅 시스템(들)(12) 및 부속 프로세싱 모듈(4)의 상이한 실시예들에 대해 컴포넌트들의 복잡도 및 개수가 상당히 달라질 수 있다. 도 1에 예시된 일 실시예에서, NED 디바이스 시스템(1000)은 근안 디스플레이(NED) 디바이스 시스템(8)(부속 프로세싱 모듈(4)을 갖거나 갖지 않음), 통신 네트워크(들)(50) 및 네트워크 액세스가능 컴퓨팅 시스템(들)(12)을 포함할 수 있다. 일 실시예에서, 네트워크 액세스가능 컴퓨팅 시스템(들)(12)은 원격지에 또는 클라우드 운영 환경에 위치될 수 있다.
근안 디스플레이(14)에 이미지 데이터를 제공하기 위해 제어 회로부(136), 부속 프로세싱 모듈(4) 및/또는 네트워크 액세스가능 컴퓨팅 시스템(들)(12)(또는 이들의 조합) 내의 하나 이상의 프로세서들 상에서 실행 중인 애플리케이션(예컨대, 게임 또는 메시징 애플리케이션)에 기초하여 디스플레이하기 위한 이미지 데이터가 식별된다.
도 2a는 NED 디바이스의 제어 회로부 내의 컴퓨터 시스템을 비롯한 예시적인 하드웨어 컴포넌트들의 블록도이다. 제어 회로부(136)는 HMD(2)의 다른 컴포넌트들을 지원하는 다양한 전자부품들을 제공한다. 이 예에서, HMD(2)에 대한 제어 회로부(136)는 프로세싱 유닛(210), 프로세싱 유닛(210)에 의해 액세스가능하고, 프로세서 판독가능 명령어들 및 데이터를 저장하는 메모리(244), 및 프로세싱 유닛(210)에 통신가능하게 결합되고, HMD(2)를, 부속 프로세싱 모듈(4), 다른 NED 디바이스의 컴퓨터 시스템 또는 인터넷을 통해 원격적으로 액세스가능한 것과 같은, 다른 컴퓨터 시스템에 연결하기 위한 네트워크 인터페이스로서 기능할 수 있는 네트워크 통신 모듈(137)을 포함한다. 전원(239)은 제어 회로부(136)의 컴포넌트들 및 포착 디바이스들(113), 마이크로폰(110), 다른 센서 유닛들과 같은, HMD(2)의 다른 컴포넌트들에 그리고 광원들 및 투사 광 엔진 내의 마이크로디스플레이와 같은 이미지 소스와 연관된 전자 회로부와 같은, 근안 디스플레이(14) 상에 이미지 데이터를 디스플레이하기 위한 전력 소모 컴포넌트(power drawing component)들에 전력을 제공한다.
프로세싱 유닛(210)은 CPU(central processing unit) 또는 코어 및 GPU(graphics processing unit) 또는 코어와 같은 하나 이상의 프로세서들(또는 코어들)을 포함할 수 있다. 별도의 부속 프로세싱 모듈(4)을 갖지 않는 실시예들에서, 프로세싱 유닛(210)은 적어도 하나의 GPU를 포함할 수 있다. 메모리(244)는, 예를 들어, 실행 동안 애플리케이션이 사용하기 위한 랜덤 액세스 메모리(RAM), 포착된 이미지 데이터 및 디스플레이 데이터를 비롯한 센서 데이터를 위한 버퍼들, 명령어들 및 시스템 데이터를 위한 판독 전용 메모리(ROM) 또는 플래시 메모리, 그리고 애플리케이션들 및 사용자 프로파일 데이터를 저장하기 위한 다른 유형들의 비휘발성 메모리와 같은, 시스템에 의해 사용될 수 있는 다양한 유형들의 메모리를 나타낸다. 도 2a는 센서 유닛들(257), 디스플레이 구동기(246), 프로세싱 유닛(210), 메모리(244), 및 통신 모듈(137)을 연결시키는 데이터 버스(270)의 전기적 연결을 나타내고 있다. 데이터 버스(270)는 또한 제어 회로부의 예시된 엘리먼트들 모두가 전력을 끌어오기 위해 연결되어 있는 전원 버스(272)를 통해 전원(239)으로부터 전력을 얻는다.
제어 회로부(136)는 이미지 데이터를 나타내는 디지털 제어 데이터(예컨대, 제어 비트들) - 이 디지털 제어 데이터는 마이크로디스플레이 회로부(259)에 의해 디코딩될 수 있음 - 를 선택하는 디스플레이 구동기(246) 및 투사 광 엔진(예컨대, 도 2b의 120)의 다른 능동 컴포넌트 구동기들을 추가로 포함한다. 도 3d에 도시된 마이크로디스플레이(230)와 같은, 마이크로디스플레이는 능동 투과형, 발광형 또는 반사형 디바이스일 수 있다. 예를 들어, 마이크로디스플레이는 전력을 필요로 하는 LCoS(liquid crystal on silicon) 디바이스 또는 개개의 미러들을 움직이기 위해 전력을 필요로 하는 MEMS(micromechanical machine) 기반 디바이스일 수 있다. 능동 컴포넌트 구동기의 일 예는, 하나 이상의 레이저들 또는 LED(light emitting diode)들과 같은, 하나 이상의 광원들을 포함하는 조명 유닛(222)을 구동하기 위해 디지털 제어 데이터를 아날로그 신호들로 변환하는 디스플레이 조명 구동기(247)이다. 일부 실시예들에서, 디스플레이 유닛은 투사 광 엔진으로부터의 이미지 광을 출사동에서 결합시키기 위한, 도파관에 대한 것과 같은, 하나 이상의 능동 격자(active grating)들(253)을 포함할 수 있다. 선택적인 능동 격자(들) 제어기(249)는 디지털 제어 데이터를 하나 이상의 선택적인 능동 격자(들)(253)의 특성들을 변화시키기 위한 신호들로 변환한다. 이와 유사하게, 투사 광 엔진의 하나 이상의 편광기(polarizer)들은 선택적인 능동 편광기(들) 제어기(251)에 의해 구동될 수 있는 능동 편광기(들)(255)일 수 있다. 제어 회로부(136)는 여기에 예시되어 있지 않지만, 오디오 출력을 제공하는 것, 머리 배향 및 위치 정보를 식별하는 것과 같은, HMD(2)의 다른 기능들에 관련되어 있는 다른 제어 유닛들을 포함할 수 있다.
도 2b는 외부 출사동(121)을 갖는 투사 광 엔진(120)과 결합되는 근안 디스플레이(14l)의 일 실시예의 평면도이다. 디스플레이 광학 시스템(14) - 이 경우에, 좌측 눈에 대한 14l - 의 컴포넌트들을 보여주기 위해, 근안 디스플레이(14l) 및 투사 광 엔진(120)을 덮고 있는 상부 프레임 섹션(117)의 일부분이 도시되어 있지 않다. 화살표(142)는 근안 디스플레이(14l)의 광학 축을 나타낸다.
이 실시예에서, 근안 디스플레이들(14l 및 14r)은 광학 투시형 디스플레이(optical see-through display)이다. 다른 실시예들에서, 디스플레이들이 비디오 투시형 디스플레이(video-see display)일 수 있다. 각각의 디스플레이는, 2개의 선택적인 투시형 렌즈들(116 및 118) 사이에 예시되고 도파관(123)을 포함하는, 디스플레이 유닛(112)을 포함한다. 선택적인 렌즈들(116 및 118)은 디스플레이 유닛에 대한 보호 커버(protective covering)이다. 그들 중 하나 또는 둘 다는 또한 사용자의 안경 처방을 구현하기 위해 사용될 수 있다. 이 예에서, 눈 공간(140)은 HMD(2)가 착용될 때 사용자의 눈의 위치에 가깝다. 도파관은 이미지 광 형태의 이미지 데이터를 투사 광 엔진(120)으로부터 사용자 눈 공간(140)을 향해 지향시키면서 또한 현실 세계로부터의 광이 사용자의 눈 공간으로 통과할 수 있게 함으로써, 투사 광 엔진(120)으로부터의 가상 특징(virtual feature)의 이미지를 보는 것에 부가하여, 사용자가 HMD(2)의 전방의 공간을 실제로 직접 볼 수 있게 한다.
이 평면도에서, 투사 광 엔진(120)은 곡면(curved surface)으로 예시되어 있는 버드배스 광학 엘리먼트(234)를 포함한다. 곡면은 그가 반사하는 이미지 광의 빔들(235)(이미지 광(235)이라고도 기술됨)에 광 출력(optical power)을 제공하고, 따라서 그 빔들을 또한 시준한다. 도면을 복잡하게 만드는 것을 방지하기 위해 하나의 빔에만 도면 부호가 부기되어 있다. 일부 실시예들에서, 버드배스 광학 엘리먼트의 곡률 반경은 적어도 -38 밀리미터(mm)이다. 빔들이 시준되지만, 곡면의 상이한 지점들로부터 반사될 때 상이한 각도들로부터 나온다. 이와 같이, 빔들이 교차하고 그들 자체의 가장 작은 단면에 출사동(121)을 형성한다.
일부 실시예들에서, 도파관(123)은 회절 도파관(diffractive waveguide)일 수 있다. 그에 부가하여, 일부 예들에서, 도파관(123)은 표면 요철 격자(surface relief grating)(SRG) 도파관이다. 입력 격자(input grating)(119)는 투사 광 엔진(120)으로부터의 이미지 광을 결합시킨다. 그에 부가하여, 도파관은 이미지 광이 사용자 눈 공간(140)의 방향으로 도파관을 빠져나가기 위한 다수의 출구 격자(exit grating)들(125)을 가진다. 도면을 복잡하게 만드는 것을 피하기 위해, 하나의 출구 격자(128)에 도면 부호가 부기되어 있다. 이 예에서, 가장 바깥쪽에 있는 입력 격자(119)는 충분히 넓고 투사 광 엔진(120)을 빠져나가는 광을, 투사 광 엔진을 빠져나가는 광이 그의 출사동(121)에 도달하기 전에, 포착하도록 위치되어 있다. 광학적으로 결합된 이미지 광은 그의 출사동을, 이 예에서, 도파관의 중앙 부분에 형성한다. 보다 상세한 예에 대해서는 도 3e를 참조하세요. 본원에 기술되는 도 3a는 출사동에서 이미지 광을 출사동에 위치된 입력 격자와 결합시키는 도파관의 일 예를 제공한다.
출사동(121)은 디스플레이되고 있는 전체 이미지에 대한 광을 포함하고, 이와 같이 이미지를 나타내는 광을 출사동(121)에서 결합시키는 것은 이미지 전체를 한 번에 포착하고, 따라서 아주 효율적이며 근안 디스플레이(14)에서의 전체 이미지의 뷰(view)를 사용자에게 제공한다. 출사동(121)이 투사 광 엔진(120)의 외부에 있기 때문에, 입력 격자(119)는 출사동(121)의 이미지 광을 결합시킬 수 있다. 일 실시예에서, 출사동(121)은 투사 광 엔진(120) 또는 투사 광 엔진의 하우징으로부터 0.5mm 외부에 있다. 다른 실시예들에서, 출사동(121)은 투사 광 엔진(120) 또는 투사 광 엔진의 하우징으로부터 5 mm 외부에 투사된다.
도 2b의 예시된 실시예에서, 좌측 하우징(130l)에 있는 투사 광 엔진(120)은 이미지 광을 생성하는 광원 - 예를 들어, 마이크로디스플레이 - 및 투사 광 엔진(120)의 외부에 출사동(121)을 형성하기 위해 이미지 광의 광학 경로를 굴곡(fold)시키는 투사 광학 시스템을 포함한다. 투사 광 엔진(120)의 형상은 도 1에서의 프레임(115)의 코너 주위에 부합하는 예시적인 좌측 하우징(130l)의 형상에 적합하게 하여 부피(bulkiness)를 감소시키는 예시적인 예이다. 그 형상이, 예를 들어, 구현되는 상이한 이미지 소스 기술들로 인한, 투사 광 엔진(120)의 상이한 배열(arrangement)들을 수용하기 위해 변화될 수 있다.
본원에 기술되는 이미지 소스(223)와 같은, 이미지 소스를 구현하기 위해 사용될 수 있는 다른 이미지 생성 기술들이 있다. 예를 들어, 마이크로디스플레이는 투과형 투사 기술(transmissive projection technology)을 사용하여 구현될 수 있다. 이러한 기술의 일 예에서, 광원이 광학적 활성 물질(optically active material)에 의해 변조되고, 백색 광에 의해 백라이팅된다. 이 기술들은 보통 강력한 백라이트 및 높은 광학 에너지 밀도를 갖는 LED 유형 디스플레이들을 사용하여 구현된다. 다른 마이크로디스플레이들은 조명 유닛으로부터의 광이 광학적 활성 물질에 의해 반사되고 변조되는 반사형 기술(reflective technology)을 사용한다. 조명은, 기술에 따라, 백색 광원 또는 RGB 광원일 수 있다. DLP(digital light processing), DMD(digital micromirror device), LCoS, 및 Qualcomm, Inc.의 Mirasol® 디스플레이 기술 모두는, 대부분의 에너지가 변조된 구조물(modulated structure)로부터 반사되고 디스플레이에 의해 사용될 수 있기 때문에, 효율적인 반사형 기술들의 예들이다. 그에 부가하여, 마이크로디스플레이가, 광이 디스플레이에 의해 생성되는 발광형(emissive) 또는 자기 발광형(self-emissive) 기술을 사용하여, 구현될 수 있다. 발광형 또는 자기 발광형 기술의 일 예는 OLED(organic light emitting diode) 기술이다.
도 2b는 HMD(2)의 절반을 나타내고 있다. 예시된 실시예에서, 풀 HMD(2)은 다른 선택적인 투시형 렌즈 세트(116 및 118), 다른 도파관(123)은 물론, 다른 투사 광 엔진(120), 및 바깥쪽으로 향해 있는 포착 디바이스들(113)을 갖는 다른 디스플레이 광학 시스템(14)을 포함할 수 있다. 일부 실시예들에서, 각각의 눈에 대한 디스플레이 광학 시스템보다는, 양쪽 눈이 연속적인 디스플레이를 볼 수 있다. 일부 실시예들에서, 단일의 투사 광 엔진(120)이 양쪽 눈이 보는 연속적인 디스플레이에 광학적으로 결합될 수 있거나, 눈에 대한 개별적인 디스플레이들에 광학적으로 결합될 수 있다. 헤드 마운티드 개인 A/V 장치의 부가의 상세는 2010년 10월 15일에 출원된, 발명의 명칭이 "Fusing Virtual Content Into Real Content"인 미국 특허 출원 제12/905952호에 예시되어 있다.
도 3a는 버드배스 광학 엘리먼트(234) 및 비구면 광학 엘리먼트(351)를 사용하는 투사 광 엔진(120)의 일 실시예의 블록도이다. 일 실시예에서, 버드배스 광학 엘리먼트(234) 및 비구면 광학 엘리먼트(351)는 투사 광 엔진의 외부에 출사동(121)을 제공하기 위해 광학 경로를 굴곡시키는 데 도움을 주는 고굴절률 유리 영역(225)에 매몰된다. 고굴절률 유리의 일부 예들은 적어도 1.65의 굴절률을 갖는 유리 및 플린트 유리(flint glass)이다. 이 측면도는 버드배스 투사 광학 시스템과 연관된 일부 예시적인 기본 엘리먼트들을 예시하고 있다. 도 3a에 그리고 다른 도면들에 예시된 실시예의 다양한 버전들에서 부가의 광학 엘리먼트들이 존재할 수 있다. 이미지 소스(223)는 광학적 지향 엘리먼트(optical directing element)(232), 곡면 반사면(curved reflective surface)(238)을 갖는 버드배스 광학 엘리먼트(234), 비구면 광학 엘리먼트(351), 및 편광기(240)로 나타내어져 있는 하나 이상의 편광 광학 엘리먼트들을 포함하는 고굴절률 유리 영역(225) 내로 전파하는 이미지 광을 생성한다.
일 실시예에서, 버드배스 광학 엘리먼트(234)는 구면 버드배스 반사 미러이고, 비구면 광학 엘리먼트(351)는 광학 경로를 따라 광학적 지향 엘리먼트(232)와 버드배스 광학 엘리먼트(234) 사이에 배치된 Schmidt 보정 렌즈(corrector lens) 또는 적어도 하나의 비구면 렌즈이다. 비구면 광학 엘리먼트(351)는 곡면 반사면(238)로부터 반사된 이미지 광에서의 광학 수차를 보정하는 데 사용된다. 비구면 광학 엘리먼트들을 버드배스 광학 엘리먼트(234)로부터 결합 해제시키는 것은 본원에 기술되는 장점들 중 다수를 제공할 수 있다. 실시예들에서, 도 3a 및 도 3c에 도시된 투사 광 엔진(120)은 낮은 이미지 왜곡을 제공할 수 있다.
광학적 지향 엘리먼트(232)는 이미지 소스(223)로부터의 이미지 광을 버드배스 광학 엘리먼트(234)(예컨대, 구면 버드배스 반사 미러)의 반사면(238)으로 지향시키고, 곡면(238)으로부터 반사되는 이미지 광이 편광기(240)를 통과하여 진행할 수 있게 한다. 광학적 지향 엘리먼트(232)의 일 예는 빔 분할기이고, 빔 분할기는 편광기로서도 기능할 수 있으며, 따라서 버드배스 광학 엘리먼트(234)는 편광된 광을 수광하고, 이 편광된 광은 하나 이상의 편광 광학 엘리먼트들(240)에 의해 또다시 편광된다. 하나 이상의 편광 광학 엘리먼트들(240)의 일부 구현 예들은 적색 회전 파장판(red rotation waveplate) 또는 1/4 파장판(quarter waveplate)과 같은 수동 광학 엘리먼트(passive optical element)일 수 있다. 본원에 기술되는 바와 같은 일부 실시예들에서 능동 편광기들이 사용될 수 있다.
회절 도파관의 하나 이상의 입력 격자들과 같은, 하나 이상의 입력 격자들 내로의 보다 효율적인 결합을 위해 이미지 광이 편광된다. 일부 예들에서, 도파관은 다수의 층들을 가질 수 있고, 들어오는 이미지 광의 편광이 들어오는 광을 도파관의 상이한 층들로 필터링하는 데 사용될 수 있다. 각각의 층은 그 자신의 입력 격자 및 출구 격자(exit grating)를 가진다. 층에 대한 입력 격자는 특정 편광의 광을 그의 층 내로 결합시킨다. 다른 편광들의 광은 입력 격자 및 그 층 자체를 통과하고, 따라서 그 다음 층의 입력 격자는 수광된 광을 그의 편광에 기초하여 결합시키거나 통과시킨다. 일부 구현들에서, 상이한 색들에 대해서와 같은, 상이한 파장 대역들이 이미지의 밝기를 향상시키기 위해 상이한 도파관 층들로 지향될 수 있다. 상이한 파장 대역들에서의 광이 각각의 파장 대역에 대한 각자의 층 내로 결합시키기 위해 편광될 수 있다. 예를 들어, 2012년 8월 31일의 출원일을 갖는, 발명의 명칭이 "NED Polarization System for Wavelength Pass-Through"인 Nguyen 등의 미국 특허 출원 제13/601,727호를 참조하세요.
고굴절률 유리 영역(225) 내에서의 하나 이상의 편광 광학 엘리먼트들의 배열은 도파관(123) 내의 층들의 수, 격자들의 유형들(예컨대, 표면 요철 격자들), 및 이미지 광을 층들 간에 분배하기 위한 미리 결정된 기준을 비롯한 다수의 인자들에 기초할 수 있다. 빔들(235)은 버드배스 곡면 반사면(238)으로부터 반사될 때 시준되지만, 각각의 부분은 곡면으로 인해 상이한 각도로부터 반사되고 있다. (출사동에서 가장 작은 단면을 갖는 다수의 빔들의 평면도의 일 예에 대해서는 도 3e를 참조하세요.) 이 실시예에서, 도파관(123)의 입력 격자(119)는 반사된 빔을 대략 출사동 위치(121)에서 결합시킨다. 이 실시예에서, 도파관(123)은 단층 도파관(single layer waveguide)일 수 있다. 도 3d 및 도 3e에 예시된 다른 실시예들에서, 다층 도파관(multi-layer waveguide)이 근안 디스플레이(14)에 구현될 수 있다.
도 3b는 도 3a에 예시된 유사한 컴포넌트들을 갖는 투사 광 엔진(120)의 다른 실시예의 블록도이다. 그렇지만, 도 3b는 적어도 하나의 비구면 광학 엘리먼트(352)가 광학 경로를 따라 투사 광 엔진(120)에서 광학적 지향 엘리먼트(232)와 편광기(240) 사이에 배치되어 있는 일 실시예를 나타내고 있다. 일 실시예에서, 비구면 광학 엘리먼트(352)는 적어도 하나의 비구면 메니스커스 렌즈일 수 있다.
도 3c는 도 3a 및 도 3b에 예시된 유사한 컴포넌트들을 갖는 투사 광 엔진(120)의 다른 실시예의 블록도이다. 그렇지만, 도 3c는 비구면 광학 엘리먼트들(353a 및 353b)이 투사 광 엔진(120)의 외부에 그리고 광학 경로를 따라 버드배스 광학 엘리먼트(234)와 출사동(121) 사이에 배치되는 일 실시예를 나타내고 있다. 일 실시예에서, 비구면 광학 엘리먼트들(353a 및 353b)은 비구면 메니스커스 렌즈 세트이다. 다른 실시예에서, 단일의 비구면 광학 엘리먼트(353a)가 사용된다. 일 실시예에서, 필드 보정기(field corrector)(280)가 이미지 소스(223)와 광학적 지향 엘리먼트(232) 사이에 배치된다. 이와 유사하게, 도 3a 내지 도 3c에 예시된 실시예들은 또한 이미지 소스(223)와 광학적 지향 엘리먼트(232) 사이에 배치된 더블릿(도 3d에 도시된 더블릿(226) 등)을 포함할 수 있다. 또 다른 실시예에서, 사전 편광기(prepolarizer)가 이미지 소스(223)와 더블릿 사이에 배치될 수 있다.
대안의 실시예들에서, 도 3a 내지 도 3d와 도 3f 및 도 3g에 도시된 바와 같은 투사 광 엔진(120)이 (도 3a 내지 도 3d에 도시된 바와 같이 광학적 지향 엘리먼트(232)의 우측보다는) 광학적 지향 엘리먼트(232) 아래에 배치된 버드배스 광학 엘리먼트(234)를 가질 수 있다. 이러한 실시예에서, 비구면 광학 엘리먼트(351)도 마찬가지로 광학적 지향 엘리먼트(232) 아래에 배치될 것이다.
도 3d는 고굴절률 유리에 매몰된 버드배스 광학 엘리먼트(234) 및 비구면 광학 엘리먼트(351)를 사용하는 투사 광 엔진(120)의 다른 실시예의 블록도이다. 이 실시예에서, 1.7 내지 1.8의 굴절률을 갖는 고굴절률 유리가 사용된다. 이 실시예에서, 투사 광 엔진(120)은 이미지 소스 및 투사 광학 시스템(220)을 포함한다. 이미지 소스는 부수적인 보상기 광학 엘리먼트(compensator optical element)(228)를 갖는 반사형 LCoS(liquid crystal on silicon) 마이크로디스플레이(230)로서 구현된다. 이 실시예에서, 마이크로디스플레이(230)는 디스플레이될 이미지 데이터를 표현하기 위해 조명 유닛(222)으로부터의 광을 반사하는 LCoS 표면(231)을 갖는다. LCoS 표면(231)은 그가 반사하는 광을 편광시키지만; 편광 오류들이 있을 수 있다. 보상기 광학 엘리먼트(228)는 편광 광학 엘리먼트이고, 이 편광 광학 엘리먼트의 보상 파라미터들은 제조 동안 LCoS 표면에 대해 측정된 편광 오류들을 보상하기 위해 LCoS의 제조 동안 결정될 수 있다.
투사 광학 시스템(220)은, 이 실시예에서, 고굴절률 유리 영역(225) 외부에 있는 더블릿(226) 및 고굴절률 유리 영역(225) 내에 있는 다수의 광학 컴포넌트들을 포함한다. 더블릿(226)은 색 수차(chromatic aberration)를 보정하고, 또한 LCoS 표면(231)으로부터 반사되는 이미지 광에 얼마간의 시준을 제공한다. 일 실시예에서, 더블릿(226)은 구면 더블릿일 수 있다. 그 광학 엘리먼트들은 편광 조명 빔 분할기(polarizing illumination beam splitter)(224)로서 구현된 조명 광학적 지향 엘리먼트(illumination optical directing element), 편광 빔 분할기(polarizing beam splitter)(232)로서 구현된 다른 광학적 지향 엘리먼트, 1/4 파장판(quarter waveplate)(236), 곡면 반사면(238)을 갖는 버드배스 광학 엘리먼트(234), 비구면 엘리먼트(351), 및 적색 회전 파장판(240)을 포함하는 것으로 구현된 다른 대표적인 편광기(240)를 포함한다. 그 자신의 조명 유닛(222)을 포함하는 투과형 또는 발광형 이미지 소스를 사용하는 실시예들과 같은 다른 실시예들에서, 더블릿을 생략하는 것 이외에, 조명 빔 분할기(224)가 또한 투사 광학 시스템(220)으로부터 생략될 수 있다.
이 엘리먼트들을 통과하는 광의 광학 경로는 다음에 논의된다. 광의 진행에 대한 논의를 용이하게 하기 위해 조명 광 및 이미지 광의 상이한 부분들에 상이한 도면 부호들이 부기되어 있다. 도면을 복잡하게 만드는 것을 피하기 위해, 경로의 각각의 스테이지에서 빔의 하나의 대표적인 광선에만 도면 부호가 부기되어 있다. 조명 유닛(222)에 의해 생성된 광(229)은 광(233)을 LCoS 표면(231)의 방향으로 지향시키는 편광 조명 빔 분할기(224)로 향해 간다. 표면(231)으로 진행하는 동안, 조명 광은 더블릿(226) 및 보상기 광학 엘리먼트(228)를 통과한다. 조명 유닛(222)이 포함할 수 있는 조명 광원들의 일부 예들은 LED(light emitting diode) 및 레이저이다. 일부 실시예들에서, 개별적인 적색, 녹색 및 청색(RGB) 조명 광원들이 있을 수 있고, 다른 실시예들에서, 백색 광원 및 상이한 색들을 표현하기 위해 사용되는 필터들이 있을 수 있다.
이 실시예에서, 색 순차 LED 디바이스(color sequential LED device)가 조명 유닛(222)에 사용된다. 색 순차 디바이스는 풀 컬러 이미지(full color image)를 만들기 위해 LCoS와 타이밍을 맞춰 순차적으로 턴온되는 적색, 청색 및 녹색 LED들을 포함한다. 다른 예들에서, LED 대신에 레이저가 사용될 수 있다. LCoS 표면(231) 상의 개개의 디스플레이 엘리먼트들은, 적색, 녹색 및 청색 광을 반사하거나 흡수하여 이미지 데이터에 대해 디스플레이 구동기(246)에 의해 표시되는 색상 또는 그레이 스케일에 대한 회색 음영(shade of gray)을 표현하기 위해, 마이크로디스플레이 회로부(259)에 의해 제어된다.
LCoS 표면(231) 및 보상기(228)로부터 편광되고 반사된 이미지 광(237)은 더블릿(226)에 의해 그의 곡면들로 인해 시준되거나 광 출력이 증가된다. 이미지 광(237)은 고굴절률 유리 영역(225)에 들어가고, 조명 빔 분할기(224)를 통과하며 편광 빔 분할기(232)와 교차하고, 편광 빔 분할기(232)는 또다시 편광된 반사 광(241)을 1/4 파장판(236) - 1/4 파장판(236)은 반사 광의 편광 상태를 또다시 수동으로 변경함 - 을 통해 버드배스 광학 엘리먼트(234)의 곡면 반사면(238)으로 지향시키고, 곡면 반사면(238)은 또 한번의 편광 상태 변경을 위해 이미지 광을 시준하여 또다시 비구면 광학 엘리먼트(351) 및 1/4 파장판(236)을 통과하게 반사한다. 1/4 파장판은 원편광(circular polarization)을 제공하는 반면, 편광 빔 분할기들(224, 232)은 일반적으로 선형 편광기(linear polarizer)로서 기능한다. 버드배스에 의해 반사되고 두 번 1/4 회전된(quarter turned) 이미지 광(243)은 비구면 광학 엘리먼트(351), 빔 분할기(232)를 통과하고, 편광 상태가 적색 회전 파장판(240)에 의해 또다시 변경된다. 적색 회전 파장판은 적색 파장들의 편광 상태를 90도 회전시킨다. 이미지 광(235)은 이어서 도파관(123) 내로의 광학적 결합을 위해 투사 광 엔진(120)을 빠져 나간다.
도 3f는 버드배스 광학 엘리먼트, 비구면 색지움 렌즈 및 비구면 메니스커스 렌즈를 사용하는 투사 광 엔진의 다른 실시예의 블록도이다. 상세하게는, 도 3f는 도 3a 내지 도 3c에 예시된 유사한 컴포넌트들을 갖는 투사 광 엔진(120)의 다른 실시예의 블록도이다. 그렇지만, 도 3f는, 비구면 색지움 렌즈(401)와 같은, 비구면 광학 엘리먼트가 이미지 소스(223)와 광학적 지향 엘리먼트(232) 사이에 배치되는 일 실시예를 나타내고 있다. 예시된 실시예에서, 비구면 메니스커스 렌즈와 같은, 비구면 광학 엘리먼트(351)는 또한 광학적 지향 엘리먼트(232)와 외부 출사동(121) 사이에 배치된다. 일 실시예에서, 비구면 광학 엘리먼트(351)는 비구면 메니스커스 렌즈이다. 이미지 광(235)의 광학 수차가 비구면 광학 엘리먼트(351) 및/또는 비구면 색지움 렌즈(401)에 의해 보정될 수 있다.
실시예들에서, 광학적 지향 엘리먼트(232)는 큐브(cube), 플레이트(plate), 와이어 그리드 편광기(wire-grid polarizer) 및 내부 굴절기(internally refractive)로 이루어진 그룹으로부터 선택되는 빔 분할기의 유형이다. 예를 들어, 광학적 지향 엘리먼트(232)는 큐브 빔 분할기, 플레이트 빔 분할기, 와이어 그리드 편광기 빔 분할기 또는 내부 굴절형 빔 분할기일 수 있다.
도 3g는 버드배스 광학 엘리먼트 및 비구면 메니스커스 더블릿을 사용하는 투사 광 엔진(120)의 다른 실시예의 블록도이다. 일 실시예에서, 이미지 소스(223)는 이미지 광(235)을 광학적 지향 엘리먼트(402)에 제공한다. 일 실시예에서, 광학적 지향 엘리먼트(402)는 이미지 광(235)을 편광기(403) 및 색지움 더블릿(achromatic doublet)(404)을 통해 광학적 지향 엘리먼트(232)로 지향시킨다. 일 실시예에서, 광학적 지향 엘리먼트들(232 및 402)은 본원에 기술되는 바와 같은 빔 분할기들이다. 광학적 지향 엘리먼트(232)는 이미지 광을 1/4 파장 지연기(quarter wave retarder)(405) 및 더블릿(406)을 통해 버드배스 광학 엘리먼트(234)(예컨대, 구면 버드배스 반사 미러)의 반사 표면(238)으로 지향시킨다. 버드배스 광학 엘리먼트(234)의 반사 표면(238)은 이어서 이미지 광(235)을, 더블릿(406), 1/4 파장 지연기(405), 광학적 지향 엘리먼트(232), 편광기(407), 색 선택기(color selector)(408) 및 비구면 메니스커스 더블릿(409)을 통과하여 외부 출사동(121)으로 진행하도록, 반사한다. 이미지 광(235)의 광학 수차가 비구면 메니스커스 더블릿(409)에 의해 보정될 수 있다. 일 실시예에서, 편광기들(403 및 407)은 본원에 기술되는 바와 같은 편광기를 포함할 수 있다. 실시예들에서, 도 3f 및 도 3g에 도시된 투사 광 엔진(120)은 본원에 기술되는 바와 같은 고굴절률 유리를 포함한다.
앞서 언급된 바와 같이, 광학 엘리먼트들을 고굴절률 유리에 매몰시키는 것은 출사동을 투사 광 엔진(120)의 외부에 있는 지점으로 투사하는 굴곡(fold)들을 가능하게 할 정도로 충분히 광학 경로 길이를 연장시킨다. 광을 도파관 내의 출사동에서 결합시키는 것은 광 결합의 효율을 상당히 증대시키고, 따라서 전력을 감소시킨다.
도파관(123)의 측단면도가 도 3d에 도시되어 있다. 도파관(123)은 지면 뒤쪽으로(into the page) 그리고 눈 영역(140)에 거의 평행하게 근안 디스플레이(14) 내로 연장되고, 지면 앞쪽으로는(out of the page) 훨씬 더 적은 양만큼 연장된다. 이 실시예에서, 도파관(123)은, 이 실시예에서, 4개의 예시적인 층들(256, 258, 262 및 264) 및 중앙 파장판(center waveplate)(260)을 갖는 다층으로 되어 있다. 라인(122)은 투사 광 엔진(120)(또는 투사 광 엔진 하우징)과 도파관(123) 사이의 거리를 나타낸다. 도 3d가 축척대로 그려져 있지 않지만, 투사 광 엔진(120)과 도파관(123) 사이의 이러한 거리의 일 예는 약 0.5 mm이다. 출사동이 투사될 목표 위치는 중앙 파장판(260)에 있다. 이 실시예에서, 다시 말하지만, 축척대로 그려져 있지 않으며, 출사동은 투사 광 엔진(120)의 외부로부터 도파관의 중앙 파장판(260)으로 약 5 mm에 투사된다. 그에 부가하여, 이 예에서, 도파관(123)은 고굴절률 유리의 범위에 있는 약 1.7의 굴절률을 갖는다.
이 실시예에서, 투시 유리(see-through glass)로 된 외측 보호 커버(252)가 이미지 광(235)이 통과하는 도파관을 둘러싸고 있다. 도파관(123)은 중앙 파장판(260)에서 출사동(121)의 이미지 광을 광학적으로 결합시키기 위해 하우징(130) 내에 위치되어 있다. 4개의 층들 각각은 그 자신의 입력 격자를 갖는다. 입력 격자의 일 예는 도파관(123)에서의 각각의 층의 표면의 일부로서 제조되는 표면 요철 격자이다. 층(256)은 투사 광 엔진(120)을 빠져 나온 이미지 광(235)을 맨 먼저 수광하고 그 광을 그의 광학 입력 격자(optical input grating)(119a)를 통해 결합시킨다. 이와 유사하게, 층(258)은 이미지 광(235)을 그의 광학 입력 격자(119b)를 통해 결합시킨다. 중앙 파장판 층(260)은, 출사동을 비롯한, 그가 수광한 이미지 광(235)을 결합시키고 그의 편광 상태를 변경한다. 층(262)은, 이미지 광(235)의 단면이 확장됨에 따라, 광학 입력 격자(119c)를 통해 이미지 광(235)을 결합시키고, 층(264)은, 이미지 광(235)의 단면이 계속 확장됨에 따라, 이미지 광(235)을 그의 광학 격자(119d)에 의해 결합시킨다.
도 3e는, 참조를 위해 버드배스 광학 엘리먼트(234)와 함께 예시되어 있는 도 3d에서의 도파관(123) 실시예의 4개의 층들 및 중앙 파장판의 평면도를 나타내는 블록도이다(축척대로 그려져 있지 않음). 빔들(273, 275 및 277)을 보다 수월하게 도시하기 위해, 사이에 끼여 있는 엘리먼트들이 도시되어 있지 않다. 3개의 광선(예컨대, 273a, 273b, 273c)의 각각의 세트는 빔(273)을 나타낸다. 각각의 빔은 복수의 색들을 나타내는 광을 포함할 수 있다. 각각의 빔은 본원에 기술되는 바와 같이 시준된다. 빔들이 곡면 상의 상이한 지점들로부터 반사될 때, 여기서 광선들이라고 설명되는, 빔들의 상이한 부분들이 교차하고, 빔들의 가장 좁은 단면은 출사동(121)에서 발생한다. 일부 예들에서, 출사동 직경은 약 3.0 mm이다(다시 말하지만, 축척대로 그려져 있지 않음).
본원에 기술되는 광학 엘리먼트들은 유리 또는 플라스틱 재료로 이루어져 있을 수 있다. 광학 엘리먼트들이 몰딩(molding), 그라인딩(grinding) 및/또는 폴리싱(polishing)에 의해 제조될 수 있다. 실시예들에서, 광학 엘리먼트들이 서로 시멘팅(cement)될 수 있거나 그렇지 않을 수 있다. 본원에 기술되는 광학 엘리먼트들이 비구면일 수 있다. 실시예들에서, 단일 렌즈 광학 엘리먼트들이 다수의 렌즈 엘리먼트들로 분할될 수 있다. 단일 렌즈 광학 엘리먼트들을, 보다 많은 렌즈가 사용되도록, 다중 렌즈 광학 엘리먼트들로 대체하는 것에 의해 보다 나은 이미지 품질이 달성될 수 있고, 따라서 특정의 이미지 품질을 달성하기 위해 보다 많은 특성들이 변화될 수 있다.
도 4는 안경테를 사용하여 NED 디바이스에서의 근안 디스플레이와 광학적으로 결합시키기 위한 외부 출사동을 갖는 투사 광 엔진(120)의 일 실시예를 위치시키기 위한 좌측 하우징(130l)의 일 실시예를 나타내고 있다. 좌측 하우징(130l)은 또한 투사 광 엔진의 하우징이라고도 지칭된다. 이 도면은 투사 광 엔진 컴포넌트들이 좌측 하우징(130l) 내에 어떻게 들어갈 수 있는지의 일 예를 예시하고 있다. 대안의 실시예들에서, 투사 광 엔진 컴포넌트들이 상이한 크기의 하우징에 들어가도록 하기 위해 상이한 배열 및/또는 배향으로 배치될 수 있다. 예시적인 배열을 보기 위해 보호 커버가 제거되어 있다.
좌측 하우징(130l)은 프레임 상부 섹션(117) 및 좌측 사이드 아암(102l)은 물론, 좌측 디스플레이 유닛(112)을 둘러싸고 있는 프레임(115)의 일부분에 인접하여 연결되어 있다. 이 예에서, 전원(239)으로부터의 전력을 다양한 컴포넌트들에 제공하는 급전부(power supply feed)(291)가 좌측 하우징(130l)의 좌측 상부 내부 상에 위치되어 있다. 전력은 물론, 명령어들 및 값들을 나타내는 데이터를 다양한 컴포넌트들에 제공하기 위한 다양한 예시적인 전기적 연결들(228)(228a, 228b, 228c, 228d, 및 228e)이 좌측 하우징(130l) 전체에 걸쳐 있다. 전기적 연결의 일 예는 도 1에서와 같이 프레임 상부 섹션(117) 내부에 또는, 사이드 아암(102) 상에 또는 그 내부와 같은, 다른 곳에 있을 수 있는 제어 회로부(136)와 인터페이싱하는 가요성 케이블(flex cable)(228b)이다.
하우징 구조물(222h)을 나타내는 파선에 의해 둘러싸인 3차원 공간 내의 컴포넌트들을 포함하는 하우징 구조물(222h)은 좌측 하부에서 시작한다. 하우징 구조물(222h)은 조명 유닛(222)(유닛(222)의 하나 이상의 광원들 등) 및 적어도 디스플레이 조명 구동기(247)의 컴포넌트들에 대한 보호 커버 및 지지체를 제공한다. 디스플레이 조명 구동기(247)는 디지털 명령어들을, 조명 유닛(222)을 구성하고 있는 레이저 또는 LED와 같은 하나 이상의 광원들을 구동하는 아날로그 신호들로 변환한다. 가요성 케이블(228c)도 전기적 연결들을 제공한다. 이 실시예에서, 조명이 광학 시스템 하우징(220h) 내에 있는, 미러와 같은 광학적 지향 엘리먼트(227)(파선으로 표현됨) 상으로 지향된다. 다른 편광기와 같은, 부가의 엘리먼트들이 광학 시스템 하우징(220h) 내에서 광학적 지향 엘리먼트(227)와 조명 빔 분할기(224)(역시 파선으로 표현됨) 사이에 뒤따라 있을 수 있다.
광학 시스템 하우징(220h)은 본원에 기술되는 실시예들과 같은 투사 광학 시스템(220)의 컴포넌트들을 포함한다. 이 실시예에서, 파선(290) 아래로 화살표(294)까지 연장되는, 그리고 화살표(298)로 나타낸 바와 같이 파선(290)보다 약간 위쪽으로 연장되고 화살표(296)로 나타낸 바와 같이 좌측으로 연장되는 그의 섹션을 포함하는 광학 시스템 하우징(220h)은 컴포넌트들을 고굴절률 유리에 매몰시킨다. 광학 시스템 하우징(220h)의 이 도면에서, 광학적 지향 엘리먼트(227)로부터 반사된 조명은 조명 빔 분할기(224)로 지향되고, 조명 빔 분할기(224)는 광을 더블릿 하우징(226h) 내의 더블릿(226)을 통해 더블릿(226)의 위쪽에 배치되는 칩 하우징(230h)에 의해 위치된 LCoS 칩(230)으로 지향시킨다. (도 3d에 의해 예시된 실시예에서와 같은) LCoS 칩(230)으로부터 반사된 광은 편광되고 (도 4에서 파선 원으로 도시된) 버드배스 광학 엘리먼트(234)로 반사된다. 버드배스 광학 엘리먼트(234)의 곡면 반사면(238)의 배면은 이 도면에서 지면 앞쪽으로 향해 있다. 반사된 이미지 광은 비구면 광학 엘리먼트(351)(도 4에서 실선 원으로 도시되고 축척대로 되어 있지 않음)를 통해 지면 뒤쪽으로 반사되고, 여기서 하나 이상의 입력 격자들을 갖는 도파관(123)의 일부분(도시되지 않음)은, 외부 출사동(121)의 이미지 광(도시되지 않음)을 결합시키기 위해, 이 도면에서 광학 시스템 하우징(220h)의 후방에서 디스플레이 유닛(112)의 좌측까지 연장된다.
일부 실시예들에서, 칩 하우징(230h)의 상단으로부터 화살표(294)로 나타낸 광학 시스템 하우징(220h)의 수직 하단까지의 거리는 20 밀리미터 이내이다. 일 실시예에서, 이러한 거리는 약 17 mm이다. 이러한 실시예에서의 배열된 컴포넌트들은 (도 3d의 실시예에 배열된 바와 같이) LCoS(230), 보상기(228), 더블릿(226), 조명 빔 분할기(224), 편광 빔 분할기(232), 버드배스 광학 엘리먼트(234), 비구면 광학 엘리먼트(351) 및 편광기들(236 및 240)을 포함한다. 그에 부가하여, 광학 시스템 하우징(220h)은, 그의 최좌측 측면(296)으로부터 화살표(292)에서의 우측까지, 일 실시예에서, 약 30 밀리미터 이내로 연장된다.
대안의 실시예들에서, 도 4에 도시된 전자부품들 및 광학 엘리먼트들은 하나 이상의 상이한 또는 결합된 지지 하우징들 및/또는 구조물들을 갖는 대안의 배향 또는 배열로 배치될 수 있다. 대안의 실시예들에서, 본원에 기술되고 그리고/또는 도 3a 내지 도 3d와 도 3f 및 도 3g에 예시된 바와 같은, 다른 비구면 엘리먼트들 및/또는 비구면 메니스커스 렌즈가 좌측 하우징(130l) 내에 그리고/또는 좌측 하우징(130l) 외부에 배치될 수 있다.
도 5는 근안 디스플레이 디바이스에 의해 이미지 데이터 또는 광(CGI(computer generated image) 등)을 디스플레이하는 소프트웨어 관점에서의 시스템의 일 실시예의 블록도이다. 도 5는 NED 시스템(8), 하나 이상의 NED 시스템들과 통신하는 네트워크 액세스가능 컴퓨팅 시스템(들)(12) 또는 이들의 조합과 같은 시스템에 의해 구현될 수 있는 소프트웨어 관점에서의 컴퓨팅 환경(54)의 일 실시예를 나타내고 있다. 그에 부가하여, NED 시스템은 데이터 및 프로세싱 리소스들을 공유하기 위해 다른 NED 시스템들과 통신할 수 있다.
본원에 기술되는 바와 같이, 실행 중인 애플리케이션은 어느 이미지 데이터가 디스플레이되어야 하는지를 결정하고, 이미지 데이터의 일부 예들은 텍스트, 이메일, 가상 책(virtual book) 또는 게임 관련 이미지이다. 이 실시예에서, 애플리케이션(162)은 NED 시스템(8)의 하나 이상의 프로세서들 상에서 실행 중일 수 있고, 운영 체제(190) 그리고 이미지 및 오디오 프로세싱 엔진(191)과 통신하고 있을 수 있다. 예시된 실시예에서, 네트워크 액세스가능 컴퓨팅 시스템(들)(12)은 또한 애플리케이션의 버전(162N)을 실행하고 있을 수 있는 것은 물론, 경험을 향상시키기 위해 그와 통신하고 있는 다른 NED 시스템들(8)일 수 있다.
일 실시예에서, 애플리케이션(162)은 게임을 포함한다. 실시예들에서, 게임은 원격 서버에 저장되고 콘솔, 컴퓨터, 또는 스마트폰으로부터 구입될 수 있다. 게임이 전체적으로 또는 부분적으로 서버, 콘솔, 컴퓨터, 스마트폰 상에서 또는 이들의 임의의 조합 상에서 실행될 수 있다. 실시예들에서, 다수의 사용자들이 표준의 컨트롤러, 컴퓨터, 스마트폰, 또는 컴패니언 디바이스를 사용하여 게임과 상호작용할 수 있고, 게임과 통신하기 위해 에어 제스처, 터치, 음성, 또는 버튼들을 사용할 수 있다.
하나 이상의 애플리케이션들에 대한 애플리케이션(들) 데이터(329)가 또한 하나 이상의 네트워크 액세스가능 장소들에 저장될 수 있다. 애플리케이션(들) 데이터(329)의 일부 예들은 동작 응답들을 사용자 입력 데이터에 링크시키는 규칙들, 사용자 입력 데이터에 응답하여 어느 이미지 데이터를 디스플레이할지를 결정하는 규칙들, 제스처 인식 엔진(193)에 등록될 수 있는 애플리케이션과 연관된 하나 이상의 제스처들과 같은 자연스러운 사용자 입력에 대한 참조 데이터, 하나 이상의 제스처들에 대한 실행 기준들, 소리 인식 엔진(194)에 등록될 수 있는 음성 사용자 입력 명령들, 이미지 및 오디오 프로세싱 엔진(191)의 선택적인 물리학 엔진(physics engine)(도시되지 않음)에 등록될 수 있는 애플리케이션과 연관된 가상 객체들에 대한 물리학 모델(physics model)들, 및 장면에 있는 가상 객체들 및 가상 이미지들의 색, 형상, 얼굴 특징, 의복 등과 같은 객체 특성들을 위한 하나 이상의 규칙 데이터 저장소들일 수 있다.
도 5에 도시된 바와 같이, 컴퓨팅 환경(54)의 소프트웨어 컴포넌트들은 운영 체제(190)와 통신하는 이미지 및 오디오 프로세싱 엔진(191)을 포함한다. 이미지 및 오디오 프로세싱 엔진(191)의 예시된 실시예는 객체 인식 엔진(192), 제스처 인식 엔진(193), 디스플레이 데이터 엔진(195), 소리 인식 엔진(194), 및 장면 매핑 엔진(306)을 포함한다. 개개의 엔진들 및 데이터 저장소들은 애플리케이션(들)(162)이 프로세싱을 위한 데이터를 식별하는 요청들을 송신하는 것 및 데이터 업데이트들의 통지를 수신하는 것에 의해 그 자신의 하나 이상의 기능들을 구현하기 위해 이용할 수 있는 데이터 및 작업들의 지원 플랫폼을 제공한다. 운영 체제(190)는 다양한 엔진들 및 애플리케이션들 사이의 통신을 용이하게 한다. 운영 체제(190)는 어느 객체들이 객체 인식 엔진(192)에 의해 식별되었는지, 제스처 인식 엔진들(193)이 식별한 제스처들, 소리 인식 엔진(194)이 어느 단어들 또는 소리들을 식별했는지, 및 장면 매핑 엔진(306)으로부터의 실제 및 가상 객체들의 위치들을 애플리케이션들이 이용할 수 있게 한다.
컴퓨팅 환경(54)은 또한 포착되거나 다양한 소스들로부터 수신될 수 있는 이미지 데이터 및 오디오 데이터를 위한 메모리는 물론, 디스플레이될 이미지 데이터를 위한 메모리 공간을 제공하는 이미지 및 오디오 데이터 버퍼(들)(199)에 데이터를 저장한다. 버퍼들은 NED 상에, 예컨대, 전체 메모리(244)의 일부로서 존재할 수도 있고, 부속 프로세싱 모듈(4) 상에 존재할 수도 있다.
많은 응용분야들에서, 가상 데이터(또는 가상 이미지)는 실제 환경에서의 실제 객체와 관련하여 디스플레이되어야 한다. 이미지 및 오디오 프로세싱 엔진(191)의 객체 인식 엔진(192)은, 바깥쪽으로 향해 있는 이미지 포착 디바이스들(113)(이용가능한 경우)로부터의 포착된 이미지 데이터 및 포착된 깊이 데이터 또는 포착 디바이스들(113)에 의해 포착된 실제 환경의 이미지 데이터에 기초한 입체시(stereopsis)로부터 결정된 깊이 위치들에 기초하여, 실제 객체들, 그들의 배향, 및 디스플레이 FOV에서의 그들의 위치를 검출하고 식별한다. 객체 인식 엔진(192)은, 예를 들어, 에지 검출(edge detection)을 사용하여, 객체 경계들을 표시하고 객체 경계들을 구조 데이터(structure data)(200)와 비교함으로써, 실제 객체들을 서로 구분한다. 객체의 유형을 식별하는 것 외에, 식별된 객체의 배향이 저장된 구조 데이터(200)와의 비교에 기초하여 검출될 수 있다. 하나 이상의 통신 네트워크들(50)을 통해 액세스가능하기 때문에, 구조 데이터(200)가 비교를 위한 구조 패턴들과 같은 구조 정보 및 패턴 인식을 위한 참조들로서의 이미지 데이터를 저장할 수 있다. 참조 이미지 데이터 및 구조 패턴들이 또한 로컬적으로 저장되거나 클라우드 기반 저장소에서 액세스가능한 사용자 프로파일 데이터(197)에서도 이용가능할 수 있다.
장면 매핑 엔진(306)은 디스플레이 FOV의 3D 매핑에서 실제 및 가상 객체들의 3차원(3D) 위치, 배향, 및 움직임을 추적한다. 객체 인식 엔진(192) 및 이미지 데이터가 디스플레이되게 하는 하나 이상의 실행 중인 애플리케이션(들)(162)과의 통신에 기초하여, 이미지 데이터가 사용자의 FOV에 또는 사용자 주위의 체적 공간의 3D 매핑에 디스플레이되어야 한다.
애플리케이션(들)(162)은 이미지 데이터에 의해 표현되고 애플리케이션에 의해 제어되는 객체에 대한 디스플레이 FOV의 3D 매핑에서의 목표 3D 공간 위치를 식별한다. 예를 들어, 헬리콥터 격추 애플리케이션은 가상 헬리콥터들을 격추시키는 사용자의 행동들에 기초하여 헬리콥터들의 위치 및 객체 특성들의 변화들을 식별한다. 디스플레이 데이터 엔진(195)은 이미지 데이터를 정확한 크기 및 시점에 디스플레이하기 위한 이동(translation), 회전(rotation) 및 스케일링(scaling) 동작들을 수행한다. 디스플레이 데이터 엔진(195)은 디스플레이 시야에서의 목표 3D 공간 위치를 디스플레이 유닛(112)의 디스플레이 좌표들에 관련시킨다. 예를 들어, 데이터 디스플레이 엔진은 각각의 개별적으로 주소지정가능한 디스플레이 위치 또는 영역(예컨대, 픽셀)에 대한 이미지 데이터를 Z 버퍼 및 별도의 색 버퍼(color buffer)에 저장할 수 있다. 디스플레이 구동기(246)는, 이미지 소스에 의한 이미지 데이터의 디스플레이를 제어하기 위해, 각각의 디스플레이 영역에 대한 이미지 데이터를 마이크로디스플레이 회로부259) 또는 디스플레이 조명 구동기(247) 또는 둘 다에 대한 디지털 제어 데이터 명령어들로 변환한다.
본원에 기술되는 기술은 그의 사상 또는 본질적인 특성들을 벗어남이 없이 다른 구체적인 형태들로 또는 환경들에서 구현될 수 있다. 마찬가지로, 모듈, 엔진, 루틴, 애플리케이션, 특징, 속성, 방법 및 다른 양태들의 특정의 명칭 부여(naming) 및 분류(division)가 강제적인 것이 아니며, 본 기술 또는 그의 특징들을 구현하는 메커니즘들은 상이한 명칭, 분류 및/또는 포맷(format)을 가질 수 있다.
본원에 설명되는 기술들은 각종의 운영 환경들에서 구현될 수 있다. 예를 들어, NED 시스템(8) 및/또는 네트워크 액세스가능 컴퓨팅 시스템(들)(12)이 IoT(Internet of Things) 실시예에 포함될 수 있다. IoT 실시예는 센서들을 통해 정보를 포착할 수 있는 디바이스들의 네트워크를 포함할 수 있다. 게다가, 이러한 디바이스들은 수집된 정보를 추적, 해석, 및 전달할 수 있을 것이다. 이 디바이스들은, 정보를 전송하고 다른 디바이스들과 협력하여 동작하기 위해, 사용자 기본설정 및 개인정보보호 설정에 따라 동작할 수 있다. 정보가 개별 디바이스들 간에 직접 또는, LAN(local area network), WAN(wide area network), 상호연결된 LAN들 또는 WAN들의 "클라우드"와 같은 네트워크를 통해, 또는 인터넷 전체를 통해 전달될 수 있다. 이 디바이스들은 컴퓨터, 가전제품, 스마트폰, 웨어러블 디바이스, 이식형 디바이스, 차량(예컨대, 자동차, 비행기, 및 기차), 장난감, 건물, 및 다른 물체 내에 통합될 수 있다.
본원에 설명되는 기술들은 또한 빅데이터 또는 클라우드 운영 환경에서도 역시 구현될 수 있다. 클라우드 운영 환경에서, 본원에 기술되는 데이터, 이미지들, 엔진들, 운영 체제들, 및/또는 애플리케이션들을 비롯한 정보가 인터넷을 통해 원격 저장 디바이스로부터 액세스될 수 있다. 일 실시예에서, 정보에 원격적으로 액세스하기 위해 모듈식 임대형 사설 클라우드(modular rented private cloud)가 사용될 수 있다. 빅데이터 운영 실시예에서, 데이터 세트들은 허용 경과 시간 내에 데이터를 포착, 생성, 관리 및 프로세싱하는 전형적으로 사용되는 소프트웨어 도구들의 능력을 넘는 크기를 갖는다. 일 실시예에서, 이미지 데이터가 빅데이터 운영 실시예에서 원격적으로 저장될 수 있다.
도 6a 및 도 6b는 NED 디바이스 및/또는 시스템을 작동시키는 방법들의 실시예의 플로우차트이다. 도 6a 및 도 6b에 예시된 단계들은 광학 엘리먼트들, 하드웨어 컴포넌트들 및 소프트웨어 컴포넌트들에 의해, 단독으로 또는 결합하여, 수행될 수 있다. 예시를 위해, 이하의 방법 실시예들은 앞서 기술된 시스템 및 장치 실시예들과 관련하여 기술된다. 그렇지만, 방법 실시예들이 본원에 기술되는 시스템 실시예들에서 동작하는 것으로 제한되지 않고, 다른 시스템 실시예들에서 구현될 수 있다. 게다가, 방법 실시예들은, NED 시스템이 동작 중이고 적용가능한 애플리케이션이 실행 중인 동안, 연속적으로 수행될 수 있다.
방법(600)의 단계(601)는 이미지 광을 제1 광학 경로를 따라 버드배스 반사 미러로 지향시키는 것으로 시작된다. 일 실시예에서, 도 3a 내지 도 3e와 도 3f 및 도 3g에 예시된 바와 같이, 이미지 광이 버드배스 광학 엘리먼트(234)로 지향된다. 도 3a 내지 도 3g에 예시된 실시예들에서와 같이, 단계(601)의 적어도 일부분을 수행하는 데 빔 분할기가 사용될 수 있다.
단계(602)는, 버드배스 반사 미러에 의해, 이미지 광을 시준하여 제2 광학 경로를 따라 버드배스 반사 미러의 하우징 외부에 있는 출사동으로 반사하는 것을 나타내고 있다. 일 실시예에서, 버드배스 광학 엘리먼트(234)가 단계(602)의 적어도 일부분을 수행한다.
단계(603)는 제1 광학 경로 및 제2 광학 경로 중 적어도 하나에서 이미지 광을 편광시키는 것을 나타내고 있다. 일 실시예에서, 도 3a 내지 도 3g에 예시된 또는 본원에 기술되는 편광기들 중 적어도 하나가 단계(603)를 수행한다.
단계(604)는 이미지 광의 광학 수차를 제2 광학 경로를 따라 배치된 비구면 광학 엘리먼트에 의해 보정하는 것을 나타내고 있다. 일 실시예에서, 하나 이상의 비구면 광학 엘리먼트들(351 및 352) 및/또는 하나 이상의 비구면 광학 렌즈(353a 및 353b)가 단계(604)를 수행할 수 있다. 일 실시예에서, 단계들(601 내지 604)은, 투사 광 엔진(120)과 같은, NED 디바이스의 투사 광 엔진에 의해 수행된다.
단계(605)는, 회절 도파관의 입력부에서, 제1 광학 경로로부터 이미지 광을 수광하는 것을 나타내고 있다. 일 실시예에서, 단계(605)는, 근안 디스플레이(14)와 같은, NED 디바이스의 근안 디스플레이에 의해 수행된다.
일 실시예에서, 도 6b의 방법(650)은 도 6a에 도시된 단계(601)의 일 실시예를 나타내고 있다. 상세하게는, 단계(651)는 마이크로디스플레이로부터의 이미지 광의 필드를 보정하는 것을 나타내고 있다. 일 실시예에서, 본원에 기술되는 바와 같은 필드 보정기가 단계(651)의 적어도 일부분을 수행한다.
단계(652)는 이미지 광을 사전 편광기로 반사하는 것을 나타내고 있다. 일 실시예에서, 본원에 기술되는 바와 같은 사전 편광기가 단계(653)의 적어도 일부분을 수행한다.
단계(653)는 사전 편광기에 의해 이미지 광을 사전 편광시키는 것을 나타내고 있다. 일 실시예에서, 본원에 기술되는 바와 같은 사전 편광기가 단계(653)의 적어도 일부분을 수행한다.
단계(654)는, 구면 더블릿에 의해, 사전 편광기로부터 이미지 광을 수광하는 것을 나타내고 있다. 일 실시예에서, 더블릿(226)이 단계(654)를 수행한다.
단계(655)는, 구면 더블릿에 의해, 이미지 광을 편광 빔 분할기로 출력하는 것을 나타내고 있다.
도 7은 네트워크 액세스가능 컴퓨팅 시스템(들)(12), 부속 프로세싱 모듈(4) 또는 HMD(2)의 제어 회로부(136)의 다른 실시예를 구현하는 데 사용될 수 있는 컴퓨터 시스템의 일 실시예의 블록도. 컴퓨터 시스템(900)은 컴퓨팅 환경(54)의 소프트웨어 컴포넌트들의 적어도 일부를 호스팅할 수 있다. 일 실시예에서, 컴퓨터 시스템(900)은 클라우드 서버, 서버, 클라이언트, 피어, 데스크톱 컴퓨터, 랩톱 컴퓨터, 핸드헬드 프로세싱 디바이스, 태블릿, 스마트폰 및/또는 웨어러블 컴퓨팅/프로세싱 디바이스를 포함할 수 있다.
그의 가장 기본적인 구성에서, 컴퓨터 시스템(900)은 전형적으로 하나 이상의 프로세싱 유닛들(또는 코어들)(902) 또는 하나 이상의 CPU(central processing unit)들 및 하나 이상의 GPU(graphics processing unit)들을 포함한다. 컴퓨터 시스템(900)은 또한 메모리(904)를 포함한다. 컴퓨터 시스템의 정확한 구성 및 유형에 따라, 메모리(904)는 휘발성 메모리(905)(RAM 등), 비휘발성 메모리(907)(ROM, 플래시 메모리, 기타 등등), 또는 이들의 어떤 조합을 포함할 수 있다. 이러한 가장 기본적인 구성이 도 7에서 파선(906)으로 나타내어져 있다.
그에 부가하여, 컴퓨터 시스템(900)은 또한 부가의 특징들/기능을 가질 수 있다. 예를 들어, 컴퓨터 시스템(900)은 또한 자기 또는 광학 디스크 또는 테이프(이들로 제한되지 않음)를 비롯한 부가의 저장소(탈착가능 및/또는 비탈착가능)를 포함할 수 있다. 이러한 부가의 저장소가 도 7에서 탈착가능 저장소(908) 및 비탈착가능 저장소(910)로 예시되어 있다.
프로세싱 유닛(들)(902)에 대한 대안으로서 또는 그에 부가하여, 본원에 기술되는 기능이, 적어도 부분적으로, 하나 이상의 다른 하드웨어 논리 컴포넌트들에 의해 수행 또는 실행될 수 있다. 제한이 아닌 예로서, 사용될 수 있는 예시적인 유형들의 하드웨어 논리 컴포넌트들은 FPGA(Field-programmable Gate Array), ASIC(Program Application-specific Integrated Circuit), ASSP(Program Application-specific Standard Product), SOC(System-on-a-chip system), CPLD(Complex Programmable Logic Device), 및 다른 유사한 유형의 하드웨어 논리 컴포넌트들을 포함한다.
컴퓨터 시스템(900)은 또한 디바이스가 다른 컴퓨터 시스템들과 통신할 수 있게 하는 하나 이상의 네트워크 인터페이스들 및 송수신기들을 비롯한 통신 모듈(들)(912)을 포함할 수 있다. 컴퓨터 디바이스(900)는 또한 키보드, 마우스, 펜, 마이크로폰, 터치 입력 디바이스, 제스처 인식 디바이스, 얼굴 인식 디바이스, 추적 디바이스 또는 유사한 입력 디바이스와 같은 입력 디바이스(들)(914)를 가질 수 있다. 디스플레이, 스피커, 프린터, 또는 유사한 출력 디바이스와 같은 출력 디바이스(들)(916)가 또한 포함되어 있을 수 있다.
사용자와 인터페이싱하는 사용자 인터페이스(UI) 소프트웨어 컴포넌트가 컴퓨터 시스템(900)에 저장되고 그에 의해 실행될 수 있다. 일 실시예에서, 컴퓨터 시스템(900)은 NUI(natural language user interface) 및/또는 3D UI를 저장하고 실행한다. NUI의 예들은 음성 인식, 터치 및 스타일러스 인식, 스크린 상에서의 제스처 인식 및 스크린에 인접한 제스처 인식 둘 다, 에어 제스처, 머리 및 눈 추적, 음성(voice) 및 발화(speech), 시각(vision), 터치, 호버링, 제스처, 및 기계 지능(machine intelligence)을 사용하는 것을 포함한다. NUI 기술들의 특정 카테고리들은, 예를 들어, 터치 감응 디스플레이, 음성 및 발화 인식, 의도 및 목표 이해, 깊이 카메라(예컨대, 입체 또는 TOF(time-of-flight) 카메라 시스템, 적외선 카메라 시스템, RGB 카메라 시스템 및 이들의 조합들)를 사용한 움직임 제스처 검출, 가속도계/자이로스코프를 사용한 움직임 제스처 검출, 얼굴 인식, 3D 디스플레이, 머리, 눈 및 시선 추적, 몰입 증강 현실 및 가상 현실 시스템 - 이들 모두는 보다 자연스러운 인터페이스를 제공함 - 은 물론, 전기장 감지 전극들을 사용하여 뇌 활동을 감지하는 기술들(예컨대, EEG 및 관련 방법들)을 포함한다.
UI(NUI를 포함함) 소프트웨어 컴포넌트는, 적어도 부분적으로, 로컬 컴퓨터, 태블릿, 스마트폰, NED 디바이스 시스템 상에서 실행되고 그리고/또는 그 상에 저장될 수 있다. 대안의 실시예에서, UI는, 적어도 부분적으로, 서버 상에서 실행되고 그리고/또는 그 상에 저장될 수 있으며, 클라이언트로 송신될 수 있다. UI가 서비스의 일부로서 생성될 수 있고, 소셜 네트워킹 서비스들과 같은, 다른 서비스들과 통합될 수 있다.
도면들에 예시된 예시적인 컴퓨터 시스템들은 컴퓨터 판독가능 저장 디바이스들의 예들을 포함한다. 컴퓨터 판독가능 저장 디바이스는 또한 프로세서 판독가능 저장 디바이스이다. 이러한 디바이스들은 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보를 저장하기 위해 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 탈착가능 및 비탈착가능 메모리 디바이스들을 포함할 수 있다. 프로세서 또는 컴퓨터 판독가능 저장 디바이스들의 일부 예들은 RAM, ROM, EEPROM, 캐시, 플래시 메모리 또는 다른 메모리 기술, CD ROM, DVD(digital versatile disk) 또는 다른 광학 디스크 저장소, 메모리 스틱 또는 카드, 자기 카세트, 자기 테이프, 매체 드라이브, 하드 디스크, 자기 디스크 저장소 또는 다른 자기 저장 디바이스, 또는 정보를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 디바이스이다.
특정 실시예들의 양태들
하나 이상의 실시예들은 이미지 광을 분할하는 빔 분할기에 이미지 광을 제공하는 디스플레이를 포함하는 장치를 포함한다. 버드배스 광학 엘리먼트는 빔 분할기로부터 이미지 광을 수광하고 이미지 광을 반사하는 것은 물론 시준한다. 이미지 광에서의 수차를 보정하기 위해 적어도 하나의 비구면 광학 엘리먼트가 버드배스 광학 엘리먼트와 출사동 사이의 광학 경로에 배치된다.
장치 실시예에서, 버드배스 광학 엘리먼트는 이미지 광을 외부 출사동으로 시준하는 버드배스 구면 미러이다. 비구면 광학 엘리먼트는 구면 버드배스 미러와 외부 출사동 사이에 배치되는 제1 및 제2 비구면 메니스커스 렌즈를 포함한다. 다른 실시예에서, 비구면 광학 엘리먼트는 빔 분할기와 버드배스 구면 미러 사이에 배치되는 비구면 메니스커스 렌즈이다.
일 실시예에서, 본 장치는 버드배스 광학 엘리먼트와 빔 분할기 사이에 배치되는 1/4 파장 지연기는 물론, 빔 분할기와 외부 출사동 사이에 배치되는 색 선택 필터를 추가로 포함한다. 비구면 광학 엘리먼트는 비구면 메니스커스 더블릿을 포함하고, 버드배스 광학 엘리먼트는 구면 버드배스 미러일 수 있다. 더블릿은 버드배스 광학 엘리먼트와 빔 분할기 사이에 배치된다. 디스플레이는 마이크로디스플레이를 포함한다. 빔 분할기는 큐브, 플레이트, 와이어 그리드 편광기 및 내부 굴절기로 이루어진 그룹으로부터 선택되는 빔 분할기의 유형이다. 비구면 메니스커스 더블릿은 빔 분할기와 외부 출사동 사이에 배치된다.
일 실시예에서, 본 장치는 적어도 하나의 광원을 포함하는 조명 유닛을 추가로 포함한다. 마이크로디스플레이는 적어도 하나의 광원으로부터의 광을 반사하는 것에 의해 이미지 광을 출력한다. 대안의 실시예에서, 본 장치는 자기 발광형 마이크로디스플레이인 마이크로디스플레이를 추가로 포함한다.
일 실시예에서, 본 장치는 이미지 광을 편광시키는 적어도 하나의 편광기를 추가로 포함한다. 일 실시예에서, 적어도 하나의 편광기는 빔 분할기에 포함된다.
일 실시예에서, 본 장치는 마이크로디스플레이로부터의 이미지 광을 빔 분할기로 반사하는 반사 표면, 반사 표면과 빔 분할기 사이에 배치된 구면 더블릿, 구면 더블릿과 반사 표면 사이에 배치된 사전 편광기, 및 마이크로디스플레이와 반사 표면 사이에 배치된 필드 보정기를 더 포함한다.
일 실시예에서, 본 장치는 근안 디스플레이 디바이스의 투사 광 엔진에 포함되어 있다. 근안 디스플레이 디바이스는 투사 광 엔진 및 도파관을 포함하는 근안 디스플레이를 포함한다. 일 실시예에서, 투사 광 엔진은 하우징에 포함되어 있다. 투사 광 엔진은 하우징의 외부에 있는 출사동에서 이미지 광을 출력한다.
하나 이상의 실시예들은 이미지 광을 제1 광학 경로를 따라 버드배스 반사 미러로 지향시키는 단계를 포함하는 방법을 포함한다. 버드배스 반사 미러는 이미지 광을 시준하여 제2 광학 경로를 따라 버드배스 반사 미러의 하우징 외부에 있는 출사동으로 반사한다. 이미지 광이 제1 광학 경로와 제2 광학 경로 중 적어도 하나에서 편광된다. 이미지 광의 광학 수차가 제2 광학 경로를 따라 배치된 비구면 광학 엘리먼트에 의해 보정된다.
일 실시예에서, 본 방법은, 회절 도파관의 입력부에서, 제1 광학 경로로부터 이미지 광을 수광하는 단계를 추가로 포함한다.
일 실시예에서, 이미지 광을 편광시키는 것은, 적어도 부분적으로, 편광 빔 분할기에 의해 수행된다. 비구면 광학 엘리먼트는 제2 광학 경로를 따라 편광 빔 분할기와 출사동 사이에 배치되는 제1 비구면 렌즈 및 제2 비구면 렌즈를 포함한다.
일 실시예에서, 이미지 광을 편광시키는 것은, 적어도 부분적으로, 편광 빔 분할기에 의해 수행된다. 비구면 광학 엘리먼트는 제2 광학 경로를 따라 버드배스 반사 미러와 편광 빔 분할기 사이에 배치되는 비구면 렌즈이다.
일 실시예에서, 이미지 광을 제1 광학 경로를 따라 버드배스 반사 미러로 지향시키는 것은 마이크로디스플레이로부터의 이미지 광의 필드를 보정하는 것, 이미지 광을 사전 편광기로 반사하는 것, 및 사전 편광기에 의해 이미지 광을 사전 편광시키는 것을 포함한다.
일 실시예에서, 이미지 광을 제1 광학 경로를 따라 버드배스 반사 미러로 지향시키는 것은, 구면 더블릿에 의해, 사전 편광기로부터 이미지 광을 수광하는 것, 및, 구면 더블릿에 의해, 이미지 광을 편광 빔 분할기로 출력하는 것을 포함한다.
하나 이상의 장치 실시예들은 컴퓨팅 시스템 및 근안 디스플레이를 갖는 헤드 마운티드 디스플레이를 포함한다. 장치는 이미지 데이터를 표현하는 전자 신호를 제공하는 컴퓨터 시스템을 포함한다. 헤드 마운티드 디스플레이는 전자 신호에 응답하여 이미지 데이터를 제공한다. 헤드 마운티드 디스플레이는 투사 광 엔진 및 근안 디스플레이를 갖는 근안 디스플레이 디바이스를 포함한다. 투사 광 엔진은 전자 신호에 응답하여 이미지 데이터를 제공한다. 투사 광 엔진 내의 반사 표면은 마이크로디스플레이로부터의 이미지 데이터를 반사한다. 역시 투사 광 엔진에 있는, 편광 빔 분할기는 이어서 반사 표면으로부터의 이미지 데이터의 빔을 편광시키고 분할한다. 구면 버드배스 반사 미러는 편광 빔 분할기로부터의 이미지 데이터를 반사하고 투사 광 엔진의 외부에 있는 출사동으로 시준한다. 투사 광 엔진에 있을 수 있는 비구면 메니스커스 렌즈는 이어서 이미지 데이터를 보정한다. 근안 디스플레이는 이미지 데이터를 수광하는 도파관을 포함한다.
장치 실시예에서, 비구면 메니스커스 렌즈는 광학 경로 상에서 구면 버드배스 미러와 편광 빔 분할기 사이에 배치된다.
다른 장치 실시예에서, 비구면 메니스커스 렌즈는 광학 경로 상에서 편광 빔 분할기와 근안 디스플레이 사이에 배치되는 2개의 비구면 렌즈들 중 하나이다.
장치 실시예에서, 근안 디스플레이의 도파관은 회절 도파관이다.
장치 실시예에서, 근안 디스플레이의 도파관은 표면 요철 격자 도파관이다.
이전의 단락들에 기술된 실시예가 또한 구체적으로 개시된 대안들과 결합될 수 있다.
발명 요지가 구조적 특징들 및/또는 동작들과 관련하여 기술되어 있지만, 첨부된 청구항들에 한정되어 있는 발명 요지가 앞서 기술된 구체적인 특징들 또는 동작들로 꼭 제한될 필요는 없다는 것을 잘 알 것이다. 오히려, 앞서 기술된 특정 특징들 및 동작들은 청구항들 그리고 본 기술분야의 통상의 기술자에 의해 청구항들의 범주 내에 속하는 것으로 의도되어 있는 것으로 인식될 다른 등가적 특징들 및 동작들을 구현하는 것의 예들로서 개시되어 있다.

Claims (15)

  1. 장치로서,
    이미지 광을 제공하기 위한 디스플레이;
    상기 이미지 광을 빔 분할(beam split)하기 위한 빔 분할기;
    상기 빔 분할기로부터 상기 이미지 광을 수광하기 위한 광학 엘리먼트 - 상기 광학 엘리먼트는 상기 이미지 광을 반사하고 시준함 -; 및
    상기 이미지 광에서의 수차(aberration)를 보정하는 비구면(aspheric) 광학 엘리먼트를 포함하는, 장치.
  2. 제1항에 있어서, 상기 비구면 광학 엘리먼트는 제1 비구면 메니스커스(meniscus) 렌즈 및 제2 비구면 메니스커스 렌즈를 포함하고,
    상기 광학 엘리먼트는 구면 미러이며,
    상기 디스플레이는 마이크로디스플레이이고,
    상기 구면 미러는 상기 이미지 광을 외부 출사동(exit pupil)으로 반사하고 시준하며,
    상기 제1 비구면 메니스커스 렌즈 및 상기 제2 비구면 메니스커스 렌즈는 상기 구면 미러와 상기 외부 출사동 사이에 배치되는 것인, 장치.
  3. 제1항에 있어서, 상기 비구면 광학 엘리먼트는 비구면 메니스커스 렌즈를 포함하고,
    상기 광학 엘리먼트는 구면 미러이며,
    상기 디스플레이는 마이크로디스플레이를 포함하고,
    상기 비구면 메니스커스 렌즈는 상기 구면 미러와 상기 빔 분할기 사이에 배치되는 것인, 장치.
  4. 제1항에 있어서,
    상기 광학 엘리먼트와 상기 빔 분할기 사이에 배치되는 1/4 파장 지연기(quarter wave retarder);
    상기 광학 엘리먼트와 상기 빔 분할기 사이에 배치되는 더블릿(doublet); 및
    상기 빔 분할기와 외부 출사동 사이에 배치되는 색 선택 필터를 포함하고,
    상기 비구면 광학 엘리먼트는 상기 빔 분할기와 상기 외부 출사동 사이에 배치되는 비구면 메니스커스 더블릿을 포함하며,
    상기 광학 엘리먼트는 구면 미러이고,
    상기 디스플레이는 마이크로디스플레이를 포함하며,
    상기 빔 분할기는 큐브(cube), 플레이트(plate), 와이어 그리드 편광기(wire-grid polarizer) 및 내부 굴절기(internally refractive)로 이루어진 그룹으로부터 선택되는 빔 분할기의 유형인 것인, 장치.
  5. 제3항에 있어서,
    적어도 하나의 광원을 포함하는 조명 유닛을 포함하고,
    상기 마이크로디스플레이는 상기 적어도 하나의 광원으로부터의 광을 반사함으로써 상기 이미지 광을 출력하는 것인, 장치.
  6. 제4항에 있어서, 상기 이미지 광을 편광시키기 위한 적어도 하나의 편광기를 더 포함하고,
    상기 마이크로디스플레이는 자기 발광형(self-emissive) 마이크로디스플레이인 것인, 장치.
  7. 제3항에 있어서,
    상기 마이크로디스플레이로부터의 이미지 광을 상기 빔 분할기로 반사하기 위한 반사 표면;
    상기 반사 표면과 상기 빔 분할기 사이에 배치된 구면 더블릿;
    상기 구면 더블릿과 상기 반사 표면 사이에 배치된 사전 편광기(prepolarizer); 및
    상기 마이크로디스플레이와 상기 반사 표면 사이에 배치되는 필드 보정기(field corrector)를 포함하는, 장치.
  8. 제7항에 있어서, 상기 장치는 근안 디스플레이 디바이스의 투사 광 엔진 내에 포함되고, 상기 근안 디스플레이 디바이스는 상기 투사 광 엔진, 및 도파관(waveguide)을 포함하는 근안 디스플레이를 포함하는 것인, 장치.
  9. 제8항에 있어서, 상기 투사 광 엔진은 하우징 내에 포함되고, 상기 투사 광 엔진은 상기 하우징의 외부에 있는 출사동에 상기 이미지 광을 출력하는 것인, 장치.
  10. 방법으로서,
    이미지 광을 제1 광학 경로를 따라 반사 미러로 지향시키는 단계;
    상기 이미지 광을 상기 반사 미러에 의해 제2 광학 경로를 따라 상기 반사 미러의 하우징 외부에 있는 출사동으로 시준하고 반사하는 단계;
    상기 제1 광학 경로 및 상기 제2 광학 경로 중 적어도 하나의 광학 경로에서 상기 이미지 광을 편광시키는 단계; 및
    상기 이미지 광의 광학 수차를 상기 제2 광학 경로를 따라 배치된 비구면 광학 엘리먼트에 의해 보정하는 단계를 포함하는, 근안 디스플레이 방법.
  11. 제10항에 있어서,
    회절 도파관의 입력부에서, 상기 제1 광학 경로로부터 상기 이미지 광을 수광하는 단계를 포함하는, 근안 디스플레이 방법.
  12. 제10항에 있어서, 상기 이미지 광을 편광시키는 단계는 적어도 부분적으로 편광 빔 분할기에 의해 수행되고,
    상기 비구면 광학 엘리먼트는 제1 비구면 렌즈 및 제2 비구면 렌즈를 포함하며,
    상기 제1 비구면 렌즈 및 상기 제2 비구면 렌즈는 상기 편광 빔 분할기와 상기 출사동 사이에 상기 제2 광학 경로를 따라 배치되는 것인, 근안 디스플레이 방법.
  13. 제10항에 있어서, 상기 이미지 광을 편광시키는 단계는 적어도 부분적으로 편광 빔 분할기에 의해 수행되고,
    상기 비구면 광학 엘리먼트는 비구면 렌즈이며,
    상기 비구면 렌즈는 상기 반사 미러와 상기 편광 빔 분할기 사이에 상기 제2 광학 경로를 따라 배치되는 것인, 근안 디스플레이 방법.
  14. 제13항에 있어서, 이미지 광을 상기 제1 광학 경로를 따라 상기 반사 미러로 지향시키는 단계는,
    마이크로디스플레이로부터의 상기 이미지 광의 필드를 보정하는 단계;
    상기 이미지 광을 사전 편광기로 반사하는 단계; 및
    상기 사전 편광기에 의해 상기 이미지 광을 사전 편광시키는 단계를 포함하는 것인, 근안 디스플레이 방법.
  15. 제14항에 있어서, 이미지 광을 상기 제1 광학 경로를 따라 상기 반사 미러로 지향시키는 단계는,
    구면 더블릿에 의해, 상기 사전 편광기로부터 상기 이미지 광을 수광하는 단계; 및
    상기 구면 더블릿에 의해, 상기 이미지 광을 상기 편광 빔 분할기로 출력하는 단계를 포함하는 것인, 근안 디스플레이 방법.
KR1020177006202A 2014-08-07 2015-08-06 구면 미러 및 결합 해제된 비구면 엘리먼트를 갖는 근안 디스플레이 KR102460874B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/454,048 2014-08-07
US14/454,048 US10746994B2 (en) 2014-08-07 2014-08-07 Spherical mirror having a decoupled aspheric
PCT/US2015/043889 WO2016022732A1 (en) 2014-08-07 2015-08-06 Near eye display with a spherical mirror and a decoupled aspherical element

Publications (2)

Publication Number Publication Date
KR20170039294A true KR20170039294A (ko) 2017-04-10
KR102460874B1 KR102460874B1 (ko) 2022-10-28

Family

ID=53835550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177006202A KR102460874B1 (ko) 2014-08-07 2015-08-06 구면 미러 및 결합 해제된 비구면 엘리먼트를 갖는 근안 디스플레이

Country Status (5)

Country Link
US (1) US10746994B2 (ko)
EP (1) EP3177958A1 (ko)
KR (1) KR102460874B1 (ko)
CN (1) CN106662678B (ko)
WO (1) WO2016022732A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190064966A (ko) * 2017-12-01 2019-06-11 김태경 이미지 표시 광학장치 및 이를 위한 이미지 생성 방법
WO2024039128A1 (ko) * 2022-03-30 2024-02-22 엘지이노텍 주식회사 광학 부재 및 이를 포함하는 웨어러블 장치
US12025801B2 (en) 2018-08-03 2024-07-02 Samsung Electronics Co., Ltd. Optical lens assembly and electronic device including same

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CA2962899C (en) * 2014-09-29 2022-10-04 Robert Dale Tekolste Architectures and methods for outputting different wavelength light out of waveguides
EP4173550A1 (en) 2015-03-16 2023-05-03 Magic Leap, Inc. Diagnosing and treating health ailments
US10690826B2 (en) 2015-06-15 2020-06-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
CN108700743A (zh) 2016-01-22 2018-10-23 康宁股份有限公司 宽视场个人显示器
AU2017246901B2 (en) 2016-04-08 2022-06-02 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
EP4235237A1 (en) 2016-05-12 2023-08-30 Magic Leap, Inc. Distributed light manipulation over imaging waveguide
US10809546B2 (en) 2016-08-12 2020-10-20 Avegant Corp. Digital light path length modulation
US10401639B2 (en) 2016-08-12 2019-09-03 Avegant Corp. Method and apparatus for an optical path length extender
US10057488B2 (en) 2016-08-12 2018-08-21 Avegant Corp. Image capture with digital light path length modulation
US10187634B2 (en) 2016-08-12 2019-01-22 Avegant Corp. Near-eye display system including a modulation stack
US10379388B2 (en) 2016-08-12 2019-08-13 Avegant Corp. Digital light path length modulation systems
US10185153B2 (en) 2016-08-12 2019-01-22 Avegant Corp. Orthogonal optical path length extender
US10516879B2 (en) 2016-08-12 2019-12-24 Avegant Corp. Binocular display with digital light path length modulation
US10310273B2 (en) * 2016-09-19 2019-06-04 George Mataban Calm Near-eye-display (NED) that employs rapid spherical image scanning
US10591739B2 (en) * 2016-09-19 2020-03-17 George M Calm Near-eye-display with rapid spherical image scanning
TW201819990A (zh) * 2016-10-31 2018-06-01 美商康寧公司 單中心廣視野個人顯示器
KR20190082303A (ko) 2016-11-18 2019-07-09 매직 립, 인코포레이티드 교차 격자를 이용한 도파관 광 멀티플렉서
CN110178077B (zh) 2016-11-18 2022-08-30 奇跃公司 用于重定向具有宽入射角范围的光的多层液晶衍射光栅
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
IL266669B2 (en) 2016-11-18 2023-11-01 Magic Leap Inc Liquid crystal refraction lattices vary spatially
EP4002000A1 (en) 2016-12-08 2022-05-25 Magic Leap, Inc. Diffractive devices based on cholesteric liquid crystal
KR102550742B1 (ko) 2016-12-14 2023-06-30 매직 립, 인코포레이티드 표면 정렬 패턴들의 소프트-임프린트 복제를 이용한 액정들의 패터닝
US10371896B2 (en) 2016-12-22 2019-08-06 Magic Leap, Inc. Color separation in planar waveguides using dichroic filters
IL307783A (en) 2017-01-23 2023-12-01 Magic Leap Inc Eyepiece for virtual, augmented or mixed reality systems
KR102483970B1 (ko) 2017-02-23 2022-12-30 매직 립, 인코포레이티드 편광 변환에 기초한 가변-포커스 가상 이미지 디바이스들
CN110637249B (zh) 2017-03-21 2022-07-01 奇跃公司 光学设备、头戴式显示器、成像系统和对对象成像的方法
US10678047B2 (en) * 2017-03-29 2020-06-09 Microsoft Technology Licensing, Llc Achromatized metasurface lens
US11009707B2 (en) 2017-06-06 2021-05-18 Apple Inc. Optical systems for electronic devices with displays
US10976551B2 (en) 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
EP4296753A3 (en) 2017-09-21 2024-06-12 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
CN109725417B (zh) * 2017-10-27 2024-04-09 江苏洪旭德生科技有限公司 基于光波导的深度处理数字光信号的方法及近眼显示装置
US10852547B2 (en) 2017-12-15 2020-12-01 Magic Leap, Inc. Eyepieces for augmented reality display system
GB2570302A (en) * 2018-01-17 2019-07-24 Wave Optics Ltd Light projector
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US20200004020A1 (en) * 2018-06-28 2020-01-02 Apple Inc. Electronic Device With Multi-Element Display Illumination System
CN111694157A (zh) * 2018-08-31 2020-09-22 华为技术有限公司 一种光学成像系统
JP2020042212A (ja) * 2018-09-12 2020-03-19 ソニー株式会社 表示装置、表示制御方法及び記録媒体
US10942360B2 (en) * 2018-09-18 2021-03-09 Disney Enterprises, Inc. Free-viewpoint collimated display systems for collimated effects
US11237393B2 (en) 2018-11-20 2022-02-01 Magic Leap, Inc. Eyepieces for augmented reality display system
JP7539386B2 (ja) 2018-12-28 2024-08-23 マジック リープ, インコーポレイテッド 左眼および右眼のための共有ディスプレイを伴う拡張および仮想現実ディスプレイシステム
US11874485B2 (en) * 2019-01-02 2024-01-16 Samsung Display Co., Ltd. Augmented reality providing device
US11048087B2 (en) * 2019-06-10 2021-06-29 Facebook Technologies, Llc Optical assemblies having polarization volume gratings for projecting augmented reality content
US11181815B1 (en) 2019-06-11 2021-11-23 Facebook Technologies, Llc Optical devices including reflective spatial light modulators for projecting augmented reality content
WO2020257469A1 (en) 2019-06-20 2020-12-24 Magic Leap, Inc. Eyepieces for augmented reality display system
GB202001291D0 (en) * 2020-01-30 2020-03-18 Vividq Ltd Compact optical assemly
US20210255444A1 (en) * 2020-02-18 2021-08-19 Raytheon Company Lightweight modified-schmidt corrector lens
CN115335732A (zh) * 2020-03-24 2022-11-11 斯纳普公司 光学系统
EP4127787A1 (en) * 2020-03-24 2023-02-08 Snap Inc. Optical system
EP3885799A1 (en) * 2020-03-24 2021-09-29 BAE SYSTEMS plc Optical system
DE102020113579A1 (de) * 2020-05-19 2021-11-25 Audi Aktiengesellschaft Kameravorrichtung zum Erzeugen eines Abbilds einer Umgebung sowie Scheinwerferanordnung
DE102020214478A1 (de) * 2020-11-18 2022-05-19 Robert Bosch Gesellschaft mit beschränkter Haftung Ophthalmische Linse für eine Brille und Verfahren zum Herstellen einer ophthalmischen Linse
US11953695B2 (en) * 2021-03-08 2024-04-09 Samsung Electronics Co., Ltd. Wearable electronic device with display
CN113284071B (zh) * 2021-06-15 2022-10-18 北京理工大学 一种基于仿人眼视网膜机理的周视鬼成像方法及系统
CN117576756B (zh) * 2023-11-28 2024-05-24 东莞莱姆森科技建材有限公司 一种具有脸部细节捕捉放大功能的卫浴镜

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5661604A (en) * 1993-12-22 1997-08-26 Olympus Optical Co., Ltd. Image display apparatus
US6097543A (en) * 1992-02-07 2000-08-01 I-O Display Systems Llc Personal visual display
US6384982B1 (en) * 1996-10-08 2002-05-07 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
JP2008224850A (ja) * 2007-03-09 2008-09-25 Shimadzu Corp 表示装置
WO2009094399A1 (en) * 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
JP2013178549A (ja) * 2004-03-29 2013-09-09 Sony Corp 画像表示装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2645974A (en) * 1951-01-31 1953-07-21 Canon Camera Company Ltd High aperture wide angle six element gauss type objective lens system
GB1362380A (en) * 1971-11-25 1974-08-07 Mullard Ltd Manufacture of optical elements
JP3379797B2 (ja) * 1992-11-12 2003-02-24 オリンパス光学工業株式会社 画像表示装置
JPH09508711A (ja) 1994-02-07 1997-09-02 バーチュアル・アイ/オゥ・インコーポレイテッド パーソナルビジュアルディスプレイシステム
JPH09304694A (ja) * 1995-11-07 1997-11-28 Nikon Corp 投射レンズ系及びそれを備えた投射装置
US5907416A (en) * 1997-01-27 1999-05-25 Raytheon Company Wide FOV simulator heads-up display with selective holographic reflector combined
US5986816A (en) * 1997-03-10 1999-11-16 Mitsubishi Denki Kabushiki Kaisha Eyepiece optical system and eyepiece image display device
US6118414A (en) 1997-12-02 2000-09-12 Kintz; Gregory J. Virtual reality system and method
US6094181A (en) 1998-02-02 2000-07-25 Inviso, Inc. Miniature synthesized virtual image electronic display
US5991084A (en) * 1998-02-04 1999-11-23 Inviso Compact compound magnified virtual image display with a reflective/transmissive optic
JPH11305117A (ja) * 1998-04-24 1999-11-05 Sony Corp 投射レンズ及び投射レンズの焦点調整方法
US6863419B2 (en) * 2001-08-10 2005-03-08 Canon Kabushiki Kaisha Illumination optical system, image display optical system, projection type image display apparatus, and image display system
CN1278160C (zh) * 2001-08-28 2006-10-04 索尼株式会社 投影透镜
US7158215B2 (en) 2003-06-30 2007-01-02 Asml Holding N.V. Large field of view protection optical system with aberration correctability for flat panel displays
EP1513000B8 (de) 2003-09-03 2007-02-14 Carl Zeiss HMD-Vorrichtung (Head Mounted Display) mit einer eine asphärische Fläche aufweisenden Abbildungsoptik
US7545571B2 (en) * 2004-09-08 2009-06-09 Concurrent Technologies Corporation Wearable display system
US7586686B1 (en) 2006-04-14 2009-09-08 Oasys Technology Llc Eyepiece for head mounted display system and method of fabrication
EP1852745A1 (en) * 2006-05-05 2007-11-07 Carl Zeiss SMT AG High-NA projection objective
DE102009033497A1 (de) * 2009-07-15 2011-01-20 Heraeus Quarzglas Gmbh & Co. Kg Optisches Bauteil aus synthetischen Quarz und Verfahren zur Herstellung des Bauteils
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US20120013988A1 (en) 2010-07-16 2012-01-19 Hutchin Richard A Head mounted display having a panoramic field of view
US8781794B2 (en) 2010-10-21 2014-07-15 Lockheed Martin Corporation Methods and systems for creating free space reflective optical surfaces
US8873149B2 (en) * 2013-01-28 2014-10-28 David D. Bohn Projection optical system for coupling image light to a near-eye display
US9857591B2 (en) * 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097543A (en) * 1992-02-07 2000-08-01 I-O Display Systems Llc Personal visual display
US5661604A (en) * 1993-12-22 1997-08-26 Olympus Optical Co., Ltd. Image display apparatus
US6384982B1 (en) * 1996-10-08 2002-05-07 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
JP2013178549A (ja) * 2004-03-29 2013-09-09 Sony Corp 画像表示装置
JP2008224850A (ja) * 2007-03-09 2008-09-25 Shimadzu Corp 表示装置
WO2009094399A1 (en) * 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190064966A (ko) * 2017-12-01 2019-06-11 김태경 이미지 표시 광학장치 및 이를 위한 이미지 생성 방법
US11054649B2 (en) 2017-12-01 2021-07-06 Tae Kyung Kim Image display optical apparatus and image generation method thereof
US12025801B2 (en) 2018-08-03 2024-07-02 Samsung Electronics Co., Ltd. Optical lens assembly and electronic device including same
WO2024039128A1 (ko) * 2022-03-30 2024-02-22 엘지이노텍 주식회사 광학 부재 및 이를 포함하는 웨어러블 장치

Also Published As

Publication number Publication date
CN106662678A (zh) 2017-05-10
US20160041390A1 (en) 2016-02-11
US10746994B2 (en) 2020-08-18
KR102460874B1 (ko) 2022-10-28
EP3177958A1 (en) 2017-06-14
CN106662678B (zh) 2019-12-24
WO2016022732A1 (en) 2016-02-11

Similar Documents

Publication Publication Date Title
KR102460874B1 (ko) 구면 미러 및 결합 해제된 비구면 엘리먼트를 갖는 근안 디스플레이
EP2948813B1 (en) Projection optical system for coupling image light to a near-eye display
US11947126B2 (en) See-through computer display systems
US11900554B2 (en) Modification of peripheral content in world-locked see-through computer display systems
US20160097930A1 (en) Microdisplay optical system having two microlens arrays
US20160077338A1 (en) Compact Projection Light Engine For A Diffractive Waveguide Display
KR20170044706A (ko) 증강 현실 및 가상 현실 지각용 전기변색 디밍 모듈을 구비한 헤드 마운트 디스플레이
US11885967B2 (en) Phase structure on volume Bragg grating-based waveguide display
US11669159B2 (en) Eye tracker illumination through a waveguide
US11841510B1 (en) Scene camera
US20230393399A1 (en) Zonal lenses for a head-mounted display (hmd) device
US20220291437A1 (en) Light redirection feature in waveguide display
US10634916B2 (en) Wearable display device
WO2022177986A1 (en) Heterogeneous layered volume bragg grating waveguide architecture
US11927758B1 (en) Multi-laser illuminated mixed waveguide display with volume Bragg grating (VBG) and mirror
US20240168299A1 (en) Kaleidoscopic waveguide as small-form-factor pupil expander
EP4414769A1 (en) Folded beam two-dimensional (2d) beam scanner
US20240069347A1 (en) System and method using eye tracking illumination
US20230314716A1 (en) Emission of particular wavelength bands utilizing directed wavelength emission components in a display system
WO2024123918A1 (en) Reflector orientation of geometrical and mixed waveguide for reducing grating conspicuity

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant