KR102664868B1 - 음향-광학 제어 디바이스를 사용하는 광 프로젝터 - Google Patents

음향-광학 제어 디바이스를 사용하는 광 프로젝터 Download PDF

Info

Publication number
KR102664868B1
KR102664868B1 KR1020237020639A KR20237020639A KR102664868B1 KR 102664868 B1 KR102664868 B1 KR 102664868B1 KR 1020237020639 A KR1020237020639 A KR 1020237020639A KR 20237020639 A KR20237020639 A KR 20237020639A KR 102664868 B1 KR102664868 B1 KR 102664868B1
Authority
KR
South Korea
Prior art keywords
light
transducer
image
acousto
surface acoustic
Prior art date
Application number
KR1020237020639A
Other languages
English (en)
Other versions
KR20230093374A (ko
Inventor
제레미 에이. 그라타
허드슨 웰치
마완 후사인
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20230093374A publication Critical patent/KR20230093374A/ko
Application granted granted Critical
Publication of KR102664868B1 publication Critical patent/KR102664868B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/32Holograms used as optical elements
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/33Acousto-optical deflection devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/14Picture reproducers using optical-mechanical scanning means only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/001Constructional or mechanical details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/002Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/008Aspects relating to glasses for viewing stereoscopic images

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Projection Apparatus (AREA)
  • Overhead Projectors And Projection Screens (AREA)

Abstract

광을 투사하기 위한 접근법은 이미지 광을 상이한 영역들로 안내하기 위하여 기판을 따라 생성되는 표면 탄성파들을 사용하는 음향-광학 심도 스위치를 사용하여 구현될 수 있다. 표면 탄성파들은 트랜스듀서를 사용하여 기판상에 생성될 수 있다. 상이한 주파수들의 표면 탄성파들은 상이한 물리적 포지션들에 있는 상이한 광학 엘리먼트들 상으로 이미지 광을 안내할 수 있다. 광학 엘리먼트들은 뷰어(view)로부터 상이한 거리들에서 이미지의 대상들을 보여주도록 구성될 수 있다.

Description

음향-광학 제어 디바이스를 사용하는 광 프로젝터{LIGHT PROJECTOR USING AN ACOUSTO-OPTICAL CONTROL DEVICE}
본 발명은 음향-광학 제어 디바이스를 사용하는 광 프로젝터에 관한 것이다.
[0001] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은 사용자에게 제시되고 실제로서 인식될 수 있다. 가상 현실("VR") 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명화(transparency) 없이 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 포함한다. 증강 현실("AR") 시나리오는 통상적으로 사용자 주위 실세계의 가시화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다. 예컨대, 도 1을 참조하여, 증강 현실 신(scene)(100)이 묘사되는데, 여기서 AR 기술 디바이스의 사용자는 배경 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(104)을 특징으로 하는 실세계 공원형 세팅(102)을 본다. 이들 아이템들에 더하여, AR 기술의 사용자는 또한, 자신이 실세계 플랫폼(104) 상에 서 있는 로봇 동상(106), 및 날고 있는 만화형 아바타 캐릭터(108)를 "보고 있는" 것(비록 이들 엘리먼트들(106, 108)이 실세계에 존재하지 않더라도)으로 인식한다. 밝혀진 바와 같이, 인간 시각 인식 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미지 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 프리젠테이션을 가능하게 하는 VR 또는 AR 기술을 만들어내는 것은 난제이다.
[0002] 도 2를 참조하여, 일반적으로 3차원 원근감(perspective)이 인간 시각 시스템에 의해 인식되도록 약간 상이한 엘리먼트 프리젠테이션을 가지는 이미지들을 디스플레이하도록 구성되는 2개의 디스플레이들(예컨대, 202, 204)을 특징으로 하는 입체 착용식 안경들(200) 타입 구성들이 개발되었다. 그런 구성들은 3차원들에서 이미지들을 인식하기 위하여 극복하여야 하는 수렴과 원근조절 간의 미스매칭으로 인해 많은 사용자들에게 불편한 것으로 밝혀졌다. 실제로, 일부 사용자들은 입체 구성들을 용인할 수 없다.
[0003] 도 3을 참조하여, 각막(302), 홍채(304), 렌즈, 즉 "수정 렌즈"(306), 공막(308), 맥락막 층(310), 마큘러(macula)(312), 망막(314), 및 뇌로의 시신경 경로(316)를 특징으로 하는 인간 눈(300)의 간략화된 단면도가 묘사된다. 마큘러는 중간의 세부사항을 보기 위하여 활용되는 망막의 중심이다. 마큘러의 중심에는 가장 미세한 세부사항들을 보는데 사용되는 "중심와"가 있다. 중심와는 망막의 임의의 다른 부분보다 더 많은 광수용체들(시각당 대략 120개의 콘(cone) 정도)을 포함한다.
[0004] 인간 시각 시스템은 수동 센서 타입의 시스템이 아니다. 인간 시각 시스템은 환경을 능동적으로 스캔하도록 구성된다. 평판형 스캐너로 이미지를 스캔하거나 종이로부터 점자(Braille)를 판독하기 위하여 손가락을 사용하는 것과 다소 유사한 방식으로, 눈의 광수용체들은 일정한 자극 상태에 일정하게 반응하기보다, 자극의 변화들에 대한 응답으로 파이어링(fire)한다. 실제로, 눈의 근육들을 마비시키기 위해 활동되는 코브라 독 같은 물질들에 의한 실험들은, 인간 피실험자의 눈들이 뜨여진 채로 포지셔닝 되는 경우에, 독-유도 눈들의 마비로 정적인 신을 보면서 인간 피실험자가 실명을 경험할 것이라는 것을 보여줬다. 다른 말로, 자극의 변화들 없이, 광수용체들은 뇌에 입력을 제공하지 않고 실명을 경험한다. 이것이, 정상적인 인간들의 눈들이 "미소안운동"이라 불리는 좌우 모션에서 전후로 이동하거나, 또는 떨리는 것으로 관찰되는 적어도 하나의 이유인 것이 믿어진다. 위에서 주목된 바와 같이, 망막의 중심와는 광수용체들의 가장 큰 밀도를 포함하고, 그리고 인간들은 통상적으로, 그들이 그들의 관측 시야에 걸쳐 고해상도 시각화 능력들을 가진다는 인식을 가지지만, 인간들은 일반적으로 실제로는 중심와로 최근에 캡처된 고해상도 정보의 퍼시스턴트(persistent) 메모리와 함께, 기계적으로 주위를 스위핑(sweeping)하는 작은 고해상도 센터만을 가진다. 다소 유사한 방식으로, 눈의 초점(focal) 거리 제어 메커니즘(섬모 근육들이 섬모 이완에 의해 긴장된 섬모 연결 섬유들로 하여금 더 먼 초점 거리들을 위하여 렌즈를 편평하게 하는 방식으로 수정 렌즈에 동작가능하게 커플링되고; 섬모 수축은 섬모 연결 섬유들을 느슨하게 하고, 이것은 렌즈들이 더 가까운 초점 거리들을 위하여 더 둥근 기하구조를 취하게 함)은 대략 1/4 내지 1/2 디옵터(diopter) 만큼 전후로 떨려, 타겟화된 초점 길이의 가까운 측과 먼 측 둘 모두 상에서 소량의 "시야 흐림(dioptric blur)"이라는 것을 주기적으로 유도한다. 이것은 지속적으로 코스를 수정하고 고정된 객체의 망막 이미지를 대략적으로 포커싱되게 유지하는 것을 돕는 주기적 네거티브 피드백으로서 뇌의 원근조절 제어회로들에 의해 활용된다.
[0005] 뇌의 시각화 센터는 또한 양 눈들과 그것의 컴포넌트들의 서로에 관련한 모션으로부터 가치있는 인식 정보를 얻는다. 서로에 관련하여 2개의 눈들의 수렴 움직임들(즉, 객체 상에 고정시키도록 눈들의 시선들을 수렴하기 위하여 서로를 향해 또는 서로 멀어지게 동공들의 롤링(rolling) 움직임들)은 눈들의 렌즈들의 포커싱(또는 "원근조절")과 밀접하게 연관된다. 정상 조건들하에서, 상이한 거리에 있는 객체에 포커싱하기 위하여 눈들의 렌즈들의 포커스를 변화시키거나, 또는 눈들의 원근을 조절하는 것은 "원근조절-수렴 반사(reflex)"로서 알려진 관계하에서, 동일한 거리에 수렴시 매칭 변화를 자동으로 유발할 것이다. 마찬가지로, 수렴의 변화는 정상 조건들하에서, 원근조절의 매칭 변화를 트리거할 것이다. 대부분의 종래 입체 AR 또는 VR 구성들에서 행하는 이런 반사에 대한 작업은 눈의 피로, 두통들, 또는 다른 형태들의 사용자들의 불편을 생성하는 것으로 알려졌다.
[0006] 눈들을 하우징하는 머리의 움직임은 또한 객체들의 시각화에 중요한 영향을 미친다. 인간들은 그들 주위의 세계를 시각화하기 위하여 그들의 머리들을 움직인다. 인간들은 종종 관심 대상에 관련하여 머리를 재포지셔닝하고 재배향하는 상당히 일정한 상태에 있는다. 게다가, 대부분의 사람들은, 그들의 시선이 특정 객체에 포커싱하기 위하여 중심에서 약 20도보다 많이 움직일 필요가 있을 때) 그들의 머리들을 움직이는 것을 선호한다(즉, 사람들은 통상적으로 "눈의 모서리로부터" 물건들을 보는 것을 좋아하지 않음). 인간들은 또한 통상적으로 사운드들에 관련하여 그들의 머리들을 스캔하거나 움직인다(오디오 신호 캡처를 개선하고 머리에 관련하여 귀들의 기하구조를 활용하기 위하여). 인간 시각 시스템은 "머리 움직임 시차(parallax)"라고 불리는 것으로부터 강력한 심도 단서들을 얻고, 이는 머리 움직임 및 눈 수렴 거리의 함수로서 상이한 거리들에 있는 객체들의 상대적 움직임에 관련된다(즉, 사람이 그의 머리를 좌우로 움직이고 객체에 고정을 유지하면, 해당 객체로부터 더 먼 아이템들은 머리와 동일한 방향으로 이동하고; 해당 객체의 전면에 있는 아이템들은 머리 움직임과 반대로 이동할 것임. 이들은 상황이 사람에 관련하여 공간적으로 환경에 있는 경우 매우 현저한 단서들임 ― 아마도 입체시와 같이 강력함). 머리 움직임은 또한 물론 객체들을 둘러보기 위하여 활용된다.
[0007] 게다가, 머리 및 눈 움직임은 "전정안근반사(vestibulo-ocular reflex)"와 조화를 이루며, 이는 머리 회전들 동안 망막에 관련하여 이미지 정보를 안정화시키고, 따라서 망막 상에 거의 중심을 둔 객체 이미지 정보가 유지된다. 머리 회전에 대한 응답으로, 눈들은 반사적이며 비례적으로 반대 방향으로 회전되어 객체에 대해 안정된 고정을 유지한다. 이런 상보적인 관계의 결과로서, 많은 인간들은 그들의 머리를 전후로 흔드는 동안 책을 읽을 수 있다(흥미롭게도, 머리가 거의 고정된 상태에서 책이 동일한 속도로 전후로 움직이는 경우, 책을 읽을 수 있는 것은 일반적으로 사실이 아니고 ― 사람은 움직이는 책을 읽을 수 없을 공산이 있고; 전정안근반사는 일반적으로 손 움직임을 위하여 개발된 것이 아닌 머리 및 눈 움직임 조정 중 하나임). 이런 패러다임은 증강 현실 시스템들에서 중요할 수 있는데, 그 이유는 사용자의 머리 움직임들이 눈 움직임들과 상대적으로 직접 연관될 수 있고, 그리고 시스템은 바람직하게 이런 관계로 작업할 준비가 될 것이기 때문이다.
[0008] 정말로, 이들 다양한 관계들이 주어지면, 디지털 콘텐츠(예컨대, 방의 실세계 뷰를 증강하기 위하여 제시된 가상 샹들리에 객체 같은 3-D 콘텐츠, 또는 방의 실세계 뷰를 증강하기 위하여 제시된 평면/편평한 유화 객체 같은 2-D 콘텐츠)를 배치할 때, 설계 선정들은 객체들의 거동을 제어하기 위하여 이루어질 수 있다. 예컨대, 2-D 유화 객체는 머리-중심일 수 있고, 상기 경우에 객체는 사용자의 머리와 함께 이동하거나(예컨대, 구글 안경 접근법에서 처럼); 또는 객체는 세계-중심일 수 있고, 상기 경우에 객체는 마치 실세계 좌표 시스템의 일부인 것과 같이 제시될 수 있고, 따라서 사용자는 실세계에 관하여 객체의 포지션을 이동함이 없이 그의 머리 또는 눈들을 움직일 수 있다.
[0009] 따라서, 가상 콘텐츠를 증강 현실 세계에 배치할 때, 콘텐츠가 어떻게 제시되는지는 고려되어야 한다. 예컨대, 세계 중심 방식에서, 가상 객체는 실세계의 포지션에 있어서, 사용자는 상이한 시점들로부터 객체를 보기 위하여 자신을 앞뒤로 움직일 수 있다.
[0010] 본원에 설명된 시스템들 및 기법들은 이들 난제들을 처리하기 위하여 통상적인 인간의 시각 구성과 함께 작업하도록 구성된다.
[0011] 일부 실시예들에서, 광을 투사하기 위한 접근법은 이미지 광을 상이한 영역들로 안내하기 위하여 기판을 따라 생성되는 표면 탄성파들을 사용하는 음향-광학 심도 스위치(acousto-optical depth switch)를 사용하여 구현될 수 있다. 표면 탄성파들은 트랜스듀서를 사용하여 기판상에 생성될 수 있다. 상이한 주파수들의 표면 탄성파들은 상이한 물리적 포지션들에 있는 상이한 광학 엘리먼트들 상으로 이미지 광을 안내할 수 있다. 광학 엘리먼트들은 뷰어(viewer)로부터 상이한 거리들에서 이미지의 대상들을 보여주도록 구성될 수 있다. 일부 실시예들에서, AR 시스템 사용자는 사용자의 눈들의 전면에 포지셔닝된 디스플레이 시스템에 커플링된 프레임 구조를 착용할 수 있다. 스피커는 프레임에 커플링되고 사용자의 외이도(ear canal)에 인접하게 포지셔닝될 수 있다(일 실시예에서, 다른 스피커는 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/형상화가능 사운드 제어를 제공할 수 있음). 일부 실시예들에 따라, 디스플레이는 이를테면 유선 리드(lead) 또는 무선 연결성에 의해, 다양한 구성들로 장착될 수 있는, 이를테면 프레임에 고정되게 부착될 수 있는 로컬 프로세싱 및 데이터 모듈에 동작가능하게 커플링된다. 부가적인 실시예들에서, 로컬 프로세싱 및 데이터 모듈은 헬멧 또는 모자에 고정되게 부착되거나, 헤드폰들에 내장되거나, (배낭-스타일 구성에서) 사용자의 몸통에 제거가능하게 부착될 수 있거나, 또는 벨트-연결 스타일 구성에서 사용자의 엉덩이에 제거가능하게 부착될 수 있다. 로컬 프로세싱 및 데이터 모듈은 전력-효율적 프로세서 또는 제어기, 및 플래시 메모리 같은 디지털 메모리를 포함할 수 있고, 이 둘 모두는 (a) 프레임에 동작가능하게 커플링될 수 있는 센서들, 이를테면 이미지 캡처 디바이스들(이를테면 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스(compass)들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로(gyros)로부터 캡처되고; 및/또는 (b) 원격 프로세싱 모듈 및/또는 원격 데이터 저장소를 사용하여 획득되고 및/또는 프로세싱되며, 가능하게는 그런 프로세싱 또는 리트리벌(retrieval) 이후 디스플레이로 통과되는 데이터의 프로세싱, 캐싱(caching), 및 스토리지를 돕기 위하여 활용될 수 있다.
[0012] 로컬 프로세싱 및 데이터 모듈은 이를테면 유선 또는 무선 통신 링크들을 통하여 원격 프로세싱 모듈 및 원격 데이터 저장소에 동작가능하게 커플링되어, 이들 원격 모듈들은 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈에 대한 리소스(resource)들로서 이용가능할 수 있다. 일부 실시예들에서, 원격 프로세싱 모듈은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소는 "클라우드" 리소스 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 비교적 큰 규모의 디지털 데이터 스토리지 설비를 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션(computation)은 로컬 프로세싱 및 데이터 모듈에서 수행되고, 이는 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용한다.
[0013] 일부 실시예들에서, 가상 현실(VR) 또는 증강 현실(AR) 시스템은 스택된 도파관 어셈블리들("EDGE")을 사용한다. EDGE 시스템은 이미지 생성 및 프로세싱을 위한 메모리, CPU와 GPU 및 다른 회로를 가지는 이미지 생성 프로세서를 포함할 수 있다. 이미지 생성 프로세서는 AR 시스템 사용자에게 프리젠테이션을 위하여 원하는 가상 콘텐츠로 프로그래밍될 수 있다. 일부 실시예들에서, 이미지 생성 프로세서가 착용가능 AR 시스템에 하우징될 수 있는 것이 인식되어야 한다. 다른 실시예들에서, 이미지 생성 프로세서 및 다른 회로는 착용가능 광학기구, 또는 다른 구성들에 커플링된 벨트 팩(pack)에 하우징될 수 있다. 이미지 생성 프로세서에 의해 생성되는 가상 콘텐츠 또는 정보는 디스플레이 회로에 송신될 수 있다. 디스플레이 회로는 이미지 생성 프로세서와 통신할 수 있는 인터페이스 회로를 포함할 수 있고, 그리고 회로, 이를테면 칩, 온도 센서, 압전기 드라이브(drive)/트랜스듀서, 적색 레이저, 청색 레이저 및 녹색 레이저, 및 레이저들을 결합하는 파이버 결합기(fiber combiner)와 추가로 인터페이스할 수 있다. 레이저들이 광 생성기의 예로서 본원에서 논의되지만, 다른 타입들의 광 생성기들(예컨대, DLP, LCD, LED들)이 또한 디스플레이 회로에 구현될 수 있다. 디스플레이 회로는 디스플레이 또는 투사식 디바이스, 이를테면 FSD(fiber scanning device: 파이버 스캐닝 디바이스)와 인터페이스할 수 있다. 일반적으로, FSD는 이미지를 전달하기 위하여 다양한 패턴들을 빠르게 생성하도록 진동되는 하나 또는 그 초과의 광섬유들을 가지는 디스플레이 디바이스이다. 비록 논의된 실시예가 디스플레이 디바이스로서 FSD를 사용하지만, 당업자는, 기술 분야에서 알려진 다른 디스플레이 디바이스들(예컨대, DLP, OLED, LCD들, LCOS)이 유사하게 구현될 수 있다는 것을 인식한다.
[0014] 그 다음으로, 일부 실시예들에서, VR/AR 시스템은 FSD로부터의 광을 회절 광학 엘리먼트(DOE: diffractive optical element) 어셈블리(예컨대, 회절 광학 엘리먼트들)로 지향시키기 위하여 커플링 광학기구를 사용할 수 있다. 일부 실시예들에 따라, 커플링 광학기구들은 광을 DOE 어셈블리의 상이한 심도 평면들에 포커싱하기 위하여 사용될 수 있는 하나 또는 그 초과의 렌즈들을 지칭할 수 있다. 간단히, 일부 실시예들에 따라, DOE 어셈블리는 (1) 도파관의 스팬(span)을 따라 이미지 광을 편향시키고, (2) 자연의 실세계 회절 효과들을 모방하는 각도들로 이미지 광이 도파관을 떠나가게 하는 회절 격자들을 가지는 하나 또는 그 초과의 스택된 평면의 도파관들로 구성된 장치일 수 있다. 각각의 DOE 층은 아래에서 추가로 상세히 설명되는 바와 같이, 특정 포커스 심도에 맞추어질 수 있다.
[0015] 실세계에서, 광은, 이동할 때 회절하거나 확산한다. 따라서, 멀리 떨어진 객체들, 이를테면 달로부터 반사된 광은 더 가까운 객체들, 이를테면 뷰어로부터 5 미터 떨어진 사람으로부터 반사된 광보다 더 확산한다. 위에서 설명된 바와 같이, 인간 비전(vision) 시스템은 (1) 시선 조정들(예컨대, 수렴 움직임들), 및 (2) 포커싱에 의해 적어도 2개의 방식들로 먼 객체와 가까운 객체로부터 오는 광을 핸들링한다. 예컨대, 실세계에서 달을 뷰잉할 때, 눈들은, 달이 위치된 곳을 크로스(cross)하도록 각각의 눈의 시선을 수렴함으로써 조정한다. 시선들을 조정하는 것에 더하여, 각각의 눈은 광의 확산을 고려하기 위하여 그의 렌징(lensing) 시스템을 포커싱하여야 한다. 일부 실시예들에서, DOE 어셈블리는 상이한 심도 평면들에 가까운 객체와 멀리 떨어진 객체를 디스플레이함으로써 인간 원근조절-수렴 반사와 함께 작동한다. 예컨대, 플랫(flat) 이미지(예컨대, 사람, 나무, 땅, 및 달)는 심도 합성 이미지를 형성하기 위하여 3개의 심도 평면들(DP1, DP2, DP3)로 분해될 수 있다. 가장 가까이 있도록 의도된 객체인 사람은 1 미터 떨어진 객체들(1)로부터 확산하는 광을 모방하도록 튜닝된 심도 평면 1(DP1)에 디스플레이된다. 중간 객체들인 나무 및 땅은 5 미터 떨어진 객체들로부터 확산하는 광을 모방하도록 튜닝된 심도 평면 2(DP2)에 디스플레이된다. 마지막으로, 가장 먼 객체인 달은 384,400,000 미터 떨어진 객체들로부터 확산되는 광을 모방하도록 튜닝된 심도 평면 3(DP3)에 디스플레이된다. (384,400,000 미터는 지구로부터 달까지의 대략 거리이다. 그러나, 특정 거리를 지난 객체들에 대해, 이미징 시스템, 이를테면 렌징 시스템을 광학 무한대로 간단히 조정하여, 입사 광선들이 거의 평행한 광선들로서 근사화되는 것은 일반적이다). 이런 방식으로, 심도-합성 이미지의 뷰어는, 상이한 심도 평면들의 객체들을 볼 때, 그/그녀의 포커싱 및 시선 수렴 둘 모두를 조정해야 하고, 두통들 또는 불편이 발생하지 않을 것이다.
[0016] 일부 실시예들에서, 이미지 생성 프로세서는 플랫 이미지를 다수의 심도 평면들의 다수의 객체들로 "분해"하는 디바이스로서 구현될 수 있다. 다른 실시예들에서, 이미지 시퀀스는 별개의 심도 평면 특정 이미지 시퀀스들로서 저장되고, 이미지 프로세싱 생성기는 사전-프로세싱된 심도 평면 이미지 시퀀스들을 디스플레이를 위해 준비된 디스플레이 회로에 송신한다. 일부 실시예들에서, DOE들은, 활발하게 회절시키는 "온" 상태들과 크게 회절시키지 않는 "오프" 상태들 간에 스위칭가능하다. 예컨대, 스위칭가능 DOE는, 마이크로드롭릿(microdroplet)들이 호스트 매질에서 회절 패턴을 포함하는 폴리머 분산형 액정 층을 포함할 수 있고, 마이크로드롭릿들의 굴절률은 호스트 매질의 굴절률에 실질적으로 매칭하도록 스위칭될 수 있거나(상기 경우에 패턴은 입사 광을 현저하게 회절시키지 않음) 또는 마이크로드롭릿은 호스트 매질의 굴절률에 매칭하지 않는 인덱스(index)로 스위칭될 수 있다(상기 경우 패턴은 입사 광을 능동적으로 회절시킴). 일부 실시예들에서, 리소스들, 이를테면 배터리 전력을 절약하기 위하여, 뷰어가 심도 평면의 객체들을 볼 때, 특정 심도 평면에 대한 이미지 정보만을 디스플레이하는 것이 바람직할 수 있다. 예컨대, 이미지가 달로만 이루어지면, DP3는 스위칭 온될 수 있는 반면, 다른 심도 평면들(DP1 및 DP2)은 스위치 오프될 수 있다. 선택적으로, 모두 3개의 심도 평면들은 턴 온될 수 있고 순차적인 방식으로 객체들을 디스플레이하기 위하여 사용될 수 있다. 예컨대, FSD는 DP1, DP2, DP3 상의 이미지들을 빠르고 연속적으로 투사하는 것 간에 빠르게 스위칭할 수 있다. 인간 비전 시스템이 특정 주파수(예컨대, 30 Hz)까지의 움직임들/변화들만을 검출할 수 있기 때문에, 뷰어는, FSD가 평면들 간에 스위칭하는 것을 인식하지 못할 것이지만 대신 부드러운 다중-심도 평면 합성 이미지 스트림을 인식할 것이다.
[0017] 부가적으로, 일부 실시예들에 따라, 시스템은 또한 눈-추적 서브시스템을 포함할 수 있다. 이 경우에, 눈-추적 서브시스템은, 뷰어가 먼 객체를 보는지 가까운 객체를 보는지를 결정하기 위하여 (예컨대, 눈의 수렴 각도들을 모니터링함으로써) 뷰어의 눈을 모니터링할 수 있다. 예컨대, 뷰어가 달을 보고 있는 것을 시스템이 검출할 때, DP3는 스위칭 온될 수 있고, 그리고 DP1 및 DP2는 스위칭 오프 및/또는 감쇠될 수 있다. 스택된 구성은 (정적 도파관들 및 렌즈들보다 오히려) 동적 DOE들을 사용하여 동시에 다중평면 포커싱을 제공할 수 있다. 예컨대, 3개의 동시 초점 평면들에 의해, (예컨대, 측정된 눈 원근조절에 기반하여) 주 포커스 평면은 사용자에게 제시될 수 있고, 그리고 + 마진 및 - 마진(하나의 초점 평면은 더 가깝고, 하나의 초점 평면은 더 멈)은, 평면들이 업데이트될 필요가 있기 이전에 사용자가 원근조절할 수 있는 큰 초점 범위를 제공하기 위하여 활용될 수 있다. 이런 증가된 초점 범위는, 사용자가 더 가까운 포커스 또는 더 먼 포커스(예컨대, 원근조절 측정에 의해 결정됨)로 스위칭하는 경우, 시간 장점을 제공할 수 있다. 그 다음으로, 포커스의 새로운 평면은 중간 포커스 심도인 것으로 만들어질 수 있고, + 및 - 마진들은 다시, 시스템이 캐치 업(catch up) 하는 동안 어느 하나로 빠르게 스위치오버할 준비를 한다.
[0018] 일부 실시예들에서, AR/VR 시스템은 큰 관측 시야에 걸쳐 다수의 심도 평면들에 이미지들을 빠르게 디스플레이하도록 구현될 수 있다. 여기서, 아키텍처는 ADS(acousto-optical depth switch: 음향-광학 심도 스위치)를 제외하고 아키텍처와 유사하다. ADS는 FSD로부터 광을 수신하고 상이한 심도들에 있는 상이한 DOE 층들 상으로 광을 포커싱하도록 커플링될 수 있다. ADS는 로직 모듈 및 AO(acousto-optical: 음향-광학) 변조기를 포함할 수 있다. FSD로부터의 광 입력은 ADS 유닛에 진입하고 다수의 각도들로 DOE 어셈블리로 편향될 수 있다(예컨대, 회절, 굴절됨). 각각의 DOE 층 또는 회절 엘리먼트는 심도 평면(예컨대, DP1, DP2, DP3)에 대응한다. 예컨대, DOE 층은 DP1에 대응할 수 있고, 뷰어로부터 1 미터 떨어지게 인식된 거리에 있는 사람을 디스플레이한다. 마찬가지로, DOE 층은 DP2에 대응할 수 있고, 그리고 뷰어로부터 5 미터 떨어지게 인식된 거리에 있는 땅에 뿌리가 내려진 나무를 디스플레이한다. 마지막으로, DOE 층은 DP3에 대응할 수 있고, 384,400,000 미터 떨어지게 인식된 거리(또는 광학 무한대)에 있는 달을 디스플레이한다. 일부 실시예들에서, 각각의 DOE 층은 심도 평면의 스팬을 따라 ADS로부터 수신된 이미지 광을 편향시키는 인-커플링 격자를 구현한다. 그 다음으로, 이미지는 회절 격자들의 제 2 세트를 사용하여 뷰어를 향하는 DOE 층들을 떠날 수 있다. 일부 실시예들에서, AO 변조기는 커플링 광학기구를 통하여 광을 수신하고, 수신된 광을 도파관을 따라 안내하고, 표면 탄성파들이 기판을 따르게 하도록 트랜스듀서를 사용하고(표면 탄성파들은 기판의 굴절률을 변화시킴), 이는 광이 표면 탄성파 에 비례하는 각도로 기판을 떠나게 한다. 특히, 입력 광은 먼저 커플러, 이를테면 프리즘을 통하여 AO 변조기와 인터페이스한다. 커플러는 광을 기판상의 도파관으로 지향시킨다. 일부 실시예들에서, 기판은 압전기 재료, 이를테면 석영, 또는 기술 분야에서 알려진 바와 같은 다른 압전기 투명/반투명 재료들을 포함한다. 일부 실시예들에서, 기판은 또한 압전기(즉, 압력/스트레스에 대한 응답으로 전기를 생성함)인 니오브산 리튬의 얇은 시트를 포함한다. 일부 실시예들에서, 니오브산 리튬 기판은 재료의 굴절률을 변화시키고 원하는 방향들로 광을 굴절시키기 위하여 고전압들(예컨대, 30 볼트들)을 인가함으로써 전기-광학 스위치로서 사용될 수 있다. 그러나, 인간 얼굴 가까이에서 고전압들을 흐르게 하는 것은 통상적으로 바람직하지 않다. 게다가, 고전압 스위치들, 이를테면 30 볼트 니오브산 리튬 스위치를 사용하는 것은, 배터리 전력이 통상적으로 제한되는 착용가능 컴퓨터-비전 시스템들에서 실용적이지 않을 수 있다. 대안적으로, 일부 실시예들에서, 기판을 전기-광학 스위치로서 사용하는 대신, AO 변조기는 기판을 음향-광학 스위치로서 사용한다. 예컨대, 트랜스듀서에는 기판의 표면을 따라 파들(예컨대, "표면 탄성파들")을 생성하기 위하여 기판이 전후로 움직이게 하는 매우 저전압들이 공급될 수 있다. 표면 탄성파들은 트랜스듀서에 의해 생성된 파들의 주파수에 비례하는 특정 정의된 주기(period)(예컨대, 피크간 거리)를 가질 수 있다. 즉, 예컨대, 트랜스듀서가 60 Hz를 수신하면, 표면 탄성파들의 주기는 거의 60 Hz에 매칭한다(예컨대, 재료 자체 내에서 손실된 에너지, 예컨대 히스테리시스를 무시함). 마찬가지로, RF 주파수 전력이 트랜스듀서에 공급되면, 표면 탄성파들은 거의 RF 주파수들에 매칭할 것이다. 따라서, 트랜스듀서의 주파수를 변화시킴으로써, 유도된 표면 파들의 주기는 제어 및/또는 튜닝될 수 있다. 일반적으로, 일부 실시예들에서, 로직 모듈은 요구된 주파수들을 생성하도록 AO 변조기를 관리할 수 있다. 예컨대, 로직 모듈은 데이터 스트림을 수신하여, 트랜스듀서가 광을 DOE 어셈블리 층들로 지향시키기 위하여 순차적으로 주파수들을 변화시키게 한다. 다른 실시예들에서, 다른 컴포넌트들, 이를테면 이미지 프로세싱 생성기는 주파수들의 시퀀스들을 생성하도록 AO 변조기를 관리한다. 표면 탄성파들은 기판의 굴절률을 변화시킬 수 있고 또한 일종의 회절 격자로서 동작할 수 있다. 처음에, 도파관 및 기판은 2개의 상이한 굴절률들을 가지므로, 도파관 내의 광에 대해 내부 전반사가 발생한다. 특정 기판들, 이를테면 니오브산 리튬은 전기 에너지 또는 물리적/기계적 에너지(예컨대, 스트레스들)에 대한 응답으로 변화하는 굴절률을 가진다. 이와 같이, 상이한 표면 탄성파들을 니오브산 리튬 기판에 인가함으로써, 굴절률은 도파관 내에서 발생하는 내부 전반사를 파괴하고 따라서 도파관 내의 광이 탈출하게 하도록 변화될 수 있다.
[0019] 게다가, 주어진 파장의 광이 격자로부터 편향되는 각도는 광의 파장에 비례할 수 있다. 일부 실시예들에서, 표면 탄성파들은 격자 폭(예컨대, 표면 탄성파에 대한 피크간 거리)에 비례하는 각도들에서 도파관/기판 인터페이스로부터 이미지 광을 회절시키는 회절 격자로서 동작한다. 이런 방식으로, 도파관을 통하여 이동하는 입력 광은 굴절(기판의 굴절률의 변화에 의해 유발됨) 및 회절(파 주기에 비례하는 회절 격자 효과를 유도하는 표면 탄성파들에 의해 유발됨)에 의해 편향될 수 있다. 결합된 효과들은 입력 광을 다수의 인-커플링 격자 타겟들, 이를테면 인-커플링 격자 상으로 안내하기 위하여 사용될 수 있다. 부가적으로, 광이 하나의 타겟으로부터 다음 타겟으로 편향될 수 있는 속도는 트랜스듀서에 상이한 신호(예컨대, 상이한 주파수)를 간단히 인가함으로써 조정될 수 있다. 이런 방식으로, 음향-광학 심도 스위치는 큰 FOV에 걸쳐 매우 높은 스위칭 속도들을 달성할 수 있다.
[0020] 일부 실시예들에서, 스캐너(scanner) 및 스위치로서 음향-광학 디바이스는 FSD 및/또는 커플링 광학기구에 대한 필요 없이 구현될 수 있다. 동작 시, 디스플레이 회로로부터의 이미지 신호는 AOS 내로 직접 입력된다. 그 다음으로, AOS는 위에서 논의된 것들과 같은 음향-광학 접근법들을 사용하여 상이한 심도 평면들 상으로 광을 변조하여 편향시킬 수 있다. 디스플레이 회로로부터의 입력 광/이미지 광은 먼저 커플러와 인터페이스할 수 있고, 커플러는 광학 커플러, 이를테면 프리즘일 수 있다. 커플러는 기판상에 광을 안내하기 위하여 내부 전반사를 사용하는 도파관으로 광을 지향시킨다. AO 변조기는 2개의 트랜스듀서들을 포함할 수 있다. 수직 트랜스듀서는, 광이 상이한 각도들로 DOE 어셈블리 쪽으로 편향하게 하는 수직 표면 탄성파들을 생성한다. 수평 트랜스듀서는, 일부 실시예들에서, 수직 트랜스듀서에 직교하여 정렬될 수 있다. 수평 트랜스듀서는 수평 표면 탄성파들을 생성하도록 구현될 수 있다. (AO 변조기에 관련하여) 입력 광을 수직으로 편향시키는 수직 표면 탄성파들같이, 수평 표면 탄성파들은 또한 메커니즘들, 이를테면 브래그(Bragg) 회절을 사용하여 도파관 내에서 단지 수평으로만 광을 편향시킬 수 있다. 따라서 구현된 바와 같이, AO 변조기는 수평 및 수직 방향들 둘 모두에서 입력 광을 제어할 수 있다. 예컨대, DP2에서, 디스플레이될 이미지는 땅에 뿌리가 내려진 나무이다. 이미지를 스캔하기 위한 빔을 수평으로 지향시키기 위하여, 수평 트랜스듀서는 주파수 및 이에 따라서 광의 수평 편향을 제어함으로써 수평 표면 탄성파들을 변조할 수 있다. 마찬가지로, 이미지 출력을 수직으로 스캔하기 위하여, 수직 트랜스듀서는 주파수 및 이에 따라서 광의 수직 편향을 제어함으로써 수직 표면 탄성파들을 변조시킬 수 있다.
[0021] 일부 실시예들에서, 음향-광학 스캐너(acousto-optical scanner)는 하이브리드 AOS 유닛의 수평 AO 변조기 및 수직 AO 변조기를 사용할 수 있다. 수평 AO 변조기는 수평으로 편향되거나 시프트되는 광을 생성하기 위하여 사용될 수 있는, 커플러, 기판, 도파관, 및 수평 트랜스듀서(예컨대, 수평 트랜스듀서)를 포함할 수 있다. 그 다음으로, 수평으로 편향된 광은 수직 AO 변조기로 입력될 수 있다. 수직 AO 변조기는 광을 수직으로 편향시키는 수직 표면 탄성파들을 생성하는, 커플러, 기판, 도파관 및 수직 트랜스듀서(예컨대, 수직 트랜스듀서)를 포함할 수 있다. 따라서, 하나의 결합된 수직/수평 AO 변조기 대신, 2개의 변조기들은 개별 유닛들이고 각각의 개별 유닛들은 그 자신의 기판, 커플러, 및 도파관을 가질 수 있지만 직교 트랜스듀서들을 가질 수 있다. 수직/업라이트(upright) 변조기는 AO 변조기처럼 구성된다. 즉, 업라이트 변조기는 (변조기에 관련하여) 상향/하향으로 광을 편향시킬 수 있다. 수직 입력 광이 업라이트 변조기로 입력될 때, 이는 이미지(이를테면, 수직 방향으로 출력되는 이미지)를 스캔하기 위하여 수직 방향으로 편향된다. 직교 AO 변조기는, 업라이트 변조기에 직교하도록 90도 회전될 수 있다. 이런 방식으로, 직교 AO 변조기는 브래그 회절을 사용함이 없이, 수평 방향으로 이미지를 스캔하기 위하여 수평 입력 광을 편향시킨다. 직교 변조기들이 여기에서 예로서 논의되지만, 당업자는, 상이한 각도들로 정렬된 하나 또는 그 초과의 AO 변조기들이 전체 이미지 스캔들을 달성하기 위하여 유사하게 구현될 수 있다는 것을 인식한다. 예컨대, 3개의 AO 변조기 구현에서, 제 1 AO 변조기는 0 도로 정렬될 수 있고, (제 1 AO 변조기에 관련하여) 45도로 배향되는 제 2 AO 변조기로 광을 입력시킬 수 있고, 제 2 AO 변조기는 (제 1 AO 변조기에 관련하여) 90 도로 배향되는 제 3 AO 변조기로 광을 입력시킬 수 있다. 이런 방식으로, 하나 또는 그 초과의 중간 변조기들은 하나의 단계에서 0 도로부터 90 도로 진행하는 대신 각도들을 더 느리게 변화시킬 수 있다.
[0022] 일부 실시예들에서, 하나의 기판을 가지는 것이 바람직할 수 있지만, 그 직교 표면들 중 2개가 활용된다. 예컨대, 기판의 상단 면은 제 1 커플러, 도파관, 및 트랜스듀서를 구현할 수 있다. 기판의 측면 상에 있는 동안, 제 2 커플러, 도파관 및 트랜스듀서가 구현된다. 동작 시, 이런 실시예는 업라이트 및 직교 변조기들과 유사하게 기능하지만 제 2 기판 및/또는 AO 변조기 유닛에 대한 필요가 없다.
[0023] 일부 실시예들에서, 하이브리드 FSD/AOS 모듈, AOS 컴포넌트는 FSD에 상보적으로 사용될 수 있다. 이런 접근법에서, FSD는 특정 해상도로 디스플레이되는 이미지를 생성하고, 그 이미지는 FSD로부터 입력된다. 예컨대, 이미지 출력을 참조하여, FSD들은 일반적으로 제한된 해상도를 가지며 특정 간격들의 스월(swirl)을 따라 광을 출력시킬 수 있다. 이런 접근법에서, 하이브리드 FSD/AOS 컴포넌트는 수평 및 수직 변조기들 둘 모두를 가지는 AO 변조기를 특징으로 하여, FSD가 목표로 하거나 도달할 수 없는 이미지 포인트들을 더 미세하게 생성할 수 있다. 일부 실시예들에 따라, "주" 이미지 포인트들은 먼저 FSD(예컨대, FSD 스월을 따르는 포인트들)에 의해 생성될 수 있는 반면, 그 다음으로 보조/상보 이미지 포인트들은 FSD의 해상도를 넘어 놓이는 포인트들을 "채우기" 위하여 AO 변조기에 의해 생성된다.
[0024] 음향-광학 심도 스위치를 사용하여 광을 투사하기 위한 접근법에 대한 방법은 다음과 같이 구현될 수 있다. 먼저, 이미지 생성기, 이를테면 레이저들, LED들, 또는 LCD는 일련의 이미지들을 포함하는 이미지 광을 생성한다. 일련의 이미지들은 이미지들의 비디오 시퀀스일 수 있고, 여기서 일련의 이미지들 내의 각각의 이미지는 상이한 거리들에 있는 객체들을 묘사한다. 예컨대, 일련의 이미지들의 제 1 부분은 뷰어(예컨대, 가상 현실 또는 증강 현실 헤드셋을 착용한 뷰어)에게 더 가깝게 있는 제 1 심도 평면에서의 모든 객체들을 포함할 수 있다. 마찬가지로, 일련의 이미지들의 다른 부분들은 상이한 거리들에 있는 객체들을 포함할 수 있다. 예시적인 실시예에서, 6개의 심도 평면들이 구현되고, 심도 평면들 각각은 뷰어로부터의 6개의 거리들에 대응한다. 일부 실시예들에서, 6개 중 제 1 심도 평면은 3 미터 또는 더 가까운 거리에 대응하고, 제 6 심도 평면은 광학 무한대 또는 그렇지 않으면 매우 큰 거리에 대응한다. 그 다음으로, 광 생성기에 의해 생성된 이미지 광은 일정 각도에 걸쳐 작동하는 FSD로 입력된다. 일부 실시예들에 따라, FSD는 음향-광학 심도 스위치 커플링 광학기구 상으로 광을 투사하기 위하여 사용된다. 커플링 광학기구, 이를테면 프리즘은 기판을 따라 도파관 상으로 이미지 광을 지향시킬 수 있다. 음향-광학 심도 스위치 내의 트랜스듀서는 기판 표면상에 표면 탄성파들을 생성하기 위하여 상이한 주파수들로 진동할 수 있다. 위에서 설명된 바와 같이, 상이한 주파수들의 표면 탄성파들은 이미지 광을 상이한 각도들로 편향시킨다. 그 다음으로, 트랜스듀서는 이미지 광을 상이한 광학 엘리먼트들, 이를테면 회절 광학 엘리먼트들 상으로 편향시키기 위하여 상이한 주파수들의 SAW들을 생성하도록 트랜스듀서에게 명령하는 명령들을 로직 모듈로부터 수신할 수 있다.
[0025] 상이한 주파수들에서 광을 편향시키기 위하여 음향-광학 심도 스위치를 사용하여 광을 투사하기 위한 방법은 다음과 같이 구현될 수 있다. 일부 실시예들에서, 이미지 광은 상이한 심도 평면들에 대한 광 부분들로의 시퀀스들일 수 있다. 예컨대, 제 1 리딩(leading) 부분은 뷰어에 가장 가까운 것으로 도시되는 객체들을 포함할 수 있다. 제 2 부분은 뷰어에 대해 중간 거리에 도시되는 객체들을 포함할 수 있다. 제 3 부분은 뷰어로부터 가장 먼 거리에 도시되는 객체들을 포함할 수 있다. 이런 접근법에서, 로직 모듈은 제 1 주파수를 사용하여 제 1 부분을 제 1 광학 엘리먼트로, 그 다음으로 제 2 주파수를 사용하여 제 2 부분을 제 2 광학 엘리먼트로, 그리고 그 다음으로 제 3 주파수를 사용하여 제 3 부분을 제 3 광학 엘리먼트로 편향시키기 위하여 교번 방식으로 상이한 주파수들의 SAW들을 생성하도록 트랜스듀서에게 지시할 수 있다. 비록 단지 3개의 심도 평면들 및 주파수들이 여기서 예로서 논의되지만, 다른 수들의 심도 평면들(예컨대, 6개) 및 대응하는 주파수들이 마찬가지로 구현될 수 있다.
[0026] 직교로 배향된 트랜스듀서들을 사용하여 직교 방향들로 광을 투사하기 위한 방법은 다음과 같이 구현될 수 있다. 먼저, 수평 SAW들은 수평 트랜스듀서를 사용하여 생성될 수 있다. 수평 SAW들은 브래그 회절을 사용하여 수평 방향을 따라 광학 엘리먼트 상으로 광을 편향시키거나 래스터링(raster)할 수 있다. 다음으로, 수직 SAW들은 수직 트랜스듀서를 사용하여 생성될 수 있다. 수직 SAW들은 굴절 및 회절을 사용하여 수직 방향을 따라 광학 엘리먼트 상으로 광을 편향시키거나 래스터링할 수 있다. 단계들의 특정 순서가 위의 방법들에서 논의되지만, 당업자는, 상이한 순서들이 마찬가지로 구현될 수 있다는 것을 인식한다.
[0027] 일부 실시예들의 양상들, 목적들 및 장점들의 추가 세부사항들은 아래 상세한 설명, 도면들, 및 청구항들에서 설명된다. 전술한 일반적인 설명 및 다음 상세한 설명 둘 모두는 예시적이고 설명적이며, 실시예들의 범위에 대한 제한인 것으로 의도되지 않는다.
[0028] 도면들은 본 발명의 일부 실시예들의 설계 및 유용성(utility)을 예시한다. 도면들이 실척대로 도시되지 않고 유사한 구조들 또는 기능들의 엘리먼트들이 도면들 전체에 걸쳐 동일한 참조 번호들로 표현되는 것이 주목되어야 한다. 본 발명의 다양한 실시예들의 상기 나열된 그리고 다른 장점들 및 목적들을 획득하기 위한 방법을 더 잘 인식하기 위하여, 위에서 간략하게 설명된 본 발명들의 더 상세한 설명은 첨부 도면들에 예시된 본 발명들의 특정 실시예들을 참조하여 제공될 것이다. 이들 도면들이 단지 본 발명의 통상적인 실시예들을 묘사하고 그러므로 그 범위를 제한하는 것으로 고려되지 않는 것이 이해되기 때문에, 본 발명은 첨부 도면들의 사용을 통해 부가적인 특이성 및 세부사항들이 기술되고 설명될 것이다.
[0029] 도 1은 일부 실시예들에 따른, 예시적인 가상 또는 증강 현실 환경을 예시한다.
[0030] 도 2는 일부 실시예들에 따른, 가상 또는 증강 현실 헤드셋을 예시한다.
[0031] 도 3은 인간 눈의 컴포넌트들을 예시한다.
[0032] 도 4는 일부 실시예들에 따른, 가상 또는 증강 현실 헤드셋 및 디스플레이 모듈들을 예시한다.
[0033] 도 5는 일부 실시예들에 따른, 파이버 스캐닝 디바이스를 사용하는 가상 또는 증강 현실 헤드셋 및 디스플레이 모듈들에 대한 아키텍처를 예시한다.
[0034] 도 6은 일부 실시예들에 따른, 플랫(flat) 이미지들로서 가상 또는 증강 현실 환경의 예를 예시한다.
[0035] 도 7은 일부 실시예들에 따른, 상이한 심도 평면들로 분할된 도 6의 가상 또는 증강 현실 환경의 예를 예시한다.
[0036] 도 8은 일부 실시예들에 따른, 파이버 스캐닝 디바이스 및 음향-광학 심도 스위치를 사용하는 가상 또는 증강 현실 헤드셋 및 디스플레이 모듈들에 대한 아키텍처를 예시한다.
[0037] 도 9는 일부 실시예들에 따른, 음향-광학 심도 스위치 및 회절 광학 어셈블리의 내부 아키텍처를 예시한다.
[0038] 도 10은 일부 실시예들에 따른, 광 생성기를 포함하는 디스플레이 회로에 직접 커플링된 음향-광학 심도 스위치를 사용하는 가상 또는 증강 현실 헤드셋 및 디스플레이 모듈들에 대한 아키텍처를 예시한다.
[0039] 도 11은 일부 실시예들에 따른, 수평 및 수직 트랜스듀서들을 가지는 회절 광학 어셈블리 및 음향-광학 심도 스위치의 내부 아키텍처를 예시한다.
[0040] 도 12는 일부 실시예들에 따른, 수직 배향 음향-광학 심도 스위치에 커플링되는 수평 배향 음향-광학 심도 스위치 및 회절 광학 어셈블리의 내부 아키텍처를 예시한다.
[0041] 도 13은 일부 실시예들에 따른, 수직 배향 음향-광학 심도 스위치에 병렬의 수평 배향 음향-광학 심도 스위치 및 회절 광학 어셈블리의 내부 아키텍처를 예시한다.
[0042] 도 14는 일부 실시예들에 따른, 회절 광학 어셈블리 및 하이브리드 파이버 스캐닝 디바이스 및 음향-광학 심도 스위치 디바이스의 내부 아키텍처를 예시한다.
[0043] 도 15는 일부 실시예들에 따른, 파이버 스캐닝 디바이스가 도달할 수 없는 해상도들을 커버하는 회절 광학 어셈블리 및 음향-광학 심도 스위치의 내부 아키텍처를 예시한다.
[0044] 도 16a-16c는 일부 실시예들에 따른, 음향-광학 심도 스위치를 사용하여 광을 투사하기 위한 방법들에 대한 흐름도들을 도시한다.
[0045] 도 17은 예시적인 시스템 아키텍처를 예시한다.
[0046] 다양한 실시예들은 음향-광학 제어 디바이스들에 대한 방법, 시스템 및 컴퓨터 프로그램 제품에 관련된다. 다른 목적들, 특징들, 및 장점들은 상세한 설명, 도면들, 및 청구항들에 설명된다.
[0047] 제조 방법들, 시스템들 및 물품들의 다양한 실시예들은 이제 도면들을 참조하여 상세히 설명될 것이고, 도면들은 당업자들로 하여금 다양한 실시예들을 실시하게 하기 위하여 예시적 예들로서 제공된다. 특히, 아래의 도면들 및 예들은 본 발명의 범위를 제한하는 것으로 의미되지 않는다. 본 발명의 특정 엘리먼트들이 알려진 컴포넌트들(또는 방법들 또는 프로세스들)을 사용하여 부분적으로 또는 전체적으로 구현될 수 있는 경우, 본 발명의 이해에 필요한 그런 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 이들 부분들만이 설명될 것이고, 그런 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 다른 부분들의 상세한 설명들은 본 발명을 모호하게 하지 않기 위하여 생략될 것이다. 추가로, 본 발명은 예시에 의해 본원에 참조된 컴포넌트들과 현재 및 미래 알려지는 등가물들을 포함한다.
[0048] 도 4는, 음향-광학 제어 디바이스들이 구현될 수 있는 예시적 시스템 및 동작 환경을 예시한다. 도 4에 도시된 바와 같이, AR 시스템 사용자(400)는 사용자의 눈들의 전면에 포지셔닝된 디스플레이 시스템(402)에 커플링된 프레임(404) 구조를 착용한 것으로 묘사된다. 스피커(406)는 묘사된 구성에서 프레임(404)에 커플링되고 사용자의 외이도에 인접하게 포지셔닝될 수 있다(일 실시예에서, 도시되지 않은 다른 스피커는 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/형상화가능 사운드 제어를 제공함). 디스플레이(402)는 일부 실시예들에 따라, 이를테면 유선 리드 또는 무선 연결에 의해, 다양한 구성들로 장착될 수 있는, 이를테면 프레임(404)에 고정되게 부착될 수 있는 로컬 프로세싱 및 데이터 모듈(410)에 동작가능하게 커플링된다(408). 부가적인 실시예들에서, 로컬 프로세싱 및 데이터 모듈(410)은 헬멧 또는 모자에 고정되게 부착되거나, 헤드폰들에 내장되거나, (배낭-스타일 구성에서) 사용자의 몸통에 제거가능하게 부착될 수 있거나, 또는 벨트-연결 스타일 구성에서 사용자의 엉덩이에 제거가능하게 부착될 수 있다(묘사되지 않음).
[0049] 로컬 프로세싱 및 데이터 모듈(410)은 전력-효율적 프로세서 또는 제어기, 및 플래시 메모리 같은 디지털 메모리를 포함할 수 있고, 이 둘 모두는 (a) 프레임(404)에 동작가능하게 커플링될 수 있는 센서들, 이를테면 이미지 캡처 디바이스들(이를테면 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로로부터 캡처되고; 및/또는 (b) 원격 프로세싱 모듈(412) 및/또는 원격 데이터 저장소(414)를 사용하여 획득되고 및/또는 프로세싱되며, 가능하게는 그런 프로세싱 또는 리트리벌 이후 디스플레이(402)로 통과되는 데이터의 프로세싱, 캐싱, 및 스토리지를 돕기 위하여 활용될 수 있다.
[0050] 로컬 프로세싱 및 데이터 모듈(410)은 이를테면 유선 또는 무선 통신 링크들을 통하여 원격 프로세싱 모듈(412) 및 원격 데이터 저장소(414)에 동작가능하게 커플링(416, 418)되어, 이들 원격 모듈들(412, 414)은 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(410)에 대한 리소스들로서 이용가능할 수 있다. 일부 실시예들에서, 원격 프로세싱 모듈(412)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(414)는 "클라우드" 리소스 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 비교적 큰 규모의 디지털 데이터 스토리지 설비를 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션은 로컬 프로세싱 및 데이터 모듈에서 수행되고, 이는 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용한다.
[0051] 도 5는 일부 실시예들에 따라, 스택된 도파관 어셈블리들("EDGE")을 사용하는 예시적인 AR 시스템을 예시한다. EDGE 시스템(500)은 일반적으로 이미지 생성 및 프로세싱을 위한 메모리(512), CPU(516)와 GPU(514) 및 다른 회로를 가지는 이미지 생성 프로세서(502)를 포함한다. 이미지 생성 프로세서(502)는 AR 시스템 사용자에게 프린제테이션을 위하여 원하는 가상 콘텐츠로 프로그래밍될 수 있다. 일부 실시예들에서, 이미지 생성 프로세서(502)가 착용가능 AR 시스템에 하우징될 수 있는 것이 인식되어야 한다. 다른 실시예들에서, 이미지 생성 프로세서 및 다른 회로는 착용가능 광학기구, 또는 다른 구성들에 커플링된 벨트 팩에 하우징될 수 있다.
[0052] 이미지 생성 프로세서(502)에 의해 생성되는 가상 콘텐츠 또는 정보는 디스플레이 회로(510)에 송신될 수 있다. 디스플레이 회로(510)는 이미지 생성 프로세서(502)와 통신할 수 있는 인터페이스 회로(532)를 포함할 수 있고, 그리고 회로, 이를테면 칩(534), 온도 센서(536), 압전기 드라이브/트랜스듀서(538), 적색 레이저(540), 청색 레이저(542) 및 녹색 레이저(544), 및 레이저들을 결합하는 파이버 결합기(묘사되지 않음)와 추가로 인터페이스할 수 있다. 레이저들이 광 생성기의 예로서 본원에서 예시되지만, 다른 타입들의 광 생성기들(예컨대, DLP, LCD, LED들)이 또한 디스플레이 회로(510)에 구현될 수 있다.
[0053] 디스플레이 회로(510)는 디스플레이 또는 투사식 디바이스, 이를테면 FSD(fiber scanning device)(520)와 인터페이스할 수 있다. 일반적으로, FSD(520)는 이미지를 전달하기 위하여 다양한 패턴들을 빠르게 생성하도록 진동되는 하나 또는 그 초과의 광섬유들을 가지는 디스플레이 디바이스이다. 비록 예시된 실시예가 디스플레이 디바이스로서 FSD를 사용하지만, 당업자는, 기술 분야에서 알려진 다른 디스플레이 디바이스들(예컨대, DLP, OLED, LCD들, LCOS)이 유사하게 구현될 수 있다는 것을 인식한다.
[0054] 그 다음으로, AR 시스템은 FSD로부터의 광을 DOE(diffractive optical element) 어셈블리(530)(예컨대, 회절 광학 엘리먼트들)로 지향시키기 위하여 커플링 광학기구(522)를 사용할 수 있다. 일부 실시예들에 따라, 커플링 광학기구(522)들은 광을 DOE 어셈블리의 상이한 심도 평면들에 포커싱하기 위하여 사용될 수 있는 하나 또는 그 초과의 렌즈들을 지칭할 수 있다. 간단히, 일부 실시예들에 따라, DOE 어셈블리는(530) (1) 도파관의 스팬을 따라 이미지 광을 편향시키고, (2) 자연의 실세계 회절 효과들을 모방하는 각도들로 이미지 광이 도파관을 떠나가게 하는 회절 격자들을 가지는 하나 또는 그 초과의 스택된 평면의 도파관들로 구성된 장치이다. 각각의 DOE 층은 아래에서 추가로 상세히 설명되는 바와 같이, 특정 포커스 심도에 맞추어질 수 있다.
[0055] 도 6은 동일한 심도 평면에 도시된 상이한 거리들에 있는 객체들을 가지는 신의 예시적 예를 도시한다. 여기서, 플랫 이미지(600)는 사람(602), 땅(606)에 뿌리가 내려진 나무(604), 및 하늘의 달(608)을 도시한다. 실세계에서, 광은, 이동할 때 회절하거나 확산한다. 따라서, 멀리 떨어진 객체들, 이를테면 달(608)로부터 반사된 광은 더 가까운 객체들, 이를테면 사람(602)으로부터 반사된 광보다 더 확산한다. 위에서 설명된 바와 같이, 인간 비전 시스템은 (1) 시선 조정들(예컨대, 수렴 움직임들), 및 (2) 포커싱에 의해 적어도 2개의 방식들로 먼 객체와 가까운 객체로부터 오는 광을 핸들링한다. 예컨대, 실세계에서 달을 뷰잉할 때, 눈들은, 달이 위치된 곳을 크로스(cross)하도록 각각의 눈의 시선을 수렴함으로써 조정한다. 유사하게, 그/그녀 자신의 코끝을 쳐다보면, 눈들은 다시, 코끝이 위치되는 곳을 크로스하도록 각각의 눈의 시선의 집중을 조정할 것이고 그리고 피실험자는 외관상 "내사시"로 나타날 것이다.
[0056] 시선들을 조정하는 것에 더하여, 각각의 눈은 광의 확산을 고려하기 위하여 그의 렌징 시스템을 포커싱하여야 한다. 예컨대, 멀리 떨어진 달(608)로부터 반사된 광은, 달로부터의 광이 포커싱되지 않으면 사람(602)으로부터 반사된 광보다 더 "흐릿"하게 나타날 수 있다. 따라서, 달을 뷰잉하기 위하여, 각각의 눈은 달빛을 점점 더 적게 굴절시키도록 자신의 렌즈를 평평하게 하여 자신의 렌즈를 포커싱하고, 이는 결국 달이 포커싱되게 할 것이다. 유사하게, 사람을 뷰잉하기 위하여, 각각의 눈은, 사람이 포커싱될 때까지 입사 광을 점점 더 굴절시키도록 자신의 렌즈가 더 둥글게 되게 함으로써 자신의 렌즈를 포커싱한다. 위에서 설명된 바와 같이, 각각의 눈의 시선을 조정하고 포커싱하는 것은 자동적으로 함께 발생하고 "원근조절-수렴 반사"로서 알려진다.
[0057] 종래/레거시 입체 AR 또는 VR 구성들에서의 문제는, 이들이 원근조절-수렴 반사에 반하여 작동하는 것이다. 예컨대, 도 6의 플랫 이미지(600)를 참조하여, 종래/레거시 입체 AR 또는 VR 시스템이 상이하게 인식되는 거리들(예컨대, 사람은 더 가깝게 보이고 달은 더 멀게 보임)에 있지만, 모두 인-포커스(focus)로 달(608), 나무(604), 및 사람(602)을 디스플레이하면, 눈들은 달 또는 사람을 볼 때 재포커싱할 필요가 없다. 이것은 원근조절-수렴 반사에 반하게 작동하는 미스매치를 유발한다. 언급된 바와 같이, 이들 종류들의 레거시 접근법들은 사용자들의 눈 피로, 두통들, 또는 다른 형태들의 불편을 생성하는 것으로 알려졌다.
[0058] 그에 반해서, DOE 어셈블리(530)(도 5)는 상이한 심도 평면들에 가까운 객체와 멀리 떨어진 객체를 디스플레이함으로써 인간 원근조절-수렴 반사와 함께 작동한다. 예컨대, 도 7은 심도 합성 이미지(710)를 형성하기 위하여 3개의 심도 평면들(DP1, DP2, DP3)로 분해된 동일한 플랫 이미지(600)(예컨대, 사람, 나무, 땅, 및 달)를 도시한다. 가장 가까이 있도록 의도된 객체인 사람(602)은 1 미터 떨어진 객체들(1)로부터 확산하는 광을 모방하도록 튜닝된 심도 평면 1(DP1)에 디스플레이된다. 중간 객체들인 나무(604) 및 땅(606)은 5 미터 떨어진 객체들(5)로부터 확산하는 광을 모방하도록 튜닝된 심도 평면 2(DP2)에 디스플레이된다. 마지막으로, 가장 먼 객체인 달(608)은 384,400,000 미터 떨어진 객체들로부터 확산되는 광을 모방하도록 튜닝된 심도 평면 3(DP3)에 디스플레이된다. (384,400,000 미터는 지구로부터 달까지의 대략 거리이다. 그러나, 특정 거리를 지난 객체들에 대해, 이미징 시스템, 이를테면 렌징 시스템을 광학 무한대로 간단히 조정하여, 입사 광선들이 거의 평행한 광선들로서 근사화되는 것은 일반적이다). 이런 방식으로, 심도-합성 이미지(710)의 뷰어는, 상이한 심도 평면들의 객체들을 볼 때, 뷰어의 포커싱 및 시선 수렴 둘 모두를 조정해야 하고, 두통들 또는 불편이 발생하지 않을 것이다.
[0059] 도 5를 다시 참조하여, 일부 실시예들에 따라, 이미지 생성 프로세서(502)는 플랫 이미지를 다수의 심도 평면들의 다수의 객체들로 "분해"하는 디바이스로서 구현될 수 있다. 다른 실시예들에서, 이미지 시퀀스는 별개의 심도 평면 특정 이미지 시퀀스들로서 저장되고, 이미지 프로세싱 생성기는 사전-프로세싱된 심도 평면 이미지 시퀀스들을 디스플레이를 위해 준비된 디스플레이 회로에 송신한다.
[0060] 일부 실시예들에서, DOE들은, 활발하게 회절시키는 "온" 상태들과 크게 회절시키지 않는 "오프" 상태들 간에 스위칭가능하다. 예컨대, 스위칭가능 DOE는, 마이크로드롭릿들이 호스트 매질에서 회절 패턴을 포함하는 폴리머 분산형 액정 층을 포함할 수 있고, 마이크로드롭릿들의 굴절률은 호스트 매질의 굴절률에 실질적으로 매칭하도록 스위칭될 수 있거나(상기 경우에 패턴은 입사 광을 현저하게 회절시키지 않음) 또는 마이크로드롭릿은 호스트 매질의 굴절률에 매칭하지 않는 인덱스로 스위칭될 수 있다(상기 경우 패턴은 입사 광을 능동적으로 회절시킴).
[0061] 일부 실시예들에서, 리소스들, 이를테면 배터리 전력을 절약하기 위하여, 뷰어가 심도 평면의 객체들을 볼 때, 특정 심도 평면에 대한 이미지 정보만을 디스플레이하는 것이 바람직할 수 있다. 예컨대, 도 7을 참조하여, 이미지가 달(608)로만 이루어지면, DP3는 스위칭 온될 수 있는 반면, 다른 심도 평면들(DP1 및 DP2)은 스위치 오프될 수 있다. 선택적으로, 모두 3개의 심도 평면들은 턴 온될 수 있고 순차적인 방식으로 객체들을 디스플레이하기 위하여 사용될 수 있다. 예컨대, FSD(520)는 DP1, DP2, DP3 상의 이미지들을 빠르고 연속적으로 투사하는 것 간에 빠르게 스위칭할 수 있다. 인간 비전 시스템이 특정 주파수(예컨대, 30 Hz)까지의 움직임들/변화들만을 검출할 수 있기 때문에, 뷰어는, FSD(520)가 평면들 간에 스위칭하는 것을 인식하지 못할 것이지만 대신 부드러운 다중-심도 평면 합성 이미지 스트림을 인식할 것이다.
[0062] 부가적으로, 일부 실시예들에 따라, 시스템은 또한 눈-추적 서브시스템(550)(도 5)을 포함할 수 있다. 이 경우에, 눈-추적 서브시스템은, 뷰어가 먼 객체를 보는지 가까운 객체를 보는지를 결정하기 위하여 (예컨대 눈의 수렴 각도들을 모니터링함으로써) 뷰어의 눈을 모니터링할 수 있다. 예컨대, 뷰어가 달을 보고 있는 것을 시스템이 검출할 때, DP3는 스위칭 온될 수 있고, 그리고 DP1 및 DP2는 스위칭 오프 및/또는 감쇠될 수 있다.
[0063] 스택된 구성은 (정적 도파관들 및 렌즈들보다) 동적 DOE들을 사용하여 동시에 다중평면 포커싱을 제공할 수 있다. 예컨대, 3개의 동시 초점 평면들에 있어서, (예컨대, 측정된 눈 원근조절에 기반하여) 주 포커스 평면은 사용자에게 제시될 수 있고, 그리고 + 마진 및 - 마진(하나의 초점 평면은 더 가깝고, 하나의 초점 평면은 더 멈)은, 평면들이 업데이트될 필요가 있기 이전에 사용자가 원근조절할 수 있는 큰 초점 범위를 제공하기 위하여 활용될 수 있다. 이런 증가된 초점 범위는, 사용자가 더 가까운 포커스 또는 더 먼 포커스(예컨대, 원근조절 측정에 의해 결정됨)로 스위칭하는 경우, 시간 장점을 제공할 수 있다. 그 다음으로, 포커스의 새로운 평면은 중간 포커스 심도인 것으로 만들어질 수 있고, + 및 - 마진들은 다시, 시스템이 캐치 업(catch up) 하는 동안 어느 하나로 빠르게 스위치오버할 준비를 한다.
[0064] 그러나, 이런 시나리오는, FSD가 다수의 DOE들에 주입되는 여러 이미지들/이미지들의 부분들을 빠르게 생성하기에 충분히 빠르게 동작할 수 있다는 것을 가정한다. 설명된 바와 같이, FSD들은 일반적으로 주어진 각도에 걸쳐 전후로 래스터링 함으로써 작동한다. 그 각도는 디스플레이되는 이미지에 대한 관측 시야(FOV: field of view)를 나타낸다. 6개의 심도 평면들(예컨대, DP1, DP2....DP6)을 가지는 시스템에서, FSD는 프레임당 6번 심도 평면들 간을 끊김 없는 방식으로 스위칭할 수 있어야 한다. 예컨대, 초당 프레임들(FPS)이 60(많은 비디오 스트림 구현에서 통상적임)이면, 각각의 프레임에 대해, FSD는 프레임당 6번을 스위칭하여야 한다. 부가적으로, 각각의 심도 평면에는, 2개의 타겟 존들이 있을 수 있고, 하나의 타겟 존은 녹색 광을 위한 것이고 제 2 타겟 존은 적색 및 청색 광을 위한 것이다. 따라서, FSD가 스위칭할 수 있어야 하는 프레임당 12개의 타겟들이 존재할 수 있다. 따라서, 60 FPS 및 12 타겟들에 대하여, FSD는 끊김 없는 이미지/비디오 시퀀스를 래스터링하기 위하여 초당 대략 714 번 스위칭할 수 있어야 한다. FSD가 이미지들을 래스터링하기 위하여 일정 각도를 통해 파이버를 작동시키는 물리적/기계적 디바이스이기 때문에, 초당 프레임들 또는 심도 평면들의 수가 증가함에 따라, 더 큰 각도들에 걸쳐 충분히 빠르게 작동시키는 것은 점점 어려워지게 된다.
[0065] 부가적으로, FSD(520)가 충분히 빠르게 래스터링 및 스위칭할 수 있는 것을 가정하면, 커플링 광학기구들(522)(FSD로부터 수신된 광을 거의 직교 각도들로 DOE 어셈블리로 지향시킴)은 FSD의 속도 및 FOV 요건들에 매칭할 수 있어야 한다. FSD 광을 각각의 심도 평면상으로 포커싱하기 위한 렌즈들을 사용하는 것과 같은 현재 접근법들은 적어도 FOV 요건들에 관련하여 제한된다. 이상적으로, 사실적인 시뮬레이션들을 위하여, 120 도의 FOV가 자연스러운 실세계 비전을 모방하기 위하여 요구된다. 그러나, 가변 포커스 렌징 시스템, LC 셔터들, 및/또는 격자 시스템들을 사용하는 것과 같은 현재 커플링 광학기구는 120 도 FOV를 생성할 수 없고, 그리고 끊김 없는 시각적 디스플레이를 생성하기에 충분히 빠르게 심도 평면들 간에 스위칭할 수 없다.
[0066] 부가적으로, FSD 및 커플링 광학기구들, 이를테면 렌징 시스템을 기계적으로 작동하는 것은, 그런 접근법들이 요구된 FOV에 걸쳐 충분히 빠르게 스위칭할 수 있더라도, 전력 및 리소스들을 소모시킬 수 있다. 따라서, 큰 관측 시야에 걸쳐 다수의 심도 평면들에 이미지들을 빠르게 디스플레이하기 위한 접근법에 대한 필요가 존재한다.
[0067] 도 8은 큰 관측 시야에 걸쳐 다수의 심도 평면들에 이미지들을 빠르게 디스플레이하기 위한 접근법을 예시한다. 여기서, 아키텍처(800)는, 큰 FOV, 이를테면 120 도에 걸쳐 FSD의 속도에 매칭하고 및/또는 초과할 수 있는 ADS(acousto-optical depth switch)(802)를 제외하고, 도 5에 예시된 아키텍처와 유사하다. 도 8의 예시적인 실시예에 예시된 바와 같이, ADS(802)는 FSD(520)로부터 광을 수신하여 그 광을 상이한 심도들에 있는 상이한 DOE 층들 상으로 포커싱하도록 커플링된다.
[0068] 도 9는 일부 실시예들에 따른, ADS 및 DOE 어셈블리의 양상들을 도시하는 내부 아키텍처(900)를 예시한다. 여기서, ADS(802)는 로직 모듈(950) 및 AO(acousto-optical) 변조기(952)를 포함한다. 예시된 실시예에서, FSD(520)로부터의 광 입력(902)은 ADS(802) 유닛에 진입하고 다수의 각도들로 DOE 어셈블리(530)로 편향된다(예컨대, 회절, 굴절됨). 각각의 DOE 층 또는 회절 엘리먼트(예컨대, 530a, 530b, 530c)는 심도 평면(예컨대, DP1, DP2, DP3)에 대응한다. 예컨대, DOE 층(530a)은 DP1에 대응할 수 있고, 뷰어로부터 1 미터 떨어지게 인식된 거리에 있는 사람(602)을 디스플레이한다(도 7). 마찬가지로, DOE 층(530b)은 DP2에 대응할 수 있고, 그리고 뷰어로부터 5 미터 떨어지게 인식된 거리에 있는 땅(606)에 뿌리가 내려진 나무(604)를 디스플레이한다. 마지막으로, DOE 층(530c)은 DP3에 대응할 수 있고, 384,400,000 미터 떨어지게 인식된 거리(또는 광학 무한대)에 있는 달(608)을 디스플레이한다.
[0069] 일부 실시예들에서, 각각의 DOE 층은 심도 평면의 스팬을 따라 ADS(802)로부터 수신된 이미지 광을 편향시키는 인-커플링(in-coupling) 격자(960)를 구현한다. 그 다음으로, 이미지는 회절 격자들의 제 2 세트(묘사되지 않음)를 사용하여 뷰어(914) 쪽으로 DOE 층들을 떠날 수 있다.
[0070] 일부 실시예들에서, AO 변조기는 커플링 광학기구를 통하여 광을 수신하고, 수신된 광을 도파관을 따라 안내하고, 표면 탄성파들이 기판을 따르게 하도록 트랜스듀서를 사용하고(표면 탄성파들은 기판의 굴절률을 변화시킴), 이는 광이 표면 탄성파 주기에 비례하는 각도로 기판을 떠나게 한다. 특히, 도 9에 예시된 바와 같이, 입력 광(902)은 먼저 커플러(904), 이를테면 프리즘을 통하여 AO 변조기(952)와 인터페이스한다. 커플러(904)는 광을 기판(912) 상의 도파관(906)으로 지향시킨다. 일부 실시예들에서, 기판은 압전기 재료, 이를테면 석영, 또는 기술 분야에서 알려진 바와 같은 다른 압전기 투명/반투명 재료들을 포함한다. 일부 실시예들에서, 기판은 또한 압전기(즉, 압력/스트레스에 대한 응답으로 전기를 생성함)인 니오브산 리튬의 얇은 시트를 포함한다.
[0071] 일부 실시예들에서, 니오브산 리튬 기판은 재료의 굴절률을 변화시키고 원하는 방향들로 광을 굴절시키기 위하여 고전압들(예컨대, 30 볼트들)을 인가함으로써 전기-광학 스위치로서 사용될 수 있다. 그러나, 인간 얼굴 가까이에서 고전압들을 흐르게 하는 것은 통상적으로 바람직하지 않다. 게다가, 고전압 스위치들, 이를테면 30 볼트 니오브산 리튬 스위치를 사용하는 것은, 배터리 전력이 통상적으로 제한되는 착용가능 컴퓨터-비전 시스템들에서 실용적이지 않을 수 있다.
[0072] 대안적으로, 도 9에 예시된 바와 같이, 기판을 전기-광학 스위치로서 사용하는 대신, AO 변조기는 기판(912)을 음향-광학 스위치로서 사용한다. 예컨대, 트랜스듀서(908)에는 기판의 표면을 따라 파들(예컨대, "표면 탄성파들")을 생성하기 위하여 기판이 전후로 움직이게 하는 매우 저전압들이 공급될 수 있다. 표면 탄성파들은 트랜스듀서에 의해 생성된 파들의 주파수에 비례하는 특정 정의된 주기(예컨대, 피크간 거리)를 가질 수 있다. 즉, 예컨대, 트랜스듀서(908)가 60 Hz AC를 수신하면, 표면 탄성파들의 주기는 거의 60 Hz에 매칭한다(예컨대, 재료 자체 내에서 손실된 에너지, 예컨대 히스테리시스를 무시함). 마찬가지로, RF 주파수 전력이 트랜스듀서에 공급되면, 표면 탄성파들은 거의 RF 주파수들에 매칭할 것이다. 따라서, 트랜스듀서의 주파수를 변화시킴으로써, 유도된 표면 파들의 주기는 제어 및/또는 튜닝될 수 있다. 일반적으로, 일부 실시예들에서, 로직 모듈(950)은 요구된 주파수들을 생성하도록 AO 변조기(952)를 관리할 수 있다. 예컨대, 로직 모듈은 데이터 스트림을 수신하여, 트랜스듀서가 광을 DOE 어셈블리 층들로 지향시키기 위하여 순차적으로 주파수들을 변화시키게 할 수 있다. 다른 실시예들에서, 다른 컴포넌트들, 이를테면 이미지 프로세싱 생성기(502)는 주파수들의 시퀀스들을 생성하도록 AO 변조기를 관리한다.
[0073] 언급된 바와 같이, 표면 탄성파들은 기판의 굴절률을 변화시키고 또한 일종의 회절 격자 타입으로서 동작할 수 있다. 처음에, 도파관 및 기판은 2개의 상이한 굴절률들을 가지므로, 도파관 내의 광에 대해 내부 전반사가 발생한다. 특정 기판들, 이를테면 니오브산 리튬은 전기 에너지 또는 물리적/기계적 에너지(예컨대, 스트레스들)에 대한 응답으로 변화하는 굴절률을 가진다. 이와 같이, 상이한 표면 탄성파들을 니오브산 리튬 기판에 인가함으로써, 굴절률은 도파관 내에서 발생하는 내부 전반사를 파괴하고 따라서 도파관 내의 광이 탈출하게 하도록 변화될 수 있다.
[0074] 게다가, 주어진 파장의 광이 격자로부터 편향되는 각도는 광의 파장에 비례한다. 예컨대, 격자 상에 백색 광을 비추면 상이한 파장들에 대응하는 "분해된" 컬러들의 무지개가 생성된다. 일부 실시예들에서, 표면 탄성파들은 격자 폭(예컨대, 표면 탄성파에 대한 피크간 거리)에 비례하는 각도들에서 도파관/기판 인터페이스(예컨대, 도 9의 912와 906 간의 인터페이스)로부터 이미지 광을 회절시키는 회절 격자로서 동작한다. 이런 방식으로, 도파관(906)을 통하여 이동하는 입력 광(902)은 굴절(기판(912)의 굴절률의 변화에 의해 유발됨) 및 회절(파 주기에 비례하는 회절 격자 효과를 유도하는 표면 탄성파들에 의해 유발됨)에 의해 편향될 수 있다. 결합된 효과들은 입력 광(902)을 다수의 인-커플링 격자 타겟들, 이를테면 인-커플링 격자(906) 상으로 안내하기 위하여 사용될 수 있다. 부가적으로, 광이 하나의 타겟으로부터 다음 타겟으로 편향될 수 있는 속도는 트랜스듀서(908)에 상이한 신호(예컨대, 상이한 주파수)를 간단히 인가함으로써 조정될 수 있다. 이런 방식으로, 음향-광학 심도 스위치(802)는 큰 FOV에 걸쳐 매우 높은 스위칭 속도들을 달성할 수 있다.
[0075] 도 10은 FSD 및/또는 커플링 광학기구에 대한 필요 없이, 음향-광학 디바이스를 스캐너 및 스위치로서 사용하는 접근법을 예시한다. 여기서, 아키텍처(1000)는 AOS(acousto-optical scanner)(1002) 및 FSD(520) 결여를 제외하고, 도 8에 예시된 아키텍처와 유사하다. 동작 시, 디스플레이 회로(510)로부터의 이미지 신호는 AOS(1002) 내로 직접 입력된다. 그 다음으로, AOS(1002)는 위에서 논의된 것들과 같은 음향-광학 접근법들을 사용하여 상이한 심도 평면들 상으로 광을 변조하여 편향시킬 수 있다.
[0076] 도 11은 일부 실시예들에 따른 AOS(acousto-optical scanner)(1002) 및 DOE 어셈블리(530)의 내부 아키텍처(1100)를 예시한다. 예시된 바와 같이, 디스플레이 회로(510)(도 5)로부터의 입력 광/신호(902)는 먼저 커플러(1114)와 인터페이스할 수 있고, 커플러(1114)는 광학 커플러, 이를테면 프리즘일 수 있다. 커플러(1114)는 기판(1108) 상에 광을 안내하기 위하여 내부 전반사를 사용하는 도파관(1110)으로 광을 지향시킨다. 위에서 논의된 접근법들과 대조하여, 도 11의 AO 변조기(1106)는 2개의 트랜스듀서들을 가진다. 수직 트랜스듀서(1120)는 위에서 논의되었고, 그리고 광이 상이한 각도들로 DOE 어셈블리(530) 쪽으로 편향하게 하는 수직 표면 탄성파들(1118)을 일반적으로 생성한다.
[0077] 수평 트랜스듀서(1116)는, 일부 실시예들에서, 수직 트랜스듀서(1120)에 직교하여 정렬될 수 있다. 수평 트랜스듀서는 수평 표면 탄성파들(1112)을 생성하도록 구현된다. (AO 변조기에 관련하여) 입력 광을 수직으로 편향시키는 수직 표면 탄성파들(1118) 같이, 수평 표면 탄성파들은 또한 메커니즘들, 이를테면 브래그 회절을 사용하여 도파관 내에서 단지 수평으로만 광을 편향시킬 수 있다. 따라서 구현된 바와 같이, AO 변조기(1106)는 수평 및 수직 방향들 둘 모두에서 입력 광을 제어할 수 있다. 예컨대, 이미지 출력(1150)을 참조하여, DP2에 디스플레이될 이미지는 땅에 뿌리가 내려진 나무이다. 이미지를 스캔하기 위한 빔을 수평으로(1152) 지향시키기 위하여, 수평 트랜스듀서는 주파수 및 이에 따라서 광의 수평 편향을 제어함으로써 수평 표면 탄성파들을 변조할 수 있다. 마찬가지로, 이미지 출력을 수직으로(1154) 스캔하기 위하여, 수직 트랜스듀서(1120)는 주파수 및 이에 따라서 광의 수직 편향을 제어함으로써 수직 표면 탄성파들(1118)을 변조시킬 수 있다.
[0078] 도 12는 일부 실시예들에 따른, 하이브리드 AOS 유닛(1202)의 수평 AO 변조기 및 수직 AO 변조기를 사용하여 광을 편향시키기 위한 AOS 아키텍처(1200)를 도시한다. 수평 AO 변조기(1204)는 수평으로 편향되거나 시프트되는 광(1222)을 생성하기 위하여 사용될 수 있는, 커플러, 기판, 도파관, 및 수평 트랜스듀서(예컨대, 수평 트랜스듀서(1116))를 포함할 수 있다. 그 다음으로, 수평으로 편향된 광은 수직 AO 변조기(1206)로 입력될 수 있다. 수직 AO 변조기는 광을 수직으로(1224) 편향시키는 수직 표면 탄성파들을 생성하는, 커플러, 기판, 도파관 및 수직 트랜스듀서(예컨대, 수직 트랜스듀서(1120))를 포함할 수 있다. 따라서, 하나의 결합된 수직/수평 AO 변조기(예컨대, 도 11의 1106) 대신, 2개의 변조기들(1204, 1206)은 개별 유닛들이고 각각의 개별 유닛은 그 자신의 기판, 커플러, 및 도파관을 가질 수 있지만 직교 트랜스듀서들을 가지지 않을 수 있다.
[0079] 도 13은 일부 실시예들에 따른, (하이브리드 AOS 유닛(1310)의) 업라이트 변조기 및 직교 변조기를 사용하여 광을 편향시키기 위한 AOS 아키텍처(1300)를 도시한다. 여기서, 업라이트 변조기(1320)는 도 9에 예시된 AO 변조기(952)처럼 구성된다. 즉, 업라이트 변조기(1320)는 (변조기에 관련하여) 상향/하향으로 광을 편향시킬 수 있다. 수직 입력 광(1304)이 업라이트 변조기(1320)로 입력될 때, 이는 이미지(이를테면, 수직 방향(1154)으로 출력되는 이미지(1150))를 스캔하기 위하여 수직 방향으로 편향된다.
[0080] 직교 AO 변조기(1322)는 또한 도 9에 예시된 AO 변조기(952)처럼 구성된다. 그러나, 직교 AO 변조기는, 업라이트 변조기(1320)에 직교하도록 90도 회전될 수 있다. 이런 방식으로, 직교 AO 변조기(1322)는 브래그 회절을 사용함이 없이, 수평 방향(1152)으로 이미지를 스캔하기 위하여 수평 입력 광(1302)을 편향시킨다. 직교 변조기들이 여기에서 예로서 예시되지만, 당업자는, 상이한 각도들로 정렬된 하나 또는 그 초과의 AO 변조기들이 전체 이미지 스캔들을 달성하기 위하여 유사하게 구현될 수 있다는 것을 인식한다. 예컨대, 3개의 AO 변조기 구현에서, 제 1 AO 변조기는 0 도로 정렬될 수 있고, (제 1 AO 변조기에 관련하여) 45도로 배향되는 제 2 AO 변조기로 광을 입력시킬 수 있고, 제 2 AO 변조기는 (제 1 AO 변조기에 관련하여) 90 도로 배향되는 제 3 AO 변조기로 광을 입력시킬 수 있다. 이런 방식으로, 하나 또는 그 초과의 중간 변조기들은 하나의 단계에서 0 도로부터 90 도로 진행하는 대신 각도들을 더 느리게 변화시킬 수 있다.
[0081] 일부 실시예들에서, 하나의 기판을 가지는 것이 바람직할 수 있지만, 그 직교 표면들 중 2개가 활용된다. 예컨대, 기판의 상단 면은 제 1 커플러, 도파관, 및 트랜스듀서를 구현할 수 있다. 기판의 측면 상에 있는 동안, 제 2 커플러, 도파관 및 트랜스듀서가 구현된다. 동작 시, 이런 실시예는 도 13에 예시된 업라이트 및 직교 변조기들과 유사하게 기능하지만 제 2 기판 및/또는 AO 변조기 유닛에 대한 필요가 없다.
[0082] 도 14는 일부 실시예들에 따른, 하이브리드 FSD/AOS 모듈을 구현하기 위한 아키텍처(1400)를 예시한다. 여기서, 하이브리드 FSD/AOS 모듈(1402)은 구조적으로 도 8의 FSD(520) 및 ADS(802)와 유사하다. 그러나, 도 14에 예시된 접근법에서, AOS 컴포넌트는 상보적인 스캐너/생성기 및 스위치로서 사용된다. 도 15는 이 실시예에 따른 AOS 변조기(1550)의 내부 아키텍처(1500)를 도시한다. 이런 접근법에서, FSD(예컨대, FSD(520))는 특정 해상도로 디스플레이될 이미지를 생성하고, 그 이미지는 1504로 예시된 바와 같이 FSD로부터 입력된다. 예컨대, 이미지 출력(1530)을 참조하여, FSD들은 일반적으로 제한된 해상도를 가지며 특정 간격들의 스월을 따라 광을 출력시킬 수 있다. 즉, 이미지 출력(1530)의 스월(1510)은, FSD가 광을 투사할 수 있는 포인트들을 표현한다. 스월 간의 원형 포인트들(1512)은 FSD의 해상도를 넘는다. 그러나, FSD가 스월 간의 원형 포인트들에 도달할 수 없더라도, AO 모듈은 가능할 수 있다. 이런 접근법에서, 하이브리드 FSD/AOS 컴포넌트는 수평 및 수직 변조기들 둘 모두를 가지는 AO 변조기(1550)를 특징으로 하여, FSD가 목표로 하거나 도달할 수 없는 이미지 포인트들을 더 미세하게 생성할 수 있다. 일부 실시예들에 따라, "주" 이미지 포인트들은 먼저 FSD(예컨대, FSD 스월(1510)를 따르는 포인트들)에 의해 생성될 수 있는 반면, 그 다음으로 보조/상보 이미지 포인트들은 FSD의 해상도를 넘어 놓이는 포인트들을 "채우기" 위하여 AO 변조기(1550)에 의해 생성된다.
[0083] 도 16a는 일부 실시예들에 따른, ADS(acousto-optical depth switch)를 사용하여 광을 투사하기 위한 접근법에 대한 흐름도(1600)를 도시한다. 1602에서, 이미지 생성기, 이를테면 레이저들, LED들, 또는 LCD는 일련의 이미지들을 포함하는 이미지 광을 생성한다. 일련의 이미지들의 이미지들의 비디오 시퀀스일 수 있고, 여기서 일련의 이미지들 내의 각각의 이미지는 상이한 거리들에 있는 객체들을 묘사한다. 예컨대, 일련의 이미지들의 제 1 부분은 뷰어(예컨대, 가상 현실 또는 증강 현실 헤드셋을 착용한 뷰어)에게 더 가깝게 있는 제 1 심도 평면에서의 모든 객체들을 포함할 수 있다. 마찬가지로, 일련의 이미지들의 다른 부분들은 상이한 거리들에 있는 객체들을 포함할 수 있다. 예시적인 실시예에서, 6개의 심도 평면들이 구현되고, 심도 평면들 각각은 뷰어로부터의 6개의 거리들에 대응한다. 일부 실시예들에서, 6개 중 제 1 심도 평면은 3 미터 또는 더 가까운 거리에 대응하고, 제 6 심도 평면은 광학 무한대 또는 그렇지 않으면 매우 큰 거리에 대응한다.
[0084] 1604에서, 광 생성기에 의해 생성된 이미지 광은 일정 각도에 걸쳐 작동하는 FSD로 입력된다. 일부 실시예들에 따라, FSD는 1606에 도시된 바와 같이 음향-광학 심도 스위치 커플링 광학기구 상으로 광을 투사하기 위하여 사용된다. 커플링 광학기구, 이를테면 프리즘은 기판을 따라 도파관 상으로 이미지 광을 지향시킬 수 있다. 음향-광학 심도 스위치 내의 트랜스듀서는 기판 표면상에 표면 탄성파들을 생성하기 위하여 상이한 주파수들로 진동할 수 있다. 위에서 설명된 바와 같이, 상이한 주파수들의 표면 탄성파들은 이미지 광을 상이한 각도들로 편향시킨다.
[0085] 1608에서, 트랜스듀서는 이미지 광을 상이한 광학 엘리먼트들, 이를테면 회절 광학 엘리먼트들 상으로 편향시키기 위하여 상이한 주파수들의 SAW들을 생성하도록 트랜스듀서에게 명령하는 명령들을 로직 모듈로부터 수신할 수 있다.
[0086] 도 16b는 일부 실시예들에 따른, 상이한 주파수들에서 광을 편향시키기 위하여 음향-광학 심도 스위치를 사용하기 위한 흐름도(1609)를 예시한다. 일부 실시예들에서, 이미지 광은 상이한 심도 평면들에 대한 광 부분들로의 시퀀스들일 수 있다. 예컨대, 제 1 리딩 부분은 뷰어에 가장 가까운 것으로 도시되는 객체들을 포함할 수 있다. 제 2 부분은 뷰어에 대해 중간 거리에 도시되는 객체들을 포함할 수 있다. 제 3 부분은 뷰어로부터 가장 먼 거리에 도시되는 객체들을 포함할 수 있다. 로직 모듈은 1610에 도시된 바와 같이 제 1 주파수를 사용하여 제 1 부분을 제 1 광학 엘리먼트로, 1612에 도시된 바와 같이 제 2 주파수를 사용하여 제 2 부분을 제 2 광학 엘리먼트로, 그리고 1613에 도시된 바와 같이 제 3 주파수를 사용하여 제 3 부분을 제 3 광학 엘리먼트로 편향시키기 위하여 교번 방식으로 상이한 주파수들의 SAW들을 생성하도록 트랜스듀서에게 지시할 수 있다. 비록 단지 3개의 심도 평면들 및 주파수들이 여기서 예로서 논의되지만, 다른 수들의 심도 평면들(예컨대, 6개) 및 대응하는 주파수들이 마찬가지로 구현될 수 있다.
[0087] 도 16c는 일부 실시예들에 따른, 직교하게 배향된 트랜스듀서들을 사용하여 광을 직교 방향들로 투사하기 위한 접근법에 대한 흐름도(1614)를 도시한다. 1616에서, 수평 SAW들은 수평 트랜스듀서를 사용하여 생성된다. 수평 SAW들은 브래그 회절을 사용하여 수평 방향을 따라 광학 엘리먼트 상으로 광을 편향시키거나 래스터링할 수 있다. 1618에서, 수직 SAW들은 수직 트랜스듀서를 사용하여 생성된다. 수직 SAW들은 굴절 및 회절을 사용하여 수직 방향을 따라 광학 엘리먼트 상으로 광을 편향시키거나 래스터링할 수 있다.
[0088] 도 17은 일부 실시예들에 따른, 광 프로젝터 및 로직 모듈 양상들을 구현하기에 적절한 예시적인 컴퓨팅 시스템(1700)의 블록 다이어그램이다. 컴퓨터 시스템(1700)은, 서브시스템들 및 디바이스들, 이를테면 프로세서(1707), 시스템 메모리(1708)(예컨대, RAM), 정적 스토리지 디바이스(1709)(예컨대, ROM), 디스크 드라이브(1710)(예컨대, 자기 또는 광학), 통신 인터페이스(1714)(예컨대, 모뎀 또는 이더넷 카드), 디스플레이(1711)(예컨대, CRT 또는 LCD), 입력 디바이스(1712)(예컨대, 키보드), 및 커서 제어부를 상호연결하는, 정보를 통신하기 위한 버스(1706) 또는 다른 통신 메커니즘을 포함한다.
[0089] 본 발명의 일 실시예에 따라, 컴퓨터 시스템(1700)은 시스템 메모리(1708)에 포함된 하나 또는 그 초과의 명령들의 하나 또는 그 초과의 시퀀스들을 실행하는 프로세서(1707)에 의해 특정 동작들을 수행한다. 그런 명령들은 다른 컴퓨터 판독가능/사용가능 매체, 이를테면 정적 스토리지 디바이스(1709) 또는 디스크 드라이브(1710)로부터 시스템 메모리(1708)로 판독될 수 있다. 대안적인 실시예들에서, 하드-와이어 회로가 본 발명을 구현하기 위한 소프트웨어 명령들 대신 또는 조합하여 사용될 수 있다. 따라서, 본 발명의 실시예들은 하드웨어 회로 및/또는 소프트웨어의 임의의 특정 조합으로 제한되지 않는다. 일 실시예에서, "로직"이라는 용어는 본 발명의 모두 또는 일부를 구현하기 위하여 사용되는 소프트웨어 또는 하드웨어의 임의의 조합을 의미할 것이다.
[0090] 용어 임시적인 실시예들에서, 하드-와이어 회로는 실행을 위해 프로세서(1707)에 명령들을 제공하는데 참여하는 임의의 매체를 지칭하는 대신에 사용될 수 있다. 그런 매체는 비휘발성 매체들 및 휘발성 매체들을 포함하는(그러나 이로 제한되지 않음) 많은 형태들을 취할 수 있다. 비휘발성 매체들은 예컨대 광학 또는 자기 디스크들, 이를테면 디스크 드라이브(1710)를 포함한다. 휘발성 매체들은 동적 메모리, 이를테면 시스템 메모리(1708)를 포함한다. 일부 실시예들에 따라, 데이터베이스(1732)는 데이터 인터페이스(1733")를 사용하여 컴퓨터 판독가능 매체(1731) 상에 액세스될 수 있다.
[0091] 일반적인 형태들의 컴퓨터 판독가능 매체들은 예컨대 플로피 디스크, 플렉서블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 페이퍼 테이프, 홀들의 패턴들을 가지는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체를 포함한다.
[0092] 본 발명의 실시예에서, 본 발명을 실시하기 위한 명령들의 시퀀스들의 실행은 단일 컴퓨터 시스템(1700)에 의해 수행된다. 본 발명의 다른 실시예들에 따라, 통신 링크(1715)(예컨대, LAN, PTSN 또는 무선 네트워크)에 의해 커플링되는 2 또는 그 초과의 컴퓨터 시스템들(1700)은 서로 협력하여 본 발명을 실시하기 위하여 요구되는 명령들의 시퀀스를 수행할 수 있다.
[0093] 컴퓨터 시스템(1700)은 통신 링크(1715) 및 통신 인터페이스(1714)를 통하여 프로그램, 즉 애플리케이션 코드를 비롯하여 메시지들, 데이터 및 명령들을 송신 및 수신할 수 있다. 수신된 프로그램 코드는, 수신될 때, 프로세서(1707)에 의해 실행될 수 있고, 및/또는 추후 실행을 위해 디스크 드라이브(1710), 또는 다른 비휘발성 스토리지에 저장될 수 있다.
[0094] 전술한 설명에서, 본 발명이 이들의 특정 실시예들을 참조하여 설명되었다. 그러나, 다양한 수정들 및 변화들이 본 발명의 더 넓은 사상 및 범위에서 벗어나지 않고 본 발명에 대해 이루어질 수 있다는 것이 명백할 것이다. 예컨대, 위에서 설명된 프로세스 흐름들은 프로세스 동작들의 특정 순서를 참조하여 설명된다. 그러나, 설명된 프로세스 동작들 중 많은 동작들의 순서가 본 발명의 범위 또는 동작에 영향을 주지 않고 변경될 수 있다. 따라서, 명세서 및 도면들은 제한적 의미보다 오히려 예시로 고려된다.

Claims (20)

  1. 광을 투사하기 위한 시스템으로서,
    일련의 이미지들에 대응하는 이미지 광을 생성하는 광 생성기;
    상기 광 생성기에 의해 생성된 상기 이미지 광을 수신하는 디스플레이 디바이스; 및
    음향-광학 스캐너(acousto-optical scanner)
    를 포함하고,
    상기 디스플레이 디바이스는 상기 이미지 광을 상기 음향-광학 스캐너 상으로 편향시키고 상기 음향-광학 스캐너는 상기 이미지 광의 부분들을 복수의 회절 광학 엘리먼트들 상으로 편향시키고, 상기 복수의 회절 광학 엘리먼트들 각각은 상기 일련의 이미지들의 상이한 심도 평면에 대응하고,
    상기 음향-광학 스캐너는 상기 이미지 광의 부분들을 제 1 방향으로 편향시키기 위해 제 1 표면 탄성파들을 생성하도록 구성되고,
    상기 음향-광학 스캐너는 상기 이미지 광의 부분들을 제 2 방향으로 편향시키기 위해 제 2 표면 탄성파들을 생성하도록 구성되고,
    상기 음향-광학 스캐너는 제 1 트랜스듀서, 제 2 트랜스듀서, 및 제 3 트랜스듀서를 포함하고, 상기 제 2 트랜스듀서는 상기 제 1 트랜스듀서에 대하여 45 도로 배향되고, 상기 제 3 트랜스듀서는 상기 제 1 트랜스듀서에 대하여 90 도로 배향되는,
    광을 투사하기 위한 시스템.
  2. 제 1 항에 있어서,
    상기 이미지 광은 수직 이미지 광 및 수평 이미지 광을 포함하고,
    상기 음향-광학 스캐너는 상기 수직 이미지 광을 제 1 방향으로 편향시키기 위해 상기 제 1 표면 탄성파들을 생성하도록 구성되고,
    상기 음향-광학 스캐너는 상기 수평 이미지 광을 제 2 방향으로 편향시키기 위해 상기 제 2 표면 탄성파들을 생성하도록 구성되는,
    광을 투사하기 위한 시스템.
  3. 삭제
  4. 제 2 항에 있어서,
    상기 제 1 트랜스듀서는 상기 제 2 트랜스듀서에 직교하는,
    광을 투사하기 위한 시스템.
  5. 제 2 항에 있어서,
    상기 제 1 트랜스듀서는 상기 제 1 표면 탄성파들을 생성하도록 구성되는,
    광을 투사하기 위한 시스템.
  6. 제 2 항에 있어서,
    상기 제 2 트랜스듀서는 상기 제 2 표면 탄성파들을 생성하도록 구성되는,
    광을 투사하기 위한 시스템.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 디스플레이 디바이스는 파이버 스캐닝 디바이스인,
    광을 투사하기 위한 시스템.
  9. 제 8 항에 있어서,
    상기 음향-광학 스캐너는 적어도 상기 파이버 스캐닝 디바이스의 속도만큼 빠른 속도로 동작하도록 구성되는,
    광을 투사하기 위한 시스템.
  10. 제 1 항에 있어서,
    상기 이미지 광을 상기 복수의 회절 광학 엘리먼트들 상으로 지향시키도록 구성된 커플링 광학기구를 더 포함하는,
    광을 투사하기 위한 시스템.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020237020639A 2014-12-29 2015-12-29 음향-광학 제어 디바이스를 사용하는 광 프로젝터 KR102664868B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462097563P 2014-12-29 2014-12-29
US62/097,563 2014-12-29
KR1020227021702A KR102547307B1 (ko) 2014-12-29 2015-12-29 음향-광학 제어 디바이스를 사용하는 광 프로젝터
PCT/US2015/067957 WO2016109599A1 (en) 2014-12-29 2015-12-29 Light projector using an acousto-optical control device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227021702A Division KR102547307B1 (ko) 2014-12-29 2015-12-29 음향-광학 제어 디바이스를 사용하는 광 프로젝터

Publications (2)

Publication Number Publication Date
KR20230093374A KR20230093374A (ko) 2023-06-27
KR102664868B1 true KR102664868B1 (ko) 2024-05-10

Family

ID=56285016

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020227021702A KR102547307B1 (ko) 2014-12-29 2015-12-29 음향-광학 제어 디바이스를 사용하는 광 프로젝터
KR1020237020639A KR102664868B1 (ko) 2014-12-29 2015-12-29 음향-광학 제어 디바이스를 사용하는 광 프로젝터
KR1020177021380A KR102270055B1 (ko) 2014-12-29 2015-12-29 음향-광학 제어 디바이스를 사용하는 광 프로젝터
KR1020217019174A KR102414644B1 (ko) 2014-12-29 2015-12-29 음향-광학 제어 디바이스를 사용하는 광 프로젝터

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020227021702A KR102547307B1 (ko) 2014-12-29 2015-12-29 음향-광학 제어 디바이스를 사용하는 광 프로젝터

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020177021380A KR102270055B1 (ko) 2014-12-29 2015-12-29 음향-광학 제어 디바이스를 사용하는 광 프로젝터
KR1020217019174A KR102414644B1 (ko) 2014-12-29 2015-12-29 음향-광학 제어 디바이스를 사용하는 광 프로젝터

Country Status (10)

Country Link
US (4) US10015477B2 (ko)
EP (3) EP4231637A3 (ko)
JP (3) JP6738336B2 (ko)
KR (4) KR102547307B1 (ko)
CN (2) CN107110479B (ko)
AU (1) AU2015374071B2 (ko)
CA (2) CA2971613C (ko)
IL (4) IL289705B2 (ko)
NZ (3) NZ733965A (ko)
WO (1) WO2016109599A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9674510B2 (en) * 2012-11-21 2017-06-06 Elwha Llc Pulsed projection system for 3D video
EP3234920A4 (en) 2014-12-23 2017-10-25 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
US20160343173A1 (en) * 2015-05-20 2016-11-24 Daqri, Llc Acousto-optical display for augmented reality
WO2018140939A1 (en) 2017-01-30 2018-08-02 The Charles Stark Draper Laboratory, Inc. Electro-holographic light field generators and displays
US11243450B2 (en) * 2017-01-30 2022-02-08 The Charles Stark Draper Laboratory, Inc. Saw modulator having optical power component for extended angular redirection of light
US10534185B1 (en) * 2017-02-14 2020-01-14 Facebook Technologies, Llc Multi-planar display with waveguide and lens stacks
US10739665B2 (en) * 2017-04-17 2020-08-11 Brigham Young University Structures for modifying leaky mode light
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US12013538B2 (en) 2017-07-03 2024-06-18 Holovisions LLC Augmented reality (AR) eyewear with a section of a fresnel reflector comprising individually-adjustable transmissive-reflective optical elements
US10895746B1 (en) 2017-08-07 2021-01-19 Facebook Technologies, Llc Expanding field-of-view in direct projection augmented reality and virtual reality systems
US10534209B1 (en) 2017-08-21 2020-01-14 Facebook Technologies, Llc Liquid crystal structure for controlling brightness uniformity in a waveguide display
FI129586B (en) * 2017-12-22 2022-05-13 Dispelix Oy Waveguide display element with many pupils and display device
FI128044B (en) * 2017-12-22 2019-08-30 Dispelix Oy Laser projector and diffractive display device
US10156770B1 (en) * 2018-02-08 2018-12-18 The Charles Stark Draper Laboratory, Inc. Packaging and interconnect systems for edge-emitting light modulators based on surface acoustic wave (SAW) modulation
US10613332B1 (en) 2018-02-15 2020-04-07 Facebook Technologies, Llc Near-eye display assembly with enhanced display resolution
WO2019195174A1 (en) * 2018-04-02 2019-10-10 Magic Leap, Inc. Waveguides with integrated optical elements and methods of making the same
EP4215254A1 (en) * 2018-08-28 2023-07-26 Magic Leap, Inc. Dynamic incoupling gratings in imaging systems
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
JP2020064096A (ja) * 2018-10-15 2020-04-23 ソニー株式会社 画像表示装置、頭部装着型ディスプレイ、画像表示装置の製造方法、及び画像表示装置の調整方法
US11457804B1 (en) * 2019-05-02 2022-10-04 Amazon Technologies, Inc. System for monitoring vision changes
JP7406622B2 (ja) 2019-08-21 2023-12-27 マジック リープ, インコーポレイテッド 高屈折率材料を使用した平坦スペクトル応答格子

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2249845A (en) * 1990-11-09 1992-05-20 Marconi Gec Ltd Acousto-optic device
JP2005506555A (ja) * 2000-11-03 2005-03-03 アクチュアリティー システムズ, インク. 3次元表示システム
US20090316116A1 (en) * 2008-05-19 2009-12-24 University Of Washington Uw Techtransfer - Invention Licensing Scanning laser projection display for small handheld devices
WO2010116726A1 (ja) * 2009-04-09 2010-10-14 パナソニック株式会社 ビーム走査型表示装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3851951A (en) 1974-01-16 1974-12-03 Isomet Corp High resolution laser beam recorder with self-focusing acousto-optic scanner
JPS61213832A (ja) * 1985-03-19 1986-09-22 Nippon Sheet Glass Co Ltd 光偏向器
US5903397A (en) 1998-05-04 1999-05-11 University Of Washington Display with multi-surface eyepiece
US6563105B2 (en) * 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
IL140309A0 (en) * 2000-12-14 2002-02-10 Yeda Res & Dev Acousto-optic scanner with fast non-linear scan
WO2002059691A2 (en) * 2000-12-18 2002-08-01 Alan Sullivan 3d display devices with transient light scattering shutters
JP4531740B2 (ja) * 2006-12-15 2010-08-25 富士通株式会社 コヒーレント光受信機
US8149265B2 (en) * 2007-08-11 2012-04-03 Massachusetts Institute Of Technology Holographic video display system
CN101505389B (zh) * 2009-02-13 2011-10-12 深圳市纳宇电子有限公司 激光投影显示装置及实现方法
CN101814694B (zh) * 2010-04-28 2011-07-20 天津奇谱光电技术有限公司 可调谐激光器
KR101826744B1 (ko) 2011-08-24 2018-02-07 삼성전자주식회사 나노 구조를 갖는 음향광학 소자, 및 상기 음향광학 소자를 이용한 광스캐너, 광 변조기 및 디스플레이 장치
KR101826743B1 (ko) 2011-08-25 2018-02-07 삼성전자주식회사 광회절각 음향광학 소자, 및 상기 음향광학 소자를 이용한 광 스캐너, 광 변조기 및 디스플레이 장치
KR102116697B1 (ko) * 2011-11-23 2020-05-29 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
US9442286B2 (en) * 2011-12-22 2016-09-13 Intel Corporation Spaced configuration of acousto-optic deflectors for laser beam scanning of a semiconductor substrate
US9052414B2 (en) * 2012-02-07 2015-06-09 Microsoft Technology Licensing, Llc Virtual image device
CN103562802B (zh) * 2012-04-25 2016-08-17 罗克韦尔柯林斯公司 全息广角显示器
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US10025089B2 (en) * 2012-10-05 2018-07-17 Microsoft Technology Licensing, Llc Backlight for viewing three-dimensional images from a display from variable viewing angles
IL293789B2 (en) * 2013-01-15 2023-08-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
CN203120067U (zh) * 2013-03-30 2013-08-07 广东汉唐量子光电科技有限公司 一种新型激光投影显示装置
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2249845A (en) * 1990-11-09 1992-05-20 Marconi Gec Ltd Acousto-optic device
JP2005506555A (ja) * 2000-11-03 2005-03-03 アクチュアリティー システムズ, インク. 3次元表示システム
US20090316116A1 (en) * 2008-05-19 2009-12-24 University Of Washington Uw Techtransfer - Invention Licensing Scanning laser projection display for small handheld devices
WO2010116726A1 (ja) * 2009-04-09 2010-10-14 パナソニック株式会社 ビーム走査型表示装置

Also Published As

Publication number Publication date
KR20230093374A (ko) 2023-06-27
AU2015374071B2 (en) 2021-05-27
US10237540B2 (en) 2019-03-19
KR102414644B1 (ko) 2022-06-28
US20190166356A1 (en) 2019-05-30
JP6785999B2 (ja) 2020-11-18
IL302657A (en) 2023-07-01
CN113163180B (zh) 2023-03-31
EP3240969B1 (en) 2020-07-15
WO2016109599A1 (en) 2016-07-07
CN107110479A (zh) 2017-08-29
IL283580B (en) 2022-02-01
KR20220093277A (ko) 2022-07-05
KR20170115522A (ko) 2017-10-17
IL253213A0 (en) 2017-08-31
US10015477B2 (en) 2018-07-03
JP7003167B2 (ja) 2022-02-04
US11381804B2 (en) 2022-07-05
NZ759405A (en) 2022-01-28
CN107110479B (zh) 2021-04-20
NZ759399A (en) 2022-01-28
JP6738336B2 (ja) 2020-08-12
IL283580A (en) 2021-07-29
IL289705B1 (en) 2023-06-01
CN113163180A (zh) 2021-07-23
KR102547307B1 (ko) 2023-06-22
KR102270055B1 (ko) 2021-06-25
US20200336731A1 (en) 2020-10-22
JP2020095280A (ja) 2020-06-18
IL302657B2 (en) 2024-07-01
US20180270477A1 (en) 2018-09-20
IL289705B2 (en) 2023-10-01
IL289705A (en) 2022-03-01
JP2020095288A (ja) 2020-06-18
CA3161521C (en) 2024-03-12
CA3161521A1 (en) 2016-07-07
IL253213B (en) 2021-06-30
CA2971613C (en) 2022-07-19
JP2018503871A (ja) 2018-02-08
AU2015374071A1 (en) 2017-08-10
KR20210078584A (ko) 2021-06-28
US10728532B2 (en) 2020-07-28
EP3240969A1 (en) 2017-11-08
EP4231637A2 (en) 2023-08-23
IL302657B1 (en) 2024-03-01
EP3240969A4 (en) 2018-06-13
NZ733965A (en) 2021-07-30
US20160286204A1 (en) 2016-09-29
EP3723367A1 (en) 2020-10-14
EP4231637A3 (en) 2023-11-01
CA2971613A1 (en) 2016-07-07
EP3723367B1 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
KR102664868B1 (ko) 음향-광학 제어 디바이스를 사용하는 광 프로젝터
CN112987307B (zh) 用于在虚拟和增强现实中产生焦平面的方法和系统
WO2020159883A1 (en) Display system having 1-dimensional pixel array with scanning mirror

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant