KR20170015375A - 가상 및 증강 현실의 초점 평면들을 생성하기 위한 방법들 및 시스템 - Google Patents

Abstract

사용자들에게 가상 현실 및 증강 현실 경험들을 제시하기 위한 구성들이 개시된다. 시스템은, 이미지 데이터의 하나 또는 그 초과의 프레임들과 연관된 광을 프로젝팅하기 위한, 이미지 소스에 동작가능하게 커플링된 공간 광 변조기, 및 이미지 데이터의 제 1 프레임이 제 1 심도 평면에 포커싱되고 이미지 데이터의 제 2 프레임이 제 2 심도 평면에 포커싱되도록 프로젝팅된 광의 포커스를 변화시키기 위한 VFE(variable focus element)를 포함할 수 있으며, 제 1 심도 평면과 상기 제 2 심도 평면 간의 거리는 고정된다.

Description

가상 및 증강 현실의 초점 평면들을 생성하기 위한 방법들 및 시스템 {METHODS AND SYSTEM FOR CREATING FOCAL PLANES IN VIRTUAL AND AUGMENTED REALITY}

관련 출원(들)에 대한 상호-참조

[0001] 본 출원은 대리인 도켓 번호 ML 30017.00 하에서 2014년 5월 30일자로 출원된 "METHODS AND SYSTEMS FOR CREATING FOCAL PLANES IN VIRTUAL AND AUGMENTED REALITY"라는 명칭의 미국 가특허 출원 일련 번호 제62/005,834호로부터의 우선권을 주장한다. 본 출원은 대리인 도켓 번호 ML 30016.00 하에서 2014년 5월 30일자로 출원된 "METHODS AND SYSTEMS FOR VIRTUAL AND AUGMENTED REALITY"라는 명칭의 미국 특허 출원 일련 번호 제62/005,807호, 대리인 도켓 번호 ML 30018.00 하에서 2014년 5월 30일자로 또한 출원된 "METHODS AND SYSTEMS FOR DISPLAYING STEREOSCOPY WITH A FREEFORM OPTICAL SYSTEM WITH ADDRESSABLE FOCUS FOR VIRTUAL AND AUGMENTED REALITY"라는 명칭의 미국 가특허 출원 일련 번호 제62/005,865호에 상호-관련된다. 본 출원은 또한, 대리인 도켓 번호 ML 20011.00 하에서 2014년 11월 27일자로 출원된 "VIRTUAL AND AUGMENTED REALITY SYSTEMS AND METHODS"라는 명칭의 미국 특허 출원 일련 번호 제14/555,585호, 대리인 도켓 번호 ML 20012.00 하에서 2015년 1월 30일자로 출원된 "MULTI-FOCAL DISPLAY SYSTEM AND METHOD"라는 명칭의 미국 특허 출원 일련 번호 제14/611,154호 및 대리인 도켓 번호 ML 20013.00 하에서 2015년 1월 30일자로 출원된 "MULTI-FOCAL DISPLAY SYSTEM AND METHOD"라는 명칭의 미국 특허 출원 일련 번호 제14/611,162호에 상호-관련된다.

[0002] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하고, 여기서 이의 디지털적으로 재생된 이미지들 또는 부분들은, 이들이 실제인 것 같거나, 또는 실제로서 인식될 수 있는 방식으로 사용자에게 제공된다. 가상 현실, 또는 "VR" 시나리오는 통상적으로 다른 실제 실세계 시각 입력에 대한 투명성(transparency) 없이 디지털 또는 가상 이미지 정보의 제공을 수반하고; 증강 현실, 또는 "AR" 시나리오는 통상적으로 사용자 주변 실세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 제공을 수반한다. 예컨대, 도 1을 참조하면, 증강 현실 장면(4)이 도시되고 여기서 AR 기술의 사용자는 배경 내 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(concrete platform)(1120)을 특징으로 하는 실세계 공원 같은 장소(6)를 본다.

[0003] 이 아이템들과 더불어, AR 기술의 사용자는 또한, 그가 실세계 플랫폼(1120) 상에 서 있는 로봇 동상(1110) 및 호박 벌의 의인화된 것 같이 보이는 날고 있는 카툰-형 아바타 캐릭터(2)를 "보는" 것을 인식하지만, 이 엘리먼트들(2, 1110)은 실세계에 존재하지 않는다. 알다시피, 인간 시각 인식 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미저리(imagery) 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스러운 느낌, 풍부한 제공을 가능하게 하는 VR 또는 AR 기술을 생성하는 것은 난제이다.

[0004] 도 2a를 참조하면, 입체적 웨어러블 안경(8) 타입 구성들이 개발되었고, 이는 3-차원 시각이 인간 시각 시스템에 의해 인식되도록, 약간 상이한 엘리먼트 제공을 가지는 이미지들을 디스플레이하도록 구성되는 일반적으로 2개의 디스플레이들(10, 12)들을 특징으로 한다. 이러한 구성들은 3 차원들에서 이미지들을 인식하기 위하여 극복하여야 하는 버전스(vergence)와 원근조절(accommodation) 간의 미스매칭으로 인해 많은 사용자들에게 불편하다는 것이 발견되었다. 사실상, 일부 사용자들은 입체적 구성들을 용인할 수 없다. 도 2b는 입체적 디스플레이들을 통해 사용자에게 증강 현실 제공을 위하여 이미지들을 캡처하도록 구성된 2개의 전방-배향 카메라들(16, 18)을 특징으로 하는 다른 쌍의 입체적 웨어러블 안경(14) 타입 구성을 도시한다. 카메라들(16, 18) 및 디스플레이들의 포지션은 일반적으로, 안경(14)이 사용자의 머리에 장착될 때 사용자의 자연스러운 시야(field of view)를 차단한다.

[0005] 도 2c를 참조하면, 증강 현실 구성(20)이 도시되고, 이는 종래의 안경 렌즈들(22)을 또한 홀딩하는 안경 프레임(24)에 커플링된 시각화 모듈(26)을 특징으로 한다. 사용자는 이러한 시스템으로 실세계의 적어도 부분적으로 방해받지 않은 뷰를 볼 수 있으며, 디지털 이미저리가 하나의 눈(단안용 AR 제공을 위하여)에 AR 구성으로 제공될 수 있는 작은 디스플레이(28)를 가진다. 도 2d는 모자 또는 헬멧(30)에 커플링될 수 있는 시각화 모듈(32)을 가지는 구성을 특징으로 한다. 시각화 모듈은 단안용 증강 디지털 이미저리를 작은 디스플레이(34)를 통해 사용자에게 제공하도록 구성될 수 있다. 도 2e는, 시각화 모듈(38)이 이미지들을 캡처하고 그리고 또한 작은 디스플레이(40)를 통해 단안용 증강 디지털 이미저리를 사용자에게 제공하기 위하여 활용될 수 있도록, 안경 커플링과 유사한 방식으로 사용자의 머리에 커플링-가능한 프레임(36)을 포함하는 다른 유사한 구성을 예시한다. 이러한 구성은 예컨대, GoogleGlass(RTM)라는 상표명으로 캘리포니아주 Mountain view의 Google, Inc.로부터 입수가능하다.

[0006] 이 구성들 중 어느 것도 사용자에게 편안하고 최대로 유용할 방식으로 풍부하고, 양안이며, 3-차원 증강 현실 경험을 제공하기에 최적으로 적당하지 않은데, 그 이유는 부분적으로 종래 시스템들이 사용자에게 시각화의 인식을 생성하기 위하여 망막의 광수용체(photoreceptor)들과 뇌와의 이들의 연동을 포함하여, 인간 인식 시스템의 기본 양태들 중 일부를 처리하지 못하기 때문이다.

[0007] 도 3을 참조하면, 인간 눈의 간략화된 단면도(58)가 도시되고, 각막(cornea)(42), 홍채(iris)(44), 수정체(lens) ―또는 "수정체(crystalline lens)"(46), 공막(sclera)(48), 맥락막 층(choroid layer)(50), 황반(macula)(52), 망막(retina)(54), 및 뇌에 대한 시신경 통로(56)를 특징으로 한다. 황반은 망막의 중심이고, 이는 적당한 세부사항(detail)을 보기 위하여 활용된다. 황반의 중심에는, 장면의 가장 미세한 세부사항들을 보기 위하여 활용되고, 그리고 망막의 임의의 다른 부분보다 많은 광수용기(photoreceptor)들(시각 각도당 대략 120개의 추상체(cones))을 포함하는 "중심와(fovea)"로서 지칭되는 망막의 일부가 있다.

[0008] 인간 시각 시스템은 수동 센서 타입의 시스템이 아니고; 환경을 활성적으로 스캔하도록 구성된다. 이미지를 캡처하기 위하여 평상형(flatbed) 스캐너의 사용, 또는 종이로부터 점자(Braille)를 판독하기 위하여 손가락의 사용과 다소 유사한 방식으로, 눈의 광수용기들은, 일정한 상태의 자극에 일정하게 반응하기 보다는 자극의 변화들에 반응하여 동작한다. 따라서, 모션(motion)은 광수용기 정보를 뇌에 제공하도록 (평상형 스캐너로 종이 한 피스를을 가로지르는 선형 스캐너 어레이의 모션, 또는 종이에 각인(imprint)된 점자 단어를 가로지르는 손가락의 모션인 바와 같이) 요구된다.

[0009] 사실상, 눈의 근육들을 마비시키기 위하여 활용된 코브라 독 같은 물질들을 사용하는 실험들은, 인간 피험자가 그의 눈들이 떠져 있는 상태로 포지셔닝되면 눈들의 독-유도 마비로 정적인 장면을 보는 실명을 경험할 것이라는 것을 보여줬다. 다시 말해서, 자극의 변화들 없이, 광수용기들은 뇌에 입력을 제공하지 않고 실명이 경험된다. 이는 정상 인간 눈들이 "미소안운동(microsaccades)이라 칭해지는 왔다갔다, 또는 디더(dither), 좌우 모션으로 이동하는 것으로 관찰되는 적어도 하나의 이유라고 여겨진다.

[0010] 위에서 서술된 바와 같이, 망막의 중심와는 가장 큰 밀도의 광수용기들을 포함한다. 통상적으로 인간들이 그들의 시야 전반에 걸쳐 높은 해상도 시각화 능력들을 가진다고 인식되는 반면, 그들은 일반적으로 실제로, 그들이 중심와로 최근에 캡처된 고해상도 정보의 지속성 메모리와 함께, 거의 일정하게 기계적으로 스위핑되는 작은 고해상도 센터(center)만을 가진다. 다소 유사한 방식으로, 눈의 초점 거리 제어 메커니즘(모양체(ciliary) 이완이 긴장된 모양체 연결 섬유들로 하여금 더 먼 초점 길이들에 대해 수정체를 차츰 평평하게 하는 방식으로 모양 체근들(ciliary muscles)이 수정체에 동작 가능하게 커플링되고; 모양체 수축이 모양체 연결 섬유들을 느슨하게 하고, 이는 수정체가 더 가까운 초점 길이들에 대해 더 둥근 기하구조를 띠게 함)은 타겟된 초점 길이의 근접 사이드 및 먼 사이드 둘 다에 대해 "광학 블러(dioptric blur)"라 칭해지는 것의 작은 양을 주기적으로 유도하도록 대략 1/4 내지 1/2 디옵터(diopter)까지 왔다갔다 디더링한다. 이것은 코스를 지속적으로 보정하고 응시된(fixated) 객체의 망막 이미지를 대략 초점에 맞춰 유지하는 것을 돕는 주기적 네거티브 피드백으로서 뇌의 원근조절 제어 회로들에 의해 활용된다.

[0011] 뇌의 가시화 센터는 또한, 양쪽 안구들 모두 및 그 컴포넌트들의 서로에 대한 모션으로부터 가치 있는 인지 정보를 획득한다. 두 안구들의 서로에 대한 버전스 이동들(즉, 객체를 응시하도록 안구들의 가시선들을 수렴하기 위한 동공들의 서로를 향하는 또는 서로로부터 떨어지는 롤링 이동들)은 안구들의 렌즈들의 포커싱(또는 "원근조절")과 밀접하게 연관된다. 정상 조건들 하에서, 상이한 거리의 객체에 포커싱하기 위해 안구들의 렌즈들의 포커스를 변경하는 것 또는 안구들을 원근조절하는 것은 "원근조절-버전스 반사"로서 알려져 있는 관계 하에서 동일한 거리에 대한 버전스의 매칭 변경을 자동으로 유발할 것이다. 마찬가지로, 정상 조건들 하에서, 버전스의 변경은 원근조절의 매칭 변경을 트리거링할 것이다. (대부분의 통상적인 입체적 AR 또는 VR 구성들도 그러하듯이) 이 반사에 맞서 작업하는 것은 사용자들의 안구 피로, 두통들, 또는 다른 형태들의 불편감을 초래하는 것으로 알려져 있다.

[0012] 안구들을 수용하는(housing) 헤드의 이동은 또한, 객체들의 가시화에 대한 핵심 영향을 갖는다. 인간들은 그들 주위의 세계를 가시화하기 위해 그들의 헤드들을 이동하며; 그들은 종종, 관심대상 객체에 대해 헤드를 재포지셔닝시키고 재지향시키는 상당히 일정한 상태로 있다. 추가로, 대부분의 사람들은 특정한 객체에 포커싱하기 위해 그들의 안구 응시가 센터를 벗어나 약 20도를 초과하여 이동할 필요가 있을 때 그들의 헤드들을 이동시키는 것을 선호한다(즉, 사람들은 전형적으로, "안구의 코너로부터" 물건들을 보는 것을 좋아하지 않는다). 또한, 사람들은 전형적으로, 오디오 신호 캡처를 개선시키고 헤드에 대한 귀들의 기하학적 구조를 활용하기 위해, 사운드들에 관련하여 그들의 헤드들을 스캐닝하거나 또는 이동시킨다. 인간 시각 시스템은 "헤드 모션 시차"로 불리는 것으로부터 강력한 심도 큐들을 획득하고, 이 헤드 모션 시차는 헤드 모션 및 안구 버전스 거리의 함수로써 상이한 거리들의 객체들의 상대 모션에 관련된다. 다시 말해, 사람이 그의 헤드를 좌우로 이동시키고 객체에 대한 응시를 유지하면, 그 객체로부터 더 멀리 떨어진 아이템들은 헤드와 동일한 방향으로 이동할 것이고; 그 객체의 앞에 있는 아이템들은 헤드 모션과 반대로 이동할 것이다. 이들은 물건들이 사람에 대해 환경에서 공간적으로 어디에 있는지에 대한, 아마도 입체시와 같이 강력한 매우 현저한 큐들이다. 물론, 헤드 모션은 또한, 객체들을 둘러보기 위해 활용된다.

[0013] 추가로, 헤드 및 안구 모션은 헤드 회전들 동안에 망막에 대해 이미지 정보를 안정화시키는 "전정안구반사(vestibulo-ocular reflex)"로 조정되며, 따라서 객체 이미지 정보가 망막 상에 거의 센터링된 채로 유지된다. 헤드 회전에 대한 응답으로, 안구들이 반사적으로 그리고 비례해서 반대 방향으로 회전되어, 객체에 대한 안정된 응시가 유지된다. 이 보상 관계의 결과로서, 많은 인간들은 그들의 헤드를 앞뒤로 흔들면서 책을 읽을 수 있다. 흥미롭게도, 거의 고정된 헤드와 동일한 속도로 책이 앞뒤로 보여진다면, 이는 일반적으로 사실이 아닌데, 사람은 이동하는 책을 읽을 수가 없을 것이다. 전정안구반사는 일반적으로 핸드 모션에 대해 발전되지 않은, 헤드 및 안구 모션 조정의 하나이다. 이 패러다임은 증강 현실 시스템들에 중요할 수 있는데, 그 이유는 사용자의 헤드 모션들이 안구 모션들과 비교적 직접적으로 연관될 수 있고, 시스템이 바람직하게는 이 관계와 함께 작업할 준비가 될 것이기 때문이다.

[0014] 정말로, 이들 다양한 관계들이 주어지면, 디지털 콘텐츠(예컨대, 방의 실세계 뷰를 증강시키도록 제시되는 가상 샹들리에 객체와 같은 3-D 콘텐츠; 또는 방의 실세계 뷰를 증강시키도록 제시되는 평면의/평편한 가상 오일 페인팅 객체와 같은 2-D 콘텐츠)를 배치할 때, 객체들의 행동을 제어하기 위한 설계 선택들이 이루어질 수 있다. 예컨대, 2-D 오일 페인팅 객체는 헤드-중심일 수 있고, 이 경우, 객체는 (예컨대, GoogleGlass® 접근법에서와 같이) 사용자의 헤드와 함께 이리저리 이동하며; 또는 객체는 세계-중심일 수 있고, 이 경우, 객체는 마치 객체가 실세계 좌표계의 일부인 것처럼 제시될 수 있으며, 따라서 사용자는 실세계에 대해 객체의 포지션을 이동시키지 않고 그의 헤드 또는 안구들을 이동시킬 수 있다.

[0015] 따라서, 가상 콘텐츠를 증강 현실 시스템으로 제시되는 증강 현실 세계로 배치할 때, 객체가 세계 중심, 바디-중심, 헤드-중심으로서 제시되어야 하는지 또는 안구 중심으로서 제시되어야 하는지 여부에 관한 선택들이 이루어진다. 헤드-중심 접근법들에서, 가상 객체를 둘러싸는 실세계 객체들, 이를 테면, 실세계 벽에 대해 가상 객체의 포지션을 변경하지 않고 사용자가 가상 객체 주위에서 그의 바디, 헤드, 안구들을 이동시킬 수 있도록, 가상 객체는 실세계에서 바른 포지션에 머무른다. 바디-중심 접근법들에서, 가상 엘리먼트는 사용자의 몸통(torso)에 대해 고정될 수 있고, 따라서 사용자는 객체를 이동시키지 않고 그의 헤드 또는 안구들을 이동시킬 수 있지만, 이 가상 엘리먼트는 몸통 이동들에 종속된다. 헤드 중심 접근법들에서, 디스플레이된 객체(및/또는 디스플레이 자체)는 GoogleGlass ®를 참조하여 위에서 설명된 것처럼 헤드 이동들과 함께 이동될 수 있다. 안구-중심 접근법들에서는, 아래에서 설명되는 "포비티드 디스플레이(foveated display)" 구성에서와 같이, 콘텐츠는 안구 포지션의 함수로써 회전된다(slewed around).

[0016] 세계-중심 구성들에 대해, 정확한 헤드 포즈 측정, 정확한 표현, 및/또는 실세계 객체들 및 사용자 주위의 기하학적 구조들의 측정과 같은 입력들, 헤드 포즈의 함수로써 증강 현실 디스플레이에서의 낮은-레이턴시 동적 렌더링, 그리고 일반적으로 낮은-레이턴시 디스플레이를 갖는 것이 바람직할 수 있다.

[0017] 위에서 열거된 U.S. 특허 출원들은, 가상 현실 및 증강 현실 애플리케이션들에서의 다양한 과제들을 다루기 위해 전형적 인간의 시각적 구성과 함께 작업하기 위한 시스템들 및 기술들을 제시한다. 이들 가상 현실 및/또는 증강 현실 시스템들의 설계는, 가상 콘텐츠를 전달할 때의 시스템의 속도, 가상 콘텐츠의 품질, 사용자의 안구 릴리프, 시스템의 사이즈 및 이식성, 및 다른 시스템 및 광학 과제들을 비롯한 많은 과제들을 제시한다.

[0018] 본원에 설명되는 시스템들 및 기술들은 이들 과제들을 다루기 위해 전형적 인간의 시각적 구성과 함께 작업하도록 구성된다.

[0019] 본 발명의 실시예들은, 하나 또는 그 초과의 사용자들에 대한 가상 현실 및/또는 증강 현실 인터렉션을 가능하게 하기 위한 디바이스들, 시스템들 및 방법들에 관한 것이다. 일 양상에서, 가상 콘텐츠를 디스플레이하기 위한 시스템이 개시된다.

[0020] 하나 또는 그 초과의 실시예들에서, 증강 현실 디스플레이 시스템은, 이미지 데이터의 하나 또는 그 초과의 프레임들과 연관된 광을 프로젝팅하기 위한, 이미지 소스에 동작가능하게 커플링된 공간 광 변조기, 및 이미지 데이터의 제 1 프레임이 제 1 심도 평면(depth plane)에 포커싱되고 이미지 데이터의 제 2 프레임이 제 2 심도 평면에 포커싱되도록 프로젝팅된 광의 포커스를 변화시키기 위한 VFE(variable focus element)를 포함하며, 제 1 심도 평면과 제 2 심도 평면 간의 거리는 고정된다.

[0021] 하나 또는 그 초과의 실시예들에서, 제 1 심도 평면은 제 2 심도 평면과 상이하다. 하나 또는 그 초과의 실시예들에서, 공간 광 변조기는 DLP를 포함한다. 하나 또는 그 초과의 실시예들에서, DLP는 360Hz의 전력에서 동작한다. 하나 또는 그 초과의 실시예들에서, VFE는 변형가능한 미러 멤브레인이다.

[0022] 하나 또는 그 초과의 실시예들에서, VFE는 프레임 단위로 포커스를 변화시킨다. 하나 또는 그 초과의 실시예들에서, 공간 광 변조기는 높은 리프레시 레이트 디스플레이이다. 하나 또는 그 초과의 실시예들에서, 제 1 심도 평면 및 제 2 심도 평면은 동시에 인지된다. 하나 또는 그 초과의 실시예들에서, 시스템은 사용자의 안구들로 포커싱된 광을 전달하기 위한, 한 세트의 광학 엘리먼트들을 더 포함한다.

[0023] 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 하나 또는 그 초과의 프레임들은 3차원 장면의 슬라이스들을 포함한다. 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 하나 또는 그 초과의 프레임들은 시간-순차 방식(time-sequential manner)으로 제공된다. 하나 또는 그 초과의 실시예들에서, 증강 현실 디스플레이 시스템은, 이미지 데이터의 하나 또는 그 초과의 프레임들과 연관된 광을 프로젝팅하기 위한 다른 공간 광 변조기를 더 포함한다.

[0024] 하나 또는 그 초과의 실시예들에서, 다른 공간 광 변조기는 LCD를 포함한다. 하나 또는 그 초과의 실시예들에서, 증강 현실 시스템은, 사용자의 안구들의 버전스를 추적하기 위한 원근조절 추적 모듈을 더 포함하며, VFE는 추적된 버전스에 적어도 부분적으로 기반하여 프로젝팅된 광의 포커스를 변화시킨다. 하나 또는 그 초과의 실시예들에서, 제 1 심도 평면은 광학 무한대(optical infinity)에 대응하고, 제 2 심도 평면은 광학 무한대보다 가까운 심도 평면에 대응한다.

[0025] 다른 양상에서, 증강 현실을 디스플레이하는 방법은, 이미지 데이터의 제 1 프레임과 연관된 광을 프로젝팅하는 단계, 제 1 심도 평면에서 이미지 데이터의 제 1 프레임과 연관된 광을 포커싱하는 단계, 이미지 데이터의 제 2 프레임과 연관된 광을 프로젝팅하는 단계, 및 제 2 심도 평면에서 이미지 데이터의 제 2 프레임과 연관된 광을 포커싱하는 단계를 포함하며, 제 1 심도 평면은 제 2 심도 평면과 상이하며, 제 1 심도 평면 및 제 2 심도 평면은, 사용자가 볼 때, 동시에 인지된다.

[0026] 하나 또는 그 초과의 실시예들에서, AR 시스템은, 사용자의 안구의 버전스를 추적하는 단계를 더 포함하며, 광은 추적된 버전스에 적어도 부분적으로 기반하여 포커싱된다. 하나 또는 그 초과의 실시예들에서, 제 1 심도 평면은 z 방향으로 사용자로부터 떨어진 제 1 거리에 대응하고, 제 2 심도 평면은 z 방향으로 사용자로부터 떨어진 제 2 거리에 대응하며, 제 1 심도 평면과 제 2 심도 평면 사이의 갭은 시간에 따라 변하지 않고 유지된다. 하나 또는 그 초과의 실시예들에서, 방법은 이미지 데이터의 제 3 프레임과 관련된 광을 프로젝팅하는 단계, 제 1 심도 평면에 이미지 데이터의 제 3 프레임과 관련된 광을 포커싱하는 단계를 더 포함한다.

[0027] 하나 또는 그 초과의 실시예들에서, 제 1 심도 평면은 광학 무한대에 대응한다. 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 제 1 프레임 및 이미지 데이터의 제 2 프레임은 연속 프레임들이다. 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 제 1 프레임과 이미지 데이터의 제 2 프레임의 포커스는 프레임 단위로(frame-by-frame basis) 변화된다. 하나 또는 그 초과의 실시예들에서, 방법은 사용자의 안구들에 포커싱된 광을 전달하는 단계를 더 포함한다.

[0028] 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 제 1 프레임 및 이미지 데이터의 제 2 프레임은 3차원 장면의 슬라이스들을 포함한다. 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 제 1 프레임 및 이미지 데이터의 제 2 프레임은 시간-순차 방식(time-sequential manner)으로 제공된다. 하나 또는 그 초과의 실시예들에서, 제 1 심도 평면은 광학 무한대에 대응하고, 제 2 심도 평면은 광학 무한대보다 가까운 심도 평면에 대응한다.

[0029] 하나 또는 그 초과의 실시예들에서, 프로젝팅된 광은 가변적 포커스 엘리먼트를 통해 포커싱된다. 하나 또는 그 초과의 실시예들에서, 가변적 포커스 엘리먼트는 변형가능한 멤브레인 미러(deformable membrane mirror)이다.

[0030] 다른 양상에서, 증강 현실 디스플레이 시스템은, 이미지 데이터의 하나 또는 그 초과의 프레임들과 관련된 광을 프로젝팅하기 위해 이미지 소스에 동작가능하게 커플링된 공간 광 변조기, 사용자의 안구들의 포커스를 결정하기 위한 안구 추적 시스템, 및 사용자의 안구들의 포커스에 적어도 부분적으로 기반하여 심도 평면에 이미지 데이터의 하나 또는 그 초과의 프레임들 중 적어도 하나의 프레임을 포커싱하기 위한 한 세트의 광학기에 커플링된 VFE(variable focus element)를 포함한다.

[0031] 하나 또는 그 초과의 실시예들에서, 증강 현실 디스플레이 시스템은, 심도 평면이 프로젝팅되는 거리에 적어도 부분적으로 기반하여 이미지 데이터의 하나 또는 그 초과의 프레임들에 대응하는 하나 또는 그 초과의 가상 객체들을 가변적으로 블러링(blurring)하기 위한 블러링 모듈(blurring module)을 더 포함하며, 하나 또는 그 초과의 가상 객체들은 심도 평면에 비교할 때 상이한 심도에 대응한다. 하나 또는 그 초과의 실시예들에서, 공간 광 변조기는 DLP를 포함한다.

[0032] 하나 또는 그 초과의 실시예들에서, DLP는 대략 120Hz의 전력에서 동작한다. 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 복수의 프레임들은 심도 평면에서 프로젝팅되며, 이미지 데이터의 복수의 프레임들의 프레임들 중 하나의 프레임의 적어도 일부는 블러링된다. 하나 또는 그 초과의 실시예들에서, VFE는 광-굴절 멤브레인 렌즈(opto-refractive membrane lens)를 포함한다.

[0033] 하나 또는 그 초과의 실시예들에서, 공간 광 변조기는 높은 리프레시 레이트 디스플레이(high refresh rate display)이다. 하나 또는 그 초과의 실시예들에서, 증강 현실 디스플레이 시스템은, 사용자의 안구들에 포커싱된 광을 전달하기 위한 한 세트의 광학 엘리먼트들을 더 포함한다. 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 하나 또는 그 초과의 프레임들은 3차원 장면의 슬라이스들을 포함한다.

[0034] 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 하나 또는 그 초과의 프레임은 시간-순차 방식으로 제공된다. 하나 또는 그 초과의 실시예들에서, 결정된 원근조절에 적어도 부분적으로 기반하여 z 방향으로 일정 레인지(a range) 내에서 심도 평면이 이동된다.

[0035] 다른 양상에서, 증강 현실을 디스플레이하는 방법은, 사용자의 안구들의 포커스를 결정하는 단계, 이미지 데이터의 프레임과 관련된 광을 프로젝팅하는 단계, 사용자의 안구들의 결정된 포커스에 적어도 부분적으로 기반하여 심도 평면을 생성하기 위해 이미지 데이터의 프레임과 관련된 광을 포커싱하는 단계, 및 사용자의 안구들의 포커스에서의 변화에 적어도 부분적으로 기반하여 z 방항으로 일정 레인지 내에서 심도 평면을 이동시키는 단계를 포함한다.

[0036] 하나 또는 그 초과의 실시예들에서, 방법은, 심도 평면이 생성되는 거리에 적어도 부분적으로 기반하여 이미지 데이터의 제 1 프레임에서 하나 또는 그 초과의 가상 객체들을 블러링하는 단계를 더 포함하며, 하나 또는 그 초과의 가상 객체들은 심도 평면에 비교할 때 상이한 심도에 대응한다. 하나 또는 그 초과의 실시예들에서, 광은 공간 광 변조기를 통해 프로젝팅된다.

[0037] 하나 또는 그 초과의 실시예들에서, 공간 광 변조기는 DLP를 포함한다. 하나 또는 그 초과의 실시예들에서, DLP는 대략 120Hz의 전력에서 동작한다. 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 복수의 프레임들은 심도 평면에서 프로젝팅되며, 이미지 데이터의 복수의 프레임들의 프레임들 중 하나의 프레임의 적어도 일부는 블러링된다.

[0038] 하나 또는 그 초과의 실시예들에서, 심도 평면은 VFE(variable focus element)를 통해 적어도 부분적으로 생성된다. 하나 또는 그 초과의 실시예들에서, VFE는 광-굴절 멤브레인 렌즈를 포함한다. 하나 또는 그 초과의 실시예들에서, 공간 광 변조기는 높은 리프레시 레이트 디스플레이이다.

[0039] 하나 또는 그 초과의 실시예들에서, 방법은 한 세트의 광학 엘리먼트들을 통해 사용자의 안구들에 광을 전달하는 단계를 더 포함한다. 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 프레임은 적어도, 3-차원 장면의 슬라이스를 포함한다. 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 하나 또는 그 초과의 프레임은 시간-순차 방식으로 제공된다.

[0040] 다른 양상에서, 증강 현실 디스플레이 시스템은, 이미지 데이터의 하나 또는 그 초과의 프레임들과 관련된 광을 프로젝팅하기 위한 이미지 소스에 동작가능하게 커플링된 적어도 하나의 공간 광 변조기, 및 도파관들의 스택을 포함하며, 도파관들의 스택 중 제 1 도파관은 이미지 데이터의 하나 또는 그 초과의 프레임들과 관련된 광을 수신하고, 광이 제 1 심도 평면에서 인지되도록 수신된 광의 적어도 하나의 특성을 변형하도록 구성된 제 1 회절성 광학 엘리먼트를 가지며, 도파관들의 스택 중 제 2 도파관은 이미지 데이터의 하나 또는 그 초과의 프레임들과 관련된 광을 수신하고, 광이 제 2 심도 평면에서 인지되도록 수신된 광의 적어도 하나의 특성을 변형하도록 구성된 제 2 회절성 광학 엘리먼트를 가지며, 제 1 심도 평면은 제 2 심도 평면과 상이하다.

[0041] 하나 또는 그 초과의 실시예들에서, 증강 현실 디스플레이 시스템은, 사용자의 안구들의 원근조절을 결정하기 위한 안구 추적 모듈을 더 포함하며, 도파관들의 스택 중 일 도파관이 사용자의 안구들의 결정된 원근조절에 적어도 부분적으로 기반하여 선택된다.

[0042] 하나 또는 그 초과의 실시예들에서, 공간 광 변조기는 FSD(fiber scanning device)를 포함한다. 하나 또는 그 초과의 실시예들에서, 도파관들의 스택은 6개의 도파관들을 포함한다. 하나 또는 그 초과의 실시예들에서, 증강 현실 디스플레이 시스템은, 적어도 하나의 공간 광 변조기의 제 1 공간 광 변조기, 및 적어도 하나의 공간 광 변조기의 제 2 공간 광 변조기를 더 포함하며, 제 1 도파관은 제 1 공간 광 변조기로부터 광을 수신하고, 제 2 도파관은 제 2 공간 광 변조기로부터 광을 수신한다.

[0043] 하나 또는 그 초과의 실시예들에서, 제 1 심도 평면 및 제 2 심도 평면은 사용자에 의해 동시에 인지된다. 하나 또는 그 초과의 실시예들에서, 적어도 하나의 특징은 광선들이 사용자의 눈에 부딪치는 각도를 포함한다. 하나 또는 그 초과의 실시예들에서, 특징은 광선들을 콜리메이팅(collimating)하는 것에 대응하며, 콜리메이팅된 광선들은 광학 무한대로 인지된다.

[0044] 하나 또는 그 초과의 실시예들에서, 특징은 퍼짐(divergent) 광선들을 전달하는 것에 대응하며, 퍼짐 광선들은 광학 무한대보다 가까운 거리에서 인지된다. 하나 또는 그 초과의 실시예들에서, 적어도 하나의 공간 광 변조기는, 프레임 단위로 광이 프로젝팅되는 도파관들의 스택 중 일 도파관을 변형시킨다. 하나 또는 그 초과의 실시예들에서, 증강 현실 디스플레이 시스템은, 사용자의 안구들에 포커싱된 광을 전달하기 위한 한 세트의 광학 엘리먼트들을 더 포함한다. 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 하나 또는 그 초과의 프레임들은 3차원 장면의 슬라이스들을 포함한다. 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 하나 또는 그 초과의 프레임은 시간-순차 방식으로 제공된다.

[0045] 다른 양상에서, 증강 현실을 디스플레이하는 방법은, 이미지 데이터의 제 1 프레임과 관련된 광을 프로젝팅하는 단계, 도파관들의 스택 중 제 1 도파관에서 이미지 데이터의 제 1 프레임과 관련된 프로젝팅된 광을 수신하는 단계 ―제 1 도파관은 제 1 회절성 광학 엘리먼트를 포함함―, 이미지 데이터의 제 1 프레임과 관련된 프로젝팅된 광을 변형시키는 단계, 및 사용자의 안구에 변형된 광을 전달하는 단계를 포함하며, 이미지 데이터의 제 1 프레임과 관련된 변형된 광은 제 1 심도 평면에서 인지된다.

[0046] 하나 또는 그 초과의 실시예들에서, 방법은 이미지 데이터의 제 2 프레임과 연관된 광을 프로젝팅하는 단계, 도파관들의 스택 중 제 2 도파관에서, 이미지 데이터의 제 2 프레임과 연관된 프로젝팅된 광을 수신하는 단계 ―제 2 도파관은 제 2 회절성 광학 엘리먼트를 포함함―, 이미지 데이터의 제 2 프레임과 연관된 프로젝팅된 광을 변형시키는 단계, 및 사용자의 안구에 변형된 광을 전달하는 단계를 더 포함하며, 이미지 데이터의 제 2 프레임과 연관된 변형된 광은 제 2 심도 평면에서 인지된다.

[0047] 하나 또는 그 초과의 실시예들에서, 제 1 심도 평면은 제 2 심도 평면과 상이하다. 하나 또는 그 초과의 실시예들에서, 제 1 심도 평면 및 제 2 심도 평면은 동시에 인지된다. 하나 또는 그 초과의 실시예들에서, 방법은 사용자의 안구의 버전스를 추적하는 단계, 및 추적된 버전스에 기반하여, 사용자의 안구에 대한 원근조절(accommodation)을 결정하는 단계를 더 포함한다.

[0048] 하나 또는 그 초과의 실시예들에서, 도파관들의 스택 중 제 1 도파관은 결정된 원근조절에 적어도 부분적으로 기반하여 선택된다. 하나 또는 그 초과의 실시예들에서, 도파관들의 스택은 6개의 도파관들을 포함한다. 하나 또는 그 초과의 실시예들에서, 프로젝팅된 광의 변형은 광선(light ray)들이 사용자의 안구에 부딪치는(hit) 각도를 바뀌는 것을 포함한다. 하나 또는 그 초과의 실시예들에서, 프로젝팅된 광의 변형은 광선들을 콜리메이팅(collimating)하는 것을 포함하며, 콜리메이팅된 광선들은 광학 무한대로 인지된다.

[0049] 하나 또는 그 초과의 실시예들에서, 프로젝팅된 광의 변형은 퍼짐(divergent) 광선들을 전달하는 것을 포함하며, 퍼짐 광선들은 광학 무한대보다 가까운 거리에서 인지된다. 하나 또는 그 초과의 실시예들에서, 방법은 프레임 단위로 도파관들의 스택 중 도파관을 선택하는 단계를 더 포함한다. 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 하나 또는 그 초과의 프레임들은 3차원 장면의 슬라이스들을 포함한다. 하나 또는 그 초과의 실시예들에서, 이미지 데이터의 하나 또는 그 초과의 프레임들은 시간-순차 방식으로 제공된다.

[0050] 또 다른 양상에서, VFE(variable focus element)는 부분적 배리어(partial barrier)에 의해 정의된 2개의 절반부들을 포함하는 밀봉된 렌즈 챔버 ―2개의 절반부들 중 제 1 절반부는 제 1 굴절률을 가진 제 1 비혼합 액체(immiscible liquid)를 수용하며, 2개의 절반부들 중 제 2 절반부는 제 2 굴절률을 가진 제 2 비혼합 액체를 수용하며, 제 1 절반부의 제 1 비혼합 액체 및 제 2 절반부의 제 2 비혼합 액체는 밀봉된 렌즈 챔버의 중간에 광학 인터페이스를 형성함―, 제 1 피에조 링에 압력을 인가하면 광학 인터페이스가 변형되도록, 밀봉된 렌즈 챔버의 제 1 절반부에 로케이팅된 제 1 피에조 링, 및 제 2 피에조 링에 압력을 인가하면 광학 인터페이스가 변형되도록, 밀봉된 렌즈 챔버의 제 2 절반부에 로케이팅된 제 2 피에조 링을 포함한다.

[0051] 하나 또는 그 초과의 실시예들에서, 광학 인터페이스는 렌즈로서 기능하고, 광학 인터페이스는 렌즈의 포커스를 변화시키도록 가변적으로 변형된다. 하나 또는 그 초과의 실시예들에서, 밀봉된 렌즈 챔버는 공기가 없다. 하나 또는 그 초과의 실시예들에서, 인가된 압력은 광학 인터페이스의 곡률을 변경시킨다.

[0052] 하나 또는 그 초과의 실시예들에서, 제 1 광학 인터페이스는 제 1 포커스에 대응한다. 하나 또는 그 초과의 실시예들에서, 제 2 광학 인터페이스는 제 2 포커스에 대응한다. 하나 또는 그 초과의 실시예들에서, 제 1 포커스는 제 1 심도 평면을 생성한다. 하나 또는 그 초과의 실시예들에서, 제 2 포커스는 제 2 심도 평면을 생성한다. 하나 또는 그 초과의 실시예들에서, 제 1 비혼합 액체의 볼륨은 일정하게 유지된다. 하나 또는 그 초과의 실시예들에서, 제 2 비혼합 액체의 볼륨은 일정하게 유지된다. 하나 또는 그 초과의 실시예들에서, 압력은 기계적 수단을 통해 인가된다.

[0053] 또 다른 양상에서, VFE(variable focus element)는 링 바인더에 의해 정의된 2개의 절반부들을 포함하는 밀봉된 렌즈 챔버를 포함하며, 2개의 절반부들 중 제 1 절반부는 제 1 굴절률을 가진 제 1 비혼합 액체를 수용하며, 2개의 절반부들 중 제 2 절반부는 제 2 굴절률을 가진 제 2 비혼합 액체를 수용하며, 링 바인더는 제 1 비혼합 액체와 제 2 비혼합 액체 사이의 물리적 배리어를 부분적으로 생성하며, 제 1 절반부의 제 1 비혼합 액체 및 제 2 절반부의 제 2 비혼합 액체는 링 바인더의 중심에서, 밀봉된 렌즈 챔버의 중간에 있는 광학 인터페이스를 형성하며, 따라서 링 바인더상에 압력을 인가하면 광학 인터페이스의 곡률이 변경된다.

[0054] 하나 또는 그 초과의 실시예들에서, 광학 인터페이스는 렌즈로서 기능하고, 광학 인터페이스는 렌즈의 포커스를 변화시키도록 가변적으로 변형된다. 하나 또는 그 초과의 실시예들에서, 밀봉된 렌즈 챔버는 공기가 없다. 하나 또는 그 초과의 실시예들에서, 인가된 압력은 광학 인터페이스의 곡률을 변경시킨다. 하나 또는 그 초과의 실시예들에서, 제 1 광학 인터페이스는 제 1 포커스에 대응한다.

[0055] 하나 또는 그 초과의 실시예들에서, 제 2 광학 인터페이스는 제 2 포커스에 대응한다. 하나 또는 그 초과의 실시예들에서, 제 1 포커스는 제 1 심도 평면을 생성한다. 하나 또는 그 초과의 실시예들에서, 제 2 포커스는 제 2 심도 평면을 생성한다. 하나 또는 그 초과의 실시예들에서, 제 1 비혼합 액체의 볼륨은 일정하게 유지된다. 하나 또는 그 초과의 실시예들에서, 제 2 비혼합 액체의 볼륨은 일정하게 유지된다. 하나 또는 그 초과의 실시예들에서, 압력은 기계적 수단을 통해 인가된다.

[0056] 또 다른 양상에서, 방법은 제 1 굴절률을 갖는 제 1 비혼합 액체 및 제 2 굴절률을 갖는 제 2 비혼합 액체를 포함하는 밀봉 렌즈 챔버를 제공하는 단계, 제 1 비혼합 액체와 제 2 비혼합 액체 사이에 광학 인터페이스를 생성하는 단계, 및 제 1 비혼합 액체와 제 2 비혼합 액체 사이의 광학 인터페이스의 곡률을 변형시키는 단계를 포함한다.

[0057] 하나 또는 그 초과의 실시예들에서, 광학 인터페이스는 렌즈로서 기능하고, 광학 인터페이스는 렌즈의 포커스를 변화시키도록 가변적으로 변형된다. 하나 또는 그 초과의 실시예들에서, 곡률은 밀봉된 렌즈 챔버의 한 절반부 상에 압력을 인가함으로써 변형되며, 절반부는 제 1 비혼합 액체 또는 제 2 비혼합 액체를 수용한다. 하나 또는 그 초과의 실시예들에서, 곡률은 제 1 비혼합 액체와 제 2 비혼합 액체 사이에 부분적 배리어를 형성하는 링 바인더 상에 압력을 인가함으로써 변형된다.

[0058] 하나 또는 그 초과의 실시예들에서, 밀봉된 렌즈 챔버는 공기가 없다. 하나 또는 그 초과의 실시예들에서, 제 1 광학 인터페이스는 제 1 포커스에 대응한다. 하나 또는 그 초과의 실시예들에서, 제 2 광학 인터페이스는 제 2 포커스에 대응한다. 하나 또는 그 초과의 실시예들에서, 제 1 포커스는 제 1 심도 평면을 생성한다.

[0059] 하나 또는 그 초과의 실시예들에서, 제 2 포커스는 제 2 심도 평면을 생성한다. 하나 또는 그 초과의 실시예들에서, 제 1 비혼합 액체의 볼륨은 일정하게 유지된다. 하나 또는 그 초과의 실시예들에서, 제 2 비혼합 액체의 볼륨은 일정하게 유지된다. 하나 또는 그 초과의 실시예들에서, 곡률은 밀봉된 렌즈 챔버의 한 절반부 상에 기계적 수단에 의해 압력을 인가함으로써 변형되며, 절반부는 제 1 비혼합 액체 또는 제 2 비혼합 액체를 수용한다.

[0060] 본 발명의 추가 및 다른 목적들, 특징들 및 장점들은 상세한 설명, 도면들 및 청구범위에서 설명된다.

[0061] 도면들은 본 발명의 다양한 실시예들의 설계 및 유용성을 예시한다. 도면들이 실척대로 도시되지 않으며 유사한 구조들 또는 기능들의 엘리먼트들이 도면들 전반에 걸쳐 동일한 참조 부호들로 표현된다는 것에 주목해야 한다. 본 발명의 다양한 실시예들의 앞서 기술된 장점들과 목적들 및 다른 장점들과 목적들을 달성하는 방법을 보다 잘 인식하기 위하여, 앞서 간략하게 설명된 본 발명들의 더 상세한 설명은 첨부 도면들에서 예시되는 본 발명의 특정 실시예들을 참조로 하여 제시될 것이다. 이들 도면들이 본 발명의 단지 전형적인 실시예들만을 도시하며 따라서 본 발명의 범위를 제한하는 것으로 고려되지 않아야 한다는 점을 이해하면서, 본 발명은 첨부 도면들의 사용을 통해 더 구체적으로 그리고 더 상세히 기술되고 설명될 것이다.
[0062] 도 1은 하나의 예시된 실시예에서 웨어러블 AR(augmented reality) 사용자 디바이스를 통해 AR의 사용자 뷰를 예시한다.
[0063] 도 2a-도 2e는 웨어러블 AR 디바이스들의 다양한 실시예들을 예시한다.
[0064] 도 3은 하나의 예시된 실시예에서 인간 안구의 단면도를 예시한다.
[0065] 도 4a-도 4d는 웨어러블 AR 디바이스의 다양한 내부 프로세싱 컴포넌트들의 하나 또는 그 초과의 실시예들을 예시한다.
[0066] 도 5는 다중-평면형 초점 시스템으로 구성되는 AR(augmented reality) 시스템의 일 실시예의 평면도를 예시한다.
[0067] 도 6은 도 5의 AR 시스템의 일례 구성의 평면도를 예시한다.
[0068] 도 7은 도 5의 AR 시스템의 다수의 심도 평면들의 생성을 위한 예시적 실시예를 예시한다.
[0069] 도 8은 가변적 평면 초점 시스템으로 구성되는 AR 시스템의 일 실시예의 평면도를 예시한다.
[0070] 도 9는 도 8의 AR 시스템의 일례 구성의 평면도를 예시한다.
[0071] 도 10은, 3개의 상이한 심도 평면들로 포커스를 변경할 때의 도 8의 AR 시스템의 평면도들을 예시한다.
[0072] 도 11은 도 8의 AR 시스템에서 단일 심도 평면의 생성의 예시적 실시예를 예시한다.
[0073] 도 12는 하이브리드 AR 시스템의 예시의 구성의 평면도를 예시한다.
[0074] 도 13은 도 11의 AR 시스템에서 2개의 심도 평면들의 생성의 예시적 실시예를 예시한다.
[0075] 도 14는 도파관들의 스택의 일 실시예의 평면도를 예시한다.
[0076] 도 15는 다수의 심도 평면들을 생성하기 위해 도파관들의 스택을 포함하는 AR 시스템의 일 실시예의 평면도를 예시한다.
[0077] 도 16은 단일 또는 다수의 심도 평면들을 생성하기 위해 스택형 PDLC 확산기 어레인지먼트를 포함하는 AR 시스템의 일 실시예의 평면도를 예시한다.
[0078] 도 17은 도 15의 스택형 PDLC 확산기 어레인지먼트를 통해 광 빔의 개구수를 증가시키는 예시적 실시예를 예시한다.
[0079] 도 18은 기계적 습식 렌즈 VFE의 예시적 실시예를 예시한다.
[0080] 도 19는 기계적 습식 렌즈 VFE의 다른 예시적 실시예를 예시한다.

[0081] 이제, 당업자가 본 발명을 실행하게 하기 위해 본 발명의 예시적인 예시들로서 제공되는 다양한 실시예들이 도면들을 참조하여 상세하게 설명될 것이다. 특히, 이하의 도면들 및 예들은 본 발명의 범위를 제한하는 것을 의미하지 않는다. 본 발명의 특정 엘리먼트들이 공지된 컴포넌트들(또는 방법들 또는 프로세스들)을 사용하여 부분적으로 또는 전체적으로 구현될 수 있는 경우, 본 발명의 이해를 위해 필수적인 이들 공지된 컴포넌트들(또는 방법들 또는 프로세스들)의 오직 이들 부분들만이 설명될 것이며, 이러한 공지된 컴포넌트들(또는 방법들 또는 프로세스들)의 다른 부분들의 상세한 설명들은 본 발명을 모호하게 하지 않도록 생략될 것이다. 게다가, 다양한 실시예들은 본 명세서에서 예시에 의해 언급된 컴포넌트들에 대한 현재 알려진 그리고 미래에 알려질 등가물들을 포함한다.

[0082] 가상 및/또는 증강 현실을 생성하기 위한 방법들 및 시스템들이 개시된다. 현실감 있고 즐거운 VR(virtual reality) 또는 AR(augmented reality) 경험을 제공하기 위해, 가상 콘텐츠가 (통상적인 2D 디스플레이들과는 대조적으로) 실세계 심도로부터 발생하거나 또는 현실적으로 위치되는 것으로 인지되도록, 가상 콘텐츠는 사용자로부터 멀리 떨어진 다양한 심도들로 제시되어야만 한다. 이러한 접근방식은, 상이한 심도들에 있는 상이한 객체들을 관찰하기 위해 안구가 포커스를 끊임없이 변경한다는 점에서 실세계의 시력 경험에 가깝게 모방한다. 예컨대, 인간의 안구의 근육들은 가까운 객체에 포커싱하기 위해서는 "조여지고(tighten)", 멀리 떨어진 객체에 포커싱하기 위해서는 "이완(relax)"된다.

[0083] 실제 객체에 가깝게 모방하는 방식으로 가상 콘텐츠를 위치시킴으로써, 사용자의 자연적 생리 반응(예컨대, 상이한 객체들에 대한 상이한 포커스)이 상당히 온전한 상태로 유지되고 이에 의해 더욱 현실적이고 더욱 편안한 관찰 경험을 제공한다. 이는, 고정형 심도 평면상에서 사용자가 가상 콘텐츠를 관찰하도록 강제하는 통상적인 VR 또는 AR 시스템들(예컨대, Google Glass® 또는 Oculus®와 같은 2D 스크린)과는 대조적으로, 사용자로 하여금 실세계의 실제 객체들과 가상 콘텐츠 사이에서 앞뒤를 왔다갔다하도록 강제하여 사용자에게 불편함을 야기한다. 본 출원은, 사용자에 의해 다양한 심도들에서 인지되도록, 3D 가상 콘텐츠를 프로젝팅하기 위한 다양한 AR 시스템 접근법들을 논의한다.

[0084] 도 4a-4d를 참조로, 몇몇 일반적인 구성 옵션들이 예시된다. 도 4a-4d의 논의에 뒤따르는 상세한 설명의 일부분들에서, 인간의 VR 및/또는 AR에 대한 고품질의 편안하게 인식되는 디스플레이 시스템을 제공하는 목적을 다루기 위한 다양한 시스템들, 서브시스템들, 및 컴포넌트들이 제시된다.

[0085] 도 4a에 도시된 바와 같이, AR 시스템 사용자(60)는 사용자의 안구 전방에 포지셔닝된 디스플레이 시스템(62)에 커플링된 프레임(64) 구조체를 착용하는 것으로 도시된다. 스피커(66)는 도시된 구성에서 프레임(64)에 커플링되고 사용자의 외이도(ear canal)에 인접하게 포지셔닝된다(일 실시예에서는 도시되지 않았지만 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/형상조절가능 사운드 제어를 제공한다). 디스플레이(62)는, 이를 테면, 유선 리드(wired lead) 또는 무선 연결성(wireless connectivity)에 의해, 다양한 구성들로 탑재될 수 있는 로컬 프로세싱 및 데이터 모듈(70)에 동작가능하게 커플링(68)되는데, 여기서 다양한 구성들은 이를 테면 프레임(64)에 고정형으로 부착되는 구성, 도 4b의 실시예에 도시된 바와 같이 헬멧 또는 모자(80)에 고정형으로 부착되는 구성, 헤드폰들에 내장되는 구성, 도 4c의 실시예에 도시된 바와 같은 구성(예컨대, 백팩(미도시)에 배치됨)으로 사용자(60)의 몸통(82)에 탈착가능하게 부착되는 구성, 또는 도 4d의 실시예에 도시된 바와 같이 벨트-커플링 스타일 구성으로 사용자(60)의 엉덩이(84)에 탈착가능하게 부착되는 구성을 말한다.

[0086] 로컬 프로세싱 및 데이터 모듈(70)은, 전력-효율적인 프로세서 또는 제어기뿐만 아니라 디지털 메모리, 이를 테면 플래시 메모리를 포함할 수 있는데, 이들 모두는 데이터의 프로세싱, 캐싱, 및 저장을 보조하기 위해 활용될 수 있으며, 상기 데이터는 (a) 프레임(64)에 동작가능하게 커플링될 수 있는 센서들, 이를 테면, (카메라들과 같은) 이미지 캡쳐 디바이스들, 마이크로폰들, 관성 측정 유닛들, 가속도계들, 콤파스들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로들로부터 캡쳐되고, 그리고/또는 (b) 이러한 프로세싱 또는 리트리벌 이후에 디스플레이(62)로의 통과를 위해 가능한 한 원격 프로세싱 모듈(72) 및/또는 원격 데이터 저장소(74)를 사용하여 포착되고 그리고/또는 프로세싱된 것이다. 로컬 프로세싱 및 데이터 모듈(70)은, 예컨대, 유선 또는 무선 통신 링크들을 통해서, 원격 프로세싱 모듈(72) 및 원격 데이터 저장소(74)에 동작가능하게 커플링(76, 78)될 수 있어서, 이러한 원격 모듈들(72, 74)은 서로 동작가능하게 커플링되어 있고 로컬 프로세싱 및 데이터 모듈(70)에 대한 리소스들로서 이용가능하다.

[0087] 일 실시예에서, 원격 프로세싱 모듈(72)은 데이터 및/또는 이미지 정보를 분석하고 프로세싱하도록 구성된 하나 또는 그 초과의 상대적으로 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 일 실시예에서, 원격 데이터 저장소(74)는, "클라우드" 리소스 구성 형태의 인터넷 또는 다른 네트워킹 구성으로 이용가능할 수 있는, 비교적 대규모의 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 모든 데이터는 저장되고 모든 계산은 로컬 프로세싱 및 데이터 모듈에서 수행되어, 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용한다.

[0088] 위에 논의된 바와 같이, 사용자에게 3D 가상 콘텐츠를 제시하기 위해, AR(augmented reality) 시스템은 z 방향으로 다양한 심도들에 가상 콘텐츠를 프로젝팅한다. 다시 말해서, 사용자에게 제시된 가상 콘텐츠는 (대부분 2D 콘텐츠를 갖는 경우에서와 마찬가지로) x 및 y 방향에서만 변경되는 것이 아니라 z 방향에서도 또한 변경될 수 있어서 3D 심도의 인지를 제공한다. 따라서, 사용자는 가상 객체를 매우 가깝게(예컨대, 실제 책상 위에 놓인 가상 책) 또는 무한대 거리에(예컨대, 사용자로부터 매우 먼 거리에 있는 가상 트리) 또는 그 사이의 어떤 거리에 있는 것으로 인식할 수 있다. 또는, 사용자는 상이한 심도 평면들에서 동시에 다수의 객체들을 인지할 수 있다. 예컨대, 사용자는 가상의 드래곤이 무한대에서 나타나 사용자를 향하여 달려오는 것을 볼 수 있다. 다른 실시예에서, 사용자는 사용자로부터 1미터 떨어진 거리에 있는 가상의 새(bird) 및 사용자로부터 팔 길이에 있는 가상의 커피 컵을 동시에 볼 수 있다.

[0089] 다양한 심도의 인지를 생성하는 2개의 메인 방식들: 다중-평면 포커스 시스템 및 가변적인 평면 포커스 시스템이 존재할 수 있다. 다중-평면 포커스 시스템에서, 이 시스템은 사용자로부터 멀리 z 방향으로 고정된 심도 평면들 상에 가상 콘텐츠를 프로젝팅하도록 구성된다. 가변적 평면 포커스 시스템에서, 이 시스템은 하나 또는 그 초과의 심도 평면들을 프로젝팅하지만 z 방향으로 심도 평면(들)을 이동시켜 3D 인지를 생성한다. 하나 또는 그 초과의 실시예들에서, VFE(variable focus element)는 가상 콘텐츠와 연관된 광의 포커스를 변경하는데 사용될 수 있어서 이 광은 특정 심도로부터 오는 것처럼 보인다. 다른 실시예들에서, 상이한 포커스들에 대응하는 하드웨어 컴포넌트들이 전략적으로 채용되어 다수의 심도 평면들의 인지를 생성할 수 있으며, 이에 대해서는 이하에 더욱 상세하게 논의될 것이다. VFE는 프레임 단위로 광의 포커스를 변화시킬 수 있다.

[0090] 이하의 개시내용은, 다중 평면 포커스 및/또는 가변적인 평면 포커스 광학 엘리먼트들을 사용하여 3D 인지를 생성하는 시스템들의 다양한 실시예들을 설명할 것이다. 다른 접근법들은 멀티-평면 포커스 시스템들 및 가변적 평면 포커스 시스템들의 양상들을 결합할 수 있다는 것을 이해해야 한다.

[0091] 먼저 도 5를 참조하면, 다중-평면 포커스 엘리먼트들을 갖는 AR 시스템(500)의 예시적인 실시예가 예시된다. 도 5에 도시된 바와 같이, AR 시스템(500)은 복수의 공간 광 변조기들(504)(예컨대, 예시된 예에서는, 안구마다 하나씩, 2개의 공간 광 변조기들), 2개의 VFE(variable focus element)들(510), 복수의 광학 엘리먼트들(506), 2개의 빔-스플리터들(520), 2개의 접안렌즈 광학 엘리먼트들(508), 이미지-생성 프로세서(502), "GPU(graphical processing unit)"(514), "CPU(central processing unit)"(516) 및 메모리(512)를 포함한다. 다른 실시예들은 더 많은 수의 또는 더 적은 수의 컴포넌트들을 포함할 수 있고, 위에 기재된 컴포넌트들은 단지 예시 목적일 뿐이며, 제한으로 해석되지 않아야 한다고 인식되어야 한다.

[0092] 하나 또는 그 초과의 실시예들에서, 프로세서(502)는 궁극적으로 사용자에게 디스플레이될 가상 콘텐츠를 생성하는 역할을 한다. 이미지 생성 프로세서(502)는 가상 콘텐츠와 연관된 이미지 또는 비디오를 사용자에게 3D로 프로젝팅될 수 있는 포맷으로 변환할 수 있다. 예컨대, 3D 콘텐츠의 생성시, 특정 이미지의 부분들은 특정 심도 평면상에 디스플레이되는 한편, 다른 부분들은 다른 심도 평면들에 디스플레이되도록 가상 콘텐츠가 포맷화될 필요가 있을 수 있다. 프로세서(502)는 이미지들을 슬라이스하여 특정 이미지의 3D 슬라이스들을 제공하도록 구성될 수 있다.

[0093] 예컨대, 사용자에게 제시될 이미지는 배경에 몇 그루의 나무들이 있는 집의 이미지라고 한다. 이미지는 적어도 2개의 심도 평면들(예컨대, 제 1 심도 평면에서 프로젝팅될, 집을 포함하는 이미지의 제 1 슬라이스, 및 제 2 심도 평면에서 프로젝팅될 배경을 포함하는 이미지의 제 2 슬라이스)로 분할될 수 있다. 하나 또는 그 초과의 실시예들에서, 프로세서(502)는 함께 보았을 때 가상 콘텐츠가 사용자의 안구들에 일관되고 편안하게 나타나도록 약간 상이한 이미지들을 우안 및 좌안으로 공급하도록 프로그래밍될 수 있다. 마찬가지로, 많은 다른 이미지 조작들이 수행되어 사용자에게 최적의 시청 경험을 제공할 수 있다.

[0094] 하나 또는 그 초과의 실시예들에서, 프로세서(502)는 이미지를 3D 슬라이스들 또는 프레임 슬라이스들로 슬라이스할 수 있고, 또는 다른 실시예들에서 이미지들은 미리 슬라이스되어 프로세서(502)와 연관된 하나 또는 그 초과의 데이터베이스들에 저장될 수 있다. "슬라이스"라는 용어는 이미지 평면들, 또는 특정 가상 장면의 프레임 슬라이스들을 의미하는데 사용된다고 인식되어야 한다. 다시 말하면, 단일 가상 장면은 복수의 프레임 슬라이스들 또는 평면들을 포함할 수 있다. 프로세서(502)는 CPU(516)로 한 세트의 태스크들을 실행하도록 구성될 수 있다. 프로세서(502)는 한 세트의 표준 컴퓨팅 컴포넌트들, 이를 테면 메모리(512), (도시되지 않은) 하나 또는 그 초과의 데이터베이스들, GPU(graphical processing unit), (도시되지 않은) 배터리 등을 더 포함할 수 있다. GPU(514)는 디스플레이로의 출력을 위한 프레임 버퍼에서 이미지들의 생성을 가속화하기 위해 메모리를 신속하게 조작하고 변경하도록 설계된 특수 전자 회로이다. 함께, 프로세서(502)의 다양한 컴포넌트들은 AR 시스템 (500)이 필요에 따라 다양한 컴퓨팅 태스크들을 수행할 수 있게 한다.

[0095] 프로세서(502)는 한 세트의 추가 전자 컴포넌트들, 이를 테면 마이크로프로세서/마이크로컨트롤러, 배터리, 원격 측정 회로, 모니터링 회로 및 당업자들에게 공지된 다른 적절한 컴포넌트들을 포함할 수 있다. 프로세서(502)는 이미지들, 광학기 및/또는 공간 광 변조기들(504)을 지시하고 제어하기 위해 메모리(512)에 저장된 적절한 프로그램들을 실행할 수 있다.

[0096] 일부 실시예들에서, 프로세서(502)는 웨어러블 AR 시스템의 프레임(예컨대, 도 4a의 프레임(62))에 수용될 수 있다고 인식되어야 한다. 다른 실시예들에서, 이미지 생성 프로세서 및 다른 회로는 웨어러블 광학기에 커플링되는 다른 컴포넌트(예컨대, 도 4d의 벨트 팩)에 수용될 수 있다.

[0097] 도 5에 도시된 바와 같이, 프로세서(502)는 원하는 가상 콘텐츠와 연관된 광을 프로젝팅하는 공간 광 변조기(504)에 동작 가능하게 커플링된다. 예시된 실시예는 사용자의 안구들마다 하나씩, 2개의 공간 광 변조기들을 보여주지만, 다른 실시예들은 2개보다 더 많은 공간 광 변조기들을 포함하는 것으로 고려된다. 또 다른 실시예에서, 단일 공간 광 변조기가 양 안구들 모두에 사용될 수 있다. 위에서 논의된 바와 같이, 일부 실시예들에서, 공간 광 변조기들(504) 각각에는 특정 가상 이미지의 약간 상이한 뷰가 공급될 수 있다. 하나 또는 그 초과의 실시예들에서, 공간 광 변조기(504)는 광 소스에 연결될 수 있으며, 이미지들과 연관된 광을 변조하기 위한 회로를 포함할 수 있다. 공간 광 변조기(504) 또는 디스플레이는 임의의 타입의 광 디스플레이 디바이스를 의미할 수 있다. 예들은 "DLP(Digital Light Processing system)", "DMD(Digital Mircomirror Device)", "LCD(Liquid Crystal Display)", "OLED(Organic Light-Emitting Diode)", "LCOS(Liquid Crystal on Silicon)" 또는 FSD(fiber scanner display)를 포함할 수 있다. AR 시스템의 다양한 실시예들은 예시적인 목적들로 공간 광 변조기(예컨대, DLP, FSD 등)의 타입을 구체적으로 지칭할 수 있지만, 아래 실시예들에서는 임의의 타입의 공간 광 변조기가 사용될 수 있으며, 설명되는 실시예들은 제한으로 이해되지 않아야 한다고 인식되어야 한다.

[0098] 공간 광 변조기의 다양한 양상들(예컨대, 속도, 사이즈, 전력 등)은 시스템이 3D 프로젝션을 달성하는 방법에 영향을 줄 수 있다. 하나 또는 그 초과의 실시예들에서, 공간 광 변조기는 DLP일 수 있다. 하나 또는 그 초과의 실시예들에서는, 공간 광 변조기들의 결합(예컨대, DLP 및 LCD)이 사용될 수 있다. 마찬가지로, 다른 실시예들은 공간 광 변조기로서 FSD들, LCD들, OLED들, LCOS 등을 이용할 수 있다.

[0099] 예시된 실시예에서, 공간 광 변조기(504)는 DLP 및/또는 LCD일 수 있다. 표준 DLP 구성은 MEMS 디바이스 및 디스플레이 또는 사용자를 향한 광 반사 모드와 디스플레이 또는 사용자를 벗어나게, 이를 테면 광 트랩으로의 광 반사 모드 사이를 토글하는 마이크로 미러들의 어레이를 사용한다. 따라서 DLP들은 기본적으로 바이너리이다. DLP들은 일반적으로 펄스 폭 변조 스키마를 사용하여 그레이스케일 이미지를 생성하며, 여기서 미러는 더 밝은 픽셀 또는 중간 밝기의 픽셀을 생성하기 위해 가변 듀티 사이클에 대한 가변적인 양의 시간 동안 "온" 상태로 유지된다.

[0100] 따라서 보통 프레임 레이트로 그레이스케일 이미지들을 생성하기 위해, DLP들은 훨씬 높은 바이너리 레이트로 실행된다. 위에서 설명된 구성들에서, 그러한 셋업은 그레이스케일 마스킹을 생성하는데 적합하다. 그러나 DLP 드라이브 방식이 바이너리 패턴의 서브-이미지들을 플래싱하도록 적응된다면, 프레임 레이트는 ―초당 수천 프레임들로― 상당히 증가될 수 있다. 이는 수백 내지 수천 개의 심도 평면들이 60 프레임들/초로 리프레시될 수 있게 한다.

[0101] Texas Instruments DLP 시스템에 대한 일반적인 펄스 폭 변조 방식은 8-비트 커맨드 신호(첫 번째 비트는 미러의 첫 번째 긴 펄스이고; 두 번째 비트는 첫 번째 비트의 절반 길이인 펄스이며; 세 번째 비트는 또 절반 길이인 등)를 가져 ―구성이 2 내지 8번째의 전력의 서로 다른 조명 레벨들을 생성할 수 있게 된다. 일 실시예에서, DLP로부터의 백라이팅은 생성되는 서브-이미지들의 밝기를 동일하게 하기 위해 DMD의 상이한 펄스들과 동기하여 변화되는 강도를 가질 수 있는데, 이는 기존의 DMD 드라이브 전자 기기가 상당히 더 높은 프레임 레이트들을 발생시킬 수 있게 하는 실용적인 접근 방식이다.

[0102] 다른 실시예에서, DMD 드라이브 전자 기기 및 소프트웨어에 대한 직접 제어 변경들은 종래의 가변 온-타임 구성 대신 미러들이 항상 동일한 온-타임을 갖도록 이용될 수 있으며, 이는 더 높은 프레임 레이트를 가능하게 한다. 다른 실시예에서, DMD 드라이브 전자 기기는 높은 비트 심도 이미지들보다 높지만 바이너리 프레임 레이트보다는 낮은 프레임 레이트로 낮은 비트 심도 이미지들을 제시하도록 구성될 수 있어, 아래 더 설명되는 바와 같이, 포커스 평면들 사이의 어떤 그레이스케일 블렌딩을 가능하게 하는 한편, 포커스 평면들의 수를 적당히 증가시킬 수 있다.

[0103] 한 구현에서, 고-프레임-레이트 및 더 낮은 지속성 디스플레이는 상대적으로 고주파 프레임 순차적 볼륨 디스플레이를 포함하도록 더 낮은-프레임-레이트 및 더 높은 지속성 디스플레이와 결합될 수 있다. 일 실시예에서, 고-프레임-레이트 디스플레이는 더 낮은 비트 심도를 갖고, 더 낮은-프레임-레이트 디스플레이는 더 높은 비트 심도를 갖는다. 이들은 프레임 순차 방식으로 이미지 슬라이스들을 제시하는데 매우 적합한 효과적인 고-프레임-레이트 및 고 비트 심도 디스플레이를 포함하도록 결합될 수 있다. 이러한 접근 방식으로, 바람직하게 표현되는 3-차원 볼륨은 일련의 2-차원 슬라이스들로 기능적으로 분할된다.

[0104] 또는, 백라이트된 강유전성 패널 디스플레이가 또한 다른 실시예에서 이용될 수 있다. 종래의 방식(즉, 풀 사이즈 형광 램프 또는 LED 어레이)으로 LCD 패널의 후면을 조명하는 대신에, DLP 프로젝터를 사용하여 마스크 패턴을 LCD 시스템의 뒷면에 프로젝팅하도록 종래의 조명 구성이 제거될 수 있다(일 실시 예에서, 마스크 패턴은 DLP가 조명 또는 비-조명을 프로젝팅하는 바이너리일 수 있으며; 아래 설명되는 다른 실시예들에서, DLP는 그레이스케일 마스크 이미지를 프로젝팅하는데 이용될 수 있다).

[0105] 도 5에 도시된 바와 같이, AR 시스템(500)은 또한 공간 광 변조기(504)에 의해 생성된 광의 포커스를 변화시키도록 구성되는 VFE(510)를 포함한다. 도 5에 도시된 바와 같이, 공간 광 변조기로부터 방출된 광은 복수의 심도 평면들에서 사용자가 볼 수 있게 광의 포커스를 변화시키도록 구성된 VFE(510)로 지향된다.

[0106] 하나 또는 그 초과의 실시예들에서, VFE(510)는 프로젝팅된 광을 원하는 심도 평면에 포커싱한다. VFE(510)는 프로젝팅된 광의 포커스를 프레임 단위로 변동시킬 수 있다. 심도 평면은 사용자로부터 떨어져 있는 심도(예를 들어, z 방향의 거리)에 대응한다. VFE들은 다중-평면형 포커스 및 가변적 평면 포커스 시스템들 모두에서 사용된다는 것이 이해되어야 한다. 따라서, VFE는 복수의 렌즈들 및 미러들(예를 들어, 후술될 506, 508 및 520)과 함께, 원하는 심도 평면(들)에서 하나 또는 그 초과의 가상 객체들과 연관된 광을 프로젝팅하도록 구성되어, 그것은 사용자의 안구에 대해 3D로 인지되게 한다.

[0107] 하나 또는 그 초과의 실시예들에서, VFE(510)는 액정 렌즈, 전기활성 렌즈, 이동 엘리먼트들을 갖는 종래의 굴절 렌즈, 기계적-변형-기반 렌즈(예컨대, 유체-충전 멤브레인 렌즈 또는 가요성 엘리먼트가 액추에이터들에 의해 휘어지고 이완되는 인간 결정질 렌즈와 유사한 렌즈), 일렉트로웨팅(electrowetting) 렌즈, 상이한 굴절률들을 갖는 복수의 유체들과 같은 굴절 엘리먼트일 수 있다. VFE는 또한 스위칭 가능한 회절 광학 엘리먼트(예컨대, 폴리머 물질과 같은 호스트 매체가 물질 내에 분산된 액정의 마이크로드롭릿들을 갖는 폴리머 분산 액정 접근법을 특징으로 하는 것; 전압이 인가될 때, 분자들이 재배향되어서 이들의 굴절률들은 호스트 매체의 굴절률과 더 이상 일치하지 않게 되고, 그리하여 고주파수 스위칭 가능 회절 패턴을 생성함)를 포함할 수 있다.

[0108] 일 실시예는 리튬 니오베이트와 같은 커 효과(Kerr effect)-기반 전기활성 재료의 마이크로드롭릿들(microdroplets)이 호스트 매체 내에 분산되는 호스트 매체를 포함한다. 이는, 섬유-스캔 디스플레이 또는 스캐닝-미러-기반 디스플레이와 같은 스캐닝 광 디스플레이에 커플링될 때 픽셀 단위 또는 라인 단위로 이미지 정보의 재포커싱을 가능케 한다. 액정, 리튬 니오베이트 또는 다른 기술이 패턴을 나타내기 위해 사용되는 VFE 구성에서, 패턴 간격은 가변적 포커스 렌즈 엘리먼트의 초점 전력을 변화시킬 뿐만 아니라, (줌 렌즈 타입의 기능성에 대해) 전체 광학 시스템의 초점 전력을 변화시키도록 변조될 수 있다.

[0109] 일 실시예에서, 복수의 렌즈들은, 사진 줌 렌즈가 줌 포지션으로부터 포커스를 디커플링하도록 구성될 수 있는 것과 동일한 방식으로, 디스플레이의 이미저리의 포커스는 확대율을 일정하게 유지하면서 변경될 수 있다는 점에서, 텔레-센트릭(tele-centric)일 수 있다. 다른 실시예에서, 렌즈들은 비-텔레센트릭일 수 있으므로, 포커스 변경들은 또한 슬레이브 줌 변경들일 것이다. 이러한 구성에 의해, 이러한 확대율 변경들은 포커스 변경들과 동기하여 그래픽 시스템으로부터의 출력의 동적 스케일링으로 소프트웨어에서 보상될 수 있다.

[0110] 도 5에 도시된 바와 같이, VFE(510)로부터의 포커싱된 광은 광을 사용자의 안구 쪽으로 지향하는 복수의 광학 엘리먼트들(506)을 통과한다. 일부 실시예들에서, 빔스플리터(520)가 활용될 수 있다. 빔스플리터(520)는 입사광 빔을 2개 또는 그 초과의 빔들로 분할 또는 지향시키는 광학 디바이스이다. 하나 또는 그 초과의 실시예들에서, 빔스플리터(520)는 입사광의 절반이 반사되고, 다른 절반이 전체 내부 반사로 인해 투과되도록 구성될 수 있다. 예시된 실시예에서, 빔스플리터(520)는 빔이 접안렌즈(508)로 지향되도록 그 빔을 분할하기 위해 (AR 시스템의 설계에 의존하여) 활용될 수 있다. 접안렌즈(508)는 빔스플리터(520)로부터의 반사된 광을 수신하고, 도 5에 도시된 바와 같이, 사용자의 안구들로 광을 지향시킨다.

[0111] 전반적인 시스템 아키텍처를 간략하게 설명하면, 다양한 광학 시스템들의 특유한 구성이 이제 설명될 것이다. 이제 도 6을 참조하면, AR 시스템(600)의 예시적 실시예가 설명될 것이다. 하나 또는 그 초과의 실시예에서, AR 시스템(600)은 DLP(602), LCD(604), 복수의 색지움 렌즈(606), 빔스플리터(608) 및 VFE(610)를 포함한다. 도시되지는 않았지만, 이미지 생성 프로세서는 도 6에 도시된 광학 구성에 가상 콘텐츠의 2차원 슬라이스들의 세트를 순차적으로(예를 들어, 프레임 순차적으로, 시간-순차적으로, 기타 등으로) 공급할 수 있다.

[0112] 도 6에 도시된 예시적인 구성에서, DLP(602) 및 LCD(604)의 조합은 높은 리프레시 레이트 및 높은 지속성 디스플레이를 생성하는데 사용된다. AR 시스템(600)의 다른 실시예들은 다른 공간 광 변조기들을 활용할 수 있으며, 다음 설명은 단지 예시 목적들을 위해 제공된다는 것이 이해되어야 한다. 유리하게는, 이 접근법은 시스템이 높은 프레임-레이트 및 높은 지속성 둘 다를 갖도록 허용한다(이는 사용자가 다수의 심도 평면들을 동시에 인지하도록 허용함). 본 실시예에서, DLP(602) 및 LCD(604)의 조합은 360Hz의 프로세싱 전력에서 동작하고, 그리하여 초당 60개의 프레임들을 생성한다(예를 들어, 아래에서 더 상세히 설명되는 바와 같이 6개의 심도 평면들을 생성함).

[0113] 아래에서 더 상세히 설명되는 바와 같이, DLP/LCD 시스템의 높은 프레임 레이트 및 높은 지속성은 사용자에 의해 동시에 인지되는 다수의 심도 평면들의 생성을 허용한다. 예시된 실시예가 LCD(604)를 사용하지만, 대안적인 실시예들은 DLP(602)와 관련하여 LCD(604)를 유사하게 사용할 수 없을 수 있다는 것이 이해되어야 한다. OLED, LCOS, FSD 등과 같이 다른 형태의 공간 변조기들이 유사하게 사용될 수 있다는 것이 이해되어야 한다.

[0114] 일부 실시예들에서, DLP(602)는 (전술한 바와 같이) 그레이스케일 이미지들을 제공한다는 것이 이해되어야 한다. LCD(604)는 컬러 맵을 제공하여서, 다양한 컬러들과 연관된 광이 색지움 렌즈(606)의 다른 세트들을 통해 프로젝팅되게 한다.

[0115] 예시된 실시예에서, DLP(602)로부터의 광은 색지움 렌즈들(606)의 세트를 향해 프로젝팅된다. 유사하게, LCD(604)는 동일하거나 상이한 가상 콘텐츠와 연관된 광을 프로젝팅하고, 광은 색지움 렌즈들(606)의 다른 세트를 통과한다.

[0116] 색지움 렌즈(606)는 색수차 및 구면 수차의 영향을 제한하도록 설계되는 광학 엘리먼트들이다. 즉, 색지움 렌즈들(606)은 넓은 스펙트럼의 파장들에 걸쳐 유사하게 기능한다. 예를 들어, 색지움 렌즈(606)는 2개의 파장이 동일한 평면상에 포커싱하게 되도록 보정을 제공한다. 색지움 렌즈들은 통상적으로, 2개의 상이한 타입들의 재료들로 제조되며, 상이한 파장들에 걸쳐 일정한 포커스(또는 포커스 면에서의 작은 변화)를 갖도록 설계된다. DLP(602) 및 LCD(604)는 복수의 파장들(예를 들어, 적색, 녹색, 청색 등)을 갖는 광을 프로젝팅하기 때문에, 색지움 렌즈(606)는 상이한 파장들의 광이 실질적으로 동일하게 포커싱하게 되도록 보장하는데 활용된다. 도 6에 도시된 바와 같이, 색지움 렌즈들은, 광이 동일하게 포커싱되는 것을 보장하기 위해(예를 들어, DLP(602)으로부터 방출된 광, LCD(604)에서 방출된 광, VFE(610)로부터의 광, 중간 이미지 평면(614)으로부터의 광 등), 광학 구성(600)의 다양한 부분들에서 이용된다.

[0117] 도 6에 도시된 바와 같이, LCD(604)로부터의 광은 색지움 렌즈들(606)의 다른 세트를 통과하여 빔스플리터(608)에 접근한다. 예시된 실시예에서, 빔스플리터(608)는 광 빔이 VFE(610)로 지향되도록 그 광 빔을 분할한다. DLP(602)는 원하는 프레임 레이트(예를 들어, 초당 60개의 프레임들)를 제공하기 위해 VFE(610)와 동기하여 작동한다는 것이 이해되어야 한다. VFE(610)는 프레임들의 초점을 변화시켜 복수의 고정된 심도 평면들을 생성하도록 구성된다. 본 실시예에서, VFE(610)는 DLP(602) 및 LCD(604)에 의해 프레임들이 생성되는 속도를 수용하기 위해 포커스를 신속하게 변경할 수 있는 변형가능한 미러 멤브레인 VFE이다. 일 실시예에서, 변형가능한 멤브레인 렌즈는 변형가능한 미러 멤브레인 VFE(610)와 같은 매우 얇은(예를 들어, 멤브레인의 두께는 수 마이크론 정도일 수 있음) 반사형 재료(예를 들어, Okotech®로 제조됨)로 제조될 수 있다.

[0118] VFE(610)로부터의 포커싱된 광은 2개 또는 그 초과의 색지움 렌즈(606)를 통과하여 중간 이미지 평면(614)을 생성한다. 중간 이미지 평면(614)은 적절한 포커스를 갖는 광이지만, 사용자가 볼 수 없을 수 있다. 중간 이미지 평면(614)이 생성되는 위치는 VFE(610)의 포커스에 기반하여 레인지 내에서 변한다는 것이 이해되어야 한다.

[0119] 중간 이미지 평면(614)으로부터의 광은 사용자의 안구에 의해 보여질 수 있도록 색지움 렌즈들 및/또는 확대 엘리먼트들의 세트를 추가로 통과할 수 있다. 예를 들어, 중간 이미지 평면은 가상 이미지에 의해 실제 이미지가 아닐 수 있으며, 안구에 의해 프로세싱되기 위해 반전되고 그리고/또는 수정될 필요가 있을 수 있다. 도 6에 도시된 바와 같이, 중간 이미지 평면(614)으로부터의 광은 안구에 전달되기 전에 색지움 렌즈 및/또는 접안렌즈들의 다른 세트를 통과한다.

[0120] 본 예에서, 안구에 가장 가까운 2개의 색지움 렌즈(606)는 중간 이미지가 형성된 후에 VFE로부터 수신된 광을 콜리메이팅하도록 구성된다는 것을 인식해야 한다. 따라서, 이 특정 실시예에서, 이미지가 안구에 의해 보여질 때, 이미지는 무한대로부터 오는 것처럼 나타날 것이다. 콜리메이팅된 광(즉, 서로 평행한 광 빔들)은 무한대에서 오는 것처럼 인식되는 이미지를 생성한다. 다른 예들(미도시)에서, VFE가 다른 심도 평면들(광학 무한대 평면이 아님)에 포커싱될 경우, 광선은 통상적으로, 사용자가 z 방향의 고정 심도 평면에서 (예컨대, 광학 무한대보다 더 가까움) 심도 평면을 보도록 퍼질 것이다.

[0121] 예시된 실시예에서, AR 시스템(600)은 360Hz의 높은 프로세싱 전력에서 동작하는 DLP(602)(및 LCD(604))을 사용하는 다중-평면형 초점 시스템이며, 이는 60 프레임들/초로 6개의 심도 평면들의 생성을 허용한다. 현재 기술적 관점에서 그러한 강력한 DLP은 고정 AR 시스템 구성에서 잘 작동할 수 있지만, 기술의 발전은, 동일한 AR 구성이 휴대가능 또는 웨어러블 AR 시스템들로 그에 따라서 변환되게 할 수 있다는 것을 인식해야 한다.

[0122] DLP(602)이 360Hz(60 프레임들/초)에서 동작한다는 것을 감안할 때, 상이한 프레임이 2.8 밀리초마다 생성될 수 있다. 이것을 신속하고 정확한 VFE(610)(이를 테면, 상기 논의된 바와 같이, 변형가능한 미러 멤브레인 VFE)와 결합시키는 것은, 다수의 심도 평면들의 신속한 생성을 허용한다. 따라서, VFE(610)의 속도는, 원하는 이미지/가상 콘텐츠가 우측 심도 평면에 디스플레이되도록 포커스를 (이 실시예에서, 2.8 밀리초 이내에) 신속하게 변화시킬 만큼 충분히 신속해야 한다는 것을 인식할 수 있다.

[0123] 도 7은, AR 시스템, 이를테면, 도 6과 관련하여 논의된 구성이 사용자에 대하여 다수의 고정 심도 평면들을 생성하는 방법을 도시한다. 도 7은, AR 시스템(704)의 사용자에 의해 관찰된 6개의 심도 평면들(702)의 구성 및 AR 시스템(704)을 도시한다. 도시된 실시예에서, 6개의 심도 평면들(702)은 z 방향으로 사용자로부터 다양한 거리로 이격된다. 일부 실시예들에서, 6개의 심도 평면들 모두는 심도 평면들(예컨대, AR 시스템(600))의 고정된 거리들에서 사용자에 의해 동시적으로 보여질 수 있다. 다른 실시예들에서, 심도 평면들의 서브세트만이 사용자에 의해 프레임마다 보여질 수 있지만, 심도 평면들은 항상 사용자로부터 떨어진 동일한 고정 거리에서 생성될 수 있다.

[0124] AR 시스템(704)(예컨대, 이를 테면, AR 시스템(600)), 및 다른 다중-평면형 초점 시스템들은 통상적으로 고정 심도 평면들(702)(예컨대, 도 7에 도시된 바와 같은 6개의 심도 평면들)에서 프레임들을 디스플레이한다는 것을 인식해야 한다. 임의의 수의 심도 평면들이 유사하게 사용될 수 있지만, 다음의 개시내용은 다중-평면형 초점 시스템을 z 방향으로 6개의 고정 심도 평면들(702)을 갖는 것으로서 논의할 것이다. 6개의 심도 평면들 중 하나 또는 그 초과의 것에 가상 콘텐츠를 생성할 때, 사용자는 자신의 안구로부터 (예컨대, z 방향으로) 다양한 거리들에서 하나 또는 그 초과의 가상 객체들을 인지하도록 3D 인지가 생성된다. 인간의 안구가 멀리에서 보이는 물체들보다 더 가까운 거리에 있는 물체들에 더 민감하다는 것을 감안할 때, 도 7에 도시된 바와 같이, 더 많은 심도 평면들(702)이 안구에 더 가깝게 생성된다. 다른 실시예에서, 심도 평면들(702)은 서로 동일한 거리로 떨어져서 배치될 수 있다.

[0125] 심도 평면들(702)은 통상적으로 초점 길이의 단위인 디옵터로 측정된다. 예컨대, 일 실시예에서, 심도 평면 1은 1/3 디옵터 떨어질 수 있고, 심도 평면 2는 ½ 디옵터 떨어질 수 있고, 심도 평면 3은 1 디옵터 떨어질 수 있고, 심도 평면 4는 1.5 디옵터 떨어질 수 있고, 심도 평면 5는 3 디옵터 떨어질 수 있고, 심도 평면 6은 무한대를 나타낼 수 있다. 다른 실시예들은 다른 거리들/디옵터들에서 심도 평면들을 생성할 수 있다는 것을 인식해야 한다. 따라서, 전략적으로 배치된 심도 평면들에서 가상 콘텐츠를 생성할 때, 사용자는 3D로 가상 객체들을 인지할 수 있다.

[0126] 예컨대, 제 1 가상 객체는 심도 평면 1에서 인지될 수 있으며, 다른 가상 객체는 심도 평면 6 상에서 무한대에서 비롯되는 것으로서 인지될 수 있다. 또는, 가상 객체는, 가상 객체가 사용자에 매우 근접하여 나타날 때까지 (예컨대, 가상 괴물이 사용자를 향해 달리는 것), 심도 평면 6, 심도 평면 5 등으로 먼저 디스플레이될 수 있다. 다른 실시예에서, 6개의 심도 평면들 모두는 사용자로부터 떨어진 특정 초점 거리에서 집중될 수 있다. 예컨대, 디스플레이될 가상 콘텐츠가 사용자로부터 0.5 미터만큼 떨어져 있는 커피 컵인 경우, 커피 컵의 다양한 단면들에서 모두 6개의 심도 평면들이 생성될 수 있으며, 이는 사용자에게 커피 컵의 매우 입도 높은 3D 뷰를 제공한다. 상기 예들은 예시적인 목적들을 위해 매우 단순화되었고, 심도 평면들의 많은 다른 구성들이 유사하게 구상될 수 있다는 것을 인식해야 한다.

[0127] 도 6의 AR 시스템(600)의 경우, 포커스를 신속하게 변경하기 위한 변형가능한 미러 멤브레인 VFE(610)의 능력과 결합된 LCD(604) 및 DLP(602)의 높은 프로세싱 전력은 사용자로부터의 다양한 거리들에서 심도 평면들의 신속한 생성을 허용한다. 이는, 디스플레이의 지속성과 결합되어 동시적인 다수의 심도 평면들의 인지를 제공한다. 예컨대, 심도 평면 1(예컨대, 1/3 디옵터에서 포커싱됨)은 제 1 2.8 밀리초에서 생성될 수 있으며, 심도 평면 2(예컨대, 1/2 디옵터에서 포커싱됨)는, 제 6 심도 평면(예컨대, 무한대에서 포커싱됨)이 16 밀리초에 생성될 때까지 다음 2.8 밀리초(5.6 밀리초)에서 생성될 수 있다.

[0128] 즉, (원하는 심도 평면에서 이미지 포커싱의 신속한 변경들을 허용하는) 변형가능한 미러 멤브레인 VFE(610)와 결합된 공간 광 변조기(예컨대, DLP(602))가 동작하는 고속(가상 컨텐츠의 신속한 생성을 허용함)은 다수의 심도 평면들이 사용자에게 신속하게 프로젝팅될 수 있는 다중-평면형 초점 시스템을 제공한다. 심도 평면들이 생성되는 고속의 경우(모두 6개의 이미지 평면들이 제 1 16 밀리초 내에 생성됨), 인간의 안구는 동시적인 심도 평면들로서 이들을 인지한다. 즉, 안구의 지속성으로 인해, 모두 6개의 심도 평면들이 본질적으로 함께 보여진다.

[0129] 사이즈 및 휴대성의 제한들로 인해, 이러한 높은 프로세싱 전력(360 Hz)의 DLP는 AR 시스템의 웨어러블 버전들에서 쉽게 사용되지 않을 수 있다. 또한, AR 시스템(600)에서 사용되는 변형가능한 미러 멤브레인 VFE는 매우 얇을 수 있고 따라서 외부 환경의 변화들에 매우 민감하며, 이는 웨어러블 AR 시스템 모델에서의 사용을 곤란하게 할 수 있다. 그러나, 시스템(600)은 다른 VFE들 또는 다른 공간 광 변조기들을 사용할 수 있고 상기 설명과 유사하게 기능할 수 있음을 인식해야 한다.

[0130] 이제 도 8로 돌아가면, 웨어러블 AR 시스템(800)의 하나의 버전의 예시적 실시예가 이제 설명될 것이다. AR 시스템(500)과 유사하게, AR 시스템(800)은 또한 이미지 생성 프로세서(802)(예컨대, 추가 컴포넌트들 : GPU(814), CPU(816) 및 메모리(812)), 공간 광 변조기(예컨대, DLP, LCD, OLED, LCOS, FSD 등)(804), 복수의 렌즈/광학 엘리먼트들 및 미러들(806), VFE (810), 메니스커스 렌즈 또는 접안렌즈(808), 및 안구 추적 서브-시스템(820)을 포함한다. AR 시스템(800)은 다양한 구성들에서 사용될 수 있음을 인식해야 한다. 일 구성은 AR 디바이스의 상부(예컨대, 도 4b와 유사한 AR 디바이스의 헬멧 폼 팩터)에서 광학 엘리먼트들의 세트 및 공간 광 변조기를 수용하는 헬멧 구성을 지칭하는 "버드배쓰(birdbath)"구성일 수 있으므로, 광이 공간 광 변조기 및 광학 세트 아래로 이동하고, 접안렌즈의 상부로 공급된다. 다른 구성들에서, 광학 세트 및 공간 광 변조기들이 측면에서 수용될 수 있으므로, 광이 공간 광 변조기 및 광학 엘리먼트들의 세트을 통과하여 측방으로 이동하고 접안렌즈(예컨대, 도 4c와 유사한 폼 팩터)의 측면 부분으로 공급된다.

[0131] AR 시스템(800)의 컴포넌트들의 대부분은 상술된 AR 시스템(500)과 유사하므로, 반복하지 않을 것이다. 상술된 바와 같이, 프로세서(802)는 하나 또는 그 초과의 이미지 슬라이스들 또는 프레임들을 공간 광 변조기(804)로 제공한다. 하나 또는 그 초과의 실시예들에서, 공간 광 변조기(804)는 DLP, LCD, LCOS, OLED 또는 FSD를 포함할 수 있다. 상술된 바와 같이, AR 시스템의 휴대용 버전들은 AR 시스템(예컨대, 도 6)에서 사용되는 것과 같은 크고 강력한 공간 광 변조기를 수용하지 못할 수 있다; 따라서 보다 작고 그리고/또는 덜 강력한 공간 광 변조기(예컨대, DLP)가 대신 사용될 수 있다. 도시된 실시예에서, DLP는, 60 프레임들/초를 생성하는 약 120Hz로 동작할 수 있다.

[0132] 그런 다음, 공간 광 변조기들(804)로부터의 광은, 이미지가 원하는 심도 평면에서 사용자에 의해 보여지도록 VFE(810)에 의해 포커싱될 수 있다. 상술된 바와 같이, 웨어러블 구성들에서 사용되는 VFE(810)는 더욱 내구성이 있을 수 있지만, 또한, AR 시스템(600)에서 사용되는 것보다는 느릴 수 있다. 유사하게, 본 실시예에서 사용되는 VFE(810)는 AR 시스템(600)에서 사용되는 바와 같은 변형가능한 미러 멤브레인이 아닐 수 있지만, 광-굴절 멤브레인 렌즈, 이를 테면, Optotune® 또는 Varioptic®과 같은 회사들에서 제조한 것들일 수 있다. 하나 또는 그 초과의 실시예들에서, 이러한 VFE들과 연관되는 멤브레인들은 AR 시스템(500)에서 사용되는 변형가능한 멤브레인 미러에 비해 더욱 내구성이 있는 고무 질감을 갖는 경향이 있으며, 이로써, 이들 VFE들이 AR 시스템의 웨어러블 버전들에 대해 더욱 적합해지게 한다.

[0133] 본 실시예에서, 프레임들이 단지 20 프레임들/초로 생성되는 것을 고려하면, VFE는 단지 20 프레임들/초로 포커스를 스위칭한다. 이를 위해, 한번에 모두 6개의 심도 평면들을 동시에 디스플레이하기보다는, 아래에 추가로 설명될 바와 같이, 사용자의 포커스와 일치하는 단일 심도 평면이 생성된다. 도 5와 마찬가지로, VFE로부터의 광은 한 세트의 광학 엘리먼트들(806 및 808)을 통과하고, 사용자의 안구들로 전달된다.

[0134] 위에서 논의된 것처럼, AR 시스템(800)은 가변적 초점 평면 시스템이다. 6개(또는 그 초과의) 심도 평면들을 생성하기보다는, 시스템은 생성된 심도 평면이 사용자의 포커스와 일치하도록 z 방향으로 이동될 수 있는 단일 심도 평면을 생성하도록 구성된다.

[0135] 이를 위해, (또한 이전의 실시예에 존재하는) 위에서 설명된 엘리먼트들 이외에, 본 실시예는 또한 안구들의 포커스를 추적하도록 구성된 안구-추적 서브시스템(820)을 포함한다. 각각의 안구는 다른 것과 개별적으로 또는 독립적으로 추적될 수 있다. 하나 또는 그 초과의 실시예들에서, 각각의 안구는 전용 안구 추적 시스템에 의해 추적될 수 있다. 다른 실시예들에서, 안구들 둘 모두는 단일 안구 추적 시스템에 의해 추적될 수 있다. 다른 실시예에서, 단일 안구 추적 시스템은 2개의 추적기들을 가질 수 있고, 하나는 각각의 안구를 위해 구성된다. 안구-추적 서브시스템(820)은, VFE(810)가 사용자의 안구들의 포커스와 일치하는 평면상의 이미지를 포커싱하도록 이미지 생성 프로세서(802) 및 다른 회로에 물리적으로 또는 통신가능하게 커플링될 수 있다.

[0136] 하나 또는 그 초과의 실시예들에서, 안구-추적 서브시스템(820)은 2 개의 안구들이 수렴되는 거리를 측정한다. 예컨대, 사용자의 안구들이 서로 평행하면, 안구-추적 서브시스템(820)은 사용자의 포커스가 광학 무한대에 있다고 결정할 수 있다. 안구-추적 서브시스템(820)의 다른 실시예들은 사용자의 안구들의 포커스를 추정 또는 결정하는데 있어서 다른 방법들을 사용할 수 있다. 안구-추적 서브시스템(820)이 프로세싱/제어 회로 등을 포함하고, 시스템의 이미지 생성 프로세서 및 다른 컴포넌트와 통신하도록 추가로 구성된다는 것이 또한 인지되어야 한다. 시스템의 컴포넌트들 중 나머지는 위에서 설명된 이전의 시스템(500)과 유사하다.

[0137] 이제 도 9를 참조하면, 가변적 평면 초점 시스템(예컨대, AR 시스템(800))의 특정 구성(900)이 이제 설명될 것이다. 본 실시예에서, 가변적 평면 초점 시스템(900)은 DLP(902), 한 세트의 색지움 렌즈들(904), VFE(906), 빔스플리터(908), 중간 이미지 평면(940) 및 메니스커스 렌즈(910)를 포함한다.

[0138] 도 9에 도시된 바와 같이, 다양한 가상 이미지 슬라이스들/프레임 슬라이스들(예컨대, 프로세서(미도시)에 의해 공급됨)과 연관된 광은 DLP(902)로부터 프로젝팅된다. DLP(902)로부터의 광은 한 세트의 색지움 렌즈들(904)(예컨대, 위에서 논의된 것처럼, 상이한 파장들의 광의 포커스를 실질적으로 동일한 포커스를 갖도록 변형함)을 통해 이동하고, VFE(906)로 공급된다.

[0139] VFE(906)는, 위에서 논의된 것처럼, 광이 원하는 평면으로부터 오는 것처럼 보이도록 광을 포커싱한다. 안구-추적 서브-시스템이 도 9에 도시되지 않지만, 이미지가 통상적으로 안구-추적 서브시스템으로부터의 입력에 기반하여 생성되는 것이 인지되어야 한다. 다시 말해서, 안구-추적 시스템으로부터의 데이터는 VFE로 통신되고, 따라서 VFE는 포커스의 사용자의 현재 상태에 가장 가까운 심도 평면을 생성한다.

[0140] 일단 VFE(906)가 이에 따라 광을 포커싱하였다면, 광은 다른 세트의 색지움 렌즈들(906)을 통해 이동하여, 중간 이미지 평면(940)이 생성된다. 위에서 논의된 것처럼, 중간 이미지 평면(940)에 대응하는 광은, 이것이 안구에 의해 보여질 수 있기 전에 변형되어야 하고, 따라서, 일부 실시예들에서, 빔스플리터(908) 및 메니스커스 렌즈 또는 광을 사용자의 안구로 지향하는 접안렌즈(910)를 통과할 수 있다.

[0141] 빔스플리터(908)는 광 빔을 분할하고, 광을 메니스커스(910)를 향해 반사한다. 이어서, 메니스커스 렌즈(910)는 광을 사용자의 안구로 지향한다.

[0142] 예시된 실시예에서, 사용자의 안구들에 도달한 광은 콜리메이팅된다(예컨대, 사용자는 광을 광학 무한대로부터 오는 것으로 인지함). 물론, 상이한 심도 평면들 상에서 포커싱할 때, 광 빔들은 대신에 마치 광학 무한대보다 더 가까운 심도 평면으로부터 오는 것처럼 퍼질 수 있다.

[0143] 이제 도 10을 참조하면, 가변적 평면 포커스 시스템의 예시적인 일련의 구성들이 예시된다. 다양한 구성들은 도 9에 관련하여 논의된 것과 동일한 컴포넌트들을 포함하고, 따라서 반복되지 않을 것이다.

[0144] 예시된 실시예에서, (1002)에서, VFE(1014c)는 DLP(1012c)로부터의 광을 사용자로부터 0.33 미터 떨어진 심도 평면으로 포커싱한다. 도 10, 우측에 도시된 바와 같이, 중간 이미지 평면(1016c)은 VFE(1014c)의 포커스에서의 변화에 기반하여 생성된다. (1004)에서, VFE(1014b)는 DLP(1012b)로부터의 광을 사용자로부터 0.67 미터 떨어진 심도 평면으로 포커싱한다. 도 10, 중간에 도시된 바와 같이, 중간 이미지 평면(1016b)은 VFE(1014b)의 포커스에서의 변화에 기반하여 생성된다. 마찬가지로, (1006)에서, VFE(1014a)는 DLP(1012a)로부터의 광을 광학 무한대에 있는 심도 평면으로 포커싱한다. 도 10, 중간에 도시된 바와 같이, 중간 이미지 평면(1016b)은 VFE(1014b)의 포커스에서의 변화에 기반하여 생성된다. 예시된 실시예에서, 중간 이미지 평면(예컨대, 1016a, 1016b 및 1016c)은 또한, VFE가 상이한 심도 평면들로의 광의 포커스를 변화시킬 때 변화한다.

[0145] 도 11은, 도 8-10에 관련하여 논의된 구성과 같은 가변적-평면 AR 시스템이 어떻게 사용자에 관련하여 측방으로 병진이동될 수 있는 단일 심도 평면을 생성하는지를 예시한다. 도 11은 AR 시스템(1104)의 사용자에 의해 보여지는 AR 시스템(1104) 및 단일 심도 평면(1106)을 예시한다. 예시된 실시예에서, 단일 심도 평면이 생성되지만, (각각의 프레임에 대한) 단일 심도 평면(1102)은 z 방향으로 일정 레인지(1106) 내에서 이동될 수 있다.

[0146] 다시 말해서, 가변적 평면 포커스 시스템(예컨대, 도 8-10)은 사용자의 현재 포커스 상태에 기반하여 단일 심도 평면을 z 방향으로 일정 레인지 내에서 측방으로 병진이동시킨다. 사용자의 안구들이 사용자에 근접한 물리적 객체 상에 포커싱되면, 단일 심도 평면이 그 초점 거리와 일치하고 가상 객체가 그 심도 평면에 디스플레이되도록, 단일 심도 평면이 이동된다. 예컨대, 사용자의 안구들이 이완되고 공간을 바라보면(안구들이 서로 평행함), 심도 평면은, 가상 객체가 무한대로부터 오는 것처럼 보이도록 더 멀리 이동될 수 있다. 도 11에 도시된 바와 같이, AR 시스템(1104)은 사용자의 포커스와 일치하는 단일 심도 평면(1102) 상의 이미지를 포커싱한다. 단일 심도 평면(1102)은, 도 11에 도시된 바와 같이, 일정 레인지(1106) 내에서 z 방향으로 사용자로부터 떨어져 임의의 거리로(예컨대, 사용자에게 매우 가까이에서 광학 무한대로) 이동될 수 있다.

[0147] 단지 하나의 심도 평면이 (예컨대, 60 프레임들/초로) 프로젝팅된다는 사실을 보상하기 위해, 블러링 소프트웨어 기술들은 다수의 심도 평면들의 인지를 제공하는데 활용될 수 있다. 하나보다 더 많은 가상 객체가 사용자로 프로젝팅되도록 의도된다고 가정하고, 그리고 가상 객체들이 상이한 심도 평면들에 있는 것으로 여겨진다고 가정하면, 시스템은 프로젝팅된 심도 평면 내에 있지 않은 가상 객체들을 블러링할 수 있다. 다시 말해서, 가상 객체들 둘 모두가 단일 심도 평면 상에서 렌더링되지만, 하나(또는 그들 중 하나보다 더 많음)(사용자의 포커스와 비교될 때, 더 가깝게/더 멀리 떨어져 있는 것처럼 보이도록 의도됨)는 사용자에 대해 블러링된 것처럼 보일 것이다.

[0148] 예컨대, 가상 콘텐츠가 가상 커피 컵 및 배경에서 비행하고 있는 드래곤 둘다 포함하면, 사용자의 안구들이 데스크 상에 포커싱되면, 단일 심도면은 사용자의 포커스에서 생성될 것이고, 포커스가 맞는 가상 커피 컵으로 구성될 것이지만, 부가적으로 또한 배경에서 비행하는 드래곤의 블러링된 버전을 도시할 것이다. 또는 사용자의 안구들이 무한대를 향해 포커싱되면, 단일 심도 평면은 무한대에서 생성될 것이지만, 드래곤은 포커스가 맞는 것처럼 보일 수 있지만, 커피 컵은 소프트웨어 블러링을 통해 블러링된다.

[0149] 또는, 동일한 예를 계속하면, 사용자의 안구들을 드래곤을 향해 돌리면, 안구-추적 시스템(820)은 포커스에서 시프트를 검출하고(예컨대, 안구-추적 서브시스템은 사용자의 안구들의 수렴의 변화를 검출할 수 있음), 이어서 드래곤을 포커스에 맞도록 렌더링되고, 커피 컵을 블러링할 수 있지만, 이번에는, 단일 심도 평면이 무한대에 생성된다. 인간의 안구가 자신의 포커스를 근처의 객체들로부터 멀리 떨어진 객체들로 또는 그 역으로 변경하는데 대략 200-300 밀리초의 초가 걸린다는 것이 인지되어야 한다. 그러나, AR 시스템은 초당 약 60 프레임들로 빠르게 프레임들을 생성하도록 구성된다. 따라서, AR 시스템이 인간의 안구와 비교될 때 더 빠른 페이스로 동작하기 때문에, 사용자 안구들은 초점 평면에서 변화를 수월하게 조절할 수 있다.

[0150] 따라서, 앞서 예들로부터 인식될 수 있는 바와 같이, 3D 인지를 생성하기 위하여, 가변적 평면 포커스 시스템은 사용자의 안구들의 초점 거리와 일치하는 심도 평면에 프로젝팅되는 하나(또는 그 초과의) 제한된 심도 평면을 생성한다. 안구-추적 서브시스템(820)을 사용함으로써, AR 시스템(800)은 앞서 논의된 바와 같이, 더 작은 프로세싱 전력, 및 더 느린 VFE의 공간 광 변조기를 사용할 수 있다.

[0151] 가변적 평면 포커스 시스템의 정확성이 안구-추적 서브시스템 및 VFE 엘리먼트의 속도의 정확성 및 효율성에 직접 관련되는 것이 인식되어야 한다. 안구-추적 서브시스템(820)은 사용자의 안구들의 초점 거리를 빠르게 측정 및 결정할 수 있어야 하고, 그리고 VFE 엘리먼트는 그 거리에서 심도 평면을 정확하게 포커싱해야 한다. 이것은 앞서 상세히(at length) 논의된 바와 같이, 통상적으로 웨어러블 AR 시스템들에서의 제한들인 상당한 프로세싱 전력 및 속도를 취한다. 이 목적을 위하여, AR 시스템의 또 다른 실시예에서, 하이브리드 시스템은 3D 가상 콘텐츠를 생성하기 위하여 사용될 수 있다.

[0152] 이제 도 12를 참조하여, 도 9 및 10의 AR 시스템들과 유사한 하이브리드 구성이 추가로 상세히 설명될 것이다. 하이브리드 AR 시스템(1200)은 도 9의 AR 시스템(900)과 실질적으로 동일한 엘리먼트들을 포함한다. 간결성을 목적으로, 하이브리드 AR 시스템(1200)의 핵심 컴포넌트들만이 설명될 것이고, 나머지 컴포넌트들은 도 9의 그 구성과 유사하게 작동할 것이라는 것이 인지되어야 한다.

[0153] 도 12에 도시된 바와 같이, DLP(1206)로부터의 광은 가상 콘텐츠의 2D 슬라이스들과 연관된 광을 프로젝팅할 수 있다. 이후, 광은, 상이한 파장들의 광이, 앞서 논의된 바와 같이, 실질적으로 동일한 포커스로 유도되는 것을 보장하도록 구성된 색지움 렌즈들(1208)의 세트를 통해 지나갈 수 있다. 그 다음으로, 색지움 렌즈들(1208)로부터의 광은 긴 레인지 VFE 엘리먼트(1202), 및 2-상태 포커스 엘리먼트(1204) 둘 모두를 가지는 VFE 어셈블리를 때린다.

[0154] 단일 VFE를 사용하기보다 오히려, 하이브리드 AR 시스템(1200)에서, 시스템은 긴-레인지 VFE 엘리먼트(1202) 및 2 상태 포커스 엘리먼트(1204)를 활용한다. 긴 레인지 VFE(1202)는 큰 레인지의 심도 평면들(도 11의 가변적 평면 시스템과 유사함)을 따라 기능하도록 구성되는 반면, 2 상태 포커스 엘리먼트(1204)는 서로 작은 레인지 내에서(도 7의 다중-평면 시스템과 유사함) 2개의 심도 평면들을 생성하도록 구성된다.

[0155] 예컨대, 장거리 VFE 엘리먼트(1202)는 0-3 디옵터들 같은 비교적 큰 포커스 레인지가 가능할 수 있다. 이러한 VFE(1202)는 예시 목적들을 위하여 그의 시간적 응답 시간이 제한될 수 있다. 격리에 사용되면, 그런 긴 레인지 VFE(1202)는 동작 가능하게 커플링된 이미지 소스로부터 다수의 디스플레이된 프레임들의 과정에 걸쳐 포커스를 조정할 수 있지만, 동작 가능하게 커플링된 디스플레이의 리프레시 레이트에서 프레임 단위로 원하는 초점 상태들 사이에서 변조하기에 충분히 빠르지 않을 수 있다. 예컨대, 긴 레인지 VFE(1202)는 인간의 원근조절 또는 버전스 변화에 대한 응답으로 또는 디스플레이된 볼륨 장면 내의 엘리먼트들의 모션에 대한 응답으로 디스플레이 포커스를 조정할 수 있다.

[0156] 라벨링된 2개의 상태 포커스 VFE(1204)는 그 VFE(1202)를 더 빠르게 초점 상태들 사이에서 스위칭할 수 있는 VFE를 포함할 수 있지만, 캔 생성시(예컨대, 2개의 포커스 상태들) 그 총 초점 레인지(예컨대, 0 내지 0.3 디옵터들) 및/또는 포커스 상태들의 수가 제한될 수 있다. 긴 레인지 VFE(1202) 및 2개의 상태 VFE(1204)를 직렬로 배치함으로써, 이들의 총 광학 전력은 결합되고, 따라서 각각의 VFE의 포커스 상태는 동작 가능하게 커플링된 디스플레이의 포커스에 영향을 준다.

[0157] 예컨대, 2개의 심도 평면들이 1 디옵터의 거리에 생성될 필요가 있으면, 긴 레인지 VFE(1202)는 대략 1 디옵터 거리에서 양쪽 심도 평면들을 포커싱하도록 구성될 수 있는 반면, 2개의 상태 포커스 엘리먼트(1204)는 서로 짧은 거리(예컨대, 서로 0.3 디옵터들의 고정된 거리) 내에서 2개의 심도 평면들을 생성하도록 구성될 수 있다. 다른 말로, 긴 레인지 VFE(1202)는 z 방향으로 사용자로부터 멀어지는 대략 우측 거리에서 2개의 심도 평면들을 포커싱하는 반면, 2개의 상태 포커스 엘리먼트(1204)는 서로에 관련하여 2개의 심도 평면들을 배치한다. 하나 또는 그 초과의 실시예들에서, 2개의 심도 평면들 사이의 거리는 고정될 수 있다. 그 다음으로, 결합된 VFE(1202 및 1204)를 탈출하는 광은 색지움 렌즈들(1208)의 다른 세트를 통해 지나갈 수 있고, 그리고 컴포넌트들의 나머지 세트(도시되지 않음)는 사용자의 안구들에 부딪치기 전에 도 9의 것과 유사하다.

[0158] 하이브리드 시스템(1200)은 다중-평면 초점 시스템 및 가변적 평면 초점 시스템 둘 모두의 엘리먼트들을 결합한다. 안구-추적 서브시스템 및/또는 VFE의 결함들을 대처하기 위하여, 사용자의 안구들을 추적하는 것에 기반하여 생성된 단일 심도 평면을 생성하기보다 오히려, 하이브리드 시스템(1200)은 안구-추적 시스템에 의해 결정된 초점 거리에서 서로 밀접한 2개의 심도 평면들을 생성한다. 따라서, 하이브리드 시스템(1200)이 안구-추적 서브시스템의 에러의 허용량을 구축하고 그리고 단지 하나의 심도에서가 아닌 서로 아주 근접한 2개의 심도 평면들에서 가상 콘텐츠를 프로젝팅함으로써 결함들을 처리하는 것이 인식될 수 있다. 본원에 설명된 2개의 심도 평면 시스템이 단지 예이고, 그리고 다른 실시예들이 사용자의 포커스와 일치하도록 모두 프로젝팅되는 3 또는 그 초과의 심도 평면들을 포함할 수 있는 것이 인식되어야 한다.

[0159] 예컨대, 사용자의 안구들이 1 디옵터 거리에서 단일 심도 평면을 생성하는 대신, 그 거리에서 포커싱되는 것이 결정되면(예컨대, 안구-추적 서브시스템을 통해), 하이브리드 시스템(1200)은 2개의 심도 평면들을 대신 생성할 수 있고, 2개의 심도 평면들 둘 모두는 1 디옵터에 밀접하고, 그리고 가상 콘텐츠의 절반이 하나의 심도 평면에 나타나고 가상 콘텐츠의 다른 절반이 다른 심도 평면상에 나타나도록 가상 콘텐츠를 분할할 수 있다. 따라서, 양쪽 심도 평면들은 사용자에 의해 동시에 인지된다(예컨대, 8 ms에서 심도 평면(1)에 생성된 하나의 프레임 및 16 ms에서 심도 평면(2)에 생성된 다른 프레임). 이것은 사용자에 대해 더 편안한 뷰잉을 생성하고, 안구-추적 서브시스템에 심하게 의존하지 않는다. 120 Hz에서 동작하는 DLP들이 사용되는 것을 가정하여, 하이브리드 AR 시스템(1200)은 60 프레임들/초에서 2개의 심도 평면들을 생성하도록 구성될 수 있다.

[0160] 도 13은, 도 12에 관련하여 논의된 구성 같은 하이브리드 AR 시스템이 사용자에 관하여 측방으로 병진이동될 수 있는 서로에 관하여 2개의 심도 평면들을 생성하는 방법을 예시한다. 도 13은 AR 시스템(1302)의 사용자에 의해 뷰잉되는 바와 같은 AR 시스템(1302) 및 2개의 심도 평면들(1304)을 예시한다. 예시된 실시예에서, 2개의 심도 평면들(1304)은 서로 고정된 거리 내에 생성되고, 그리고 2개의 심도 평면들(1304)은 z 방향으로 레인지(1306) 내에서 측방으로 병진이동될 수 있다.

[0161] 앞서 설명된 바와 같이, 단일 심도 평면보다 오히려 2개의 심도 평면들(1304)을 생성하는 것은 단일 심도 평면을 생성할 때 안구-추적 서브시스템(820)의 에러들 또는 VFE의 정확성을 보완할 수 있다. 본원에서, 원하는 심도 평면의 근사 위치가 안구 추적 시스템(820)을 통해 결정되었다면, 2개의 심도 평면들은 서로 아주 근접하게(예컨대, 서로에 관련하여 고정된 거리) 생성된다.

[0162] 또 다른 실시예에서, 복수의 심도 평면(들)을 생성하기 위하여 하나 또는 그 초과의 렌즈들과 함께 VFE들을 사용하는 대신, 심도 평면들은 심도 평면 정보가 임베딩된 볼륨 위상 홀로그램들 또는 도파관들의 사용을 통해 유사하게 생성될 수 있다. 다른 말로, 회절 패턴, 또는 회절 광학 엘리먼트(DOE)는, 콜리메이팅된 빔이 편평한 도파관을 따라 내부적으로 전반사됨에 따라, 상기 빔이 다수의 위치들에서 회절 패턴을 가로지르도록, 편평한 도파관 내에 임베딩될 수 있다.

[0163] 이제 도 14를 참조하여, 각각의 도파관 내에 임베딩된 상이한 DOE를 각각 가지는 도파관들(1450)의 스택은 추가로 상세히 설명될 것이다. 도파관들(1450)의 스택은 6개의 도파관들을 포함하고 6개의 도파관들 각각은 별도의 DOE들(1460a-1460f) 및 각각의 도파관에 대한 인-커플링 그레이팅들(in-coupling gratings)(1452)을 가진다. 도파관들 각각은 광을 상이한 심도 평면으로 회절시키는 상이한 DOE 패턴을 포함한다.

[0164] 인-커플링 그레이팅은, 공간 광 변조기로부터의 광이 주입되는 도파관(예컨대, 1460a-1460f)의 개구를 지칭한다. 도 14에 도시된 바와 같이, 주입된 광은 내부 전반사를 통해 각각의 도파관을 걸쳐 이동하고, 그리고 상이한 각도들 및 상이한 위치들에서 도파관들의 각각에서 임베딩된 회절 패턴을 가로지른다. 이 광의 일부는 도 15에 도시된 바와 같이, 도파관을 통해 사용자의 안구들로 투과된다.

[0165] 도파관들 각각이 임베딩된 회절 패턴에 기반하여 광을 상이하게 회절시킬 수 있다는 것이 인식되어야 한다. 예컨대, 제 1 DOE(1460a)를 가지는 도파관은 인-커플링 그레이팅(1452)을 통해 도파관(1460a)에 주입되는 임의의 이미지와 연관된 광을 콜리메이팅할 수 있다. 제 2 DOE(1460f)를 가진 다른 도파관은 1 디옵터에 대응하는 심도 평면으로 광을 퍼지게 하도록 구성될 수 있다. 또 다른 DOE(1460e)를 가진 또 다른 도파관은 2 디옵터들 등에 대응하는 심도 평면으로 광을 퍼지게 하도록 구성될 수 있다. 도 14에 도시된 바와 같이, 광 탈출 도파관(1460f)은 광 탈출 도파관(1460e)에 비교될 때 상이한 각도에 대응한다. 따라서, 도파관들 내에 임베딩된 다양한 DOE들은 가변 각도들로 광을 방출하고, 그 다음 광은 상이한 심도 평면들로부터 나오는 것처럼 사용자에 의해 인지된다.

[0166] 이전의 시스템들과 비교하여, 도 14의 AR 시스템(1400)과의 사이에서 중요한 차이는, 도파관들 각각의 DOE가 VFE의 역할을 하고, 이에 의해, 별도의 VFE에 대한 필요성이 제거된다는 것이 인지되어야 한다. 따라서, 유리하게, 원하는 심도 평면을 생성하기 위해, 이미지 슬라이스들(또는 평면들)이 적절한 도파관에 공급될 수 있다.

[0167] 예컨대, 도파관들의 스택의 제 1 도파관은, 콜리메이팅된 광을 안구에 전달하도록 구성된 제 1 회절 패턴을 가질 수 있고, 이는 광학 무한대 심도 평면을 대표할 수 있다. 다른 도파관은, 주입된 광을, 그 주입된 광이 1 미터의 거리로부터 오는 것처럼 보이게, 전달하도록 구성될 수 있다. 또 다른 도파관은, 주입된 광을, 그 주입된 광이 2 미터의 거리로부터 오는 것처럼 보이게, 전달하도록 구성될 수 있다. 적층형 도파관 어셈블리를 사용함으로써, 다수의 심도 평면들이 생성될 수 있고, 각각의 도파관은 이미지를 특정 심도 평면에 디스플레이하도록 구성된다는 것이 인지될 수 있다. 임의의 수의 도파관들/홀로그램들이 사용될 수 있지만, 다음의 논의는 6개의 심도 평면들을 생성하도록 구성된 6개의 적층형 홀로그램들에 대해 포커싱될 것이라는 것이 인지되어야 한다. 다시 말해, 상이한 심도 평면 상태들 사이에서 포커스를 급속하게 스위칭하는 VFE를 사용하기보다는, 도파관들 그 자체가 VFE들의 역할을 하고, 포커스의 원하는 심도에 따라 광이 하나(또는 그 초과의 도파관들)에 주입된다.

[0168] 적층형 도파관들이 추가로, 동적이도록 구성될 수 있어서, 하나 또는 그 초과의 도파관들이 턴 온 또는 턴 오프될 수 있다는 것이 인지되어야 한다. 일 실시예에서, 회절성 광학 엘리먼트들을 갖는 하나 또는 그 초과의 도파관들이 "온" 상태들("온" 상태들에서, 회절성 광학 엘리먼트들은 능동적으로 회절시킴)과 "오프" 상태들("오프" 상태들에서, 회절성 광학 엘리먼트들은 현저하게 회절시키지 않음) 사이에서 스위칭가능하다. 예컨대, 스위칭가능 DOE 도파관들은 폴리머 분산형 액정의 층을 포함할 수 있고, 여기서 마이크로드롭릿들은 호스트 매체에서 회절 패턴을 포함하고, 마이크로드롭릿들의 굴절률은 호스트 재료의 굴절률과 실질적으로 매칭하도록 스위칭될 수 있다(이 경우, 패턴은 입사광을 뚜렷하게 회절시키지 못함). 다른 실시예에서, 마이크로드롭릿은 호스트 매체의 인덱스와 매칭하지 않는 인덱스로 스위칭될 수 있다(이 경우, 패턴은 능동적으로 입사광을 회절시킴). 회절성 광학 엘리먼트들을 갖는 도파관들에 관한 더 많은 세부사항들은 대리인 정리 번호 ML 20011.00 하에, 2014년 11월 27일 출원되고, 발명의 명칭이 "VIRTUAL AND AUGMENTED REALITY SYSTEMS AND METHODS"인 미국 특허 출원 일련 번호 제 14/555,585호에 설명되어 있다.

[0169] 이제 도 15를 참조하면, 임베딩된 회절성 가이드 엘리먼트들의 스택을 사용하는 AR 시스템(1400)의 예시적 실시예가 이제 설명될 것이다. AR 시스템(1400)은 일반적으로, 프로세서(1402)(예컨대, 부가적인 컴포넌트들: 메모리(1412), GPU(1412), CPU(1416) 등을 또한 포함함), 적어도 하나의 FSD(1420), FSD 회로(1410), 커플링 광학기(1422), 및 회절성 엘리먼트들(1430)을 갖는 적층형 도파관들의 적어도 하나의 세트를 포함한다. 시스템(1400)은 (선택적으로) 안구-추적 서브시스템(1450)을 포함할 수 있다.

[0170] AR 시스템(1400)의 컴포넌트들 중 다수가 위에서 설명된 AR 시스템(500) 및 (800)과 유사하며, 그러므로 반복되지 않을 것이다. 위에서 논의된 바와 같이, 프로세서(1402)는, 도 15에 도시된 바와 같은 FSD 회로(1420)일 수 있는 공간 광 변조기에 하나 또는 그 초과의 이미지 평면들을 제공한다. 예시된 실시예에서, 안구마다 하나의 FSD(1420)가 사용된다. FSD(1420)는 FSD(1420)의 기능을 가능하게 하는 FSD 회로(1410)에 대응한다.

[0171] 다른 실시예들은 안구마다 다수의 FSD들을 가질 수 있지만(예컨대, 각각의 도파관에 대해 하나), 다음의 개시내용은 도 15의 예시적 실시예에 대해 포커싱될 것이라는 것이 인지되어야 한다. 예시된 실시예가 공간 광 변조기로서 FSD들을 사용하지만, 임의의 다른 공간 광 변조기(예컨대, DLP, OLED, LCD들, LCOS 등)가 유사하게 사용될 수 있다.

[0172] 많은 다른 공간 광 변조기들과 비교할 때, FSD(1420)는 컴팩트하고 높은 분해능을 갖는다는 것이 인지되어야 한다. 따라서, FSD(1420)는 AR 시스템의 웨어러블 버전들에서 상당한 효용성들을 가질 수 있다. FSD(1420)는, 이미지를 전달하기 위해 다양한 패턴들을 생성하도록 급속하게 진동하는 하나 또는 그 초과의 광섬유들을 FSD(1420)의 코어에 포함한다.

[0173] 하나 또는 그 초과의 실시예들에서, FSD(1420)는 단일 광섬유를 포함할 수 있거나 또는 다른 실시예들에서는 광을 다수의 채널들로 나눌 수 있는 다수의 광섬유들을 포함할 수 있다. 이러한 구현들에서, 광섬유들은 광을 벤딩(bend)하기 위해 스태거형(staggered) 팁들 또는 경사형(beveled) 또는 연마형(polished) 팁들을 가질 수 있어서, 채널들 사이의 광학 스패닝(optical spanning)을 감소시킨다. 광섬유들은 리본 케이블로서 편리하게 패키징될 수 있다. 적절한 광학기는 채널들 각각에 의해 생성되는 각각의 이미지들의 켤레(conjugate)를 생성할 수 있다. FSD(1420)는 또한, (위에서 설명된 FSD 회로(1410)에) 압전 트랜스듀서(1438) 및 압전 트랜스듀서를 중심으로 방사상으로 배열되는 전극들의 세트(도시되지 않음)를 포함한다.

[0174] 제어 신호들을, 예컨대 프레임 버퍼를 통해, 압전 트랜스듀서와 연관된 각각의 전극들에 인가하는 것은, 광섬유(들)의 전단부 또는 근단부가 발진 또는 진동하도록 야기할 수 있다. 임의의 또는 다양한 적어도 2-축 패턴들을 획득하기 위해, 진동들의 크기는 인가되는 드라이브 신호들을 통해 제어될 수 있다. 생성된 패턴들은 래스터(raster) 스캔 패턴, 나선형 스캔 패턴, 소용돌이형 스캔 패턴, 또는 리사주(Lissajous) 또는 도 8의 스캔 패턴일 수 있다.

[0175] 다중코어 섬유들은 디스플레이 분해능 향상(즉, 더 높은 분해능)에서 역할을 하도록 구성될 수 있다. 예컨대, 일 실시예에서, 별개의 픽셀 데이터가 다중코어 섬유의 19개의 코어들의 타이트한 번들에 전송되고, 그 클러스터가 다중코어의 직경과 거의 동일한 나선형의 피치를 갖는 드문 나선형 패턴으로 스캔 어라운드(scan around)되는 경우, 스위핑 어라운드(sweeping around)는, 단일 코어 섬유가 유사하게 스캔 어라운드(scan around)되는 것의 분해능의 대략 19배인 디스플레이 분해능을 효과적으로 생성할 것이다.

[0176] 실제로는, 섬유들이 서로에 대해 더 드물게 포지셔닝되는 것이 더 현실적일 수 있는데, 그 이유는 그것이 효율적인 타일링/16진 패턴이기 때문이며; 다른 패턴들 또는 숫자들, 예컨대 19의 클러스터가 활용될 수 있으며; 구성은 도관 내에 각각 하우징된 3개의 섬유들의 위 또는 아래로 스케일가능하다. 코어들이 서로 타이트하게 모두 패킹 및 스캐닝되는 구성과 반대로, 드문 구성을 이용시, 다중코어의 스캐닝은 코어들 각각을 그 자신의 로컬 구역을 통해 스캐닝한다(여기서, 코어들은 결국 스캐닝과 오버랩하며; 코어들이 서로에 대해 너무 가까운 경우, 코어의 "NA"(numerical aperture)는 충분히 크지 않고, 매우 가깝게 패킹된 코어들은 결국 서로 다소 블러링되어, 디스플레이를 위한 스팟을 구별가능한 것으로서 생성하지 못함). 따라서, 분해능이 증가되는 경우, 매우 조밀한 타일링보다는 드문 타일링을 갖는 것이 바람직할 수 있다. FSD들의 기능에 관한 더 많은 세부사항들은 미국 특허 출원 일련 번호 제 14/555,585호에 설명되어 있다.

[0177] 따라서, FSD(1420) 및 FSD 회로(1410)는 높은 분해능 및 밝기를 갖는 컴팩트한 공간 광 변조로서 사용될 수 있다. 작은 스팟 크기로 인해, FSD들이 통상적으로, 입사 동공 확장기 또는 직교 동공 확장기(도시되지 않음)와 같은 동공 확장기에 커플링된다는 것이 인지되어야 한다. 현재의 실시예가 공간 광 변조기가 FSD인 것으로 설명하지만, 다른 실시예들은 임의의 다른 공간 광 변조기(예컨대, DLP, LCD, OLED, LCOS 등)를 유사하게 사용할 수 있다는 것이 인지되어야 한다.

[0178] 도 15에 도시된 바와 같이, AR 시스템(1400)은 또한, FSD(1420)로부터의 광을 도파관 어셈블리(1430)에 지향시키기 위해 커플링 광학기(1422)를 포함한다. 커플링 광학기(1422)는, 광을 도파관 어셈블리(1430)로 지향시키기 위해 사용되는 하나 또는 그 초과의 종래의 렌즈들을 지칭할 수 있다. 하나 또는 그 초과의 실시예들에서, 광을 도파관 어셈블리(1430)의 특정 도파관에 스위칭가능하게 지향시키는 스위칭 엘리먼트(도시되지 않음)가 포함될 수 있다.

[0179] 그 다음으로, 도파관 어셈블리(1430)는 도 14에 도시된 바와 같이, 원하는 심도 평면(들)에 이미지를 투사하도록 구성된다. AR 시스템(1400)은 또한, 사용자의 안구들을 추적하고 사용자의 포커스를 결정하도록 구성되는 안구-추적 서브시스템(1450)을 포함할 수 있다.

[0180] 일 실시예에서, 안구-추적 서브시스템(1450)으로부터의 입력에 기반하여, 특정 DOE 그레이팅을 갖는 단지 하나의 도파관만이 턴 온될 수 있다. 다른 실시예들에서, 아래에서 논의될 바와 같이, 각각의 DOE 그레이팅들을 갖는 다수의 도파관들이 동시에 턴 온될 수 있다.

[0181] 일 실시예에서, AR 시스템(1400)은 위에서 설명된 AR 시스템(600)과 같은 다중-평면 포커스 시스템으로서 동작할 수 있다. 다시 말해, 모든 6개의 DOE 엘리먼트들(예컨대, 도파관 어셈블리(1430)의 모든 6개의 도파관들)이 동시에 턴 온될 수 있어서, FSD(1420)가 이미지 정보를 도파관 1에, 그 다음으로, 도파관 2에, 그 다음으로 도파관 3 등등에 신속하게 전달함에 따라, 6개의 고정된 심도 평면들이 신속하게 연속적으로 생성된다.

[0182] 예컨대, 광학 무한대에서 하늘의 이미지를 포함하는, 원하는 이미지의 부분은 시간 1에서 주입될 수 있고, 광의 콜리메이션을 유지하는 회절 그레이팅이 활용될 수 있으며; 그 다음으로, 더 가까운 나뭇가지의 이미지가 시간2에서 주입될 수 있고, 그리고 10 미터 떨어져 심도 평면을 생성하도록 구성된 DOE가 활용될 수 있고; 그 다음으로, 펜의 이미지가 시간 3에서 주입될 수 있고, 1 미터 떨어져 심도 평면을 생성하도록 구성된 DOE가 활용될 수 있다. 이러한 종류의 패러다임은, 안구/뇌가 입력을 동일한 이미지의 모든 부분인 것으로 인지하도록, 그리고 다수의 이미지 평면들/슬라이스들이 거의 동시에 사용자에 의해 인지되도록, 급속 시간 순차적 방식으로 반복될 수 있다.

[0183] 위에 논의된 바와 같이, 스택형 구성(1430)은, (정적 도파관들 및 렌즈들이 아니라) 동적 도파관들을 활용하여 다중-평면형 포커싱을 동시에 제공할 수 있다. 예컨대, 3개의 동시적인 초점 평면들에 대해, (예컨대, 측정된 안구 원근조절에 기반하여) 1차 포커스 평면이 사용자에게 제시될 수 있고, 평면들이 업데이트될 필요가 있기 전에 사용자가 원근조절할 수 있는 큰 초점 레인지를 제공하기 위해 + 마진(margin) 및 - 마진(즉, 하나의 초점 평면은 더 가깝게, 하나는 더 멀게)이 활용될 수 있다. 증가된 초점 레인지는, 사용자가 더 가까운 또는 더 먼 포커스로 (즉, 원근조절 측정에 의해 결정되는 바와 같이) 스위칭하면 시간적인 장점을 제공할 수 있다. 그 후, 포커스의 새로운 평면은 중간 심도의 포커스이도록 이루어질 수 있고, AR 시스템이 원근조절에서의 변경들을 정정하는 동안, + 및 - 마진들은 어느 하나로 스위칭 오버(switching over)된다.

[0184] 그러나, 이러한 시나리오는, 다수의 도파관들에 주입되는 이미지들의 상이한 이미지들/부분들을 신속하게 생성할 만큼 충분히 빠르게 FSD(1420)가 동작할 수 있다는 것을 가정한다. 다른 실시예(도시되지 않음)에서, 각각의 회절 엘리먼트들을 갖는 도파관들 각각은, 별개의 FDS(예컨대, 6개의 상이한 FSD들, 이들 각각은 특정 심도 평면에 대응하는 각각의 도파관 상에 광을 주입함)를 통해 광을 수신할 수 있다.

[0185] 다시 말해서, 각각의 FDS가 합당한 속도로 동작함으로써, DOE 1에는 하늘의 이미지를 반송하는 FSD 1로부터의 광이 주입되고, DOE 2에는 나뭇가지의 이미지를 반송하는 FSD 2로부터의 광이 주입되고, DOE 3에는 펜의 이미지를 반송하는 FSD 3으로부터의 광이 주입되는 그러한 식이다. 따라서, (6개의 도파관들 전부에 공급될(그리고 각각의 도파관으로 스위칭 또는 지향될) 이미지들 전부를 신속하게 생성하는 단일 FSD 대신 다수의 FSD들을 가짐으로써, 각각의 FSD는 오직, 자신의 이미지들과 연관된 광을 오직 그들 자신의 각각의 도파관에만 주입하기에 충분한 합리적인 속도로 동작할 필요가 있다. 그러나, 이러한 접근법은, 광학기 관점에서는 이상적이지만, 컴팩트 웨어러블 AR 시스템 상에 구현하는 것은 다루기가 어렵다는 것을 알 수 있다.

[0186] 이러한 목적을 위해, 원하는 심도 평면(또는 평면들)이 사용자의 포커스 심도와 일치하도록, 안구-추적 시스템(1450)이 활용될 수 있다. 이러한 실시예는, 위에 논의된 가변적 평면 포커스 시스템(예컨대, 도 11)과 다소 유사하게 기능한다. AR 시스템(1400)의 맥락에서, 안구-추적 시스템(1450)으로부터의 입력에 기반하여, 사용자의 포커스와 일치하는 원하는 심도 평면에서 이미지가 생성되도록, 특정 도파관이 턴 온될 수 있다.

[0187] 예컨대, 사용자의 안구들이 서로 평행하다는 것(즉, 무한대로 포커싱됨)이 결정되면, AR 시스템은, 사용자의 현재 포커스 상태에 일치하는 광학 무한대에 가상 이미지가 나타나도록 콜리메이팅된 광을 사용자의 안구들에 전달하도록 구성되는 DOE를 갖는 도파관을 턴 온시킬 수 있다. 다른 예에서, 사용자의 안구들이 1미터의 거리에 있는 포커스로 퍼지고 있다고 안구-추적 서브-시스템(1450)이 결정하면, 거의 그 레인지 내로 포커싱하도록 구성되는 다른 DOE를 갖는 다른 도파관이 대신 턴 온될 수 있다. 이러한 특정 실시예에서, 임의의 주어진 시간(예컨대, 프레임 당)에서 오직 하나의 도파관이 턴 온되는 한편, 나머지 DOE들은 턴 오프된다는 것이 인지되어야 한다.

[0188] 또는, 다른 실시예에서, 위에서 설명된 하이브리드 AR 시스템(1200)과 유사하게, 대응하는 심도 평면들이 서로 가까이 위치하는 DOE들을 갖는 2개의 도파관들이 동시에 턴 온될 수 있다.

[0189] 또 다른 실시예에서, 사용자의 광학기의 시야를 증가시키기 위해, 타일링 접근법이 이용되어, 2개 (또는 그 초과의) 세트들의 스택형 DOE 도파관들이 사용될 수 있으며, 이들 각각은 대응하는 FSD(또는 임의의 다른 타입의 공간 광 변조기)를 갖는다. 따라서, 한 세트의 스택형 도파관들 및 대응하는 FSD가 사용되어 사용자의 안구의 중심에 가상 콘텐츠를 전달할 수 있는 한편, 다른 세트의 스택형 도파관들 및 다른 대응하는 FSD가 사용되어 사용자의 안구들의 주변에 가상 콘텐츠를 전달할 수 있다.

[0190] 위와 유사하게, 도파관들의 각각의 스택은, 6개의 심도 평면들 각각에 대해 각각이 상이한 DOE들을 갖는 6개의 도파관들을 포함할 수 있다. 둘 모두의 스택들을 함께 사용하여, 사용자의 시야가 현저히 증가된다. 게다가, 2개의 상이한 스택들의 DOE들 및 FSD들을 갖는 것은, 사용자의 안구들의 중심에 프로젝팅되는 가상 콘텐츠에 비교할 경우 약간 상이한 가상 콘텐츠가 사용자의 안구들의 주변에 프로젝팅될 수 있는 더 큰 유연성을 제공한다. 타일링 접근법에 대한 더 많은 세부사항들은, "Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality"이라는 명칭으로 동시 출원된 미국 가특허 출원 일련번호 제 62/005,865호(대리인 문서 번호 ML30018)에서 설명된다.

[0191] 스택형 DOE들/도파관들은 부가적으로, FSD의 개구수를 증가시키기 위해 EPE(entrance pupil expander)로서 기능한다는 것이 인지되어야 한다. FSD가 작은 직경/스폿 사이즈의 광을 생성하므로, EPE는 도파관 내의 광이 사용자의 안구들에 도달하도록 그 광을 확장시킨다. AR 시스템(1400)의 다른 실시예에서, 시스템은, x 및 y 방향 둘 모두로 광을 확장시키기 위해, EPE에 부가하여 직교 동공 확장기를 더 포함할 수 있다. EPE들 및 OPE들에 관한 더 많은 세부사항들은, 위에 참조된 미국 가특허 출원 일련번호 제 61/909,174호 및 미국 가특허 출원 일련번호 제 62/005,807호에서 설명된다.

[0192] 다른 타입들의 동공 확장기들은 FSD를 이용한 시스템들에서 유사하게 사용될 수 있다. FSD들이 높은 분해능, 밝기를 제공하고 컴팩트하지만, FSD들은, 작은 개구수(즉, 작은 스폿 사이즈)를 갖는 경향이 있다. 따라서, 공간 광 변조기로서 FSD들을 사용하는 시스템들은 통상적으로, 생성된 광의 개구수를 증가시키도록 본질적으로 작동하는 몇몇 타입의 동공 확장기를 이용한다. FSD들에 의해 생성되는 좁은 빔의 광을 확장시키기 위해, EPE들 및/또는 OPE들로서 기능하는 도파관들을 일부 시스템들이 사용할 수 있지만, 다른 실시예들은 좁은 빔의 광을 확장시키기 위해 확산기들을 사용할 수 있다.

[0193] 하나 또는 그 초과의 실시예들에서, 확산기는 광을 산란시키는 지형의 작은 비트들을 생성하도록 광섬유의 단부를 에칭함으로써 생성될 수 있으며, 다른 변형에서, 비드(bead) 또는 샌드블라스팅(sandblasting) 기술, 또는 직접 샌딩(sanding)/스커핑(scuffing) 기술이 활용되어 산란 지형을 생성할 수 있다. 다른 변형에서, 회절성 렌즈를 사용하는 개념과 결부된 바람직한 NA로 깨끗한 스폿 사이즈를 유지하기 위해, 회절성 엘리먼트와 유사한 엔지니어링된 확산기가 생성될 수 있다. 다른 변형들에서, PDLC 확산기들의 스택이 사용되어, FSD를 통해 생성되는 광의 개구수를 증가시킬 수 있다.

[0194] AR 시스템의 또 다른 실시예에서, 위에서 설명된 AR 시스템(500) 또는 AR 시스템(800)과 유사한 시스템에서 FSD가 사용될 수 있다. 그러나, FSD의 작은 스폿 사이즈를 원근조절하기 위해, 시스템은, FSD를 통해 생성된 광을 확장시키는 한 세트의 PDLC 확산기들을 더 포함한다.

[0195] 도 16을 참조하면, 한 세트의 PDLC 확산기들을 사용하는 AR 시스템(1500)(예컨대, FSD를 사용하는 AR 시스템(800))의 예시적 실시예가 이제 설명될 것이다. AR 시스템의 이러한 특정 실시예는, 위에서 설명된 가변적 평면 포커스 시스템(예컨대, AR 시스템(800))의 컴포넌트들, 즉, 이미지 생성 프로세스(1502)(예컨대, 부가적인 컴포넌트들, 즉, GPU(1524), 메모리(1522), CPU(1526) 등을 포함함), 하나 또는 그 초과의 VFE들(1510), 복수의 렌즈들/광학 엘리먼트들 및 미러들(1506), 메니스커스 렌즈들 또는 접안렌즈(1508), 및 안구 추적 서브시스템(1514) 전부를 포함한다. 시스템은 또한 FSD(1504)를 포함하고, 시스템은, 스택형 PDLC 확산기 어레인지먼트(1520)를 더 포함한다. 도시되진 않았지만, FSD(1504)는 또한, 표준 FSD 회로(도시되지 않음) 및 도 15에 예시된 것과 유사한 이미지 생성 프로세서(1502)와 통신하기 위한 다른 회로를 포함할 수 있다.

[0196] 스택형 PDLC 확산기들(1520)은 하나 또는 그 초과의 층들의 PDLC 확산기들을 포함한다. PDLC 확산기들의 스택(1520)의 각각의 PDLC 확산기는, VFE(1510)로부터 생성되는 포커싱된 광을 확산시키고 생성된 광 빔의 개구수를 증가시키도록 구성된다. 그러나, VFE(1520)가 빔을 포커싱할 수 있는 곳을 예측하는 것은 어려울 수 있다. 따라서, 시스템은, 단일 PDLC 확산기를 사용하기 보다는, VFE가 포커싱할 수 있는 레인지 내에서 이미지를 확장시키기 위해 한 세트의 스택형 PDLC 확산기들(1520)을 포함한다. PDLC 확산기들의 스택(1520)은, 임의의 주어진 시점(예컨대, 프레임 당)에서 PDLC들의 스택 중 오직 하나의 층만이 턴 온될 수 있도록, 동적으로 턴 온 및 오프될 수 있다는 것이 인지되어야 한다. AR 시스템(1500)의 나머지 컴포넌트들은 앞서 설명된 시스템들에 관하여 위에서 설명된 컴포넌트들과 유사하게 기능하며, 간결성의 목적들을 위해 다시 설명되지 않을 것이다.

[0197] 더 상세하게는, 이제 도 17을 참조하면, 작은 NA를 갖는 광 빔(1602)이 FSD(1504)에 의해 출력되고 VFE(1510)에 의해 원하는 바와 같이 포커싱된다. 포커싱된 광은 도 17에 도시된 바와 같이 특정 PDLC 확산기 층(1520)에 부딪치고(예시된 실시예에서, 광은 다섯번째 PDLC 층에 부딪침), 이는 그 후, 포커싱된 광 빔의 개구수를 증가시키기 위한 확장기(예컨대, EPE)로서 동작한다. 포커싱되고 확장된 광 빔은 그 후, 원하는 초점 평면에서 이미지를 생성하기 위해, 한 세트의 광학 렌즈들/미러들(1506)을 통과한다. 각각의 PDLC 층은, 확산 및 투과(transparent) 모드 둘 모두를 가지며, 이는 특정 PDLC 층에 전압을 인가함으로써 변조될 수 있다. 하나 또는 그 초과의 실시예들에서, 단일 PDLC 층만이 프레임 당 확산 모드 하에 있는 한편, 나머지 층들은 투과 모드에 있다. 다른 실시예들은, 한 번에(예컨대, 프레임 당) 2개 또는 그 초과의 PDLC 층들을 동시적으로 활성화할 수 있다.

[0198] 위의 경우처럼, 스택형 PDLC 층의 수는, 원하는 심도 평면들의 수 (예컨대, 도 17에 도시된 것처럼, 6)에 대응한다. 광학기 시스템(렌즈, 빔 스플리터 등)의 나머지는, 위에서 설명된 다른 시스템(예컨대, AR 시스템(800))과 유사한 방식으로 기능하며, 간략화를 위해 다시 설명되지 않을 것이다.

[0199] 일 실시예에서, AR 시스템(1500)은, 대응하는 PDLC 층에 의해 적절하게 각각 확장된 고정된 심도 평면들을 VFE가 생성하도록, AR 시스템(500)과 유사한 다중 평면형 초점 시스템으로서 작동할 수 있다. 이것은, (예컨대, 도 1의 360Hz DLP와 유사하게) 높은 프레임 레이트로 이미지 정보를 생성하도록 구성된 FSD, 및 (예컨대, AR 시스템(500)의 변형가능한 미러 멤브레인 VFE와 유사하게) 상이한 초점 평면들이 신속하게 연속적으로 생성되도록 포커스를 신속하게 스위칭할 수 있는 VFE를 요구한다. 위의 요건들 둘 모두가 충족된다고 가정하면, 이러한 시스템은, 심도 평면 1이 생성되고, 후속하여 심도 평면 2, 후속하여 심도 평면 3 등이 생성되도록 다중-평면형 초점 시스템으로서 기능할 수 있다. 또한, 이것은 물론, PDLC 스택이 빠른 VFE를 따라 잡기 위해 다양한 층들을 신속하게 스위칭 온 및 오프할 수 있다고 가정한다. AR 시스템(500)에서의 경우처럼, 고정된 심도 평면들은 매우 신속하게 생성되므로, 사용자는, 다수의 초점 평면들이 동시에 생성되는 것으로서 이것을 인지한다.

[0200] 그러나, 도 16을 다시 참조하면, 다른 실시예에서, 시스템은, 사용자의 포커스를 결정하고 사용자의 포커스와 일치하는 PDLC 층만을 턴 온시키기 위해, 안구-추적 서브시스템(1514)을 사용할 수 있다. 따라서, 이와 같은 시스템은, 단일 심도 평면만이 주어진 시점에서 생성되도록 위에서 설명된 AR 시스템(800)과 유사한 가변적 평면 포커스 시스템으로서 작동할 수 있다. 예컨대, 사용자의 안구가 광학 무한대에 포커싱된다고 안구-추적 서브시스템(1514)이 결정한다고 가정하면, 그에 따라서, VFE(1510)는 FSD에 의해 생성된 이미지 광 빔을 포커싱할 수 있다.

[0201] 그 후, 이러한 포커싱된 광 빔은, 확장된 광 빔을 생성하기 위해, 스택형 PDLC들(1520)의 특정한 층에 부딪치며, 그 후, 확장된 광 빔은 사용자의 안구에 도달하기 전에 나머지 광학기를 통과한다. 따라서, 가변적 초점 평면 방식으로 동작할 경우, 안구-추적 서브시스템은, VFE로부터 도래하는 포커싱된 광 빔을 그에 따라 확장시키기 위해 PDLC 층의 어떤 층이 턴 온되어야 하는지를 결정하기 위해 사용된다.

[0202] 설명된 모든 다양한 AR 시스템들에서, 사용자가 3D로 가상 객체들을 인지할 수 있도록 VFE의 속도 및 기능이 하나 또는 그 초과의 심도 평면들을 생성하는 효율에 직접적으로 관련된다는 것은 명백하다. AR 시스템(500)에서 사용되는 VFE(예컨대, 변형가능한 미러 멤브레인, VFE)가 빠르며, 포커스 평면들을 빠르게 변경할 수 있지만, 위에서 설명한 것처럼, 그것은 대단히 얇고 부서지기 쉬우며, 따라서, AR 시스템의 웨어러블 버전들에서 사용되는 경우 난제를 제기한다. AR 시스템 (800)에서 사용되는 VFE들은, 덜 부서지기 쉽지만, 멤브레인 렌즈 VFE처럼 포커스에서의 신속한 변경이 가능하지 않으며, 따라서, 6개의 심도 평면들보다는 단일 심도 평면의 생성을 유도하고, 안구 추적 시스템들의 사용을 요구한다.

[0203] 부가적으로, 현재의 VFE들에 대해, VFE가 포커스를 변경하는 동안 지연을 야기하는 설정 시간이 통상적으로 존재한다. 이것은, 부분적으로는 VFE들이 속성상 탄성인 경향이 있기 때문일 수 있으며, 포커스를 빠르게 변경하는 경우, 공기/자연 환경의 존재 시에 자연스럽게 이동하거나 흔들릴 수 있다(예컨대, 1밀리초 설정 시간). 설정 시간은 VFE의 속도 및 효율에 직접적인 영향을 줄 수 있다. 따라서, 신속한 변화가 가능하지만 지나치게 부서지기 쉽지는 않은 VFE가 AR 시스템에서 유용할 수 있다.

[0204] 이를 위해, 피에조 재료에 의해 구동되는 기계적 습식 렌즈 VFE는, 설정 시간을 감소시키고 VFE의 효율을 증가시키도록 생성될 수 있다. 도 18을 참조하면, 기계적 습식 렌즈 VFE(1700)는, 밀봉된 렌즈 챔버(1702), 상이한 굴절률들 n1 및 n2를 포함하는 2개의 비혼합 액체들(1704 및 1706), 제 1 피에조 링(1708) 및 제 2 피에조 링(1710)을 포함한다.

[0205] 밀봉된 렌즈 챔버(1702)는, 비혼합 액체들(1704 및 1706) 및 피에조 링들(1708 및 1710)을 홀딩한다. 하나 또는 그 초과의 실시예들에서, 밀봉된 렌즈 챔버(1702)는 어떠한 공기도 없으므로, 기계적 습식 렌즈(1700)가 외부 환경에 의해 최소로 영향을 받게 한다. 비혼합 액체들(1704 및 1706)은, 그들의 비혼합성 및 그들 각각의 굴절률들 n1 및 n2에 기반하여 선택될 수 있다. 선택된 액체의 타입은 VFE(1700)의 애플리케이션에 기반하여 변화할 수 있다.

[0206] 도 18에 도시된 것처럼, (굴절률들 n1 및 n2를 갖는) 액체들 사이의 인터페이스는, 원하는 것처럼 포커싱될 수 있는 광학 표면 또는 광학 인터페이스(VFE)(1720)로서 작동한다. 즉, 광학 인터페이스(1720) 그 자체는, VFE로서 기능하며, 피에조 링들을 통해 상이한 정도들의 압력을 적용함으로써 포커스를 신속하게 스위칭하기 위해 사용될 수 있다.

[0207] 예시된 것처럼, 광학 표면(1720)의 형상은, 피에조 링들(1708 및 1710)의 쌍을 통해 압력을 적용함으로써 변화될 수 있다. 비혼합 액체들의 볼륨이 일정하게 유지된다고 가정하면, 광학 인터페이스(1720)의 형상(예컨대, 곡률)은, 피에조 링들의 사이즈가 변경되는 경우 반드시 변한다. 피에조 링들(1708 및 1710)의 사이즈를 변경하는 것은 액체들의 분포 n1 및 n2를 변경하며, 그에 의해, 액체 인터페이스의 곡률을 변경한다. 따라서, 피에조 링들(1708 및 1710)을 제어함으로써, 광학 표면(1720)의 곡률은 원하는 것처럼 변화될 수 있다.

[0208] 예컨대, 도 18에 도시된 것처럼, 좌측에서, 피에조 링(1710)의 사이즈는 피에조 링(1708)보다 더 크다. 따라서, 액체 n2는 푸시 업되어, 광학 표면(1720)에서 곡률을 생성한다. 유사하게, 우측에서, 피에조 링(1708)의 사이즈는 증가되는 반면, 피에조 링(1710)의 사이즈는 작게 유지된다. 따라서, 액체 n1은 푸시 다운하여, 광학 표면(1720)의 대향 곡률을 생성한다.

[0209] 또 다른 실시예에서, 2개의 피에조 링들(예컨대, 도 18)을 사용하기보다, 기계적 습식 렌즈들 VFE의 다른 실시예(1800)는 대신, 도 19에 도시된 것처럼 단일 링 벤더(1840)를 사용할 수 있다. 도 19를 참조하면, 비혼합 액체 n1 및 n2는 링 벤더(1840)에 의해 유사하게 분리된다. 그러나, 피에조 링들의 사이즈를 증가시키기보다, 링 벤더는, 광학 표면(1820)의 곡률을 변경하기 위한 다양한 정도들로 벤딩될 수 있다. 예컨대, 좌측에서, 링 벤더(1840)는, 링의 내부 부분이 푸시 다운되도록 벤딩된다. 이것은, 액체 n2가 광학 표면(1820) 상에서 푸시 업되게 하여, 도 19의 좌측에 도시된 것처럼 곡률을 생성한다. 유사하게, 우측에서, 링의 외부 부분이 푸시 다운되도록 링 벤더(1840)가 벤딩되는 경우, 액체 n1은 광학 표면 상에서 푸시 다운되어, 도 19의 우측에 도시된 것처럼 상이한 곡률을 생성한다. 기계적 습식 렌즈들 VFE(1700 또는 1800)가 표준 VFE(예컨대, AR 시스템(500), AR 시스템(800), 하이브리드 시스템(1200) 또는 AR 시스템(1500)) 대신, 위에서 설명된 AR 시스템들 중 임의의 시스템에서 사용될 수 있음이 인식된다.

[0210] 전술한 명세서에서, 본 발명은 본 발명의 특정 실시예들을 참조하여 설명되었다. 그러나, 본 발명의 더 넓은 사상 및 범위를 벗어나지 않으면서 다양한 변형들 및 변화들이 본 발명에 행해질 수 있다는 것은 명백할 것이다. 예컨대, 위에서-설명된 프로세스 흐름들은, 프로세스 동작들의 특정한 순서를 참조하여 설명된다. 그러나, 설명된 프로세스 동작들 대부분의 순서는 본 발명의 범위 또는 동작에 영향을 주지 않으면서 변화될 수 있다. 따라서, 명세서 및 도면들은 제한적인 의미보다는 예시적인 의미로 간주될 것이다.

[0211] 본 발명의 다양한 예시적 실시예들이 본원에서 설명된다. 비-제한적인 의미로 이들 예들에 대한 참조가 행해진다. 그 예들은, 본 발명의 더 넓게 적용가능한 양상들을 예시하기 위해 제공된다. 다양한 변화들이 설명된 발명에 대해 행해질 수 있으며, 등가물들이 본 발명의 실제 사상 및 범위를 벗어나지 않으면서 대체될 수 있다. 부가적으로, 많은 변형들은, 특정한 상황, 재료, 재료의 조성, 프로세스, 프로세스 동작(들) 또는 단계(들)을 본 발명의 목적(들), 사상 또는 범위에 적응시키도록 행해질 수 있다. 추가적으로, 본원에서 설명되고 예시된 개별 변동들 각각은, 본 발명들의 사상 또는 범위를 벗어나지 않으면서 다른 수 개의 실시예들 중 임의의 실시예의 특징들로부터 용이하게 분리될 수 있거나 그들과 결합될 수 있는 별개의 컴포넌트들 및 특징들을 갖는다는 것이 당업자들에 의해 인식될 것이다. 그러한 모든 변형들은, 본 개시내용과 연관된 청구항들의 범위 내에 있는 것으로 의도된다.

[0212] 본 발명은, 본 발명의 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은, 그러한 적절한 디바이스를 제공하는 동작을 포함할 수 있다. 그러한 제공은 최종 사용자에 의해 수행될 수 있다. 즉, "제공하는" 동작은 단지, 최종 사용자가 본 방법에서 필수적인 디바이스를 제공하도록 획득, 액세스, 접근, 포지셔닝, 셋업, 활성화, 파워-업 또는 그렇지 않으면 동작하는 것을 요구한다. 본원에서 인용된 방법들은, 논리적으로 가능한 임의의 순서의 인용된 이벤트들뿐만 아니라 인용된 순서의 이벤트들에서 수행될 수 있다.

[0213] 본 발명의 예시적인 양상들은, 재료 선택 및 제조에 대한 세부사항들과 함께 위에서 기재되었다. 본 발명의 다른 세부사항들에 대해, 이들은, 위에서-참조된 특허들 및 공개공보들과 관련하여 인식될 뿐만 아니라 당업자들에 의해 일반적으로 알려지거나 인식될 수 있다. 공통적으로 또는 논리적으로 이용되는 바와 같이 부가적인 동작들의 관점들에서 본 발명의 방법-기반 양상들에 대해 동일한 것이 참으로 유지될 수 있다.

[0214] 부가적으로, 본 발명이 다양한 특징들을 선택적으로 포함하는 수 개의 예들을 참조하여 설명되었지만, 본 발명은, 본 발명의 각각의 변동에 대해 고려된 바와 같이 설명 또는 표시된 것으로 제한되지 않을 것이다. 다양한 변화들이 설명된 발명에 대해 행해질 수 있으며, (일부 간략화를 위해 본원에서 인용되었는지 또는 포함되지 않았는지 여부에 관계없이) 등가물들이 본 발명의 실제 사상 및 범위를 벗어나지 않으면서 대체될 수 있다. 부가적으로, 값의 레인지가 제공되는 경우, 그 레인지의 상한과 하한 사이의 모든 각각의 개재값 및 그 나타낸 레인지 내의 임의의 다른 나타낸 또는 개재값은 본 발명 내에 포함된다.

[0215] 또한, 설명된 본 발명의 변동들의 임의의 선택적인 특징이 독립적으로 또는 본원에서 설명된 특징들 중 임의의 하나 또는 그 초과와 조합하여 서술되고 청구될 수 있다는 것이 고려된다. 단수 아이템에 대한 레퍼런스는 복수의 동일한 아이템들이 존재할 가능성을 포함한다. 더 구체적으로, 본원에서 그리고 본원과 연관된 청구항들에 사용된 바와 같이, 단수 형태들은, 구체적으로 달리 언급되지 않으면 한 복수형 대상들을 포함한다. 즉, 관사의 사용은 위의 설명 뿐만 아니라 본 개시내용과 연관된 청구항들에서 주제 아이템의 "적어도 하나"를 허용한다. 이러한 청구항들은 임의의 선택적인 엘리먼트를 배제하도록 작성될 수 있음을 추가로 주목한다. 따라서, 이러한 서술은 청구항 엘리먼트들의 인용 또는 "부정적인" 제한의 사용과 관련하여 "단독으로", "오직" 등과 같은 이러한 배타적인 용어의 사용을 위한 선행 기준으로서 기능하는 것으로 의도된다.

[0216] 이러한 배타적인 용어의 사용 없이, 본 개시내용과 연관된 청구항들에서 "포함하는"이라는 용어는, 주어진 수의 엘리먼트들이 이러한 청구항들에서 열거되는지 또는 특징의 부가가 이러한 청구항들의 엘리먼트 세트의 성질을 변환하는 것으로 간주될 수 있는지 여부와 무관하게, 임의의 부가적인 엘리먼트의 포함을 허용할 것이다. 본원에서 구체적으로 정의된 경우를 제외하고, 본원에서 사용되는 모든 기술적 및 과학적 용어들은 청구항 유효성을 유지하면서 가능한 한 널리 통상적으로 이해되는 의미로 제공되어야 한다.

[0217] 본 발명의 범위는 제공된 예들 및/또는 본 명세서로 제한되는 것이 아니라 오히려 본 개시내용과 연관된 청구항 언어의 범위에 의해서만 제한된다.

[0218] 예시된 실시예들에 대한 위의 설명은, 한정적인 것 또는 실시예들을 개시된 정확한 형태들로 제한하려는 의도가 아니다. 특정 실시예들 및 예들이 예시적인 목적으로 본원에서 설명되지만, 관련 기술분야의 당업자들에 의해 인식되는 바와 같이, 본 개시내용의 사상 및 범위를 벗어나지 않고 다양한 균등 수정들이 행해질 수 있다. 다양한 실시예들의 본원에서 제공되는 교시들은, 가상 또는 AR 또는 하이브리드 시스템들을 구현하고 그리고/또는 사용자 인터페이스들을 이용하는 다른 디바이스들에 적용될 수 있고, 반드시 위에서 일반적으로 설명된 예시적인 AR 시스템들일 필요는 없다.

[0219] 예컨대, 전술한 상세한 설명은 블록 다이어그램들, 개략도들 및 예들의 사용을 통해 디바이스들 및/또는 프로세스들의 다양한 실시예들을 서술한다. 이러한 블록 다이어그램들, 개략도들 및 예들이 하나 또는 그 초과의 기능들 및/또는 동작들을 포함하는 한, 본 기술분야의 당업자들은, 이러한 블록 다이어그램들, 흐름도들 또는 예들 내의 각각의 기능 및/또는 동작이 광범위한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 실질적으로 임의의 조합으로 개별적으로 및/또는 집합적으로 구현될 수 있음을 이해할 것이다.

[0220] 일 실시예에서, 본 청구대상은 ASIC(Application Specific Integrated Circuit)들을 통해 구현될 수 있다. 그러나, 본 기술분야의 당업자들은, 본원에서 개시된 실시예들이 전체적으로 또는 부분적으로, 표준 집적 회로들, 예컨대, 하나 또는 그 초과의 컴퓨터들에 의해 실행되는 하나 또는 그 초과의 컴퓨터 프로그램들(예컨대, 하나 또는 그 초과의 컴퓨터 시스템들 상에서 실행되는 하나 또는 그 초과의 프로그램들), 하나 또는 그 초과의 제어기들(예컨대, 마이크로제어기들)에 의해 실행되는 하나 또는 그 초과의 프로그램들, 하나 또는 그 초과의 프로세서들(예컨대, 마이크로프로세서들)에 의해 실행되는 하나 또는 그 초과의 프로그램들, 펌웨어, 또는 이들의 실질적으로 임의의 조합으로 등가적으로 구현될 수 있고, 회로를 설계하는 것 및/또는 소프트웨어 및 펌웨어에 대한 코드를 기입하는 것은 본 개시내용의 교시들의 관점에서 본 기술분야의 당업자의 기술 내에 있을 것임을 인식할 것이다.

[0221] 로직이 소프트웨어로서 구현되고 메모리에 저장되는 경우, 로직 또는 정보는 임의의 프로세서-관련 시스템 또는 방법에 의해 또는 그와 관련하여 사용하기 위해 임의의 컴퓨터-판독가능 매체상에 저장될 수 있다. 본 개시내용의 콘텍스트에서, 메모리는 컴퓨터 및/또는 프로세서 프로그램을 포함하거나 저장하는 전자, 자기, 광학 또는 다른 물리적 디바이스 또는 수단인 컴퓨터-판독가능 매체이다. 로직 및/또는 정보는, 명령 실행 시스템, 장치 또는 디바이스, 이를테면, 컴퓨터-기반 시스템, 프로세서-포함 시스템, 또는 명령 실행 시스템, 장치 또는 디바이스로부터 명령들을 페치할 수 있고 로직 및/또는 정보와 연관된 명령들을 실행할 수 있는 다른 시스템에 의해 또는 그와 관련하여 사용하기 위한 임의의 컴퓨터-판독가능 매체에 구현될 수 있다.

[0222] 본 명세서의 콘텍스트에서, "컴퓨터-판독가능 매체"는, 명령 실행 시스템, 장치 및/또는 디바이스에 의해 또는 그와 관련하여 사용하기 위한 로직 및/또는 정보와 연관된 프로그램을 저장할 수 있는 임의의 엘리먼트일 수 있다. 컴퓨터-판독가능 매체는, 예컨대, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 디바이스일 수 있지만, 이에 제한되는 것은 아니다. 컴퓨터 판독가능 매체의 더 구체적인 예들 (비한정적인 리스트)은, 하기의 것들, 즉, 휴대용 컴퓨터 디스켓(자기, 컴팩트 플래시 카드, 보안 디지털 등), RAM(random access memory), ROM(read-only memory), 소거 가능한 프로그래밍가능 판독 전용 메모리(EPROM, EEPROM 또는 플래시 메모리), 휴대용 CDROM(compact disc read-only memory), 디지털 테이프 및 다른 비일시적인 매체를 포함할 것이다.

[0223] 본원에서 설명된 방법들 중 많은 방법들은 변동들로 수행될 수 있다. 예컨대, 방법들 중 많은 방법들은 부가적인 동작들을 포함할 수 있고, 일부 동작들을 생략할 수 있고 그리고/또는 예시되거나 설명된 것과는 상이한 순서로 동작들을 수행할 수 있다.

[0224] 위에서 설명된 다양한 실시예들은 추가적인 실시예들을 제공하도록 결합될 수 있다. 본원의 특정 교시들 및 정의들과 모순되지 않는 범위에서, 미국 특허들, 미국 특허 출원 공보들, 미국 특허 출원들, 외국 특허들, 외국 특허 출원들 및 비-특허 공보들 모두는 본 명세서에서 언급되고 그리고/또는 출원 데이터 시트에서 리스트되었다. 실시예들의 양상들은, 필요하다면, 다양한 추가적인 실시예들을 제공하기 위해 다양한 특허들, 출원들 및 공보들의 시스템들, 회로들 및 개념들을 이용하도록 수정될 수 있다.

[0225] 위의 상세한 설명의 관점에서 본 실시예들에 대한 이러한 변경들 및 다른 변경들이 행해질 수 있다. 일반적으로, 다음의 청구항들에서, 사용되는 용어들은, 청구항들을 명세서 및 청구항들에 개시된 특정 실시예들로 제한하는 것으로 해석되는 것이 아니라, 이러한 청구항들에 부여되는 균등물들의 전체 범위와 함께 모든 가능한 실시예들을 포함하는 것으로 해석되어야 한다. 따라서, 청구항들은 본 개시내용에 의해 제한되지 않는다.

[0226] 또한, 위에서 설명된 다양한 실시예들은 추가적인 실시예들을 제공하도록 결합될 수 있다. 실시예들의 양상들은, 필요하다면, 다양한 추가적인 실시예들을 제공하기 위해 다양한 특허들, 출원들 및 공보들의 개념들을 이용하도록 수정될 수 있다.

[0227] 위의 상세한 설명의 관점에서 본 실시예들에 대한 이러한 변경들 및 다른 변경들이 행해질 수 있다. 일반적으로, 다음의 청구항들에서, 사용되는 용어들은, 청구항들을 명세서 및 청구항들에 개시된 특정 실시예들로 제한하는 것으로 해석되는 것이 아니라, 이러한 청구항들에 부여되는 균등물들의 전체 범위와 함께 모든 가능한 실시예들을 포함하는 것으로 해석되어야 한다. 따라서, 청구항들은 본 개시내용에 의해 제한되지 않는다.

Claims (52)

1. 증강 현실을 디스플레이하는 방법으로서,
   이미지 데이터의 제 1 프레임과 연관된 광을 프로젝팅하는 단계;
   제 1 심도 평면(depth plane)에서 상기 이미지 데이터의 제 1 프레임과 연관된 광을 포커싱하는 단계;
   이미지 데이터의 제 2 프레임과 연관된 광을 프로젝팅하는 단계; 및
   제 2 심도 평면에서 상기 이미지 데이터의 제 2 프레임과 연관된 광을 포커싱하는 단계를 포함하며, 상기 제 1 심도 평면은 상기 제 2 심도 평면과 상이하며, 상기 제 1 심도 평면 및 상기 제 2 심도 평면은, 사용자가 볼때, 동시에 인지되는, 증강 현실을 디스플레이하는 방법.
2. 제 1 항에 있어서,
   상기 사용자의 안구의 버전스(vergence)를 추적하는 단계를 더 포함하며, 상기 광은 추적된 버전스에 적어도 부분적으로 기반하여 포커싱되는, 증강 현실을 디스플레이하는 방법.
3. 제 1 항에 있어서,
   상기 제 1 심도 평면은 z 방향으로 상기 사용자로부터 떨어진 제 1 거리에 대응하고, 상기 제 2 심도 평면은 상기 z 방향으로 상기 사용자로부터 떨어진 제 2 거리에 대응하며, 상기 제 1 심도 평면과 상기 제 2 심도 평면 사이의 갭은 시간에 따라 변하지 않고 유지되는, 증강 현실을 디스플레이하는 방법.
4. 제 2 항에 있어서,
   이미지 데이터의 제 3 프레임과 연관된 광을 프로젝팅하는 단계;
   상기 제 1 심도 평면에서 상기 이미지 데이터의 제 3 프레임과 연관된 광을 포커싱하는 단계를 더 포함하는, 증강 현실을 디스플레이하는 방법.
5. 제 2 항에 있어서,
   상기 제 1 심도 평면은 광학 무한대(optical infinity)에 대응하는, 증강 현실을 디스플레이하는 방법.
6. 제 2 항에 있어서,
   상기 이미지 데이터의 제 1 프레임 및 상기 이미지 데이터의 제 2 프레임은 연속 프레임들인, 증강 현실을 디스플레이하는 방법.
7. 제 2 항에 있어서,
   상기 이미지 데이터의 제 1 프레임 및 상기 이미지 데이터의 제 2 프레임의 포커스는 프레임 단위로(frame-by-frame basis) 변화되는, 증강 현실을 디스플레이하는 방법.
8. 제 2 항에 있어서,
   포커싱된 광을 사용자의 안구로 전달하는 단계를 더 포함하는, 증강 현실을 디스플레이하는 방법.
9. 제 2 항에 있어서,
   상기 이미지 데이터의 제 1 프레임 및 상기 이미지 데이터의 제 2 프레임은 3차원 장면의 슬라이스들을 포함하는, 증강 현실을 디스플레이하는 방법.
10. 제 2 항에 있어서,
    상기 이미지 데이터의 제 1 프레임 및 상기 이미지 데이터의 제 2 프레임은 시간-순차 방식(time-sequential manner)으로 제공되는, 증강 현실을 디스플레이하는 방법.
11. 제 2 항에 있어서,
    상기 제 1 심도 평면은 광학 무한대에 대응하고, 상기 제 2 심도 평면은 광학 무한대보다 가까운 심도 평면에 대응하는, 증강 현실을 디스플레이하는 방법.
12. 제 2 항에 있어서,
    프로젝팅된 광은 가변적 포커스 엘리먼트를 통해 포커싱되는, 증강 현실을 디스플레이하는 방법.
13. 제 12 항에 있어서,
    상기 가변적 포커스 엘리먼트는 변형가능한 멤브레인 미러(deformable membrane mirror)인, 증강 현실을 디스플레이하는 방법.
14. 증강 현실을 디스플레이하는 방법으로서,
    사용자의 안구의 포커스를 결정하는 단계;
    이미지 데이터의 프레임과 연관된 광을 프로젝팅하는 단계;
    상기 사용자의 안구에 대해 결정된 포커스에 적어도 부분적으로 기반하여 심도 평면을 생성하기 위해 상기 이미지 데이터의 프레임과 연관된 광을 포커싱하는 단계; 및
    상기 사용자의 안구의 포커스에서의 변경에 적어도 부분적으로 기반하여 z 방향으로 일정 레인지(a range) 내에서 상기 심도 평면을 이동하는 단계
    를 포함하는, 증강 현실을 디스플레이하는 방법.
15. 제 14 항에 있어서,
    상기 심도 평면이 생성되는 거리에 적어도 부분적으로 기반하여 상기 이미지 데이터의 제 1 프레임에서 하나 또는 그 초과의 가상 객체들을 블러링(blurring)하는 단계를 더 포함하며, 상기 하나 또는 그 초과의 가상 객체들은 상기 심도 평면에 비교할 때 상이한 심도에 대응하는, 증강 현실을 디스플레이하는 방법.
16. 제 14 항에 있어서,
    상기 광은 공간 광 변조기를 통해 프로젝팅되는, 증강 현실을 디스플레이하는 방법.
17. 제 16 항에 있어서,
    상기 공간 광 변조기는 DLP를 포함하는, 증강 현실을 디스플레이하는 방법.
18. 제 17 항에 있어서,
    상기 DLP는 대략 120Hz의 전력에서 동작하는, 증강 현실을 디스플레이하는 방법.
19. 제 15 항에 있어서,
    이미지 데이터의 복수의 프레임들은 상기 심도 평면에서 프로젝팅되며, 상기 이미지 데이터의 복수의 프레임들의 프레임들 중 하나의 적어도 일부는 블러링되는, 증강 현실을 디스플레이하는 방법.
20. 제 14 항에 있어서,
    상기 심도 평면은 VFE(variable focus element)를 통해 적어도 부분적으로 생성되는, 증강 현실을 디스플레이하는 방법.
21. 제 20 항에 있어서,
    상기 VFE는 광-굴절 멤브레인 렌즈(opto-refractive membrane lens)를 포함하는, 증강 현실을 디스플레이하는 방법.
22. 제 16 항에 있어서,
    상기 공간 광 변조기는 높은 리프레시 레이트 디스플레이(high refresh rate display)인, 증강 현실을 디스플레이하는 방법.
23. 제 14 항에 있어서,
    한 세트의 광학 엘리먼트들을 통해 상기 사용자의 안구로 광을 전달하는 단계를 더 포함하는, 증강 현실을 디스플레이하는 방법.
24. 제 14 항에 있어서,
    상기 이미지 데이터의 프레임은 적어도, 3-차원 장면의 슬라이스를 포함하는, 증강 현실을 디스플레이하는 방법.
25. 제 24 항에 있어서,
    상기 이미지 데이터의 하나 또는 그 초과의 프레임들은 시간-순차 방식으로 제공되는, 증강 현실을 디스플레이하는 방법.
26. 증강 현실을 디스플레이하는 방법으로서,
    이미지 데이터의 제 1 프레임과 연관된 광을 프로젝팅하는 단계;
    도파관들의 스택 중 제 1 도파관에서, 상기 이미지 데이터의 제 1 프레임과 연관된 프로젝팅된 광을 수신하는 단계 ―상기 제 1 도파관은 제 1 회절성 광학 엘리먼트를 포함함―;
    상기 이미지 데이터의 제 1 프레임과 연관된 프로젝팅된 광을 변형시키는 단계;
    사용자의 안구에 변형된 광을 전달하는 단계를 포함하며, 상기 이미지 데이터의 제 1 프레임과 연관된 변형된 광은 제 1 심도 평면에서 인지되는, 증강 현실을 디스플레이하는 방법.
27. 제 26 항에 있어서,
    이미지 데이터의 제 2 프레임과 연관된 광을 프로젝팅하는 단계;
    상기 도파관들의 스택 중 제 2 도파관에서, 상기 이미지 데이터의 제 2 프레임과 연관된 프로젝팅된 광을 수신하는 단계―상기 제 2 도파관은 제 2 회절성 광학 엘리먼트를 포함함―;
    상기 이미지 데이터의 제 2 프레임과 연관된 프로젝팅된 광을 변형시키는 단계; 및
    사용자의 안구에 변형된 광을 전달하는 단계를 더 포함하며, 상기 이미지 데이터의 제 2 프레임과 연관된 변형된 광은 제 2 심도 평면에서 인지되는, 증강 현실을 디스플레이하는 방법.
28. 제 27 항에 있어서,
    상기 제 1 심도 평면은 상기 제 2 심도 평면과 상이한, 증강 현실을 디스플레이하는 방법.
29. 제 27 항에 있어서,
    상기 제 1 심도 평면 및 상기 제 2 심도 평면은 동시에 인지되는, 증강 현실을 디스플레이하는 방법.
30. 제 26 항에 있어서,
    상기 사용자의 안구의 버전스를 추적하는 단계; 및
    추적된 버전스에 기반하여, 상기 사용자의 안구에 대한 원근조절(accommodation)을 결정하는 단계를 더 포함하는, 증강 현실을 디스플레이하는 방법.
31. 제 30 항에 있어서,
    상기 도파관들의 스택 중 제 1 도파관은 결정된 원근조절에 적어도 부분적으로 기반하여 선택되는, 증강 현실을 디스플레이하는 방법.
32. 제 26 항에 있어서,
    상기 도파관들의 스택은 6개의 도파관들을 포함하는, 증강 현실을 디스플레이하는 방법.
33. 제 26 항에 있어서,
    상기 프로젝팅된 광의 변형은 광선(light ray)들이 상기 사용자의 안구에 부딪치는(hit) 각도를 바뀌는 것을 포함하는, 증강 현실을 디스플레이하는 방법.
34. 제 26 항에 있어서,
    상기 프로젝팅된 광의 변형은 상기 광선들을 콜리메이팅(collimating)하는 것을 포함하며, 콜리메이팅된 광선들은 광학 무한대로 인지되는, 증강 현실을 디스플레이하는 방법.
35. 제 26 항에 있어서,
    상기 프로젝팅된 광의 변형은 퍼짐(divergent) 광선들을 전달하는 것을 포함하며, 상기 퍼짐 광선들은 광학 무한대보다 가까운 거리에서 인지되는, 증강 현실을 디스플레이하는 방법.
36. 제 26 항에 있어서,
    프레임 단위로 상기 도파관들의 스택 중 도파관을 선택하는 단계를 더 포함하는, 증강 현실을 디스플레이하는 방법.
37. 제 26 항에 있어서,
    상기 이미지 데이터의 하나 또는 그 초과의 프레임들은 3차원 장면의 슬라이스들을 포함하는, 증강 현실을 디스플레이하는 방법.
38. 제 26 항에 있어서,
    상기 이미지 데이터의 하나 또는 그 초과의 프레임들은 시간-순차 방식으로 제공되는, 증강 현실을 디스플레이하는 방법.
39. 방법으로서,
    제 1 굴절률을 갖는 제 1 비혼합 액체(immiscible liquid) 및 제 2 굴절률을 갖는 제 2 비혼합 액체를 포함하는 밀봉 렌즈 챔버(seal lens chamber)를 제공하는 단계;
    상기 제 1 비혼합 액체와 상기 제 2 비혼합 액체 사이에 광학 인터페이스를 생성하는 단계; 및
    상기 제 1 비혼합 액체와 상기 제 2 비혼합 액체 사이의 상기 광학 인터페이스의 곡률을 변형시키는 단계를 포함하는, 방법.
40. 제 39 항에 있어서,
    상기 광학 인터페이스는 렌즈로서 기능하고, 상기 광학 인터페이스는 상기 렌즈의 포커스를 변화시키도록 가변적으로 변형되는, 방법.
41. 제 39 항에 있어서,
    상기 곡률은 밀봉된 렌즈 챔버의 한 절반부 상에 압력을 인가함으로써 변형되며, 상기 절반부는 상기 제 1 비혼합 액체 또는 상기 제 2 비혼합 액체를 수용(housing)하는, 방법.
42. 제 39 항에 있어서,
    상기 곡률은 상기 제 1 비혼합 액체와 상기 제 2 비혼합 액체 사이에 부분적 배리어(partial barrier)를 형성하는 링 바인더(ring binder) 상에 압력을 인가함으로써 변형되는, 방법.
43. 제 39 항에 있어서,
    밀봉된 렌즈 챔버는 공기가 없는, 방법.
44. 제 39 항에 있어서,
    제 1 광학 인터페이스는 제 1 포커스에 대응하는, 방법.
45. 제 39 항에 있어서,
    제 2 광학 인터페이스는 제 2 포커스에 대응하는, 방법.
46. 제 39 항에 있어서,
    상기 제 1 포커스는 제 1 심도 평면을 생성하는, 방법.
47. 제 39 항에 있어서,
    상기 제 2 포커스는 제 2 심도 평면을 생성하는, 방법.
48. 제 39 항에 있어서,
    상기 제 1 비혼합 액체의 볼륨은 일정하게 유지되는, 방법.
49. 제 39 항에 있어서,
    상기 제 2 비혼합 액체의 볼륨은 일정하게 유지되는, 방법.
50. 제 39 항에 있어서,
    상기 곡률은 밀봉된 렌즈 챔버의 한 절반부 상에 기계적 수단에 의해 압력을 인가함으로써 변형되며, 상기 절반부는 상기 제 1 비혼합 액체 또는 상기 제 2 비혼합 액체를 수용하는, 방법.
51. 제 1 항 내지 제 50 항 중 어느 한 항에 있어서, 상기 방법 단계들을 구현하기 위한 수단을 갖는 시스템으로서 구현되는 방법.
52. 제 1 항 내지 제 50 항 중 어느 한 항에 있어서, 방법 단계들을 실행하는 실행가능한 코드를 갖는 컴퓨터-사용가능 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서 구현되는 방법.

Images