KR102268925B1

KR102268925B1 - 영상 광을 접안 디스플레이에 결합시키는 투사 광학계

Info

Publication number: KR102268925B1
Application number: KR1020157023537A
Authority: KR
Inventors: 데이비드 디 본; 네드 네스토로빅; 스티브 제이 로빈스
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2013-01-28
Filing date: 2014-01-22
Publication date: 2021-06-25
Also published as: US20140211322A1; EP2948813A1; KR20150114977A; WO2014116615A1; CN105229514B; EP2948813B1; CN105229514A; US8873149B2

Abstract

영상 소스로부터의 영상 광을 웨어러블 접안 디스플레이 디바이스(wearable near-eye display device)의 접안 디스플레이(near-eye display, NED) 쪽으로 광학적으로 결합시키는 투사 광학계에 대한 기술이 설명되어 있다. 투사 광학계 및 영상 소스는 투사 광 엔진을 구성한다. 영상 소스로부터의 광은 고굴절률 유리에 매몰되어 있는 버드배스 반사 광학 요소 쪽으로 지향된다. 영상 광은 버드배스 요소에 의해 반사되고 시준되어, 외부 사출동 - 이는 사출동이 투사 광 엔진의 외부에 있다는 것을 의미함 - 을 형성하는 투사 광 엔진의 하우징 밖으로 진행한다. 도파관은 외부 사출동의 영상 광을 광학적으로 결합시킨다. 사용될 수 있는 도파관의 일례는 표면 양각 격자 도파관이다.

Description

영상 광을 접안 디스플레이에 결합시키는 투사 광학계{PROJECTION OPTICAL SYSTEM FOR COUPLING IMAGE LIGHT TO A NEAR-EYE DISPLAY}

헤드 마운티드 디스플레이(head mounted display, HMD) 디바이스와 같은 접안 디스플레이(near-eye display, NED) 디바이스는 증강 현실(augmented reality, AR) 경험 및 가상 현실(virtual reality, VR) 경험과 같은 경험을 위해 사용자에 의해 착용될 수 있다. 투사 광 엔진(projection light engine)은 NED 디바이스의 시야에 디스플레이하기 위한 영상 데이터를 생성한다. 투사 광 엔진으로부터의 광이 접안 디스플레이에 결합되는 효율은, 엔진이 손실되는 광을 보상하기 위해 더 많은 조명을 제공해야만 하기 때문에, 영상 품질 및 전력 소비에 영향을 미친다. 사출동(exit pupil)이 영상을 표현하는 광 빔이 가장 작은 단면을 가지는 영역이고 디스플레이하기 위한 전체 영상을 포함하기 때문에, 사출동에서 광을 결합시키는 것이 아주 효율적이다. 그렇지만, 많은 투사 광 엔진들은 내부 사출동(internal exit pupil)[사출동이 투사 광 엔진의 광학계(optics) 내부에 있다는 것을 의미함]을 가진다. 투사 광 엔진으로부터의 광을 내부 사출동과 결합시키는 것은, 영상 데이터가 사출동을 떠난 후에 영상 데이터를 재포착하기 위한 부가의 광학계로 인해, 훨씬 덜 효율적이고, 영상 광이 더 많은 광학계를 통과해야만 하기 때문에 영상 광의 광 세기(optical power)가 약화된다. 사출동에서의 영상 데이터에 직접 액세스할 수 있는 디스플레이는 화질 좋은 영상(quality image)을 제공하는 데 훨씬 더 전력 효율적이다.

본 기술은 투사 광 엔진의 외부 사출동(external exit pupil)의 영상 광을 접안 디스플레이(NED) 디바이스의 접안 디스플레이(NED) 내로 결합시키는 하나 이상의 실시예들을 제공한다. 투사 광 엔진의 영상 소스로부터의 영상 광을 접안 디스플레이에 결합시키는 투사 광 엔진의 투사 광학계의 일 실시예는 사용자에 의해 착용될 수 있는 접안 디스플레이 디바이스의 지지 구조물을 포함한다. 고굴절률 유리 영역이 지지 구조물에 의해 지지된다. 반사면을 가지는 버드배스 광학 요소(birdbath optical element)가 고굴절률 유리 영역에 매몰되어 있고, 지지 구조물에 의해 영상 소스로부터의 영상 광을 광학적으로 결합시키도록 배치되어 있다. 버드배스 광학 요소는 영상 광을 시준(collimate)시켜 고굴절률 유리 영역을 통해 외부 사출동 쪽으로 반사시킨다. 외부 사출동은 투사 광 엔진의 외부에 있다.

본 기술은 접안 디스플레이(NED) 디바이스의 하나 이상의 실시예들을 제공한다. NED 디바이스의 일 실시예는 도파관(waveguide)을 포함하는 접안 디스플레이(NED)를 지지하는 접안 지지 구조물(near-eye support structure)을 포함한다. 영상 소스 및 투사 광학계(projection optical system)를 포함하는 투사 광 엔진이 또한 접안 지지 구조물에 의해 지지되고 외부 사출동을 가진다. 투사 광학계는 반사면을 갖는 버드배스 광학 요소가 매몰되어 있는 고굴절률 유리 영역을 포함한다. 버드배스 광학 요소는 영상 소스로부터의 영상 광을 시준시켜 외부 사출동 쪽으로 반사시키고, 접안 지지 구조물은 도파관을 외부 사출동의 영상 광을 광학적으로 결합시키도록 배치한다.

본 기술은 투사 광 엔진의 영상 소스로부터의 영상 광을 접안 디스플레이에 결합시키는 방법의 하나 이상의 실시예들을 제공한다. 본 방법의 일 실시예는 영상 소스로부터의 영상 광을 투사 광학계 하우징(projection optical system housing) 내의 고굴절률 유리 영역에서 제1 광 경로를 따라 고굴절률 유리 영역에서의 버드배스 반사 광학 요소(birdbath reflective optical element) 쪽으로 광학적으로 지향시키는 단계를 포함한다. 영상 광은 버드배스 반사 광학 요소에 의해 시준되어 고굴절률 유리 영역을 통해 뻗어 있는 제2 광 경로를 따라 투사 광학계 하우징 밖에 있는 외부 사출동 쪽으로 반사된다. 영상 광이 제1 광 경로 및 제2 광 경로 중 적어도 하나에서 편광될 수 있고, 접안 디스플레이의 도파관의 입력 격자(input grating)는 적어도 사출동의 영상 광을 도파관 내로 광학적으로 결합시킨다.

이 발명의 내용은 이하에서 발명을 실시하기 위한 구체적인 내용에 추가로 기술되는 일련의 개념들을 간략화된 형태로 소개하기 위해 제공된다. 이 발명의 내용은 청구된 발명 요지의 주요 특징들 또는 필수적인 특징들을 확인하기 위한 것이 아니며, 청구된 발명 요지의 범주를 정하는 데 보조 수단으로 사용되기 위한 것도 아니다.

도 1은 접안 디스플레이(NED) 디바이스 시스템의 일 실시예의 예시적인 구성요소들을 나타낸 블록도.
도 2a는 NED 디바이스의 제어 회로 내의 컴퓨터 시스템을 비롯한 예시적인 하드웨어 구성요소들의 블록도.
도 2b는 외부 사출동을 가지는 투사 광 엔진과 결합되는 접안 디스플레이의 일 실시예의 평면도.
도 3a는 외부 사출동을 제공하기 위해 고굴절률 유리에 매몰된 버드배스 광학 요소를 사용하는 투사 광 엔진의 일 실시예의 블록도.
도 3b는 고굴절률 유리에 매몰된 버드배스 광학 요소를 사용하는 투사 광 엔진의 다른 실시예의 블록도.
도 3c는 도 3b에 예시된 도파관 예의 층들의 평면도를 나타낸 블록도.
도 4는 외부 사출동을 갖는 투사 광 엔진의 일 실시예를 안경테를 사용하는 NED 디바이스에서의 접안 디스플레이와 광학적으로 결합시키도록 배치하기 위한 지지 하우징 구조물의 일 실시예를 나타낸 도면.
도 5는 접안 디스플레이 디바이스에 의해 영상 데이터를 디스플레이하는 소프트웨어 관점에서의 시스템의 일 실시예의 블록도.
도 6은 투사 광 엔진의 영상 소스로부터의 영상 광을 접안 디스플레이(NED) 디바이스의 접안 디스플레이 내로 결합시키는 방법의 일 실시예의 플로우차트.
도 7은 접안 디스플레이 디바이스의 네트워크 액세스가능 컴퓨터 시스템, 부속 처리 모듈 또는 제어 회로를 구현하는 데 사용될 수 있는 컴퓨터 시스템의 하나의 실시예의 블록도.

접안 디스플레이(NED) 디바이스의 일례는 사용자 웨어러블 모바일 컴퓨터 디바이스인 헤드 마운티드 디스플레이(HMD) 디바이스이다. 자신의 컴퓨터 디바이스가 자기와 동행하기를 기대하는 사용자들의 이동성 및 편의성 요구를 해결하기 위한 중량, 크기, 및 배터리 수명의 실제적인 고려사항들이 소비자 웨어러블 컴퓨터 디바이스를 유용하게, 따라서 시장성 있게 만드는 데 주요 특징들일 수 있다. 영상 광을 사출동에서 접안 디스플레이(NED) 내로 결합시키는 것은 조명 전력을 감소시킴으로써 효율성을 향상시키고, 양호한 영상 품질을 제공한다. 외부 사출동을 갖는 투사 광 엔진은 NED가 이 향상된 효율성 및 영상 품질을 이용할 수 있게 한다. 다시 말하지만, 사출동은 영상을 표현하는 광 빔이 가장 작은 단면을 가지는 영역이고 디스플레이하기 위한 전체 영상을 포함한다.

도 1은 접안 디스플레이(NED) 디바이스 시스템의 일 실시예의 예시적인 구성요소들을 나타낸 블록도이다. 예시된 실시예에서, 본 시스템은 부속 처리 모듈(4)로 나타내어져 있는 다른 컴퓨터 시스템에 통신 연결되어 있는 헤드 마운티드 디스플레이(HMD) 디바이스(2)인 접안 디스플레이(NED) 디바이스를 포함한다. 이 예에서 무선 통신이 예시되어 있지만, 모듈(4)과 디스플레이 디바이스(2) 사이의 유선(wire)을 통한 통신이 또한 구현될 수 있다.

이 실시예에서, NED 디바이스(2)는 프레임(115)에 있는 안경의 형상으로 되어 있고, 여기서 각자의 디스플레이 광학계(display optical system)(14)(14l 및 14r)는 사용자가 NED를 착용할 때 각각의 눈에 의해 투시되도록 NED 디바이스의 전방에 배치되어 있다. 이 실시예에서, 각각의 디스플레이 광학계(14)는, 영상 데이터가 사용자의 전방에 있는 3차원 시야에서의 위치에서 사용자에게 보이도록 영상 데이터의 디스플레이를 생성하기 위해, 영상 데이터가 사용자의 눈 안에 투사되는 투사 디스플레이(projection display)를 사용한다. 예를 들어, 사용자는 거실에서 광학 투시 모드(optical see-through mode)에서 적군 헬리콥터 격추 게임을 플레이하고 있을 수 있다. 사용자가 사람의 눈에 그렇게 가까운 영상 데이터에 초점을 맞출 수 없기 때문에, 헬리콥터의 영상이, 도 2b에 도시된 선택적인 렌즈들(116 및 118) 사이가 아니라, 거실에 있는 의자 위를 날아가고 있는 것처럼 사용자에게 보인다. 각각의 디스플레이 광학계(14)가 또한 디스플레이라고 지칭되고, 2 개의 디스플레이 광학계(14) 모두가 또한 디스플레이라고 지칭될 수 있다.

이 실시예에서, 프레임(115)은 편리한 안경테를 NED 디바이스(2)의 요소들을 제자리에 유지시키기 위한 접안 지지 구조물로서는 물론 전기적 연결을 위한 통로로서 제공한다. 접안 지지 구조물의 어떤 다른 예들은 바이저 프레임(visor frame) 또는 고글 지지체(goggles support)이다. 프레임(115)은 코 받침(nose bridge)(104), 전방 상부 커버 섹션(117), 디바이스의 좌측(130l) 및 우측(130r) 각각에 대한 각자의 투사 광 엔진 하우징(130)은 물론, 사용자의 각각의 귀에 걸리도록 설계되어 있는 좌측 및 우측 안경다리 또는 사이드 아암(side arm)(102l 및 102r)을 포함한다. 이 실시예에서, 코 받침(104)은 소리를 녹음하고 오디오 데이터를 제어 회로(136)로 전송하기 위한 마이크(110)를 포함한다. 측면 하우징 유닛(130l 및 130r)의 외부에는, 접안 디스플레이(NED)의 시야에 무엇이 있는지를 매핑하기 위해 사용자의 전방에 있는 실제 환경의 영상 데이터를 포착하는 각자의 바깥쪽으로 향해 있는 카메라(113l 및 113r)가 있다.

이 실시예에서, 파선들(128)은 제어 회로(136)(역시 파선으로 나타내어져 있음)에 연결되는 어떤 전기적 연결 경로들의 예시적인 예이다. 도면을 복잡하게 만드는 것을 피하기 위해, 하나의 파선으로 된 전기적 연결 라인에 도면 번호 128이 부기되어 있다. 전기적 연결들 및 제어 회로(136)는, 이 예에서, 전방 상부 커버 섹션 아래에 있다는 것을 나타내기 위해, 파선으로 되어 있다. 또한, 다른 구성요소들에 대한 사이드 아암 내의 전원 버스(power bus)의 연장부를 포함하는 다른 전기적 연결들(도시 생략)이 있을 수 있고, 다른 구성요소들의 어떤 예로는 부가의 카메라를 비롯한 센서 유닛, 이어폰 또는 유닛과 같은 오디오 출력 디바이스, 및 어쩌면 부가의 프로세서 및 메모리가 있다. 프레임의 다양한 부분들을 서로 연결시키기 위해 사용될 수 있는 나사(screw)인 커넥터(129)의 어떤 예가 예시되어 있다.

부속 처리 모듈(4)은 다양한 실시예들을 가질 수 있다. 일부 실시예들에서, 부속 처리 모듈(4)은 사용자의 신체(예컨대, 손목) 상에 착용될 수 있거나 모바일 디바이스(예컨대, 스마트폰, 태블릿, 랩톱)와 같은 별도의 휴대용 컴퓨터 시스템일 수 있는 휴대용 형태로 되어 있다. 부속 처리 모듈(4)은 유선을 사용하여 또는 무선으로[예컨대, WiFi, 블루투스, 적외선, 적외선 개인 영역 네트워크, RFID 전송, WUSB(wireless Universal Serial Bus), 셀룰러, 3G, 4G 또는 다른 무선 통신 수단을 사용하여] 하나 이상의 통신 네트워크들(50)을 통해 하나 이상의 네트워크 액세스가능 컴퓨터 시스템들(12)(근방에 위치해 있든 원격 장소에 위치해 있든 관계 없음)과 통신할 수 있다. 다른 실시예들에서, 부속 처리 모듈(4)의 기능이 디스플레이 디바이스(2)의 소프트웨어 및 하드웨어 구성요소들에 통합되어 있을 수 있다. 부속 처리 모듈(4)의 하드웨어 구성요소들의 어떤 예가 도 7에 도시되어 있다.

하나 이상의 네트워크 액세스가능 컴퓨터 시스템(들)(12)은 처리 능력 및 원격 데이터 액세스를 위해 이용될 수 있다. 컴퓨터 시스템(12)의 하드웨어 구성요소들의 일례가 도 7에 도시되어 있다. 컴퓨터 시스템(12) 및 부속 처리 모듈(4)의 상이한 실시예들에 대해 구성요소들의 복잡도 및 개수가 상당히 달라질 수 있다.

제어 회로(136)의 하나 이상의 프로세서들, 또는 접안 디스플레이(14)에 영상 데이터를 제공하는 원격 컴퓨터 시스템(12) 또는 부속 처리 모듈(4), 또는 이들의 조합 상에서 실행 중인 애플리케이션(예컨대, 게임 또는 메시징 애플리케이션)에 기초하여 디스플레이하기 위한 영상 데이터가 식별된다.

도 2a는 NED 디바이스의 제어 회로 내의 컴퓨터 시스템을 비롯한 예시적인 하드웨어 구성요소들의 블록도이다. 제어 회로(136)는 헤드 마운티드 접안 디스플레이 디바이스(2)의 다른 구성요소들을 지원하는 다양한 전자 회로(electronics)를 제공한다. 이 예에서, 디스플레이 디바이스(2)의 제어 회로(136)는 처리 유닛(210), 처리 유닛(210)에 의해 액세스가능하고, 프로세서 판독가능 명령어들 및 데이터를 저장하는 메모리(244), 및 처리 유닛(210)에 통신 연결되어 있고, NED 디바이스를 다른 컴퓨터 시스템[부속 처리 모듈(4), 다른 NED 디바이스의 컴퓨터 시스템 또는 인터넷을 통해 원격적으로 액세스가능한 것 등]에 연결시키기 위한 네트워크 인터페이스로서 기능할 수 있는 통신 모듈(137)을 포함한다. 전원(239)은 제어 회로(136)의 구성요소들 및 포착 디바이스들(113), 마이크(110), 다른 센서 유닛들과 같은, 디스플레이 디바이스(2)의 다른 구성요소들에 그리고 광원들 및 투사 광 엔진 내의 마이크로디스플레이와 같은 영상 소스와 연관된 전자 회로와 같은, 디스플레이(14) 상에 영상 데이터를 디스플레이하기 위한 전력 소모 구성요소(power drawing component)들에 전력을 제공한다.

처리 유닛(210)은, 적어도 하나의 GPU(graphics processing unit)를 포함하는 별도의 부속 처리 모듈(4)을 갖지 않는 실시예들에서 특히, CPU(central processing unit) 및 GPU(graphics processing unit)를 비롯한 하나 이상의 프로세서들을 포함할 수 있다. 메모리(244)는 실행 동안 애플리케이션이 사용하기 위한 랜덤 액세스 메모리(RAM), 포착된 영상 데이터 및 디스플레이 데이터를 비롯한 센서 데이터를 위한 버퍼들, 명령어들 및 시스템 데이터를 위한 판독 전용 메모리(ROM) 또는 플래시, 및 다른 항목들(그의 어떤 예는 애플리케이션 및 사용자 프로필 데이터임)을 저장하기 위한 다른 유형의 비휘발성 메모리와 같은, 시스템에 의해 사용될 수 있는 다양한 유형의 메모리를 나타낸다. 이 예에서, 데이터 버스(270)의 전기적 연결은 센서 유닛들(257), 디스플레이 구동기(246), 처리 유닛(210), 메모리(244), 및 통신 모듈(137)을 연결시킨다. 데이터 버스(270)도 또한 제어 회로의 예시된 요소들 모두가 전력을 끌어오기 위해 연결되어 있는 전원 버스(272)를 통해 전원(239)으로부터 전력을 얻는다.

제어 회로는 영상 데이터를 나타내는 디지털 제어 데이터(예컨대, 제어 비트) - 이 디지털 제어 데이터는 마이크로디스플레이 회로(259)에 의해 디코딩될 수 있음 - 를 선택하는 디스플레이 구동기(246) 및 투사 광 엔진(예컨대, 도 2b의 120)의 다른 능동 구성요소 구동기들을 추가로 포함한다. 마이크로디스플레이는 능동 투과형, 방출형 또는 반사형 디바이스일 수 있다. 예를 들어, 마이크로디스플레이는 전력을 필요로 하는 LCoS(liquid crystal on silicon) 디바이스 또는 개개의 미러들을 움직이기 위해 전력을 필요로 하는 MEMS(micromechanical machine) 기반 디바이스일 수 있다. 능동 구성요소 구동기의 일례는 하나 이상의 레이저들 또는 LED(light emitting diode)들과 같은 하나 이상의 광원들을 포함하는 조명 유닛(222)을 구동하기 위해 디지털 제어 데이터를 아날로그 신호들로 변환시키는 디스플레이 조명 구동기(247)이다. 일부 실시예들에서, 디스플레이 유닛은 투사 광 엔진으로부터의 사출동에서의 영상 광을 결합시키기 위한, 도파관에 대한 것과 같은 하나 이상의 능동 격자(active grating)들(253)을 포함할 수 있다. 능동 격자(들) 제어기(249)는 디지털 제어 데이터를 하나 이상의 격자들의 특성들을 변화시키기 위한 신호들로 변환시킨다. 이와 유사하게, 투사 광 엔진의 하나 이상의 편광기들은 선택적인 능동 편광기(들) 제어기(251)가 구동할 수 있는 능동 편광기(active polarizer)(255)일 수 있다. 제어 회로(136)는 여기에 예시되어 있지 않지만 NED 디바이스의 다른 기능들(오디오 출력을 제공하는 것, 머리 배향 및 위치 정보를 식별하는 것 등)에 관련되어 있는 다른 제어 유닛들을 포함할 수 있다.

도 2b는 외부 사출동(121)을 가지는 투사 광 엔진(120)과 결합되는 접안 디스플레이(14l)의 일 실시예의 평면도이다. 디스플레이 광학계(14)(이 경우에, 좌측 눈에 대한 14l)의 구성요소들을 도시하기 위해, 디스플레이(14l) 및 투사 광 엔진(120)을 덮고 있는 상부 프레임 섹션(117)의 일부분이 나타내어져 있지 않다. 화살표(142)는 디스플레이 광학계(14l)의 광축을 나타낸다.

이 실시예에서, 디스플레이들(14l 및 14r)은 광학 투시형 디스플레이(optical see-through display)이다. 다른 실시예들에서, 디스플레이들이 비디오 투시형 디스플레이(video-see display)일 수 있다. 각각의 디스플레이는 2 개의 선택적인 투시형 렌즈들(116 및 118) 사이에 예시되어 있고 도파관(123)을 포함하는 디스플레이 유닛(112)을 포함한다. 선택적인 렌즈들(116 및 118)은 디스플레이 유닛에 대한 보호 커버(protective covering)이다. 그들 중 하나 또는 둘 다는 또한 사용자의 안경 처방을 구현하기 위해 사용될 수 있다. 이 예에서, 눈 공간(140)은 디바이스(2)가 착용될 때 사용자의 눈의 위치에 가깝다. 도파관은 영상 광 형태의 영상 데이터를 투사 광 엔진(120)으로부터 사용자 눈 공간(140) 쪽으로 지향시키면서 또한 현실 세계로부터의 광이 사용자의 눈 공간 쪽으로 통과할 수 있게 함으로써, 투사 광 엔진(120)으로부터의 가상 특징(virtual feature)의 영상을 보는 것에 부가하여, 사용자가 NED 디바이스(2)의 전방의 공간을 실제로 직접 볼 수 있게 한다.

이 평면도에서, 투사 광 엔진(120)은 곡면(curved surface)으로 예시되어 있는 버드배스 반사 광학 요소(234)를 포함한다. 곡면은 그가 반사하는 광 빔들(235)에 광 세기를 제공하고, 이와 같이 그 광 빔들을 또한 시준시킨다. 도면을 복잡하게 만드는 것을 방지하기 위해 하나의 빔에만 도면 번호가 부기되어 있다. 일부 실시예들에서, 버드배스 광학 요소의 곡률 반경은 적어도 -38 밀리미터(mm)이다. 빔들이 시준되지만, 곡면의 상이한 지점들로부터 반사할 때 상이한 각도들로부터 나온다. 이와 같이, 빔들이 교차하고 그들 자체의 가장 작은 단면에 사출동을 형성한다.

일부 실시예들에서, 도파관(123)은 회절 도파관(diffractive waveguide)일 수 있다. 그에 부가하여, 어떤 예들에서, 도파관(123)은 표면 양각 격자(surface relief grating, SRG) 도파관이다. 입력 격자(119)는 투사 광 엔진(120)으로부터의 영상 광을 결합시킨다. 그에 부가하여, 도파관은 영상 광이 사용자 눈 공간(140)의 방향으로 도파관을 빠져나가기 위한 다수의 출구 격자(exit grating)들(125)을 가진다. 도면을 복잡하게 만드는 것을 피하기 위해, 하나의 출구 격자(128)에 도면 번호가 부기되어 있다. 이 예에서, 가장 바깥쪽에 있는 입력 격자(119)는 충분히 넓고 투사 광 엔진(120)을 빠져나가는 광을, 투사 광 엔진을 빠져나가는 광이 그의 사출동(121)에 도달하기 전에, 포착하도록 배치되어 있다. 광학적으로 결합된 영상 광은 그의 사출동을, 이 예에서, 도파관의 중앙 부분에 형성한다. 더 상세한 예에 대해서는 이하의 도 3b를 참조하기 바랍니다. 이하에 기술되는 도 3a는 사출동에서의 영상 광을 사출동에 배치된 입력 격자와 결합시키는 도파관의 일례를 제공한다.

사출동은 디스플레이되고 있는 전체 영상에 대한 포함하고, 이와 같이 영상을 나타내는 광을 사출동에서 결합시키는 것은 영상 전체를 한번에 포착하고, 따라서 아주 효율적이며 디스플레이(14)에서 전체 영상의 뷰(view)를 사용자에게 제공한다. 사출동이 투사 광 엔진의 외부에 있기 때문에, 입력 격자(119)는 사출동의 영상 광을 결합시킬 수 있다. 어떤 예들에서, 사출동은 투사 광 엔진으로부터 0.5 mm 밖에 있다. 다른 예들에서, 사출동은 투사 광 엔진으로부터 5 mm 밖에 투사된다.

예시된 실시예에서, 좌측 투사 광 엔진 하우징(130l)에 있는 투사 광 엔진(120)은 영상 광을 생성하는 광원(예를 들어, 마이크로디스플레이) 및 투사 광 엔진의 외부에 사출동(121)을 형성하기 위해 영상 광의 광 경로를 굴곡(fold)시키는 투사 광학계를 포함한다. 투사 광 엔진(120)의 형상은 도 1에서의 프레임(115)의 코너 주위에 부합하는 예시적인 하우징(130l)의 형상에 적응하여 부피(bulkiness)를 감소시키는 예시적인 일례이다. 그 형상이, 예를 들어, 구현되는 상이한 영상 소스 기술들로 인한, 투사 광 엔진(120)의 상이한 배치(arrangement)들을 수용하기 위해 변화될 수 있다.

영상 소스를 구현하기 위해 사용될 수 있는 다른 영상 생성 기술들이 있다. 예를 들어, 마이크로디스플레이는 투과형 투사 기술(transmissive projection technology)을 사용하여 구현될 수 있다. 이러한 기술의 하나의 예에서, 광원이 광학적 활성 물질(optically active material)에 의해 변조되고, 백색 광에 의해 백라이팅된다. 이들 기술은 보통 강력한 백라이트 및 높은 광 에너지 밀도를 갖는 LCD 유형 디스플레이를 사용하여 구현된다. 다른 마이크로디스플레이들은 조명 유닛으로부터의 광이 광학적 활성 물질에 의해 반사되고 변조되는 반사형 기술(reflective technology)을 사용한다. 조명은, 기술에 따라, 백색 광원 또는 RGB 광원일 수 있다. DLP(digital light processing), DMD(digital micromirror device), LCoS(liquid crystal on silicon), 및 Qualcomm, Inc.의 Mirasol® 디스플레이 기술 모두는, 대부분의 에너지가 변조된 구조물(modulated structure)로부터 반사되기 때문에, 효율적인 반사형 기술의 예이고 디스플레이에 사용될 수 있다. 그에 부가하여, 광이 디스플레이에 의해 생성되는 방출형 기술(emissive technology)을 사용하여 마이크로디스플레이가 구현될 수 있다. 방출형 기술의 일례는 OLED(organic light emitting diode) 기술이다.

도 2b는 헤드 마운티드 디스플레이 디바이스(2)의 절반을 도시한 것이다. 예시된 실시예에서, 전체 헤드 마운티드 디스플레이 디바이스(2)는 다른 선택적인 투시형 렌즈 세트(116 및 118), 다른 도파관(123)은 물론 다른 투사 광 엔진(120), 및 바깥쪽으로 향해 있는 포착 디바이스들(113) 중 다른 하나를 갖는 다른 디스플레이 광학계(14)를 포함할 수 있다. 일부 실시예들에서, 각각의 눈에 대한 디스플레이 광학계보다는, 양쪽 눈이 연속적인 디스플레이를 볼 수 있다. 일부 실시예들에서, 단일의 투사 광 엔진(120)이 양쪽 눈이 보는 연속적인 디스플레이에 광학적으로 결합될 수 있거나, 눈에 대한 개별적인 디스플레이에 광학적으로 결합될 수 있다. 헤드 마운티드 개인 A/V 장치의 부가의 상세는 2010년 10월 15일자로 출원된, 발명의 명칭이 "가상 콘텐츠를 실제 콘텐츠에 융합(Fusing Virtual Content Into Real Content)"인 미국 특허 출원 제12/905952호에 예시되어 있다.

도 3a는 투사 광 엔진의 외부에 사출동(121)을 제공하기 위해 광 경로를 굴곡시키는 데 도움을 주는 고굴절률 유리 영역(225)에 매몰된 버드배스 광학 요소(234)를 사용하는 투사 광 엔진(120)의 일 실시예의 블록도이다. 고굴절률 유리의 어떤 예는 적어도 1.65의 굴절률을 가지는 유리 및 플린트 유리(flint glass)이다. 이 측면도는 버드배스 투사 광학계 설계와 연관된 어떤 예시적인 기본 요소들을 도시하고 있다. 이 실시예의 다양한 버전들에서 부가의 광학 요소들이 존재할 수 있다. 영상 소스(223)는 광학적 지향 요소(optical directing element)(232), 곡면 반사면(curved reflective surface)(238)을 갖는 버드배스 광학 요소(234), 및 편광기(240)로 나타내어져 있는 하나 이상의 편광 광학 요소들을 포함하는 고굴절률 유리 영역(225) 내로 전파하는 영상 광을 생성한다. 광학적 지향 요소(232)는 영상 소스(223)로부터의 영상 광을 버드배스 광학 요소(234)(예컨대, 버드배스 렌즈)의 반사면(238) 쪽으로 지향시키고, 곡면(238)으로부터 반사하는 영상 광이 편광기(240)를 통과하여 진행할 수 있게 한다. 광학적 지향 요소(232)의 일례는 빔 스플리터이고, 빔 스플리터는 편광기로서도 기능할 수 있으며, 따라서 버드배스 렌즈(234)는 편광된 광을 수광하고, 이 편광된 광은 하나 이상의 편광 광학 요소들(240)에 의해 또다시 편광된다. 하나 이상의 편광 광학 요소들(240)의 일부 구현예들은 적색 회전 파장판(red rotation waveplate) 또는 1/4 파장판(quarter waveplate)과 같은 수동 광학 요소(passive optical element)일 수 있다. 앞서 논의된 바와 같이 일부 실시예들에서 능동 편광기가 사용될 수 있다.

회절 도파관의 하나 이상의 입력 격자들과 같은 하나 이상의 입력 격자들 내로의 보다 효율적인 결합을 위해 영상 광이 편광된다. 어떤 예들에서, 도파관은 다수의 층들을 가질 수 있고, 들어오는 영상 광의 편광이 들어오는 광을 도파관의 상이한 층들로 필터링하는 데 사용될 수 있다. 각각의 층은 그 자신의 입력 격자 및 출구 격자를 가진다. 층에 대한 입력 격자는 특정 편광의 광을 그의 층 내로 결합시킨다. 다른 편광들의 광은 입력 격자 및 그 층 자체를 통과하고, 따라서 그 다음 층의 입력 격자가 수광된 광을 그의 편광에 기초하여 결합시키거나 통과시킨다. 일부 구현들에서, 예컨대, 상이한 색들에 대한, 상이한 파장 대역들이 영상의 밝기를 향상시키기 위해 상이한 도파관 층들로 지향될 수 있다. 상이한 파장 대역들에서의 광이 각각의 파장 대역에 대한 각자의 층 내로 결합시키기 위해 편광될 수 있다. 예를 들어, 2012년 8월 31일자로 출원된, 발명의 명칭이 "파장 통과용 NED 편광 시스템(NED Polarization System for Wavelength Pass-Through)"인 Nguyen 등의 미국 특허 출원 제13/601,727호를 참조하기 바랍니다.

고굴절률 유리 영역(225) 내에서의 하나 이상의 편광 광학 요소들의 배치는 도파관(123) 내의 층들의 수, 격자의 유형(예컨대, 표면 양각 격자), 및 영상 광을 층들 간에 분배하기 위한 미리 결정된 기준을 포함하는 다수의 인자들에 기초할 수 있다. 빔들(235)은 버드배스 곡면 반사면(238)으로부터 반사될 때 시준되지만, 각각의 부분은 곡면으로 인해 상이한 각도로부터 반사하고 있다. (사출동에서 가장 작은 단면을 가지는 다수의 빔들의 평면도의 일례에 대해서는 도 3c를 참조하기 바랍니다.) 이 예에서, 도파관(123)의 입력 격자(119)는 반사된 빔을 대략 사출동 위치(121)에서 결합시킨다. 이 예에서, 도파관(123)은 단층 도파관(single layer waveguide)일 수 있다. 도 3b에서와 같은 다른 예들에서, 다층 도파관(multi-layer waveguide)이 접안 디스플레이(14)에 구현될 수 있다.

도 3b는 고굴절률 유리에 매몰된 버드배스 광학 요소(234)를 사용하는 투사 광 엔진의 다른 실시예의 블록도이다. 이 실시예에서, 1.7 내지 1.8의 굴절률을 가지는 고굴절률 유리가 사용된다. 이 실시예에서, 투사 광 엔진(120)은 영상 소스 및 투사 광학계(220)를 포함한다. 영상 소스는 부수적인 보상기 광학 요소(compensator optical element)(228)를 갖는 반사형 LCoS(liquid crystal on silicon) 마이크로디스플레이(230)로서 구현된다. 이 실시예에서, 마이크로디스플레이(230)는 디스플레이될 영상 데이터를 나타내기 위해 조명 유닛(222)으로부터의 광을 반사시키는 LCoS 표면(231)을 가진다. LCoS 표면(231)은 그가 반사시키는 광을 편광시키지만; 편광 오류들이 있을 수 있다. 보상기(228)는 편광 광학 요소로서, 그 편광 광학 요소의 보상 파라미터들은 제조 동안 LCoS 표면에 대해 측정된 편광 오류들을 보상하기 위해 LCoS의 제조 동안 결정될 수 있다.

투사 광학계(220)는, 이 실시예에서, 고굴절률 유리 영역(225) 밖에 있는 더블릿(doublet)(226) 및 고굴절률 유리 영역(225) 내에 있는 다수의 광학 구성요소들을 포함한다. 더블릿(226)은 색 수차(chromatic aberration)를 보정하고, 또한 LCoS로부터 반사하는 영상 광에 얼마간의 시준를 제공한다. 그 광학 요소들은 편광 조명 빔 스플리터(polarizing illumination beam splitter)(224)로서 구현된 조명 광학적 지향 요소(illumination optical directing element), 편광 빔 스플리터(polarizing beam splitter)(232)로서 구현된 다른 광학적 지향 요소, 1/4 파장판(236), 곡면 반사면(238)을 갖는 버드배스 광학 요소(234), 및 적색 회전 파장판(240)을 포함하는 것으로 구현된 다른 대표적인 편광기(240)를 포함한다. 그 자신의 조명 유닛(222)을 포함하는 투과형 또는 방출형 영상 소스를 사용하는 실시예들과 같은 다른 실시예들에서, 더블릿을 생략하는 것 이외에, 조명 빔 스플리터(224)가 또한 투사 광학계(220)로부터 생략될 수 있다.

이들 요소를 통과하는 광의 광 경로는 다음에 논의된다. 광의 진행에 대한 논의를 용이하게 하기 위해 조명 광 및 영상 광의 상이한 부분들에 상이한 도면 번호들이 부기되어 있다. 도면을 복잡하게 만드는 것을 피하기 위해, 경로의 각각의 스테이지에서 빔의 하나의 대표적인 광선에만 도면 번호가 부기되어 있다. 조명 유닛(222)에 의해 생성된 광(229)은 광(233)을 LCoS 표면(231)의 방향으로 지향시키는 편광 조명 빔 스플리터(224) 쪽으로 향해 간다. 표면(231) 쪽으로 진행하는 동안, 조명 광은 더블릿 렌즈(226) 및 보상기(228)를 통과한다. 조명 유닛(222)이 포함할 수 있는 조명 광원들의 어떤 예는 LED(light emitting diode) 및 레이저이다. 일부 실시예들에서, 개별적인 적색, 녹색 및 청색 조명 광원들이 있을 수 있고, 다른 실시예들에서, 백색 광원 및 상이한 색들을 표현하기 위해 사용되는 필터들이 있을 수 있다.

이 실시예에서, 색 순차 LED 디바이스(color sequential LED device)가 조명 유닛(222)에 사용된다. 색 순차 디바이스는 완전 컬러 영상(full color image)을 만들기 위해 LCoS와 타이밍을 맞춰 순차적으로 턴온되는 적색, 청색 및 녹색 LED들을 포함한다. 다른 예들에서, LED 대신에 레이저가 사용될 수 있다. LCoS 표면(231) 상의 개개의 디스플레이 요소들은, 적색, 녹색 및 청색 광을 반사시키거나 흡수하여 영상 데이터에 대해 디스플레이 구동기(246)에 의해 표시되는 색 또는 회색 음영(shade of gray)을 표현하기 위해, 마이크로디스플레이 회로(259)에 의해 제어된다.

LCoS 표면(231) 및 보상기(228)로부터 편광되고 반사된 영상 광(237)은 더블릿(226)에 의해 그의 곡면으로 인해 시준되거나 광 세기가 증가된다. 영상 광(237)은 고굴절률 유리 영역(225)에 들어가고, 조명 빔 스플리터(224)를 통과하며, 편광 빔 스플리터(232)와 교차하고, 편광 빔 스플리터(232)는 또다시 편광되고 반사된 광(241)을 1/4 파장판(236) - 1/4 파장판(236)은 반사된 광의 편광 상태를 또다시 수동적으로 변경(passively alter)함 - 을 통해 버드배스 광학 요소(234)의 곡면 반사면(238) 쪽으로 지향시키며, 버드배스 광학 요소(234)는 영상 광을 시준시키고 반사시켜, 편광 상태를 한번 더 변경하기 위해 1/4 파장판(236)을 통과하게 한다. 1/4 파장판은 원편광(circular polarization)을 제공하는 반면, 편광 빔 스플리터들(224, 232)은 일반적으로 선형 편광기(linear polarizer)로서 기능한다. 버드배스에 의해 반사되고 두 번 1/4 회전된(quarter turned) 영상 광(243)은 빔 스플리터(232)를 통과하고, 편광 상태가 적색 회전 파장판(240)에 의해 또다시 변경된다. 적색 회전 파장판은 적색 파장들의 편광 상태를 90도 회전시킨다. 영상 광(235)은 이어서 도파관(123) 내로의 광학적 결합을 위해 투사 광 엔진을 빠져 나간다.

앞서 언급한 바와 같이, 광학 요소들을 고굴절률 유리에 매몰시키는 것은 사출동을 투사 광 엔진(120)의 외부에 있는 지점으로 투사하는 굴곡(fold)들을 가능하게 할 정도로 충분히 광 경로 길이를 연장시킨다. 광을 도파관 내의 사출동에서 결합시키는 것은 광 결합의 효율을 상당히 증대시키고, 따라서 전력을 감소시킨다.

도파관(123)의 측단면도가 도 3b에 도시되어 있다. 도파관(123)은 지면 뒤쪽으로(into the page) 그리고 눈 영역(140)에 거의 평행하게 접안 디스플레이(14) 내로 뻗어 있고, 지면 앞쪽으로는(out of the page) 훨씬 더 적은 양만큼 뻗어 있다. 이 실시예에서, 도파관(123)은, 이 예에서, 4 개의 예시적인 층들(256, 258, 262 및 264) 및 중앙 파장판(center waveplate)(260)을 갖는 다층으로 되어 있다. 라인(122)은 투사 광 엔진(120)과 도파관(123) 사이의 거리를 나타낸다. 도면이 축척대로 그려져 있지 않지만, 광 엔진과 도파관 사이의 이러한 거리의 일례는 약 0.5 mm이다. 사출동이 투사될 목표 위치는 중앙 파장판(260)에 있다. 이 예에서, 다시 말하지만, 축척대로 그려져 있지 않으며, 사출동은 투사 광 엔진(120)의 외부로부터 도파관의 중앙 파장판(260) 쪽으로 약 5 mm에 투사된다. 그에 부가하여, 이 예에서, 도파관(123)은 고굴절률 유리의 범위에 있는 약 1.7의 굴절률을 가진다.

이 예에서, 영상 광(235)이 통과하는, 투시 유리(see-through glass)로 된 외측 보호 커버(252)가 도파관을 둘러싸고 있다. 도파관(123)은 중앙 파장판(260)에서 사출동(121)의 영상 광을 광학적으로 결합시키기 위해 하우징(130) 내에 배치되어 있다. 4 개의 층들 각각은 그 자신의 입력 격자를 갖는다. 입력 격자의 일례는 도파관(123)에서의 각각의 층의 표면의 일부로서 제조되는 표면 양각 격자이다. 층(256)은 투사 광 엔진을 빠져 나온 영상 광(235)을 맨 먼저 수광하고 그 광을 그의 광학 입력 격자(optical input grating)(119a)를 통해 결합시킨다. 이와 유사하게, 층(258)은 영상 광(235)을 그의 광학 입력 격자(119b)를 통해 결합시킨다. 중앙 파장판 층(260)은 사출동을 포함한 그가 수광한 영상 광(235)을 결합시키고 그의 편광 상태를 변경한다. 층(262)은, 영상 광(235)의 단면이 확장됨에 따라, 광학 입력 격자(119c)를 통해 영상 광(235)을 결합시키고, 층(264)은, 영상 광(235)의 단면이 계속 확장됨에 따라, 영상 광(235)을 그의 광학 격자(119d)에 의해 결합시킨다.

도 3c는, 참조를 위해 버드배스 광학 요소(234)(축척대로 그려져 있지 않음)와 함께 예시되어 있는, 도 3b에서의 도파관(123) 예의 4 개의 층 및 중앙 파장판의 평면도를 나타내는 블록도이다. 빔들(273, 275 및 277)을 보다 수월하게 도시하기 위해, 사이에 끼여 있는 요소들이 도시되어 있지 않다. 3 개의 광선(예컨대, 273a, 273b, 273c)으로 된 각각의 세트는 빔(273)을 표현한다. 각각의 빔은 복수의 색들을 나타내는 광을 포함할 수 있다. 각각의 빔은 앞서 논의된 바와 같이 시준된다. 빔들이 곡면 상의 상이한 지점들로부터 반사될 때, 빔들의 상이한 부분들(여기서 광선들로 예시되어 있음)이 교차하고, 빔들의 가장 좁은 단면이 사출동(121)에서 발생한다. 어떤 예들에서, 사출동 직경은 약 3.0 mm이다(다시 말하지만, 축척대로 그려져 있지 않음).

도 4는 외부 사출동을 갖는 투사 광 엔진의 일 실시예를 안경테를 사용하는 NED 디바이스에서의 접안 디스플레이와 광학적으로 결합시키도록 배치하기 위한 지지 하우징 구조물(130l)의 일 실시예를 나타낸 것이다. 지지 하우징 구조물(130l)은 투사 광 엔진 하우징(130l)이라고도 지칭된다. 이 도면은 투사 광 엔진 구성요소들이 하우징(130l) 내에 어떻게 설치(fit)될 수 있는지의 일례를 예시하고 있다. 예시적인 배치를 보기 위해 보호 커버가 제거되어 있다.

하우징(130l)은 프레임 상부 섹션(117) 및 좌측 사이드 아암(102l)은 물론, 좌측 디스플레이 유닛(112)을 둘러싸고 있는 프레임(115)의 일부분에 인접하여 연결되어 있다. 이 예에서, 전원(239)으로부터의 전력을 다양한 구성요소들에 제공하는 급전부(power supply feed)(291)가 하우징의 좌측 상부 내부에 위치되어 있다. 전력은 물론, 명령어들 및 값들을 나타내는 데이터를 다양한 구성요소들에 제공하기 위한 다양한 예시적인 전기적 연결들(228)(228a, 228b, 228c, 228d, 및 228e)이 하우징(130l) 전체에 걸쳐 있다. 전기적 연결의 일례는 도 1에서와 같이 프레임 상부 섹션(117) 내부에 또는 다른 곳에[예컨대, 사이드 아암(102) 상에 또는 그 내부에] 있을 수 있는 제어 회로(136)와 인터페이스하는 가요성 케이블(flex cable)(228b 등)이다.

좌측 하부에서 시작하여, 도면 번호 222h가 부기되어 있는 파선으로 둘러싸여 있는 3차원 공간 내에 구성요소들을 포함하고 조명 유닛(222)의 하나 이상의 광원들 및 조명 유닛(222)을 구성하는 레이저 또는 LED와 같은 하나 이상의 광원들을 구동하기 위해 디지털 명령어들을 아날로그 신호들로 변환하는 디스플레이 조명 구동기들(2247) 중 하나 이상과 같은 조명 유닛(222)의 구성요소들에 대한 보호 커버 및 지지를 제공하는 하우징 구조물(222h)이 있다. 가요성 케이블(228c)도 역시 전기적 연결을 제공한다. 이 예에서, 조명이 투사 광학계 하우징(220h) 내에 있는 광학적 지향 요소(227)(거울 등) 상으로 지향된다. 다른 편광기와 같은 부가의 요소들이 하우징(220h) 내에서 지향 요소(227)와 조명 빔 스플리터(224) 사이에 뒤따라 있다.

투사 광학계 하우징(220h)은 투사 광학 결합 시스템(projection optical coupling system)(220)의 구성요소들을 포함한다. 이 실시예에서, 파선(290) 아래로 화살표(294)까지 뻗어 있고, 화살표(298)로 나타낸 바와 같이 파선(290)보다 약간 위쪽으로 뻗어 있고 화살표(296)로 나타낸 바와 같이 좌측으로 뻗어 있는 그의 섹션을 포함하는 하우징 구조물(220h)은 구성요소들을 고굴절률 유리에 매몰시킨다. 하우징(220h)의 이 도면에서, 요소(227)로부터 반사된 조명은 조명 빔 스플리터(224) 쪽으로 지향되고, 조명 빔 스플리터(224)는 광을 더블릿 하우징(226h) 내의 더블릿(226)을 통해 하우징(230h)에 의해, 이 예에서, 더블릿(226)의 위쪽에 배치된 LCoS 칩(230) 쪽으로 지향시킨다. LCoS 칩(230)으로부터 반사된 광은, 도 3b의 실시예에서와 같이, 편광되고 버드배스 광학 요소(234) 쪽으로 반사된다. 버드배스 요소(234)의 곡면 반사면(238)의 배면은 이 도면에서 지면 앞쪽으로 향해 있다. 반사된 영상 광은 지면 뒤쪽으로 반사되고, 여기서 하나 이상의 입력 격자들을 갖는 도파관(123)의 일부분(도시 생략)은, 외부 사출동(121)의 영상 광(도시 생략)을 결합시키기 위해, 투사 광학계 하우징(220h)의 후방에서 디스플레이 유닛(112)의 좌측까지 뻗어 있다.

일부 실시예들에서, LCoS 하우징(230h)의 상부로부터 화살표(294)로 나타낸 투사 광학계 하우징(220h)의 수직 하부까지의 거리는 20 밀리미터 이내이다. 하나의 예에서, 그 거리는 약 17 mm이다. 이러한 일례에서의 배치된 구성요소들은, 도 3b의 실시예에 배치된 바와 같이, LCoS(230), 보상기(228), 더블릿(226), 조명 빔 스플리터(224), 편광 빔 스플리터(232), 버드배스 광학 요소(234) 및 편광기들(236 및 240)을 포함한다. 그에 부가하여, 투사 광학계 하우징(220h)은 그의 최좌측 측면(296)으로부터 화살표(292)에서의 우측까지 30 밀리미터 이내로 뻗어 있다.

도 5는 접안 디스플레이 디바이스에 의해 영상 데이터를 디스플레이하는 소프트웨어 관점에서의 시스템의 일 실시예의 블록도이다. 도 5는 NED 시스템(8), 하나 이상의 NED 시스템들과 통신하는 하나 이상의 원격 컴퓨터 시스템들(12) 또는 이들의 조합과 같은 시스템에 의해 구현될 수 있는 소프트웨어 관점에서의 컴퓨팅 환경(54)의 일 실시예를 나타낸 것이다. 그에 부가하여, NED 시스템은 데이터 및 처리 자원들을 공유하기 위해 다른 NED 시스템들과 통신할 수 있다.

앞서 살펴본 바와 같이, 실행 중인 애플리케이션은 어느 영상 데이터가 디스플레이되어야 하는지를 결정하고, 영상 데이터의 어떤 예들은 전자 메일, 가상 책(virtual book) 또는 게임 관련 영상이다. 이 실시예에서, 애플리케이션(162)은 NED 시스템(8)의 하나 이상의 프로세서들 상에서 실행 중일 수 있고, 운영 체제(190) 그리고 영상 및 오디오 처리 엔진(191)과 통신하고 있을 수 있다. 예시된 실시예에서, 다른 NED 시스템들(8)뿐만 아니라 원격 컴퓨터 시스템(12) - 원격 컴퓨터 시스템(12)은 경험을 향상시키기 위해 다른 NED 시스템들(8)과 통신하고 있음 - 이 또한 애플리케이션의 버전(162N)을 실행하고 있을 수 있다.

하나 이상의 애플리케이션들에 대한 애플리케이션 데이터(329)가 또한 하나 이상의 네트워크 액세스가능 장소들에 저장될 수 있다. 애플리케이션 데이터(329)의 어떤 예들은 동작 응답들을 사용자 입력 데이터에 링크시키는 규칙들, 사용자 입력 데이터에 응답하여 어느 영상 데이터를 디스플레이할지를 결정하는 규칙들, 제스처 인식 엔진(193)에 등록될 수 있는 애플리케이션과 연관된 하나 이상의 제스처들과 같은 자연스런 사용자 입력에 대한 참조 데이터, 소리 인식 엔진(194)에 등록될 수 있는 하나 이상의 제스처들, 음성 사용자 입력 명령들에 대한 실행 기준들(execution criteria), 영상 및 오디오 처리 엔진(191)의 선택적인 물리 엔진(physics engine)(도시 생략)에 등록될 수 있는 애플리케이션과 연관된 가상 객체들에 대한 물리 모델(physics model)들, 및 장면에 있는 가상 객체들 및 가상 영상들의 색, 형상, 얼굴 특징, 의복 등과 같은 객체 특성들을 위한 하나 이상의 규칙 데이터 저장소들일 수 있다.

도 5의 실시예에 도시된 바와 같이, 컴퓨팅 환경(54)의 소프트웨어 구성요소들은 운영 체제(190)와 통신하는 영상 및 오디오 처리 엔진(191)을 포함한다. 영상 및 오디오 처리 엔진(191)의 예시된 실시예는 객체 인식 엔진(192), 제스처 인식 엔진(193), 디스플레이 데이터 엔진(195), 소리 인식 엔진(194), 및 장면 매핑 엔진(306)을 포함한다. ...로 나타낸 바와 같이, 부가의 기능이 추가될 수 있다. 개개의 엔진들 및 데이터 저장소들은 애플리케이션(162)이 처리를 위한 데이터를 식별하는 요청을 송신하는 것 및 데이터 업데이트의 통지를 수신하는 것에 의해 그 자신의 하나 이상의 기능들을 구현하기 위해 이용할 수 있는 데이터 및 작업들의 지원 플랫폼을 제공한다. 운영 체제(190)는 다양한 엔진들 및 애플리케이션들 사이의 통신을 용이하게 한다. 운영 체제(190)는 어느 객체들이 객체 인식 엔진(192)에 의해 식별되었는지, 제스처 인식 엔진들(193)이 식별한 제스처들, 소리 인식 엔진(194)이 어느 단어들 또는 소리들을 식별했는지, 및 장면 매핑 엔진(306)으로부터의 실제 및 가상 객체들의 위치들을 애플리케이션들이 이용할 수 있게 한다.

컴퓨팅 환경(54)은 또한 포착되거나 다양한 소스들로부터 수신될 수 있는 영상 데이터 및 오디오 데이터를 위한 메모리는 물론, 디스플레이될 영상 데이터를 위한 메모리 공간을 제공하는 영상 및 오디오 데이터 버퍼(들)(199)에 데이터를 저장한다. 버퍼들은 NED 상에, 예컨대, 전체 메모리(244)의 일부로서 존재할 수도 있고, 부속 처리 모듈(4) 상에 존재할 수도 있다.

많은 응용들에서, 가상 데이터는 실제 환경에서의 실제 객체와 관련하여 디스플레이되어야 한다. 영상 및 오디오 처리 엔진(191)의 객체 인식 엔진(192)은, 바깥쪽으로 향해 있는 영상 포착 디바이스들(113)(이용가능한 경우)로부터의 포착된 영상 데이터 및 포착된 깊이 데이터 또는 포착 디바이스들(113)에 의해 포착된 실제 환경의 영상 데이터에 기초한 입체 영상(stereopsis)으로부터 결정된 깊이 위치들에 기초하여, 실제 객체들, 그의 배향, 및 디스플레이 시야에서의 그의 위치를 검출하고 식별한다. 객체 인식 엔진(192)은, 예를 들어, 에지 검출(edge detection)을 사용하여, 객체 경계들을 표시하고 객체 경계들을 구조 데이터(structure data)(200)와 비교함으로써, 실제 객체들을 서로 구분한다. 객체의 유형을 식별하는 것 외에, 식별된 객체의 배향이 저장된 구조 데이터(200)와의 비교에 기초하여 검출될 수 있다. 하나 이상의 통신 네트워크들(50)을 통해 액세스가능하기 때문에, 구조 데이터(200)가 비교를 위한 구조 패턴들과 같은 구조 정보 및 패턴 인식을 위한 참조로서의 영상 데이터를 저장할 수 있다. 참조 영상 데이터 및 구조 패턴들이 또한 로컬적으로 저장되거나 클라우드 기반 저장소(322)에서 액세스가능한 사용자 프로필 데이터(197)에서도 이용가능할 수 있다.

장면 매핑 엔진(306)은, 객체 인식 엔진(192) 및 영상 데이터를 디스플레이시키는 하나 이상의 실행 중인 애플리케이션들(162)과의 통신에 기초하여, 영상 데이터가 디스플레이되어야 하는 디스플레이 시야의 3D 매핑에서 또는 사용자 주위의 체적 공간(volumetric space)의 3D 매핑에서 실제 및 가상 객체들의 3차원(3D) 위치, 배향, 및 움직임을 추적한다.

애플리케이션(162)은 영상 데이터에 의해 표현되고 애플리케이션에 의해 제어되는 객체에 대한 디스플레이 시야의 3D 매핑에서의 목표 3D 공간 위치를 식별한다. 예를 들어, 헬리콥터 격추 애플리케이션은 가상 헬리콥터들을 격추시키는 사용자의 행동들에 기초하여 헬리콥터들의 위치 및 객체 특성들의 변화들을 식별한다. 데이터 디스플레이 엔진(195)은 영상 데이터를 정확한 크기 및 시점에 디스플레이하기 위한 이동(translation), 회전(rotation) 및 스케일링(scaling) 동작들을 수행한다. 데이터 디스플레이 엔진(195)은 디스플레이 시야에서의 목표 3D 공간 위치를 디스플레이 유닛(112)의 디스플레이 좌표들에 관련시킨다. 예를 들어, 데이터 디스플레이 엔진은 각각의 개별적으로 어드레싱가능한 디스플레이 위치 또는 영역(예컨대, 픽셀)에 대한 영상 데이터를 Z-버퍼 및 별도의 색 버퍼(color buffer)에 저장할 수 있다. 디스플레이 구동기(246)는, 영상 소스에 의한 영상 데이터의 디스플레이를 제어하기 위해, 각각의 디스플레이 영역에 대한 영상 데이터를 마이크로디스플레이 회로(259) 또는 디스플레이 조명 구동기(247) 또는 둘 다에 대한 디지털 제어 데이터 명령어들로 변환한다.

본 기술은 그의 사상 또는 본질적인 특성들을 벗어남이 없이 다른 구체적인 형태들로 구현될 수 있다. 마찬가지로, 모듈, 루틴, 애플리케이션, 특징, 속성, 방법 및 다른 측면들의 특정의 명칭 부여(naming) 및 분류(division)가 강제적인 것이 아니며, 본 기술 또는 그의 특징들을 구현하는 메커니즘들은 상이한 명칭, 분류 및/또는 형식(format)을 가질 수 있다.

예시를 위해, 이하의 방법 실시예들은 앞서 기술된 시스템 및 장치 실시예들과 관련하여 기술된다. 그렇지만, 방법 실시예들이 앞서 기술된 시스템 실시예들에서 동작하는 것으로 제한되지 않고, 다른 시스템 실시예들에서 구현될 수 있다. 게다가, 방법 실시예들은, NED 시스템이 동작 중이고 적용가능한 애플리케이션이 실행 중인 동안, 연속적으로 수행될 수 있다.

도 6은 투사 광 엔진의 영상 소스로부터의 영상 광을 접안 디스플레이(NED) 디바이스의 접안 디스플레이 내로 결합시키는 방법의 일 실시예의 플로우차트이다. 이 실시예에서, 방법은, 단계(402)에서, 영상 소스로부터의 영상 광을 투사 광학계 하우징 내의 고굴절률 유리 영역에서 제1 광 경로를 따라 고굴절률 유리 영역에서의 버드배스 반사 광학 요소 쪽으로 광학적으로 지향시키는 것을 포함한다. 도 3a 및 도 3b의 실시예들에서와 같이, 광학적으로 지향시키는 단계를 수행하는 데 빔 스플리터가 사용될 수 있다. 영상 광은, 단계(404)에서, 버드배스 반사 광학 요소에 의해 시준되어 고굴절률 유리 영역을 통해 뻗어 있는 제2 광 경로를 따라 투사 광학계 하우징 밖에 있는 외부 사출동 쪽으로 반사된다. 단계(406)는 영상 광을 편광시키는 것이 제1 광 경로 및 제2 광 경로 중 적어도 하나(둘 다는 아님)에서 수행될 수 있다는 것을 나타낸다. 단계(408)에서, 접안 디스플레이의 도파관의 입력 격자가 적어도 사출동의 영상 광을 도파관 내로 광학적으로 결합시킨다.

도 7은 네트워크 액세스가능 컴퓨터 시스템(12), 부속 처리 모듈(4)을 구현하는 데 사용될 수 있는 컴퓨터 시스템의 하나의 실시예, 또는 컴퓨팅 환경(54)의 소프트웨어 구성요소들 중 적어도 일부를 호스팅할 수 있는 접안 디스플레이(NED) 디바이스의 제어 회로(136)의 다른 실시예의 블록도이다. 도 7은 예시적인 컴퓨터 시스템(900)을 나타낸 것이다. 그의 가장 기본적인 구성에서, 컴퓨팅 시스템(900)은 전형적으로 하나 이상의 CPU(central processing unit)들 및 하나 이상의 GPU(graphics processing unit)들을 비롯한 하나 이상의 처리 유닛들(902)을 포함한다. 컴퓨터 시스템(900)은 또한 메모리(904)를 포함한다. 컴퓨터 시스템의 정확한 구성 및 유형에 따라, 메모리(904)는 (RAM과 같은) 휘발성 메모리(905), (ROM, 플래시 메모리 등과 같은) 비휘발성 메모리(907), 또는 이 둘의 어떤 조합을 포함할 수 있다. 이러한 가장 기본적인 구성이 도 7에서 파선(906)으로 나타내어져 있다. 그에 부가하여, 컴퓨터 시스템(900)은 또한 부가의 특징들/기능들을 가질 수 있다. 예를 들어, 컴퓨터 시스템(900)은 또한 자기 또는 광 디스크 또는 테이프(이들로 제한되지 않음)를 비롯한 부가의 저장소(이동식 및/또는 비이동식)를 포함할 수 있다. 이러한 부가의 저장소가 도 7에서 이동식 저장소(908) 및 비이동식 저장소(910)로 예시되어 있다.

컴퓨터 시스템(900)은 또한 디바이스가 다른 컴퓨터 시스템들과 통신할 수 있게 하는 하나 이상의 네트워크 인터페이스들 및 송수신기들을 비롯한 통신 모듈(들)(912)을 포함할 수 있다. 컴퓨터 시스템(900)은 또한 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스 등과 같은 입력 디바이스(들)(914)를 가질 수 있다. 디스플레이, 스피커, 프린터 등과 같은 출력 디바이스(들)(916)이 또한 포함되어 있을 수 있다.

도면들에 도시된 예시적인 컴퓨터 시스템들은 컴퓨터 판독가능 저장 디바이스들의 예들을 포함한다. 컴퓨터 판독가능 저장 디바이스는 또한 프로세서 판독가능 저장 디바이스이다. 이러한 디바이스는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보를 저장하기 위해 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 메모리 디바이스들을 포함할 수 있다. 프로세서 또는 컴퓨터 판독가능 저장 디바이스들의 어떤 예들은 RAM, ROM, EEPROM, 캐시, 플래쉬 메모리 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 다른 광 디스크 저장소, 메모리 스틱 또는 카드, 자기 카세트, 자기 테이프, 매체 드라이브, 하드 디스크, 자기 디스크 저장소 또는 다른 자기 저장 디바이스, 또는 정보를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 디바이스이지만, 이들로 제한되지 않는다.

발명 요지가 구조적 특징들 및/또는 방법적 동작들과 관련하여 기술되어 있지만, 첨부된 청구범위에 한정되어 있는 발명 요지가 앞서 기술된 구체적인 특징들 또는 동작들로 꼭 제한될 필요는 없다는 것을 잘 알 것이다. 오히려, 앞서 기술된 구체적인 특징들 및 동작들은 청구항들을 구현하는 예시적인 형태들로서 개시되어 있다.

Claims

투사 광 엔진의 영상 소스로부터의 영상 광을 접안 디스플레이(near-eye display)에 결합(coupling)시키기 위한 상기 투사 광 엔진의 투사 광학계에 있어서,
사용자에 의해 착용될 수 있는 접안 디스플레이 디바이스의 지지 구조물;
상지 지지 구조물에 의해 지지되는 고굴절률 유리 영역;
상기 영상 소스로부터의 영상 광을 광학적으로 결합시키기 위한, 상기 고굴절률 유리 영역에 매몰(immerse)되고 상기 지지 구조물에 의해 배치(position)되는 버드배스 반사 광학 요소(birdbath reflective optical element); 및
상기 고굴절률 유리 영역에서 상기 버드배스 반사 광학 요소와 외부 사출동(exit pupil) 사이에 광학적으로 결합되는 하나 이상의 편광기를 포함하고,
상기 하나 이상의 편광기는 상기 버드배스 반사 광학 요소로부터 반사되는 상기 영상 광을 편광시키는 것이고,
상기 버드배스 반사 광학 요소는, 상기 영상 광을 시준(collimate)시키고 상기 고굴절률 유리 영역을 통해 상기 투사 광 엔진의 외부에 있는 상기 외부 사출동 쪽으로 반사시키는 것인, 투사 광학계.
삭제
제1항에 있어서,
상기 영상 소스로부터의 영상 광을 상기 버드배스 반사 광학 요소에 광학적으로 결합시키기 위한, 상기 고굴절률 유리 영역에서 상기 영상 소스와 상기 버드배스 반사 광학 요소 사이에서 상기 지지 구조물에 의해 배치되는 빔 스플리터(beam splitter)를 더 포함하는, 투사 광학계.
제3항에 있어서,
상기 하나 이상의 편광기는 상기 지지 구조물에 의해 상기 빔 스플리터와 상기 버드배스 반사 광학 요소 사이에 배치되는 1/4 파장판(quarter waveplate)을 더 포함하며, 상기 1/4 파장판은, 상기 버드배스 반사 광학 요소 쪽으로 진행하는 상기 영상 소스로부터의 영상 광을 편광시키고 상기 버드배스 반사 광학 요소로부터 반사하는 영상 광을 편광시키는 것인, 투사 광학계.
제3항에 있어서,
상기 빔 스플리터는 편광 빔 스플리터인 것인, 투사 광학계.
제1항에 있어서,
상기 고굴절률 유리 영역은 플린트 유리(flint glass)를 포함하는 것인, 투사 광학계.
제1항에 있어서,
상기 고굴절률 유리 영역은 적어도 1.65의 굴절률을 가지는 유리를 포함하는 것인, 투사 광학계.
제1항에 있어서,
상기 고굴절률 유리 영역은 1.7과 1.8 사이의 굴절률을 갖는 유리를 포함하는 것인, 투사 광학계.
제1항에 있어서,
상기 외부 사출동은 상기 투사 광 엔진으로부터 5 mm 밖에 있는 것인, 투사 광학계.
제1항에 있어서,
상기 버드배스 반사 광학 요소는 적어도 -38 mm의 곡률 반경을 갖는 것인, 투사 광학계.
접안 디스플레이 디바이스에 있어서,
접안 지지 구조물;
상기 접안 지지 구조물에 의해 지지되는, 도파관을 포함하는 접안 디스플레이(near-eye display; NED);
영상 소스 및 투사 광학계를 포함하고, 상기 접안 지지 구조물에 의해 지지되며, 투사 광 엔진의 외부에 있는 외부 사출동을 갖는 상기 투사 광 엔진 - 상기 투사 광학계는 그 내부에 버드배스 반사 광학 요소가 매몰되어 있는 고굴절률 유리 영역을 포함하며, 상기 버드배스 반사 광학 요소는 상기 영상 소스로부터의 영상 광을 시준시키고 상기 외부 사출동 쪽으로 반사시키며, 상기 접안 지지 구조물은 상기 외부 사출동의 영상 광을 광학적으로 결합시키도록 상기 도파관을 배치함 - ; 및
상기 고굴절률 유리 영역에서 상기 버드배스 반사 광학 요소와 상기 외부 사출동 사이에 광학적으로 결합되는 하나 이상의 편광기
를 포함하고,
상기 하나 이상의 편광기는 상기 버드배스 반사 광학 요소로부터 반사되는 상기 영상 광을 편광시키는 것인, 접안 디스플레이 디바이스.
제11항에 있어서,
상기 도파관은 회절 도파관인 것인, 접안 디스플레이 디바이스.
제11항에 있어서,
상기 도파관은 표면 양각 격자 도파관(surface relief grating waveguide)인 것인, 접안 디스플레이 디바이스.
제11항에 있어서,
상기 도파관은 다층이고, 상기 접안 지지 구조물은 상기 외부 사출동의 영상 광을 광학적으로 결합시키기 위해 상기 도파관을 배치하며, 상기 도파관의 입력 격자는, 상기 외부 사출동의 영상 광을 결합시키도록 상기 접안 지지 구조물에 의해 상기 다층인 도파관의 내부 층 내에 배치되는 것인, 접안 디스플레이 디바이스.
제14항에 있어서,
상기 내부 층은 상기 도파관의 중앙 파장판 층인 것인, 접안 디스플레이 디바이스.
제11항에 있어서,
상기 접안 지지 구조물은 상기 투사 광 엔진을 위해 하나 이상의 하우징 구조물을 더 포함하고, 상기 하나 이상의 하우징 구조물은 상기 영상 소스와 상기 투사 광학계를 20 mm 높이 내에 들어 맞도록 배치하는 것인, 접안 디스플레이 디바이스.
제11항에 있어서,
상기 영상 소스는,
하나 이상의 광원으로부터의 광을 반사시키는 것에 의해 영상 광을 생성하는 반사형 마이크로디스플레이(reflective microdisplay);
광을 생성하는 상기 하나 이상의 광원을 포함하는 조명 유닛(illumination unit); 및
상기 조명 유닛으로부터의 광을 편광시켜 상기 반사형 마이크로디스플레이의 반사면 쪽으로 지향시키고 상기 반사형 마이크로디스플레이로부터 반사되는 영상 광을 통과시키는 조명 지향 요소(illumination directing element)
를 포함하고,
상기 조명 지향 요소는 상기 고굴절률 유리 영역 내에 배치되는 것인,
접안 디스플레이 디바이스.
투사 광 엔진의 영상 소스로부터의 영상 광을 접안 디스플레이에 결합시키는 방법에 있어서,
상기 영상 소스로부터의 영상 광을 투사 광학계 하우징(projection optical system housing) 내의 고굴절률 유리 영역에서 제1 광 경로를 따라 상기 고굴절률 유리 영역에서의 버드배스 반사 광학 요소 쪽으로 광학적으로 지향시키는 단계;
상기 영상 광을 상기 버드배스 반사 광학 요소에 의해 시준시켜 상기 고굴절률 유리 영역을 통해 연장되는 제2 광 경로를 따라 상기 투사 광학계 하우징 밖에 있는 외부 사출동 쪽으로 반사시키는 단계;
하나 이상의 편광기에 의해, 상기 제1 광 경로 및 상기 제2 광 경로 중 적어도 하나에서 상기 영상 광을 편광시키는 단계 - 상기 하나 이상의 편광기는 상기 고굴절률 유리 영역에서 상기 버드배스 반사 광학 요소와 상기 외부 사출동 사이에 광학적으로 결합됨 -; 및
상기 접안 디스플레이의 도파관의 입력 격자가 적어도 상기 외부 사출동의 상기 영상 광을 상기 도파관 내로 광학적으로 결합시키는 단계
를 포함하는, 투사 광 엔진의 영상 소스로부터의 영상 광을 접안 디스플레이에 결합시키는 방법.
제18항에 있어서,
상기 제1 광 경로 및 상기 제2 광 경로 중 적어도 하나에서 상기 영상 광을 편광시키는 단계는, 1/4 파장판 및 적색 회전 파장판(red rotation waveplate)을 포함하는 하나 이상의 편광기에 의해 상기 제2 광 경로에서 상기 영상 광을 편광시키는 단계를 더 포함하는 것인, 투사 광 엔진의 영상 소스로부터의 영상 광을 접안 디스플레이에 결합시키는 방법.
제18항에 있어서,
상기 영상 소스로부터의 영상 광을 투사 광학계 하우징 내의 고굴절률 유리 영역에서 제1 광 경로를 따라 상기 고굴절률 유리 영역에서의 버드배스 반사 광학 요소 쪽으로 광학적으로 지향시키는 단계는, 빔 스플리터에 의해 수행되는 것인, 투사 광 엔진의 영상 소스로부터의 영상 광을 접안 디스플레이에 결합시키는 방법.