KR20180048868A - 눈 프로젝션 시스템 및 방법 - Google Patents
눈 프로젝션 시스템 및 방법 Download PDFInfo
- Publication number
- KR20180048868A KR20180048868A KR1020187008931A KR20187008931A KR20180048868A KR 20180048868 A KR20180048868 A KR 20180048868A KR 1020187008931 A KR1020187008931 A KR 1020187008931A KR 20187008931 A KR20187008931 A KR 20187008931A KR 20180048868 A KR20180048868 A KR 20180048868A
- Authority
- KR
- South Korea
- Prior art keywords
- eye
- optical
- deflector
- light
- deflection
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 75
- 230000003287 optical effect Effects 0.000 claims abstract description 620
- 210000001747 pupil Anatomy 0.000 claims description 202
- 210000001525 retina Anatomy 0.000 claims description 83
- 230000033001 locomotion Effects 0.000 claims description 63
- 230000008859 change Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 27
- 206010044565 Tremor Diseases 0.000 claims description 23
- 238000011144 upstream manufacturing Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000001902 propagating effect Effects 0.000 claims description 7
- 230000004424 eye movement Effects 0.000 claims description 6
- 230000000644 propagated effect Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 239000004065 semiconductor Substances 0.000 claims description 3
- 239000000835 fiber Substances 0.000 claims description 2
- 239000012528 membrane Substances 0.000 claims 1
- 239000013307 optical fiber Substances 0.000 claims 1
- 239000011295 pitch Substances 0.000 description 40
- 238000012544 monitoring process Methods 0.000 description 15
- 230000003190 augmentative effect Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 12
- 210000003128 head Anatomy 0.000 description 12
- 101100311249 Schizosaccharomyces pombe (strain 972 / ATCC 24843) stg1 gene Proteins 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000000926 separation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000001276 controlling effect Effects 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 208000003464 asthenopia Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010894 electron beam technology Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 210000002700 urine Anatomy 0.000 description 2
- 206010010904 Convulsion Diseases 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001268 conjugating effect Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 231100000040 eye damage Toxicity 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000002304 perfume Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0149—Head-up displays characterised by mechanical features
- G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
- G02B2027/0159—Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Abstract
눈까지 전파 경로를 따라 광선을 전파시키기 위해 프로젝트하도로 구성된 눈 프로젝션 시스템을 포함하는 눈 프로젝션 디바이스가 제공된다. 눈 프로젝션 시스템은, 광학 어셈블리 내의 광의 일반 광학 경로를 형성시키는 상기 광학 어셈블리 - 광학 어셈블리는 상기 일반 광학 경로를 따라 배치되고, 광학 어셈블리에서 눈까지의 광선의 조절가능한 전파 경로를 형성시키도록 구성된 하나 이상의 조절가능한 광학 편향기를 포함함 - 를 포함하고, 상기 하나 이상의 광학 편향기는 상기 전파 경로의 편향에 영향을 주는 적어도 3개의 조절가능한 편향 파라미터로 구성되어서, 상기 눈을 향하여 상기 광선의 전파 경로를 조절하는데 적어도 3개의 자유도를 제공하며, 상기 적어도 3개의 자유도 중 2개는 눈의 시선 방향에서의 각 변화를 보상하기 위한 눈으로의 전파 경로의 2개의 각 배향과 관련되고, 상기 적어도 3개의 자유도 중 적어도 하나는 눈에 대해 상기 프로젝션 시스템의 상대적 측방 위치의 변동을 보상하기 위한 전파 경로의 측방 편향과 관련된다.
Description
본 발명은 눈 프로젝션의 분야이고, 좀 더 구체적으로, 순수/증강된 가상 현실 이미져리를 사용자 눈으로 프로젝트하기 위한 테크닉에 관한 것이다.
가상 및/또는 증강된 가상 현실을 사용자 눈(들)에 프로젝트하기 위한 헤드 마운트 또는 웨어러블 이미지 프로젝션 시스템이 점점 유명해지고 있다. 이러한 시스템은 많은 경우에, 사용자의 머리에 착용가능한 안경으로 구성되고, 사용자에게 가상 현실 이미지/비디오 프로젝션을 제공하기 위해 사용자의 눈으로 이미지를 프로젝트하도록 작동한다. 이를 위해, 알려진 시스템의 어떤 것은 사용자 눈으로 순수한 가상 현실 이미지 프로젝션을 제공하는 것을 목적으로 하고, 외부 배경으로부터의 빛은 눈(들)에 도달하는 것이 차단되는 반면, 다른 시스템은 가상 현실 인지를 제공하기 위하여 지향되는데, 외부 배경으로부터의 빛은 눈으로 통과하도록 허용되는 반면, 이미지 프로젝션 시스템에 의해 눈으로 프로젝트된 이미지/비디오 안경테에 의해, 증강/중첩된다.
예를 들어, 미국 특허 출원 번호 2013044042는 사용자의 머리에 착용되도록 구성된 안경테를 포함하는 전자 디바이스를 개시한다. 프레임은 사용자의 코에 지지되도록 구성된 브리지를 포함할 수 있고, 브리지에 연결되고 이로부터 연장되는 브로우 부분과 사용자의 브로우의 측방에 걸쳐 위치되도록 구성된다. 안경테는 브로우 부분에 연결되고 자유단으로 연장되는 암을 더 포함할 수 있다. 제1 암은 사용자의 퀴 근처에 배치된 자유단으로 사용자의 관자놀이 위에 위치될 수 있다. 또한, 디바이스는 브로우 부분에 인접한 안경테에 고정된 투명한 디스플레이 및 안경테에 고정된 입력부를 포함할 수 있고, 기능과 관련된 입력을 사용자로부터 수신하도록 구성된다. 기능과 관련된 정보는 디스플레이에 존재할 수 있다.
미국 특허 번호 7,936,519는, 관측자의 머리에 장착될 안경테와 유사한 프레임 및 두 개의 이미지 디스플레이 디바이스를 포함하는 헤드 마운트 디스플레이를 개시하는데, 각각의 이미지 디스플레이 디바이스는 이미지 생성 디바이스를 포함하고, 이미지 생성 디바이스에 장착되는 광 가이드 수단을 포함하되, 그 전체로서 이미지 생성 디바이스에 대해 관측자의 얼굴의 중앙의 측방에 위치되고, 이미지 생성 디바이스로부터 발산된 광은 광선이 가이드되어 입사되고, 광선이 관측자의 동공을 향해 발산된다.
미국 특허 번호 8,289,231는 크기가 작고 경량이며, 깨끗한 씨-쓰루 능력을 제공하는 고성능 광학 시스템을 포함하는 헤드 마운트 가상 이미지 디스플레이를 개시한다. 씨-쓰루 능력을 원하지 않을 때, 슬라이딩 광 쉴드는 이들 예시에 통합될 수 있다. 초점 조절이 통합되어서, 가령, 대략 18인치에서 무한대의 거리로 이미지의 초점을 허용한다. 조절가능한 헤드밴드는 사용자 머리에 맞추기 위해 조절되도록 통합될 수 있다. 유연한 붐 구조물은 광학 어셈블리의 미세한 위치 조절을 가능하게 하도록 통합될 수 있다. 슬라이더 및 볼 조인트 메카니즘은 광학 어셈블리의 위치 조절을 가능하게 하도록 통합될 수 있다. 내장형 마이크로폰은 사용자에 의해 음성 입력을 가능하게 하도록 통합될 수 있다. 헤드 마운트 가상 이미지 디스플레이 유닛은 눈 또는 보안경과 함께 편안하게 사용될 수 있고, 주변 환경으로의 그의 시선을 차단하지 않으면서 사용자에게 유용한 이미지를 제공한다. 사용자 허용가능성을 상당히 향상시키기 위해, 기분좋은 외관을 가지도록 설계된다.
미국 특허 번호 8,384,999는 헤드 마운트 디스플레이 및 다른 응용예를 위한 광학 모듈을 개시한다. 광학 모듈은 광학 기판 및 상호-연결 리지형 표면을 가진 광학 상판을 포함한다. 반사층은 표면들의 적어도 하나에 형성된다. 인덱스 매칭 물질은 표면들 사이에 위치될 수 있다. 프로젝터로부터 프로젝트된 이미지를 받는 영역은 프로젝터로부터 론칭된 레이(ray)를 리지된 표면 상으로 지향시켜서, 사용시, 뷰어가 증강된 이미지를 인지하게 한다. 증강된 이미지는 프로젝터로부터 반사된 레이 및 뷰어의 것에 모듈의 반대층 상에 위치된 물체로부터 전송된 레이를 포함한다.
어떤 테크닉에서, 눈 위치와 움직임은 사용자에 대한 초점 영역을 결정하기 위해 추적된다. 눈 추적 테크닉은 가령, Hewitt D. Crane and Carroll M. Steele, 15 February 1985, APPLIED OPTICS, Vol. 24, No. 4 pages 527-537에 의한 "Generation-V dual-Purkinje-image 눈 추적기"에 개시된다. 게이즈를 추적하기 위한 테크닉의 또 다른 예시는 미국 특허 6,943,754에 개시된다.
미국 특허 출원 번호 2012154277는, 씨-쓰루 디스플레이 디바이스나 헤드 마운트 디스플레이 디바이스와 같은 가까운 눈 디스플레이 디바이스를 사용하는 것이 제공될 때, 사용자의 경험을 향상시키는 방법과 시스템을 개시한다. 장면에서 사용자의 시계와 관련된 디스플레이를 위해 최적화된 이미지가 생성된다. 사용자의 머리와 눈 위치 및 움직임이 추적되어서, 사용자를 위한 초점 영역을 결정한다. 최적화된 이미지의 부분은 눈의 현재 위치에서 사용자의 초점 영역, 머리와 눈의 예상된 다음 위치 및 다음 위치에서 사용자의 초점 영역에 결합된 최적화된 이미지의 부분과 결합된다.
미국 특허 7,542,210는 디바이스를 사용자의 머리에 부착하고, 움직임 디바이스로 장착부에 부착된 빔-스플리터, 빔-스플리터 상으로 이미지를 프로젝트하는 이미지 프로젝터, 사용자의 눈의 게이즈를 추적하는 눈-추적기 및 하나 이상의 프로세스를 포함하는 헤드 마운트 디스플레이 디바이스를 개시한다. 디바이스는 눈 추적기와 움직임 디바이스를 옵션적인 헤드-추적기와 함께 사용하여, 눈의 회전의 중심에 대해 빔-스플리터를 움직이고, 빔-스플리터를 눈의 방향 시선에 유지시킨다. 사용자는 이미지와 이미지 뒤의 환경을 동시에 본다. 제2 빔-스플리터, 눈-추적기 및 프로젝터는 사용자의 다른 눈에 사용될 수 있어서, 스테레오식, 가상 환경을 생성한다. 디스플레이는 육안의 능력을 분석하는 것에 해당된다. 본 발명은 사용자가 보는 곳마다 고해상도 이미지를 사전설정한다.
국제 특허 공개 번호 WO 2013/117999는 게이즈 추적을 위한 시스템, 방법 및 컴퓨터 프로그램을 개시한다. 예시적인 방법은 프로젝터를 사용하여 광을 눈으로 지향시키는 단계, 이미지-캡쳐링 모듈을 사용하여 눈과 관련된 표면으로부터 반사도를 검출하는 단계 및 검출된 반사도에 기초하여 눈과 관련된 시선을 결정하는 단계를 포함한다. 일부 실시예에서, 광은 적외선 광을 포함한다. 일부 실시예에서, 프로젝터는 레이저를 포함한다. 일부 실시예에서, 프로젝터는 액체 결정 온 실리콘(LCoP) 칩을 포함한다. 일부 실시예에서, 반사도와 관련된 표면은 각막, 홍체 또는 망막 중 적어도 하나이다.
사용자에게 가상 또는 증강된 현실을 제공하기 위한 종래의 프로젝션 시스템은 일반적으로 사용자 눈을 향해 이미지(가령, 비디오 이미지)의 프로젝션에 기초하여서, 이미지는 눈의 전방으로 특정 거리(가령, 전형적으로 눈으로부터 약 4 내지 몇 미터 떨어진 거리)에 위치된 중간 이미지 평면에 위치/초점된 것으로, 사용자 눈에 의해 인지된다. 이미지가 초점되는(가령, 4미터에서 초점) 중간 이미지 평면의 짧은 거리는 무한대에서의 초점과 거의/실제로 구별할 수 없고, 일반적으로 등가이며, 특히, 출구 동공이 비교적 크고(가령, 약 15mm) 전형적으로 눈 프로젝션 시스템인 경우에 구별할 수 없다. 그러므로, 이러한 눈 프로젝션 시스템의 초점의 깊이는 매우 크고, 초점 길이(중간 평면까지의 거리)를 측정하고 정확하게 조절하는 것은 어렵다. 그러나, 더 작은 입구 동공을 가져서, 초점의 깊이를 가진 눈은 눈 프로젝션 시스템의 초점 길이의 부정확성에 민감하게 된다. 이는 심각한 눈 피로를 야기하고, 이미지가 두 눈에 보여질 때 특히 문제인데, 왜냐하면, 눈이 보는 각각의 초점 거리들 간에 불일치가 있기 때문이다. 이미지가 프로젝트되는 중간 이미지 평면은 눈의 전방에 실제 이미지 평면(즉, 이미지를 형성하는 프로젝트된 광선이 실제로 초점되는)이거나, 가상 이미지 평면(즉, 이미지를 형성하는 프로젝트된 광선이 사용자 눈에 의해 초점되어 인지되는)일 수 있다. 임의의 경우에, 이러한 종래 이미지 프로젝션 시스템에서, 중간 이미지 평면은 사용자의 눈으로 광학적으로 전달되어야 한다. 다시 말해, 중간 이미지 평면(그것이 가상 또는 실제 이미지 평면)이 눈의 전면에 어떤 유한한 거리에 전형적으로 위치됨에 따라, 눈 렌즈는 그 어떤 거리로 초점을 맞출 때에만, 눈 망막상에 초점된다.
눈으로 이미지의 프로젝트를 위한 두 가지 일반적인 접근법이 있는데, 하나는 시스템의 출구 동공에 의해 형성되는 것이고, 다른 하나는 시스템의 눈 박스(eye box)에 의해 형성되는 것이다. 두 개의 접근법들 간의 주요 차이는, 출구 동공 접근법은 매우 급격한 천이 에지를 가진 프로젝션 영역 위에 균일한 광 세기를 제공하는 반면, 눈 박스 접근법은 완만한 천이 에지를 생성하나, 프로젝션 영역 위의 이미지 세기는 균일하지 않다.
사용자 눈으로부터 어떤 유한한 거리에서 인지된 이미지를 프로젝트하는 종래의 가상/증강된 현실 이미징 테크닉의 한 가지 주요 단점은, 눈 피로의 발생에 관한 것이고, 많은 경우에, 두통은 프로젝트된 이미지내의 물체가 눈으로부터 다양한 거리에서 인지될 수 있다는 사실과 관련되며, 눈에 의해 캡쳐된 이미지는 눈으로부터 고정된 거리에 실제로 위치/초점된다. 이는 일반적으로 뇌의 시각 감지 메카니즘을 혼란/고통을 주며, 눈 피로와 두통을 야기한다.
종래의 테크닉의 또 다른 주요 단점은 프로젝션 시슷템에 대한 눈의 상대적 위치와 배향 간의 변동에 관한 것이다(가령, 눈에 대한 프로젝션 디바이스의 움직임과 관련된 변동). 이러한 변동은, 프로젝트된 이미지가 사용자 눈에 의해 인지되는 위치를 실제로 변경하고, 이는 종래의 가상/증가된 현실 안경을 사용하여 사용자에게 현저한 불편함을 야기한다.
본 발명은 신규한 눈 프로젝션 테크닉을 제공하는데, 이는 기술 분야의 테크닉에서 알려진 상기 단점을 해결할 수 있다. 좀 더 구체적으로, 본 발명은 (눈의 외부에 중간 실제/가상 광학 이미지 프로젝션 평면을 가지지 않으면서) 눈 망막으로 직접 이미지의 직접 프로젝션을 위한 신규한 시스템 및 방법을 제공한다.
안구 망막 상에 이미지를 직접 프로젝션하는 기술의 원리는, 예를 들어 본 출원의 양수인에게 양도 된 공동 계류중인 국제 특허 출원 제 PCT/IL2014/050210 호에보다 상세히 기재되어 있으며 본 명세서에 참조로 포함된다. 눈의 망막에 이미지를 직접적으로 직접 프로젝트하면 망막의 시야의 개선된 깊이로 이미지를 생성하므로, 눈의 잘못된 거리에 초점을 맞추려는 결과 눈의 불편함 및 피로를 피하거나 최소한 크게 줄일 수 있다.
본 발명은 또한 눈의 위치 및 눈/동공의 시선/게이즈 모두를 모니터링 및/또는 추적하는 신규한 시스템 및 방법을 제공한다. 또한, 본 발명은 프로젝션 디바이스에 대한 눈의 포지션/위치의 변화를 보상하고, 시선 방향의 변화도 보상하면서 사용자의 눈(들) 상으로 프로젝트된 이미지(들)을 지향할 수 있는 신규한 눈 프로젝션 디바이스/시스템을 제공한다. 바람직하게는, 본 발명의 기술은 그러한 보상이 매우 빠르며 (예를 들어, 10-3 초 또는 심지어 그 이하의) 매우 빠른 속도로 수행 될 수 있게 하는데, 이는 사용자가 시선/눈의 위치 변화와 관련된 망막상의 이미지 프로젝션의 위치에서 어떤 변화/깜박임을 인지하기 전과 같이 충분히 빠르다. 따라서, 이미지는, 시선 변화 및/또는 눈과 프로젝션 시스템 간의 상대적 위치의 변화에 의해 영향받지 않으면서, 망막상의 고정된 위치에 프로젝트될 수 있다.
이는 눈의 광축 방향 (눈의 시선(LOS) 또는 시선 방향이라고도 함)으로 광학 측정을 기반으로하는 새로운 기술에 의해 달성된다. 이러한 신규한 접근법은 정적 광 소스에 대한 동공 위치의 평가를 위해 푸르키예(Purkinje) 이미지 (예를 들어 및 그 조합)에 의존하는 일반적인 눈 추적 시스템과 비교하여 유리하다. 푸르키예 이미지 분석에는 두 가지 중요한 단점이 있기 때문인데, 하나는 이미지를 실제로 분석해야하고 시간이 걸리고 기생 조명, 대비 및 노이즈와 같이 이미지 자체에 많은 요구 사항이 필요하다는 것이고, 두 번째는 눈이 완전히 단단한 몸체가 아니며 눈의 여러 부분이 다소 독립적으로 움직이므로 시선 방향 (눈의 광축)과 최대 ± 0.3 도의 푸르키예 이미지 간의 편차가 발생한다는 것이다. 또한, 마이크로 단클론과 눈 떨림의 시간 척도는 전적으로 일반적인 카메라 노출 시간 영역 밖에 있으므로 눈에 대한 최대 허용 노출(MPE) 값을 초과하지 않고 적절한 노출 프레임을 달성 할 수 없으므로 영구적이거나 일시적인 눈 손상의 원인이 된다.
이 점에서, 눈에 의한 이미지의 인식을 위해서는 망막상의 이미지의 작은 경련 움직임(떨림)이 필요/요구된다는 점에 유의해야한다. 떨림과 관련된 망막상의 이미지의 움직임으로 이미지는, 안정하게 인식되고 눈/망막에 대해 고정된 배향 (위치/각도/방향)으로 위치한다. 떨림 운동이 없는 상태는 일반적으로 망막 피로 (retina fatigue)라고하는 상태를 유발한다. 이 상태는 프로젝트된 이미지의 정적 인 부분이 점차적으로 지각되어 사라지는 경우에 나타난다 (망막상의 프로젝션은 떨림 관련 운동에 의해 움직이지 않음).
이를 해결하고 망막 피로 상태를 피하기 위해, 본 발명은 또한 눈의 떨림 운동에 대한 보상을 필터링/회피하기위한 기술을 제공한다. 이를 위해 망막의 고정 된/특정 위치라는 문구는 속눈썹 운동에 의해 허용되는 정도로 고정된 망막상의 위치로 이해되어야하지만, 경우에 따라 떨림 안구 운동 때문에 절대적으로 고정될 수는 없다. 따라서, 이하 더 상세히 기술되는 본 발명의 기술은 눈의 큰 움직임 (예를 들어, 시선 방향의 변화 및/또는 얼굴의 안경의 위치 변화와 관련됨)을 보상하는 것을 제공하는 반면, 작은 움직임 (예를 들어, 떨림)이 보상되지 않을 수 있지만 이미지가 망막의 고정된 위치에 완전히 안정적으로 나타날 수 있다.
그로므로, 본 발명의 넓은 양태에 따르면, 전파 경로를 따라 전파하기 위해 광선을 눈으로 프로젝트하도록 구성된 눈 프로젝션 시스템을 포함하는 눈 프로젝션 디바이스가 제공된다. 눈 프로젝션 시스템은, 광학 어셈블리 내의 광의 일반 광학 경로를 형성하다. 광학 어셈블리는, 상기 일반 광학 경로를 따라 배치되고, 광학 어셈블리에서 눈까지의 광선의 조절가능한 전파 경로를 형성시키도록 구성된 하나 이상의 조절가능한 광학 편향기를 포함한다. 본 발명에 따르면, 하나 이상의 광학 편향기는 전파 경로의 편향에 영향을 주는 적어도 3개, 전형적으로 4개의 조절가능한 편향 파라미터로 구성되어서, 상기 눈을 향하여 상기 광선의 전파 경로를 조절하는데 적어도 3개, 전형적으로 4개의 자유도를 제공하여서, 눈을 향하는 광선의 전파 경로를 조절할 수 있다. 상기 적어도 3개의 자유도 중 2개는 눈의 시선 방향에서의 각 변화를 보상하기 위한 눈으로의 전파 경로의 2개의 각 배향과 관련되고, 상기 적어도 3개 또는 4개의 자유도 중 적어도 하나 및 전형적으로 2개는 눈에 대해 프로젝션 시스템의 상대적 측방 위치의 변동을 보상하기 위한 전파 경로의 측방 편향과 관련된다.
일부 실시 예에서, 눈 프로젝션 디바이스는 눈의 시선 방향의 변화 및 눈에 대한 눈 프로젝션 시스템의 상대적인 측 방향 위치의 변화를 나타내는 데이터를 수신하도록 구성된 컨트롤러도 포함하고, 눈의 시선 방향의 변동 및 눈 프로젝션 시스템의 위치의 변동에 관계없이, 눈의 망막 상에 특정 위치에 입사될 광선을 지향시키기 위한 이러한 데이터에 따라 하나 이상의 조절가능한 광학 편향기의 편향 파라미터를 조절한다.
일부 실시 예에서, 눈 프로젝션 시스템은 눈의 망막에 직접 이미지를 프로젝트하기에 적합하다. 눈 프로젝션 시스템은 눈의 망막 상에 이미지(들)를 프로젝트하기위한 이미지 프로젝션 모듈을 포함 할 수 있으며, 망막에 프로젝트 될 광선을 출력하도록 구성된 광 모듈 및 광선의 일반 광학 경로를 다라 배치된 이미지 광 변조기를 포함 할 수 있다. 이미지 광 변조기는 이미지의 하나 이상의 픽셀을 나타내는 이미지 데이터를 수신하고, 이미지가 망막에 형성되도록 광선에 이미지 데이터를 인코딩하도록 광선을 변조하도록 구성되고 동작 가능하다. 보다 구체적으로, 눈 프로젝션 디바이스는 이미지 광 변조기에 연결 가능하고 이미지를 나타내는 이미지 데이터를 수신하고 이미지를 망막에 형성하기 위해 광선의 세기 및 색채 구성을 조절하기 위해 이미지 광 변조기를 조작하도록 구성된 이미지 프로젝션 컨트롤러를 포함 할 수 있다.
일부 실시 예에서, 편향 장치의 적어도 하나의 조절가능한 편향기는 눈을 향한 광산의 전파 경로의 측 방향 편향에 영향을 주기 위해 동공 위치 빔 편향기로서 구성되고 동작가능하다(눈을 향한 광선의 전파 경로에 수직인 하나 또는 두 개의 측방 축에 대해). 다양한 실시예에서, 전파 경로의 측 방향 편향은 동공 위치 빔 편향기의 편향 각도를 변화시킴으로써 및/또는 유효 편향면의 위치의 선형 이동시킴으로써 달성된다. 전파 경로의 측 방향 편향이 동공 위치 빔 편 향기의 편향 각을 변화시킴으로써 달성되는 경우, 동공 위치 빔 편 향기는 시스템의 광학 릴레이 내에 위치 될 수 있다. 전파 경로의 측방 편향이 동공 위치 빔 편향기의 편향 표면을 이동시킴으로써 달성되는 경우, 광선의 전파 방향에 대해 광학 릴레이의 업스트림 또는 다운스트림에 위치될 수 있다.
일부 실시예에서, 적어도 하나의 조절가능한 광학 편향기는 눈을 향한 광선의 전파 경로의 각도 배향을 조정 가능하게 영향을 미치도록 하기 위해 시선 방향 빔 편향기로서 구성되고 동작 가능하다. 다양한 실시예에서, 전파 경로의 각도 편향은 시선 방향 빔 편향기의 유효 편향 표면의 위치의 선형 이동(linear translation) 및/또는 그 편향 각을 변화시킴으로써 달성된다. 시선 방향 빔 편향기의 유효 편향 표면의 위치의 선형 이동에 의해 전파 경로의 각도 편향이 달성되는 경우, 시선 방향 빔 편향기는 시스템의 광학 릴레이 내에 위치 될 수있다. 시선 방향 광 편향기의 편향 각을 변화시킴으로써 전파 경로의 측방 편향이 달성되는 경우, 광선의 전파 방향에 대해 광학 릴레이의 업스트림 또는 다운스트림에 위치 될 수있다.
일부 실시예에서, 동일한 조절가능한 편향기는 전파 경로의 각도 편향 및 측 방향 편향과 관련된 전파 경로의 자유도를 조정하도록 구성되고 동작 가능하다. 예를 들어, 조절가능한 빔 편향기의 편향 표면의 이동은 전파 경로의 측방 편향에 영향을 미치고, 편향기의 편향 각을 변화시키는 것은 전파 경로의 각도 배향에 영향을 미치며, 그 반대도 마찬가지이다.
일부 실시예에서, 눈 프로젝션 디바이스는 눈을 향한 전파 경로의 조정에 사용하기 위해 눈의 시선 방향 및 측 방향 위치를 나타내는 눈 위치 데이터를 측정하도록 구성되고 동작 가능한 안구 추적 모듈을 포함한다. 상기 눈 추적 모듈은,
상기 하나 이상의 조절가능한 광학 편향기와 상호작용하는 동안, 광학 어셈블리의 상기 일반 광학 경로를 따라 전파되는 추적 광선을 제공하도록 작동되고 구성된 추적 광 포트 - 상기 눈 상의 상기 추적 광선의 입사는 광학 어셈블리를 통해 백 전파를 위한 눈의 망막으로부터 상기 추적광선의 반사와 관련된 반사된 광선을 발생시킴 - 와, 둘 이상의 서로 다른 위치에서 일반 광학 경로에 광학적으로 결합되고, 상기 반사된 광선을 수신하도록 구성되며, 상기 둘 이상의 서로 다른 위치에서 상기 반사된 광선의 전파의 하나 이상의 특성을 측정하는 하나 이상의 센서와, 상기 하나 이상의 센서 및 상기 하나 이상의 조절가능한 광학 편향기에 연결가능한 눈 추적 컨트롤러 - 상기 컨트롤러는 상기 둘 이상의 서로 다른 위치에서 상기 반사된 광선의 전파의 상기 적어도 하나의 특성을 나타내는 상기 하나 이상의 센서 리드아웃 데이터를 수신하고, 상기 눈 위치 데이터를 결정하기 위해 리드아웃 데이터를 프로세스하도록 구성된다. 일부 실시예에서, 눈 위치 데이터는 눈의 시선 방향과 눈을 향하는 광선의 전파 경로의 배향 간의 편차 및 눈의 동공의 측방 위치와 상기 전파 경로 간의 편차를 나타낸다.
일부 실시예에서, 조절가능한 광학 편향기는 2개의 조절가능한 광학 편향기에 의해 광학 경로의 편향과 관련하여, 광 경로의 2 개의 각각의 편향 스테이지를 형성하기 위해 시스템의 광 경로를 따라 연속적으로 배치된 2개 이상의 이러한 편향기를 포함한다. 2 이상의 센서는 상이한 위치에 배치되고 이들 2 개의 편향 스테이지에서 각각 일반 광학 경로에 광학적으로 결합된다. 컨트롤러는 이들 각각의 조절가능한 광힉 편향기와 관련된 광학 경로의 각각의 편향 스테이지로부터 측정된 전파의 대응되는 특성에 기초하여, 각각의 조절가능한 광학 편향기에 대한 동작 명령을 생성하도록 구성되고 동작 가능할 수있다.
예를 들어, 전파의 측정된 특성은 미리정한 공칭 위치로부터의 반사된 광선의 전파의 측방 오프 축 편차 일 수 있으며, 컨트롤러는 센서로부터의 리드아웃 데이터를 처리하여, 반사된 광선의 입사 위치를 결정하고, 입사 위치와 센서상의 미리정한 공칭 위치 사이의 편차를 결정함으로써, 반사된 광선의 전파 특성을 결정할 수 있다.
일부 실시예에서, 컨트롤러는 하나 이상의 서보 루프를 포함하되, 각각의 서보 루프는 상기 두 개의 조절가능한 광학 편향기의 각각의 조절가능한 광학 편향기를 상기 하나 이상의 센서의 대응되는 센서에 연결하도록 작동되고 구성되어서, 상기 대응되는 센서로부터 획득된 리드아웃 데이터에 기초하여 (또는 측정된 전파의 특성에 기초하여) 각각의 조절가능한 광학 편향기를 작동하기 위한 상기 작동 명령을 생성한다.
일부 실시예에서, 하나 이상의 센서는 복수의 광 검출기를 포함하는 시선 방향 센서를 포함한다. 시선 방향 센서는, 전파 경로의 각 배향을 조절을 담당하는 시선 방향 빔 편향기과 반사된 광선의 상호작용의 위치 뒤(다운스트림)에 배치된 편향 스테이지에 일반 광학 경로로부터 반사된 광선을 수집하도록 배치된다. 따라서, 시선 방향 센서로부터의 리드아웃 데이터/정보는 눈의 시선 방향과 눈을 향한 전파 경로 간의 각 편차를 나타낸다.
일부 실시예들에서, 눈 추적 컨트롤러는 시선 방향 센서 및 시선 방향 빔 편향기에 연결 가능한 시선 방향 컨트롤러를 포함한다. 시선 방향 컨트롤러는 시선 방향 센서의 중심으로부터의 반사된 광의 편차을 최소화하기 위해, 시선 방향 빔 편향기를 작동시켜 소정의 임계치 이하의 레벨로 동작하도록 구성되고 동작 가능하다.
일부 실시예에서, 시선 방향 컨트롤러는 시선 방향 센서로부터의 리드아웃 데이터를 처리하고 눈의 떨림 운동과 관련된 시선 방향의 각도 편차를 필터링하도록 구성된 떨림 필터레이션 모듈을 포함한다. 떨림 필터레이션 모듈은 떨림 편차 스레숄드와 관련될 수 있고, 시선 방향의 각도 편차를 연속적으로 모니터링하고 떨림 편차 스레숄드보다 낮은 각도 편차에 대한 개방 서보 루프에서 작동하여서, 떨림 운동과 관련된 편차를 보상하지 않고, 떨림 편차 스레숄드보다 더 큰 각도 편차에 대해 폐쇄된 서보 루프에서 작동하여서, 눈의 떨림 운동과 관련되지 않은 편차에 대해 보상한다.
일부 실시예에서, 추적 광 포트는 추적 광선을 변조된 광선으로서 출력하도록 동작 가능하다. 눈 추적 컨트롤러는, 추적 광선의 변조부를 가진 하나 이상의 센서로부터 리드아웃 정보를 위상 고정하여서 상기 센서에 의해 센싱된 IR 광 클러스터와 관련된 노이즈를 억제시키도록 구성된 위상 고정 모듈과 상기 추적 광선의 특정 파장으로 조절된 밴드패스 필터 중 적어도 하나를 포함한다.
일부 실시예에서, 하나 이상의 센서는, 반사된 광선과 전파 경로의 측방 위치를 조절하는 것을 담당한 동공 위치 빔 편향기 사이의 상호작용 위치 뒤에, 위치된 편향 스테이지에서, 눈으로부터 반사된 광선을 수집하기 위해 광학 경로에 배치된/광학적으로 결합된 동공 위치 센서를 포함한다. 따라서, 동공 위치 센서로부터의 리드아웃 정보는 눈의 동공 위치와 눈을 향한 광선의 전파 경로 사이의 측방 편차를 나타낸다.
눈 추적 컨트롤러는 동공 위치 센서 및 동공 위치 빔 편향기에 연결 가능한 동공 위치 컨트롤러를 포함 할 수있다. 동공 위치 컨트롤러는 동공 위치 센서로부터의 리드아웃 데이터/정보를 처리하고, 동공 위치 빔 편향기를 작동 시켜서 눈의 동공 위치와 전파 경로 사이의 측방 편향을 적어도 부분적으로 보상하도록 되어있다.
일부 실시예에서, 눈 프로젝션 디바이스는 사용자의 두 눈에 이미지를 프로젝트하기 위해 상기 기술된 바와 같은 두 개의 눈 프로젝션을 각각 포함하는데, 사용자 눈의 한 쪽에 이미지를 프로젝트하기 위한 제1 눈 프로젝션 시스템 및 다른 쪽 눈에 이미지를 프로젝트하기 위한 제2 눈 프로젝션 시스템이다. 이러한 실시예에서, 동공 위치 컨트롤러는 제1 눈 프로젝션 시스템의 동공 위치 센서 및 제2 눈 프로젝션 시스템의 제2 동공 위치 센서에 연결가능할 수 있고, 사용자의 두 눈의 동공의 위치의 "공통 모드" 시프트를 검출하고, 눈 운동과 관련된 시프트와 눈에 대해 눈 프로젝션 디바이스의 움직임과 관련된 시프트를 구별하도록 구성된다.
본 발명의 또 다른 넓은 양태에 따르면, 눈 추적 모듈이 제공되는데, 이는,
추적 광선을 제공하기 위해 구성된 추적 광 포트와,
눈을 향해 전파 경로를 따라 전파시키기 위해 상기 추적 광선을 지향하도록 구성된 광학 어셈블리 - 상기 광학 어셈블리는 눈을 향해 상기 전파 경로의 각 배향 및 측방 위치를 조절하도록 작동되고 구성된 적어도 두 개의 조절가능한 광학 편향기를 포함함 - 와,
눈을 향해 상기 추적 광선의 상기 지향에 응답하여 눈으로부터 다시 반사된 반사된 광선을 각각 센싱하기 위해, 상기 적어도 두 개의 조절가능한 광학 편향기와 각각 연결되어 광학 어셈블리의 일반 광학 경로에 광학적으로 결합된 적어도 두 개의 광학 센서와,
리드아웃 정보를 수신하기 위해 상기 적어도 두 개의 광학 센서에 연결가능한 눈 추적 컨트롤러 - 상기 눈 추적 컨트롤러는 동공 지진 및 눈의 시선 방향으로부터의 상기 전파 경로의 측방 및 각 편차를 나타내는 데이터를 결정하기 위해 상기 리드아웃 정보를 프로세스하도록 구성됨 - 를 포함한다.
본 발명의 또 다른 양태에 따르면, 눈 프로젝션 디바이스에서 사용자 눈까지 광선을 지향시키기 위한 광학 어셈블리가 제공된다. 광학 어셈블리는 일반 광학 경로를 따라 배치된 적어도 두 개의 조절가능한 광학 편향기를 포함한다. 적어도 두 개의 조절가능한 편향기는 눈을 향해 광선의 전파 경로를 조절하는데 적어도 3개 및 전형적으로 4개의 자유도를 제공하도록 구성된다. 상기 자유도 중 2개는 눈의 시선 방향의 각 변화에 대해 보상하는 것과 관련되고, 상기 자유도 중 적어도 1개 또는 2개는 눈에 대해 상기 눈 프로젝션 디바이스의 상대 위치의 변동에 대해 보상하기 위해 제공된다.
본 발명의 또 다른 광범위한 양태에 따르면, 눈의 망막 상에 직접 이미지를 프로젝트하도록 구성된 눈 프로젝션 시스템을 포함하는 눈 프로젝션 디바이스가 제공되는데, 눈 프로젝션 시스템은,
(i) 망막에 프로젝트될 광선을 출력하도록 구성된 광 모듈 및 광선의 일반 광학 경로를 따라 배치되고 망막에 이미지를 형성하기 위해 광선을 변조하도록 구성된 이미지 광 변조기를 포함하는, 눈의 망막에 이미지를 프로젝트하기 위한 이미지 프로젝션 모듈과,
(ii) 광선을 눈을 향하여 지향하기 위한 광학 어셈블리 - 광학 어셈블리는 일반 광학 경로를 따라 배열된 적어도 두 개의 각 조절가능한 편향기를 포함하고, 각 조절가능한 편향기의 적어도 두 개는 눈을 향한 광선의 전파 경로를 조절하는데 적어도 4개의 자유도를 제공하도록 구성되고, 자유도 중 2개는 눈의 시선 방향의 각 변화를 보상하는 것과 관련되고, 자유도의 두 개는 눈에 대해 눈 프로젝트의 상대적 위치의 변도에 대해 보상하는 것을 제공함 - 를 포함한다.
본 발명의 또 다른 넓은 양태에 따르면, 눈 추적 모듈이 제공되는데, 이는,
(i) 눈을 향해 광을 전파하기 위한 일반 광학 경로를 형성시키는 광학 모듈을 포함하되, 상기 광학 모듈은,
a. 눈의 시선 방향의 변동을 보상하기 위해 두 개의 각 치수에서 일반 광학 경로를 조절가능하게 편향시키도록 구성되고 작동가능하다.
b. 적어도 두 개의 이격된 광학 소자들 사이에 주요 초점 평면을 형성하는 적어도 두 개의 이격된 광학 소자를 포함하는 광학 릴레이 및
c. 주요 평면에 위치되고, 측방 이차원으로 일반 광학 경로를 조절가능하게 편향시켜서 눈의 동공의 측방 위치의 변동을 보상하도록 구성되고 작동가능한 동공 위치 빔 편향기를 포함한다.
(ii) 시선 방향 빔과 동공 위치 빔 편향기와 상호작용하는 동안, 일반 광학 경로를 따라 전파되도록 지향된 IR 빔을 출력하도록 구성되고 동작가능한 IR 광 소스.
(iii) 적어도 두 개의 광학 센서. 각각의 광학 센서는 복수의 IR 광 검출기(가령, 쿼드런트 센서)를 포함한다. 적어도 두 개의 광학 센서는 반사된 IR 광을 수집하기 위해 배치되고, 이는 눈의 망막으로부터 다시 반사된 IR 빔과 관련된다. 적어도 두 개의 광학 센서는,
a. 동공 위치 빔 편향기과 상호작용한 이후에 반사된 IR 광을 검출하도록 구성된 동공 위치 센서와,
b. 시선 방향 빔 편향기와 상호작용한 이후에 반사된 IR 광을 수집하도록 구성된 시선 방향 센서를 포함한다.
iv) 적어도 두 개의 광학 센서로부터 리드아웃 정보를 수신하기 위해 이와 연결가능한 눈 추적 컨트롤러. 눈 추적 컨트롤러는 일반 전파 경로로부터 눈의 동공 위치의 측방 편차를 나타내는 데이터를 결정하고, 일반 전파 경로로부터 눈의 시선 방향의 각 편차를 나타내는 데이터를 결정하기 위해 리드아웃 정보를 처리하도록 구성된다.
본 발명의 일부 실시예에서, 눈 추적 모듈의 IR 소스는 IR 광선을 변조된 광선으로서 출력하도록 작동 가능하다. 결국, 눈 지향 컨트롤러는 IR 광선늬 변조로 광학 센서들 중 적어도 하나로부터의 리드아웃 정보를 위상 고정하여서, 고아학 센서들 중 적어도 하나에 의해 센싱된 IR 광 클러스터와 관련된 노이즈를 억제하도록 구성된 위상 고정 모듈을 포함한다.
이하의 설명에서 종 방향 및 측방 축/방향이라는 용어는 광학/전파 경로를 따라 전파하는 광의 로컬 좌표계에서 축 또는 방향을 지정하는 데 사용된다는 점에 유의해야한다. 측방 좌표는 빛의 전파 방향과 직교하는 두 개의 직각 축과 관련되며 종 방향 좌표는 전파 방향과 정렬된다.
본 명세서에서, 편향 또는 편향기는 굴절, 반사 및 회절을 포함하지만 이에 한정되지 않는 임의의 물리적 메커니즘에 의해 광의 방향을 변화 시키거나 변경시키는 임의의 광학 모듈을 지정하는데 사용된다. 이를 위해, 조절가능한 광학 편향기라는 용어는 또한 조절가능한 편향기 또는 조절가능한 빔 편향기를 지칭하며, 이들 용어는 본 명세서에서 전기-광학 편향기 또는 음향-광학 편향기 및/또는 조정 가능한 거울과 같은 제어될 수 있는 편향기의 유형을 나타내기 위해 본 명세서에서 사용된다(예를 들어 적절한 전기, 음향 또는 다른 유형의 제어 신호를 적용하여).
본 명세서에 개시된 주제를 더 잘 이해하고, 이를 실제로 어떻게 수행될 수 있는지를 예시화하기 위하여, 실시예는 이제 첨부 도면을 참조하여 비제한적인 예시에 의해 기술될 것이다.
도 1a 내지 1f는 본 발명의 여러 실시예에 따른 눈 프로젝션 디바이스를 개략적으로 나타내는 블록도이다.
도 1g는 눈의 위치와 게이즈 방향의 변경에 대해 보상하여, 눈을 향하여, 이미지 프로젝션 광선과 같은 광선을 지향시키기 위한 본 발명에 따른 방법의 순서도이다.
도 2a 및 2b는 본 발명의 두 개의 실시예에 따른 본 발명의 눈 프로젝션 디바이스에서 사용되는 두 개의 이미지 프로젝션 시스템의 컨피규레이션을 예시화하는 블록도이다.
도 3a는, 본 발명의 실시예에 따른, 눈/동공의 위치와 시선 방향을 모니터링하도록 구성된 눈 추적 디바이스 및 눈 추적 디바이스로 촉진된 눈 프로젝션 디바이스를 나타내는 블록도이다.
도 3b 내지 3d는 눈 또는 다른 광학 표면/시스템의 위치와 시선(게이즈)을 모니터링하고 추적하는 방법을 나타내는 순서도이다.
도 3e는 눈의 위치 및/또는 시선을 모니터링/추적하는데 사용되는, 본 발명의 실시예에 따른 서보 루프의 흐름을 자기 설명 방식으로 나타내는 다이어그램이다.
도 4는 본 발명의 실시예에 따른 눈 프로젝션 디바이스가 구비된 안경을 나타낸다.
도 5a 및 5b는 본 발명의 시스템을 통합하는 헤드 마운트 디스플레이(HMD)의 사용의 두 개의 도면이다.
도 1a 내지 1f는 본 발명의 여러 실시예에 따른 눈 프로젝션 디바이스를 개략적으로 나타내는 블록도이다.
도 1g는 눈의 위치와 게이즈 방향의 변경에 대해 보상하여, 눈을 향하여, 이미지 프로젝션 광선과 같은 광선을 지향시키기 위한 본 발명에 따른 방법의 순서도이다.
도 2a 및 2b는 본 발명의 두 개의 실시예에 따른 본 발명의 눈 프로젝션 디바이스에서 사용되는 두 개의 이미지 프로젝션 시스템의 컨피규레이션을 예시화하는 블록도이다.
도 3a는, 본 발명의 실시예에 따른, 눈/동공의 위치와 시선 방향을 모니터링하도록 구성된 눈 추적 디바이스 및 눈 추적 디바이스로 촉진된 눈 프로젝션 디바이스를 나타내는 블록도이다.
도 3b 내지 3d는 눈 또는 다른 광학 표면/시스템의 위치와 시선(게이즈)을 모니터링하고 추적하는 방법을 나타내는 순서도이다.
도 3e는 눈의 위치 및/또는 시선을 모니터링/추적하는데 사용되는, 본 발명의 실시예에 따른 서보 루프의 흐름을 자기 설명 방식으로 나타내는 다이어그램이다.
도 4는 본 발명의 실시예에 따른 눈 프로젝션 디바이스가 구비된 안경을 나타낸다.
도 5a 및 5b는 본 발명의 시스템을 통합하는 헤드 마운트 디스플레이(HMD)의 사용의 두 개의 도면이다.
본 발명의 6개의 실시예에 따른 눈 프로젝션 디바이스(100)를 개략적으로 나타내는 블록도인 도 1a 내지 도 1f를 참조한다. 명료함을 위해, 유사한/비슷한 기능을 갖는 공통 요소들/모듈들 및/또는 요소/모듈들은 본 출원의 모든 도면들에서 동일한 참조 번호들로 표시된다.
눈 프로젝션 디바이스(100)는 눈(EYE)의 망막에 직접 이미지를 프로젝트하도록 구성된 눈 프로젝션 시스템(101)을 포함한다. 눈 프로젝션 디바이스(100)는 가령, 증강 또는 가상 현실 안경(스펙터클)의 일부일 수 있고, 육안의 서로 다른 것의 망막 상으로 광선(LB)(가령, 이미지(들)를 인코딩하는 광선)을 프로젝트하는데 각각 사용되는, 눈 프로젝션 시스템(101)과 같은 두 개의 눈 프로젝션 시스템을 포함할 수 있다. 간결성으로 위해, 오직 하나의 눈 프로젝션 시스템(101)이 도면에 구체적으로 도시된다.
눈 프로젝션 시스템(101)은 그 안에 (가령, 광학 어셈블리의 입구 광학-포트/동공(EN) 및 광학 어셈블리의 출구 광학-포트/동공(EP) 사이) 광 전파의 일반 광학 경로(OP)를 형성하는 광학 어셈블리(150)를 포함한다. 광학 어셈블리(150)는 입구 포트와 출구 포트(EN 및 EP) 사이에 위치된 편향 장치를 포함하는데, 이는 일반 광학 경로(OP)를 따라 배열되된 하나 이상의 조절가능한 광학 편향기(130 및/또는 140)를 포함하고, 광학 어셈블리(150)와 눈(EYE) 사이에 전파하기 위해 출구 포트/동공(EP)으로부터 나온 이후에, 광선의 조절가능한 전파 경로(PP)를 형성하도록 구성된다.
문구 입구 포트/동공과 출구 포트/동공(EP)은 반드시 시스템의 물리적 요소를 지칭할 필요는 없고, 본 명세서에서 광학 경로(OP)를 교차하고(가령, 광학 경로에 수직인) 광이 광학 어셈블리에 각각 들어가거나 나가는 특정한 평면/어퍼처(가령, 가상 평면 및/또는 광학 표면)을 지칭하는 것으로 본 명세서에서 사용된다.
일반적으로, 본 발명에 따르면, 광학 편향기(가령, 130 및/또는 140)는 3개의 조절가능한 편향 파라미터로 구성되는데, 가령, 이는, 회전의 하나 또는 두 개의 축에 대한 광학 편향기의 조절가능한 편향 각도와 관련되거나, 및/또는 광학 어셈블리의 일반 경로를 따라 이들의 편향 위치의 조절가능한 이동과 관련된다. 광학 어셈블리(150)(가령, 광학 어셈블리의 편향 장치)는, 적어도 3개의 조절가능한 편향 파라미터가 전파 경로(PP)의 편향에 영향을 주어서 눈(EYE)을 향한 광선(LB)의 전파 경로(PP)를 조절하는 적어도 3개의 자유도를 제공하도록, 구성된다. 본 발명의 테크닉에 따르면, 편향기의 편향 파라미터에 의해 제어되는 적어도 2개의 자유도는 눈까지의 전파 경로(PP)의 두 개의 각 배향, 피치(PC) 및 요(YW)와 관련된다. 이는, 눈(ETE)의 시선 방향의 각 변화를 보상하기 위해, 눈을 향한 전파 경로(PP)의 각 배향을 조절하기 위한 편향기의 편향 파라미터(편향기의 배향)를 조절할 수 있도록 한다. 또한, 본 발명의 테크닉에 따르면, 적어도 하나의 자유도(전형적으로 2개의 자유도)는 전파 경로(PP)의 측방 편향과 관련된다. 이는, 눈(EYE)에 대한 프로젝션 시스템(101)의 상대적인 측방 위치의 변동을 보상하기 위해 편향기의 편향 파라미터를 조절할 수 있도록 한다.
전형적으로, 광학 어셈블리(150)의 편향 장치는 적어도 두 개의 조절가능한 편향기(130 및 140)를 포함하고, 편향기는 광학 어셈블리(150)에 들어가는 광선(LB)과 연속적으로 상호작용하고, 광학 어셈블리의 일반 광학 경로(OP)를 형성하도록 이격적으로 배치된다.
그러나, 도 1d에 도시된 예시와 같이, 전파 경로(PP)의 오직 3개의 자유도에 대한 제어가 요구되는 일부 실시예에서, 3개의 조절가능한 편향 파라미터를 가진 하나의 조절가능한 편향기(130)는 광학 어셈블리 내에 포함될 수 있다. 도 1d의 예시에서, 하나의 조절가능한 편향기(130)의 3개의 조절가능한 편향 파라미터는 광학 경로(OP)를 따라 편향기(130)의 변위/이동 및 (두 개의 회전축(X 및 Y)에 대한) 이차원으로 편향기(130)의 편향 각도의 조절을 포함한다. 이러한 예시에서, 편향기(130)는 광학 어셈블리(150) 내에 배치되어서, 이들 3개의 편향 파라미터는 두 개의 각도/회전축에 대해 전파 경로(PP)의 각 배향에 대해 제어하여서, 눈(EYE)의 시선 방향의 피치와 요의 변화에 대해 보상하고, 눈 프로젝션(101)에 대해 눈(EYE)의 상대적인 수직 위치나 눈(EYE)의 상대적인 수평 위치에 대해 보상한다. 후자는, 다양한 사람들간의 동공간 거리의 변동들 중 하나에 보상하거나, 눈(EYE)의 동공에 대한 눈 프로젝션 디바이스(100)의 수직 변위에 대한 보상을 할 수 있다.
전형적으로, 도 1a, 1b, 1c, 1e 및 1f에서 예시된 바와 같이, 광학 어셈블리는 적어도 하나의 추가적인 편향 파라미터를 가진 둘 이상의 조절가능한 광학 편향기(가령, 130 및 140)로 실시되어서, 전파 경로(PP)의 적어도 4개의 자유도의 조절을 제공하는 적어도 4개의 편향 파라미터를 형성하고, 2개의 자유도는 눈의 시선 방향의 각도, 피치와 요 변화에 대해 보상하고, 2개의 자유도는 2개의 공간 측방 축(가령, X 및 Y)에 대한 눈(EYE)에 대한 프로젝션 시스템(101)의 상대적인, 수직 및 수평의 측방 위치의 변동을 보상한다.
일부 실시예에서, 눈 프로젝션 디바이스(100)는, 눈의 시선 방향의 변화 및/또는 눈에 대한 눈 프로젝션 시스템(101)의 상대적인 측방 위치의 변화를 나타내는 데이터를 수신하고, 그 데이터에 따라 조절가능한 광학 편향기(130 및/또는 140)의 편향 파라미터를 조절하도록 구성되고 작동가능한 빔 지향 컨트롤러(164)(이하 그냥 컨트롤러라고 함)를 포함하여서, 눈의 시선 방향의 변동에 무관하고, 눈(EYE)에 대한 눈 프로젝션 시스템(101)의 수직(가령, Y축) 또는 수평(가령, X축) 측방 위치(들)의 변동에 무관하게, 눈의 망막에 특정 위치에 입사될 광선을 지향시킨다.
이와 관련하여, 본 발명의 일부 실시예(가령, 도 1a, 1d, 1e 및 1fdp 도시된 것과 유사한 실시예)에서, 광학 어셈블리(150)(가령, 그 안의 편향 장치)는, 편향기(130 및/또는 140)의 각각의 조절가능한 편향 파라미터가 전파 경로(PP)의 어떤 특정한 자유도에 영향을 주는 반면(전파 경로의 피치와 요 배향 중 하나 또는 전파 경로(PP)의 수평 및 수직 변위 중 하나), 전파 경로(PP)의 다른 자유도에는 영향을 주지 않도록 구성된다는 것을 이해해야 한다. 따라서, 이러한 실시예에서, 컨트롤러(164)는, 다른 편향기 또는 편향기의 다른 편향 파라미터의 상태를 조절/변화시키지 않으면서, 각각의 편향기(130 또는 140)의 각각의 편향 파라미터를 조절함에 의해, 눈(EYE)의 시선 방향의 변화에 대해 보상하도로 구성될 수 있다. 그 경우에, 컨트롤러(164)는, 다른 편향기 또는 편향기의 다른 편향 파라미터의 상태를 조절/변화시키지 않으면서, 각각의 편향기(130 또는 140)의 대응되는 편향 파라미터를 조절함에 의해, 눈(EYE) 또는 눈의 동공의 상대적 측방 위치의 변화에 대해 보상하도록 구성될 수도 있다.
다시 말해, 도 1a, 1d, 1e 및 1f에 도시된 본 발명의 일부 실시예에서, 눈(EYE)의 시선 방향과 매칭시키기 위해, 전파 경로(PP)의 배향(피치/요)를 조절하는 것을 담당하는 조절가능한 편향기의 편향 파라미터는 전파 경로(PP)의 측방 위치의 조절로부터 분리되고(다시 말해, 이들은 전파 경로(PP)의 측방 위치에 실질적으로 영향을 주지 않음), 및/또는 반대로의 경우도 마찬가지로, 눈(EYE)의 동공의 위치과 매칭시키기 위해, 전파 경로(PP)의 측방(X 또는 Y) 위치를 조절하는 것을 담당하는 조절가능한 편향기의 편향 파라미터는 전파 경로(PP)의 배향의 조절과 분리된다. 본 발명의 특정 실시예에서 실행되는 이러한 특징은 간결성과 정확성을 위해 이하 "분리 특징(decoupling feature)"이라고 한다. 분리 특징을 실행하는 실시예는 여러 이점을 제공한다. 일반적으로 눈(EYE)의 시선 방향(가령, 전형적으로 2000 내지 4000 deg/sec2의 가속도와 50 내지 400 밀리초의 구간으로 종종 초당 10번 이상)은 동공의 위치(동공의 위치의 변화는 수백 밀리초의 시간 스케일에서 발생하고 대개 눈-디바이스 상대적 위치에 의해 야기됨)보다 훨씬 빠르고/빈번하게 변화한다. 이와 관련하여, 다음 사항을 이해해야 한다. 새카드(saccade)는 사용자의 시각 및 인지에 의해 정의된 순수한 눈 운동이어서, 상기 언급된 파라미터로 1초에 몇 번 발생한다. 동공의 위치는 주로 측방 운동이고, 디바이스에 대한 눈의 상대적 위치에 의해 정의된다. 주변 진동과 같은 파라미터, 디바이스 운동(미끄러짐)이 가장 큰 기여 부분이다. 이들은 비교적 낮은 주파수와 "공통 모드"에 의해 정의되었는데, 이는 가지 눈(bough eye)상의 약간 유사한 운동이 있다는 것을 의미한다. 그러므로, 동공 위치로 전파 경로의 조절을 제어하는 편향 파라미터를 전파 경로를 조절하는 것으로부터 분리하는 것은, 훨씬 비용 절감이되는데, 왜냐하면, 전파 경로의 배향과 관련된(시선 방향과 관련된)편향 파라미터에 대해서만 빠르게 조절가능한 광학 편향기/편향 파라미터가 요구되는 반면, 동공 위치를 조절하기 위한 조절가능한 편향기/편향-파라미터는 이 경우에 훨씬 낮을 수 있기 때문이며, 그래서 훨씬 비용 절감적이다.
이러한 분리 접근법의 주요한 이점은, 실질적으로 감소된 Theta*D 파라미터, 가령, 조절가능한 편향기의 최대 편향 각도(Theta)와 항상 문제를 가진 편향기의 특징적인 치수(지름, D)의 곱을 나타내는 파라미터를 가진 광학 어셈블리(150)를 사용할 수 있다는 것이다. 예를 들어, 현저하게 작은 Theta*D 파라미터를 가진 조절가능한 편향기(130 및/또는 140)는, 큰 Theta*D 곱을 가진 큰 편향기/거울을 가지고 순간적으로 빔 주위에 움직이는 것 대신에, 작은 어퍼처 편향기/거울(작은 Theta*D 곱)을 측방으로 움직임에 의해, 도 1d 및 1e의 실시예에서 사용될 수 있다. 또한, 본 발명의 분리 특징을 실행하는 실시예에서, 컨트롤러(164)는, 변화된 눈의 각각의 자유도(시선 방향/동공 위치)의 변화를 나타내는 데이터에 기초하여 독립적으로 각각의 편향 파라미터를 조절하도록 구성되고 작동가능 하면서, 자유도 중 하나의 변화에 대해 보상하기 위해 복수의 편향기/편향 파라미터의 복잡한 조절과 관련된 기준 데이터를 사용할 필요를 제거한다.
본 발명의 일부 실시예에서, 눈 프로젝션 시스템(101)은 광학 릴레이(145)(가령, 하나의 광학 표면에서 또 다른 광학 표면으로 빔 수렴을 전달하기 위해 작동가능한)를 포함한다. 광학 릴에이(145)는 가령, 적어도 두 개의 광학 요소 또는 두 그룹의 광학 요소(145.1 및 145.2)를 포함할 수 있고, 이는 각각의 광전력을 가지며, 이들 사이에 주요 평면(P)을 형성/정의하는 광학 어셈블리(150)의 광학 경로(OP)(광선(LB) 전파 경로의)를 따라 위치된다. 이하에서, 광학 릴레이(145)를 참조하여 사용된 용어 광학 요소(145.1 및/또는 145.2)는 광전력을 가진 단일 요소나 가령, 그룹 내에 둘 이상의 광학 요소를 포함하는 두 개의 그룹과 같은 복수의 요소의 그룹(들)을 지칭하는 것을 이해해야 한다. 광학 어셈블리/요소의 주요 평면(P)라는 문구는, 광학 어셈블리/요소(또는 이들의 가상 연장부)와 상호작용하는 다양한 레이의 모든 굴절/반사가 발생하는 것으로 고려될 수 있는 광학 어셈블리/요소(가령, 렌즈/편향기 시스템)의 실제 또는 가상/가설 평면을 지칭하는 것으로 본 명세서에서 사용된다는 것을 유의해야 한다.
도 1a 내지 1f의 모두에 도시된 예시에서, 눈 프로젝션 디바이스는 선택적인 스펙터클으 렌즈(102)를 포함한다. 눈 프로젝션 시스템(101)은 스펙터클의 렌즈(102)에 광학적으로 연결되는 것으로 도시되어서, 눈 프로젝션 시스템(101)으로부터의 광은 스펙터클의 렌즈(102)의 적어도 하나의 표면(가령, 반사/부분적으로 반사 표면)에 의해 눈(EYE)을 향하는 전파 경로(PP)를 따라 지향된다. 이를 위해, 광학 시스템은 눈 뒤에 위치될 수 있다(가령, 사용자의 귀/뺨 근처 또는 스펙터클의 핸들 부분). 렌즈(102)의 반사성/부분적으로 반사성 표면의 예시는 타원형 거울과 같은 만곡된 표면으로 주어질 수 있다. 렌즈(102)의 반사성/부분적-반사성 표면은 광학/전파 경로(OP/PP)를 따라 위치되어서, 스캐닝 거울/편향기(120)의 광학 피봇 점의 위치에 초점이 맞춰지고(이하, 스캐닝 거울(120)이 가령 이미지를 뽑아내기 위해, 망막 상의 광선(LB)을 스캐닝/움직이는 것을 담당하는 프로텍터의 편향기임을 참조), 피봇 점의 위치는, 스캐닝 거울의 피봇의 실제 위치 또는 광학 릴레이(가령, 145)에 의해 실제 위치로부터 광학적으로 전달된 피봇의 가상 위치일 수 있다. 따라서, 스캐닝 편향기(150)의 피봇 점은 타원형 거울(102)의 초점과 일치하여서, 시스템/광학 어셈블리의 제2 초점인 시스템의 출구 동공 또는 컨주게이트 평면에서의 레이의 팬을 형성한다.
본 발명의 일부 실시예에 따르면, 눈 프로젝션 시스템(101)은, 망막에 이미지를 생성하기 위해 눈(EYE)의 망막에 프로젝트될 이미지 프로젝션 광선(LB)(가령, 이미지 정보로 변조/패턴화된 광선)을 출력하도록 구성되고 동작가능한 이미지 프로젝션 모듈(190)을 포함한다. 광학 어셈블리/시스템(150)은 이미지 프로젝션 광선(LB)을 눈(EYE)으로 지향시키도록 구성되고 동작가능하다(가령, 스펙터클 렌즈(102)를 통해 광선(LB)을 눈에 도달시키는 경우).
눈 추적 광학 모듈/편향기를 포함하는 본 발명의 광학 어셈블리(150)(가령, 시선 방향 빔 편향기(130) 및 동공 위치 빔 편향기(140) 및 가령, 145와 같은 관련 광학계를 포함함)는, 스탠드어론 눈 추적 시스템(가령, 이는 이미지 프로젝션 모듈(190)와 독립적으로 사용될 수 있음)으로서 실시(구성 및 동작가능)될 수 있음에 유의해야 한다.
이제 구체적으로 도 1a로 돌아오면, 광학 어셈블리(150)는, 편향 각도(들)의 제어/조절할 수 있는 각도적으로 조절가능한 편향기인 적어도 두 개의 조절가능한 편향기(130 및 140)르 포함하는 조절가능한 편향 장치를 포함한다. 두 개의 각 적으로 조절가능한 편향기(130 및 140)는 광학 어셈블리의 일반 광학 경로(OP)를 따라 이격 관계로 배치된다. 두 개의 각 적으로 조절가능한 편향기(130 및 140)는 이차원적 각 적으로 조절가능한 편향기(들)을 포함할 수 있고, 이들은 제어가능한 굴절, 반사 또는 회절에 의해 동작가능하며, 이차원적 피봇/회전/틸트 축으로 작동하기 위해 장착된 단일 거울 및/또는 전자 광학적인 이차원 각 적으로 조절가능한 편향기, 및/또는 음향광학적 이차원 각 적으로 조절가능한 편향기(더블 패스 시스템은 음향-광학적 레이아웃에 대해서만 관련있고 편향 각도 또는 굴절 각도 또는 회절 효율성을 증가시키려는 의도임) 및/또는 광학 경로(OP)를 따라 서로다른/수직 경사/편향 축으로 배치된한 쌍의 일차원적으로 조절가능한 편향기(가령, 한 쌍의 일차원적으로 조절가능한 기계적 편향기, 가령, 경사질 수 있는 거울 및/또는 전자-광학적-편향기 및/또는 음향-광학적 편향기 및/또는 웨지형 플레이트)와 같이 구성될 수 있다.
적어도 2개의 각 조절가능한 편향기가 광학 경로(OP)를 따라 적절한 위치에 배열되어서, 이들은 눈(EYE)을 향해 광선(LB)의 전파 경로(PP)를 조절하는데 적어도 3개, 전형적으로 적어도 4개의 자유도를 제공하도록 구성되고 동작가능하다. 상기 기술된 바와 같이, 2개의 자유도는 눈(EYE)의 시선 방향의 각 변화를 보상하는 것과 관련되고(시선 방향에서 피치와 요 변화에 대한 보상), 적어도 하나의 자유도, 전형적으로 2개의 자유도는 눈(EYE)에 대한 눈 프로젝션 디바이스(100)의 상대적 측방 위치의 변동, 가령, 상대적 측방(수직/Y축 및/또는 수평/X축) 위치(들)의 변동에 대한 보상을 제공한다.
도 1A에 도시된 특정 예시에서, 적어도 두 개의 각 조절가능한 편향기(130 및 140)는 이차원적으로 각 조절가능한 거울이다. 좀 더 구체적으로, 이러한 예시에서, 각각의 편향기는, 이차원 짐발(gimbal)/피봇 상에 장착된 반사 표면을 포함하여, 두 개의 회전축에 대해 다양한 방향으로 반사 표면을 배향할 수 있는, 가령, 조절가능한/경사가능한 거울을 포함 또는 기능하는 기계적/전기적 및/또는 음향적으로 제어가능한 편향기를 포함한다. 그러나, 일반적으로, 각 편향 각도가 이차원 각으로 조절될 수 있는 임의의 적절한 광 편향 모듈이 사용될 수 있다. 이는, 가령, 이차원 짐발/피봇 및/또는 적어도 이차원 짐발에 각각 장착된 2개의 거울/반사-표면에 장착된 거울과 같은 하나의 편향 광학 표면에 의해 및/또는 전자/음향 광학 편향기에 의해 형성된 기계적 편향기를 포함할 수 있고, 적절한 전압 인가에 의해, 및/또는 적절한 음향 광학(가령, 회절) 편향 모듈과 흔히 알려진 다른 편향 시스템을 사용함에 의해, 제어될 수 있는 이차원 편향 각도이다.
도 1A의 실시예에서, 광학 어셈블리는, 각각의 광전력을 가진 적어도 2개의 광학 요소/그룹(145.1 및 145.2)를 포함하는 광학 릴레이를 포함한다. 광학 요소/그룹(145.1 및 145.2)는 광학 경로(OP)를 따라 위치되어서, 이들 사이의 거리는 이들의 초점 길이와 매칭된다. 따라서, 광학 릴레이(145)의 주요 평면(P)은, 각각의 초점 길이만큼, 요소(145.1 및 145.2)의 각각으로부터 이격된 광학 요소(145.1 및 145.2) 사이에서, 광학 경로(OP)를 따라 형성된다. 이는, 광학 릴레이의 일측으로부터 광학 릴레이(145)에 진입하고 첫 번째 광학 요소와 상호작용하는(가령, 광학 요소/그룹 145.1) 시준된 광선(가령, LB)이 주요 평면에 초점되고, 그리고 나서, 광학 릴레이의 두 번째 요소(가령, 광학 요소/그룹 145.2)와 상호작용한 이후에, 릴레이(145)의 다른 측으로부터 나가는 것을 제공하고, 이는 다시 시준된다.
따라서, 상기 기술된 145와 같은 광학 릴레이는, 릴레이의 중심 광학 축으로부터 릴레이 외부의 광학 빔의 측방 편차가 릴레이의 주요 평면에서 광선의 전파 방향의 각각의 각 편차로 변환되고, 그 반대의 경우라는 특성을 가진다.
본 발명의 발명자는 광학 릴레이의 이러한 특성이, 하나 이상의 각 조절가능한 편향기를 릴레이(145) 내(광학 경로(OP)를 따라 요소/그룹(145.1 및 145.2) 사이에)에 위치시켜서, 눈을 향하는 전파 경로(PP)(광학 릴레이 외부에 위치된, 광학 어셈블리와 눈 사이)의 측방 편향을 조절하는데 사용될 수 있다는 것을 발견하였다. 본 발명의 이러한 실시예는 도 1A에 개략적으로 도시된다.
따라서, 도 1A의 실시예에서, 각 조절가능한 빔 편향기(140)는 광학 릴레이(145) 내의 광학 경로(OP)를 따라 배치되고, 동공 위치 빔 편향기(140)로서 구성되고 작동가능하다. 그것의 각 편향 상태/각도를 제어/변경하여, 광학 릴레이(145) 내의 광 전파 경로(OP)의 방향이 바뀌고, 이는 결국 하나의 측방 축(가령, X 또는 Y는 전파 경로에 수직임), 또는 전파 경로에 수직, 또는 두 측방 축(X 및 Y)에 대해 눈으로 광선의 전파 경로(PP)의 측방 위치를 편향시킨다. 다시 말해, 동공 위치 빔 편향기(140)는, 광선(LB)이 눈 프로젝션 시스템(101)의 출구 포트(EP)로 나가는 위치를 측방으로 편향하도록 작동 가능하다. 이는 도 1A 내의 개략적인 레이 트레이스(RT)에 의해 도시된다.
도 1A의 실시예에서, 전파 경로(PP)의 측방 편향은, 1 또는 2차원(피치 및/또는 요)에서, 광학 릴레이(145) 내에 위치된 동공 위치 빔 편향기(140)의 편향 각도를 변경함에 의해 달성될 수 있어서, 편향 각도의 이러한 변경이 광학 릴레이 내의 일반 광학 경로(OP)의 각 배향에 영향을 주어서, 눈(EYE)을 향한 광학 릴레이(145) 외부의 광선의 전파 경로(PP)의 측방(X 또는 Y) 위치를 변경시킨다. 이를 위해, 일부 실시예에서, 동공 위치 빔 편향기(140)는 하나의 각 배향(피치나 요)에 대해 각 조절가능한 편향 각도를 가진 일차원 각 조절가능한 편향기일 수 있어서, 측방 축(X 또는 Y)의 오직 하나에 대하여 전파 경로(PP)의 측방 위치를 제어하는 하나의 제어가능한 편향 파라미터를 가진다. 대안적으로, 동공 위치 빔 편향기(140)는 두 개의 각 배향(피치와 요)에 대해 각 조절가능한 편향 각도를 가진 이차원 각 조절가능한 편향기일 수 있어서, 측방 축(X와 Y)의 모두에 대하여 전파 경로(PP)의 측방 위치를 제어하는 두 개의 제어가능한 편향 파라미터를 가진다.
일부 실시예에서, 동공 위치 빔 편향기(140)는 광학 릴레이의 주요 평면에 위치되어서, 동공 위치 빔의 편향 각도의 조절은, 눈을 향한 전파 경로의 각 배향에 영향을 주지 않으면서, 눈으로 광선의 전파 경로의 측방 위치를 변경시킨다. 따라서, 이는 본 발명의 분리 특징을 실시한다.
그러므로, 동공 위치 빔 편향기(140)는 디바이스(100)에 대해 눈(EYE)의 위치를 변동/변경을 보상하기 위해, 광선(LB)의 광학 경로(OP)를 시프트하기 위해 각 경사/회전될 수 있다. 눈 프로젝션 시스템(101)이 증강/가상 현실 안경에 구비되는 것을 생각하면, 눈(EYE)의 눈 프로젝션 시스템(101) 간의 상대 위치의 변동은 증강/가상 현실 안경을 사용하여 사용자의 얼굴 구조의 차이 때문일 수 있는고(가령, 눈들 사이의 안쪽 동공 거리 및/또는 코 브리지의 높이), 사용자의 얼굴 상의 디바이스(100)의 위치가 이동될 때, 이러한 상대 위치도 변경될 것이다. 동공 위치 빔 편향기(140)는, 광선(LB)가 하나 또는 두 개의 측방 차원(가령, 수직 및 수평 측방 방향, 도면에서 Y 및 X이고 이들은 전파 경로(PP)에 실질적으로 수직임)에서 눈 프로젝션 시스템(101)의 출구 동공(EP)로 나가는 측방 위치를 변경/제어할 수 있도록 광선(LB)을 조절가능하게 편향하도록 작동될 수 있다. 시스템(101)의 출구 포트(EP)로부터 전파 경로(PP)의 측방 출구 위치를 제어/이동하는 것은 눈(EYE)의 동공을 향해 광선(LB)을 지향시키면서, 눈 프로젝션 시스템(101)에 대해 (가령, 그것의 출구 포트(EP)에 대해) 눈의 동공의 측방 위치의 변동/변경을 보상한다.
도 1a에 도시된 바와 같이, 광학 어셈블리(150)는 또 다른 조절가능한 광학 편향기(130)를 포함하는데, 이는 본 예시에서, 이차원 각 조절가능하고, 시선 방향 빔 편향기로서의 (구성되고 동작 가능한) 역할을 한다. 시선 방향 빔 편향기(130)는 광학 어셈블리의 광학 경로(OP)를 따라 배치되어서, 편향 각도가 조절될 때(가령, 광학 편향 표면을 각 경사/회전함에 의해), 눈(EYE)을 향한 광선(LB)의 전파 경로(PP)를 각 편향시켜서, 그 전파 배향을 시프트한다. 따라서, 시선 방향 빔 편향기(130)는 눈(EYE)의 시선 방향의 각(피치 및 요) 변화를 보상하도록 동작 가능하다.
이를 위해, 광학 릴레이(145)를 포함하는 본 발명의 실시예에서, 시선 방향 빔 편향기(130)는 광학 어셈블리(150)의 광학 경로(OP)를 따라 광학 릴레이(145)의 외부(업스트림이나 다운스트림)에 위치된 각 조절가능한 빔 편향기(조절될 수 있는 편향 각도)일 수 있다. 이는 도 1a 내지 1f에 도시된다. 따라서, 광학 릴레이(145)로부터 업스트림 또는 이의 다운스트림에 위치되는지에 따라, 편향 각도의 조절/변화(편향기의 배향)는 전파 경로(PP)의 각 배향(피치 및/또는 요)에 영향을 준다.
본 발명을 안 이후에 기술 분야의 당업자가 알 수 있는 바와 같이, 시선 방향 빔 편향기(130)는 광학 릴레이(145)의 장소 앞/뒤에 위치될 수 있어서, 그 편향 각도를 변경하는 것은 눈을 향한 전파 경로(PP)의 측방 편향/위치에 영향을 주지 않는다. 따라서, 이러한 실시예는 상기 기술된 분리 특징을 실시한다. 예를 들어, 특정한 실시예에서, 시선 방향 빔 편형기(130)는 광학 릴레이(145)의 제1 광학 요소/그룹(145.1)의 초점 평면에서 광학 릴레이(145)로부터 앞/업스트림에 위치된, 및/또는 광학 릴레이(145)의 제2 광학 요소/그룹(145.2)의 초점 평면에서 광학 릴레이(145)로부터 뒤/다운스트림에 위치된 각 조절가능한 광학 편향기이어서, 시선 방향 빔 편향기(130)의 각 편향 상태/각도를 가변하는 것은 전파 경로(PP)의 측방(X 및/또는 Y) 위치에 영향을 주지 않으면서, 전파 경로(PP)의 각 배향(피치(PC) 및/또는 요(YW))에 영향을 준다.
대안적으로, 도 1f를 참조하면, 광학 릴레이(145)를 포함하는 일부 실시예에서, 시선 방향 빔 편향기(130)는 광학 릴레이(145) 내의 광학 경로(OP)를 따라 위치된 이동가능하고 조절가능한 빔 편향기일 수 있고, 선형 이동하도록 구성되고 동작 가능하여서, 광학 경로(OP)와의 그 상호작용은 광학 릴레이 내의 광학 경로(OP)를 측방으로 시프트하여서(가령, X 및/또는 Y 방향으로 광학 경로를 편향시킴), 광학 릴레이(145)로부터 다운스트림의 광선의 전파 경로(PP)의 각 배향에 영향을 준다. 본 발명을 안 이후에 당업자가 알 수 있는 바와 같이, 시선 방향 빔 편향기(130)가, 광학 릴레이 내의 그 이동이 광학 릴레이(145)의 주요 평면(P) 상/부근의 위치를 보존하도록 배치되는 경우에, 이러한 이동에 의해 영향받은 광학 릴레이 내의 광학 경로(OP)의 측방 편향은 광학 릴레이(145)의 다운스트림의 전파 경로(PP)의 피치 및/또는 요 배향의 순수한 각 편향으로 변환될 수 있고(전파 경로(PP)의 측방 편향/위치에 영향 없음), 그래서, 시선 방향 빔 편향기(130)의 각 편향 파라미터와 전파 경로(PP)의 측방(X, Y) 위치 간의 분리가 발생한다.
도 1a의 구체적이고 비제한적인 예시에서, 시선 방향 빔 편향기(130)는 광학 릴레이(145)의 앞/업스트림에 배치되어서, 광선(LB)이 눈(EYE)으로 전파하는 일반 광학 경로(OP)의 방향을 각 제어하도록 작동 가능할 수 있다. 그러나, 본 발명의 다른 실시예에 따른 눈 프로젝션 시스템(101)의 광학 배열의 다양한 실시예에서, 시선 방향 빔 편향기(130)는 광학 경로(OP)를 따라 다양한 위치에 위치될 수도 있다는 것에 유의해야 한다. 예를 들어, 도 1f 내지 1e의 비제한적인 예시는 수정되어서, 시선 방향 빔 편향기(130)는 광학 릴레이(145) 뒤에 위치된다. 실제로, 광학 릴레이 앞에 시선 방향 빔 편향기(130)를 위치시키는 것은 시선 방향 빔 편향기(130)의 요구되는 크기/치수면에서 바람직할 수 있는데, 왜냐하면 광학 릴레이(145) 앞에 시선 방향 빔 편향기(130)(업스트림)는 일반적으로, 시선 방향 빔 편향기(130)가 광학 릴레이(145) 뒤에(다운스트림) 위치되는 경우에 비해, 더 작은 편향기를 사용할 수 있기 때문이다. 이는, 본 발명의 일부 실시예에 대해 우선적이고 바람직한 옵션이 되는데, 왜냐하면, 더 작은 편향기가 더 작은 치수와 무게를 가져서 전형적으로 더 비용 절감이되기 때문이다.
그러므로, 시선 방향 빔 편향기(130)는, 광선(LB)이 눈(EYE)으로 전파하는 전파 경로(PP)의 각 배향(피치(PC) 및/또는 요(YW))를 재지향하여, 전파 경로(PP)가 눈의 시선(LOS)(시선 방향)에 대해 유지되는 고정된 각 배향으로 눈(EYE)에 입사한다. 따라서, 디바이스(100)의 사용자가 그 시선 방향을 바꿀 때(그의 시선(LOS)), 시선 방향 빔 편향기(130)는 광학 경로(OP)를 시프트하도록 작동하여, 광선(LB)은, 게이즈가 시프트되기전의 배향과 동일한 배향으로 EYE의 동공으로 지향될 것이어서, 망막 상에 동일한 위치에 프로젝트/초점될 것이다. 망막에 광선(LB)에 의해 프로젝트된 이미지는, 그러므로, 사용자가 그의 게이즈를 변경할 때에도, 망막의 동일한 위치에 유지된다.
전형적으로, 시선 방향 빔 편향기(130)는 이차원적으로 조절가능한 편향기로 구성되며, 이는 눈(EYE)의 시선 방향(LOS)의 수평과 수직 변화 모두를 보상하기 위해, 각 이차원으로 광선을 조절가능하게 평향시키도록 제어될 수 있다. 따라서, 망막에 눈 프로젝션 시스템(101)에 의해 프로젝트된 이미지의 위치는, 눈(EYE)의 시선 방향의 수평 및/또는 수직 변화에 무관하게, 고정 유지될 수 있다.
그러므로, 도 1a에 대해 기술되고, 또한 도 1b 내지 1f에 대한 것과 같이, 조절가능한 광학 편향기(130 및 140)는 눈으로의 광선(LB)의 전파 경로(PP)의 두 측방, X 및 Y 위치 및 각 피치(PC) 및 요(YW) 배향을 편향시키기 위한 수단을 제공한다. 이는, 눈/동공(EYE)의 측방 변화 모두를 보상하고, 눈의 시선(시선 방향, LOS)의 변화를 보상하여, 눈-프로젝션 디바이스(100)가 눈(EYE)에 대해 움직이거나, 사용자가 그의 시선 방향(LOS)을 변경하여도 불구하고, 망막에 실질적으로 고정된 위치에 이미지/광선(LB)의 프로젝션을 유지할 수 있다. 전형적으로, 동공 위치 빔 편향기(140)는 광선(LB)에서의 적어도 하나 및 전형적으로 두 개의 자유도를 제공하고, 시선 방향 빔 편향기(130)는 광선(LB)을 지향하는데 또 다른 두 개의 자유도를 제공한다. 전체적으로, 세 개 또는 네 개의 자유도는, 적어도 하나(수직 X) 및 전형적으로 두 개(X 및 Y) 측방 자유도(동공 위치의 변화에 대한 보상을 제공함) 및 시선 방향의 변화에 대해 보상하기 위한 두 개의 각 자유도(빔의 위-아래(피치, PC) 및 좌우(요, YW) 배향을 조절함)를 포함한다.
도 1b로 돌아오면, 본 발명의 일부 실시예에서, 동공 위치 빔 편향기(140)는 광학 릴레이(145) 외부에 위치되고 배치될 수도 있다(또는, 선택적으로 시스템이 광학 릴레이(145)를 포함하지 않을 수 있음). 예를 들어, 동공 위치 빔 편향기(140)는 시스템(101)의 출구 포트/동공(EP)에 근접하여 위치될 수 있다.
도 1b에도시된 눈 프로젝션 디바이스(100)는, 여기서, 조절가능한 광학 편향기(140)가 광학 릴레이(145)(가령, 광학 릴레이(145)의 광학 요소/그룹(145.1 및 145.2) 사이에 있지 않은, 광학 릴레이(145) 외부) 뒤에 광학 경로(OP)를 따라 위치된 각 조절가능한 편향기라는 점을 제외하고, 도 1의 눈 프로젝션 디바이스와 작동가능하게 유사하다. 도 1b의 눈 프로젝션 디바이스(100)의 다른 요소/모듈은 도 1에 대해 상기 및 이하에 도시되고 기술된 대응 요소/모듈과 유사하게 구성될 수 있어서, 이들 요소는 도 1b를 참조하여 추가적으로 세부사항을 기술하지 않을 것이다.
도 1b의 비제한적인 예시에서, 동공 위치 빔 편향기(140)는 추가적인 빔 편향기(BD)(가령, 정지한 빔 편향기/반사-표면임)와 함께 동작하도록 구성된다. 여기서, 추가적인 빔 편향기(BD)의 반사/굴적 표면(들)의 형상/곡률은, 동공 위치 빔 편향기(140)가 빔(LB)을 편향한 각 편향을 빔(LB)의 측방 시프트로 변환하도록 구성된다. 다시 말해, 추가적인 빔 편향기(BD)는, 동공 위치 빔 편향기(140)의 편향 배향을 가변/조절하는 것이 눈(EYE)을 향한 빔(LB)의 전파 경로의 측방 시프트에 영향을 줄 것이므로(즉, 도면에 도시된 X 및/또는 Y로 전파 경로를 시프트할 것임), 눈(EYE)의 동공의 위치를 추적하기 위해 빔(LB)의 전파 경로를 시프트할 수 있도록 구성된다. 이는 가령, 추가적인 빔 편향기(BD)의 위치와 초점력을 구성함에 의해 달성될 수 있어서, 그 초점 평면은 동공 위치 빔 편향기(140)가 위치된 평면과 실질적으로 일치한다.
도 1a 및 1b에 도시된 실시예에서, 전파 경로(PP)의 측방 편향을 주로 담당/작동하는 빔 편향기(140)는 빔 편향기(130)(이는 전파 경로(PP)의 배향의 각 편향을 주로 담당함) 뒤에 위치된다. 좀 더 구체적으로, 이들 예시에서, 광학 릴레이(145) 내에(그것의 광학 요소들(145.1 및 145.2) 사이) 또는 광학 릴레이(145) 뒤에 위치된다. 이러한 배열은 빔 편향기(130)의 각 스팬을 커버하기 위해 상당한 크기인 빔 편향기(140)를 요구할 수 있고, 그러므로, 시스템이 소형 크기를 가지고 비용 절감적이도록 요구된다면, 눈 프로젝션 시스템(101)에서 본 발명의 실시에에서 덜 바람직할 수 있다.
이를 위해, 도 1c 내지 1e는 본 발명의 실시예를 도시하는데, 전파 경로(PP)의 측방 편향을 주로 담당/작동시키는 빔 편향기(140)는 빔 편향기(130) 앞에 위치하거나 통합되고, 광학 릴레이(145)가 시스템에 포함되는 경우 그 앞에 위치된다. 이들 모든 실시예에서, 빔 편향기(130)는 도 1a를 참조하여 상기 기술된 것과 유사하게 구성된다. 좀 더 구체적으로, 이들 모든 실시예에서, 빔 편향기(130)는 광학 릴레이(145) 앞에 위치된, 바람직하게는, 광학 릴레이(145)의 제1 광학 요소/그룹(145.1)의 초점 평면에 위치된 각 조절가능한 광학 편향기이고, 전파 경로(PP)의 각 배향을 조절하는 것을 주로 담당하거나 작동할 수 있다.
이제 도 1c로 되돌아오면, 본 발명의 이러한 실시예에서, 전파 경로(PP)의 측방 편향을 조절하는 것을 주로 담당/작동하는 빔 편향기(140)는 빔 편향기(140)(이는 전파 경로(PP)의 각 배향을 조절하는 것을 주로 담당/작동할 수 있음) 앞에/업스트림의 광학 어셈블리(150)의 광학 경로(OP)를 따라 위치된 각 조절가능한 편향기이다. 빔 편향기(140)는 하나 또는 두 개의 측방 축(X 및 Y)에 대해, 전파 경로(PP)의 측방 위치를 편향시키기 위해 일차원 또는 이차원(피치 및/또는 요)으로 각 조절가능한 각 조절가능한 광학 편향기이다. 실제로, 도 1c의 레이 트랜스(RT)에서 볼 수 있는 바와 같이, 빔 편향기(140)의 각 편향 상태/각도의 변화는 광선(LB)이 빔 편향기(130)에 부딪히는 측방 위치에 영향을 주어서, 광선이 광학 릴레이(145)에 들어가는 측방 위치에도 영향을 주므로, 광선이 광학 릴레이(145)에서 나간 이후에 광선의 전파 경로(PP)의 측방 위치에 영향을 준다.
그러나, 도 1c의 레이 트랜스(RT)에서 볼 수 있는 바와 같이, 빔 편향기(140)의 각 편향 파라미터(들)을 변화시키는 것은, 광선이 광학 릴레이(145)에 들어가는 측방 위치에 영향을 줄 뿐만 아니라, (광선이 광학 릴레이(145)에 들어가기 전에) 광선(LB)의 전파 방향에도 영향을 주어서, 전파 경로(PP)의 각 배향에도 영향을 준다. 이를 위해, 본 실시예에서, 더 작은 조절가능한 광학 편향기(140)가 광학 경로(PP)의 측방 위치를 제어하는데 사용될 수 있더라도(도 1a 및 1b의 실시예와 비교할 때), 광학 편향기(140)의 편향 파라미터는 전파 경로(PP)의 각 배향(피치 및/또는 요) 자유도로부터 분리되지 않는다. 그러므로, 전파 경로(PP)의 측방 위치와 관련된 자유도를 조절하기 위해 동공 위치 편향기(140)의 편향 파라미터를 조절하는 것은 시선 방향 편향기(130)의 편향 파라미터의 조절도 요구할 수 있어서, 전파 경로의 배향에 대한 동공 위치 편향기(140)의 영향을 보상할 수 있고, 그 반대의 경우도 마찬가지이다. 이는, 눈(EYE)의 시선 방향이나 동공 위치의 각각의 변화를 보상하기 위하여, 두 편향기들(130 및 140)을 조절하도록 적절히 구성되고 작동가능한 컨트롤러(164)를 사용하에 의해, 가령 달성될 수 있다.
그러나, 상기 표시된 바와 같이, 본 발명의 일부 실시예에서, 각각의 편향기들(130 및 140)의 편향 파라미터는 전파 경로(PP)의 어떤 각각의 자유도의 조절과 배타적으로 관련되는 것이 바람직하다. 좀 더 구체적으로, 편향기(130)의 두 개의 편향 파라미터들(이차원에 대한 편향 특성과 관련됨)은 눈의 시선 방향의 피치와 요와 관련된 전파 경로의 각 배향 자유도에 대해서만 담당하고, 편향기(140)의 하나 또는 두 개의 편향 파라미터(일차원 또는 이차원에 대한 편향 특성과 관련된)는 눈/동공의 수직 및/또는 수평과 관련된 전파 경로의 측방 위치 자유도에 대해서만 담당하는 것이 바람직하다. 이는 이점인데, 왜냐하면, 특정한 눈-운동/위치 특성과 매칭시키기 위해 각각의 편향기를 구체적으로 구성할 수 있기 때문이다. 예를 들어, 이는, 전파 경로(PP)의 측방 위치를 동공 위치로 조절하기 위한 느리고 비용 효율적인 편향기(130)를 사용하고, 시선 방향의 변화(가령, 빠른 떨림 또는 새카드 운동을 포함할 수 있음)에 응답하기 위해 빠르고 민첩한 편향기(140)를 사용할 수 있다.
이제, 상기 기술된 분리 특징을 실시하도록 구성되고 작동가능한 본 발명의 두 개의 실시예를 나타내는 도 1d 및 1e를 함께 참조한다. 또한, 바람직하게는 본 실시예에서, 모든 조절가능한 편향기는 광학 릴레이(145) 앞에 위치되어서, 편향기 중 하나는 광학 릴레이(145) 이내 또는 업스트림에 위치된 실시예에 비해, 비교적 작고/소형일 수 있다.
좀 더 구체적으로, 도 1d 및 1e의 실시예에서, 조절가능한 편향기(들)(130)은 시선 방향 빔 편향기 및 동공 위치 빔 편향기로서 구성되고 작동가능하며, 광학 어셈블리의 광학 경로를 따라 편향기(130)의 이동은 전파 경로(PP)의 측방 편향에 영향을 미치고, 그 각 배향 각도(들)/상태는 전파 경로(PP)의 각 배향에 영향을 미친다.
심지어 좀 더 구체적으로, 도 1d의 실시예에서, 광학 어셈블리는, 편향기의 피치와 요 편향과 관련된 두 개의 편향 파라미터 및 편향기(130)의 업스트림인 광학 어셈블리의 일부를 따라 편향기의 이동(즉, 선형 이동)과 관련된 하나의 편향 파라미터를 포함하는, 세 개의 조절가능한 편향 파라미터를 가진 오직 하나의 조절가능한 편향기(130)를 포함한다.
이를 위해, 편향기(130)는, 광학 편향 표면이 광학 경로(OP)를 따라 이동가능하게 구성되어서, 편향기의 업스트림인 광학 경로(OP)를 따라 편향기(130) 또는 편향기의 표면의 이동은, 그것이 광학 릴레이(145)(선택적)에 들어가기 전에, 편향기(130)로부터 다운스트림인 광학 경로(OP)의 측방 변위(하나의 축을 따라, 가령, Y)에 영향을 미친다. 따라서, 도면에서 레이 트레이스(RT)에 도시된 바와 같이, 이는 대응되는 측방 방향/축(가령, Y)의 전파 경로(PP)의 측방 이동에 영향을 미쳐서, 그 측방 편향/축에서의 동공/눈(EYE) 위치의 변화에 대한 보상을 제공한다. 그러므로, 본 실시예에서, 조절가능한 광학 편향기(130)는 동공 위치 편향기로 구성되는데, 전파 경로의 측방 편향은, 광선이 편향기(130)로부터 편향된 교차 위치를 변경시키기 위해, 광학 어셈블리의 광학 경로(OP)를 따라 동공 위치 빔 편향기의 위치를 이동시킴에 의해 달성된다.
또한, 편향기(130)는, 그것의 각 편향 배향이 전형적으로 이차원, 피치와 요로 조절가능하도록 구성된다. 이는 시선 방향 빔 편향기를 참조하여 상기 기술된 것과 같이 작동하는데, 편향기의 편향 각도를 변화시키는 것은 광학 릴레이로 들어가는 광선/광학 경로(OP)의 배향을 변화시키고(선택적), 그래서, 전파 경로(PP)의 배향도 변화시킨다. 이는, 눈(EYE)의 시선 방향의 변화에 대해 보상할 수 있다.
바람직하게는, 전파 경로(PP)의 각 배향으로부터 전파 경로(PP)의 측방 이동을 조절하는 편향 파라미터들을 분리시키기 위해(편향 표면의 이동), 편향기(130)는 그의 이동이 수행되어서 편향기의 편향 표면이 광학 릴레이(145)의 제1 광학 요소(145.1)의 초점 평면 부근 또는 이내에 유지되도록 구성된다. 따라서, 편향기(130)를 이동시키는 것은 전파 경로(PP)의 측방 위치를 조절하는 반면, 전파 경로(PP)의 각 피치/요 배향에 영향을 미치지 않는다.
이러한 예시에서, 광학 어셈블리는 광학 릴레이를 포함하고, 편향기(130)는 광학 어셈블리를 통해 광선의 전파 방향에 대해 광학 릴레이(130)의 업스트림에 위치된다. 편향 장치의 편향 표면(조절가능한 광학 편향기(130)의 편향 장치, 선택적으로 도 1e의 140과 같은 다른 조절가능한 광학 편향기의 편향 장치도 포함함)은 7 밀리미터를 실지적으로 초과하지 않는 측방 치수를 가진다.
이제 도 1e로 되돌아오면, 여기서, 광학 어셈블리는 다음과 같이, 동공 위치 빔 편향이 광학 경로(OP)를 따라 이동가능한 두 개의 조절가능한 광학 편향기에 의해 달성된다는 것을 제외하고, 도 1d과 상기 기술된 도시된 것과 일반적으로 유사한데, (i) 조절가능한 광학 편향기(130)가 하나의 측방 축(가령, Y)에 대한 광학 경로의 측방 위치를 조절하고, 광학 경로의 각 배향과 관련된 자유도를 조절하기 위해, 도 1d에서와 같이 구성되고 작동가능하다는 것과, (ii) 추가적인 조절가능한 광학 편향기(140)가 그의 광학 편향 표면이 편향기(140)의 업스트림에 있는 광학 경로(OP)를 따른 방향으로 편향기(130)의 광학 표면과 함께 이동된다는 것이다. 따라서, 이러한 이동은 편향기들(140 및 130)의 다운스트림인 광학 경로(OP)의 측방 축(가령, X)을 따라 측방 변위에 영향을 미친다.
그러므로, 도 1e의 실시예의 편향 장치는 다음 컨피규레이션을 제공한다. 두 개의 조절가능한 광학 편향기(130 및 140) 모두는 제1 측방 축(가령, X)을 따라 함께 이동되어서, 제1 측방 축에 대해 눈으로의 전파 경로(PP)의 상대적인 측방 편향에 영향을 미친다. 두 개의 조절가능한 광학 편향기(130) 중 하나는 제2 측방 축(가령, Y)을 따라 독립적으로 이동되어서, 제2 측방 축에 대해 눈으로의 전파 경로의 상대적인 측방 편향에 영향을 미친다. 또한, 조절가능한 광학 편향기(130)는 바람직하게는 두 각도에 대해 각 조절가능하여서, 편향기의 각 편향 상태가 전파 경로의 각 배향을 조절한다.
이제 도 1f로 되돌아오면, 여기서, 광학 릴레이(145)가 사용되고, 도 1d 및 1e의 어느 것에 도시되고, 상기에 기술된 바와 같이 조절가능한 광학편향기(들)(130 및/또는 140)의 유사한 컨피규레이션과 배열이 광학 릴레이(145) 내에 위치된다(가령, 그 주요 평면(P)에 위치됨). 이는, 도 1d와 1e의 예시와 비교할 때, 이는 편향기의 선형 이동과 각 배향의 조절의 역활을 교환한다. 좀 더 구체적으로, 여기서, 조절가능한 빔 편향기(130)는 선형 이동에 의해 조절가능하여서, 광학 경로(OP)와의 상호 작용의 위치를 이동시키는 것은 광학 리레이(145) 내의 광학 경로(OP)의 측방 시프트에 영향을 주고(가령, X 및/또는 Y로 광학 경로의 편향), 그래서, 광학 릴레이(145)로부터 다운스트림인 광선의 전파 경로(PP)의 각 배향에 영향을 준다. 일부 실시예에서, 조절가능한 빔 편향기(130)가 배치되어서, 광학 릴레이(145)의 주요 평면(P) 내/부근에 유지하면서 이동되고, 본 발명의 분리 특징을 실행한다(다시 말해, 이러한 이동에 의해 영향 받은 광학 릴레이 내의 광학 경로(OP)의 측방 편향이 전파 경로(PP)의 측방 편향에 영향을 미치지 않으면서 전파 경로(PP)의 피치 및/또는 요의 각 편향으로만 순수히 변환됨). 전파 경로(PP)의 측방(X Y) 편향은 조절가능한 편향기(130)의 각 편향 배향의 조절에 의해 달성된다.
간단히, 구체적이고 비제한적인 예시에서, 하나의 이동가능한 편향기(130)가 도시되고, 이는 오직 하나의 각 좌표(피치 또는 요)에서의 전파 경로를 재배향할 수 있다. 그러나, 도면에서 간결성을 위해 구체적으로 도시되지 않더라도, 전형적으로 두 개의 이동가능한 빔 편향기가 광학 릴레이(145) 내의 실시예에 포함되고, 도 1e에 도시된 것과 유사한 방식으로 배치되어서, 본 실시예에서 피치 및 요 좌표 모두에 대해 전파 경로를 재배향할 수 있다.
이를 위해, 광학 릴레이 내에 위치된 도 1e의 조절가능한 광학 편향기(130 및 140)의 배치를 고려하면, 본 도면 도 1f에서, 다음과 같이 조절가능한 광학 편향기(130 및 140) 중 하나 또는 둘 모두를 이동시킴에 의해, 시선 배향 빔 편향이 달성된다. 도 1f와 같이 구성되고 작동가능한 조절가능한 광학 편향기(130)는 선형으로 이동되어서(가령, 측방 축(Y)을 따라), 하나의 각 좌표에 대한 전파 경로(PP)의 배향(가령, 전파 경로(PC)의 피치 배향)을 조절하고, 일 또는 이차원(X 및/또는 Y)으로 전파 경로(PP)의 측방 자유도를 제어/조절하도록 각 조절될 수 있다. 추가 조절가능한 광학 편향기(140)는, 그 광학 편향 표면이 편향기(140)의 업스트림의 광학 경로(OP)를 따른 방향(가령, X)으로 편향기(130)의 광학 표면과 함께 이동되도록 구성되고 작동가능하다. 따라서, 이러한 이동은 측방 축(가령, X)을 따라 편향기(140 및 130)로부터 다운스트림인 광학 경로(OP)의 측방 변위에 영향을 준다. 편향기가 광학 릴레이(145) 내에 위치되기 때문에, 이는 전파 경로(PP)의 요(YW) 배향의 조절에 영향을 준다.
따라서, 도 1f의 실시예의 편향 장치는 다음을 제공하는데, 이는, 적어도 하나의 조절가능한 광학 편향기(140) 및 전형적으로 두 개의 조절가능한 광학 편향기(130 및 140) 모두는 제1 측방 축(가령, X)을 따라 이동가능하여서, 제1 배향 좌료(가령, 요(YW))에 대하여 눈으로의 전파 경로(PP)의 상대적 각 편향에 영향을 준다. 두 개의 조절가능한 광학 편향기(130) 중 하나는 제2 측방 축(가령, Y)을 따라 독립적으로 이동가능하여서, 제2 배향 좌표(가령, 피치(PC))에 대하여 눈으로의 전파 경로(PP)의 상대적 각 편향에 영향을 준다. 조절가능한 광학 편향기(들)(130)는 하나 또는 두 개의 각 좌표에 대해 바람직하게 각 조절가능하여서, 전파 경로(PP)의 측방 위치의 일 또는 이차원적인 조절을 각각 제공한다.
도 1a, 1d, 1e 및 1f를 참조하여 도시되고 기술된 구체적이고 비제한적인 예시에서, 출구 포트(EP)에서 광선(LB)의 전파 경로(PP)의 측방 로케이션/위치는 조절가능한 편향기(130 및/또는 140)의 어떤 편향 파라미터의 조절에 의존하는 반면(가령, 편향기(140)의 각 조절 또는 편향기(130 및/또는 140)의 선형 이동), 출구 포트(EP)에서 나가는 광선의 전파 방향인 전파 경로(PP)의 배향은 이들 편향 파라미터에 의해 실질적으로 영향받지 않으나, (가령, 편향기(130)의 각 조절인) 다른 편향 파라미터에 의해 제어된다는 것에 유의한다. 이는 전파 경로의 4개의 자유도를 각각 별개로 제어하는 조절가능한 편향 파라미터를 제공한다.
단지 3개의 자유도가 충분한 일부 실시예에서, 도 1a, 1b 및 1c의 동공위치 빔 편향기(140)는 일차원으로 조절가능한 편향기로 실행될 수 있거나, 도 1d의 컨피규레이션이 사용될 수 있다는 것에 유의한다. 이는 수직 방향(가령, X)으로 빔(LB)의 측방 위치를 가변하도록 하여, 디바이스(100)를 가진 증강된/가상 현실 스펙터클이 사용자의 노이즈 브리지 아래로 미끄러지는 경우를 보상한다. 이러한 실시예에서, 다양한 사용자들의 눈 사이(동공간 거리)의 변동에 대한 보상은, 사용자 눈의 각각으로 이미지를 프로젝트하는데 사용되는 디바이스의 두 개의 눈 프로젝션 시스템(101) 사이의 수평 거리를 변경하는 기계적 수단과 같은, 다른 수단에 의해 달성될 수 있다.
도 1a, 1d, 1e 및 1ㄹdml 상기 예시에서, 빔 편향기가 각각 배향되고 구성되어서, 이의 편향 파라미터는 광학 경로(OP)의 편향 위치와 각 배향과 관련된 각각의 자유도를 별개로, 및 독립적으로 조절할 수 있고, 일반적으로, 편향기(130 및/또는 140)는 광학 경로에 따라 구성되고 배치되어서, 도 1c의 예시에 도시된 바와 같이, 컨주게이션 내의 3개 또는 4개의 자유도를 집합적으로 조절할 수 있다는 것을 이해해야 한다.
선택적으로 도 1a-1f에 도시된 바와 같이, 본 발명의 일부 실시예에서, 눈 프로젝션 시스템(101)은 조절가능한 광학 편향기(130 및 140)에 연결가능하고, 이들을 광학 경로(OP)로 안내하도록 작동하도록 구성되는 빔 지향 컨트롤러(164)를 포함하고, 광선은 적절한 위치와 배향으로 눈/동공(EYE)에 입사하는 상기 경로를 따라 전파된다.
상기 예시에서, 동공위치 빔 편향기(140)와 시선 방향 빔 편향기(130)는, 이들이 측방 자유도(X 및 Y 방향으로 전파 경로(PP)를 측방 시프트함)와 각 자유도(전파 경로(PP)의 피치와 요를 배향시킴)를 각각 제공하도록 구성된다(가령, 광학 경로(OP)를 따라 배치됨). 이러한 경우에, 컨트롤러(164)는, 각 자유도(전파 경로(PP)의 위아래(피치) 및/또는 좌우(요) 배향)를 제어하는 이들 각각의 편향 파라미터를 별개로 조절하고, 전파 경로(PP)의 측방 자유도를 제어하는 각각의 편향 파라미터를 별개로 조절하기 위해, 광학 빔 편향기를 별개로 작동시키도록 구성될 수 있다.
상기 나타난 바와 같이, 일부 실시예에서, 빔 편향기(130 및 140)의 편향 파라미터와 상기 기술된 4개의 자유도 중 3개 사이에 일대일 대응이 없고, 하나 이상의 자유도는 서로 컨주게이션으로 둘 이상의 편향 파라미터의 결합된 조절에 의해 조절가능하다(가령, 측방 위치 및/또는 눈으로 지향된 광선의 각 배향 중 어느 하나를 변경하는 것은 편향기(130 및 140) 모두를 작동/조절하는 것과 관련될 수 있음). 이러한 실시예에서, 빔 편향기를 제어하는 컨트롤러(164)는 편향기(140) 및 빔 편향기(130) 모두의 상태를 그 상태의 광선에 영향을 받은 측방(X, Y) 및 각(위아래, 좌우) 시프트와 관련시키는 기준 데이터(가령, 룩업 테이블)을 사용할 수 있다. 따라서, 이러한 실시예에서, 편향기(130 및/또는 140)는 함께 작동하여서, 시선 방향의 변화 및 눈(EYE)의 상대적 위치의 변화를 보상하기 위해 필요한 광선(LB)의 원하는 측방 및 각 시프트에 영향을 줄 수 있다. 대안적으로, 사전-교정 절차는 적용되고, 눈 움직임의 수학적 다항식 모델로의 맞춤이 상관된다. 이는 응용 요구사항에 따라 여러 대안적인 눈 움직임 모델에 적응될 수 있다.
도 1g는 눈에 프로젝션을 위해(가령, 눈 망막에 직접) 이미지 프로젝션 광선(가령, 광선(LB))와 같은 광선을 지향시키기 위한 본 발명의 방법(200)의 순서도(200)를 개략적으로 나타낸다. 본 방법은 가령, 도 1a 내지 1f 중 하나에 도시된 눈 프로젝션 시스템(101) 중 하나에 의해 실시될 수 있다. 좀 더 구체적으로, 본 방법(200)은 이들 도면에서 눈 프로젝션 시스템(101)의 광학 시스템(150)의 광학 경로(OP)의 컨피규레이션/요소와 관련된 선택적인 동작(210 및 220)을 포함한다. 또한, 본 방법은 도 1a 내지 1f에 도시된 가령 빔 지향 컨트롤러(164)에 의해 수행될 수 있는 동작(250, 270 및 290)을 포함한다.
좀 더 구체적으로, 방법(200)은 제1 및 제2 조절가능한 광학 편향기(가령, 도 1a 내지 1e의 130과 140)가 광학 시스템(가령, 150)의 광학 경로에 배치되도록 각각 구비되는, 선택적인 작업(210 및 22)을 포함한다. 제1 빔 편향기(130)는 편향 상태(편향 파라미터)가 광학 시스템(150)의 출구 동공/포트(EP)로부터 출력되는 광선(LB)의 전파 경로(PP)의 배향을 적어도 조절하는 것과 관련되도록 배치된다. 제2 빔 편향기(140)는 편향 상태(편향 파라미터)가 출구 동공/포트(EP)에서 광선(LB)의 전파 경로(PP)의 측방 위치를 적어도 조절하는 것과 관련되도록 배치된다.
작업(250)은 제1 및 제2 조절가능한 광학 편향기를 포함하는 광학 시스템(가령, 150)을 통해 광선(가령, LB)을 지향시키는 것을 포함한다. 광선은 눈 망막에 이미지를 프로젝트하기 위한 가령 이미지 프로젝션 광선일 수 있다.
동작시(270), 컨트롤러(164) 및/또는 선택적으로 다양한 작업자는, 눈의 시선 방향의 변도을 보상하기 위해(가령, 눈의 떨림 모션과 관련되지 않은 변동을 보상/감소시키기 위해), 적어도 제1 조절가능한 빔 편향기를 작동하여 그 편향 파라미터를 조절한다. 동작시(290), 컨트롤러(164) 및/또는 다양한 작업자는, 눈과 광학 시스템(150) 간의 상대적 위치의 변동을 보상하기 위해, 적어도 제2 조절가능한 빔 편향기를 작동하여 그 편향 파라미터를 조절한다. 이를 위해, 방법(200)은, 광학 시스템(150)에 대한 눈/동공(EYE)의 각 및 측방 움직임을 보상하면서, 이미지를 직접 사용자의 눈에 프로젝트하기 위해 광학 시스템(150)을 작동시키고 사용하기 위한 테크닉을 제공한다.
상기 나타난 바와 같이, 본 발명의 눈 프로젝션 시스템(101)은 눈의 망막에 이미지를 생성/프로젝트하기 위해, 눈의 망막에 프로젝트되는 변조된 광선(LB)을 출력하도록 구성된 이미지 프로젝션 모듈(190)을 포함한다. 도 2a 및 2b는 본 발명의 두 실시예에 따라, 눈 프로젝션 시스템(101)에 포함된 이미지 프로젝션 시스템(190)의 컨피규레이션을 개략적으로 나타낸 블록도이다.
좀 더 구체적으로, 도 2a는 눈(EYE)의 망막에 세기 변조된 광선(LB)(하나 이상의 칼라의 세기 변조된 레이저 빔(들)을 포함함)을 스캐닝함에 의해, 망막 상에 이미지를 프로젝트하는 이미지 프로젝션 시스템(190)을 도시한다. 이미지 프로젝션 시스템(190)에서 나가는 스캐닝된 레이저 빔(LB)은 눈 프로젝션 시스템(101)의 광학 시스템(150)을 통해 전파되고, 이는 망막 상의 정확한 위치에 이미지를 프로젝트하기 위해, 적절한 배향으로 눈(EYE)의 동공의 위치로 그것을 지향시킨다. 도 2b는 눈(EYE)의 망막에 프로젝트될 원하는 이미지로 공간적으로 패턴화/변조된 광선(LB)(구조화된 광)을 제공하는 영역 프로젝션 모듈을 사용하는 이미지 프로젝션 시스템(190)을 도시한다. 그리고 나서, 공간적으로 패턴화된 광선(LB)은 광학 어셈블리(150)를 통해 전파되고, 적절한 배향으로 눈(EYE)의 동공을 향해 도달하도록 지향되어서, 공간적으로 변조된 이미지 패턴은 눈(EYE)의 망막에 적절한 위치로 프로젝트된다. 두 경우에, 광학 어셈블리(150)는 동공/눈(EYE)의 위치의 변화 및 시선 방향의 변화를 보상하기 위해 작동할 수 있어서(도 2a를 참조하여 이하에 좀 더 자세히 기술될 컨트롤러(164)에 의해 제어됨) 이미지는 눈의 시선 방향 및/또는 눈과 디바이스(100)의 이미지 프로젝션 시스템(190) 간의 상대적 위치와 무관하게, 눈 망막의 정확하고, 선택적으로 고정된 위치에 프로젝트될 수 있다.
일부 실시예에서, 망막에 이미지를 프로젝트되는 광선(LB)의 단면 너비는 사람 눈의 동공의 공칭 직경이거나, 이보다 더 작게 제어적으로 조절될 수 있다는 것이 중요하는 것을 유의해야 한다. 이는, 필드의 증가된 뎁스로 망막 상에 이미지를 프로젝트하는 것을 제공하여서, 망막에 프로젝트된 이미지는 눈 렌즈의 초점 상태(초점 길이 상태)에 무관하게 (다시 말해, 사용자가 그의 게이즈를 초점맞추는 거리에 무관하게), 망막에 초점이 유지된다. 왜냐하면, 광선(LB)의 너비는, 광선이 눈(EYE)에 들어가는 유효 입구 동공의 지름을 실제로 형성하기 때문이다. 그러므로, 더 좁은 광선(LB)은 필드의 증가된 뎁스로 망막에 프로젝트되는 이미지를 생성하는, 더 좁은 유효 입구 동공(눈의 동공의 실제 지름(f)보다 더 좁음)을 야기한다. 동공 보다 더 좁은 좁은 빔을 제공하는 것은, 이미지 프로젝션 시스템(190)에서 적절한 광 소스(들)(110)을 사용함에 의해, 및/또는 (광학 시스템(150) 및/또는 이미지 프로젝션 시스템(190)의 광학 어셈블리(113)에 포함된) 광학 경로(OP)를 따라 적절한 빔 확장(들)/수축(들) 광학계(미도시)를 사용함에 의해, 본 발명의 다양한 실시예에 따라 달성된다.
도 2a는, 망막 상에 프로젝트될 광선을 출력하도록 구성된 광 모듈(110) 및 광선의 일반 광학 경로를 따라 배치되고 망막에 형성될 이미지에 따라 광선을 변조하도록 구성된 이미지 광 변조기(112)를 포함하는 이미지 프로젝션 시스템(190)을 예시화 한다. 일부 실시예에서, 광 모듈(110)은 하나 이상의 광 채널을 포함하되, 각각은 광 이미터 및/또는 어떤 색체 구성의 광을 제공/발광하는 광 포트(110)를 포함한다. 그레이 레벨 이미지를 프로젝트하기 위해, 단일 채널(가령, 모노크로마틱 채널)이 충분할 수 있다. 본 예시에서, 이미지 프로젝션 시스템(190)은 컬러화된 이미지를 프로젝트하도록 구성되고, 광 모듈(110)은 세 개의 크로마틱 광 채널(가령, 다양한 칼라인 빨강, 녹색 및 파랑의 광을 각각 출력하는 광 포트/이미터(R, G 및 B))을 포함한다. 본 예시에서, 광 포트/이미터(110)는 3개의 R, G 및 B 레이저 이미터(가령, 레이저 다이오드)에 의해 실시된다.
이미지 프로젝션 시스템(190)은 전형적으로 광학 어셈블리(113)를 포함하는데, 이는, 본 명세서에서 빔 형성 및 결합 광학 어셈블리라고도 한다. 빔 형성 및 결합 광학 어셈블리(113)는 각각의 하나 이상의 칼라의 하나 이상의 광학 채널의 광선을 콜리메이트하고 이들을 결합하도록 구성되고 작동가능하여서, 이들은 공통 일반 광학 경로(OP)를 따라 전파된다. 빔 형성 및 결합 광학 어셈블리(113)는 복수의 광학 채널의 광을 별개 및/또는 집합적으로 콜리메이트하도록 구성된 가령, 하나 이상의 형성기(가령, 빔 콜리메이터(117 및/또는 117')를 포함할 수 있다. 하나보다 많은 광학 채널이 있는 경우에, 빔 형성 및 결합 광학 어셈블리(113)는 광학 채널의 빔을 단일 광학 경로(OP)로 결합시키는 하나 이상의 빔 결합기(118)도 포함할 수 있다.
이미지 프로젝션 시스템(190)의 이미지 광 변조기(112)는 하나 이상의 세기 변조기(115)를 포함하되, 이는 하나 이상의 세기 변조기와 관련된 각각의 광 채널(포트/이미터)로부터의 광의 세기를 조절하도록 구성되고 동작가능하다. 세기 변조기(115)는 관련된 광 모듈(110)의 광 이미터/포트에 연결가능한 각각의 광 소스 컨트롤러를 사용하고, 이에 의해 발산된 광의 세기를 조절하기 위해 이들의 동작을 조절하도록 구성된다. 대안적으로 또는 추가적으로, 세기 변조기(115)는 광 모듈(110)의 각각의 광 이미터/포트로부터 발산된 광의 광학 경로에 위치된 제어가능한 광 감쇠기(가령, 전자-광학 감쇠기 및 기계)를 포함 및/또는 실시될 수 있다. 대안적으로, 이는, 비선형 결정(들)에 대해 위상 매칭 특성을 가변시킴에 의해 행해질 수 있다.
본 예시에서, 이미지 광 변조기(112)는 가령, 래스터 스캐닝 거울 모듈 및/또는 이차원적 각 적으로 조절가능한/회전가능한 편향기(가령, 이미지 스캔 수행을 할 수 있는) 이미지 스캐닝 편향기(120)를 포함한다. 적어도 하나의 광 세기 변조기(115)를 일반적으로 포함하는 이미지 광 변조기(112)는, 이미지 스캐닝 편향기(120)로 전파되는 광선(LB)의 색채 구성 및 세기를 변조하도록 구성되고 동작가능하다. 이미지 스캐닝 편향기(120)는 그 편향 각도를 시간의 함수로서 변경하도록 작동되어서, 다양한 시간에 이미지 스캐닝 편향기는 망막에 프로젝트될 이미지의 다양한 픽셀의 위치에 대응되는 다양한 배향으로 광선(LB)을 편향시킨다.
이미지 프로젝션 시스템(190)은 전형적으로 망막에 프로젝트되어야 하는 이미지를 나타내는 입력 데이터(IMD)를 수신하고, 이미지 데이터에 기초하여 이미지 광 변조기(112)를 작동시켜서 광선(LB)을 변조하는 이미지 프로젝션 컨트롤러(192)도 포함한다. 좀 더 구체적으로, 본 예시에서, 이미지 프로젝션 컨트롤러(192)는 이미지 스캐닝 편향기(120)의 각 편향 상태를 나타내는 데이터를 획득하고(가령, 각 편향 상태는 가령 스캐닝 편향기(120)가 연속적으로 작동/회전하는 경우에 시간의 함수일 수 있음) 및/또는 이미지 프로젝션 컨트롤러는 편향 상태(가령, 이미지 스캐닝 편향기(120)로 적절한 제어 신호를 방출함에 의해)를 설정할 수 있다. 편향 상태(가령, 이미지 스캐닝 편향기(120)의 편향 각도/배향)에 기초하여, 이미지 프로젝션 컨트롤러(192)는 이미지의 어느 픽셀이 현재 망막에 프로젝트되어야 하는지를 결정하고, 이미지 데이터(IMD)를 사용하여 그 픽셀의 세기 및 가능한 색채 구성을 결정하며, 이에 따라 광 세기 변조기(115)를 작동시켜서(가령, 광 세기 변조기로 적절한 제어 신호를 방출함에 의해) 광선(LB)의 적절한 세기 및 색채 구성을 설정할 수 있다. 따라서, 이미지 프로젝션 컨트롤러(192)는 이미지 프로젝션 시스템(190)의 모듈을 작동시켜 이미지로 광선(LB)을 변조시켜서, 시스템(100)의 광학 시스템(150)에 의해 망막으로 추가 지향될 수 있도록 하고, 이미지는 망막에 프로젝트된다. 이러한 예시에서, 각각의 시간에, 광선(LB)의 세기 및 가능한 색채 구성은 망막에 프로젝트되는 이미지의 단일 픽셀에 대응된다. 이미지 스캐닝 편향기(120)는 망막의 영역/표면에 걸쳐 광선(LB)을 스캔하고, 광 세기 변조기(115)가 이들 픽셀의 세기 및 가능한 색채 구성으로 광선(LB)을 각각 변조하기 위해 함께 작동하면서 이미지의 다양한 픽셀이 프로젝트되어서, 망막에 이미지를 형성한다.
본 발명의 눈 프로젝션 시스템을 사용가능한 이미지 프로젝션 시스템(190)의 또 다른 예시는 도 2b에 도시된다. 여기서, 이미지 광 변조기는 영역 프로젝션 모듈(115)을 포함하고, 이는 가령 빔 소스(110)(가령, 전자 빔 및/또는 광 소스) 및 공간 광 변조기(115)를 포함할 수 있다. 예를 들어, 영역 프로젝션 모듈(115)은 다음의 하나 이상을 사용하여 실시될 수 있는데, 이는, 캐소드-레이-튜브(CRT: 전자 빔 소스(110) 및 공간 광 변조기(115)로서의 역할을 하는 포스포 층을 포함), 액정-디스플레이(LCD: 가령, 광 소스(110)와 실리콘상의 액정(LCoS)와 같은 액정 공간 광 변조기(115)), 디지털-광-프로세싱 모듈(DLP: 가령, 광 소스(110) 및 공간 광 변조기(115)로서의 역할을 하는 디지털-마이크로미러-디바이스(DMD)를 포함함), 및/또는 유기 발광 다이오드(OLED: 광 소스(110)와 공간 변조기(115)로서의 역할을 하는 발광 다이오드의 공간 어레이를 포함함) 및/도는 레조넌트 섬유 프로젝터 시스템이다.
그러므로, 영역 프로젝션 모듈(115)은 원하는 이미지로 패턴/변조된 공간적으로 변조/패턴화된 광선(LB)(구조화된 광)을 생성/출력하도록 구성되고 동작가능하다. 이미지 프로젝션 시스템(190)은 전형적으로, 망막에 프로젝트되어야 하는 이미지를 나타내는 입력 데이터(IMD)를 수신하고 영역 프로젝션 모듈(115)을 작동시켜 광선(LB)을 생성하도록 하여, 그 이미지로 공간적으로 패턴/변조화되도록 하는 이미지 프로젝션 컨트롤러(192)를 포함한다. 본 예시에서, 또한, 이미지 프로젝션 시스템(190)은, 가령, 눈 프로젝션 시스템(101)의 광학 시스템(150)을 향해 전파되기 위해 공간적으로 패턴화된 광선을 형성하고 전달할 수 있는 빔 형성 광학계 및/또는 광학 릴레이를 포함하는 광학 어셈블리(113)를 포함할 수 있는데, 망막 상에 정확한 위치상에 이미지가 프로젝트될 수 있도록 적절한 배향으로 눈(EYE)의 동공의 위치로 지향된다(가령, 사용자의 시선 방향과 무관하고, 눈 프로젝션 시스템과 눈(EYE) 간의 상대 위치에 무관하게).
이와 관련하여, 이미지 프로젝션 컨트롤러(192)는 광선(LB)의 세기와 색채 구성을 공간적으로 변조하기 위한 영역 프로젝션 모듈(115)의 공간 광 변조기(112)를 작동시켜서, 망막 상에 프로젝트될 이미지가 어떤 컨주게이트 광학 평면(CP)에서 광선(LB)의 단면으로 형성된다는 것에 유의해야 한다. 눈 프로젝션 시스템(101)의 광학 시스템(150)은 컨주게이트 광학 평면(CP)에 형성된 이미지를 눈 망막으로 전달하도록 구성되고 동작가능하다.
본 발명의 실시예에 따른 눈 추적 모듈(160)을 포함하는 눈 추적 디바이스(105)를 나타내는 블록도는 이제 도 3a를 참조한다. 눈 추적 모듈/시스템(160)은 IR 추적 빔(TB)을 제공하도록 구성된 IR 광 포트, 적어도 두 개의 광학 센서(175 및 185) 및 눈 추적 컨트롤러(164)를 포함한다. 눈 추적 모듈/시스템(160)은 또한, 도 1a 내지 1f 중 하나를 참조하여 상기 기술된 것과 유사하고, 사용자의 눈(EYE)을 향한 전파 경로(OP)로 전파되도록 IR 광선(TB)을 지향하도록 일반적으로 구성된 광학 어셈블리와 관련 또는 이를 포함한다. 이를 위해, 광학 어셈블리(150)는, 눈을 향한, 광학 어셈블리의 광학 경로(OP)를 따라 전파될 수 있는 다른 광선(가령, LB)은 물론, 추적 광선(TB)의 전파 경로(PP)의 각 배향과 측방 위치를 조절하도록 구성되고 동작가능한, 적어도 두 개의 조절가능한 광학 편향기(130 및 140)를 포함한다. 두 개의 광학 센서(175 및 185)는 적어도 두 개의 조절가능한 광학 편향기와 각각 관련된 광학 어셈블리의 일반 광학 경로(OP)에 광학적으로 연결된어서, 이들은 눈으로의 추적 IR 광선(TB)의 입사에 응답하여, 눈으로부터 다시 반사된 반사된 IR광선(RB)을 각각 센싱한다. 눈 추적 모듈/시스템(160)은 적어도 두 개의 광학 센서(175 및 185)에 연결가능한 눈 추적 컨트롤러(164)를 더 포함할 수 있다. 눈 추적 컨트롤러(164)는 두 개의 광학 센서(175 및 185)로부터 리드아웃 정보/데이터를 수신하고, 리드아웃 정보를 처리하여 각각의 동공 위치 및 눈의 시선 방향으로부터의 전파 경로(PP)의 측방 및 각 편차를 나타내는 데이터를 결정하도록 구성된다. 이를 위해, 눈 추적 모듈(160)은 눈(EYE)의 위치/배향을 모니터링하도록 구성되고(즉, 눈(EYE)의 시선 방향과 측방 위치를 나타내는 눈 위치 데이터를 측정), 눈을 향한 눈 프로젝션 시스템(101)의 전파 경로(PP)를 조절하기 위해, 상기 기술된 눈 프로젝션 시스템(101)과 함께 사용될 수 있다.
IR 광 포트/소스(162)는 추적 광선(TB)을 제공하도록 구성되고 동작가능하여서, 하나 이상의 조절가능한 광학 편향기(130 및/또는 140)와 상호작용하면서 상기 추적 광선은 광학 어셈블리의 일반 광학 경로(OP)를 따라 전파되도록 지향되고, 이로부터 눈을 향해 전파 경로(PP)를 따라 전파된다. 눈으로의 추적 빔(TB)의 입사는, 광학 어셈블리의 광학 경로(OP)를 통해 다시 전파를 위해, 눈으로부터 추적 빔(TB)의 반사와 관련된 반사된 광선(RB)을 야기한다.
하나 이상의 센서(175 및 185)는 광학 경로(OP)를 따라 둘 이상의 다양한 위치에서 일반 광학 경로(OP)에 광학적으로 연결된다. 센서(175 및 185)는 반사된 광선(RB)을 수신하고, 둘 이상의 다양한 위치에서 반사된 광선(RB)의 전파의 하나 이상의 특성을 측정하도록 구성된다.
눈 추적 컨트롤러(164)는 하나 이상의 센서(175 및 185) 및 하나 이상의 조절가능한 광학 편향기(130 및/또는 140)에 연결가능하다. 컨트롤러(164)는 센서(175 및 185)로부터 광학 경로의 둘 이상의 서로다른 위치에서 반사된 빔(RB)의 전파의 적어도 하나의 특성을 나타내는 리드아웃 데이터/정보를 수신하고, 리드아웃 데이터를 처리하여 눈 위치 데이터를 결정하도록, 다시 말해, 눈(EYE)의 측방(X 및/또는 Y) 동공 위치 및 전파 경로(PP) 또는 광학 어셈블리(150)에 대한 눈의 각 시선 방향을 나타내는 데이터를 결정하도록 구성된다.
일부 실시예에서, 눈 위치 데이터는 눈의 시선 방향(LOS)과 눈의 향한 광선의 전파 경로(PP)의 배향 간의 편차 및 눈의 동공과 전파 경로(PP)의 측방(X, Y) d위치 간의 편차를 나타낸다.
일부 실시예에서, 눈 추적 모듈(160)은 하나 이상의 조절가능한 광학 편향기(130 및 140)가 각 배향(피치 및 요) 및 전파 경로(PP)의 측방 위치(X, Y)를 조절하여 눈에 대한 측방 및 각 배향을 보상하도록 작동시키기 위한 작동적 명령어를 생성하기 위해 눈 위치 데이터를 사용하도록 구성된 하나 이상의 컨트롤러(가령, 170 및 180)를 포함한다.
본 발명의 일부 실시예에 따르면, 조절가능한 광학 편향기(130 및/또는 140)는 광학 경로(OP)를 따라 연속적으로 배치되어서, 두 개의 조절가능한 광학 편향기(130 및/또는 140)에 의해 각각 광학 경로(OP)의 편향과 관련된 광학 경로(OP)의 두 개의 편향 스테이지(STG1 및 STG2)를 각각 형성한다. 따라서, 센서(175 및 185)가 광학 경로(OP)에 광학저으로 연결된 두 개 이상의 서로다른 위치는 두 개의 편향 스테이지(STG1 및 STG2)에 각각 배치된다. 센서(175 및 185)는 광학 경로의 이들 스테이지(STG1 및 STG2)에 배치된 각각의 빔 스플리터 결합기(BC3 및 BC2)를 통해 광학 경로에 연결될 수 있다.
눈 추적 컨트롤러(164)는, 조절가능한 광학 편향기 중 각각의 것(140 또는 130)과 관련된 광학 경로(OP)의 각각의 편향 스테이지(STG1 또는 STG2)로부터 대응되는 센서(175 또는 185)에 의해 측정되는 전파의 대응되는 특성에 기초하여, 각각의 조절가능한 광학 편향기(140 및/또는 130)에 대한 동작적 명령어를 생성하도록 구성되고 동작가능하다.
예를 들어, 반사된 광선(RB)의 전파의 특성은 광학 경로(OP)에서 미리정한 공칭 측방 위치로부터 반사된 광선(RB)의 전파의 측방 오프 축 편차일 수 있다. 이를 위해, 각각의 센서(175 및 185)는 복수의 광 센시티브 검출기/픽셀을 포함할 수 있다. 컨트롤러(164)는 센서(175 또는 185)의 픽셀로부터의 리드아웃 데이터/정보를 처리하여, 센서상에 반사된 광선(RB)의 입사 위치를 결정하여서, 이러한 입사 위치와 센서상의 미리정한 공칭 위치 간의 편차를 결정하도록 구성될 수 있다. 따라서, 광학 경로(OP)의 각각의 스테이지(STG1 또는 STG2)를 따라 반사된 광선(RB)의 전파의 특성이 결정된다. 광학 경로(OP)의 둘 이상의 스테이지(STG1 및 STG2)에 대해 결정된, 이러한 전파의 특성으로부터(가령, 광학 경로(OP)에서 미리정한 공칭 측방 위치로부터 반사된 광선(RB)의 전파의 측방 오프 축 편차임), 눈의 측방 및 각 위치를 나타내는 데이터는 계산/추정/결정될 수 있다. 따라서, 조절가능한 광학 편향기(140 및/또는 130)는 눈(EYE)의 측방 위치/배향을 추적하기 위해 동작/조절될 수 있다.
예를 들어, 본 발명의 일부 실시예에 따르면, 눈 추적 컨트롤러(164)는 하나 이상의 서보 루프(가령, 서보-루프 컨트롤러(170 및/또는 180)를 포함하되, 각각의 서보 루프 컨트롤러는 각각의 조절가능한 광학 편향기(가령, 각각 130 및/또는 140) 및 대응되는 센서(가령, 각각의 175 및/또는 185)에 연결되도록 구성되고 동작가능하며, 각각의 센서(가령, 각각의 175 및/또는 185)로부터의 리드아웃 데이터를 처리하도록 구성되어서, 광학 경로(OP)의 각각의 스테이지(가령, STG1 및/또는 STG2)내의 대응되는 전파 특성 및 이에 따라 그 전파 특성에 기초하여 결정하고, 관련된 각각의 조절가능한 광학 편향기(가령, 130 및/또는 140)의 작동을 위한 동작적 명령어를 생성한다.
이를 위해, 도 3a에 대한 비제한적인 예시에서, 눈 추적 모듈/시스템(160)은 본 발명의 눈 프로젝션 디바이스(100)와 함께 구성되고 동작가능한 것으로 도시된다. 좀 더 구체적으로, 비제한적인 예시에서, 눈 프로젝션 디바이스(100)는 적어도 하나의 눈 프로젝션 시스템(101)을 포함하고, 이는 눈(EYE)의 사이트 라인 방향(즉, 시선 방향) 및 눈/동공의 위치를 모니터링하고 가능하면 추적하기 위해 상기 기술된 바와 같이 구성되고 동작가능하다. 눈 프로젝션 시스템(101)은 도 1a 내지 1f 중 하나로 도시된 눈 프로젝션 시스템과 유사하게 구성될 수 있고, 광학 시스템(150)을 통해 눈(EYE)으로 광/이미지(LB)를 프로젝트하기 위한 이미지 프로젝션 모듈(190)을 선택적으로 포함할 수 있다. 눈 추적 디바이스(105)는 눈(EYE)의 시선(LOS)과 측방 위치를 모니터링하도록 구성되고, 눈(EYE)의 시선과 위치를 추적/따르기 위해 광학 시스템/어셈블리(150)를 작동시켜서, 광선(LB)의 전파 경로(PP)(이미지 프로젝션 광선)가 눈(EYE)의 시선(LOS)에 대해 원하는 배향으로 눈의 위치(가령, 눈 동공)로 지향된다. 이를 위해, 이러한 특정한 예시에서, 추적 광선(TB)(전형적으로 IR 광)과 반사된 광선(RB)은 물론, 광선(LB)을 프로젝트하는 이미지/광은 광학 어셈블리(150)의 공통 광학 경로 및 눈(EYE)의 공통 전파 경로(PP)를따라 전파되기 위해 결합된다. 일부 실시예에서, 눈 프로젝션 디바이스(100)는 사용자의 눈들의 모두에 이미지를 각각 프로젝트하도록 구성되고 동작가능한, 눈 프로젝션 시스템(101)과 유사한 두 개의 눈 프로젝션 시스템을 포함한다.
그러나, 눈 추적 디바이스(105) 및/또는 눈 모니터링 모듈(160)은 눈 프로젝션 시스템(101)에 연결가능한 스탠드어론 디바이스/모듈로서 실행될 수 있거나, 및/또는 눈 프로젝션 시스템(101)과 통합된 모듈/디바이스일 수 있다는 것에 이해해야 한다. 이러한 예시에서, 광학 시스템(150)은 눈(EYE)으로 이미지를 프로젝트하기 위한 눈 프로젝션 시스템(101)에 의해 사용되고, 눈(EYE)의 시선과 위치를 모니터링하고 추적하기 위한 눈 추적 디바이스(105)에 의해 사용될 수 있다. 또한, 대안적으로 또는 추가적으로, 눈 모니터링 모듈(160)은 스탠드 어론 디바이스로 구성되어 실시될 수 있어서, 그것은 광학 시스템(150)과 광학적으로 연결되고 이의 빔 편향기(130 및 140)에 전기적으로 연결될 수 있고, 광학 경로(OP)를 따라 출구 동공(EP)으로부터 전파되는 되돌아온 광선(RB)을 센싱하도록 동작가능하고, 센싱된 광 신호를 처리하여 눈의 시선과 측방 위치를 추적하며, 조절가능한 빔 편향기(130 및 140)를 작동시켜서, 광학 어셈블리(150)와 눈(EYE) 사이의 광선(가령, TB 및/또는 LB)의 전파 경로(PP)를 조절하여서, 광선(LB)은 원하는 배향으로 눈/동공의 위치로 지향된다.
본 예시에서, 눈 프로젝션 시스템(101)은 도 1a 내지 1f 중 어느 하나에 도시된 눈 프로젝션 시스템의 것과 유사한 모듈을 포함한다. 좀 더 구체적으로, 눈 프로젝션 시스템은 이미지 프로젝션 시스템(190)을 선택적으로 포함하하고, 이는 도 2a 및 2b에 기술된 이미지 프로젝션 시스템 중 어느 하나로 구성되고 동작가능한 이미지 프로젝션 시스템 및 눈(EYE)(가령, 스펙터클 렌즈(102))으로 이미지 프로젝션 시스템(190)을부터의 광선(LB)을 지향시키기 위해 구성되고 동작가능한 광학 시스템/어셈블리(150)를 포함한다. 도 1a 내지 1b를 참조하여 상기 기술된 광학 시스템(150)과 마찬가지로, 본 명세서에서는 광학 시스템(150)은 광선(LB)의 일반 광학 경로(OP)를 따라 배치되고 눈(EYE)을 향해 광선(LB)의 전파 경로(OP)를 조절하는데 적어도 3개 및 전형적으로 4개의 자유도를 제공하도록 구성되고 동작가능한, 적어도 하나 및 전형적으로 적어도 두 개의 조절가능한 광학 편향기(가령, 도 1a에서와 같은 시선 방향 빔 편향기(130) 및 동공 위치 빔 편향기(140))를 포함한다. 자유도 중 두 개는 눈(EYE)의 시선 방향의 각 변화를 보상하는 것과 관련되고, 자유도의 적어도 하나, 전형적이고/바람직하게 두 개의 자유도는 눈(EYE)에 대한 눈 프로젝션 디바이스(100)의 상대적인 측방, 수직 및/또는 수직 위치의 변동을 보상하는 것을 제공한다.
눈의 LOS의 각 움직임이 눈의 새카드 움직임과 특히 관련되고, 눈의 측방 움직임은 동공의 측방 위치와 눈 프로젝션/추적 시스템 간의 상대적 측방 움직임과 특히 관련된다는 것을 이해해야 한다.
일부 실시예에서, 눈 모니터링 모듈(160)은 눈 추적 광선(TB)을 발산하는 추적 광 소스(162)를 포함한다는 것에 유의해야 한다. 대안적으로나 추가적으로, 일부 실시예에서, 추적 광 소스는 눈 모니터링 모듈(160)읠 일부가 아닐 수 있고, 눈 모니터링 모듈(160)은 추적 광선(TB)을 수신하기 위한 광 포트(162)만 포함할 수 있다. 본 발명의 다양한 실시예에서, 추적 광 소스는 광 포트(162)를 통해 광학 시스템/어셈블리(150)에 광학적으로 연결/결합가능할 수 있어서, 추적 광선(TB)은 광학 시스템(150)을 통해 눈으로 지향되고, 및/또는 추적 광 소스(162)는 광학 시스템(150)에 결합되지 않을 수 있고, 추적 광선(TB)은 (가령, 자유 공간 전파에 의해, 또는 또 다른 광학 가이드/시스템을 통해) 다양한 방법으로 눈(EYE)으로 지향된다.
도 3a에 도시된 본 발명의 이렇나 구체적이고 비제한적인 실시예에서, 추적 광 소스(162)는 광학 시스템(150)과 광학 통신하도록 배치되고 구성되어서, 추적 광선(TB)은 광학 시스템(150)의 일반 광학 경로(OP)를 따라 전파될 수 있고, 눈(EYE)의 망막을 향해 광학 경로(PP)를 따라 전파될 수 있다. 이를 위해, 추적 광 소스(162)는 광학 시스템(150)의 광학 경로(OP)에, 그리고 추적 광 소스(162)로부터 출력된 추적 광선(TB)의 전파 경로에 위치된 빔 결합기(BC1)(가령, 이색성 빔 결합기)와 관련되어서, 추적 광선(TB)은 광학 경로(OP)를 따라 눈(EYE)을 향해 광선(LB)을 프로젝트하는 이미지와 함께 전파되도록 지향된다. 추적 광 소스(162)은 일반적으로 파장/스펙트라의 광/전자기 복사선(162)의 소스여서, 사용자는 눈의 시야 내의 고정된 가시적 광 소스의 존재와 관련된 사용자 불편을 피하거나 적어도 현저하게 감소된다. 예를 들어, 추적 광 소스(162)는 사람 눈에 비가시적인 IR 빔을 발산하는 적외선(IR) 광 소스(가령, IR 레이저 다이오드)일 수 있다.
본 발명의 특정 실시예에 따르면, 눈 추적 광선(TB)은, 눈(EYE)으로의 그것의 길에 광학 어셈블리(150)의 조절가능한 광학 편향기(130 및 140) 모두와 연속적으로 상호작용하면서 광학 경로(OP)를 따라 전파되도록 결합되어서, 그것이 눈을 향해 지향될 수 있으면서 눈은 다양한 시선 방향으로 볼 수 있고, 눈 프로젝션 시스템(101)에 대한 상대적 측방 위치가 가변될 수 있음에 유의해야 한다. 이를 위해, 빔 결합기(BC1)는 조절가능한 빔 편향기(130 및 140)로부터 업스트림 위치에 광학 경로(OP)를 교차하기 위해 위치될 수 있다.
그러므로, 조절가능한 광학 편향기(130 및 140)가 적절히 조절될 때(다시 말해, 이들의 편향 파라미터가 눈을 향한 전파 경로(PP)의 적절한 측방 위치와 각 배향으로 눈으로의 광선을 지향하기 위해 적절히 설정), 눈 추적 광선(TB)은, 그것이 눈으로 들어가고 가능하면 망막에 프로젝트되도록 눈(EYE)의 동공을 향해 전파 경로를 따라 전파되도록 지향된다.
일부 실시예에서, 눈 추적 광선(TB)의 단면 너비는 사람 눈의 동공의 공칭 지름보다 작다. 그 경우에, 동공을 둘러싸는 눈의 영역으로부터 눈 추적 광선(TB)의 반사가 최소가 되고, 이는 결국 추적 빔(TB)의 간섭을 감소시키고, 이러한 추적의 반사와 정확도는 개선된다. 일부 실시예에서, 추적 빔(TB)이 동공 밖으로 전체적으로 시프트되는 정도(신호를 잃어버림)로 눈 시선이 시프트되는 시나리오에 대처하기 위하여, 광학 시스템(가령, 130 및/또는 140) 내의 조절가능한 광학 편향기(가령, 조절가능한 거울)는 소위 라사조우스(Lassajous) 패턴(이는 잃어버린 신호를 다시 찾기 위해 검색 영역을 확장시키기 위해 인에이블됨)이라고 하는 특정 패턴을 제공하도록 구성되고, 및/또는 포함할 수 있다. 동공 검색 알고리즘을 위한 라사조우스 패턴은, 초기 신호가 획득될 때까지 우선 측방 도메인에서 수행되고, 그리고 나서 광학 경로의 최적의 정렬을 위해 각 도메인에서 수행된다. 그리고 나서, 패턴(가령, 라사조우스 패턴)은 동공의 주변부로부터 추적 빔(TB)의 반사를 찾고, 전파 경로(PP)를 동공의 측방 위치 및 눈의 LOS의 피치/요 배향과 정렬하기 위해 조절가능한 광학 편향기(130 및/또는 140)의 편향 파라미터를 보정하는데 사용될 수 있다. 대안적으로나 추가적으로, 센서(175 및/또는 185)는 눈의 위치와 시선 방향을 추적하기 위해, 눈으로부터 반사된 광선(RB)을 센싱하는데 사용될 수 있고, 이러한 시나리오의 발생의 기회를 최소화하기 위해, 큰 영역 쿼드 셀(가령, 멀티다이오드 어레이)로 구성될 수 있다.
일반적으로, 눈 추적 광선(TB)이 눈(EYE)에 부딪칠 때, 눈 추적 광선(TB)의 일부(RB)는 눈(EYE) 망막으로부터 다시 반사되어(소위, 망막 반사), 광학 경로(OP)를 따라 되돌아올 수 있다. 대안적으로나 추가적으로, 눈 추적 광선(TB)의 일부(RB)는 눈(EYE)의 각막으로부터 반사될 수 있다(소위, 각막 반사 및/또는 푸르키네(Purkinje) 이미지). 광선(RB)은 각막의 전면부로부터(제1 푸르키네 이미지), 렌즈의 후면으로부터(소위 제4 푸르키네 이미지) 및/또는 망막으로 부터(망막 반사) 반사된 눈 추적 광선(TB)의 일부를 포함할 수 있다. 일반적으로, 그리고 나서, 반사된 광선은, 반사된 광선(RB)의 전파의 정확한 방향이 눈(EYE)의 동공의 위치 및/또는 배향을 나타내는, 눈(EYE)에서 광학 시스템(150)의 광학 경로(OP)까지 다시 전파된다.
본 발명의 어떤 실시예는 눈의 역반사 특성을 바람직하게 사용하는데, 특히 눈 망막이 역반사라는 사실을 사용한다. IR 파장에서, 망막은 광의 상당한 퍼센티지를 반사할 수 있다. 이는 본 발명의 어떤 실시예의 시선 방향 추적 시스템에 의해 사용되어서, 눈의 실제 광학 축이나 눈의 광학 축에 대한 각도에서의 임의의 광학 방향을 추적한다. 눈의 실제 광학 축 또는 임의의 이러한 다른 임의의 광학 방향을 추적하는 것은 눈을 역반사기를 사용함에 의해(눈의 역반사 특성을 사용) 달성되고, 종래 방법에서 행해진 바와 같이 반드시 푸르키네 이미지에 의존할 필요는 없다. 눈의 역반사 특성을 사용하는 것은, 반사된 빔이 눈의 광학 축에 대해 어떤 미리정한 각도를 가지고 되돌아와서, 시스템이 눈의 실제 광학 축을 추적할 수 있도록 하는 것을 제공한다. 눈의 역반사 특성이 어떤 레벨의 색수차를 가질 수 있더라도, 그럼에도 불구하고, 여전히 눈의 역반사 특성을 사용할 수 있어서 높은 정확도로 눈의 각도 및 측방 시프트를 검출할 수 있다.
본 발명의 일부 실시예에 따르면, 눈 모니터링 모듈(160)의 두 개의 광 센서(175 및 185)가 배치되고, 반사된 광선(RB)이 전파되는 광학 경로에 광학적으로 연결되어서(가령, 광학 어셈블리(150)의 광학 경로(OP)), 적어도 제1 광 센서 상의 반사된 빔(RB)의 입사 위치는 눈(EYE)의 동공의 위치와 광선(LB)의 전파 경로(PP)의 측방 위치 간의 측방 편차(X 및/또는 Y 편차)를 나타내는 데이터를 제공하고, 적어도 제2 광 센서 상의 반사된 빔(RB)의 입사 위치는 전파 경로(PP)와 눈(EYE)의 시선 간의 각 편차(피치 및/또는 요 편차)를 나타내는 데이터를 제공한다. 실제로, 일반적으로, 광 센서는, 전파 경로(PP)의 4개의 자유도를 모니터링하기 위해, 되돌아온 광의 광학 경로를 따라 배치된 이차원 광학 센서(175 및 185)를 포함할 수 있다. 예를 들어, 제1 센서(가령, 도면에서 175)는 광학 릴레이(가령, 광학 릴레이(145) 또는 이와 유사한 것)의 광학 요소들 간의 광학 경로(OP)의 위치/스테이지(STG1) 내의 반사된 광선의 광학 경로를 따라 배치될 수 있고, 가령 릴레이(145)의 주요 평면 근처에 배치될 수 있어서, 광선(LB)의 전파 경로(PP)와 미리정한 관계/대응을 가진 어떤 공칭 광학 축으로부터 반사된 빔(RB)의 각 편차는, 빔(RB)이 광학 센서(175)에 부딪히는 위치에서의 측방 위치로 변환된다. 이는, 눈의 시선에 대해 전파 경로(PP)의 피치 및 요 각 배향에서의 편차를 측정/결정하도록 한다. 제2 센서(가령, 도면에서 185)는 광학 경로(OP)의 위치/스테이지(STG2)에서 반사된 광선(RB)의 광학 경로에 광학적으로 결합될 수 있고, 그것은 광학 릴레이 내에서 전파되지 않아서(가령, 이러한 릴레이가 사용된다면 릴레이(145) 외부), 전파 경로(PP)와 미리정한 광계/대응을 가진 어떤 공칭 광학 축으로부터 반사된 빔(RB)의 측방 편차를 직접 측정한다. 이는, 전파 경로(PP)와 눈의 위치 간의 측방 편차(X 및/또는 Y)를 측정/결정할 수 있다.
본 발명의 일부 실시예에서, 전파 경로(PP)의 각 편차를 측정하는 광학 센서는 전파 경로(PP)의 측방 편차의 효과와 전체적으로 광학적 분리되지 않을 수 있고, 그 반대의 경우도 마찬가지(다시 말해, 전파 경로(PP)의 측방 편차를 측정하는 광학 센서가 전파 경로(PP)의 각 편차의 효과와 전체적으로 광학적 분리되지 않을 수 있음)라는 점에 유의해야 한다. 이러한 경우에, 추가적인 처리가, 두 센서(175 및 185)로부터 획득된 측정치에 가해져서, 이들 측정치로부터 전파 경로(PP)의 각(피치와 요) 및 측방 (X 및 Y) 편차를 결정한다. 예를 들어, 두 센서로부터의 측정치가 획득되고, 우선 처리되어서 각각의 센서에 반사된 광선(RB)의 입사의 위치를 결정한다. 그리고 나서, 위치(가령, 벡터로 표현됨)가 행렬 형태로 제시될 수 있는데, 이는 측방 위치와 눈의 시선 방향으로부터 전파 경로(PP)의 각 배향과 측방 편차를 결정하기 위해, 대각선화(가령, 광학 어셈블리(150)의 행렬이나 함수 표현과 같은, 광학 어셈블리(150)의 광학 작업을 나타내는 표현 데이터를 사용함)될 수 있다.
일부 실시예에 따르면, 광 센서(175 및 185)는 광학 경로(OP)의 서로다른 스테이지/위치(STG1 및 STG2)에 배치되는데, 서로다른 스테이지(STG1 및 STG2)는 되돌아온/반사된 광선(RB)이 서로다른 광 센서(175 및 185)에 도달하기 전에, 조절가능한 광학 편향기(140 및 130)의 서로다른 조합물과 상호작용하도록 선택된다. 광 센서(175 및 185)는 이러한 방식으로 배치되어서, 이들 각각은 조절가능한 광학 편향기(140 및 130)의 하나에 각각 연결되고, 좀 더 구체적으로는, 각각의 센서에 광선의 입사 위치는 각각의 조절가능한 광학 편향기에 가해져야하는 요구되는 보정을 나타내는 데이터를 제공한다. 이는, 각각의 센서로부터 획득된 리드아웃 데이터에 기초하여, 각각의 편향기를 조절하기 위한 개방된/폐쇄된 서보 루프 작업을 적용할 수 있게 한다. 예를 들어, 도면에 도시된 바와 같이, 광 센서(175)는 스테이지(STG1)에 배치되어서, 조절가능한 편향기(140)와 상호작용한 이후 및 편향기(130)과 상호작용하기 전에 되돌아온 광선(RB)을 센싱한다. 따라서, 센서(175) 상의 미리정한 공칭 위치로부터(가령, 센서의 중심으로부터) 되돌아온 광선(RB)의 입상 위치의 편차는 조절가능한 편향기(140)의 조절에 대해 요구되는 보정을 나타내고, 이하에 기술되는 바와 같이 편향기(140)를 재조절하기 위해, 서보 루프 회로(가령, 컨트롤러(170))에 의해 처리될 수 있다. 마찬가지로, 광 센서(185)는 광선(RB)이 조절가능한 편향기(140 및 130)의 서로다른 세트와 상호작용한 이후에, 스테이지(STG2)에서 되돌아온 광선(RB)을 센싱하도록 배치되어서(이러한 비제한적인 예시에서 광선은 조절가능한 편향기(140 및 130) 모두와 상호작용한 이후), 조절가능한 편향기(140)가 이미 적절히 조절된다면, 센서(185)의 미리정한 공칭 위치로부터(가령, 센서의 중심으로부터) 되돌아온 광선(RB)의 입상 위치의 편차는 조절가능한 편향기(130)의 조절에 대해 요구되는 보정을 나타내고, 이하에 기술되는 바와 같이 편향기(130)를 재조절하기 위해, 서보 루프 회로(가령, 컨트롤러(180))에 의해 처리될 수 있다.
간결성을 위해, 그리고 일반성 결여 없이, 도 3a의 비제한적인 특정 예시는 도 1a를 참조하여 예시화되고 상기 기술된 바와 같이, 눈 프로젝션 시스템(101)과 함께 동작하도록 구성된 본 발명의 눈 추적 디바이스(105)를 도시한다는 점에 유의해야 한다. 좀 더 구체적으로, 이러한 비제한적인 예시에서, 추적 광 소스(162)로부터의 추적 광선(TB)은 빔 결합기(BC1)를 통해 광학 어셈블리(150)의 광학 경로(OP)에 광학적으로 결합되고, 이는 도 1a에 도시된 것과 유사하다. 반사된 빔(RB)은 그 광학 경로(OP)를 따라 되돌아오고, 특정 위치에서 광학 어셈블리의 광학 경로(OP)를 교차하도록 배치된 각각의 빔 스플리터/결합기(BC3 및 BC2)에 의해 광학 경로(OP)에서 센서(175 및 185)까지 지향된다. 따라서, 이러한 구체적인 예시에서, 광학 어셈블리(150)는 도 1a, 1d, 1e 및 1f를 참조하여 상기에서 논의된 바와 같이, 본 발명의 분리 특징을 실시하도록 구성된다. 다시 말해, 이에 따라, 빔 편향기(130)의 편향 파라미터가 전파 경로(PP)의 측방(X, Y) 위치를 제어하는 것으로부터 분리되고, 빔 편향기(140)의 편향 파라미터는 전파 경로(PP)의 각(피치, 요) 배향을 제어하는 것과 분리된다. 그러므로, 빔 편향기(130 및 140)는 이러한 특정하고 비제한적인 예시에서, 시선 방향 빔 편향기와 동공 위치 빔 편향기로서 배타적으로 구성되고 동작가능하며, 그래서, 다음과 같이 간단하게 언급된다. 이러한 예시에서, 광 센서(185)는, 반사된 광선이 빔 편향기(130)에 의해 편향된 이후에, 반사된 광선(RB)과 상호작용/센싱하도록 구성되고(빔 스플리터(BC2)의 적절한 배치를 사용함) 이에 따라 이러한 특정한 예시에서(빔 편향기(130)가 시선 방향 빔 편향기로서 배타적으로 기능함) 눈의 시선(LOS)으로부터 전파 경로(PP)의 각 편차를 나타내는 측정된 데이터를 제공한다. 그러므로, 간단하게, 광 센서(185)는 이하에서 시선 방향 센서(185)라고 한다. 광 센서(175)는, 본 예시에서, 반사된 광선이 빔 편향기(140)에 의해 편향된 이후 및 빔 편향기(130)와 상호작용하기 이전에, 반사된 광선(RB)과 상호작용/센싱하도록 구성된다(빔 스플리터(BC3)의 적절한 배치를 사용함). 따라서, 이러한 특정한 예시에서(빔 편향기(140)가 배타적으로 동공 위치 빔 편향기로 기능하는), 광 센서(175)는 눈(EYE)의 동공의 위치로부터 전파 경로(PP)의 측방 편차를 나타내는 측정된 데이터를 제공한다. 그러므로, 간단하게, 광 센서(175)는 이하에서 동공 위치 광 센서(175)라고 한다. 그러나, 간단하게 광 센서(185 및 175) 및 조절가능한 빔 편향기(130 및 140)가 이하에서 동공-위치 및 시선 센서/편향기라고 업근되고, 광학 어셈블리(150)의 다른 컨피규레이션이 사용되는 실시예에서, 동공-위치와 시선 방향 센서/편향기 간의 구별은 두 편향기와 두 광 센서가 동공-위치 및 시선-방향으로부터 전파 경로의 편차를 감지(영향/측정)될 수 있다는 것을 이해해야 한다. 예를 들어, 눈 추적 디바이스(105)가 도 1b 및 1c에 도시된 것과 같은 광학 어셈블리(150)에 광학적으로 결합되는 실시예에서, 편향기의 전부 또는 여러 편향 파라미터가 결합되어서 전파 경로(PP)의 여러 자유도에 영향을 미칠 수 있다(다시 말해, 편향기의 편향 파라미터와 전파 경로의 각 및 측방 방향 간에 일대일 대응이 존재하지 않을 수 있음). 그러므로, 일반적으로, 동공 위치 센서/편향기의 동작/컨피규레이션은 동공 위치에 대한 전파 경로(PP)에 영향/측정에 제한될 필요는 없고, 다만, 시선 방향에 대한 전파 경로(PP)에 영향/측정하는 기능을 한다는 점을 이해해야 한다. 또한, 일반적으로, 시선 방향 센서/편향기의 동작/컨피규레이션이 시선 방향에 대한 전파 경로(PP)에 영향/측정하는데 제한될 필요는 없ㄱ, 다만, 동공 위치에 대해 전파 경로(PP)에 영향/측정하는 기능을 한다는 점을 이해해야 한다.
시선 방향 센서는 반사된 광선(RB)의 파장에 센시티브한 복수의 광 검출기(가령, 몇개/4개의 광 검출기/픽셀)를 포함한다. 예를 들어, 시선 방향 센서(185)는 쿼드런트 IR 광 센서(가령,2 바이 2 컨피규레이션으로 조직화된 4개의 광 검출기를 포함하는 쿼드 센서) 및/또는 포지션 센싱 디바이스(PSD) 및/또는 타임 딜레이 인테그레이션 차지 커플드 디바이스(TDI-CCD) 및/또는 관심 영역(ROI) 선택 능력이 있는 상보적 금속-산화-반도체(CMOS)로 실시될 수 있다.
시선 방향 센서(185)는 광학 경로(OP)에 광학적으로 결합되고, 반사된 광선(RB)이 눈(EYE)으로부터 반사된 이후에 반사된 광선(RB)을 수집하고, 시선 방향 빔 편향기(130)와 상호작용하도록 배치된다. 도면에 도시된 바와 같이, 본 예시에서, 시선 방향 센서(185)는 빔 결합기(BC2)(가령, 이색성 거울로 실시됨)에 의해 광학 경로(OP)에 광학적으로 결합되는데, 이는 눈(EYE)으로부터 반사된 광선(RB)의 전파 방향에 대해, 시선 방향 빔 편향기(130)로부터 다운스트림에 위치된 광학 시스템의 일부이다. 따라서, 시선 방향 센서(185) 상에 반사된 광선(RB)의 프로젝션 위치(PL1)가 시선 방향 센서에 대해(또는 그 위에 어떤 기준 위치(RL1)에 대해) 중심에 있을 때, 광학 경로(OP)(및 이에 따라 시선 추적 광선(TB) 및 광선(LB)은 망막에 이미지를 프로젝트하도록 함)는 눈(EYE)의 시선(LOS)에 대해 어떤 미리정한/알려진 입사 각도로 눈(EYE)에 입사하였다(가령, 눈에 입사할 때, 광학 경로(OP)는 눈(EYE)의 시선(LOS)과 일치함). 반사된 광선(RB)의 프로젝션 위치(PL1)가 시선 방향 센서(185) 상의 중심/기준 위치(RL1)로부터 벗어날 때, 눈(EYE)과 광학 경로(OP)의 입사 각도가 미리정한/알려진 입사 각도로부터 벗어났다는 것을 나타낸다(가령, 광학 경로는 더 이상 시선(LOS)과 일치하지 않음).
이와 관련하여, 상기에 표시된 바와 같이, 반사된 광선(RB)의 전파의 정확한 방향은 눈(EYE)의 동공의 배향을 나타낸다(즉, 눈(EYE)의 시선 방향/시선(LOS)). 그러나, 본 실시예에서, 반사된 광선(RB)은 시선 방향 센서(185)에 입사하기 전에, 시선 방향 빔 편향기(130)와 상호작용하므로, 시선 방향 센서(185) 상의 중심/기준 위치(RL1)의 편차는, 광선(LB) 및/또는 (TB)이 눈(EYE)에 입사하도록 지향되는 광학 경로(OP)와 눈(EYE)의 시선(LOS) 간의 상대적 배향의 현재 경우를 실제로 구체적으로 나타낸다(가령, 시선(LOS)과 시선(LOS)에 평행한 두 개의 각각의 수직 평면 상의 광학 경로(OP)의 프로젝션 사이에 걸친 두 개의 각도를 나타냄)
본 실시예에서, 눈 추적 컨트롤러(164)는 시선 방향 센서(185)에 연결가능한 제1 서브-컨트롤러(180)(가령, 본 명세서에서 시선 방향 컨트롤러(180)라고 함)를 포함한다. 시선 방향 컨트롤러(180)는 시선 방향 센서(185)의 복수의 검출기로부터 리드아웃 정보/데이터(RD1)를 획득/수신하도록 구성된다. 눈 추적 컨트롤러(164) 및/또는 제1 서브-컨트롤러(180)는 디지털 프로세서 및/또는 아날로그 프로세싱 회로를 포함할 수 있고, 리드아웃 정보(RD1)를 처리하기 위해 구성되고 동작가능하여서(가령, 적절한 소프트웨어 코어 및/또는 하드웨어 컨피규레이션을 통해), 광선LB) 및/또는 (TB)이 눈(EYE)을 향해 지향되는 광학 전파 경로(OP)로부터 눈(EYE)의 시선 방향(시선(LOS))의 각 편차를 결정한다.
예를 들어, 시선 방향 컨트롤러(180)는 시선 방향 센서(185)의 개개의 검출기/픽셀에 의해 축적되는 값을 나타내는 리드아웃 정보/데이터(RD1)를 수신하도록 구성될 수 있고, 이러한 데이터를 처리하여, 시선 방향 센서(185)에 입사하는 반사된 광선(RB)의 중심을 나타내느 센서(185) 상의 공치 프로젝션 위치/픽셀(PL1)을 결정한다. 그리고 나서, 시선 방향 컨트롤러(180)는 공칭 위치/픽셀과 센서(185) 상의 기준 위치(RL1) 간의 분리를 나타내는 벡터 데이터를 결정할 수 있고, 이는 광학 경로(OP)와 시선(LOS)의 완벽한 정렬을 나타낸다. 그러므로, 벡터 데이터는 눈(EYE)에 입사하는 광학 경로(OP)의 배향과 눈(EYE)의 시선(LOS) 간의 각 편차를 나타낸다.
일부 실시예에서, 가령, 구체적으로, 눈 모니터링 모듈/디바이스(160)가 눈 프로젝션 시스템(100)의 일부인 경우에, 시선 방향 컨트롤러(180)는 시선 방향 빔 편향기(130)에 연결가능할 수도 있다. 이러한 실시예에서, 시선 방향 컨트롤러(180)는 벡터 데이터를 더욱 처리하도록 구성되고 동작가능하여서, 광학 경로(OP)와 시선(LOS) 사이의 각 편차를 보상하는데 필요한 시선 방향 빔 편향기(130)를 위해 요구되는 각 위치를 결정하고, 이에 따라 시선 방향 빔 편향기(130)를 동작시키기 위해 적절한 동작적 명령어 또는 제어 신호를 생성한다.
예를 들어, 본 발명의 어떤 실시예에서, 시선 방향 센서(185)는 4개의 IR 광 검출기(4개의 광 센시티브 픽셀)를 포함하는 쿼드(쿼드런트) 센서에 의해 실시된다. 시선 방향 컨트롤러(180)는 쿼드 센서(185)에 연결가능하고, 쿼드센서(185)의 중심 위치(RL1)로부터 반사된 광선(RB)의 편차를 최소로하기 위해, 시선 방향 빔 편향기(130)를 동작시키기 위해 구성되고 동작가능하다. 이는, 시선(LOS)에 대해 실질적으로 고정된 배향을 가진 광학 경로(OP)를 유지하여서, 사용자가 그의 게이즈를 시프트하더라도, 광선(LB)에 의해 망막에 프로젝트된 이미지가 망막에 실질적으로 고정된 위치에 유지되도록 한다.
일부 변형예에서, 시선 방향 컨트롤러(180)는, 편차가 어떤 미리정한 스레숄드(떨림 스레숄드)를 초과하여서 편차가 미리정한 스레숄드(가령, 그러나 반드시 무효로될 필요는 없음) 이하의 레벨에 유지되는 경우에만, 중심/기준 위치(RL1)로부터 반사된 광선(RB)의 편차를 최소로하기 위해 시선 방향 빔 편향기(130)를 작동시키도록 구성된다. 예를 들어, 시선 방향 컨트롤러(180)는 리드아웃 데이터(RD1)를 처리(가령, 상기 표시된 벡터 데이터를 처리)하고, 시선 방향의 각 편차가 눈의 떨림 움직임과 관련되는 경우를 필터링 아웃하도록 구성된 떨림 필터레이션 모듈(181)을 포함할 수 있다. 용어 떨림 및 떨림-움직임은 본 명세서에서 마이크로-새카드 움직임을 나타내고, 이는 약 마이크로-디그리(degree) 및 거의 일 디그리까지의 각 새크다 움직임이라는 점을 이해해야 한다.
일부 실시예에서, 떨림 필터레이션 모듈(181)은 관련된 미리정한 떨림 편차 스레숄드(가령, 저장함에 의해)를 사용한다. 떨림 필터레이션 모듈(181)은 리드아웃 데이터(RD1)(가령, 벡터 데이터)를 처리하도록 구성되고 동작가능하여서, 눈의 시선 방향(LOS)과 광학 경로(OP) 간의 각 편차를 연속적으로 모니터링하고, 다음과 같이 작동한다. 모니터링된 각 편차가 떨림 편차 스레숄드보다 낮은 경우에, 떨림 필터레이션 모듈(181)은 소위 개방된 서보 루프에서 동작하고, 이는 시선 방향 빔 편향기(130)를 작동시키지 않아서 떨림 움직임과 관련된 편차에 대해 보상하지 않는다. 모니터링된 각 편차가 떨림 편차 스레숄드를 초과하는 경우에, 떨림 필터레이션 모듈(181)은 소위 폐쇄된 서보 루프에서 동작하고, 적절한 동작적 명령어/신호가 방향 빔 편향기(130)의 작동기/서보로 통신하여서, 센서(185) 상의 중심/기준 위치(RL1)으로부터 반사된 광선(RB)의 편차를 최소로 하기 위해 그것을 작동시킨다.
이에 따라, 떨림 필터레이션 모듈(181)은 눈의 자연스런(자동화) 떨림 모션과 관련되지 않은 시선의 변화를 보상하지만, 눈(EYE)의 자연스러운 떨림 움직임과 관련된 시선 편차를 보상하지 않는다. 이는, 망막상의 이미징 위치가 눈의 자연스러운 떨림 노션의 결과로 시프트됨에 따라, 망막에 프로젝트되는 이미지의 인지의 품질을 눈(EYE)에 의해 캡쳐된 자연스러운 이미지로 개선된다.
일부 실시예에서, 눈 모니터링 모듈(160)은 동공 위치 센서(175)인 광 센서(175)도 포함한다. 동공 위치 센서(175)는 추적/반사 광선(TB) 및/또는 (RB)의 파장에 센시티브한 복수의 광 검출기를 포함한다. 예를 들어, 광 센서(175)는 2 바이 2 컨피규레이션으로 조직화된 여러개/4개의 광 검출기/픽셀을 포함하는 쿼드런트 IR 광 센서 및/또는 포지션 센싱 디바이스(PSD) 및/또는 타임 딜레이 인테그레이션 차지 커플드 디바이스(TDI-CCD) 및/또는 관심 영역(ROI) 선택 능력이 있는 상보적 금속-산화-반도체(CMOS)를 포함할 수 있다.
동공 위치 센서(175)는 가령, 광학 경로의 스테이지(STG1)에서 광학 경로(0P)에 가령 광학적으로 결합되고, 그것이 눈(EYE)으로부터 광학 경로(OP)로 반사되고 동공 위치 지향 빔 편향기(130)와 상호작용한 이후에 반사된 광선(RB)을 수집하도록 배치된다. 도면에 도시된 바와 같이, 본 예시에서, 시선 방향 센서(185)는 빔 결합기(BC3)에 의해 광학 경로(OP)에 광학적으로 결합되고(가령, 이색성 거울로 실시됨), 이는 눈(EYE)으로부터 반사된 광선(RB)의 전파 방향에 대해 동공 위치 빔 편향기(130)로부터 다운스트림에 광학 경로(OP)를 따라 스테이지(STG2)에 위치된다. 따라서, 동공 위치 센서(175)에서 반사된 광선(RB)의 프로젝션(PL2)은 동공 위치 센서(175)에 대해(또는 그 위의 중심 기준 위치(RL2)에 대해) 중심화될 때, 광학 경로(OP)는 눈(EYE)을 향해 적절한 측방 정렬에 도달한다는 것을 나타낸다(그리고 따라서 추적 광선(TB) 및또는 이미지 프로젝션 광선(LB)은 눈의 위치로 지향됨). 반사된 광선(RB)의 프로젝션 위치(PL2)가 중심/기준 위치(RL2)로부터 벗어난 경우에, 광학 경로(OP)는 눈/동공(EYE)의 위치와 일치하지 않고, 눈과 만나기 위해 측방으로 시프트되어야 한다는 것을 나타낸다.
일부 실시예에서, 눈 모니터링 모듈(160) 및/또는 눈 추적 컨트롤러(164)는 동공 위치 센서(175) 및 동공 위치 빔 편향기(140)에 연결가능한 제2 서브컨트롤러(170)(가령, 이하에서 간단히 동공 위치 컨트롤러(170)라고 함)를 포함한다. 동공 위치 컨트롤러(170)는 동공 위치 센서(175)의 복수의 검출기로부터 리드아웃 정보/데이터(RD2)를 획득/수신하도록 구성된다. 눈 추적 컨트롤러(164) 및/또는 제2 서브-컨트롤러(170)는 디지털 프로세서 및/또는 아날로그 프로세싱 회로를 포함할 수 있고, 리드아웃 정보(RD2)를 처리하도록 구성되고 동작가능하여(가령, 적절한 소프트웨어 코어 및/또는 하드웨어 컨피규레이션을 통해), 광선(LB 및/또는 TB)이 눈(EYE)을 향해 지향되는 광학 전파 경로(OP)와 눈/동공(EYE)의 중심 간의 측방 편차(가령, 수직 및/또는 수평 거리)를 결정할 수 있다.
예를 들어, 동공 위치 컨트롤러(170)는 동공 위치 센서(175)의 개개의 검출기/픽셀에 의해 축적된 값을 나타내는 리드아웃 정보(데이터/신호)(RD2)를 수신하고, 이러한 데이터를 처리하여, 동공 위치 센서(185) 상의 입사 반사된 광선(RB)의 프로젝션 위치(PL2)의 중심을 나타내는 센서(175) 상의 공칭 프로젝션 위치/픽셀(PL2)을 결정하도록 구성될 수 있다. 그리고 나서, 시선 방향 컨트롤러(180)는 프로젝션 위치/픽셀(PL1)과 센서(185) 상의 기준 위치(RL1) 간의 분리를 나타내느 제2 벡터 데이터를 결정할 수 있는데, 이는 광학 경로(OP)와 눈(EYE)의 완벽한 측방 정렬을 나타낸다.
일부 실시예에서, 동공 위치 컨트롤러(170)는 동공 위치 빔 편향기(140)에도 연결가능할 수 있다. 동공 위치 컨트롤러(180)는 제2 벡터 데이터를 처리하도록 구성되고 동작가능하여서, 광학 경로(OP)와 눈/동공(EYE)의 중심의 위치 간의 측방 편차를 보상할 필요가 있는지를 결정하고, 있다면, 이러한 측방 편차를 보상하기 위해 동공 위치 빔 편향기(175)을 작동시키기 위한 적절한 동작적 명령어 또는 제어 신호를 생성한다.
도 3b는 눈의 시선(게이즈) 및 위치 또는 다른 광학 시스템을 모니터링하는 방법(300)의 순서도이다. 본 발명의 일부 실시예에서, 도 3a에 도시된 눈 추적 디바이스(105) 및/또는 눈 모니터링 모듈(160)은 이하 기술된 방법(300)의 동작을 실시하기 위해 구성되고 동작가능하다.
방법(300)은 광학 시스템(가령, 150)의 광학 경로에 배치된 제1 및 제2 빔 편향기(가령, 도 3a 및 1b에 도시된 시선 방향 빔 편향기(130) 및 동공 위치 빔 편향기(140))를 제공하는 단계(310 및 320)(가령, 상기 기술된 단계(210 및 220)과 유사함)를 선택적으로 포함한다. 제1 및 제2 빔 편향기(가령, 130 및 140)의 편향 상태/각도는 출구 동공/포트(EP)로부터 출력되는 추적 광선(TB)의 배향 및 측방 위치의 조절과 각각 관련된다.
또한, 방법(300)은 단계(330 및 340)를 선택적으로 포함한다. 출구 동공/포트 를 통해 나오고 광학 경로(OP)를 통해 전파되는 반사된 광(RB)을 센싱하기 위해 각각 배치된 제1 및 제2 광 센서가 330 및 340에서 제공된다. 제1 및 제2 광 센서의 각각은 복수의 광 검출기를 포함한다. 제1 광 센서(가령, 도 3의 시선 방향 센서(185))는 광학 시스템의 광학 경로(OP)를 따라 위치되고, 반사된 광선(RB)이 제1 빔 편향기와(가령, 130과) 상호작용한 이후에, 그것이 출구 동공으로부터 나온 반사된 광(RB)을 센싱할 수 있도록 배치된다. 제2 광 센서(가령, 도 3a의 동공 위치 센서(1785))는 광학 시스템의 광학 경로(OP)를 따라 위치되고, 반사된 광선(RB)이 제2 빔 편향기와(가령, 140과) 상호작용한 이후에, 그것이 출구 동공으로부터 나온 반사된 광(RB)을 센싱할 수 있도록 배치된다. 따라서, 상기에 나타난 바와 같이, 제1 센서 상의 어떤 기준 위치(RL1)로부터 제1 광 센서(185) 상의 반사된 광(RB)의 공칭 프로젝션 위치(PL1) 간의 델타/시프트는 빔 추적 빔(RB)의 배향에 요구되는 보상을 나타낸다(가령, 시선(LOS)의 배향으로부터 추적 빔의 배향의 편차를 줄이기 위해, 제1 편향기의 편향 상태가 수정되기 위해 요구되는 수정이나 최소의 방향을 나타냄). 동일한 방법으로, 제2 센서 상의 어떤 기준 위치(RL2)로부터 제2 광 센서(185) 상의 반사된 광(RB)의 공칭 프로젝션 위치(PL2) 간의 델타/시프트는 추적 빔(RB)이 출구 동공(EP)을 나가는 측방 위치의 요구되는 보상을 나타낸다(가령, 시선(LOS)의 측방 위치로부터 추적 빔의 측방 위치의 편차를 줄이기 위해, 제2 편향기의 편향 상태가 수정되기 위해 요구되는 수정이나 최소의 방향을 나타냄).
선택적인 작업(350)은 광학 시스템(가령, 150)을 통해 추적 광선(TB)을 지향시키는 것을 포함한다. 상기 나타난 바와 같이, 추적 광선은 적외선 광일 수 있다.
작업(360)에서, 리드아웃 데이터(RD1)는 제1 센서(185)로부터 획득된다. 리드아웃 데이터/신호(RD1)는 제1 센서(185) 상의 빔(RB)의 프로젝션 위치(PL1)를 나타낸다. 작업(370)은 눈의 시선 방향/시선(LOS)의 변동에 대한 보상을 위해(가령, 눈의 떨림 모션과 관련되지 않은 변동을 보상/줄이기 위해) 적어도 제1 빔 편향기를 작동시키는 것을 포함한다. 예를 들어, 컨트롤러(164)는 모듈/회로(동공 위치 컨트롤러)(180)를 포함할 수 있는데, 본 발명의 어떤 실시예에 따르면, 도 3c의 순서도에 예시화된 방법(307)에 따른 적어도 제1 빔 편향기를 작동시킨다.
도 3c에 도시된 바와 같이, 방법(307)은 눈의 시선 방향의 변동을 보상하기 위한 시선 방향 빔 편향기(130)를 조절하는 시선 방향 서보-루프 작업(440)을 적어도 포함한다. 서보-루프 작엄(440)은 두 개의 서브작업을 포함하는데, 이는,
442 - 제1 센서(시선 방향 센서, 185)의 픽셀로부터의 리드아웃 데이터/신호가 처리되어서 제1 센서(185) 상의 되돌아온 광선(RB)의 상대적 공칭 프로젝션 위치(PL1)를 추정하고, 및
444 - 눈으로부터 반사된 반사된 광선(RB)의 전파의 광학 경로/축(OP)과 눈(EYE)의 시선(LOS) 간의 각 편차를 줄이기 위해, 시선 방향 빔 편향기의 편향 각도/상태는 공칭 프로젝션 위치(PL1)에 따라 조절된다.
작업(442 및 444)은 고주파수(가령, 약 10-3 초 미만이고, 가능하면 10-4 초) 또는 인간 눈의 "센싱/인지 주파수"(인지 시간) 보다 더 높은 주파수를 가진 루프에서 반복되어서, 사용자가 그의 시선을 변경할 때, 그는 그의 눈에 프로젝트되는 이미지에서 어떠한 깜빡임을 알지 못할 것이다(가령, 그는 어떠한 전위, 스미어 및/또는 클리핑을 알지 못할 것임). 이를 위해, 작업(442 및 444)은 아날로그 회로 및/또는 디지털 프로세싱 유닛에 의해 실시될 수 있다. 예를 들어, 시선 방향 센서는 4개의 회로적으로 배치된 픽셀(Q1-Q4)를 포함하는 쿼드런트검출기를 포함할 수 있다. 컨트롤러 회로/프로세싱-유닛(180)은 두 개의 미분기를 포함할 수 있는데, 픽셀들로부터의 전압 신호들의 합산(Q1+Q2) 마이너스 픽셀들의 신호의 합산(Q3+Q4)을 미분하는 첫번째 것과, 픽셀들로부터의 전압 신호들의 합산(Q2+Q3) 마이너스 픽셀들의 신호의 합산(Q4+Q1)을 미분하는 두번째 것이다. 제1 미분기의 출력 신호/데이터는 센서(185) 상의 중심 위치로부터 되돌아온 빔(RB)의 프로젝션 위치(PL1)의 편차를 나타낸다(본 예시에서는 기준 위치(RL1)). 제1 미분기의 출력 신호/데이터는 시선 방향 빔 편향기(130)의 위-아래의 각 위치/상태를 제어하는 서보 작동기에 연결/제공될 수 있어서, 시선 방향(LOS)에 따라 추적 빔(TB)의 위-아래 배향을 조절한다. 마찬가지로, 제2 미분기의 출력 신호/데이터는 시선 방향 빔 편향기(130)의 좌-우의 각 위치/상태를 제어하는 서보 작동기에 연결/제공될 수 있어서, 시선 방향(LOS)에 따라 추적 빔(TB)의 좌-우 배향을 조절한다. 데이터/신호의 오직 몇몇 연산과 관련될 수 있는 이러한 처리는 사용자가 알 수 없는 응답 시간을 제공하기에 충분할 만큼 매우 바르게 수행될 수 있다. 움직임의 스케일은 센서, q1 + q2 + q3 + q4에 모든 에너지의 전체 합산에 의해 정의되어서, 그것의 레졸루션은 센서에 도달하는 에너지의 양과 비례한다.
상기에 나타난 바와 같이, 작업(370)은, 눈의 떨림 모션과 관련되지 않은 눈의 시선 방향/시선(LOS)에서의 변동만 보상/감소되도록 구성될 수 있다. 이를 위해, 본 방법(307)은 떨림 필터레이션을 실제로 실행하는 선택적인 작업(410 내지 434)도 포함할 수 있다. 작업(410 및 420)에서, 광 센서(185)로부터의 리드아웃 데이터/신호(RD1)가 획득되고, 처리되어서, 센서(185)상의 기준 위치(RL1)로부터 되돌아온 광선(RB)의 프로젝션 위치(PL1)의 편차의 크기와 방향을 나타내는 벡터 데이터를 결정/추정할 수 있다. 기술 분야의 당업자는, 센서(185) 상의 광 검출기/픽셀의 수와 배열을 고려하면, 이러한 벡터 데이터를 추정하기 위해 적절한 여러 테크닉이 있다는 것을 용이하게 인식할 것이다. 그리고 나서, 작업(430)은 기준 위치(RL1)로부터 되돌아온 광선(RB)의 프로젝션 위치(PL1)의 편차가 눈(EYE)의 떨림 움직임과 관련된 작은 편차인지 또는 시선 방향의 변화로 처리되어야 할 충분히 큰 편차인지를 결정/추정하는 것을 수행한다. 편차가 작은(그것은 단지 떨림 움직임) 경우에, 작업(434)은 시선 방향 빔 편향기(130)의 서보 루프를 개방하기 위해 수행된다(가령, 서보-루프 작업(440)의 실행을 정지). 편차가 단지 떨림이 아니라 시선 방향의 변경으로 간주될만큼 충분히 큰 경우, 작업(432)은 서보-루프 작업(440)의 실행과 관련되어 시선 방향의 서보 루프를 "폐쇄"하기 위해 수행된다. 이러한 방버으로, 민첩한 시선 방향 보상이 약 10-3 초 심지어 약 10-4 초 이하의 응답 시간으로 달성되는 반면, 단순한 떨림 모션에 대한 보상도 피한다.
일부 실시예에서, 광 센서(185)로부터의 리드아웃 데이터/신호(RD1)는 이차 속도 및/또는 가속도 서보 루프도 통과한다. 속도 및/또는 가속도 서보 루프는 신호(RD1)의 1st/2nd 차 미분에 의해 수행될 수 있어서, 동공의 모션의 속도 및/또는 가속도 특성을 추정할 수 있다. 이들 실시예에서, 속도 및/또는 가속도 특성은, 속도 및/또는 가속도 및/또는 둘 다가 어떤 각각의 스레숄드를 언제 초과(위로 발생)하는지를 식별함에 의해 이전 스테이지에서 새카드 모션을 식별/검출하는데 사용된다. 이는 더 우수한 추정과 새카드 모션의 이른 검출을 가능하게 한다.
도 3b로 되돌아오면, 방법(300)의 작업(380)에서, 리드아웃 데이터(RD2)는 제2 센서(175)로부터 획득된다. 리드아웃 데이터/신호(RD2)는 제2 센서(175)상의 되돌아온 빔(RB)의 프로젝션 위치(PL2)를 나타낸다. 작업(290)에서, 컨트롤러(164) 및/또는 서로다른 작업자는 눈과 광학 시스템(150) 간의 상대적 위치에서의 변도응ㄹ 보상하기 위해 적어도 제2 빔 편향기를 작동시킨다(가령, 눈(EYE)의 시선에 대한 추적 빔(TB)의 전파 축의 측방 위치간의 변동/불일치를 보상/보정). 예를 들어, 컨트롤러(164)는, 본 발명의 어떤 실시예에 따라 도 3d의 순서도에 도시된 방법(308)에 따라 적어도 제2 빔 편향기를 작동시키는 프로세싱 유닛(모듈/회로, 170)를 포함할 수 있다.
도 3c에 도시된 바와 같이, 방법(308)은 눈의 시선 방향의 변동을 보상하기 위해 추적 광선(TB)(또는 광학 경로(OP)를 따라 전파하고 출구 동공(EP)로 나가는 임의의 다른 광선)의 측방 출력 위치를 조절하는 측방/동공 위치 서보-루프 작업(450)을 적어도 포함한다. 측방/동공 위치 서버-루프 작업(450)은 두 개의 주요 서브작업(452 및 454)을 포함하는데, 이는,
452 - 제2 센서(동공 위치 지향 센서)의 픽셀로부터의 리드아웃 데이터/신호(RD2)는 처리되어서, 제2 센서(175)상의 되돌아온 광선(RB)의 상대적 공칭 프로젝션 위치(PL2)를 추정하고,
454 - 눈으로부터 반사된 반사도니 광선(RB)의 전파의 광학 경로/축(OP)ㄱ과 (EYE)의 시선(LOS)의 측방 축 간의 측방 편차를 줄이기 위해, 편향 각도/상태 동공 위치 빔 편향기(140)는 공칭 프로젝션 위치(PL1)에 따라 조절된다.
작업(452 및 454)은 디지털 프로세싱 유닛에 의해, 및/또는 적절한 전기 프로세싱 회로 구성에 의해 실시될 수 있거나, 컨트롤러(164)의 동공 위치 컨트롤러(170)에 포함될 수 있다. 작업(452 및 454)은 루프에서 수행될 수 있고, 약 10-3 초 또는 심지어 그 이하(가령, 약 10-4 초)의 응답 시간으로 출구 동공(EP)에 대한 눈의 위치의 변화에 빠르고/민첩한 응답을 제공할 수 있다.
이를 위해, 방법(300)은 광학 시스템(150)의 광학 경로(OP)에 대한 눈/동공의 각 및 측방 움직임에 대한 추적과 보상하기 위한 테크닉을 제공한다.
본 발명의 일부 실시예에서, 추적 광 소스(162)는 어떤 변조 패턴(가령, 어떤 반복율을 가진 펄스의 시퀀스와 같은 세기 변조 패턴)을 가진 변조된 빔으로 눈 추적 광선(TB)을 발산하도록 동작가능하다. 상기 나타난 바와 같이, 추적 광 소스(162)는 IR 광(가령, IR 레이저/다이오드)의 소스 및 소스로부터 광(TB)을 벼조하도록 구성된 변조 유닛/모듈을 포함할 수 있다. 변조 유닛/모듈은 가령, 펄스/변조된-세기에서 광 소스를 작동시키도록 구성된 작동 제어 회로 및/또는 광 소스로부터의 광선(TB)의 광학 경로에 위치된 광 변조기를 포함할 수 있다. 도 3e는 눈 추적 광선(TB)이 변조된 빔인 경우에, 눈의 위치 및/또는 시선을 모니터링/추적하는데 사용되는 본 발명의 서보 루프의 순서도를 자체 설명 방빅으로 예시화하였다. 선택적으로, 눈 모니터링 모듈(160)은, 이러한 파장 밴드 외부인 노이즈/클러터를 필터링하기 위해, 추적 광선(TR)의 특정 파장/밴드만 통과하도록 조절/구성된 밴드패스 필터를 포함한다. 선택적으로, 눈 모니털이 모듈(160)은 시선 방향 컨트롤러(180) 및/또는 동공 위치 컨트롤러(170)과 각각 관련된 위상 고정 모듈(182 및/또는 172)을 포함한다. 선택적인 위상 고정 모듈(182)은 추적 광선(TB)의 변조 패턴을 나타내는 변조 데이터/신호를 획득하고, 변조 데이터/신호를 사용하여, 추적 광선(TB)의 변조 패턴으로 시선 방향 센서(185)로부터 리드아웃 정보(RD1)를 처리/위상-고정하여, 시선 방향 센서(180)에 의해 리드아웃 정보(RD1)로부터, 센싱된 잡음/배경과 관련된 데이터/신호를 필터링하도록 구성되고 동작가능하다. 좀 더 구체적으로, 위상 고정 모듈(182)은, 시선 방향 센서(185)에 의해 센싱된 반사된/되돌아온 광선의 소스인 추적 광선(TB)의 변조 패턴과 유사한 변조 패턴으로 변조되지 않은, 리드아웃 정보로부터 데이터/신호를 억제하기 위해 리드아웃 정보(RD1)를 필터링한다. 유사한 방식으로, 선택적인 위상 고정 모듈(172)은 추적 광선(TB)의 변조 패턴을 나타내는 변조 데이터/신호를 획득하고, 변조 데이터/신호를 사용하여, 추적 광선(TB)의 변조 패턴으로 동공 위치 센서(175)로부터의 리드아웃 정보(RD2)를 처리/고정-위상하도록 구성되고 동작가능하다. 이에 따라, 위상 고정 모듈(172)은 리드아웃 정보(RD2)를 필터링하고, 동공 위치 센서(175)에 의해 센싱된 잡음/배경 클러터와 관련된 데이터/신호를 리드아웃 정보로부터 억제한다. 좀 더 구체적으로, 위상 고정 모듈(172)은 리드아웃 정보(RD1)를 필터링하여, 추적 광선(TB)의 변조 패턴과 유사한 변조 패턴으로 변조되지 않은 데이터/신호를 억제한다.
이는 추적 광선(TB)의 파장에서 배경 클러터에 덜 민감하거나 둔감한 강건한 컨피규레이션을 생산한다.
그러므로, 본 발명은 눈에 대해 적절한 각 배향을 가지고, 사용자의 적어도 하나의 눈(EYE)의 위치를 향해, 이미지 프로젝션(LB)과 같은 광선을 지향할 수 있는 눈 프로젝션 디바이스(100)를 제공하여서, 이미지가 눈(EYE)의 망막에 원하는 위치에 프로젝트될 수 있도록 한다. 어떤 실시예에서, 눈 프로젝션 디바이스(100)는 눈(EYE)의 위치 및/또는 눈(EYE)의 시선(LOS)의 배향의 변화를 모니터링하고, 눈(EYE)의 위치와 배향을 추적하기 위해 광선(가령, LB)을 편향시키도록 구성되고 동작가능하여, 사용자가 그의 시선 방향을 변경하거나 눈 프로젝션 디바이스의 위치가 눈(EYE)에 대해 시프트되더라도, 눈 망막에 고정 위치에 이미지가 프로젝트될 수 있도록 한다.
도 4는 이미지를 사용자의 두 눈(EYE 및 EYE')으로 프로젝트하기 위한, 눈 프로젝션 시스템(101 및 101')을 포함하는 눈 프로젝션 디바이스(100)의 블록도이다. 눈 프로젝션 시스템(101 및 101')은 가령, 도 3a를 참조하여 상기 기술된 눈 프로젝션 시스템과 유사하게 구성될 수 있다. 따라서, 도 3a에서 사용되는 동일한 참조 번호는 도 4의 눈 프로젝션 시스템(101) 내의 유사한 요소/모듈을 언급하는데 이하에서 사용되고, " ' "을 추가한 유사한 참조 번호는 도 4의 눈 프로젝션 시스템(101')의 요소/모듈을 언급하는데 사용된다.
디바이스(100)는 렌즈(102 및 102')를 포함하는 가상 및/또는 증강된 현실 안경(GS)에 구비된다. 안경(GS)의 핸들과 코 받침대는 간단히 도면에 도시된다. 눈 프로젝션 시스템(101 및 101')은 추적 광선(TB 및 TB')을 각각 프로젝트하는데, 상기 추적 광선은 대응되는 렌즈(102 및 102') 상의 반사 표면으로부터의 반사를 통해, 사용자 눈(EYE 및 EYE')에 각각 도달하도록 지향된다. 눈(EYE 및 EYE')으로부터 다시 반사된 되돌아온 광선(RB 및 RB')은 눈 프로젝션 시스템(101 및 101') 내의 센서에 의해 각각 캡쳐되고, 처리되어서, 눈의 위치와 시선 방향을 결정하고, 이에 따라 눈 프로젝션 시스템(101 및 101')의 광학 전파 경로를 조절한다. 눈 프로젝션 시스템(101 및 101')은 또한 눈 프로젝션 시스템(101 및 101')의 조절된 광학 경로를 따라 전파되는 이미지 프로젝션 광선(LB 및 LB')을 각각 프로젝트하는데, 이에 따라, 눈(EYE 및 EYE')의 망막에 고정된 위치에 이들 각각의 이미지를 프로젝트하기 위해 각각 조준된다.
이러한 예시에서, 공통 동공 위치 컨트롤러(170)는 두 눈 프로젝션 시스템(101 및 101')에 사용된다. 이러한 공통 동공 위치 컨트롤러(170)는 제1 눈 프로젝션 시스템(101)의 제1 동공 위치 센서(175) 및 제1 눈 프로젝션 시스템(101')의 제2 동공 위치 센서(175')에 연결가능하다. 동공 위치 컨트롤러(170)는 두 동공 위치 센서(175 및 175')로부터 리드아웃 데이터(RD2 및 RD2')를 수신하고 처리하여(가령, 방법(308)을 참조하여 상기 기술된 바와 같이), 두 눈(EYE 및 EYE')의 동공 위치의 시프트를 결정하도록 구성된다. 그리고 나서, 동공 위치 컨트롤러(170)는 사용자 두 눈의 동공 위치의 "공통 모드" 시프트를 검출하여서, 눈 움직임과 관련된 시프트와 눈에 대한 눈 프로젝션 디바이스의 움직임과 관련된 시프트를 구별시킨다. 이러한 구별은 가령, 프로ㅈ게션 시스템의 축 및 측방 시프트에 따라 각각, 프로젝트된 이미지의 위치를 재스케일링하고 조절함에 의해, 프로젝션 시스템의 시프트에 대한 보상을 제공한다.
도 5a 및 5b는, 본 발명의 테크닉이 다양한 응용예에서 사용하기에 적절한 헤드 마운트 디스플레이(HMD)에 어떻게 통합될 수 있는지를 자체 설명 방식으로 나타내는 두 개의 설명적 예시이다.
도 5a는 통합된 눈 추적기를 가진 HDM을 착용한 사용자를 나타낸다. 전체 시스템은 헤드 웨어러블 모듈의 일부이거나 광학 모듈에 연결되는 별도의 모듈의 일부일 수 있는 웨어러블 광학 모듈과 컨트롤 유닛을 포함한다. 연결은 테더링이나 무선일 수 있다. 광학 모듈은 디바이스 자체의 기준점에 대해 개별적으로 각각의 눈의 위치와 각도를 추적하는 눈 추적 모듈을 가진다. 사용자의 눈의 이러한 정확한 측정은 상기 기술된 바와 같이 광학 모듈을 참조하여 시선 방향으로 정의된다. 적어도 하나의 카메라 및 하나의 관성 측정 유닛이 그 환경에서 광학 모듈의 위치를 결정하는데 사용된다. 이러한 측정은 사용자 헤드 로컬리제이션으로 정의되고, 대개 카메라의 어레이 및 관성 측정 유닛과 같은 추가 센서로 수행되며, 특징 추적이나 추가적인 전용 마커 추적에 의존한다. 환경(로컬리제이션) 내의 디바이스 위치와 사용자 시선 파라미터의 연결은, 환경에 대해 정확한 눈 추적 평가를 가능하게 한다. 두 눈으로부터의 정보의 중첩은 사용자가 보는 방향에 대한 정보뿐만 아니라 거리에 대한 정보도 제공한다. 이는 HMD 시스템에 의해 겹쳐진 콘텐트의 좀 더 정확한 증명을 가능하게 한다.
도 5b는 물체, 이 경우 차를 관측하는 사용자를 도시한다. 사용 중인 시스템은 상기 기술된 동일한 HMD 시스템이나, 실제 물체와 중첩된 사용자에 대해 이미지를 프로젝트하도록 구성된다. 사용자는 자동차의 앞바퀴와 뒷바퀴를 순차적으로 보고 있다. 눈 추적 시스템은 사용자 시선의 방향과 위치를 결정한다. 시스템은 가상 시야(VFOV)가 사용자의 시선 방향의 중심이 되는 방식으로 구성된다. 그러므로, 사용자가 그의 시선을 시프트하는 동안, 가상 이미지는 이와 함께 움직인다. 사용자의 시선의 중심에 있는 가상 콘텐트가 실제 세상 환경에 대한 가상 계층을 제공하는 - 시선 방향에 주로 강한 연결 또는 고정된 세상과 가상 오버레이를 제공하는 - 자기 중심적일 수 있다는 것을 유의하는 것이 중요하다. 이는 로컬리제이션 기능뿐만 아니라 세상 맵핑(SLAM)을 요구한다. 제시된 이미지에서, 로컬리제이션과 맵핑 특징이 가능하며, 가상 오버레이 정보('앞바퀴', '뒷바퀴')는 시선 반향과 사용자가 특정 시간에 보는 물체에 대해 사용자에게 제시된다.
Claims (43)
- 전파 경로를 따라 전파하기 위해 광선을 눈으로 프로젝트하도록 구성된 눈 프로젝션 시스템을 포함하는 눈 프로젝션 디바이스에 있어서, 상기 눈 프로젝션 시스템은,
광학 어셈블리 내의 광의 일반 광학 경로를 형성시키는 상기 광학 어셈블리 - 광학 어셈블리는 상기 일반 광학 경로를 따라 배치되고, 광학 어셈블리에서 눈까지의 광선의 조절가능한 전파 경로를 형성시키도록 구성된 하나 이상의 조절가능한 광학 편향기를 포함함 - 를 포함하고,
상기 하나 이상의 광학 편향기는 상기 전파 경로의 편향에 영향을 주는 적어도 3개의 조절가능한 편향 파라미터로 구성되어서, 상기 눈을 향하여 상기 광선의 전파 경로를 조절하는데 적어도 3개의 자유도를 제공하며,
상기 적어도 3개의 자유도 중 2개는 눈의 시선 방향에서의 각 변화를 보상하기 위한 눈으로의 전파 경로의 2개의 각 배향과 관련되고, 상기 적어도 3개의 자유도 중 적어도 하나는 눈에 대해 상기 프로젝션 시스템의 상대적 측방 위치의 변동을 보상하기 위한 전파 경로의 측방 편향과 관련되는, 눈 프로젝션 디바이스. - 제 1 항에 있어서, 상기 편향 장치는 광학 어셈블리로 들어가서 상기 일반 광학 경로와 연속적으로 상호작용하도록 배치된 적어도 2개의 조절가능한 편향기를 포함하는, 눈 프로젝션 디바이스.
- 제 1 항 또는 제 2 항에 있어서, 상기 하나 이상의 조절가능한 광학 편향기는 적어도 하나의 추가적인 편향 파라미터를 가져서, 적어도 4개의 편향 파라미터를 형성하여 상기 전파 경로의 적어도 4개의 자유도를 제공하는데, 상기 4개의 자유도는 눈의 시선 방향의 각 변화에 대해 보상하기 위해 제공된 상기 2개의 자유도와 적어도 2개의 공간 측방 축에 대해 눈에 대한 상기 프로젝션 시스템의 상대적 측방 위치의 변동에 대해 보상하기 위해 제공된 상기 2개의 자유도를 포함하는, 눈 프로젝션 디바이스.
- 제 1 항 또는 제 2 항에 있어서, 눈의 상기 시선 방향의 변화 및 눈에 대한 눈 프로젝션 시스템의 상대적 측방 위치의 변화를 나타내는 데이터를 수신하고, 눈의 상기 시선 방향의 변동과 눈 프로젝션 시스템의 상기 위치의 변동과 무관하게, 상기 눈의 망막의 특정 위치에 입사될 상기 광선을 지향하기 위해, 상기 데이터에 따라 상기 하나 이상의 조절가능한 광학 편향기의 편향 파라미터를 조절하도록 구성된 컨트롤러를 더 포함하는, 눈 프로젝션 디바이스.
- 제 1 항 또는 제 2 항에 있어서, 상기 눈의 망막에 직접 이미지를 프로젝트하도록 구성되고, 눈의 막막에 이미지를 프로젝트하기 위한 이미지 프로젝션 모듈을 포함하는 눈 프로젝션 시스템은, 망막 상에 프로젝트될 상기 광선을 출력하도록 구성된 광 모듈 및 상기 광선의 일반 광학 경로를 따라 배치되고, 상기 이미지의 하나 이상의 픽셀을 나타내는 이미지 데이터를 수신하고, 상기 광선을 변조하여 광선에 상기 이미지 데이터를 인코딩하여 상기 이미지가 망막 상에 형성되도록 구성된, 눈 프로젝션 디바이스.
- 제 5 항에 있어서, 상기 이미지 광 변조기는 이미지 데이터에 따라 광선의 세기와 색채 구성의 시간 변조를 작동하고 구성된 적어도 하나의 광 세기 변조기를 포함하고, 상기 광선의 2차원 공간 이미지 스캔을 수행을 작동하고 구성된 이미지 스캐닝 편향기를 포함하되, 상기 시간 변조는 상기 광선의 상기 2차원 공간 이미지 스캔과 동시식으로 수행되어서, 상기 이미지 데이터는 상기 이미지를 프로젝트하기 위한 광선에 인코딩되는, 눈 프로젝션 디바이스.
- 제 6 항에 있어서, 상기 이미지 스캐닝 편향기는 래스터 스캐너인, 눈 프로젝션 디바이스.
- 제 5 항에 있어서, 상기 이미지 광 변조기는, 망막 상에 프로젝트될 상기 이미지를 생성하기 위해, 상기 광선의 세기와 색채 구성을 공간적으로 변조하도록 작동되고 구성된 적어도 하나의 공간 광 변조기를 포함하는 영역 프로젝션 모듈을 포함하되, 광학 어셈블리는 프로젝트된 이미지 컨주게이트 평면을 눈 망막에 전달하도록 구성된, 눈 프로젝션 디바이스.
- 제 8 항에 있어서, 상기 영역 프로젝션 모듈은, 다음의 공간 광 변조기인 CRT, LCD, LCOS, DMD 또는 OLED, VRD 및 공명 스캐닝 섬유 중 하나 이상을 포함하는, 눈 프로젝션 디바이스.
- 제 5 항에 있어서, 상기 이미지 광 변조기에 연결가능하고, 상기 이미지를 나타내는 이미지 데이터를 수신하고, 망막에 상기 이미지를 형성하기 위해 상기 광선의 세기와 색채 구성을 조절하기 위해 상기 이미지 광 변조기를 작동시키도록 구성된 이미지 프로젝션 컨트롤러를 포함하는, 눈 프로젝션 디바이스.
- 제 1 항 또는 제 2 항에 있어서, 상기 편향 장치의 적어도 하나의 조절가능한 편향기는 눈을 향하는 상기 광선의 전파 경로의 상기 측방 편향에 영향을 주기 위해 동공 위치 빔 편향기로서 작동되고 구성되는, 눈 프로젝션 디바이스.
- 제 11 항에 있어서, 상기 동공 위치 빔 편향기는 상기 전파 경로에 수직인 하나의 측방 축을 따라 상기 측방 편향에 영향을 주도록 작동되고 구성된, 눈 프로젝션 디바이스.
- 제 11 항에 있어서, 상기 동공 위치 빔 편향기는 상기 전파 경로에 수직인 2개의 측방 축을 따라 상기 측방 편향에 영향을 주도록 작동되고 구성된, 눈 프로젝션 디바이스.
- 제 11 항에 있어서, 상기 전파 경로의 상기 측방 편향은 상기 동공 위치 빔 편향기의 편향 각도를 변경함에 의해 달성되는, 눈 프로젝션 디바이스.
- 제 14 항에 있어서, 상기 광학 어셈블리는 광학 릴레이를 포함하고, 상기 동공 위치 빔 편향기는 상기 광학 릴레이 내에 위치되어서, 상기 동공 위치 빔 편향기의 편향 각도의 조절은 광학 릴레이 내의 일반 광학 경로의 배향에 영향을 주어서 눈으로의 광선의 전파 경로의 측방 위치를 변경시키는, 눈 프로젝션 디바이스.
- 제 15 항에 있어서, 상기 동공 위치 빔 편향기는, 상기 동공 위치 빔의 편향 각도를 눈을 향하는 전파 경로의 각 배향에 영향을 주지 않으면서, 눈으로의 광선의 전파 경로의 측방 위치를 변경시키도록 위치되는, 눈 프로젝션 디바이스.
- 제 11 항에 있어서, 상기 측방 편향은 광학 어셈블리의 광학 경로를 따라 동공 위치 빔 편향기의 위치를 이동시킴에 의해 달성되어서, 광선과의 교차 위치를 변경하고, 광선이 편향되며, 눈을 향하는 전파 경로의 각 배향에 영향을 주지 않으면서, 눈을 향하는 전파 경로의 측방 위치를 조절하는, 눈 프로젝션 디바이스.
- 제 17 항에 있어서, 상기 광학 어셈블리는 광학 릴레이를 포함하고, 상기 동공 위치 빔 편향기는 광학 릴레이 외부의 상기 광선의 광학 경로를 따라 위치되는, 눈 프로젝션 디바이스.
- 제 18 항에 있어서, 상기 동공 위치 빔 편향기는 광학 어셈블리를 통해 상기 광선의 전파 방향에 대해 광학 릴레이의 업스트림에 위치되고, 편향 장치의 편향 표면은 실질적으로 7 밀리미터를 초과하지 않는 측방 치수를 가지는, 눈 프로젝션 디바이스.
- 제 17 항에 있어서, 상기 동공 위치 빔 편향기는 상기 2개의 조절가능한 광학 편향기를 포함하되, 상기 2개의 조절가능한 광학 편향기는,
상기 2개의 조절가능한 광학 편향기 모두는 제1 측방 축을 따라 함께 이동되어서, 상기 제1 측방 축에 대해 눈으로의 전파 경로의 상대적 측방 편향에 영향을 주고,
상기 2개의 조절가능한 광학 편향기 중 하나는 제2 측방 축을 따라 독립적으로 이동되어서, 상기 제2 측방 축에 대해 눈으로의 전파 경로의 상대적 측방 편향에 영향을 주도록 구성된, 눈 프로젝션 디바이스. - 제 1 항 또는 제 2 항에 있어서, 편향 장치의 적어도 하나의 조절가능한 광학 편향기는 눈을 향하는 상기 광선의 전파 경로의 상기 각 배향에 조절가능하게 영향을 주기 위해, 시선 방향 빔 편향기로서 작동하고 구성되는, 눈 프로젝션 디바이스.
- 제 21 항에 있어서, 상기 시선 방향 빔 편향기는, 동공 위치 빔 편향기로 작동하고 구성되고, 광학 어셈블리의 광학 경로를 따라 이동하도록 구성되어서, 상기 이동이 눈을 향하는 상기 광선의 전파 경로의 상기 측방 편향에 영향을 주는, 눈 프로젝션 디바이스.
- 제 21 항에 있어서, 눈을 향하는 전파 경로의 상기 각 배향의 편향은 상기 시선 방향 빔 편향기의 편향 각도를 변경함에 의해 달성되는, 눈 프로젝션 디바이스.
- 제 23 항에 있어서, 상기 광학 어셈블리는 광학 릴레이를 포함하고, 상기 시선 방향 빔 편향기는 광학 릴레이 외부의 상기 광학 어셈블리의 광학 경로를 따라 위치되며, 상기 시선 방향 빔 편향기의 편향 각도의 상기 변경은 눈을 향하는 전파 경로의 상기 측방 편향에 영향을 주지 않는, 눈 프로젝션 디바이스.
- 제 1 항 또는 제 2 항에 있어서, 각각의 광학 전력을 가진 적어도 2개의 광학 소자를 포함하는 광학 릴레이를 포함하되, 상기 광학 어셈블리의 광학 경로를 따라 배치되어서, 상기 2개의 광학 소자들 사이의 광학 거리는 초점 거리들의 합과 매칭되는, 눈 프로젝션 디바이스.
- 제 1 항 또는 제 2 항에 있어서, 눈을 향하는 상기 전파 경로의 상기 조절에 사용하기 위해, 시선 방향 및 눈의 측방 위치를 나타내는 눈 위치 데이터를 측정하도록 작동하고 구성된 눈 추적 모듈을 포함하는, 눈 프로젝션 디바이스.
- 제 26 항에 있어서, 상기 편차를 보상하기 위해 상기 전파 경로의 각 배향과 ㅁ측방 위치를 조절하기 위해, 상기 하나 이상의 조절가능한 광학 편향기를 작동시키는 작동 명령어를 생성하기 위해 상기 눈 위치 데이터를 사용하도록 구성된 하나 이상의 컨트롤러를 포함하는, 눈 프로젝션 디바이스.
- 제 26 항에 있어서, 상기 눈 추적 모듈은,
상기 하나 이상의 조절가능한 광학 편향기와 상호작용하는 동안, 광학 어셈블리의 상기 일반 광학 경로를 따라 전파되는 추적 광선을 제공하도록 작동되고 구성된 추적 광 포트 - 상기 눈 상의 상기 추적 광선의 입사는 광학 어셈블리를 통해 백 전파를 위한 눈의 망막으로부터 상기 추적광선의 반사와 관련된 반사된 광선을 발생시킴 - 와,
둘 이상의 서로 다른 위치에서 일반 광학 경로에 광학적으로 결합되고, 상기 반사된 광선을 수신하도록 구성되며, 상기 둘 이상의 서로 다른 위치에서 상기 반사된 광선의 전파의 하나 이상의 특성을 측정하는 하나 이상의 센서와,
상기 하나 이상의 센서 및 상기 하나 이상의 조절가능한 광학 편향기에 연결가능한 눈 추적 컨트롤러 - 상기 컨트롤러는 상기 둘 이상의 서로 다른 위치에서 상기 반사된 광선의 전파의 상기 적어도 하나의 특성을 나타내는 상기 하나 이상의 센서 리드아웃 데이터를 수신하고, 상기 눈 위치 데이터를 결정하기 위해 리드아웃 데이터를 프로세스하도록 구성된, 눈 프로젝션 디바이스. - 제 28 항에 있어서, 상기 눈 위치 데이터는 눈의 상기 시선 방향과 눈을 향하는 광선의 전파 경로의 배향 간의 편차 및 눈의 동공의 측방 위치와 상기 전파 경로 간의 편차를 나타내는, 눈 프로젝션 디바이스.
- 제 29 항에 있어서, 상기 하나 이상의 조절가능한 광학 편향기는 상기 광학 경로를 따라 연속적으로 배열된 적어도 두 개의 조절가능한 광학 편향기를 포함하여서, 상기 두 개의 조절가능한 광학 편향기에 의해 광학 경로의 편향과 관련된 광학 경로의 두 개의 편향 스테이지를 각각 형성하고,
상기 하나 이상의 센서가 일반 광학 경로에 광학적으로 결합되는 상기 둘 이상의 서로 다른 위치는 각각 상기 두 개의 편향 스테이지에 배치되며,
상기 컨트롤러는, 상기 각각의 조절가능한 광학 편향기와 관련된 광학 경로의 각각의 편향 스테이지로부터 측정된 전파의 대응되는 특성에 기초하여, 상기 두 개의 조절가능한 광학 편향기의 각각의 조절가능한 광학 편향기에 대한 작동 명령을 생성하도록 작동되고 구성되는, 눈 프로젝션 디바이스. - 제 30 항에 있어서, 반사된 광선의 전파의 상기 특성은 미리정한 공칭 위치로부터 반사된 광선의 전파의 측방 오프 축 편차(lateral off axis deviation)인, 눈 프로젝션 디바이스.
- 제 30 항에 있어서, 상기 하나 이상의 센서의 각각의 센서는 복수의 광 센시티브 픽셀을 포함하고, 상기 컨트롤러는 상기 센서로부터의 리드아웃 데이터를 프로세스하여 센서 상의 반사된 광선의 입사 위치를 결정하고, 상기 입사 위치와 센서 상의 미리정한 공칭 위치 간의 편차를 결정하여서, 반사된 광선의 전파의 상기 특성을 결정하는, 눈 프로젝션 디바이스.
- 제 30 항에 있어서, 상기 컨트롤러는 하나 이상의 서보 루프를 포함하되, 각각의 서보 루프는 상기 두 개의 조절가능한 광학 편향기의 각각의 조절가능한 광학 편향기를 상기 하나 이상의 센서의 대응되는 센서에 연결하도록 작동되고 구성되어서, 상기 대응되는 센서로부터 획득된 리드아웃 데이터에 기초하여 각각의 조절가능한 광학 편향기를 작동하기 위한 상기 작동 명령을 생성하는, 눈 프로젝션 디바이스.
- 제 28 항에 있어서, 상기 하나 이상의 센서는 복수의 광 검출기를 포함하는 시선 방향 센서를 포함하고, 반사된 광선이 전파 경로의 각 배향의 조절과 관련된 상기 조절가능한 광학 편향기 중 하나인 시선 방향 빔 편향기와 상호작용한 이후에, 상기 시선 방향 센서는 위치된 편향 스테이지에서 일반 광학 경로로부터 상기 반사된 광선을 수집하도록 구성되어서, 시선 방향 센서로부터의 리드아웃 정보는 눈의 시선 방향과 눈을 향한 전파 경로 간의 각 편차를 나타내고,
상기 눈 추적 컨트롤러는 상기 시선 방향 센서 및 상기 시선 방향 빔 편향기에 연결가능한 시선 방향 컨트롤러를 포함하고, 상기 시선 방향 컨트롤러는, 시선 방향 센서로부터의 상기 리드아웃 정보를 프로세스하고 눈의 시선 방향과 눈을 향한 광선의 전파 경로 간의 각 편차를 적어도 부분적으로 보상하기 위해 상기 시선 방향 빔 편향기를 작동하도록 구성된, 눈 프로젝션 디바이스. - 제 34 항에 있어서, 상기 시선 방향 센서는, 2 바이 2 컨피규레이션으로 조직된 4 개의 광 검출기를 포함하는 쿼드 센서, 위치 센싱 디바이스(PSD) 및/또는 시간 지연 집적 전하 결합된 디바이스(TDI-CCD) 및/또는 관심 영역(ROI) 선택 능력을 가진 상보적 금속-산화-반도체(CMOS) 중 적어도 하나이고, 상기 시선 방향 컨트롤러는 상기 쿼드 센서에 연결가능하고, 미리정한 스레숄드 미만의 레벨로 센서의 중심으로부터 상기 반사된 광의 편차를 최소화하기 위해, 상기 시선 방향 빔 편향기를 작동시키기 위해 작동되고 구성되는, 눈 프로젝션 디바이스..
- 제 34 항에 있어서, 상기 시선 방향 컨트롤러는 리드아웃 데이터를 프로세스하고, 눈의 떨림 운동과 관련된 시선 방향의 각 편차를 필터링하도록 구성된 떨림 필터레이션 모듈을 포함하는, 눈 프로젝션 디바이스.
- 제 36 항에 있어서, 상기 떨림 필터레이션 모듈은 떨림 편차 스레숄드와 관련되고, 시선 방향의 각 편차를 연속적으로 모니터링하고, 상기 떨림 편차 스레숄드보다 작은 각 편차에 대해 개방 서보 루프에서 작동하기 위해 상기 리드아웃 데이터를 프로세싱하여서, 떨림 운동과 관련된 편차를 보상하지 않고, 상기 떨림 편차 스레숄드보다 큰 각 편차에 대해 폐쇄 서보 루프에서 동작하여서, 눈의 떨림 운동과 관련되지 않은 편차에 대해 보상하는, 눈 프로젝션 디바이스.
- 제 28 항에 있어서, 상기 추적 광 포트는 변조된 광선으로서 상기 추적 광선을 출력하도록 작동되고, 상기 눈 추적 컨트롤러는, 상기 추적 광선의 변조부를 가진 하나 이상의 센서로부터 리드아웃 정보를 위상 고정하여서 상기 센서에 의해 센싱된 IR 광 클러스터와 관련된 노이즈를 억제시키도록 구성된 위상 고정 모듈과 상기 추적 광선의 특정 파장으로 조절된 밴드패스 필터 중 적어도 하나를 포함하는, 눈 프로젝션 디바이스.
- 제 28 항에 있어서, 상기 하나 이상의 센서는 복수의 광 검출기를 포함하는 동공 위치 센서를 포함하되, 상기 반사된 광선이 전파 경로의 측방 위치의 조절과 관련된 상기 조절가능한 광학 편향기들 중 하나인 동공 위치 빔 편향기와 상호 작용한 이후에, 상기 동공 위치 센서는 위치된 편향 스테이지에서 상기 반사된 광선을 수집하도록 구성되고, 동공 위치 센서로부터의 리드아웃 정보는 눈의 동공의 위치와 눈을 향한 광선의 전파 경로 간의 측방 편차를 나타내며, 상기 눈 추적 컨트롤러는 상기 동공 위치 센서 및 상기 동공 위치 빔 편향기에 연결가능한 동공 위치 컨트롤러를 포함하고, 상기 동공 위치 컨트롤러는 동공 위치 센서로부터의 상기 리드아웃 정보를 프로세스하고, 눈의 동공의 위치와 전파 경로 간의 측방 편차를 적어도 부분적으로 보상하기 위해 상기 동공 위치 빔 편향기를 작동시키도록 구성되는, 눈 프로젝션 디바이스.
- 제 39 항에 있어서, 사용자 눈들 중 하나로 이미지를 프로젝트하기 위한 상기 눈 프로젝션 시스템 및 사용자 눈들 중 다른 하나로 이미지를 프로젝트하기 위한 제2 눈 프로젝션 시스템을 포함하고, 상기 동공 위치 컨트롤러는 상기 동공 위치 센서 및 제2 눈 프로젝션 시스템의 제2 동공 위치 센서에 연결가능하고, 사용자 두 눈의 동공의 위치의 "공통 모드" 시프트를 검출하여서, 눈 움직임과 관련된 시프트와 눈에 대한 눈 프로젝션 디바이스의 움직임과 관련된 시프트를 구별시키는, 눈 프로젝션 디바이스.
- 추적 광선을 제공하기 위해 구성된 추적 광 포트와,
눈을 향해 전파 경로를 따라 전파시키기 위해 상기 추적 광선을 지향하도록 구성된 광학 어셈블리 - 상기 광학 어셈블리는 눈을 향해 상기 전파 경로의 각 배향 및 측방 위치를 조절하도록 작동되고 구성된 적어도 두 개의 조절가능한 광학 편향기를 포함함 - 와,
눈을 향해 상기 추적 광선의 상기 지향에 응답하여 눈으로부터 다시 반사된 반사된 광선을 각각 센싱하기 위해, 상기 적어도 두 개의 조절가능한 광학 편향기와 각각 연결되어 광학 어셈블리의 일반 광학 경로에 광학적으로 결합된 적어도 두 개의 광학 센서와,
리드아웃 정보를 수신하기 위해 상기 적어도 두 개의 광학 센서에 연결가능한 눈 추적 컨트롤러 - 상기 눈 추적 컨트롤러는 동공 지진 및 눈의 시선 방향으로부터의 상기 전파 경로의 측방 및 각 편차를 나타내는 데이터를 결정하기 위해 상기 리드아웃 정보를 프로세스하도록 구성됨 - 를 포함하는, 눈 추적 모듈. - 제 41 항에 있어서, 상기 추적 광 포트는 변조된 광선으로서 상기 추적 광선을 출력하도록 작동되고, 상기 눈 추적 컨트롤러는 상기 추적 광선의 변조로 상기 적어도 하나의 상기 광학 센서로부터 리드아웃 정보를 위상 고정하여서, 광학 센서들 중 적어도 하나에 의해 센싱된 IR 광 클러스터와 관련된 노이즈를 억제시키는, 눈 추적 모듈.
- 눈 프로젝션 디바이스에서 눈까지 광선을 지향시키기 위한 광학 어셈블리에 있어서, 상기 광학 어셈블리는 눈까지 일반 광학 경로를 따라 배치된 적어도 두 개의 조절가능한 광학 편향기를 포함하고, 상기 적어도 두 개의 조절가능한 편향기는 상기 눈을 향해 상기 광선의 전파 경로를 조절하는데 적어도 4개의 자유도를 제공하도록 구성되고, 상기 자유도 중 2개는 눈의 시선 방향의 각 변화에 대해 보상하는 것과 관련되고, 상기 자유도 중 2개는 눈에 대해 상기 눈 프로젝션 디바이스의 상대 위치의 변동에 대해 보상하기 위해 제공되는, 광학 어셈블리.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IL241033 | 2015-09-02 | ||
| IL241033A IL241033B (en) | 2015-09-02 | 2015-09-02 | Projector system and method for ocular projection |
| PCT/IL2016/050953 WO2017037708A1 (en) | 2015-09-02 | 2016-09-01 | Eye projection system and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180048868A true KR20180048868A (ko) | 2018-05-10 |
Family
ID=57047262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187008931A KR20180048868A (ko) | 2015-09-02 | 2016-09-01 | 눈 프로젝션 시스템 및 방법 |
Country Status (13)
| Country | Link |
|---|---|
| US (1) | US11079601B2 (ko) |
| EP (1) | EP3345035A1 (ko) |
| JP (1) | JP6937517B2 (ko) |
| KR (1) | KR20180048868A (ko) |
| CN (2) | CN108351515A (ko) |
| AU (1) | AU2016314630B2 (ko) |
| CA (1) | CA2997086A1 (ko) |
| HK (1) | HK1256558A1 (ko) |
| IL (1) | IL241033B (ko) |
| RU (1) | RU2728799C2 (ko) |
| SG (1) | SG10202001835YA (ko) |
| TW (1) | TW201716827A (ko) |
| WO (1) | WO2017037708A1 (ko) |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11262580B1 (en) | 2016-01-13 | 2022-03-01 | Apple Inc. | Virtual reality system |
| US11157072B1 (en) * | 2016-02-24 | 2021-10-26 | Apple Inc. | Direct retinal projector |
| CN107272319A (zh) * | 2016-04-07 | 2017-10-20 | 中强光电股份有限公司 | 投影装置以及影像投影方法 |
| WO2018057660A2 (en) | 2016-09-20 | 2018-03-29 | Apple Inc. | Augmented reality system |
| US10664049B2 (en) * | 2016-12-09 | 2020-05-26 | Nvidia Corporation | Systems and methods for gaze tracking |
| CN110914737A (zh) | 2017-05-29 | 2020-03-24 | 爱威愿景有限公司 | 图像投影系统 |
| JP6841173B2 (ja) * | 2017-06-30 | 2021-03-10 | 株式会社Ｊｖｃケンウッド | 虚像表示装置 |
| US10521658B2 (en) * | 2017-07-07 | 2019-12-31 | Facebook Technologies, Llc | Embedded eye tracker with dichroic mirror |
| KR102461253B1 (ko) * | 2017-07-24 | 2022-10-31 | 삼성전자주식회사 | 시선 추적기를 구비하는 투사형 디스플레이 장치 |
| US11122256B1 (en) | 2017-08-07 | 2021-09-14 | Apple Inc. | Mixed reality system |
| US20190079288A1 (en) * | 2017-09-13 | 2019-03-14 | Htc Corporation | Head mounted display system and image display method thereof |
| DE102017217200A1 (de) * | 2017-09-27 | 2019-03-28 | Carl Zeiss Meditec Ag | Beleuchtungseinheit für eine Spaltlampe vom Turmtyp |
| TWI679555B (zh) * | 2017-10-12 | 2019-12-11 | 華碩電腦股份有限公司 | 擴增實境系統以及提供擴增實境之方法 |
| US10712576B1 (en) * | 2017-10-24 | 2020-07-14 | Facebook Technologies, Llc | Pupil steering head-mounted display |
| KR102531925B1 (ko) | 2017-11-08 | 2023-05-16 | 엘지전자 주식회사 | 프로젝터 및 그의 동작 방법 |
| TWI633465B (zh) * | 2017-11-21 | 2018-08-21 | 瑞軒科技股份有限公司 | 虛擬實境裝置及虛擬實境裝置的操作方法 |
| KR102096928B1 (ko) | 2017-12-18 | 2020-04-03 | 삼성전자주식회사 | 광학 시스템 및 이를 구비한 웨어러블 표시장치 |
| CN109946909B (zh) | 2017-12-21 | 2022-10-04 | 中强光电股份有限公司 | 投影装置 |
| CN109946835B (zh) | 2017-12-21 | 2022-04-26 | 中强光电股份有限公司 | 投影装置 |
| CN109946834B (zh) | 2017-12-21 | 2022-03-29 | 中强光电股份有限公司 | 投影装置 |
| CN110147028B (zh) | 2018-02-13 | 2021-08-27 | 中强光电股份有限公司 | 投影装置 |
| DE102018209886B4 (de) * | 2018-06-19 | 2020-02-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Einrichtung zur Projektion eines Laserstrahls zur Erzeugung eines Bildes auf der Netzhaut eines Auges und Brilleneinrichtung mit zwei derartigen Einrichtungen |
| EP3794398B1 (en) * | 2018-07-02 | 2023-09-13 | Huawei Technologies Co., Ltd. | A retinal display apparatus and method |
| US10955677B1 (en) | 2018-08-06 | 2021-03-23 | Apple Inc. | Scene camera |
| US10955659B2 (en) * | 2018-08-08 | 2021-03-23 | Facebook Technologies, Llc | Scanning display with increased uniformity |
| TWI704501B (zh) * | 2018-08-09 | 2020-09-11 | 宏碁股份有限公司 | 可由頭部操控的電子裝置與其操作方法 |
| US10878781B2 (en) | 2018-08-09 | 2020-12-29 | Chun-Ding HUANG | Image processing method and head-mounted display system |
| JP7418149B2 (ja) | 2018-11-29 | 2024-01-19 | 株式会社リコー | 光学装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置 |
| US11514602B2 (en) | 2018-12-25 | 2022-11-29 | Samsung Electronics Co., Ltd. | Method and apparatus for gaze estimation |
| US20200211512A1 (en) * | 2018-12-27 | 2020-07-02 | Facebook Technologies, Llc | Headset adjustment for optimal viewing |
| CN110308704A (zh) * | 2019-04-24 | 2019-10-08 | 常州轻工职业技术学院 | 一种星地激光通讯捕捉系统的控制方法 |
| JP2022537092A (ja) | 2019-06-23 | 2022-08-24 | ルーマス リミテッド | 中心窩光学補正を用いるディスプレイ |
| US11947128B2 (en) * | 2019-09-15 | 2024-04-02 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Digital illumination assisted gaze tracking for augmented reality near to eye displays |
| IL271287A (en) * | 2019-12-09 | 2021-06-30 | Eyeway Vision Ltd | Systems and methods to follow the eye |
| CN110989166A (zh) * | 2019-12-25 | 2020-04-10 | 歌尔股份有限公司 | 一种近眼显示设备的眼球追踪系统及近眼显示设备 |
| TWI802826B (zh) * | 2020-02-19 | 2023-05-21 | 美商海思智財控股有限公司 | 顯示一個具有景深的物體的系統與方法 |
| CN113923437B (zh) | 2020-07-09 | 2024-03-22 | 财团法人工业技术研究院 | 信息显示方法及其处理装置与显示系统 |
| IL276354A (en) * | 2020-07-28 | 2022-02-01 | Eyeway Vision Ltd | Eye tracking systems and methods |
| EP3984016A4 (en) | 2020-08-14 | 2023-09-06 | HES IP Holdings, LLC | SYSTEMS AND METHODS FOR SUPERIMPOSING A VIRTUAL IMAGE ON A REAL-TIME IMAGE |
| CN114616511A (zh) | 2020-09-03 | 2022-06-10 | 海思智财控股有限公司 | 改善双眼视觉的系统与方法 |
| TWI746169B (zh) * | 2020-09-17 | 2021-11-11 | 宏碁股份有限公司 | 具有結構光偵測功能的擴增實境眼鏡 |
| CN114326104B (zh) * | 2020-09-28 | 2023-07-25 | 宏碁股份有限公司 | 具有结构光检测功能的扩增实境眼镜 |
| CN116420104A (zh) | 2020-09-30 | 2023-07-11 | 海思智财控股有限公司 | 用于虚拟实境及扩增实境装置的虚拟影像显示系统 |
| DE102020127594A1 (de) * | 2020-10-20 | 2022-04-21 | Robert Bosch Gesellschaft mit beschränkter Haftung | Optische anordnung einer datenbrille |
| KR20220059682A (ko) | 2020-11-03 | 2022-05-10 | 주식회사 엘지화학 | 올리고머 제조장치 |
| CN113075788A (zh) * | 2021-04-02 | 2021-07-06 | 中国科学院长春光学精密机械与物理研究所 | 多谱段多通道共口径变焦成像光学系统 |
| US11493773B2 (en) * | 2021-06-07 | 2022-11-08 | Panamorph, Inc. | Near-eye display system |
| US11741861B1 (en) | 2022-02-08 | 2023-08-29 | Lumus Ltd. | Optical system including selectively activatable facets |
| CN114415427B (zh) * | 2022-02-25 | 2023-05-05 | 电子科技大学 | 一种液晶偏振光栅制备光路及制备方法 |
| DE102022202622A1 (de) * | 2022-03-17 | 2023-09-21 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zu einer Bestimmung eines Augenabstands in einer Datenbrille und Datenbrille |
| US11798448B1 (en) * | 2022-04-02 | 2023-10-24 | Wei Shu | Near-eye display device |
| DE102022005036B3 (de) | 2022-07-13 | 2023-10-26 | VIAHOLO GmbH | Brillen-Anzeigevorrichtung zum Anzeigen eines virtuellen Bildes in einem sich nach unten verjüngendem virtuell ergänzbaren Sichtfeld der Brillen-Anzeigevorrichtung |
| DE102022207139B3 (de) | 2022-07-13 | 2023-10-26 | VIAHOLO GmbH | Brillen-Anzeigevorrichtung zum Anzeigen eines virtuellen Bildes in einem sich nach unten verjüngendem virtuell ergänzbaren Sichtfeld der Brillen-Anzeigevorrichtung |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4878046A (en) | 1987-07-30 | 1989-10-31 | United Technologies Corporation | Mounting a cathode ray tube for a heads-up display system |
| US5596339A (en) * | 1992-10-22 | 1997-01-21 | University Of Washington | Virtual retinal display with fiber optic point source |
| WO1999063531A1 (en) * | 1998-06-05 | 1999-12-09 | Herzel Laor | Optical switch for disk drive |
| US6747611B1 (en) | 2000-07-27 | 2004-06-08 | International Business Machines Corporation | Compact optical system and packaging for head mounted display |
| US6943754B2 (en) | 2002-09-27 | 2005-09-13 | The Boeing Company | Gaze tracking system, eye-tracking assembly and an associated method of calibration |
| US6967781B2 (en) | 2002-11-29 | 2005-11-22 | Brother Kogyo Kabushiki Kaisha | Image display apparatus for displaying image in variable direction relative to viewer |
| JP4385742B2 (ja) | 2002-11-29 | 2009-12-16 | ブラザー工業株式会社 | 画像表示装置 |
| JP4608996B2 (ja) * | 2004-08-19 | 2011-01-12 | ブラザー工業株式会社 | 瞳孔検出装置およびそれを備えた画像表示装置 |
| US7542210B2 (en) * | 2006-06-29 | 2009-06-02 | Chirieleison Sr Anthony | Eye tracking head mounted display |
| DE102008000438A1 (de) * | 2008-02-28 | 2009-09-10 | Seereal Technologies S.A. | Steuerbare Ablenkeinrichtung |
| JP2010091944A (ja) | 2008-10-10 | 2010-04-22 | Canon Inc | 画像表示装置及び画像表示システム |
| WO2010062481A1 (en) * | 2008-11-02 | 2010-06-03 | David Chaum | Near to eye display system and appliance |
| EP2356551A4 (en) | 2008-11-12 | 2012-05-02 | Flatfrog Lab Ab | INTEGRATED TOUCH PANEL DISPLAY APPARATUS AND METHOD OF OPERATION |
| JP4674634B2 (ja) | 2008-12-19 | 2011-04-20 | ソニー株式会社 | 頭部装着型ディスプレイ |
| JP5570905B2 (ja) * | 2010-08-05 | 2014-08-13 | 株式会社ミツトヨ | 周波数安定化レーザー光源、および、波長校正方法 |
| US9406166B2 (en) * | 2010-11-08 | 2016-08-02 | Seereal Technologies S.A. | Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles |
| CN102103329B (zh) * | 2010-12-06 | 2013-10-02 | 中国科学院光电技术研究所 | 一种用于光刻设备中的光束稳定装置 |
| US9690099B2 (en) | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
| US9033510B2 (en) * | 2011-03-30 | 2015-05-19 | Carl Zeiss Meditec, Inc. | Systems and methods for efficiently obtaining measurements of the human eye using tracking |
| US8817379B2 (en) | 2011-07-12 | 2014-08-26 | Google Inc. | Whole image scanning mirror display system |
| US9285592B2 (en) | 2011-08-18 | 2016-03-15 | Google Inc. | Wearable device with input and output structures |
| US20150097772A1 (en) * | 2012-01-06 | 2015-04-09 | Thad Eugene Starner | Gaze Signal Based on Physical Characteristics of the Eye |
| US8384999B1 (en) | 2012-01-09 | 2013-02-26 | Cerr Limited | Optical modules |
| CN104094197B (zh) | 2012-02-06 | 2018-05-11 | 索尼爱立信移动通讯股份有限公司 | 利用投影仪的注视追踪 |
| IL221863A (en) * | 2012-09-10 | 2014-01-30 | Elbit Systems Ltd | Digital video photography system when analyzing and displaying |
| JP2014082273A (ja) * | 2012-10-15 | 2014-05-08 | Nec Corp | 量子ドット型赤外線検出器、赤外線検出装置、及び赤外線検出方法 |
| US9189021B2 (en) | 2012-11-29 | 2015-11-17 | Microsoft Technology Licensing, Llc | Wearable food nutrition feedback system |
| US9094677B1 (en) * | 2013-07-25 | 2015-07-28 | Google Inc. | Head mounted display device with automated positioning |
| KR20200092424A (ko) | 2014-03-03 | 2020-08-03 | 아이웨이 비전 엘티디. | 눈 투영 시스템 |
-
2015
- 2015-09-02 IL IL241033A patent/IL241033B/en unknown
-
2016
- 2016-09-01 AU AU2016314630A patent/AU2016314630B2/en not_active Ceased
- 2016-09-01 JP JP2018512119A patent/JP6937517B2/ja active Active
- 2016-09-01 CA CA2997086A patent/CA2997086A1/en not_active Abandoned
- 2016-09-01 SG SG10202001835YA patent/SG10202001835YA/en unknown
- 2016-09-01 RU RU2018109532A patent/RU2728799C2/ru active
- 2016-09-01 CN CN201680063888.0A patent/CN108351515A/zh active Pending
- 2016-09-01 TW TW105128177A patent/TW201716827A/zh unknown
- 2016-09-01 EP EP16775342.5A patent/EP3345035A1/en not_active Withdrawn
- 2016-09-01 US US15/757,006 patent/US11079601B2/en active Active
- 2016-09-01 KR KR1020187008931A patent/KR20180048868A/ko not_active Application Discontinuation
- 2016-09-01 WO PCT/IL2016/050953 patent/WO2017037708A1/en active Application Filing
- 2016-09-01 CN CN202311217361.7A patent/CN117055231A/zh active Pending
-
2018
- 2018-12-06 HK HK18115629.7A patent/HK1256558A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN108351515A (zh) | 2018-07-31 |
| CN117055231A (zh) | 2023-11-14 |
| US11079601B2 (en) | 2021-08-03 |
| RU2018109532A3 (ko) | 2019-11-29 |
| US20180246336A1 (en) | 2018-08-30 |
| CA2997086A1 (en) | 2017-03-09 |
| RU2728799C2 (ru) | 2020-07-31 |
| WO2017037708A1 (en) | 2017-03-09 |
| SG10202001835YA (en) | 2020-04-29 |
| AU2016314630A1 (en) | 2018-03-22 |
| HK1256558A1 (zh) | 2019-09-27 |
| JP6937517B2 (ja) | 2021-09-22 |
| AU2016314630B2 (en) | 2020-09-03 |
| JP2018533049A (ja) | 2018-11-08 |
| RU2018109532A (ru) | 2019-10-02 |
| IL241033B (en) | 2021-12-01 |
| TW201716827A (zh) | 2017-05-16 |
| EP3345035A1 (en) | 2018-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2016314630B2 (en) | Eye projection system and method | |
| CN110637249B (zh) | 光学设备、头戴式显示器、成像系统和对对象成像的方法 | |
| CN106164743B (zh) | 眼睛投影系统 | |
| US9001030B2 (en) | Heads up display | |
| CN110914786A (zh) | 用于在外部场景与虚拟图像之间配准的方法和系统 | |
| US11586038B2 (en) | Image projection device | |
| US20200186761A1 (en) | Eye projection systems and methods with focusing management | |
| US10963103B1 (en) | Display system with integrated depth detection | |
| JP3698582B2 (ja) | 画像表示装置 | |
| US20230080420A1 (en) | Display apparatus | |
| JP2019049724A (ja) | 目用投影システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |