TW201716827A - 眼睛投影系統與方法 - Google Patents

眼睛投影系統與方法 Download PDF

Info

Publication number
TW201716827A
TW201716827A TW105128177A TW105128177A TW201716827A TW 201716827 A TW201716827 A TW 201716827A TW 105128177 A TW105128177 A TW 105128177A TW 105128177 A TW105128177 A TW 105128177A TW 201716827 A TW201716827 A TW 201716827A
Authority
TW
Taiwan
Prior art keywords
eye
light
optical
deflector
image
Prior art date
Application number
TW105128177A
Other languages
English (en)
Inventor
波瑞斯 格林伯格
Original Assignee
愛威願景有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 愛威願景有限公司 filed Critical 愛威願景有限公司
Publication of TW201716827A publication Critical patent/TW201716827A/zh

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Abstract

提供一種包含眼睛投影系統的眼睛投影裝置,眼睛投影系統係配置以投射沿著一傳播路徑傳播到眼睛的光線。眼睛投影系統包含:光學組件,其定義光學組件中之光線的一般光學路徑,光學組件包含偏轉器配置,偏轉器配置包含一或更多可調式光學偏轉器,該一或更多可調式光學偏轉器係沿著一般光學路徑而設置,且係配置以定義從光學組件到眼睛之光線的可調整傳播路徑;其中該一或更多光學偏轉器具有影響傳播路徑之偏轉的至少三個可調整偏轉參數,以提供至少三個自由度來調整朝向眼睛之光線的傳播路徑;其中該至少三個自由度之其中二者係與朝向眼睛之傳播路徑的二個角度方位有關,以補償眼睛的注視方向之角度改變;且該至少三個自由度之其中至少一者係與傳播路徑的橫向偏轉有關,以補償相對於眼睛之投影系統的相對橫向位置之差異。

Description

眼睛投影系統與方法
本發明屬於眼睛投影之技術領域,尤其關於用以將純粹/擴增虛擬實境影像投影至使用者眼睛的技術。
用以將虛擬及/或擴增虛擬實境(virtual and/or augmented virtual reality)投影至使用者眼睛的頭戴式或其他可穿戴式影像投影系統逐漸變得越來越普遍。在許多情況下,這類的系統係配置成能戴在使用者頭上的鏡片,並可操作成將影像投影至使用者的眼睛以提供虛擬實境影像/視訊投影給使用者。為此目的,一些已知的系統致力於將純粹虛擬實境影像投影提供至使用者的眼睛(其阻擋來自外部景物的光線到達眼睛);而其他系統旨在提供擴增虛擬實境感知(其允許來自外部景物的光線通過到達眼睛),同時亦藉由影像投影系統擴增/疊加影像/視訊框(images/video frames)而投影至眼睛。
例如,美國專利申請案第2013044042號揭露了一種電子裝置,其包括用以戴在使用者頭上的框架。此框架可包括樑部及眉部,樑部係用以支撐在使用者的鼻子上,且眉部係耦合至樑部並延伸遠離樑部,且眉部係配置成位於使用者眉毛之一側的上方。此框架更可包括耦合至眉部並延伸至一自由端的臂部。第一臂部可定位在使用者的太陽穴上方,而使自由端定位在使用者的耳朵附近。此裝置亦可包括透明顯示器及輸入部,透明顯示器係固定在鄰近眉部的框架,且輸入部係固定在此框架並用以接收與功能有關之來自使用者的輸入。與功能有關的資訊可呈現在顯示器上。
美國專利第7936519號揭露了一種頭戴式顯示器,其包括:類似眼鏡框的框架,其係裝戴在觀看者頭上;及二個影像顯示裝置,各個影像顯示裝置包括影像產生裝置及導光裝置,導光裝置係裝設在影像產生裝置,其整體上係相對於影像產生裝置而設置在觀看者臉部中央之一側上,光線從影像產生裝置入射至導光裝置上、光線透過導光裝置引導、且光線從導光裝置朝觀看者的瞳孔發射。
美國專利第8289231號揭露了一種頭戴式虛擬影像顯示器單元,其尺寸小且重量輕,並結合一提供能清楚透視的高效能光學系統。對於不希望能透視的情況,可結合一滑動光屏蔽。可結合一焦距調整部以使影像能聚焦在例如約18吋至無限遠的距離。可結合一適合使用者頭部的可調式頭帶。可結合一可撓性支臂結構以幫助光學組件的細微位置調整。亦可結合一滑動件及球形接頭機構以幫助光學組件的位置調整。可結合一內建式麥克風以便使用者能語音輸入。此頭戴式虛擬影像顯示器單元可在使用眼睛或安全鏡片的情況下舒適地一起使用,並提供有用的影像給使用者而不阻擋到使用者的周圍環境視野。此單元係設計成具有令人滿意的外觀,因此大幅提高使用者的可接受度。
美國專利第8384999號揭露了一種用於頭戴式顯示器及其他應用的光學模組。此光學模組包括具有複數交互接合脊狀表面的光學基板及光學超基板。反射層係形成在這些表面的其中至少一者上。可將折射率匹配材料設置在複數表面之間。接收來自投影器所投影之影像的一區域將發射自投影器的光線引導至複數脊狀表面上,致使觀看者在使用中感知到擴增影像。此擴增影像包括來自投影器的反射光線及來自物體的發射光線(該物體係位在相對於觀看者的模組的相對側)。
在一些技術中,追蹤眼睛位置及移動以確認使用者的焦點區域。眼睛追蹤技術係揭露在例如1985年2月15日的APPLIED OPTICS第24卷第4號第527-537頁,由Hewitt D. Crane和Carroll M. Steele所著之「Generation-V dual-Purkinje-image eyetracker」。追蹤注視(gaze)技術的另一範例係揭露在美國專利第6943754號。
美國專利申請案第2012154277號揭露了一種當使用近眼式顯示裝置時增進使用者體驗的方法及系統,其提供例如透視顯示裝置或頭戴式顯示裝置。產生在一景象中相對於使用者視野所要顯示的最佳化影像。追蹤使用者的頭部及眼睛的位置與動作,以確認使用者的焦點區域。將此最佳化影像的一部份與眼睛的目前位置之使用者焦點區域結合、預測頭部及眼睛的下一位置、以及將此最佳化影像的一部份與下一位置之使用者焦點區域結合。
美國專利第7542210號揭露了一種頭戴式顯示裝置,此裝置具有:一繫戴部,使該裝置繫戴在使用者頭部;一分光器,與移動裝置接附至繫戴部;一影像投影器,將影像投影在分光器上;一眼睛追蹤器,追蹤使用者眼睛的注視;以及一或更多處理器。此裝置利用眼睛追蹤器及移動裝置及選擇性的頭部追蹤器,以使分光器在眼睛轉動的中心附近移動,從而保持分光器在眼睛的直視線上。使用者同時觀看此影像及此影像後方的環境。第二分光器、眼睛追蹤器、及投影器可運用在使用者的另一眼睛上,以產生立體虛擬環境。此顯示器可對應至人 眼的解析能力。每當使用者觀看時,本發明皆預設一高解析度影像。
國際性專利公開案第WO2013/117999號揭露了一種用於追蹤注視的系統、方法及電腦程式產品。一範例性方法包括:使用投影器將光線導入眼睛內;利用影像擷取模組來偵測來自眼睛表面的反射;及基於所偵測之反射來確認眼睛的視線。在一些實施方式中,光線包含紅外線光。在一些實施方式中,投影器包含雷射。在一些實施方式中,投影器包含液晶覆矽(LCoS,liquid crystal on silicon)晶片。在一些實施方式中,與反射有關之表面係眼角膜、虹膜、或視網膜的其中至少一者。
用以提供虛擬或擴增實境至使用者的習知投影系統通常係基於將影像(例如視訊影像)朝使用者眼睛進行投影,以使影像落在/聚焦在位於眼睛前方一特定距離的一中間影像平面(例如:通常離眼睛約4至數公尺的距離)而被使用者眼睛感知到。影像所聚焦之中間影像平面的短距離(例如4公尺的焦距)係幾乎/實質上無法與無限遠處的焦點區分(且通常相等),尤其是在出射瞳孔(exit pupil)相對較大的眼睛投影系統(例如約15 mm)及典型眼睛投影系統的情況下。這類眼睛投影系統的焦點深度也因此非常大,且難以測量及精準地調整焦距(至中間平面的距離)。然而,眼睛(其具有較小的入射瞳孔且因此具有較小的焦點深度)仍易受到眼睛投影系統焦距不準確的影響。這導致嚴重的眼睛疲勞,而且在使用雙眼觀看影像時特別嚴重,因為雙眼觀看的各別焦點距離可能存在差異。中間影像平面(影像係投影在其上)可為眼睛前方的一實像平面(亦即,形成影像之投射光線實際聚焦在此處)或一虛像平面(亦即,使用者眼睛感知到形成影像之投射光線聚焦在此處)。於任何情況下,在這類的習知影像投影系統中,中間影像平面必須光學中繼到使用者的眼睛。換言之,由於中間影像平面(虛像平面或實像平面)通常係位在眼睛前方的特定有限距離處,因此只有當眼睛鏡片聚焦在此特定距離時,才能聚焦在眼睛視網膜上。
通常有二種方法將影像投影至眼睛:一種是由系統的出射瞳孔所定義,而另一種則是由系統的眼睛盒(eye box)所定義。這二種方法的主要差異為出射瞳孔方法在投影區域上提供均勻的光強度,但具有非常尖銳的轉變邊緣;而眼睛盒方法產生平順的轉變邊緣,但投影區域上的影像強度不均勻。
習知虛擬/擴增實境成像技術(其將影像投影在離使用者眼睛所能感知到的一特定有限距離處)之一主要缺點係有關於眼睛疲勞的產生,並且在許多情況下,頭痛與以下情形有關:雖然能在離眼睛的不同距離處感知到投影影像中的物體,但眼睛所捕捉到的影像實際上卻落在/聚焦在離眼睛的一固定距離處。這經常使腦中的視覺感官機構造成混淆/痛苦,而導致眼睛疲勞及頭痛。
習知技術的另一個主要缺點係有關相對於投影系統之眼睛的相對位置及方位的差異(例如:投影裝置相對於眼睛之移動的差異)。如此差異實際上改變了使用者眼睛所感知到的投影影像的位置,這會造成使用此習知虛擬/擴增實境鏡片之人體明顯不適。
本發明提供一種新穎的眼睛投影技術,其能解決本領域中之已知技術的上述缺點。具體而言,本發明提供用以將影像直接投影在眼睛視網膜上(卻不需眼睛外部的中間實際/虛擬光學影像投影平面)的新穎系統及方法。
將影像直接投影在眼睛視網膜上的技術原理係例如詳細描述在同時申請中之國際性專利申請案第PCT/IL2014/050210號(共同讓與給本申請案之受讓者),其係於此併入作為參考。將影像直接投影在眼睛視網膜上的直接投影允許在視網膜上產生具有改善景深的影像,因而避免或至少明顯地降低由於眼睛試圖聚焦在錯誤距離所引起的眼睛不適及疲勞。
本發明額外提供用以監控及/或追蹤眼睛的位置和眼睛/瞳孔的視線/注視之新穎系統及方法。本發明亦提供新穎的眼睛投影裝置/系統,其能將投影影像引導至使用者眼睛上,同時補償相對於投影裝置之眼睛位置/定位的改變,並且也補償注視方向的改變。有利的是,本發明之技術能使上述補償以非常高的速度執行(例如約10-3 秒或甚至更低),而這已經夠快速了(例如快於使用者感知到與注視/眼睛位置改變有關的投影在視網膜上之影像位置的任何改變/閃爍)。因此,能將影像投影在視網膜上的固定位置處,而不受到注視改變及/或眼睛與投影系統之間的相對位置改變的影響。
這是藉由基於眼睛光學軸方向(亦稱為眼睛的視線(LOS,line of sight)或注視方向(gaze direction))之光學測量的新穎技術而達成。此新穎方法相較於依據Purkinje影像(及其組合)來估算對於一靜態光源之瞳孔位置的普通眼睛追蹤系統更具優勢。這是因為Purkinje影像分析具有二個明顯優點:一為影像必須經過實際分析,但這很耗費時間且對影像本身要求很多,如寄生的照明、對比、及雜訊;二為眼睛並非完全剛性物體且眼睛的不同部份會有些微獨立動作,因而導致注視方向(眼睛光學軸)與Purkinje影像之間的偏差多達+/-0.3度。此外,微掃視(micro saccade)及眼睛顫動(eye tremor)的時間幅度係完全在普通攝影機曝光時域之外,這使得無法在後續不超過眼睛的最大允許照射量(MPE,maximum permissible exposure)值的情況下達到適當的曝光圖框(exposed frame),因而造成永久性或暫時性的眼睛傷害。
就此而言,應注意到視網膜上之影像的微小掃視動作(saccadic movement)(顫動)(這是由於眼睛的掃視動作所產生)對於眼睛感知到影像而言是必須/需要的。在視網膜上的影像有顫動相關移動之情況下,影像被感知為穩定且位在相對於眼睛/視網膜的固定方位(位置/角度/方向)。在沒有顫動動作的情況下,會導致通常稱為視網膜疲勞的狀況。此狀況係顯現在投影影像的靜態部份感知逐漸消失(視網膜上的投影並不因顫動相關的動作而移動)。
為解決上述問題及避免視網膜疲勞狀況,本發明亦提供一種用以濾除/避免補償眼睛顫動動作的技術。為此,用語「視網膜上的固定/特定位置(fixed/specific location)」應理解為固定在眼睛掃視動作所允許之範圍的視網膜上的位置,但在一些情況下可不是絕對固定且可由於眼睛掃視動作而稍微移動。因此,應注意到本發明之技術(詳細敘述於下)提供對眼睛的大動作之補償(例如:與注視方向改變及/或臉上之眼鏡位置改變有關),而微小的眼睛動作(如掃視動作(顫動))可不進行補償,但仍允許影像完全地穩定呈現在視網膜上的固定位置上。
因此,根據本發明之一非限制性實施態樣,其提供一種眼睛投影裝置,該眼睛投影裝置包含配置以投射光線的眼睛投影系統,光線沿著一傳播路徑而傳播至眼睛。眼睛投影系統包括光學組件,其定義光學組件中之光線的一般光學路徑。光學組件包括偏轉器配置,偏轉器配置包括一或更多可調式光學偏轉器,該些光學偏轉器係沿著一般光學路徑而設置且係用以定義光線從光學組件到眼睛的可調整傳播路徑。根據本發明,該一或更多光學偏轉器具有至少三個(且通常四個)可調整偏轉參數且係設置成影響朝向眼睛之傳播路徑的偏轉的至少三個(且通常四個)自由度,從而實現朝向眼睛之光線的傳播路徑之調整。該至少三個自由度之其中二者通常係與朝向眼睛之傳播路徑的二個角度方位有關,其係用以補償眼睛注視方向的角度改變,且該三個或四個自由度之其中至少一者(且通常二個)係與傳播路徑的橫向偏轉有關,其係用以補償相對於眼睛之投影系統的相對橫向位置之差異。
在一些實施方式中,眼睛投影裝置亦包括控制器,其係用以接收表示眼睛的注視方向之改變及相對於眼睛之眼睛投影系統的相對橫向位置之改變的資料,並用以依據此資料來調整該一或更多可調式光學偏轉器的偏轉參數,從而引導光線入射在眼睛的視網膜上的特定位置上,而不論眼睛的注視方向之差異及眼睛投影系統的位置之差異。
在一些實施方式中,眼睛投影系統係用以將影像直接投影在眼睛的視網膜上。眼睛投影系統可包括用以將影像投影在眼睛的視網膜上之影像投影模組,影像投影模組包括光模組及影像光線調變器,光模組係用以輸出欲投射在視網膜上之光線,且影像光線調變器係沿著光線的一般光學路徑而設置。影像光線調變器係配置且可操作以接收表示影像之一或更多像素的影像資料並調變光線以將影像資料編碼在光線上,以使影像能形成在視網膜上。尤其,眼睛投影裝置可包括影像投影控制器,影像投影控制器可連接至影像光線調變器並用以接收表示影像的影像資料,且影像投影控制器可操作影像光線調變器以調整光線的強度及色彩成份以將影像形成在視網膜上。
在一些實施方式中,偏轉器配置其中之至少一可調式偏轉器係配置且可操作為瞳孔位置光線偏轉器,其係用以影響朝向眼睛之光線的傳播路徑的橫向偏轉(相對於與朝向眼睛之光線的傳播路徑垂直的一或二橫向軸)。在各種實施方式中,傳播路徑的橫向偏轉係藉由改變瞳孔位置光線偏轉器的偏轉角度及/或藉由線性移動其有效偏轉表面的位置而達成。在藉由改變瞳孔位置光線偏轉器的偏轉角度而達成傳播路徑的橫向偏轉之情況下,瞳孔位置光線偏轉器可位於系統的光學中繼器內。在藉由移動瞳孔位置光線偏轉器的偏轉表面而達成傳播路徑的橫向偏轉之情況下,瞳孔位置光線偏轉器可位在相對於光線傳播方向之光學中繼器的上游或下游。
在一些實施方式中,至少一可調式光學偏轉器係配置且可操作為注視方向光線偏轉器,其係用以可調整地影響朝向眼睛之光線的傳播路徑的角度方位。在各種實施方式中,傳播路徑的角度偏轉係藉由線性移動注視方向光線偏轉器的有效偏轉表面的位置及/或改變其偏轉角度而達成。在藉由線性移動注視方向光線偏轉器的有效偏轉表面的位置而達成傳播路徑的角度偏轉之情況下,注視方向光線偏轉器可位於系統的光學中繼器內。在藉由改變注視方向光線偏轉器的偏轉角度而達成傳播路徑的橫向偏轉之情況下,注視方向光線偏轉器可位在相對於光線傳播方向之光學中繼器的上游或下游。
在一些實施方式中,相同的可調式偏轉器係配置且可操作以調整與傳播路徑的角度偏轉及橫向偏轉皆有關之傳播路徑的自由度。例如,可調式光線偏轉器的偏轉表面之移動會影響傳播路徑的橫向偏轉,且改變偏轉器的偏轉角度會影響傳播路徑的角度方位,或反之亦然。
在一些實施方式中,眼睛投影裝置包括眼睛追蹤模組,其係配置且可操作以測量眼睛定位資料,眼睛定位資料表示眼睛的注視方向及橫向位置,並用於調整朝向眼睛之傳播路徑。眼睛追蹤模組可例如包括: 追蹤光埠,配置且可操作以提供追蹤光線,追蹤光線受引導而沿著系統的光學組件的一般光學路徑傳播,而且與一或更多可調式光學偏轉器互相作用。追蹤光線入射在眼睛上而引起反射光線,反射光線係追蹤光線從眼睛反射而反向傳播通過光學組件。 一或更多感測器,在沿著一般光學路徑的二或更多不同位置處光學耦合至一般光學路徑,且用以接收反射光線並測量反射光線在二或更多不同位置處的一或更多傳播特性;及 眼睛追蹤控制器,可連接至一或更多感測器及一或更多可調式光學偏轉器。控制器係用以接收來自一或更多感測器的讀出資料(readout data),讀出資料表示反射光線在二或更多不同的位置處的至少一傳播特性,並用以處理讀出資料以確認眼睛定位資料。在一些實施方式中,眼睛定位資料表示眼睛的注視方向與朝向眼睛之光線的傳播路徑方位之間的偏差、及眼睛瞳孔的橫向位置與該傳播路徑之間的偏差。
在一些實施方式中,可調式光學偏轉器包括至少二個上述偏轉器,其係沿著系統的光學路徑而依序設置以定義光學路徑的二個各別偏轉階段,這二個偏轉階段係與藉由二個可調式光學偏轉器而進行偏轉的光學路徑有關。該二或更多感測器係位在不同的位置且分別在這二個偏轉階段處光學耦合至一般光學路徑。控制器可配置且可操作成基於從與這些各別可調式光學偏轉器有關的光學路徑的各別偏轉階段所測量之對應傳播特性,以產生各別可調式光學偏轉器的操作指令。
例如,所測量之傳播特性可為反射光線之傳播離一預定標稱位置的橫向離軸偏差,且控制器可用以處理來自感測器的讀出資料以確認反射光線入射在感測器上的位置並確認感測器上的入射位置與預定標稱位置之間的偏差,並從而確認反射光線的傳播特性。
在一些實施方式中,控制器包括一或更多伺服迴圈,各個伺服迴圈係配置且可操作以將該二個可調式光學偏轉器之各個可調式光學偏轉器連接至該一或更多感測器之一對應感測器,以基於從該對應感測器所獲得之讀出資料(或基於所測量之傳播特性)來產生用於操作各個可調式光學偏轉器的操作指令。
在一些實施方式中,一或更多感測器包括注視方向感測器,注視方向感測器包含複數光偵測器。注視方向感測器係設置以在偏轉階段處從一般光學路徑收集反射光線,偏轉階段係位在反射光線與注視方向光線偏轉器互相作用的位置後方(下游),注視方向光線偏轉器負責調整傳播路徑的角度方位。因此,來自注視方向感測器的讀出資料/資訊係表示眼睛的注視方向與朝向眼睛的傳播路徑之間的角度偏差。
在一些實施方式中,眼睛追蹤控制器包括注視方向控制器,注視方向控制器可連接至注視方向感測器及注視方向光線偏轉器。注視方向控制器係配置且可操作成操作注視方向光線偏轉器,以使反射光線離注視方向感測器的中央之偏差降到最低(低於一預定臨界值以下的位準)。
在一些實施方式中,注視方向控制器包括顫動濾除模組,顫動濾除模組係用以處理來自注視方向感測器的讀出資料並濾除注視方向的角度偏差(這與眼睛的顫動動作有關)。顫動濾除模組可與顫動偏差臨界值相關,並可配置且可操作以處理讀出資料以連續監控注視方向的角度偏差,並且在角度偏差低於顫動偏差臨界值時操作在開放伺服迴圈中,因而不補償與顫動動作有關的偏差,並且在角度偏差大於顫動偏差臨界值時操作在封閉伺服迴圈中,因而補償與眼睛的顫動動作無關的偏差。
在一些實施方式中,追蹤光埠係可操作以輸出追蹤光線作為調變光線。眼睛追蹤控制器包括下列其中至少一者:鎖相模組及帶通濾波器;其中鎖相模組係用以將來自一或更多感測器的讀出資訊與追蹤光線之調變進行相位鎖定,從而抑制與感測器所感測到的IR光雜波有關之雜訊;且帶通濾波器係調諧至追蹤光線的特定波長。
在一些實施方式中,一或更多感測器包括瞳孔位置感測器,瞳孔位置感測器係設置在/光學耦合至光學路徑以在偏轉階段處收集來自眼睛的反射光線,偏轉階段係位於反射光線與瞳孔位置光線偏轉器互相作用位置後方,瞳孔位置光線偏轉器負責調整傳播路徑的橫向位置。因此,來自瞳孔位置感測器的讀出資訊係表示眼睛瞳孔的位置與朝向眼睛之光線的傳播路徑之間的橫向偏差。
眼睛追蹤控制器可包括瞳孔位置控制器,瞳孔位置控制器可連接至瞳孔位置感測器及瞳孔位置光線偏轉器。瞳孔位置控制器係用以處理來自瞳孔位置感測器的讀出資料/資訊並操作瞳孔位置光線偏轉器以至少部份補償眼睛瞳孔的位置與傳播路徑之間的橫向偏差。
在一些實施方式中,眼睛投影裝置包括二個如以上所述之分別用以將影像投影到使用者雙眼的眼睛投影系統:用以將影像投影到使用者雙眼之其中一眼的第一眼睛投影系統,及用以將影像投影到使用者之另一眼的第二眼睛投影系統。在這樣的實施方式中,瞳孔位置控制器可連接至第一眼睛投影系統的瞳孔位置感測器及第二眼睛投影系統的第二瞳孔位置感測器,且用以偵測使用者雙眼的瞳孔位置之「共模」(common mode)移動,並用以區分有關眼睛動作的移動與有關相對於眼睛之眼睛投影裝置的移動。
根據本發明之另一非限制性實施態樣,其提供眼睛追蹤模組,包含: 追蹤光埠,配置以提供追蹤光線; 光學組件,配置以引導追蹤光線沿著朝向眼睛之傳播路徑傳播,光學組件包括至少二可調式光學偏轉器,其係配置且可操作以調整朝向眼睛之傳播路徑的角度方位及橫向位置; 至少二光學感測器,光學耦合至光學組件的一般光學路徑,其係分別與該至少二可調式光學偏轉器有關,以各別感測從眼睛反射回來的反射光線以回應引導追蹤光線朝向眼睛;及 眼睛追蹤控制器,可連接至該至少二光學感測器以接收來自光學感測器的讀出資訊;眼睛追蹤控制器係用以處理讀出資訊以確認分別表示傳播路徑離眼睛的瞳孔位置及注視方向之橫向及角度偏差的資料。
根據本發明之另一實施態樣,其提供用以引導光線從眼睛投影裝置到使用者眼睛的光學組件。光學組件包括至少二可調式光學偏轉器,其係沿著一般光學路徑而設置。該至少二可調式偏轉器係配置以提供調整朝向眼睛之光線的傳播路徑的至少三個(且通常至少四個)自由度。通常,該些自由度之其中二者係與補償眼睛的注視方向之角度改變有關,且該些自由度之其中至少一或二者提供相對於眼睛之眼睛投影裝置的相對位置之差異的補償。
依據本發明之另一非限制性實施態樣,其提供包含眼睛投影系統之眼睛投影裝置,眼睛投影系統係配置以將影像直接投影在眼睛視網膜上,眼睛投影系統包含: (i)影像投影模組,用以將影像投影在眼睛的視網膜上,其包括光模組及影像光線調變器,其中光模組係用以輸出欲投影在視網膜上的光線,且影像光線調變器係沿著光線的一般光學路徑而排列並用以調變光線以形成視網膜上的影像;及 (ii)光學組件,用以引導光線到眼睛,該光學組件包含沿著一般光學路徑而設置的至少二個角度可調式偏轉器,該至少二個角度可調式偏轉器係配置以提供調整朝向眼睛之光線的傳播路徑的至少四個自由度,其中二個自由度係與補償眼睛的注視方向的角度改變有關;且其中二個自由度提供相對於眼睛之眼睛投影裝置的相對位置之差異的補償。
依據本發明之另一非限制性實施態樣,其提供眼睛追蹤模組,包含: (i)光學模組,其定義朝向眼睛之光線傳播的一般光學路徑。該光學模組包括: a. 注視方向光線偏轉器,其係配置且可操作成在二個角度維度上可調整地偏轉一般光學路徑,以補償眼睛的注視方向之差異。 b. 光學中繼器,其包括至少二個隔開的光學元件,光學元件之間定義一主焦點平面;及 c. 瞳孔位置光線偏轉器,其位於主平面且係配置且可操作成在二個橫向維度上可調整地偏轉一般光學路徑,以補償眼睛瞳孔的橫向位置之差異; (ii)IR光源,其係配置且可操作以輸出一IR光線,IR光線受引導而沿著一般光學路徑傳播,並與注視方向及瞳孔位置光線偏轉器互相作用。 (iii)至少二光學感測器,各個光學感測器包括複數IR光線偵測器(例如:四象限感測器(quadrant sensor))。該至少二光學感測器係設置以收集反射IR光線,其係與從眼睛視網膜反射回來之IR光線有關。該至少二光學感測器包括: a. 瞳孔位置感測器,其係設置以偵測反射IR光線(在反射IR光線與瞳孔位置光線偏轉器互相作用後);及 b. 注視方向感測器,其係設置以收集反射IR光線(在反射IR光線與注視方向光線偏轉器互相作用後);及 (iv)眼睛追蹤控制器,其係可連接至該至少二光學感測器以從該至少二光學感測器接收讀出資訊。眼睛追蹤控制器係用以處理讀出資訊,以確認表示眼睛的瞳孔位置離一般傳播路徑之橫向偏差的資料,及確認表示眼睛的注視方向離一般傳播路徑之角度偏差的資料。
在本發明的一些實施方式中,眼睛追蹤模組的IR光源係可操作以輸出IR光線作為調變光線。因此,眼睛方向控制器包括一鎖相模組,鎖相模組係用以將來自該些光學感測器其中至少一者的讀出資訊與IR光線的調變進行相位鎖定,並從而抑制與光學感測器其中至少一者所感測到之IR光雜波有關的雜訊。
應注意到,在以下說明中,用語「縱向及橫向軸/方向」係用來指示沿著光學/傳播路徑而傳播之光線的局部座標系統中的軸或方向。橫向座標涉及正交於光線之傳播方向的二個垂直軸,且縱向座標係對準傳播方向。
本文之用語「偏轉或偏轉器」係用以指示藉由任何物理機制(包括且不限於折射、反射、及繞射)來影響/改變光線方向的任何光學模組。因此,用語「可調式光學偏轉器」亦指示可調式偏轉器或可調式光線偏轉器,且這些用語係於此用以指示一種偏轉器,例如光線偏轉特性可受到控制(如藉由對其施加適當的電子、聲音、或任何其他類型的控制信號)的光電式偏轉器或聲光式偏轉器及/或可調整式鏡子。
一起參考圖1A至1F,其示意性地繪示根據本發明的六個實施方式之眼睛投影裝置100的方塊圖。應注意,為了清楚說明起見,故將具有類似/相同功能的共同元件/模組及/或元件/模組以相同參考數字標示在本申請案的所有圖式中。
眼睛投影裝置100包含眼睛投影系統101,其係配置以將影像直接投影在眼睛(EYE)的視網膜上。眼睛投影裝置100可例如為擴增或虛擬實境鏡片(眼鏡)的一部份且可包括二個眼睛投影系統(如眼睛投影系統101),其係各自用於將光線LB(例如光線編碼影像)投射在人類雙眼其中之一的視網膜上。為了清楚說明起見,在這些圖式中僅特別顯示一個眼睛投影系統101。
眼睛投影系統101包括光學組件150,光學組件150定義其中之光傳播的一般光學路徑OP(general optical path)(例如:在其光學入射埠/瞳孔EN與其光學出射埠/瞳孔EP之間)。光學組件150包括偏轉器配置,其係設置在入射埠與出射埠(EN與EP)之間,且包括一或更多可調式光學偏轉器(例如130及/或140),該一或更多可調式光學偏轉器係沿著該一般光學路徑OP而設置,且係配置以定義光線的可調整傳播路徑PP(在光線從出射埠/瞳孔EP離開之後,而在光學組件150與眼睛EYE之間傳播)。
應注意到,用語「入射埠/瞳孔EN」及「出射埠/瞳孔EP」未必是指系統的實際元件,且在此用以表示與光學路徑OP相交(如垂直於光學路徑)的特定平面/孔徑(如虛擬平面及/或光學表面),且光線分別穿過入射埠與出射埠而進入及離開光學組件。
一般而言,根據本發明,這些光學偏轉器(例如130及/或140)係配置有至少三個可調整偏轉參數,例如其可有關相對於一或二旋轉軸之光學偏轉器的可調整偏轉角度,及/或有關其沿著光學組件的一般路徑之偏轉位置的可調整移動。光學組件150(例如其偏轉器配置)係配置以使該至少三個可調整偏轉參數能影響傳播路徑PP的偏轉,以提供至少三個自由度來調整朝向眼睛EYE之光線LB的傳播路徑PP。根據本發明的技術,這些自由度其中至少二者(其係由該些偏轉器的偏轉參數所控制)係與朝向眼睛之傳播路徑PP的二個角度方位(俯仰PC及偏擺YW)有關。這允許偏轉器的偏轉參數之調整(偏轉器之操作)能調整朝向眼睛之傳播路徑PP的角度方位,以補償眼睛EYE的注視方向的角度改變。此外,根據本發明的技術,該些自由度其中至少一者(通常是二個自由度)係與傳播路徑PP的橫向偏轉有關。這允許偏轉器的偏轉參數之調整能補償相對於眼睛EYE之投影系統101的相對橫向位置的差異。
通常,光學組件150的偏轉器配置包括至少二個可調式偏轉器130及140,藉此以空間上分開的關係來排列該些偏轉器,以使該些偏轉器與進入光學組件150的光線LB依序互相作用並定義其一般光學路徑OP。
然而,如圖1D所示之範例,在僅需要控制傳播路徑PP的三個自由度的一些實現方式中,光學組件之中可包括具有三個可調整偏轉參數的單一可調式偏轉器130。在圖1D的範例中,單一可調式偏轉器130的三個可調整偏轉參數包括:偏轉器130沿著光學路徑OP之位移/移動(displacement/translation),及偏轉器130在二個維度上(相對於或繞著X及Y二個旋轉軸)的偏轉角度之調整。在此範例中,偏轉器130係設置在光學組件150之中,以使這三個偏轉參數能提供相對於二個角度/旋轉軸之傳播路徑PP的角度方位的控制,從而實施眼睛EYE的注視方向的俯仰及偏擺改變之補償,及相對於眼睛投影系統101之眼睛EYE的相對垂直位置或眼睛EYE的相對水平位置之補償。上述後者允許不同使用者之間的瞳孔間距的差異之補償,或相對於眼睛EYE的瞳孔之眼睛投影裝置100的垂直位移之補償。
通常,亦如圖1A、1B、1C、1E及1F所示,光學組件係實現成具有二或更多可調式光學偏轉器(例如130及140),該些可調式光學偏轉器具有至少一額外的偏轉參數,從而定義了提供傳播路徑PP的至少四個自由度之調整的至少四個偏轉參數,該些自由度之其中二者提供眼睛的注視方向之角度、俯仰、及偏擺改變之補償,且二個自由度提供在二空間橫向軸(例如X及Y)上之相對於眼睛EYE之投影系統101的相對橫向(垂直及水平)位置差異之補償。
在一些實施方式中,眼睛投影裝置100包括光線方向控制器164(以下亦僅稱為控制器),其係用以接收表示眼睛的注視方向之改變及/或相對於眼睛之眼睛投影系統101的相對橫向位置之改變的資料,且其係配置並可操作成根據此資料來調整可調式光學偏轉器(130及/或140)的偏轉參數,以引導光線入射在眼睛視網膜上的特定位置上,而與眼睛的注視方向之差異無關,且與相對於眼睛EYE之眼睛投影系統101的垂直(如Y軸)或水平(如X軸)橫向位置之差異無關。
就此而言,應瞭解在本發明的一些實現方式(例如類似圖1A、1D、1E及1F所示之實現方式)中,光學組件150(例如其中的偏轉器之設置)係配置以使偏轉器130及/或140的各個可調式偏轉器參數成為影響傳播路徑PP的某一特定自由度之原因(傳播路徑的俯仰及偏擺方位其中一者,或傳播路徑PP的水平及垂直位移其中一者),而不影響傳播路徑PP的其他自由度。因此,在這樣的實施方式中,藉由調整各別偏轉器130或140的各別偏轉參數,控制器164可用以補償眼睛EYE的注視方向之改變,而不調整/改變其他偏轉器的狀態或其他偏轉參數。在此情況下,藉由調整各別偏轉器(130或140)的對應偏轉參數,控制器164亦可用以補償眼睛EYE或其瞳孔的相對橫向位置之改變,而不調整/改變其他偏轉器的狀態或其他偏轉參數。
換言之,在本發明的一些實施方式(如圖1A、1D、1E及1F所示)中,負責調整傳播路徑PP的方位(俯仰/偏擺)以致和眼睛EYE的注視方向匹配之可調式偏轉器的偏轉參數係與傳播路徑PP的橫向位置之調整解聯(亦即,其實質上不影響傳播路徑PP的橫向位置);及/或反之亦然,負責調整傳播路徑PP的橫向(X或Y)位置以致和眼睛EYE的瞳孔位置匹配之可調式偏轉器的偏轉參數係與傳播路徑PP的方位之調整解聯。以下為了清楚及簡潔起見,故將此特徵(其實現在本發明的一些實施方式中)稱為「解聯特徵」(decoupling feature)。實現解聯特徵之實施方式提供了數個優點。這時應注意到,相較於瞳孔的位置(其改變發生在數百毫秒的時間幅度,且大多由眼睛裝置相對位置所引起),通常眼睛EYE的注視方向改變迅速/頻繁許多(例如:有時每秒超過10次,而典型加速度為2000至4000 deg/sec2 且持續時間介於50與400毫秒之間)。就此而言,應瞭解以下敘述:掃視係純粹的眼睛動作,其係由使用者的視覺及感知負荷所定義,且因此在上述參數的情況下每秒發生數次。瞳孔的位置主要為橫向動作,並且係由眼睛至裝置的相對位置所定義。諸如環境震動之參數中,裝置動作(滑動)是最大的貢獻因素。這些是由相對低頻及「共模」所定義,共模意謂著雙眼有些微類似的動作。因此,將調整朝向瞳孔位置之傳播路徑的偏轉參數與調整傳播路徑的參數解聯是相當有成本效益的,因為在此情況下,其快速可調式光學偏轉器/偏轉參數僅需為與傳播路徑的方位有關(與注視方向有關)的偏轉參數,而用以調整瞳孔位置的可調式偏轉器/偏轉參數在此情況下可較慢許多,且因此更具成本效益。
上述之解聯方法的顯著優點為:其能利用具有大量減少的Theta*D 參數(例如表示可調式偏轉器的最大偏轉角度Theta 與偏轉器的特徵尺寸(直徑)D 之乘積的參數)之光學組件150,而這一直具有挑戰性。舉例而言,具有明顯較小的Theta*D 參數之可調式偏轉器130及/或140可用於圖1D及1E的實施方式中,其係藉由橫向移動小孔徑偏轉器/鏡(小的Theta*D 乘積)以代替具有大的Theta*D 乘積的大偏轉器/鏡,並即時使附近光線移動。此外,在實現本發明之解聯特徵的實施方式中,控制器164可配置且可操作成基於表示已改變之眼睛的各別自由度(注視方向/瞳孔位置)的改變之資料來獨立地調整各個偏轉參數,而排除使用與複數偏轉器/偏轉參數有關之複雜調整的參考資料以補償該些自由度其中一者之改變的需要。
在本發明的一些實施方式中,眼睛投影系統101包括光中繼器145(例如可操作以中繼光線,而從一光學表面會聚至另一光學表面)。光中繼器145可例如包括至少二光學元件或二組光學元件(145.1及145.2),其具有各別屈光力(optical power),且其係沿著光學組件150的光學路徑OP(光線LB傳播路徑)設置而在其間形成/定義一主平面P。應瞭解在以下內容中,有關光中繼器145所使用之用語「光學元件」(145.1及/或145.2)表示具有屈光力的單一元件或一組(或多組)複數元件,(例如二組,而各組之中包括二或更多光學元件)。應注意到用語「光學組件/元件的主平面P」於此係用以表示光學組件/元件(如鏡片/偏轉器系統)的實際或虛擬/假想平面,與光學組件/元件互相作用之各種光線(或其虛擬延伸)的所有折射/反射能視為在此發生。
在全部圖1A至1F所顯示之範例中,眼睛投影裝置包括一選擇性眼鏡鏡片102。眼睛投影系統101係顯示成光學耦合至眼鏡鏡片102,以使來自眼睛投影系統101的光線藉由眼鏡鏡片102的至少一表面(例如反射/部份反射表面)而沿著傳播路徑PP導向眼睛EYE。為此目的,可將光學系統設置在眼睛後方(例如在使用者的耳朵/臉頰附近、或在眼鏡的柄部處)。鏡片102的反射/部份反射表面之一範例可指定為曲面,例如橢圓鏡。鏡片102的反射/部份反射表面係沿著光學/傳播路徑OP/PP而設置,以使其聚焦在掃描鏡/偏轉器120之光學樞軸點的位置(見下文,掃描鏡120係影像投影系統190的偏轉器,其負責在視網膜上掃描/移動光線LB,例如在視網膜上描繪影像),其中樞軸點的位置可為掃描鏡之樞軸的實際位置或藉由光學中繼器(例如145)而自該實際位置進行光學中繼之該樞軸的虛擬位置。因此,掃描偏轉器150的樞軸點與橢圓鏡102的焦點一致,從而在系統的出射瞳孔處或在該系統/光學組件的第二焦點之共軛平面處產生扇形的光線。
根據本發明的一些實施方式,眼睛投影系統101包括影像投影模組190,其係配置且可操作以輸出欲投射在眼睛EYE的視網膜上之影像投影光線LB(如利用影像資訊進行調節/圖案化之光線),從而在視網膜上產生影像。光學組件/系統150係配置且可操作成將影像投影光線LB引導至眼睛EYE(例如在一些情況下,經由眼鏡鏡片102將引導光線LB到達眼睛)。
應注意到,本發明的光學組件150包括眼睛追蹤光學模組/偏轉器(例如注視方向光線偏轉器130及瞳孔位置光線偏轉器140,且例如包括如元件145的相關光學裝置),其可實現(配置且可操作)為獨立的眼睛追蹤系統(例如:可獨立於影像投影模組190而使用者)。
現在具體參考圖1A,光學組件150包括可調式偏轉器配置,該偏轉器配置包括至少二個可調式偏轉器130及140,可調式偏轉器130及140係角度上可調整的偏轉器,因而能控制/調整其偏轉角度。此二個角度可調式偏轉器130及140係以空間上分開的關係、沿著光學組件的一般光學路徑OP而設置。此二個角度可調式偏轉器130及140可各自包括例如二維角度可調式偏轉器,其可藉由可控制的反射、折射、或繞射作用而具可操作性,且其可配置成例如為:單一鏡子,其係裝設成在二維樞轉/旋轉/傾斜軸上致動;及/或光電二維角度可調式偏轉器;及/或聲光二維角度可調式偏轉器(二次通過系統僅與聲光佈置有關且意欲增加偏轉角度或繞射效率);及/或沿著光學路徑OP而依不同/正交傾斜/偏轉軸排列的一對一維可調式偏轉器(例如:一對一維式可調整機械偏轉器(如可傾斜式鏡子)、及/或光電偏轉器、及/或聲光偏轉器、及/或楔形板)。
該至少二個角度可調式偏轉器係沿著光學路徑OP而設置在適當的位置,以使其配置且可操作以提供用來調整朝向眼睛EYE之光線LB的傳播路徑PP的至少三個自由度(且通常至少四個)。如以上所示,該些自由度其中二者係與補償眼睛EYE的注視方向之角度改變有關(補償注視方向的俯仰及偏擺改變),且其中至少一個自由度(通常是二個自由度)係提供以補償相對於眼睛EYE之眼睛投影裝置100的相對橫向位置之差異;例如相對橫向(垂直/Y軸及/或水平/X軸)位置之差異。
在圖1A所顯示之具體範例中,該至少二個角度可調式偏轉器130及140係二維角度可調整鏡。具體而言,在此範例中,各偏轉器包括機械式/電子式及/或聲學式可控制偏轉器(例如包括或功能類似一可調整/可傾斜式鏡子,其包括裝設在適當的二維平衡環/樞軸上之反射表面),從而允許將反射表面定位在相對於二旋轉軸的各個方向上。然而應瞭解到,一般而言,可使用偏轉角度能在二個角度維度上進行調整的任何合適的光偏轉模組。舉例而言,此可包括藉由以下方式形成之機械式偏轉器:一偏轉光學表面,例如裝設在二維平衡環/樞軸上的鏡子;及/或二個鏡子/反射表面,其各自裝設在至少一維平衡環上;及/或光電/聲光偏轉器,其二維偏轉角度可藉由施加適當電壓來控制;及/或能藉由使用合適的聲光(如繞射式)偏轉模組及其他眾所周知的偏轉系統的方式形成。
在圖1A的實施方式中,該光學組件包括光中繼器145,其包括至少二個光學元件/群組145.1及145.2(其具有各自的屈光力)。光學元件/群組145.1及145.2係沿著光學路徑OP而設置,以使其間的距離匹配其焦距。因此,光中繼器145的主平面P係所定義成沿著光學路徑OP而在光學元件145.1與145.2之間,主平面P係分別與元件145.1及145.2距離其各自焦距。這使得從光中繼器145的一側進入光中繼器145並與其第一個光學元件(例如光學元件/群組145.1)互相作用的準直光線(可例如為LB)聚焦在主平面,並接著在與光學中繼器的第二個元件(例如光學元件/群組145.2)互相作用之後,光線從中繼器145的另一側離開,並再次變得準直。
因此,光學中繼器(如以上所述之145)具有以下特性:中繼器外部之光線離中繼器的中央光學軸之橫向偏差係轉換成中繼器的主平面處之光線傳播方向的各別角度偏差,且反之亦然。
本案發明人已發現以下情況:藉由在中繼器145之內設置一或更多角度可調式偏轉器(在元件/群組145.1與145.2之間且沿著光學路徑OP),而可將光學中繼器的上述特性用來調整朝向眼睛之傳播路徑PP(在光學中繼器外部、介於光學組件與眼睛之間)的橫向偏轉。本發明之此實現方式係概要地顯示在圖1A。
因此,在圖1A的實施方式中,角度可調式光線偏轉器140係沿著光學路徑OP而設置在光中繼器145之內,且角度可調式光線偏轉器140係配置且可操作為瞳孔位置光線偏轉器140。藉由控制/改變其角度偏轉狀態/角度,使光中繼器145之內的光傳播路徑OP的方向改變,進而相對於一橫向軸(例如垂直於傳播路徑的X或Y)、或垂直於傳播路徑、或相對於兩橫向軸(X及Y)而使朝向眼睛之光線的傳播路徑PP的橫向位置偏轉。換言之,瞳孔位置光線偏轉器140係可操作成使光線LB離開眼睛投影系統101的出射埠EP的位置產生橫向偏轉。這顯示在圖1A中的光線軌跡RT。
在圖1A的實施方式中,傳播路徑PP的橫向偏轉係藉由在一個或二個維度(俯仰及/或偏擺)上改變光中繼器145之內的瞳孔位置光線偏轉器140的偏轉角度而達成,以使偏轉角度的如此改變能影響光學中繼器之內的一般光學路徑OP的角度方位,並因此修改光中繼器145外部之朝向眼睛EYE之光線的傳播路徑PP的橫向(X或Y)位置。為此,在一些實施方式中,瞳孔位置光線偏轉器140可為一維角度可調式偏轉器,其具有相對於一個角度方位(俯仰或偏擺)之角度上可調整的偏轉角度,故具有一個可控制偏轉參數來控制相對於橫向軸X或Y其中唯一者的傳播路徑PP的橫向位置。替代性地,瞳孔位置光線偏轉器140可為二維角度可調式偏轉器,其具有相對於二個角度方位(俯仰及偏擺)之角度上可調整的偏轉角度,故具有二個可控制偏轉參數來控制相對於橫向軸X及Y兩者的傳播路徑PP的橫向位置。
在一些實施方式中,瞳孔位置光線偏轉器140係位在光學中繼器的主平面處,以使瞳孔位置光線的偏轉角度之調整能修改朝向眼睛之光線的傳播路徑的橫向位置,而不影響朝向眼睛之傳播路徑的角度方位。藉此實現本發明的解聯特徵。
因此,瞳孔位置光線偏轉器140可在角度上傾斜/旋轉以移動光線LB的光學路徑OP,以補償相對於裝置100之眼睛EYE的位置差異/改變。考量眼睛投影系統101係裝設在擴增/虛擬實境鏡片上的情況,眼睛投影系統101與眼睛EYE之間的相對位置差異可能是由於使用此擴增/虛擬實境鏡片之每位使用者的臉部結構不同(例如:雙眼的瞳孔間距、及/或鼻樑的高度);並且當裝置100在使用者臉上的位置移動時,此相對位置亦可能改變。瞳孔位置光線偏轉器140可操作成可調整地使光線LB偏轉,以致改變/控制光線LB在一個或二個橫向維度(例如:垂直及水平橫向方向(圖中的Y及X),其係實質上正交於傳播路徑PP)上離開眼睛投影系統101的出射瞳孔EP的橫向位置。控制/移動傳播路徑PP從系統101的出射埠EP之橫向離開位置,以致引導光線LB朝向眼睛EYE的瞳孔,同時補償相對於眼睛投影系統101(例如相對於其出射埠EP)之眼睛瞳孔的橫向位置差異/改變。
如圖1A所示,光學組件150包括另一可調式光學偏轉器130(在此範例中,其係二維角度可調整),其係作為(配置且可操作)注視方向光線偏轉器。注視方向光線偏轉器130係沿著光學組件的光學路徑OP而設置,使得當其偏轉角度受到調整時(例如使其光學偏轉表面的角度傾斜/旋轉),其使朝向眼睛EYE之光線LB的傳播路徑PP的角度偏轉,從而使其傳播方位移動。因此,注視方向光線偏轉器130係可操作以補償眼睛EYE的注視方向上的角度(俯仰及偏擺)改變。
為此目的,在包括光中繼器145的本發明之實施方式中,注視方向光線偏轉器130可為沿著光學組件150的光學路徑OP而設置在光中繼器145外部(上游或下游)之角度可調式光線偏轉器(其偏轉角度可受到調整)。此顯示在圖1A至1F之中。因此,無論設置在光中繼器145的上游或下游,偏轉角度(偏轉器方位)的調整/改變將影響傳播路徑PP的角度方位(俯仰及/或偏擺)。
熟悉本領域之技術者在知道本發明後將瞭解到注視方向光線偏轉器130可設置在光中繼器145位置之前/之後,使得改變其偏轉角度不會影響朝向眼睛之傳播路徑PP的橫向偏轉/位置。因此,這樣的實施方式實現了以上所述之解聯特徵。舉例而言,在注視方向光線偏轉器130為角度可調式光學偏轉器的一些實施方式中(不論其係設置在光中繼器145之前/上游、於光中繼器145的第一光學元件/群組145.1的焦點平面處,或係設置在光中繼器145之後/下游、於光中繼器145的第二光學元件/群組145.2的焦點平面處),皆使得改變注視方向光線偏轉器130的角度偏轉狀態/角度能影響傳播路徑PP的角度方位(俯仰PC及/或偏擺YW),而不影響傳播路徑PP的橫向(X及/或Y)位置。
替代性地,見圖1F,在包括光中繼器145的一些實施方式中,注視方向光線偏轉器130可係一可移動的可調式光線偏轉器,其係沿著光學路徑OP而設置在光中繼器145之內,且其係配置且可操作成線性移動,以致其與光學路徑OP的互相作用能使光學中繼器之內的光學路徑OP橫向移動(例如:使光學路徑在X及/或Y方向上偏轉),從而影響光中繼器145下游之光線的傳播路徑PP的角度方位。熟悉本領域之技術者在知道本發明後將瞭解到,在注視方向光線偏轉器130係設置成使其在光學中繼器中的移動能使其位置維持在光中繼器145的主平面P之上/附近的情況下,受到此移動影響的光學中繼器之內的光學路徑OP的橫向偏轉將被轉換成光中繼器145下游之傳播路徑PP的俯仰及/或偏擺方位的純粹角度偏轉(對傳播路徑PP的橫向偏轉/位置沒有影響),因而造成注視方向光線偏轉器130的角度偏轉參數與傳播路徑PP的橫向(X、Y)位置之間的解聯現象(decoupling)。
在圖1A的具體且非限制性之範例中,注視方向光線偏轉器130係設置在光中繼器145之前/上游,以使其可操作成在角度上控制一般光學路徑OP的方向,光線LB係沿著光學路徑OP而傳播至眼睛EYE。然而,應注意到在根據本發明之其他實施方式之眼睛投影系統101的光學配置的各種實現方式中,亦可將注視方向光線偏轉器130設置在沿著光學路徑OP的不同位置。例如,可將圖1A至1E的非限制性範例修改成使注視方向光線偏轉器130設置在光中繼器145之後。事實上,就注視方向光線偏轉器130的要求尺寸/大小而言,將注視方向光線偏轉器130設置在光學中繼器之前會比較有利,因為相較於將注視方向光線偏轉器130設置在光中繼器145之後(其下游)的情況,將注視方向光線偏轉器130設置在光中繼器145之前(其上游)通常能允許使用較小許多的偏轉器。這使得設置在其上游的選擇更適合本發明的一些實現方式,因為較小的偏轉器一般具有較小的尺寸及重量,且通常較具有成本效益。
因此,注視方向光線偏轉器130允許再引導傳播路徑PP(光線LB沿著此傳播路徑PP而傳播至眼睛EYE)的角度方位(俯仰PC及/或偏擺YW),致使傳播路徑PP以相對於眼睛的視線LOS(注視方向)維持固定的角度方位入射到眼睛EYE。因此,當裝置100的使用者改變其注視方向(改變其視線LOS)時,注視方向光線偏轉器130可操作成使光學路徑OP移動,而能以視線移動前的相同方位將光線LB引導至眼睛EYE的瞳孔,且因此將光線LB投射/聚焦在視網膜的相同位置上。故即使當使用者改變其注視時,藉由光線LB投影在視網膜上的影像因此維持在視網膜上的相同位置。
通常,注視方向光線偏轉器130係配置成二維可調式偏轉器,其可受到控制以可調整地使光線在二個角度維度上偏轉,以補償眼睛EYE的注視方向LOS的水平及垂直改變。因此,藉由眼睛投影系統101投影在視網膜上的影像之位置可維持固定,而與眼睛EYE的注視方向上的水平及/或垂直改變無關。
因此,如以上關於圖1A所述內容和以下對於圖1B至1F所述內容,可調式光學偏轉器130及140提供了使朝向眼睛之光線LB的傳播路徑PP的橫向位置(X及Y)及角度方位(俯仰PC及偏擺YW)偏轉之手段。此允許補償眼睛/瞳孔EYE的位置之橫向改變及補償眼睛的視線(注視方向)LOS之改變,並且即使在眼睛投影裝置100相對於眼睛EYE移動、或使用者改變其注視方向LOS的情況下,亦能使影像/光線LB的投影維持在視網膜上的實質固定位置。通常,瞳孔位置光線偏轉器140提供引導光線LB的至少一個自由度(且通常是二個),且注視方向光線偏轉器130提供引導光線LB的另外二個自由度。總計,三或四個自由度包括:至少一個(垂直X)且通常是二個(X及Y)的橫向自由度(其提供瞳孔位置改變的補償),及二個角度自由度(其調整光線的上下(俯仰)PC及左右(偏擺)YW方位,以補償注視方向的改變)。
現在參考圖1B,在本發明的一些實施方式中,瞳孔位置光線偏轉器140亦可設置且排列在光中繼器145(或者,系統可選擇性地不包括光中繼器145)外側。例如,瞳孔位置光線偏轉器140可設置在系統101的出射埠/瞳孔EP的附近。
圖1B中所示之眼睛投影裝置100係可操作成類似如圖1A所示者,除了此處之可調式光學偏轉器140係沿著光學路徑OP而設置在光中繼器145之後的角度可調式偏轉器(在光中繼器145外側,例如不在光學中繼器145的光學元件/群組145.1與145.2之間)。圖1B之眼睛投影裝置100的其他元件/模組可配置成類似本文所述之有關圖1A的對應元件/模組,且因此將不再詳細敘述有關圖1B的這些元件。
在圖1B的非限制性範例中,瞳孔位置光線偏轉器140係配置成與額外的光線偏轉器BD(例如一靜態光線偏轉器/反射表面)一起操作。於此,額外的光線偏轉器BD的反射/折射表面的形狀/曲率係配置以將角度偏轉(藉由瞳孔位置光線偏轉器140偏轉光線LB)轉換成光線LB的橫向移動。換言之,此額外的光線偏轉器BD係配置以使瞳孔位置光線偏轉器140的偏轉方位之修改/調整能影響朝向眼睛EYE之光線LB的傳播路徑的橫向移動(亦即,能移動圖中所顯示之X及/或Y方向上的傳播路徑),從而使光線LB的傳播路徑移動,以便追蹤眼睛EYE的瞳孔位置。這可藉由例如以下方式達成:將額外光線偏轉器BD的位置及焦度(focal power)配置成使其焦點平面與瞳孔位置光線偏轉器140所在之平面實質上一致。
在圖1A及1B所示之實施方式中,光線偏轉器140(其主要係負責/可操作傳播路徑PP的橫向偏轉)係位於光線偏轉器130(其主要係負責傳播路徑PP的方位角度偏轉)之後。具體而言,在這些範例中,其係位於光中繼器145之內(例如在光學元件145.1與145.2之間)或光中繼器145之後。這樣的配置可能需要光線偏轉器140具有相當大的尺寸,以使其涵蓋光線偏轉器130的角度展度,而且若系統必須具備小型尺寸及成本效益,則眼睛投影系統101的實現方式可能因此較不具優勢。
為此,圖1C至1E顯示了本發明的其他實施方式,其中光線偏轉器140主要係負責/可操作傳播路徑PP的橫向偏轉,光線偏轉器140係位於光線偏轉器130之前或與光線偏轉器130整合,並且若後者情況係包括在系統中的情況下,則光線偏轉器140係位於光中繼器145之前。在所有這些實施方式中,光線偏轉器130係配置成類似有關圖1A之以上敘述。具體而言,在所有這些實施方式中,光線偏轉器130係位於光中繼器145之前的角度可調式光學偏轉器,較佳地位於光中繼器145之第一光學元件/群組145.1的焦點平面,且光線偏轉器130主要係負責且可操作為調整傳播路徑PP的角度方位。
現在參考圖1C,在本發明之此實施方式中,光線偏轉器140(其主要係負責/可操作為調整傳播路徑PP的橫向偏轉)係一角度可調式偏轉器,其係沿著光學組件150的光學路徑OP而設置在光線偏轉器130(其主要係負責/可操作為調整傳播路徑PP的角度方位)之前/上游。光線偏轉器140係一角度可調式光學偏轉器,其可在一或二個維度上(俯仰及/或偏擺)調整角度以使傳播路徑PP的橫向位置相對於橫向軸X及Y其中一或二者而偏轉。事實上,如同圖1C中之光線軌跡RT可見,光線偏轉器140的角度偏轉狀態/角度之改變將影響光線LB照射在光線偏轉器130上的橫向位置,且因此還影響光線進入光中繼器145的橫向位置,並且因此影響光線離開光中繼器145後之傳播路徑PP的橫向位置。
然而,亦如同圖1C中之光線軌跡RT可見,改變光線偏轉器140的角度偏轉參數不僅影響光線進入光中繼器145的橫向位置,而且還影響光線LB的傳播方向(在其進入光中繼器145之前),且因此亦影響傳播路徑PP的角度方位。為此,在此實施方式中,雖然較小的可調式光學偏轉器140可用以控制光學路徑PP的橫向位置(相較於圖1A及1B的實施方式),但光學偏轉器140的偏轉參數並未與傳播路徑PP的角度方位(俯仰/偏擺)自由度解聯。因此,為了調整有關傳播路徑PP的橫向位置的自由度,而調整瞳孔位置偏轉器140的偏轉參數,亦可能需要調整注視方向偏轉器130的偏轉參數以補償在傳播路徑的方位上之瞳孔位置偏轉器140的影響,且反之亦然。此可藉由例如下列方式來達成:利用適當配置且可操作以調整偏轉器130及140兩者狀態之控制器164,以補償眼睛EYE的注視方向或瞳孔位置的各自改變。
然而,如以上所示,在本發明的一些實現方式中,偏轉器130及140其中每一者的偏轉參數較佳地係專獨與傳播路徑PP的一些各別自由度之調整有關。具體而言,偏轉器130的二個偏轉參數(有關相對於二個維度的偏轉特性)係較佳地唯獨負責與眼睛的注視方向的俯仰及偏擺有關之傳播路徑的角度方位自由度,且偏轉器140的一或二個偏轉參數(有關相對於一或二個維度的偏轉特性)係較佳地唯獨負責與眼睛/瞳孔的垂直及水平位置有關之傳播路徑的橫向位置自由度。這是一項優點,因為這允許特別配置各個偏轉器,以匹配特定眼睛移動/定位特性。例如,這允許利用慢速且具成本效益的偏轉器130來調整朝向瞳孔位置之傳播路徑PP的橫向位置,及利用快速且靈敏的偏轉器140來回應注視方向的改變(例如可包括快速顫動或掃視動作)。
現在一起參考圖1D及1E,其繪示本發明的二個實施方式,這二個實施方式係配置且可操作以實現上述之解聯特徵。此外,有利的是在這些實施方式中,所有的可調式偏轉器係位於光中繼器145之前,且因此可相對較小/小型(相較於偏轉器其中一者係位於光中繼器145之內或上游的實施方式)。
具體而言,在圖1D及1E的實施方式中,可調式偏轉器130係配置且可操作成注視方向光線偏轉器及瞳孔位置光線偏轉器兩者,其中偏轉器130沿著光學組件的光學路徑之移動會影響傳播路徑PP的橫向偏轉,且其角度上的偏轉角度/狀態之改變會影響傳播路徑PP的角度方位。
更具體而言,在圖1D的實施方式中,光學組件僅包括具有三個可調整偏轉參數的一個可調式偏轉器130,其中包括有關偏轉器的俯仰及偏擺偏轉方位的二個偏轉參數及有關偏轉器沿著光學組件的部份(其係位於偏轉器130之上游)而移動(如線性移動)的一個偏轉參數。
為此,偏轉器130係配置以使其光學偏轉表面能沿著光學路徑OP移動,致使偏轉器130或其表面沿著光學路徑OP往其上游移動能影響在光線進入光中繼器145之前的偏轉器130下游之光學路徑OP的橫向位移(沿著一軸;例如Y)(選擇性的)。因此,如圖中所示之光線軌跡RT,這影響了在對應的橫向方向/軸(例如Y)上之傳播路徑PP的橫向移動,且因此提供對於在此橫向方向/軸上之瞳孔/眼睛EYE位置改變的補償。因此,在此實施方式中,可調式光學偏轉器130係配置為瞳孔位置偏轉器,其中藉由沿著光學組件的光學路徑OP而移動瞳孔位置光線偏轉器的位置以改變交點位置(光線在此處從偏轉器130偏轉)來達成傳播路徑的橫向偏轉。
偏轉器130亦係配置以使其角度偏轉方位通常在個二方位上(俯仰及偏擺)可調整。此操作類似如以上有關注視方向光線偏轉器之敘述,藉由改變偏轉器的偏轉角度而使光線/光學路徑OP進入光學中繼器的方位改變(選擇性的),且因此亦改變傳播路徑PP的方位。這允許補償眼睛EYE的注視方向之改變。
較佳地,為了使調整傳播路徑PP的橫向移動之偏轉參數(偏轉表面的移動)與調整傳播路徑PP的角度方位之偏轉參數兩者解聯,故將偏轉器130配置成如下:執行其移動以使偏轉器的偏轉表面維持在光中繼器145之第一光學元件145.1的焦點平面附近或之內。因此,偏轉器130的移動步驟調整傳播路徑PP的橫向位置,而不影響傳播路徑PP的俯仰/偏擺角度方位。
在此範例中,光學組件包括光學中繼器,且偏轉器130係位於光學中繼器145上游(相對於光線通過光學組件的傳播方向)。偏轉器配置(包括可調式光學偏轉器130及選擇性地亦包括其他可調式光學偏轉器,如圖1E中的偏轉器140)的偏轉表面具有實質上不超過7毫米的橫向尺寸。
現在參考圖1E,此處的光學組件大致類似以上所述之圖1D所顯示者,除了此處的瞳孔位置光線偏轉係藉由二個可沿著光學路徑OP移動的可調式光學偏轉器來達成,如下:(i)可調式光學偏轉器130係如圖1D般配置且可操作成相對於一橫向軸(例如Y)來調整光學路徑的橫向位置,並且亦調整有關光學路徑的角度方位的自由度;及(ii)額外的可調式光學偏轉器140係配置且可操作成使其光學偏轉表面能與偏轉器130的光學表面在偏轉器140上游沿著光學路徑OP的方向一起移動。因此,這樣的移動影響了偏轉器140及130下游沿著光學路徑OP的橫向軸(例如X)之橫向位移。
因此,圖1E實施方式的偏轉器配置提供了以下配置:二個可調式光學偏轉器130及140可沿著第一橫向軸(例如X)一起移動,以影響相對於第一橫向軸之朝向眼睛之傳播路徑PP的相對橫向偏轉。這二個可調式光學偏轉器130其中一者係可沿著第二橫向軸(例如Y)獨立移動,以影響相對於第二橫向軸之朝向眼睛之傳播路徑的相對橫向偏轉。可調式光學偏轉器130的角度亦可調整(較佳地為二個角度),以使偏轉器的角度偏轉狀態之調整步驟能調整傳播路徑的角度方位。
現在參考圖1F,此處使用光中繼器145,並且將類似上述圖1D及1E其中任何一者所示之可調式光學偏轉器130及/或140的配置及排列設置在光中繼器145之內(例如設置在其主平面P)。相較於圖1D及1E的範例,這使得偏轉器的線性移動及角度方位的調整之角色互換。具體而言,此處的可調式光線偏轉器130係可藉由線性移動來調整,以使其與光學路徑OP互相作用的位置之移動步驟能影響光中繼器145內之光學路徑OP的橫向移動(例如使光學路徑在X及/或Y方向上偏轉),從而影響光中繼器145下游之光線的傳播路徑PP的角度方位。在一些實施方式中,可調式光線偏轉器130係設置成使其移動並同時保持在光中繼器145的主平面P之內/附近,從而實現本發明的解聯特徵(亦即,使得受此移動所影響之光學中繼器內之光學路徑OP的橫向偏轉被純粹轉換為傳播路徑PP的俯仰及/或偏擺的角度偏轉,而不影響傳播路徑PP的橫向偏轉。傳播路徑PP的橫向(X、Y)偏轉係藉由調整可調式偏轉器130的角度偏轉方位來達成。
應瞭解到為了清楚說明起見,在圖中所示之特定的非限制性範例僅顯示單一可移動偏轉器130,其僅在一角座標(俯仰或偏擺)上使傳播路徑再定位。然而,雖然為了使圖式清楚起見而未在此特別顯示出來,但在此實施方式中,光中繼器145之內通常包括二個可移動光線偏轉器,且這二個可移動光線偏轉器係以如同圖1E所示之類似方式設置,以使此實現方式能相對於俯仰及偏擺座標而使傳播路徑再定位。
為此,考量到將圖1E之可調式光學偏轉器130及140的配置設置在光學中繼器之內(在本圖1F中),注視方位光線偏轉係藉由移動可調式光學偏轉器130及140其中一或二者來達成,如下:如圖1F中的可調式光學偏轉器130係配置且可操作成線性移動(例如沿著橫向軸Y)以調整傳播路徑PP在一角座標的方位(例如傳播路徑PC的俯仰方位),且其亦係在角度上可調整以在一或二個維度上(X及/或Y)控制/調整傳播路徑PP的橫向自由度。額外的可調式光學偏轉器140係配置且可操作以使其光學偏轉表面能與偏轉器130的光學表面在偏轉器140上游沿著光學路徑OP的方向上(例如X)一起移動。因此,這樣的移動影響沿著橫向軸(例如X)往偏轉器140及130下游之光學路徑OP的橫向位移。因為這些偏轉器係位於光中繼器145之內,所以這影響了傳播路徑PP的偏擺YW方位之調整。
因此,圖1F之實施方式的偏轉器配置提供了下述手段:至少一個可調式光學偏轉器140(且通常是二個可調式光學偏轉器130及140兩者)可沿著第一橫向軸(例如X)一起移動,以影響相對於第一方位座標(例如偏擺YW)之朝向眼睛之傳播路徑PP的相對角度偏轉。這二個可調式光學偏轉器130其中一者係可沿著第二橫向軸(例如Y)獨立移動,以影響相對於第二方位座標(例如俯仰PC)之朝向眼睛之傳播路徑PP的相對角度偏轉。可調式光學偏轉器130亦為角度上可調整(較佳地為相對於一或二個角座標),以分別提供傳播路徑PP的橫向位置的一或二個維度調整。
應注意到在參考圖1A、1D、1E及1F所顯示並敘述之特定且非限制性的範例中,出射埠EP處之光線LB的傳播路徑PP的橫向位置/定位係取決於可調式偏轉器130及/或140的一些偏轉參數之調整(例如:偏轉器140的角度調整、或偏轉器130及/或140的線性移動),雖然傳播路徑PP的方位(光線離開出射埠EP的傳播方向)實質上並未受到這些偏轉參數的影響,但卻受其他偏轉參數控制(例如偏轉器130的角度調整)。這提供了分別獨立控制傳播路徑的四個自由度的可調整偏轉參數。
應注意到,在一些實現方式中僅三個自由度即可足夠,圖1A、1B及1C之中的瞳孔位置光線偏轉器140可用一維可調式偏轉器來實現,或可使用圖1D的配置。這將允許改變垂直方向(例如X)上之光線LB的橫向位置,以補償擴增/虛擬實境眼鏡與裝置100從使用者鼻樑下滑的情況。在這樣的實施方式中,對於不同使用者雙眼間距(瞳孔間的距離)的差異之補償可藉由其他方式達成,例如允許改變該裝置的二個眼睛投影系統101(其係用以將影像投影到使用者雙眼)之間的水平間隔之機械方式。
應瞭解到,雖然在上述圖1A、1D、1E及1F的範例中,該些光線偏轉器係分別排列並配置以使其偏轉參數可操作成各別地且獨立地調整有關光學路徑OP的橫向位置及角度方位的各別自由度,但例如圖1C中所示般,通常可沿著光學路徑配置並排列偏轉器130及/或140,以使其共同調整這三或四個共軛自由度。
選擇性地,如圖1A-1F所示,在本發明的一些實施方式中,眼睛投影系統101亦包括光線方向控制器164,光線方向控制器164係可連接至可調式光學偏轉器130及140,且用於操作可調式光學偏轉器130及140,以指引光學路徑OP並引導光線沿著此路徑傳播而在適當的位置及以適當的方位射入眼睛/瞳孔EYE。
在以上範例中,瞳孔位置光線偏轉器140及注視方向光線偏轉器130係配置成(例如沿著光學路徑OP排列)使其分別提供橫向自由度(使傳播路徑PP在X及Y方向上橫向移動)及角度自由度(使傳播路徑PP的俯仰及偏擺定位)。在此情況下,控制器164可用以各別地操作該些光線偏轉器,以各別地調整其控制角度自由度(傳播路徑PP的上下(俯仰)及/或左右(偏擺)方位)的各個偏轉參數,並且各別地調整其控制傳播路徑PP的橫向自由度的各個偏轉參數。
如以上所示,在一些實施方式中,光線偏轉器130及140的偏轉參數與上述三或四個自由度之間沒有一對一的對應關係,而且該些自由度其中之一或多者可藉由聯合調整彼此共軛的二或更多偏轉參數來進行調整(例如:改變朝向眼睛之光線的橫向位置及/或角度方位其中任何一者會涉及操作/調整偏轉器130及140兩者)。在這樣的實施方式中,控制器164(控制光線偏轉器)可利用參考資料(例如查找表),該些參考資料將偏轉器140及光線偏轉器130兩者的各自狀態與在該狀態下光線所受之橫向(X、Y)及角度(上下、左右)移動影響聯繫在一起。因此,在這樣的實施方式中,偏轉器130及/或140可聯合操作以造成光線LB產生期望的橫向及角度移動,而這是補償眼睛EYE的注視方向及相對位置之改變所需要的。替代性地,使用一預先校正程序,且其符合眼睛動作相關的數學多項式模型。根據應用所需,可將此適用在數個替代性的眼睛模型。
圖1G示意地顯示本發明之方法200的流程圖200,此方法係用以引導例如影像投影光線(如光線LB)之光線投射在眼睛上(例如直接投射在眼睛視網膜上)。此方法可例如藉由圖1A至1F其中任何一者所示之任一個眼睛投影系統101來實現。具體而言,方法200包括選擇性操作210及220,其與這些圖中的眼睛投影系統101的光學系統150的光學路徑OP之配置/元件有關。另外,此方法包括操作250、270及290,其可例如藉由圖1A至1F中所示之光線方向控制器164來實現。
具體而言,方法200包括選擇性操作210及220,其中分別提供設置在光學系統(如150)的光學路徑中之第一及第二可調式光學偏轉器(例如圖1A及1B中的130及140)。第一光線偏轉器130係設置成使其偏轉狀態(偏轉參數)至少與輸出自光學系統150的出射瞳孔/埠EP之光線LB的傳播路徑PP之方位調整有關。第二光線偏轉器140係設置成使其偏轉狀態(偏轉參數)至少與出射瞳孔/埠EP處之光線LB的傳播路徑PP的橫向位置調整有關。
操作250包括引導光線(如LB)通過包括第一及第二可調式光學偏轉器的光學系統(如150)。光線可例如為用以將影像投影在眼睛視網膜上的影像投影光線。
在操作270中,控制器164及/或選擇性的不同操作器至少操作該第一可調式光線偏轉器以調整其偏轉參數,以補償眼睛的注視方向之差異(例如:補償/減小與眼睛顫動無關之差異)。在操作290中,控制器164及/或一不同的操作器至少操作該第二可調式光線偏轉器以調整其偏轉參數,以補償眼睛與光學系統150之間相對位置的差異。為此目的,方法200提供了用以操作及使用光學系統150的技術,光學系統150係用以將影像直接投影到使用者的眼睛,同時補償相對於光學系統150之眼睛/瞳孔EYE的角度及橫向動作。
如以上所示,本發明之眼睛投影系統101包括用以輸出一調變光線LB之影像投影模組190,調變光線LB係投射在眼睛的視網膜上,以在視網膜上產生/投影影像。圖2A及2B係顯示影像投影系統190之配置的示意方塊圖,影像投影系統190係包括在根據本發明的二個實施方式之眼睛投影系統101中。
具體而言,圖2A顯示影像投影系統190,其係藉由在眼睛EYE的視網膜上掃描一強度調變光線LB(包括一或更多色彩的強度調變雷射光線)而將影像投影在視網膜上。離開影像投影系統190之掃描雷射光線LB傳播通過眼睛投影系統101的光學系統150,光學系統150以適當方位將光線LB引導至眼睛EYE的瞳孔位置,以使影像投影在視網膜上的正確位置上。圖2B顯示利用區域投影模組之影像投影系統190,其提供利用欲投影在眼睛EYE的視網膜上之期望影像進行空間圖案化/調變之光線LB(結構化之光線)。然後,空間圖案化之光線LB傳播通過光學組件150,並從而以適當方位被引導朝向眼睛EYE的瞳孔,以使空間調變影像圖案能投影在眼睛EYE的視網膜的適當位置上。在這兩種情況下,光學組件150係可操作以(例如由控制器164所控制,這將在以下參考圖3A詳細討論)補償瞳孔/眼睛EYE的位置之改變及注視方向之改變,以使影像皆能投影在眼睛視網膜上的正確且選擇性固定位置上,而不論眼睛的注視方向及/或眼睛與裝置100之影像投影系統190之間的相對位置。
應注意在一些實施方式中,使將影像投影在視網膜上之光線LB的橫截面寬度小於(或可受控制地調整為小於)人類眼睛瞳孔的標稱直徑是很重要的。這使影像能以增大的景深(depth of field)而投影在視網膜上,以使投影在視網膜上的影像皆能維持聚焦在視網膜上,而不論眼睛鏡片的焦點狀態(焦距狀態)(亦即,與使用者聚焦其視線的距離無關)。這是因為光線LB的寬度實際上界定了光線進入眼睛EYE所通過之有效入射瞳孔的直徑。因此,較窄的光線LB造成較窄的有效入射瞳孔(比眼睛瞳孔的實際直徑f 更窄小),這使得影像能以增大的景深而投影在視網膜上。根據本發明之各種實施方式,藉由使用影像投影系統190中的合適光源110及/或藉由使用沿著光學路徑OP的合適光線擴展/縮合光學件(未顯示)(例如包括在光學系統150及/或影像投影系統190的光學組件113之中)而達成比瞳孔更窄小的窄光線。
圖2A示例性說明影像投影系統190,其包括光模組110及影像光線調變器112,光模組110係用以輸出欲投影在視網膜上之光線,且影像光線調變器112係沿著光線的一般光學路徑而設置並用以依據欲形成在視網膜上的影像來調變光線。在一些實施方式中,光模組110包括一或更多光通道,其各自包括一光發射器及/或光埠111(提供/發射特定色彩成份的光)。對於投影灰階影像,則單一通道(如單色通道)即可足夠。在此範例中,影像投影系統190係配置成投影彩色影像,且光模組110包括三色光通道(如光埠/光發射器R、G及B,其分別輸出不同色彩的光:紅、綠、及藍)。在此範例中,光埠/光發射器110係利用三個R、G及B雷射發射器(例如雷射二極體)來實現。
影像投影系統190通常亦包括光學組件113,其於此亦稱為光線成形及合併光學組件。光線成形及合併光學組件113係配置且可操作以使一或更多光學通道的光線準直各別一或更多並將其合併,以使其沿著共同的一般光學路徑OP傳播。光線成形及合併光學組件113可例如包括一或更多光線成形器(例如光線準直器117及/或117'),其係用以各別地及/或集體地使複數光學通道的光線呈準直。在超過一個光學通道的情況下,光線成形及合併光學組件113亦可包括一或更多光線合併器118,其將組合多個光學通道的光線合併至單一光學路徑OP。
影像投影系統190的影像光線調變器112包括一或更多強度調變器115,這些強度調變器115係配置且可操作以調整來自與其相關之各別光通道(埠/發射器)的光強度。可使用各別光源控制器來實現這些強度調變器115,其中各個光源控制器係可連接至與強度調變器115相關之光模組110的光發射器/埠,並用以調整強度調變器115的操作以控制由其發射之光強度。替代性地或額外地,強度調變器115可包括以下所述者及/或由以下所述者實現:位於發射自光模組110的各別光發射器/埠之光線的光學路徑上的可控制光線衰減器(例如:光電式衰減器及機械式衰減器)。替代性地,可藉由改變非線性晶體的相位匹配特性來完成。
在此範例中,影像光線調變器112亦包括影像掃描偏轉器120,例如逐線掃描鏡模組(raster scanning mirror module)及/或二維角度可調整式/可旋轉式偏轉器(例如能執行影像掃描)。影像光線調變器112(通常包括至少一光強度調變器115)係配置且可操作以調變傳播至影像掃描偏轉器120之光線LB的強度,並且也可能調變其色彩成份。影像掃描偏轉器120係操作成隨時間而改變其偏轉角度,以使其在不同時間將光線LB偏轉到對應於欲投影在視網膜上之影像的不同像素的位置之不同方位。
影像投影系統190通常亦包括影像投影控制器192,影像投影控制器192接收表示將要投影在視網膜上之影像的輸入資料IMD,並基於該影像資料來操作影像光線調變器112以調變光線LB。具體而言,在此範例中,影像投影控制器192獲得表示影像掃描偏轉器120的角度偏轉狀態的資料(例如在掃描偏轉器120連續操作/旋轉的情況下,角度偏轉狀態可例如為時間的函數),及/或影像投影控制器可設定偏轉狀態(例如藉由發布適當的控制信號給影像掃描偏轉器120)。基於偏轉狀態(如影像掃描偏轉器120的偏轉角度/方位),影像投影控制器192決定目前應將影像的哪個像素投影在視網膜上,及利用影像資料IMD來決定該像素的強度並可能決定其色彩成份,且因此操作光強度調變器115(例如藉由發布適當的控制信號至光強度調變器115)以設定光線LB的適當強度及色彩成份。因此,影像投影控制器192操作影像投影系統190的各模組以按照影像調變光線LB,以使光線LB能藉由系統100的光學系統150而進一步引導至視網膜,致使影像能投影在視網膜上。在此範例中,於各個時間,光線LB的強度(及可能其色彩成份)係對應至投影在視網膜上之影像的單一像素。影像掃描偏轉器120將光線LB掃描在視網膜的區域/表面上(影像的各個像素應投影在視網膜),同時光強度調變器115共同操作以按照這些像素的強度(及可能其色彩成份)來分別調變光線LB,從而在視網膜上形成影像。
可用在本發明之眼睛投影系統中之影像投影系統190的另一範例係顯示在圖2B中。於此,影像光線調變器包括區域投影模組115,其可包括例如射束源110(例如:電子束源及/或光源)及空間光調變器115。舉例而言,區域投影模組115係利用下述之任一者或多者來實現:陰極射線管(CRT,Cathode-Ray-Tube;包括電子束源110及作為空間光調變器115的磷光層)、液晶顯示器(LCD,Liquid-Crystal-Display;例如包括光源110及如矽基液晶(LCoS,Liquid-Crystal-on-Silicon)的液晶空間光調變器115)、數位光處理模組 (DLP,Digital-Light-Processing;例如包括光源110及作為空間光調變器115的數位微鏡元件(DMD,Digital-Micromirror-Device))、及/或有機發光二極體 (OLED,organic light-emitting diode;其包括作為光源110與空間調變器115兩者的發光二極體之空間陣列)、及/或諧振光纖投影器系統(Resonant Fiber Projector system)。
區域投影模組115係如上述配置且可操作以產生/輸出空間調變/圖案化光線LB(結構化之光線),其係按照期望的影像進行圖案化/調變。影像投影系統190通常亦包括影像投影控制器192,影像投影控制器192接收輸入資料IMD(其表示應投影在視網膜上之影像)並操作區域投影模組115以產生光線LB,而使光線LB按照該影像進行空間圖案化/調變。在此例中,影像投影系統190亦可包括光學組件113,光學組件113包括例如光線成形光學件及/或光學中繼器,光學組件113可使空間圖案化之光線成形並中繼,以使光線傳播朝向眼睛投影系統101的光學系統150,藉由光學系統150將光線以適當的方位引導至眼睛EYE的瞳孔位置,以使影像投影在視網膜上的正確位置上(例如:不論使用者的注視方向,而且也不論眼睛投影系統與眼睛EYE之間的相對位置)。
就此而言,應注意到影像投影控制器192操作區域投影模組115的空間光調變器112以將光線LB的強度及色彩成份進行空間調變,以使欲投影在視網膜上的影像形成在一特定共軛光學平面CP中之光線LB的橫截面。眼睛投影系統101的光學系統150係配置且可操作以將形成在共軛光學平面CP中之影像中繼傳播至眼睛視網膜。
現在參考圖3A之方塊圖,其顯示包括根據本發明之實施方式的眼睛追蹤模組/系統160的眼睛追蹤裝置105。眼睛追蹤模組/系統160包括:IR光埠(用以提供IR追蹤光線TB)、至少二光學感測器175及185、及眼睛追蹤控制器164。眼睛追蹤模組/系統160亦結合或包括可類似上述參考圖1A至1F其中任何一者之一光學組件,且眼睛追蹤模組/系統160通常係配置以引導IR光線TB沿著傳播路徑OP傳播朝向使用者的眼睛EYE。為此,光學組件150包括至少二個可調式光學偏轉器130及140,其係配置且可操作以調整追蹤光線TB和可沿著光學組件的光學路徑OP傳播朝向眼睛之其他光線(如LB)的傳播路徑PP的角度方位及橫向位置。二個光學感測器175及185係光學耦合至光學組件的一般光學路徑OP,其與至少二個可調式光學偏轉器分別相關聯,以使其各自感測反射IR光線RB,反射IR光線RB係從眼睛反射回來,以回應入射在眼睛上的追蹤IR光線TB。眼睛追蹤模組/系統160更可包括可連接到至少二個光學感測器175及185的眼睛追蹤控制器164。眼睛追蹤控制器164係用以從二個光學感測器175及185接收讀出資訊/資料,並處理讀出資訊以分別確認表示傳播路徑PP分別離眼睛的瞳孔位置及注視方向之橫向及角度偏差的資料。為此,眼睛追蹤模組160係用以監控眼睛EYE的位置/方位(亦即,測量表示眼睛EYE的注視方向及橫向位置之眼睛定位資料),並可與上述之眼睛投影系統101共同使用以調整眼睛投影系統101的傳播路徑PP朝向眼睛。
IR光埠/源162係配置且可操作以提供追蹤光線TB,以引導追蹤光線TB沿著光學組件的一般光學路徑OP傳播而與一或更多可調式光學偏轉器130及/或140互相作用,並由此沿著傳播路徑PP傳播至眼睛。追蹤光線TB入射在眼睛上而造成一反射光線RB,反射光線RB係與追蹤光線TB從眼睛反射而反向傳播通過光學組件的光學路徑OP有關。
一或更多感測器175及185係於沿著光學路徑OP之二或更多的不同位置處而與一般光學路徑OP光學耦合。感測器175及185係用以接收反射光線RB及測量於該二或更多的不同位置處之反射光線RB的一或更多傳播特性。
眼睛追蹤控制器164係可連接至一或更多感測器175及185,且可連接至一或更多可調式光學偏轉器130及/或140。控制器164係用以從感測器175及185接收讀出資料/資訊(其表示於光學路徑之二或更多的不同位置處之反射光線RB的至少一傳播特性),及處理讀出資料以確認眼睛定位資料,亦即確認表示相對於傳播路徑PP或光學組件150之眼睛EYE的橫向(X及/或Y)瞳孔位置及眼睛的角度注視方向的資料。
在一些實施方式中,眼睛定位資料係表示眼睛注視方向(LOS)與朝向眼睛之光線的傳播路徑PP的方位之間的偏差、及眼睛瞳孔的橫向(X、Y)位置與傳播路徑PP之間的偏差。
在一些實施方式中,眼睛追蹤模組160包括一或更多控制器(例如170及180),其係用以利用眼睛定位資料來產生操作指令以操作一或更多可調式光學偏轉器130及140,以調整傳播路徑PP的角度方位(俯仰及偏擺)及橫向位置(X、Y)來補償其相對於眼睛的橫向及角度方位。
根據本發明的一些實施方式,可調式光學偏轉器130及/或140係沿著光學路徑OP而依序設置 ,從而分別定義光學路徑OP的二個偏轉階段STG1及STG2,這二個偏轉階段STG1及STG2係與分別由二個可調式光學偏轉器130及/或140所調整之光學路徑OP的偏轉有關。因此,感測器175及185與光學路徑OP光學耦合的二或更多不同位置係分別安排在這二個偏轉階段STG1及STG2。感測器175及185可經由設置在光學路徑的該些階段STG1及STG2的各個光線分離器/合併器BC3及BC2而耦合至光學路徑。
眼睛追蹤控制器164係配置且可操作以產生各個可調式光學偏轉器140及/或130的操作指令,這是基於藉由對應的感測器175或185、從光學路徑OP的各個偏轉階段STG1或STG2(其係與各個可調式光學偏轉器140或130有關)所測量之對應傳播特性。
例如,反射光線RB的傳播特性可為反射光線RB離光學路徑OP中之一預定標稱橫向位置的橫向離軸傳播偏差。為此,感測器175及185其中每一者皆可包括複數感光偵測器/像素。控制器164可用以處理來自感測器175或185之像素的讀出資料/資訊以確認感測器上之反射光線RB的入射位置,並從而確認感測器上之此入射位置與一預定標稱位置之間的偏差。因此,確認了沿著光學路徑OP的各個階段STG1或STG2之反射光線RB的傳播特性。由於所確認之光學路徑OP的二或更多階段STG1及STG2的傳播特性(例如:偏離光學路徑OP中的一預定標稱橫向位置之反射光線RB的橫向離軸傳播偏差),故可計算/評估/確認表示眼睛的橫向及角度位置的資料。因此,可調式光學偏轉器140及/或130可受操作/調整以追蹤眼睛EYE的橫向位置/方位。
舉例而言(根據本發明的一些實施方式),眼睛追蹤控制器164包括一或更多伺服迴圈(例如伺服迴圈控制器170及/或180),各個伺服迴圈控制器係配置且可操作成連接至各別可調式光學偏轉器(例如各個130及/或140)及對應的感測器(例如各個175及/或185),且各個伺服迴圈控制器係用以處理來自各別感測器(例如各個175及/或185)的讀出資料以確認光學路徑OP中之其各別階段(例如STG1及/或STG2)的對應傳播特性,且因此基於該傳播特性而產生用於操作與其相關之各個可調式光學偏轉器(如130及/或140)的操作指令。
為此,在圖3A的非限制性範例中,眼睛追蹤模組/系統160係顯示成與本發明的眼睛投影裝置100一起配置且可一起操作。具體而言,在此非限制性範例中,眼睛投影裝置100包括至少一眼睛投影系統101,眼睛投影系統101包括(或結合)眼睛追蹤裝置105,眼睛追蹤裝置105係如以上所述配置且可操作以監控及可能追蹤眼睛/瞳孔的位置和眼睛EYE的視線方向(即注視方向)。眼睛投影系統101可配置成類似圖1A至1F其中任一者所示之眼睛投影系統,且可選擇性地包括影像投影模組190,影像投影模組190係用以投射光線/影像LB通過光學系統150而至眼睛EYE。眼睛追蹤裝置105係用以監控眼睛EYE的橫向位置及視線(LOS),並且操作光學系統/組件150以追蹤/追隨眼睛EYE的位置及視線,俾能以相對於眼睛EYE的視線LOS之期望方位將光線LB的傳播路徑PP(影像投影光線)引導至眼睛的位置(例如引導至眼睛瞳孔)。為此,在此特定範例中,影像/光線投影光線LB和追蹤光線TB(通常是IR光)及反射光線RB係耦合成沿著光學組件150的共同光學路徑及共同傳播路徑PP而傳播到眼睛EYE。在一些實施方式中,眼睛投影裝置100包括類似眼睛投影系統101的二個眼睛投影系統,其係配置且可操作成分別投射影像到使用者的雙眼。
然而應瞭解到眼睛追蹤裝置105及/或眼睛監控模組160係可實現成可連接至眼睛投影系統101的獨立裝置/模組,及/或其可為與眼睛投影系統101整合之模組/裝置。在此範例中,眼睛投影系統101運用光學系統150以投射影像到眼睛EYE,且眼睛追蹤裝置105亦運用光學系統150以監控及追蹤眼睛EYE的位置及視線。此外,替代性地或額外地,眼睛監控模組160可實現為獨立裝置,其係配置以使其能光學耦合至光學系統150並電性連接至光學系統150的光線偏轉器130及140,且可操作以感測從出射瞳孔EP沿著光學路徑OP傳播的返回光線RB、處理感測到的光信號以追蹤眼睛的橫向位置及視線、並操作可調式光線偏轉器130及140以調整光學組件150與眼睛EYE之間的光線(例如TB及/或LB)的傳播路徑PP,從而以期望的方位將光線LB引導至眼睛/瞳孔的位置。
在此範例中,眼睛投影系統101包括類似如圖1A至1F其中任一者所示之眼睛投影系統的模組。具體而言,其選擇性地包括影像投影系統190及光學系統/組件150,影像投影系統190係可配置且可操作成如圖2A及2B中所示之影像投影系統的其中任一者,且光學系統/組件150係配置且可操作成將光線LB從影像投影系統190引導到眼睛EYE(例如藉由眼鏡鏡片102)。如同以上參考圖1A至1B所述之光學系統150,於此光學系統150同樣包括至少一個(且通常至少二個)可調式光學偏轉器(例如圖1A中的注視方向光線偏轉器130及瞳孔位置光線偏轉器140),其係沿著光線LB的一般光學路徑OP設置及係配置且可操作以提供調整朝向眼睛EYE之光線LB的傳播路徑OP的至少三個(且通常四個)自由度。這些自由度其中二者係與補償眼睛EYE的注視方向的角度改變有關,且至少一個自由度(通常/較佳地為二個自由度)係供以補償相對於眼睛EYE之眼睛投影裝置100的相對橫向(垂直及/或水平)位置之差異。
應瞭解到眼睛的LOS的角度移動尤其與眼睛的掃視動作有關,而且眼睛的橫向動作尤其與瞳孔的橫向位置與眼睛投影/追蹤系統之間的相對橫向移動有關。
應注意在一些實施方式中,眼睛監控模組160包括發射眼睛追蹤光線TB之追蹤光源162。替代性地或額外地,在一些實施方式中,追蹤光源可不為眼睛監控模組160的一部份且眼睛監控模組160僅包括用以接收追蹤光線TB的光埠162。在本發明的各種實施方式中,追蹤光源可經由光埠162而可光學連接/耦合至光學系統/組件150,以使追蹤光線TB經由光學系統150而引導至眼睛;及/或追蹤光源162可不耦合至光學系統150且追蹤光線TB係以不同方式(例如:藉由自由空間傳播、或藉由另一光導/光學系統)引導至眼睛EYE。
在圖3A所示本發明之特定且非限制性的實施方式中,追蹤光源162係排列且配置成與光學系統150呈光學連通,以使追蹤光線TB能沿著光學系統150的一般光學路徑OP傳播並沿著光學路徑PP傳播朝向眼睛EYE的視網膜。為此,追蹤光源162結合位於光學系統150的光學路徑OP上且位於輸出自追蹤光源162之追蹤光線TB的傳播路徑上之光線合併器BC1(例如雙色光線合併器),以引導追蹤光線TB與影像投影光線LB一起沿著光學路徑OP傳播朝向眼睛EYE。追蹤光源162通常為具有能避免(或至少明顯降低)使用者對於眼睛視野內所存在的固定可見光來源的不適感之波長/頻譜的光源/電磁輻射源162。例如,追蹤光源162可為發射人類眼睛不可見的IR(Infra-Red)光線之紅外線光源(例如IR雷射二極體)。
應注意到根據本發明的一些實施方式,將眼睛追蹤光線TB合併而沿著光學路徑OP傳播,而在其朝向眼睛EYE的路徑上依序與光學組件150的可調式光學偏轉器130及140兩者互相作用,以引導眼睛追蹤光線TB朝向眼睛,同時使眼睛能觀看各個注視方向,且同時使其相對於眼睛投影系統101的相對橫向位置能改變。為此,可將光線合併器BC1設置成與光學路徑OP相交在可調式光線偏轉器130及140上游處。
因此,當適當調整可調式光學偏轉器130及140時(亦即,當適當地設定其偏轉參數而引導光線以朝向眼睛之傳播路徑PP的適當橫向位置及角度方位朝向眼睛時),眼睛追蹤光線TB受引導而沿著傳播路徑傳播朝向眼睛EYE的瞳孔,眼睛追蹤光線TB可能從瞳孔進入眼睛並可能投影在視網膜上。
在一些實施方式中,眼睛追蹤光線TB的橫截面寬度小於人類眼睛瞳孔的標稱直徑。在使眼睛追蹤光線TB從眼睛瞳孔的周圍區域的反射降到最低之情況下,進而使追蹤光線TB受如此反射的干擾降低,且追蹤的準確度得以改善。在一些實施方式中,為了處理由於眼睛視線移動而使追蹤光線TB移動完全超出瞳孔範圍的情況(失去信號的情況),光學系統中的可調式光學偏轉器(例如可調整鏡)(例如130及/或140)可包括及/或配置特定圖案,例如所謂的Lassajous圖案(其能擴張搜尋區域以重獲失去的信號)。用於瞳孔搜尋演算法的Lassajous圖案首先在橫向領域執行直到獲得初始信號為止,並接著在角度領域執行以得到光學路徑的最佳對準。此圖案(如Lassajous圖案)可隨後用以定位從瞳孔周圍反射的追蹤光線TB及修正可調式光學偏轉器130及/或140的偏轉參數,以使傳播路徑PP能與瞳孔的橫向位置及眼睛的LOS的俯仰/偏擺方位對準。替代性地或額外地,感測器175及/或185可用於感測來自眼睛的反射光線RB以追蹤眼睛的位置及注視方向,並且可配置成大面積的四象限單元(例如多數二極體陣列),以使得發生上述情況的可能性降到最低。
一般而言,當眼睛追蹤光線TB照射在眼睛EYE上時,一部份的眼睛追蹤光線TB會從眼睛EYE視網膜反射回來(這稱為視網膜反射)並沿著光學路徑OP返回。替代性地或額外地,一部份的眼睛追蹤光線TB會從眼睛EYE的眼角膜反射(這稱為眼角膜反射及/或 Purkinje影像其中之一)。在一些實施方式中,光線RB可包括從眼角膜的正面反射(第一Purkinje影像)、從鏡片的背面反射(稱為第四Purkinje影像)、及/或從視網膜反射(視網膜反射)的眼睛追蹤光線TB部份。一般而言,反射光線接著從眼睛EYE傳播回到光學系統150的光學路徑OP,其中反射光線RB傳播的確切方向係表示眼睛EYE的瞳孔的位置及/或方位。
本發明的一些實施方式有效地利用眼睛的逆向反射(retro reflective)特性,尤其是利用眼睛視網膜具逆向反射性的事實。在IR波長,視網膜能反射大多數百分比率的光。本發明的一些實施方式的注視方向追蹤系統利用此特性來追蹤眼睛的實際光學軸、或與眼睛的光學軸呈某一角度之任何其他任意光學方向。追蹤眼睛的實際光學軸或上述任何其他任意光學方向係藉由利用眼睛作為逆向反射體(利用眼睛的逆向反射特性)來達成,而且不必依靠如習知方法所用的Purkinje影像。利用眼睛的逆向反射特性使得反射光線以相對於眼睛的光學軸之特定的預定角度返回,因而使系統能追蹤眼睛的實際光學軸。雖然眼睛的逆向反射特性可能有某種程度的色差,儘管如此仍能利用眼睛的逆向反射特性而以高準確度來偵測眼睛的角度及橫向移動。
根據本發明的一些實施方式,設置了眼睛監控模組160的二個光感測器175及185並將其光學耦合至一光學路徑(如光學組件150的光學路徑OP),且反射光線RB沿著該光學路徑傳播,如此使得反射光線RB入射在光感測器其中至少第一者上的位置能提供表示眼睛EYE的瞳孔位置與光線LB的傳播路徑PP的橫向位置之間的橫向偏差(X及/或Y偏差)的資料,並使得反射光線RB入射在光感測器其中至少第二者上的位置能提供表示傳播路徑PP與眼睛EYE的視線之間的角度偏差(俯仰及/或偏擺偏差)的資料。一般而言,事實上光感測器可包括二維光學感測器175及185,其係沿著返回光線的光學路徑而設置,以監控傳播路徑PP的4個自由度。舉例而言,感測器其中第一者(如圖中的175)可沿著反射光線的光學路徑而設置在介於光學中繼器(如光中繼器145或其類似者)的光學元件之間的光學路徑OP的位置/階段STG1(例如在中繼器145的主平面附近),以使反射光線RB離一特定標稱光學軸(其與光線LB的傳播路徑PP具有一預定關係/對應性)的角度偏差轉換成光線RB照射在光學感測器175之位置上的橫向偏差。這允許測量/確認相對於眼睛的視線之傳播路徑PP的俯仰及偏擺角度方位的偏差。感測器其中第二者(如圖中的185)可在光學路徑OP的位置/階段STG2處光學耦合至反射光線RB的光學路徑,於此位置反射光線RB的傳播不在光學中繼器內(例如在中繼器145之外(若有使用這類中繼器時)),從而直接測量反射光線RB離該特定標稱光學軸(其與傳播路徑PP具有一預定關係/對應性)的橫向偏差。這允許測量/確認傳播路徑PP與眼睛位置之間的橫向偏差X及/或Y。
應注意在本發明的一些實施方式中,光學感測器測量傳播路徑PP的角度偏差可不與傳播路徑PP的橫向偏差的作用在光學上完全解聯,且反之亦然(亦即,光學感測器測量傳播路徑PP的橫向偏差可不與傳播路徑PP的角度偏差的作用在光學上完全解聯)。在上述情況下,對於從感測器175及185二者所獲得之測量結果實施進一步處理,以從這些測量結果確認傳播路徑PP的角度(俯仰及偏擺)及橫向(X及Y)偏差。例如,可取得並初步處理來自二感測器的測量結果以確認反射光線RB入射在各個感測器上的位置。然後,可將這些位置(例如其係表示為向量)表示成矩陣形式,接著可將該矩陣進行對角化(例如:使用表示光學組件150的光學操作之代表性資料,如光學組件150的矩陣或函數表示),以確認傳播路徑PP偏離眼睛的橫向位置及注視方向來的角度方位及橫向偏差。
根據一些實施方式,光感測器175及185係設置在光學路徑OP的不同階段/位置STG1及STG2,藉由選擇不同的階段STG1及STG2以使返回/反射光線RB在到達不同的光感測器175及185之前與可調式光學偏轉器140及130的不同組合互相作用。可用如此方式設置光感測器175及185,以使其各自與可調式光學偏轉器140及130其中一者相關聯,且尤其使光線入射在各個感測器上的位置能提供表示應使用在其各別的可調式光學偏轉器之所需修正的資料。這允許基於從其各別感測器所獲得之讀出資料而將開放/封閉伺服迴圈操作應用在調整各個偏轉器。舉例而言,如圖示般,光感測器175係設置在階段STG1,以在返回光線RB與可調式偏轉器140互相作用後且在其與偏轉器130互相作用前,感測返回光線RB。因此,返回光線RB的入射位置偏離感測器175上的一預定標稱位置(如感測器的中心)之偏差係表示用以調整可調式偏轉器140之所需修正,並且可藉由如以下所述之伺服迴圈電路(如控制器170)進行處理以再調整偏轉器140。同樣地,光感測器185係設置成在返回光線RB與不同組的可調式偏轉器140及130互相作用後(此非限制性範例中,在其與可調式偏轉器140及130二者互相作用後),於階段STG2感測返回光線RB,使得倘若可調式偏轉器140已適當調整過,則返回光線RB的入射位置偏離感測器185上的一預定標稱位置(如感測器的中心)之偏差係表示用以調整可調式偏轉器130之所需修正,並且可藉由如以下所述之伺服迴圈電路(如控制器180)進行處理以再調整偏轉器130。
應注意到,在為了清楚說明而不失一般性的情況下,圖3A中的非限制性特定範例顯示本發明之眼睛追蹤裝置105,其係配置成與以上參考圖1A所示例並敘述之眼睛投影系統101共同操作。具體而言,在此非限制性範例中,來自追蹤光源162的追蹤光線TB係經由光線合併器BC1而光學耦合至光學組件150的光學路徑OP,這類似圖1A所顯示者。反射光線RB沿著此光學路徑OP返回並分別藉由光線分離器/合併器BC3及BC2而從光學路徑OP引導至感測器175及185,光線分離器/合併器BC3及BC2係設置成與光學組件的光學路徑OP在特定位置相交。因此,在此特定範例中,光學組件150係配置以實現如以上參考圖1A、1D、1E及1F所討論之本發明的解聯特徵。亦即,據此解聯特徵,則光線偏轉器130的偏轉參數係與控制傳播路徑PP的橫向(X、Y)位置解聯,並且光線偏轉器140的偏轉參數係與控制傳播路徑PP的角度(俯仰、偏擺)方位解聯。因此,在此特定且非限制性範例中,光線偏轉器130及140係配置且可操作為專用注視方向光線偏轉器及瞳孔位置光線偏轉器,且因此以下為了清楚起見而如此表示。在此範例中,光感測器185係配置成(利用光線分離器BC2之適當配置)在反射光線RB藉由光線偏轉器130而偏轉後,其與反射光線RB互相作用/感測反射光線RB,且因此在此特定範例中(其中光線偏轉器130專門作為注視方向光線偏轉器),其提供表示傳播路徑PP偏離眼睛視線LOS的角度偏差之測量資料。因此,為了清楚說明起見,光感測器185在以下稱為注視方向感測器185。在此範例中,光感測器175係配置成(利用光線分離器BC3之適當配置)在反射光線RB藉由光線偏轉器140而偏轉且在與光線偏轉器130互相作用前,其與反射光線RB互相作用/感測反射光線RB。因此,在此特定範例中(其中光線偏轉器140專門作為瞳孔位置光線偏轉器),光感測器175提供表示傳播路徑PP偏離眼睛EYE的瞳孔位置的橫向偏差之測量資料。因此,為了清楚說明起見,光感測器175在以下稱為瞳孔位置光感測器175。然而,應注意到雖然為了清楚說明起見而將光感測器185及175和可調式光線偏轉器130及140在以下稱為瞳孔位置和注視方向感測器/偏轉器,但在使用光學組件150的其他配置之實施方式中,瞳孔位置與注視方向感測器/偏轉器之間的區別為偏轉器及光感測器皆可影響/測量傳播路徑偏離瞳孔位置及注視方向之偏差。例如以下實施方式:眼睛追蹤裝置105係光學耦合至如圖1B及1C所示之光學組件150,其中該些偏轉器的全部或數個偏轉參數可聯合影響傳播路徑PP的數個自由度(亦即,可不存在該些偏轉器的偏轉參數與傳播路徑的角度及橫向方向之間的一對一關係)。故應瞭解到,一般而言,瞳孔位置感測器/偏轉器的操作/配置不必限於影響/測量有關瞳孔位置的傳播路徑PP,而且也可用以影響/測量有關注視方向的傳播路徑PP。亦應瞭解到,一般而言,注視方向感測器/偏轉器的操作/配置不必限於影響/測量有關注視方向的傳播路徑PP,而且也可用以影響/測量有關瞳孔位置的傳播路徑PP。
注視方向感測器包括對反射光線RB的波長敏感的複數光偵測器(例如:一些/4個光偵測器/像素)。舉例而言,注視方向感測器185可用下列來實現:四象限IR光感測器(例如:四個成一組的感測器(quad sensor),其包括組織成2乘2配置的四個光偵測器)及/或位置感測裝置(PSD,Position Sensing Device)及/或時間延遲積分電荷耦合元件(TDI-CCD,Time Delay Integration Charge Coupled Device)及/或具有關注區域(ROI,Region Of Interest)選擇能力的互補式金屬–氧化物–半導體(CMOS,Complementary Metal-oxide-semiconductor)。注視方向感測器185係光學耦合至光學路徑OP,並且係設置成在反射光線RB從眼睛EYE反射並與注視方向光線偏轉器130互相作用後,其能收集反射光線RB。如圖示般,本範例中的注視方向感測器185係藉由光線合併器BC2(例如以雙色分光鏡(dichroic mirror)實現)而光學耦合至光學路徑OP,光線合併器BC2係光學系統的一部份,其係位在相對於來自眼睛之反射光線RB之傳播方向的注視方向光線偏轉器130下游。因此,當注視方向感測器185上的反射光線RB的投影位置PL1係相對於注視方向感測器(或相對於注視方向感測器上的一特定參考位置RL1)而集中時,這表示光學路徑OP(且因此注視追蹤光線TB及傳送投影在視網膜上之影像的光線LB)係以相對於眼睛EYE的視線LOS之特定的預定/已知入射角度入射至眼睛EYE(例如:當入射至眼睛EYE時,光學路徑OP與眼睛EYE的視線LOS一致)。然而,當反射光線RB的投影位置PL1偏離注視方向感測器185上的中央/參考位置RL1時,這表示相對於眼睛EYE之光學路徑OP的入射角度已偏離該預定/已知入射角度(例如:光學路徑不再與視線LOS一致)。
就此而言,如以上所述般,反射光線RB的確切傳播方向係表示眼睛EYE的瞳孔方位(亦即,眼睛EYE的注視方向/視線LOS)。然而,在本實施方式中,在反射光線RB入射於注視方向感測器185上之前,反射光線RB就先與注視方向光線偏轉器130互相作用,且因此注視方向感測器185上的中央/參考位置RL1之偏差實際上明確表示本實例中的光學路徑OP(光線LB及/或TB係沿著光學路徑OP而被引導入射至眼睛EYE)與眼睛EYE的視線LOS之間的相對方位(例如:表示視線LOS和在與視線LOS平行的二個各自正交平面上之光學路徑OP的投影之間所展開的二個角度)。
在本實施方式中,眼睛追蹤控制器164包括第一子控制器180(例如本文以下亦稱為注視方向控制器180),其係可連接至注視方向感測器185。注視方向控制器180係用以從注視方向感測器185的複數偵測器獲取/接收讀出資訊/資料RD1。眼睛追蹤控制器164及/或第一子控制器180可包括數位處理器及/或類比處理電路,且可配置並可操作(例如經由適當的軟體核心及/或硬體配置)以處理讀出資訊RD1,以確認眼睛EYE的注視方向(視線LOS)離光學傳播路徑OP的角度偏差,其中光線LB及/或TB係沿著光學傳播路徑OP導向眼睛EYE。
舉例而言,注視方向控制器180可用以接收讀出資訊/資料RD1(其表示注視方向感測器185的各個偵測器/像素所累積的值),並處理此資料以確認測器185上的標稱投影位置/像素PL1(其表示入射在注視方向感測器185上之反射光線RB的中心)。然後,注視方向控制器180可確認用以表示感測器185上的標稱位置/像素與參考位置RL1之間的分隔之向量資料,這表示光學路徑OP與視線LOS的理想對準。該向量資料因此表示入射在眼睛EYE上之光學路徑OP的方位與眼睛EYE的視線LOS之間的角度偏差。
在一些實施方式中,尤其例如在眼睛監控模組/裝置160係眼睛投影系統100的一部份之情況下,注視方向控制器180亦可連接至注視方向光線偏轉器130。在上述實施方式中,注視方向控制器180係可配置且可操作以進一步處理向量資料,以確認用來補償光學路徑OP與視線LOS之間的角度偏差所需之注視方向光線偏轉器130的角度定位,及產生適合的操作指令/或控制信號以藉此操作注視方向光線偏轉器130。
例如,在本發明的一些實施方式中,注視方向感測器185係藉由包括四個IR光線偵測器(四個感光像素)的四象限感測器來實現。注視方向控制器180係可連接至四象限感測器185且係配置並可操作以操作注視方向光線偏轉器130,從而使反射光線RB偏離四象限感測器185的中心位置(RL1)之偏差降到最低。這使光學路徑OP維持在相對於視線LOS的實質固定方位,使得即使在使用者移動其注視的情況下,藉由光線LB而投影在視網膜上的影像仍能維持在視網膜上的實質固定位置。
在一些變化中,注視方向控制器180係用以操作注視方向光線偏轉器130,以使反射光線RB偏離中心/參考位置RL1的偏差降到最低,這只在偏差超過一特定的預定臨界值(顫動臨界值)的情況下作用,以使偏差維持在預定臨界值的位準以下(舉例而言,但不必將其抵銷)。例如,注視方向控制器180可包括顫動濾除模組181,其係用以處理讀出資料RD1(例如處理上述之向量資料)並用以濾除注視方向的角度偏差係與眼睛顫動動作有關的情況。應瞭解到,用語「顫動」及「顫動動作」於此係用以指示細微掃視動作,其為程度上是微角度(micro-degree)且最多為約一度的角度掃視動作。
在一些實施方式中,顫動濾除模組181利用與其相關(例如由其所儲存)之一預定的顫動偏差臨界值。顫動濾除模組181係配置且可操作以處理讀出資料RD1(如向量資料),以持續監控眼睛的注視方向LOS與光學路徑OP之間的角度偏差,並且操作如下:在所監控的角度偏差低於顫動偏差臨界值的情況下,顫動濾除模組181係操作在所謂的開放伺服迴圈,此時並不操作注視方向光線偏轉器130且因而不補償與顫動動作有關的偏差。在所監控的角度偏差超過顫動偏差臨界值的情況下,顫動濾除模組181係操作在所謂的封閉伺服迴圈,此時將適當的操作指令/信號傳送到方向偏轉器130的引動器/伺服器以驅使其動作,從而使反射光線RB偏離感測器185上的中心/參考位置RL1的偏差降到最低。
顫動濾除模組181藉此補償與眼睛的自然(慣性)顫動動作無關的注視改變,而不補償與眼睛EYE的自然顫動動作有關的注視偏差。此改善了由於眼睛的顫動動作而使視網膜上的影像位置確實發生移動時之投影在視網膜上的影像感知品質,眼睛EYE因而捕捉到自然影像。
在一些實施方式中,眼睛監控模組160亦包括光感測器175(瞳孔位置感測器175)。瞳孔位置感測器175包括複數光偵測器,這些光偵測器對於追蹤光線TB及/或反射光線RB的波長很靈敏。舉例而言,光感測器175可包括四象限IR光感測器,其包括:一些/四個(以2乘2配置所組織而成)光偵測器/像素、及/或位置感測裝置(PSD,position sensing device)、及/或時間延遲積分電荷耦合裝置(TDI-CCD,time delay integration charge coupled device)、及/或具有關注區域(ROI,region of interest)選擇能力的互補式金屬氧化物半導體(CMOS,complementary metal-oxide-semiconductor)。
瞳孔位置感測器175可例如在光學路徑OP的階段STG1處與光學路徑OP光學耦合,並且係設置成在反射光線RB從眼睛EYE反射回到光學路徑OP並與瞳孔位置光線偏轉器140互相作用後,其能收集反射光線RB。如圖示般,本範例中的瞳孔位置感測器175係藉由光線合併器BC3(例如以雙色分光鏡實現)而光學耦合至光學路徑OP,光線合併器BC3係位於相對於來自眼睛之反射光線RB的傳播方向、沿著瞳孔位置光線偏轉器140下游之光學路徑OP的階段STG1。因此,當瞳孔位置感測器175中的反射光線RB的投影位置PL2係相對於瞳孔位置感測器175(或相對於瞳孔位置感測器175上的一特定參考位置RL2)而集中時,這表示光學路徑OP是以適當的橫向對準到達眼睛EYE(且因此追蹤光線TB及/或影像投影光線LB被引導至眼睛的位置)。在反射光線RB的投影位置PL2偏離中央/參考位置RL2的情況下,這表示光學路徑OP與眼睛/瞳孔EYE的位置不一致,且應進行橫向移動以與眼睛交會。
在一些實施方式中,眼睛監控模組160及/或眼睛追蹤控制器164包括第二子控制器170(例如以下為清楚說明起見,亦稱為瞳孔位置控制器170),其係可連接至瞳孔位置感測器175及瞳孔位置光線偏轉器140。瞳孔位置控制器170係用以從瞳孔位置感測器175的複數偵測器獲取/接收讀出資訊/資料RD2。眼睛追蹤控制器164及/或第二子控制器170可包括數位處理器及/或類比處理電路,且可配置並可操作(例如經由適當的軟體核心及/或硬體配置)以處理讀出資訊RD2,以確認光學傳播路徑OP(光線LB及/或TB沿著此光學傳播路徑OP而導向眼睛EYE)與眼睛/瞳孔EYE的中心之間的橫向偏差(例如垂直及/或水平距離)。
舉例而言,瞳孔位置控制器170可用以接收讀出資訊(資料/信號)RD2(其表示瞳孔位置感測器175的各個偵測器/像素所累積的值),並處理此資料以確認感測器175上的標稱投影位置/像素PL2(其表示入射在瞳孔位置感測器175上之反射光線RB的投影位置PL2的中心)。然後,瞳孔位置控制器170可用以確認表示投影位置/像素PL2與感測器175上的參考位置RL2之間的分隔之第二向量資料,例如:此參考位置RL2表示光學路徑OP相對於眼睛EYE的理想橫向定位。
在一些實施方式中,瞳孔位置控制器170亦可連接至瞳孔位置光線偏轉器140。瞳孔位置控制器170係可配置且可操作以處理該第二向量資料,以確認是否需要補償光學路徑OP與眼睛/瞳孔EYE的中心位置之間的橫向偏差;若需要時,則產生適合的操作指令/或控制信號來操作瞳孔位置光線偏轉器140,以補償這樣的橫向偏差。
圖3B係監控眼睛的位置及視線(注視)或其他光學系統之方法300的流程圖。在本發明的一些實施方式中,眼睛追蹤裝置105及/或眼睛監控模組160(顯示在圖3A之中)係配置且可操作以實現以下所述之方法300的操作。
方法300選擇性地包括步驟310及320(例如類似以上所述之步驟210及220),其提供設置在光學系統(例如150)的光學路徑中之第一及第二光線偏轉器(例如圖3A及1B所示之注視方向光線偏轉器130及瞳孔位置光線偏轉器140)。第一及第二光線偏轉器(例如130及140)的偏轉狀態/角度係分別與輸出自出射瞳孔/埠EP的追蹤光線TB的方位及橫向位置之調整有關。
方法300亦選擇性地包括步驟330及340。在步驟330及340之中,分別提供第一及第二光感測器,其係設置以感測通過出射瞳孔/埠並沿著光學路徑OP傳播的反射光線RB。第一及第二光感測器之每一者皆包括複數光偵測器。第一光感測器(如圖3A中的注視方向感測器185)係沿著光學系統的光學路徑OP而設置,且其係配置成在來自出射瞳孔的反射光線RB與第一光線偏轉器(例如130)互相作用後,其能感測該反射光線RB。第二光感測器(如圖3A中的瞳孔位置感測器175)係沿著光學系統的光學路徑OP而設置,且其係配置成在來自出射瞳孔的反射光線RB與第二光線偏轉器(例如140)互相作用後,其能感測該反射光線RB。因此,如以上所述,反射光線RB在第一光感測器185上的標稱投影位置PL1與第一感測器上的特定參考位置RL1之間的差量/偏移係表示追蹤光線TB的方位上所需之補償(例如這表示所需之修正或至少第一偏轉器的偏轉狀態應修正之方向,以縮小追蹤光線的方位偏離視線LOS的方位之偏差)。同樣地,反射光線RB在第二光感測器175上的標稱投影位置PL2與第二感測器上的特定參考位置RL2之間的差量/偏移係表示追蹤光線TB離開出射瞳孔EP之橫向位置上所需之補償(例如這表示所需之修正或至少第二偏轉器的偏轉狀態應修正之方向,以縮小追蹤光線的橫向位置偏離視線LOS的橫向位置之偏差)。
選擇性操作350包括引導追蹤光線TB通過光學系統(例如150)。如以上所述,追蹤光線可為紅外線光。
在操作360中,從第一感測器185獲得讀出資料RD1。讀出資料/信號RD1表示光線RB在第一感測器185上的投影位置PL1。操作370包括至少操作第一光線偏轉器以補償眼睛的注視方向/視線(LOS)之差異(例如補償/降低與眼睛的顫動動作無關的差異)。例如控制器164可包括模組/電路(瞳孔位置控制器)180,其係根據本發明的一些實施方式而至少操作第一光線偏轉器(依據圖3C所示之流程圖中的方法307)。
如圖3C所示,方法307至少包括注視方向伺服迴圈操作440,其調整注視方向光線偏轉器130以補償眼睛的注視方向之差異。伺服迴圈操作440包括二個主要子操作: 操作442—處理來自第一感測器(注視方向感測器)185的像素之讀出資料/信號,以估算返回光線RB在第一感測器185上的相對標稱投影位置PL1;及 操作444—依據標稱投影位置PL1來調整注視方向光線偏轉器的偏轉角度/狀態,以縮小從眼睛反射之反射光線RB的傳播光學路徑/軸OP與眼睛EYE的視線LOS之間的角度偏差。
操作442及444係以高頻迴圈重複(例如:約小於10-3 秒,且可能以約10-4 秒的更高頻率),或至少以高於人類眼睛的「感覺/感知頻率」(感知時間)的頻率重複,致使當使用者改變其注視時,使用者將不會察覺到投影至其眼睛的影像中有任何閃爍(例如:使用者將不會察覺到任何錯位、污跡、及/或截除)。為此目的,可藉由類比電路及/或數位處理單元來實現操作442及444。例如,注視方向感測器可包括四象限偵測器,其包含四個圓形排列的像素Q1-Q4。控制器電路/處理單元180可包括二個差分器(differentiator):其中第一差分器將來自像素Q1+Q2的電壓信號總和減去來自像素Q3+Q4的信號總和而進行差分;且其中第二差分器將來自像素Q2+Q3的電壓信號總和減去來自像素Q4+Q1的信號總和而進行差分。第一差分器的輸出信號/資料係表示返回光線RB的投影位置PL1離感測器185上的中央位置(在此範例中為參考位置RL1)之偏差。第一差分器的輸出信號/資料可連接/提供至控制注視方向光線偏轉器130的上下角度位置/狀態之伺服引動器,從而依據注視方向LOS來調整追蹤光線TB的上下方位。同樣地,第二差分器的輸出信號/資料可連接/提供至控制注視方向光線偏轉器130的左右角度位置/狀態之伺服引動器,從而依據注視方向LOS來調整追蹤光線TB的左右方位。此處理程序(其可僅涉及少量的資料/信號計算)能非常快速執行,因此足以提供使用者察覺不到的響應時間。動作的大小亦是由感測器上所有能量的總和所定義:q1+q2+q3+q4;因此,其解析度係與到達感測器之能量總量成比例。
如以上所示,可採用操作370以使僅有眼睛的注視方向/視線(LOS)之差異(其與眼睛的顫動動作無關)受到補償/降低。為此,方法307亦可包括選擇性操作410至434,其實際執行顫動濾除。在操作410及420中,獲取並處理來自光感測器185的讀出資料/信號RD1以確認/評估向量資料,該向量資料係表示返回光線RB的投影位置PL1偏離感測器185上的參考位置RL1之偏差的幅度及方向。所屬技術領域中具有通常知識者將立即瞭解存在各種已知的合適技術來估算該向量資料(若已知感測器185上的光偵測器/像素之數目及配置)。此外,實施操作430以確認/評估返回光線RB的投影位置PL1偏離參考位置RL1之偏差是否為與眼睛EYE的顫動動作有關的小偏差,或者其是否為夠大的偏差而視為注視方向的改變。在小偏差(僅為顫動動作)的情況下,實施操作434以打開注視方向光線偏轉器130的伺服迴圈(例如停止伺服迴圈操作440的執行)。在偏差大到足以視為注視方向改變而非僅為顫動的情況下,則實施操作432以封閉注視方向的伺服迴圈(進行伺服迴圈操作440的執行)。以此方式,能達到約10-3 秒或甚至約10-4 秒或更短響應時間之靈敏的注視方向補償,同時也避免對只是顫動動作的補償。
在一些實施方式中,來自光感測器185的讀出資料/信號RD1亦經過第二速度及/或加速度伺服迴圈。可藉由對信號RD1的一階/二階微分來執行速度及/或加速度伺服迴圈,以估算瞳孔動作的速度及/或加速度特性。在這些實施方式中,藉由辨認速度及/或加速度及/或兩者何時超過(上升高於)特定的各別臨界值,速度及/或加速度特性可用以辨認/偵測早期階段的掃視動作。此允許掃視動作的較佳估算及早期偵測。
回到圖3B,在方法300的操作380中,從第二感測器175獲得讀出資料RD2。讀出資料/信號RD2係表示返回光線RB在第二感測器175上的投影位置PL2。在操作390中,控制器164(及/或不同的操作器)至少操作第二光線偏轉器以對眼睛與光學系統150之間的相對位置之差異進行補償(例如:補償/修正追蹤光線TB的傳播軸的橫向位置相對於眼睛EYE的視線之間的差異/偏差)。例如,控制器164可包括處理單元(模組/電路)170,其係根據本發明的一些實施方式而至少操作第二光線偏轉器(依據圖3D中之流程圖所示的方法308)。
如圖3D所示,方法308至少包括橫向/瞳孔位置伺服迴圈操作450,其調整追蹤光線TB的橫向輸出位置(或沿著光學路徑OP傳播並離開出射瞳孔EP之任何其他光線的橫向輸出位置),以對眼睛的注視方向之差異進行補償。橫向/瞳孔位置伺服迴圈操作450包括二個主要子操作452及454,如下: 操作452—處理來自第二感測器(瞳孔位置方向感測器)175的像素的讀出資料/信號RD2,以估算返回光線RB在第二感測器175上的相對標稱投影位置PL2;及 操作454—依據標稱投影位置PL1來調整瞳孔位置光線偏轉器140的偏轉角度/狀態,以降低反射自眼睛的反射光線RB的傳播光學路徑/軸OP與眼睛EYE的視線LOS的橫向軸之間的橫向偏差。
可藉由數位處理單元及/或藉由構成(或包括在)控制器164的瞳孔位置控制器170的合適電子處理電路來實現操作452及454。操作452及454可在一迴圈之中實現,且可對眼睛位置相對於出射瞳孔EP之改變提供快速/靈敏的反應,而響應時間約10-3 秒或甚至更短(例如約10-4 秒)。
為此,方法300提供了一種用於追蹤及補償相對於光學系統150的光學路徑OP之眼睛/瞳孔的角度及橫向動作的技術。
在本發明的一些實施方式中,追蹤光源162係可操作以發射眼睛追蹤光線TB作為具有特定調變圖案(例如:具有一特定重複率的脈衝序列之強度調變圖案)的調變光線。如以上所示,追蹤光源162可例如包括IR光線來源(例如:IR雷射/二極體)及調變單元/模組(用以調變來自光線來源的光線TB)。該調變單元/模組可例如包括:配置成以脈衝/調變強度方式操作光源的操作控制電路,及/或位於來自光源的光線TB的光學路徑上之光調變器。圖3E自行說明了本發明之伺服迴圈的流程,在眼睛追蹤光線TB係一調變光線的情況下,其係用於監控/追蹤眼睛的位置及/或視線。選擇性地,眼睛監控模組160包括帶通濾波器,其係調諧/配置成僅讓特定波長/頻帶的追蹤光線TR通過,以濾除在此波長/頻帶以外的雜訊/雜波。選擇性地,眼睛監控模組160包括鎖相模組182及/或172,其係分別與注視方向控制器180及/或瞳孔位置控制器170相關聯。選擇性鎖相模組182係配置且可操作以獲取調變資料/信號(其表示追蹤光線TB的調變圖案),並利用此調變資料/信號來處理來自注視方向感測器185的讀出資訊RD1與追蹤光線TB的調變圖案(將來自注視方向感測器185的讀出資訊RD1與追蹤光線TB的調變圖案進行相位鎖定),從而將與注視方向感測器180所感應到的雜訊/背景雜波有關的資料/信號自讀出資訊RD1濾除。具體而言,鎖相模組182將讀出資訊RD1進行過濾以自其抑制未以類似追蹤光線TB的調變圖案進行調變的資料/信號,而追蹤光線TB為注視方向感測器185所感測到之反射/返回光線的來源。以類似的方式,選擇性鎖相模組172係配置且可操作以獲取調變資料/信號(其表示追蹤光線TB的調變圖案),並利用此調變資料/信號來處理來自瞳孔位置感測器175的讀出資訊RD2與追蹤光線TB的調變圖案(將來自瞳孔位置感測器175的讀出資訊RD2與追蹤光線TB的調變圖案進行相位鎖定)。鎖相模組172因此將讀出資訊RD2進行過濾,並自其抑制與瞳孔位置感測器175所感應到的雜訊/背景雜波有關的資料/信號。具體而言,鎖相模組172將讀出資訊RD1進行過濾,以自其抑制未以類似追蹤光線TB的調變圖案進行調變的資料/信號。
如此產生一個穩健的配置,此配置對於追蹤光線TB的波長中的背景雜波放射線較不敏感或不受其影響。
因此,本發明提供一種眼睛投影裝置100,其能引導光線(如影像投影LB)以相對於眼睛的適當角度方位朝向使用者的至少一眼睛EYE的位置,以使影像能投影在眼睛EYE的視網膜上的預期位置。在一些實施方式中,眼睛投影裝置100係配置且可操作以監控眼睛EYE的位置之改變及/或眼睛EYE的視線LOS的方位之改變,並且使光線(如LB)偏轉以追蹤眼睛EYE的位置及方位,以致即使在使用者改變其注視方向或眼睛投影裝置的位置相對於眼睛EYE有移動的情況下,影像仍能投影在眼睛視網膜上的固定位置。
圖4係眼睛投影裝置100的方塊圖,其包括用以將影像投影至使用者的二個眼睛EYE及EYE'之眼睛投影系統101及101'。眼睛投影系統101及101'可例如配置成類似以上所述之參考圖3A的眼睛投影系統。因此,如圖3A所用之相同參考數字亦使用在下述內容以表示圖4之眼睛投影系統101中的類似元件/模組,且附加「'」的類似參考數字係用以表示圖4之眼睛投影系統101'的元件/模組。
裝置100係配置在虛擬及/或擴增實境鏡片GS(包括鏡片102及102')上。為清楚說明起見,圖中亦顯示了鏡片GS的柄部及鼻樑部。眼睛投影系統101及101'分別投射追蹤光線TB及TB',其係經由從對應的鏡片102及102'上的反射表面之反射而導向以分別到達使用者眼睛的EYE及EYE'。從眼睛EYE及EYE'反射回來的返回光線RB及RB'分別被眼睛投影系統101及101'中的感測器捕捉,並進行處理以確認眼睛的位置及注視方向,且據此調整眼睛投影系統101及101'的光學傳播路徑。眼睛投影系統101及101'亦分別投射影像投影光線LB及LB',其係沿著眼睛投影系統101及101'的調整光學路徑而傳播,因此意欲將其各別影像分別投影在眼睛EYE及EYE'的視網膜上的固定位置上。
在此範例中,共同瞳孔位置控制器170係用於眼睛投影系統101及101'兩者。此共同瞳孔位置控制器170係可連接至第一眼睛投影系統101的第一瞳孔位置感測器175,且亦可連接至第二眼睛投影系統101'的第二瞳孔位置感測器175'。瞳孔位置控制器170係用以接收並處理來自瞳孔位置感測器175及175'兩者的讀出資料RD2及RD2'(例如參考方法308之上述範例),並確認眼睛EYE及EYE'兩者的瞳孔位置之移動。然後,瞳孔位置控制器170偵測使用者雙眼的瞳孔位置之「共模」移動,藉此區分與眼睛動作有關的移動和與相對於眼睛之眼睛投影裝置移動有關的移動。此區分提供了對於投影系統之移動的補償,例如分別依據投影系統的軸向及橫向移動來重新縮放及調整投影影像的位置。
圖5A及5B係二個說明性範例,其本身清楚地顯示本發明的技術可如何與適用在各種應用的頭戴式顯示器(HMD,head mounted display)結合。
圖5A繪示一使用者穿戴著具有整合眼睛追蹤器的HMD。這整個系統包括一可穿戴式光學模組及一控制單元,而控制單元可為頭部可穿戴式模組的一部份或為連接至光學模組的一分離模組。連接方式可為有線式或無線式。光學模組具有眼睛追蹤模組,其分別追蹤每一眼睛相對於裝置本身之參考點的位置及角度。使用者眼睛的精準測量係定義為如以上所述之關於光學模組的注視方向。至少一攝影機及一慣性測量單元係用以確認光學模組在其環境中的位置。此測量係定義為使用者頭部局部化並通常利用攝影機及額外感測器(如慣性測量單元)的陣列來執行,且其依靠特徵追蹤或額外的專用標記追蹤。環境中的裝置位置(局部化)與使用者的注視參數之關聯能實現相對於環境的精準眼睛追蹤估算。來自雙眼的疊加資訊不僅提供有關使用者正在觀看方向的資訊,還提供了有關距離多少的資訊。這使得HMD系統能更加精準地顯示過多內容。
圖5B繪示使用者在觀看一物品(此範例為一車輛)。所用之系統與上述HMD系統相同,但其亦配置以對使用者投影一影像,而此影像與實際物品疊加。使用者依序觀看該車輛的前輪及後輪。眼睛追蹤系統確認使用者注視的方向及位置。此系統係配置成使虛擬視野(VFOV,virtual field of view)位在使用者注視方向的中央。因此,當使用者移動其注視時,虛擬影像隨著一起移動。重要的是,須注意到位於使用者注視中心的視覺內容可為自我中心(egocentric)(提供主要與注視方向有強相關的虛擬重疊)或為世界錨定(world anchored)(提供相對於真實世界環境的虛擬層)。這不僅需要局部化功能,並且還需要世界映射(SLAM)。在所呈現的影像中,實現了局部化及映射特徵,並且在任何特定時間隨著使用者所觀看之注視方向及物品而將虛擬重疊資訊(前輪、後輪)呈現給使用者。
100‧‧‧眼睛投影裝置
101‧‧‧眼睛投影系統
101'‧‧‧眼睛投影系統
102‧‧‧鏡片
102'‧‧‧鏡片
105‧‧‧眼睛追蹤裝置
110‧‧‧光模組
111‧‧‧光埠
112‧‧‧影像光線調變器
113‧‧‧光學組件
115‧‧‧強度調變器
117‧‧‧光線準直器
117'‧‧‧光線準直器
118‧‧‧光線合併器
120‧‧‧影像掃描偏轉器
130‧‧‧偏轉器
140‧‧‧偏轉器
145‧‧‧光中繼器
145.1‧‧‧光學元件
145.2‧‧‧光學元件
150‧‧‧光學組件
160‧‧‧眼睛追蹤模組
162‧‧‧追蹤光源
164‧‧‧光線方向控制器
170‧‧‧控制器
172‧‧‧鎖相模組
175‧‧‧光學感測器
175'‧‧‧光學感測器
180‧‧‧控制器
181‧‧‧顫動濾除模組
182‧‧‧鎖相模組
185‧‧‧光學感測器
185'‧‧‧光學感測器
190‧‧‧影像投影模組
192‧‧‧影像投影控制器
200‧‧‧方法
210‧‧‧操作
220‧‧‧操作
250‧‧‧操作
270‧‧‧操作
290‧‧‧操作
300‧‧‧方法
307‧‧‧方法
308‧‧‧方法
310‧‧‧操作
320‧‧‧操作
330‧‧‧操作
340‧‧‧操作
350‧‧‧操作
360‧‧‧操作
370‧‧‧操作
380‧‧‧操作
390‧‧‧操作
410‧‧‧操作
420‧‧‧操作
430‧‧‧操作
432‧‧‧操作
434‧‧‧操作
440‧‧‧操作
442‧‧‧操作
444‧‧‧操作
452‧‧‧操作
454‧‧‧操作
為了能更瞭解於此所揭露之標的及舉例說明其實際上可如何實現,現將參考附圖來敘述一些實施方式(僅作為非限制性範例),其中:
圖1A至1F係方塊圖,其示意性繪示根據本發明之數個實施方式的眼睛投影裝置;
圖1G係根據本發明之實施方式的方法流程圖,其在補償眼睛的位置及注視方向之改變的情況下引導光線(如影像投影光線)朝向眼睛;
圖2A及2B係方塊圖,其說明根據本發明之二實施方式的眼睛投影裝置中所使用的二個影像投影系統配置;
圖3A係根據本發明之實施方式的方塊圖,其顯示用以監控眼睛/瞳孔的位置及注視方向的眼睛追蹤裝置,及利用眼睛追蹤裝置的眼睛投影裝置;
圖3B至3D係流程圖,其繪示監控及追蹤眼睛或另一光學表面/系統的位置及視線(注視)之方法。
圖3E係一示意圖,其自行說明地繪示根據本發明之實施方式之用以監控/追蹤眼睛的位置及/或視線的伺服迴圈(servo loop)流程。
圖4顯示配有根據本發明之實施方式之眼睛投影裝置的鏡片。
圖5A及5B係結合本發明之系統的頭戴式顯示器(HMD,head mounted display)的二個使用範例。
100‧‧‧眼睛投影裝置
101‧‧‧眼睛投影系統
102‧‧‧鏡片
130‧‧‧偏轉器
140‧‧‧偏轉器
145‧‧‧光中繼器
145.1‧‧‧光學元件
145.2‧‧‧光學元件
150‧‧‧光學組件
190‧‧‧影像投影模組

Claims (43)

  1. 一種眼睛投影裝置,包含眼睛投影系統,該眼睛投影系統係配置以投射沿著一傳播路徑而傳播至眼睛之光線,該眼睛投影系統包含: 光學組件,定義該光學組件中之光線的一般光學路徑,該光學組件包含偏轉器配置,該偏轉器配置包含一或更多可調式光學偏轉器,該一或更多可調式光學偏轉器係沿著該一般光學路徑而排列,且係配置以定義從該光學組件到眼睛之光線的可調整傳播路徑; 其中該一或更多可調式光學偏轉器具有影響該傳播路徑之偏轉的至少三個可調整偏轉參數,以提供至少三個自由度來調整朝向眼睛之光線的該傳播路徑; 其中該至少三個自由度之其中二者係與朝向眼睛之該傳播路徑的二個角度方位有關,並用以補償眼睛的注視方向之角度改變;且該至少三個自由度之其中至少一者係與該傳播路徑的橫向偏轉有關,並用以補償相對於眼睛之該眼睛投影系統的相對橫向位置之差異。
  2. 如申請專利範圍第1項之眼睛投影裝置,其中該偏轉器配置包含該些可調式光學偏轉器其中至少二者係設置成依序與進入該光學組件的光線互相作用並定義該一般光學路徑。
  3. 如申請專利範圍第1或2項之眼睛投影裝置,其中該一或更多可調式光學偏轉器具有至少一個額外的偏轉參數,從而定義至少四個偏轉參數以提供該傳播路徑的至少四個自由度,其包括:該二個自由度係提供以補償眼睛的注視方向之角度改變,且二個自由度係提供以補償在至少二個空間橫向軸上相對於眼睛之該眼睛投影系統的相對橫向位置之差異。
  4. 如申請專利範圍第1或2項之眼睛投影裝置,更包含一控制器,該控制器係用以接收資料,而該資料表示眼睛的注視方向之改變和相對於眼睛之該眼睛投影系統的相對橫向位置之改變,且該控制器係用以依據該資料來調整該一或更多可調式光學偏轉器的偏轉參數,以引導光線入射在眼睛的視網膜上之特定位置上,而與眼睛的注視方向之差異和該眼睛投影系統的位置之差異無關。
  5. 如申請專利範圍第1或2項之眼睛投影裝置,用以將影像直接投影在眼睛的視網膜上;該眼睛投影系統包含用以將影像投影在眼睛的視網膜上之影像投影模組,其包括光模組及影像光線調變器,該光模組係用以輸出欲投射在視網膜上的光線,且該影像光線調變器係沿著光線的該一般光學路徑而設置,且該影像光線調變器係用以接收表示影像的一或更多像素的影像資料,並用以調變光線以將該影像資料編碼在光線上,而使影像形成在視網膜上。
  6. 如申請專利範圍第5項之眼睛投影裝置,其中該影像光線調變器包含至少一光強度調變器及一影像掃描偏轉器,該光強度調變器係配置且可操作成依據該影像資料而進行光線的強度及色彩成份之時間調變,且該影像掃描偏轉器係配置且可操作以執行光線的二維空間影像掃描,且其中光線的時間調變與二維空間影像掃描係同步執行,以將該影像資料編碼在用以投影影像的光線上。
  7. 如申請專利範圍第6項之眼睛投影裝置,其中該影像掃描偏轉器係逐線掃描器。
  8. 如申請專利範圍第5項之眼睛投影裝置,其中該影像光線調變器包含區域投影模組,該區域投影模組包含至少一空間光調變器,該空間光調變器係配置且可操作成在空間上調變光線的強度及色彩成份,以產生欲投影在視網膜上的影像,且其中該光學組件係配置以將所投影之影像共軛平面中繼到眼睛的視網膜。
  9. 如申請專利範圍第8項之眼睛投影裝置,其中該區域投影模組包含下列的空間光調變器其中之一或多者:如CRT、LCD、LCOS、DMD或OLED、VRD、及諧振掃描光纖。
  10. 如申請專利範圍第5項之眼睛投影裝置,包含一影像投影控制器,該影像投影控制器係可連接至該影像光線調變器並用以接收表示影像的影像資料,且該影像投影控制器操作該影像光線調變器以調整光線的強度及色彩成份,從而將影像形成在視網膜上。
  11. 如申請專利範圍第1或2項之眼睛投影裝置,其中該偏轉器配置中之至少一可調式光學偏轉器係配置且可操作為瞳孔位置光線偏轉器,其係用以影響朝向眼睛之光線之該傳播路徑的橫向偏轉。
  12. 如申請專利範圍第11項之眼睛投影裝置,其中該瞳孔位置光線偏轉器係配置且可操作以影響沿著垂直於該傳播路徑之一橫向軸的橫向偏轉。
  13. 如申請專利範圍第11項之眼睛投影裝置,其中該瞳孔位置光線偏轉器係配置且可操作以影響沿著垂直於該傳播路徑之二橫向軸的橫向偏轉。
  14. 如申請專利範圍第11項之眼睛投影裝置,其中該傳播路徑的橫向偏轉係藉由改變該瞳孔位置光線偏轉器的偏轉角度而達成。
  15. 如申請專利範圍第14項之眼睛投影裝置,其中該光學組件包含光學中繼器,該瞳孔位置光線偏轉器係位在該光學中繼器之內,以使該瞳孔位置光線偏轉器的偏轉角度之調整能影響該光學中繼器內之該一般光學路徑的方位,並從而修改朝向眼睛之光線之該傳播路徑的橫向位置。
  16. 如申請專利範圍第15項之眼睛投影裝置,其中該瞳孔位置光線偏轉器係設置成使該瞳孔位置光線偏轉器的偏轉角度之調整能修改朝向眼睛之光線之該傳播路徑的橫向位置,而不影響朝向眼睛之該傳播路徑的角度方位。
  17. 如申請專利範圍第11項之眼睛投影裝置,其中橫向偏轉係藉由沿著該光學組件的該光學路徑來移動該瞳孔位置光線偏轉器的位置而達成,從而改變與光線的交點位置,而光線自該交點位置偏轉,並調整朝向眼睛之該傳播路徑的橫向位置,而不影響朝向眼睛之該傳播路徑的角度方位。
  18. 如申請專利範圍第17項之眼睛投影裝置,其中該光學組件包括光學中繼器,該瞳孔位置光線偏轉器係沿著光線的該光學路徑而設置在該光學中繼器外側。
  19. 如申請專利範圍第18項之眼睛投影裝置,其中該瞳孔位置光線偏轉器係位在相對於光線通過該光學組件之傳播方向的該光學中繼器上游,且其中該偏轉器配置的偏轉表面具有實質上不超過7毫米的橫向尺寸。
  20. 如申請專利範圍第17項之眼睛投影裝置,其中該瞳孔位置光線偏轉器包括該些可調式光學偏轉器之其中二者,其係設置成如下: 此二個可調式光學偏轉器皆可沿著第一橫向軸一起移動,以影響相對於該第一橫向軸之朝向眼睛之該傳播路徑的相對橫向偏轉; 此二個可調式光學偏轉器之其中一者係可沿著第二橫向軸獨立移動,以影響相對於該第二橫向軸之朝向眼睛之該傳播路徑的相對橫向偏轉。
  21. 如申請專利範圍第1或2項之眼睛投影裝置,其中該偏轉器配置之其中至少一可調式光學偏轉器係配置且可操作為注視方向光線偏轉器,其係以可調整的方式來影響朝向眼睛之光線之該傳播路徑的角度方位。
  22. 如申請專利範圍第21項之眼睛投影裝置,其中該注視方向光線偏轉器係亦配置且可操作為瞳孔位置光線偏轉器,並且係配置成沿著該光學組件的該光學路徑移動,以使該移動影響朝向眼睛之光線之該傳播路徑的橫向偏轉。
  23. 如申請專利範圍第21項之眼睛投影裝置,其中朝向眼睛之該傳播路徑的角度方位之偏轉係藉由改變該注視方向光線偏轉器的偏轉角度而達成。
  24. 如申請專利範圍第23項之眼睛投影裝置,其中該光學組件包括光學中繼器,且該注視方向光線偏轉器係沿著該光學組件的該光學路徑而設置在該光學中繼器外側,且其中該注視方向光線偏轉器的偏轉角度之改變並不影響朝向眼睛之該傳播路徑的橫向偏轉。
  25. 如申請專利範圍第1或2項之眼睛投影裝置,包含光學中繼器,該光學中繼器包含具有各別屈光力的至少二光學元件,其係沿著該光學組件的光學路徑而設置,以使該至少二光學元件之間的光學距離與其焦距的總和相配。
  26. 如申請專利範圍第1或2項之眼睛投影裝置,包含眼睛追蹤模組,該眼睛追蹤模組係配置且可操作以測量眼睛定位資料,該眼睛定位資料表示眼睛的注視方向及橫向位置,並用以調整朝向眼睛之該傳播路徑。
  27. 如申請專利範圍第26項之眼睛投影裝置,包含一或更多控制器,其係用以利用該眼睛定位資料來產生操作指令以操作該一或更多可調式光學偏轉器,以調整該傳播路徑的角度方位及橫向位置以補償該些偏差。
  28. 如申請專利範圍第26項之眼睛投影裝置,其中該眼睛追蹤模組包含: 追蹤光埠,其係配置且可操作以提供追蹤光線,追蹤光線受引導而沿著該光學組件的該一般光學路徑傳播,並與該一或更多可調式光學偏轉器互相作用;藉著追蹤光線入射在眼睛上而產生反射光線,反射光線係有關追蹤光線從眼睛的視網膜反射而反向傳播通過該光學組件; 一或更多感測器,其係於沿著該一般光學路徑的二或更多不同位置處而光學耦合至該一般光學路徑,且係用以接收反射光線並測量反射光線在該二或更多不同位置處的一或更多傳播特性;及 眼睛追蹤控制器,其係可連接至該一或更多感測器及該一或更多可調式光學偏轉器;該眼睛追蹤控制器係用以接收表示反射光線在該二或更多不同位置處的至少一傳播特性之一或更多感測器讀出資料,並處理該讀出資料以確認該眼睛定位資料。
  29. 如申請專利範圍第28項之眼睛投影裝置,其中該眼睛定位資料係表示眼睛的注視方向與朝向眼睛之光線之該傳播路徑的方位之間的偏差,以及表示眼睛的瞳孔之橫向位置與該傳播路徑之間的偏差。
  30. 如申請專利範圍第29項之眼睛投影裝置,其中該一或更多可調式光學偏轉器包括沿著該光學路徑而依序設置的至少二可調式光學偏轉器,從而分別藉由該二可調式光學偏轉器以分別定義與該光學路徑的偏轉有關之該光學路徑的二個偏轉階段; 其中該一或更多感測器光學耦合至該一般光學路徑的該二或更多不同位置係分別安排在該二個偏轉階段;且 其中該眼睛追蹤控制器係配置且可操作成基於從與各別可調式光學偏轉器有關的該光學路徑的各別偏轉階段所測量之對應傳播特性,產生該二可調式光學偏轉器之每一各別可調式光學偏轉器的操作指令。
  31. 如申請專利範圍第30項之眼睛投影裝置,其中反射光線的傳播特性係反射光線之傳播離預定標稱位置的橫向離軸偏差。
  32. 如申請專利範圍第30項之眼睛投影裝置,其中該一或更多感測器中之每一感測器包含複數感光像素;且其中該眼睛追蹤控制器係用以處理來自該感測器的該讀出資料,以確認反射光線在該感測器上的入射位置,並確認該入射位置與該感測器上的預定標稱位置之間的偏差,從而確認反射光線的傳播特性。
  33. 如申請專利範圍第30項之眼睛投影裝置,其中該眼睛追蹤控制器包含一或更多伺服迴圈,每一伺服迴圈係配置且可操作成將該二可調式光學偏轉器中之各個可調式光學偏轉器分別連接至該一或更多感測器中之對應的一感測器,以基於從對應的該感測器所獲得之讀出資料來產生用以操作各個可調式光學偏轉器的操作指令。
  34. 如申請專利範圍第28項之眼睛投影裝置,其中該一或更多感測器包括注視方向感測器,該注視方向感測器包含複數光偵測器;該注視方向感測器係設置成在反射光線與一注視方向光線偏轉器互相作用後的偏轉階段處收集來自該一般光學路徑的反射光線,該注視方向光線偏轉器係與該傳播路徑的角度方位之調整有關的該些可調式光學偏轉器之其中一者,以使來自該注視方向感測器的讀出資訊表示眼睛的注視方向與朝向眼睛的該傳播路徑之間的角度偏差;且 其中該眼睛追蹤控制器包括注視方向控制器,該注視方向控制器係可連接至該注視方向感測器及該注視方向光線偏轉器;該注視方向控制器係用以處理來自該注視方向感測器的讀出資訊並用以操作該注視方向光線偏轉器,以至少部份補償眼睛的注視方向與朝向眼睛之光線的該傳播路徑之間的角度偏差。
  35. 如申請專利範圍第34項之眼睛投影裝置,其中該注視方向感測器係下列其中至少一者:包含組織成2乘2配置的四個光偵測器之四象限感測器;位置感測裝置(PSD,position sensing device)及/或時間延遲積分電荷耦合裝置(TDI-CCD,time delay integration charge coupled device)及/或具有感興趣區域(ROI,region of interest)選擇能力的互補式金屬氧化物半導體(CMOS,complementary metal-oxide-semiconductor);且其中該注視方向控制器係可連接至該四象限感測器且係配置且可操作以操作該注視方向光線偏轉器,以使反射光線離該感測器的中心之偏差降到低於預定臨界值以下的位準。
  36. 如申請專利範圍第34項之眼睛投影裝置,其中該注視方向控制器包含顫動濾除模組,該顫動濾除模組係用以處理該讀出資料並濾除注視方向的角度偏差,其係與眼睛的顫動動作有關。
  37. 如申請專利範圍第36項之眼睛投影裝置,其中該顫動濾除模組係與顫動偏差臨界值有關,且係配置且可操作以處理該讀出資料以連續監控注視方向的角度偏差,且當角度偏差低於該顫動偏差臨界值時操作在開放伺服迴圈,因而不補償與顫動動作有關的偏差,且當角度偏差大於該顫動偏差臨界值時操作在封閉伺服迴圈,因而補償與眼睛的顫動動作無關之偏差。
  38. 如申請專利範圍第28項之眼睛投影裝置,其中該追蹤光埠係可操作以輸出追蹤光線作為調變光線,且其中該眼睛追蹤控制器包含下列其中至少一者:鎖相模組及帶通濾波器;其中該鎖相模組係用以將來自該一或更多感測器的讀出資訊與該追蹤光線的調變兩者進行相位鎖定,從而抑制與該感測器所感測到的IR光雜波有關的雜訊;且其中該帶通濾波器係調諧至追蹤光線的特定波長。
  39. 如申請專利範圍第28項之眼睛投影裝置,其中該一或更多感測器包括瞳孔位置感測器,該瞳孔位置感測器包含複數光偵測器;該瞳孔位置感測器係設置成在反射光線與一瞳孔位置光線偏轉器互相作用後的偏轉階段處收集反射光線,該瞳孔位置光線偏轉器係與該傳播路徑的橫向位置之調整有關的該些可調式光學偏轉器之其中一者,以使來自該瞳孔位置感測器的讀出資訊表示眼睛的瞳孔的位置與朝向眼睛之光線的該傳播路徑之間的橫向偏差;且其中該眼睛追蹤控制器包括瞳孔位置控制器,該瞳孔位置控制器係可連接至該瞳孔位置感測器及該瞳孔位置光線偏轉器;該瞳孔位置控制器係用以處理來自該瞳孔位置感測器的讀出資訊並用以操作該瞳孔位置光線偏轉器,以至少部份補償眼睛的瞳孔的位置與該傳播路徑之間的橫向偏差。
  40. 如申請專利範圍第39項之眼睛投影裝置,包含用以將影像投影至使用者雙眼之其中一眼的該眼睛投影系統和將影像投影至該使用者雙眼之其中另一眼的第二眼睛投影系統,且其中該瞳孔位置控制器係可連接至該瞳孔位置感測器及該第二眼睛投影系統的第二瞳孔位置感測器,且係用以偵測該使用者雙眼的瞳孔的位置之「共模」(common mode)移動,從而區分有關眼睛動作的移動與有關相對於眼睛之該眼睛投影裝置動作的移動。
  41. 一種眼睛追蹤模組,包含: 追蹤光埠,配置以提供追蹤光線; 光學組件,配置以引導追蹤光線沿著朝向眼睛的一傳播路徑傳播,該光學組件包含至少二可調式光學偏轉器,其係配置且可操作以調整朝向眼睛的該傳播路徑的角度方位及橫向位置; 至少二光學感測器,其係各別與該至少二可調式光學偏轉器相關聯且係光學耦合至該光學組件的一般光學路徑,以分別感測從眼睛反射回來的反射光線以回應引導追蹤光線朝向眼睛; 眼睛追蹤控制器,可連接至該至少二光學感測器以自其接收讀出資訊;該眼睛追蹤控制器係用以處理該讀出資訊以確認分別表示該傳播路徑離眼睛的瞳孔位置及注視方向之橫向及角度偏差的資料。
  42. 如申請專利範圍第41項之眼睛追蹤模組,其中該追蹤光埠係可操作以輸出追蹤光線作為調變光線,且其中該眼睛追蹤控制器包含鎖相模組,該鎖相模組係用以將來自該些光學感測器之其中至少一者的讀出資訊與追蹤光線的調變進行相位鎖定,從而抑制與該些光學感測器之其中至少一者所感測到的IR光雜波有關的雜訊。
  43. 一種用以引導光線從眼睛投影裝置到眼睛的光學組件,該光學組件包含沿著朝向眼睛的一般光學路徑而設置的至少二可調式光學偏轉器;其中該至少二可調式光學偏轉器係配置以提供調整朝向眼睛之光線之傳播路徑的至少四個自由度;且其中該些自由度其中二者係與補償眼睛的注視方向之角度改變有關,且該些自由度其中二者提供相對於眼睛之眼睛投影裝置的相對位置之差異的補償。
TW105128177A 2015-09-02 2016-09-01 眼睛投影系統與方法 TW201716827A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IL241033A IL241033B (en) 2015-09-02 2015-09-02 Projector system and method for ocular projection

Publications (1)

Publication Number Publication Date
TW201716827A true TW201716827A (zh) 2017-05-16

Family

ID=57047262

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105128177A TW201716827A (zh) 2015-09-02 2016-09-01 眼睛投影系統與方法

Country Status (13)

Country Link
US (1) US11079601B2 (zh)
EP (1) EP3345035A1 (zh)
JP (1) JP6937517B2 (zh)
KR (1) KR20180048868A (zh)
CN (2) CN108351515A (zh)
AU (1) AU2016314630B2 (zh)
CA (1) CA2997086A1 (zh)
HK (1) HK1256558A1 (zh)
IL (1) IL241033B (zh)
RU (1) RU2728799C2 (zh)
SG (1) SG10202001835YA (zh)
TW (1) TW201716827A (zh)
WO (1) WO2017037708A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI633465B (zh) * 2017-11-21 2018-08-21 瑞軒科技股份有限公司 虛擬實境裝置及虛擬實境裝置的操作方法
TWI638310B (zh) * 2017-09-13 2018-10-11 宏達國際電子股份有限公司 頭戴式顯示系統及其影像顯示方法
TWI679555B (zh) * 2017-10-12 2019-12-11 華碩電腦股份有限公司 擴增實境系統以及提供擴增實境之方法
US10671156B2 (en) 2018-08-09 2020-06-02 Acer Incorporated Electronic apparatus operated by head movement and operation method thereof
US10878781B2 (en) 2018-08-09 2020-12-29 Chun-Ding HUANG Image processing method and head-mounted display system
TWI778115B (zh) * 2018-08-08 2022-09-21 美商元平台技術有限公司 增加照射均勻性的掃描顯示系統、顯示方法以及光組件
TWI802826B (zh) * 2020-02-19 2023-05-21 美商海思智財控股有限公司 顯示一個具有景深的物體的系統與方法
US11698535B2 (en) 2020-08-14 2023-07-11 Hes Ip Holdings, Llc Systems and methods for superimposing virtual image on real-time image
US11774759B2 (en) 2020-09-03 2023-10-03 Hes Ip Holdings, Llc Systems and methods for improving binocular vision
US11953689B2 (en) 2020-09-30 2024-04-09 Hes Ip Holdings, Llc Virtual image display system for virtual reality and augmented reality devices

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11262580B1 (en) 2016-01-13 2022-03-01 Apple Inc. Virtual reality system
US11157072B1 (en) * 2016-02-24 2021-10-26 Apple Inc. Direct retinal projector
CN107272319A (zh) * 2016-04-07 2017-10-20 中强光电股份有限公司 投影装置以及影像投影方法
WO2018057660A2 (en) 2016-09-20 2018-03-29 Apple Inc. Augmented reality system
US10664049B2 (en) * 2016-12-09 2020-05-26 Nvidia Corporation Systems and methods for gaze tracking
CN110914737A (zh) 2017-05-29 2020-03-24 爱威愿景有限公司 图像投影系统
JP6841173B2 (ja) * 2017-06-30 2021-03-10 株式会社Jvcケンウッド 虚像表示装置
US10521658B2 (en) * 2017-07-07 2019-12-31 Facebook Technologies, Llc Embedded eye tracker with dichroic mirror
KR102461253B1 (ko) * 2017-07-24 2022-10-31 삼성전자주식회사 시선 추적기를 구비하는 투사형 디스플레이 장치
US11122256B1 (en) 2017-08-07 2021-09-14 Apple Inc. Mixed reality system
DE102017217200A1 (de) * 2017-09-27 2019-03-28 Carl Zeiss Meditec Ag Beleuchtungseinheit für eine Spaltlampe vom Turmtyp
US10712576B1 (en) * 2017-10-24 2020-07-14 Facebook Technologies, Llc Pupil steering head-mounted display
KR102531925B1 (ko) 2017-11-08 2023-05-16 엘지전자 주식회사 프로젝터 및 그의 동작 방법
KR102096928B1 (ko) 2017-12-18 2020-04-03 삼성전자주식회사 광학 시스템 및 이를 구비한 웨어러블 표시장치
CN109946909B (zh) 2017-12-21 2022-10-04 中强光电股份有限公司 投影装置
CN109946835B (zh) 2017-12-21 2022-04-26 中强光电股份有限公司 投影装置
CN109946834B (zh) 2017-12-21 2022-03-29 中强光电股份有限公司 投影装置
CN110147028B (zh) 2018-02-13 2021-08-27 中强光电股份有限公司 投影装置
DE102018209886B4 (de) * 2018-06-19 2020-02-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Einrichtung zur Projektion eines Laserstrahls zur Erzeugung eines Bildes auf der Netzhaut eines Auges und Brilleneinrichtung mit zwei derartigen Einrichtungen
EP3794398B1 (en) * 2018-07-02 2023-09-13 Huawei Technologies Co., Ltd. A retinal display apparatus and method
US10955677B1 (en) 2018-08-06 2021-03-23 Apple Inc. Scene camera
JP7418149B2 (ja) 2018-11-29 2024-01-19 株式会社リコー 光学装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置
US11514602B2 (en) 2018-12-25 2022-11-29 Samsung Electronics Co., Ltd. Method and apparatus for gaze estimation
US20200211512A1 (en) * 2018-12-27 2020-07-02 Facebook Technologies, Llc Headset adjustment for optimal viewing
CN110308704A (zh) * 2019-04-24 2019-10-08 常州轻工职业技术学院 一种星地激光通讯捕捉系统的控制方法
JP2022537092A (ja) 2019-06-23 2022-08-24 ルーマス リミテッド 中心窩光学補正を用いるディスプレイ
US11947128B2 (en) * 2019-09-15 2024-04-02 Arizona Board Of Regents On Behalf Of The University Of Arizona Digital illumination assisted gaze tracking for augmented reality near to eye displays
IL271287A (en) * 2019-12-09 2021-06-30 Eyeway Vision Ltd Systems and methods to follow the eye
CN110989166A (zh) * 2019-12-25 2020-04-10 歌尔股份有限公司 一种近眼显示设备的眼球追踪系统及近眼显示设备
CN113923437B (zh) 2020-07-09 2024-03-22 财团法人工业技术研究院 信息显示方法及其处理装置与显示系统
IL276354A (en) * 2020-07-28 2022-02-01 Eyeway Vision Ltd Eye tracking systems and methods
TWI746169B (zh) * 2020-09-17 2021-11-11 宏碁股份有限公司 具有結構光偵測功能的擴增實境眼鏡
CN114326104B (zh) * 2020-09-28 2023-07-25 宏碁股份有限公司 具有结构光检测功能的扩增实境眼镜
DE102020127594A1 (de) * 2020-10-20 2022-04-21 Robert Bosch Gesellschaft mit beschränkter Haftung Optische anordnung einer datenbrille
KR20220059682A (ko) 2020-11-03 2022-05-10 주식회사 엘지화학 올리고머 제조장치
CN113075788A (zh) * 2021-04-02 2021-07-06 中国科学院长春光学精密机械与物理研究所 多谱段多通道共口径变焦成像光学系统
US11493773B2 (en) * 2021-06-07 2022-11-08 Panamorph, Inc. Near-eye display system
US11741861B1 (en) 2022-02-08 2023-08-29 Lumus Ltd. Optical system including selectively activatable facets
CN114415427B (zh) * 2022-02-25 2023-05-05 电子科技大学 一种液晶偏振光栅制备光路及制备方法
DE102022202622A1 (de) * 2022-03-17 2023-09-21 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zu einer Bestimmung eines Augenabstands in einer Datenbrille und Datenbrille
US11798448B1 (en) * 2022-04-02 2023-10-24 Wei Shu Near-eye display device
DE102022005036B3 (de) 2022-07-13 2023-10-26 VIAHOLO GmbH Brillen-Anzeigevorrichtung zum Anzeigen eines virtuellen Bildes in einem sich nach unten verjüngendem virtuell ergänzbaren Sichtfeld der Brillen-Anzeigevorrichtung
DE102022207139B3 (de) 2022-07-13 2023-10-26 VIAHOLO GmbH Brillen-Anzeigevorrichtung zum Anzeigen eines virtuellen Bildes in einem sich nach unten verjüngendem virtuell ergänzbaren Sichtfeld der Brillen-Anzeigevorrichtung

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4878046A (en) 1987-07-30 1989-10-31 United Technologies Corporation Mounting a cathode ray tube for a heads-up display system
US5596339A (en) * 1992-10-22 1997-01-21 University Of Washington Virtual retinal display with fiber optic point source
WO1999063531A1 (en) * 1998-06-05 1999-12-09 Herzel Laor Optical switch for disk drive
US6747611B1 (en) 2000-07-27 2004-06-08 International Business Machines Corporation Compact optical system and packaging for head mounted display
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US6967781B2 (en) 2002-11-29 2005-11-22 Brother Kogyo Kabushiki Kaisha Image display apparatus for displaying image in variable direction relative to viewer
JP4385742B2 (ja) 2002-11-29 2009-12-16 ブラザー工業株式会社 画像表示装置
JP4608996B2 (ja) * 2004-08-19 2011-01-12 ブラザー工業株式会社 瞳孔検出装置およびそれを備えた画像表示装置
US7542210B2 (en) * 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
DE102008000438A1 (de) * 2008-02-28 2009-09-10 Seereal Technologies S.A. Steuerbare Ablenkeinrichtung
JP2010091944A (ja) 2008-10-10 2010-04-22 Canon Inc 画像表示装置及び画像表示システム
WO2010062481A1 (en) * 2008-11-02 2010-06-03 David Chaum Near to eye display system and appliance
EP2356551A4 (en) 2008-11-12 2012-05-02 Flatfrog Lab Ab INTEGRATED TOUCH PANEL DISPLAY APPARATUS AND METHOD OF OPERATION
JP4674634B2 (ja) 2008-12-19 2011-04-20 ソニー株式会社 頭部装着型ディスプレイ
JP5570905B2 (ja) * 2010-08-05 2014-08-13 株式会社ミツトヨ 周波数安定化レーザー光源、および、波長校正方法
US9406166B2 (en) * 2010-11-08 2016-08-02 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
CN102103329B (zh) * 2010-12-06 2013-10-02 中国科学院光电技术研究所 一种用于光刻设备中的光束稳定装置
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US9033510B2 (en) * 2011-03-30 2015-05-19 Carl Zeiss Meditec, Inc. Systems and methods for efficiently obtaining measurements of the human eye using tracking
US8817379B2 (en) 2011-07-12 2014-08-26 Google Inc. Whole image scanning mirror display system
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
US20150097772A1 (en) * 2012-01-06 2015-04-09 Thad Eugene Starner Gaze Signal Based on Physical Characteristics of the Eye
US8384999B1 (en) 2012-01-09 2013-02-26 Cerr Limited Optical modules
CN104094197B (zh) 2012-02-06 2018-05-11 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
JP2014082273A (ja) * 2012-10-15 2014-05-08 Nec Corp 量子ドット型赤外線検出器、赤外線検出装置、及び赤外線検出方法
US9189021B2 (en) 2012-11-29 2015-11-17 Microsoft Technology Licensing, Llc Wearable food nutrition feedback system
US9094677B1 (en) * 2013-07-25 2015-07-28 Google Inc. Head mounted display device with automated positioning
KR20200092424A (ko) 2014-03-03 2020-08-03 아이웨이 비전 엘티디. 눈 투영 시스템

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI638310B (zh) * 2017-09-13 2018-10-11 宏達國際電子股份有限公司 頭戴式顯示系統及其影像顯示方法
TWI679555B (zh) * 2017-10-12 2019-12-11 華碩電腦股份有限公司 擴增實境系統以及提供擴增實境之方法
US11051005B2 (en) 2017-11-21 2021-06-29 Suzhou Raken Technology Limited Virtual reality device and operation method of virtual reality device
TWI633465B (zh) * 2017-11-21 2018-08-21 瑞軒科技股份有限公司 虛擬實境裝置及虛擬實境裝置的操作方法
TWI778115B (zh) * 2018-08-08 2022-09-21 美商元平台技術有限公司 增加照射均勻性的掃描顯示系統、顯示方法以及光組件
US10671156B2 (en) 2018-08-09 2020-06-02 Acer Incorporated Electronic apparatus operated by head movement and operation method thereof
US10878781B2 (en) 2018-08-09 2020-12-29 Chun-Ding HUANG Image processing method and head-mounted display system
TWI704501B (zh) * 2018-08-09 2020-09-11 宏碁股份有限公司 可由頭部操控的電子裝置與其操作方法
TWI802826B (zh) * 2020-02-19 2023-05-21 美商海思智財控股有限公司 顯示一個具有景深的物體的系統與方法
US11698535B2 (en) 2020-08-14 2023-07-11 Hes Ip Holdings, Llc Systems and methods for superimposing virtual image on real-time image
US11822089B2 (en) 2020-08-14 2023-11-21 Hes Ip Holdings, Llc Head wearable virtual image module for superimposing virtual image on real-time image
US11774759B2 (en) 2020-09-03 2023-10-03 Hes Ip Holdings, Llc Systems and methods for improving binocular vision
US11953689B2 (en) 2020-09-30 2024-04-09 Hes Ip Holdings, Llc Virtual image display system for virtual reality and augmented reality devices

Also Published As

Publication number Publication date
CN108351515A (zh) 2018-07-31
CN117055231A (zh) 2023-11-14
US11079601B2 (en) 2021-08-03
RU2018109532A3 (zh) 2019-11-29
US20180246336A1 (en) 2018-08-30
CA2997086A1 (en) 2017-03-09
RU2728799C2 (ru) 2020-07-31
WO2017037708A1 (en) 2017-03-09
SG10202001835YA (en) 2020-04-29
AU2016314630A1 (en) 2018-03-22
HK1256558A1 (zh) 2019-09-27
JP6937517B2 (ja) 2021-09-22
AU2016314630B2 (en) 2020-09-03
JP2018533049A (ja) 2018-11-08
RU2018109532A (ru) 2019-10-02
IL241033B (en) 2021-12-01
EP3345035A1 (en) 2018-07-11
KR20180048868A (ko) 2018-05-10

Similar Documents

Publication Publication Date Title
TW201716827A (zh) 眼睛投影系統與方法
TWI710797B (zh) 眼睛投影系統
US8860634B2 (en) Head mountable display
TW201907204A (zh) 用以在外部場景與虛擬影像之間對位的方法與系統
US11188175B1 (en) Display system with integrated depth detection
US20200186761A1 (en) Eye projection systems and methods with focusing management
JPH10232364A (ja) 眼の空間的関係による焦点調節
JP2008176096A (ja) 画像表示装置
WO2019187958A1 (ja) 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
JP2017092628A (ja) 表示装置、及び、表示装置の制御方法
JP3698582B2 (ja) 画像表示装置
JP6379639B2 (ja) 眼鏡装用パラメータ測定用撮影装置、眼鏡装用パラメータ測定用撮影プログラム
US20230080420A1 (en) Display apparatus
JP2016116066A (ja) 表示装置、及び、表示装置の制御方法
WO2023157481A1 (ja) 表示装置及び表示システム
JP2019049724A (ja) 目用投影システム
CN117980796A (zh) 产生用于眼动追踪的闪烁和虹膜照明的技术