TWI666467B - 眼睛投影系統 - Google Patents

眼睛投影系統 Download PDF

Info

Publication number
TWI666467B
TWI666467B TW104106443A TW104106443A TWI666467B TW I666467 B TWI666467 B TW I666467B TW 104106443 A TW104106443 A TW 104106443A TW 104106443 A TW104106443 A TW 104106443A TW I666467 B TWI666467 B TW I666467B
Authority
TW
Taiwan
Prior art keywords
image
eye
optical
pupil
projection
Prior art date
Application number
TW104106443A
Other languages
English (en)
Other versions
TW201546491A (zh
Inventor
波瑞斯 格林伯格
Original Assignee
以色列商愛威願景有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商愛威願景有限公司 filed Critical 以色列商愛威願景有限公司
Publication of TW201546491A publication Critical patent/TW201546491A/zh
Application granted granted Critical
Publication of TWI666467B publication Critical patent/TWI666467B/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/102—Beam splitting or combining systems for splitting or combining different wavelengths for generating a colour image from monochromatic image signal sources
    • G02B27/104—Beam splitting or combining systems for splitting or combining different wavelengths for generating a colour image from monochromatic image signal sources for use with scanning systems
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Radiation-Therapy Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

揭露一種眼睛投影系統，包含一影像產生器及一眼睛投影光學模組。該影像產生器適用於：取得表示一影像的資料；產生對應該影像的像素的複數光束部分；根據對應各光束部分的該影像的一像素的數值，調整各光束部分的強度；及引導該光束部分沿著一個一般光學傳播路徑以相對於該一般光學傳播路徑的一投影角度αscn 朝該眼睛投影光學模組傳播，其中，投影角度αscn 係根據在該影像中各別該像素的位置加以決定。該眼睛投影光學模組包含一凝視追蹤偏轉器，其對表示一使用者眼睛的凝視方向β的輸入訊號反應，且建構成可操作用以偏轉該等光束部分的該一般光學傳播路徑朝向與該凝視方向β相關聯的該使用者眼睛的瞳孔的位置。該一般光學傳播路徑係被偏轉，使得相對於該瞳孔的視線，該等光束部分以瞳孔入射角αin 入射該瞳孔，其中瞳孔入射角αin 係對應投影角度αscn 。藉此無論眼睛的該凝視角度β，該系統將該影像於該眼睛的網膜的一特定位置直接投影於該網膜上。

Description

眼睛投影系統
本發明係在影像投影系統領域，且特別關於穿戴式/頭戴式影像投影系統，其用於投影影像至使用者眼睛，以對使用者提供純或擴增虛擬實境的經驗。
用於投影虛擬實境及/或擴增虛擬實境至使用者眼睛的頭戴式或其他穿戴式影像投影系統逐漸普及。此種系統在許多實例中建構成眼鏡，其可戴在使用者頭部且可操作用於投影影像至使用者眼睛以將虛擬實境影像/視訊投影提供給使用者。為此，若干已知系統係針對提供純虛擬實境影像投影至使用者的眼睛，其中來自外部景物的光係被阻擋抵達使用者眼睛；而其他系統則針對提供擴增虛擬實境感知，其中來自外部景物的光係被允許通過而至眼睛，且同時亦由影像投影系統擴增/疊加投影至眼睛的影像/視訊框。
舉例來說，美國專利申請案第2013044042號揭露一電子裝置，包含建構成穿戴於使用者頭部的一框架。該框架可包含：一橋架，建構成被支承於使用者的鼻子上；及一眉部，連接至該橋架且背向該橋架延伸，且建構成置於使用者之眉的一側上。該框架可更包含一手柄(arm)，連接至該眉部且延伸至一自由端。此第一手柄可定位在使用者的太陽穴上，使得自由端配置在使用者耳朵附近。該裝置亦可包含：一透明顯示器，鄰近眉部固定至該框架；及一 輸入部，固定至該框架且用於從使用者接收與一功能關聯的輸入。相關於該功能的資訊可在顯示器上呈現。
美國專利第7,936,519號揭露一頭戴式顯示器，包含：像眼鏡框的框架，用以穿戴至觀察者頭部；及二個影像顯示裝置，此等影像顯示裝置每一者包含一影像產生裝置、及安裝至該影像產生裝置的光引導件，光引導件整體係相對於影像產生裝置位於觀察者臉部中心之側，影像產生裝置所發出的光束係入射光引導件，此等光束係透過光引導件引導，且光束從光引導件朝觀察者的瞳孔發射。
美國專利第8,289,231號揭露一頭戴式虛擬影像顯示單元，其在尺寸和重量上是小型的，且納入提供清晰可視穿能力的高效能光學系統。當不想要可視穿能力時，一滑動式光屏蔽可加以納入。可納入聚焦調整，以允許將例如於大約18英吋至無限遠處距離的影像聚焦。一可調整式頭帶可加以納入，該頭帶用於配適使用者頭部。一彈性吊桿結構可加以納入，以協助光學組件的精細位置調整。一滑件與球形接頭機構亦可納入，以協助光學組件的位置調整。一內建麥克風可加以納入，以允許使用者語音輸入。該頭戴式虛擬影像顯示單元可用以與眼睛或安全眼鏡舒適地配合，且在不阻礙使用者觀看周圍環境的情況下提供使用者有用的影像。該單元係設計成具有賞心悅目的外觀，以大幅增進使用者接受度。
美國專利第8,384,999號揭露一光學模組，用於頭戴式顯示器及其他應用。此光學模組包含光學基板及具有相互嚙合脊狀表面的光學超基板。一反射層係形成在此等表面其中至少一者之上。一折射率匹配材料可位於此等表面之間。接收來自投影器之投影影像的區域，將發送自投影器的光線引導至該 等脊狀表面之上，使得在使用中一觀看者看到一擴增影像。該擴增影像包含來自投影器的反射光線、及來自位於模組的與觀看者相反側之物件的透射光線。
在若干技術中，眼睛位置與移動係加以追蹤，以針對使用者決定聚焦區域。舉例來說，一個追蹤凝視的技術係揭露於美國專利第6,943,754號。
美國專利申請案第2012154277號揭露一種系統和方法，其改善使用近眼顯示裝置(例如可視穿顯示裝置或頭戴式顯示裝置)時的使用者經驗。相對於在場景中使用者視野的最佳化顯示影像係加以建立。使用者的頭部和眼睛的位置與移動係加以追蹤，以針對使用者決定聚焦區域。一部分的最佳化影像係連接至目前眼睛位置、預測之頭部和眼睛的次個位置的使用者聚焦區域，係加以預測，且一部分的最佳化影像係結合至次個位置的使用者聚焦區域。
美國專利第7,542,210號揭露一頭戴式顯示裝置，具有：一安裝座，其將該裝置附接至使用者頭部；一光束分束器，以移動元件附接至該安裝座；一影像投影器，投影影像至光束分束器上；一眼睛追蹤器，追蹤眼睛的凝視；及一個以上處理器。該裝置使用眼睛追蹤器及移動元件，以及一選用性的頭部追蹤器，俾以圍繞眼睛轉動中心移動光束分束器，保持光束分束器於眼睛的直視視線中。使用者同時觀看到影像及該影像之後的環境。一第二光束分束器、眼睛追蹤器、及投影器可加以使用於使用者的另一眼，以建立立體、虛擬環境。該顯示器可對應人類眼睛的解像力。無論使用者觀看何處，該發明呈現一高解析度影像。
國際專利申請案公開第WO 2013/117999號揭露用於凝視追蹤的系統、方法及電腦程式產品。一種例示方法包含：使用一投影器引導光線進入一眼睛；使用一影像擷取模組偵測來自與該眼睛相關聯之表面的反射；及基於 所偵測的反射，決定與該眼睛關聯之視線。在一些實施例中，該光線包含紅外線。在一些實施例中，該投影器包含雷射器。在一些實施例中，該投影器包含在矽基液晶(LCoS)晶片。在一些實施例中，與反射相關聯的表面係角膜、虹膜、或網膜其中至少一者。
用於對使用者提供虛擬或擴增實境的習知投影系統，係一般基於將影像(例如視訊影像)朝向使用者眼睛投影，使得該影像被使用者眼睛感知成位在/聚焦於位於該眼睛前方若干距離(例如，通常是距眼睛約4至數公尺的距離)的一中間影像平面處。影像投影於其上的該中間影像平面，可為眼睛前方的一實像平面(即形成該影像的投影光束實際聚焦於該處)，或者為一虛像平面(即形成影像的投影光束係被使用者眼睛感知為聚焦於該處)。在任一情況下，在此種習知影像投影系統中，中間影像平面必須加以光學中繼到使用者的眼睛。換言之，由於中間影像平面(虛像平面或實像平面)通常位於眼睛前方某個有限距離處，因此它僅在晶狀體對焦於該某個距離時才能聚焦於眼睛的網膜上。
投影被感知為距離使用者眼睛某個有限距離處的習知虛擬/擴增實境成像技術的一個主要缺陷，係關於造成眼睛疲勞，且在許多實例中，造成頭痛。此問題甚至更尤其存在於當將立體影像獨立地投影至使用者眼睛每一者以建立感知的3D幻象之時。這是因為，在如此產生的3D幻象內，可能有物件/元件被使用者感知為位在距離眼睛各種不同距離處，這造成眼睛意圖持續將晶狀體針對此等不同距離重新對焦。然而，如上所述，各眼所感知的實像係實際上位於/聚焦於位在離眼睛某個(通常固定)距離處的實像或虛像平面。因此， 「眼睛」意圖根據在該影像內所感知的元件/物件距離而對焦至不同距離，這通常是失敗的，從而困惑頭腦中的視覺感官機構，產生眼睛疲勞和頭痛。
習知技術的另一主要缺陷係關於眼球移動。在習知技術中，其中眼睛每一者所感知的影像係投影於眼睛前方的一影像平面之上，該影像平面通常關聯於一參考坐標系，該參考坐標系係相對於使用者所位在之外部景觀/環境的一參考坐標系為固定的(如同在典型3D電影院的情況，其中一實像係投影至戲院中的固定螢幕上)，或者係相對於與使用者頭部相關聯的一參考坐標系為固定的(如同使用飛行員或遊戲者頭盔的情況，此等頭盔係設計成用以向它們的使用者投影擴增/虛擬實境)。在任何這些情況中，投影的影像對於眼睛的參考坐標系(即眼球的視線)為非固定的，這導致相對於投影模組目標視線對準的已知問題，且需要特別的校正。因此，在使用者眼球運動時，難以利用習知的技術在網膜上的任意選定位置投影影像。然而，此等特點在用於對視覺使用者感知擴增例如來自網際網路的額外資訊的若干應用中係特別需要的。
就此而言，在雙眼人類視覺中，雙眼(視線)不總是定向到平行的光學軸，而是在許多情況下定向成它們的光學軸相交(例如在與此人正觀看之物件相關聯的位置處)。因此，經常期望個別且獨立地調整對各眼睛的網膜的影像投影，以補償或考量雙眼之間的雙眼視差。這亦是使用習知技術難以達成的，在習知技術中，影像投影其上的影像平面，係相對於眼睛每一者的參考坐標系為非固定，而是相對於外部景觀的參考坐標系、或使用者頭部的參考坐標系為固定。
本發明提供一種新穎的眼睛投影技術，其可用於解決本領域技術中已知的上述缺陷。更特別是，本發明提供系統和方法，其用於直接投影影像 至眼睛網膜上，並且額外地提供系統和方法，用於引導投影/成像光學路徑，以根據凝視方向追蹤眼睛的位置。如此能夠在凝視方向改變時投影影像至眼睛網膜上的特定/固定位置上。
應理解的是，用語「在網膜上的固定位置」，使用於此處係意指在網膜上的一特定位置，其對應一特定視角。在這方面，應注意的是，在網膜上影像的小掃視運動(顫動)(其由眼睛的掃視運動加以達成)係必要的，以使得網膜上的影像在特定視角/方向上呈現穩定且固定。為此，用語「在網膜上的固定/特定位置」應理解成網膜上的一位置，其相對於掃視眼球運動所允許的程度為固定的，但可能在一些情況下非絕對固定，且可能由於掃視眼球運動而些微移動。因此，應注意的是，本發明的技術，其係以下更詳細描述，提供大的眼球運動的補償(例如關聯於凝視方向上的變化)，但小的眼球運動，例如掃視運動(顫動)，則可能不加以補償，而仍允許影像在該固定位置上呈現完全穩定。
根據本發明一些實施態樣，提供一種系統及一種方法，用於在眼睛網膜上直接成像。此投影系統包含一影像掃描器，其包括一第一可調整光學偏轉器(例如一個以上快速掃描鏡，可操作用以執行二維影像掃描，例如光柵掃描)。該影像掃描器係建構成可操作以接收一輸入光束且將其偏轉，以調整光束入射使用者眼睛瞳孔的角度。為此，影像掃描器的第一可調整光學偏轉器執行影像掃描，例如一光柵掃描，期間光束係加以偏轉，使得光束以對應眼睛網膜上各種不同位置的各種不同瞳孔入射角αin入射入射瞳孔。接著，光束的強度，亦可能以及其色彩內容，係根據待投影至網膜上的影像加以調變，使得影像的各別像素在影像掃描期間投影至網膜上的該各種不同位置。換言之，瞳孔 入射角αin係對應影像之中的像素，且造成這些像素直接投影至網膜上的各別位置。
本發明的系統亦包含一眼睛投影光學模組，位於朝眼睛傳播之光束的光學路徑之中。通常，根據本發明一些實施例，眼睛投影光學模組包含一角度光束中繼模組，其建構成可操作用於接收來自影像掃描器的光束(該光束傳播自影像掃描器，具有相對於光學軸的某個輸出影像投影角度αscn)，且中繼該光束以對應的瞳孔入射角αin入射瞳孔。為此，αin可為輸出影像投影角度αscn的單調函數Fopt：α in≡{α x in,α y in}=Fopt(α scn)≡Fopt({α x scn,α y scn})，其中上標指標X及Y指定相對於與光學軸垂直的二條正交側向軸所測得的角度。就此而言，單調函數Fopt，其將影像掃描器的投影角度αscn映射至瞳孔入射角αin，係一般與眼睛投影光學模組的光學操作/函數相關聯，該眼睛投影光學模組係將來自影像掃描器的光束中繼至瞳孔。影像投影角度αscn可因而對應影像中對應像素的二維位置{Px,Py}：α scn={α x scn,α y scn}=S({Px,Py})。此處，S係影像掃描函數(此處亦稱為影像掃描映射函數)，其映射於影像中像素的位置{Px,Py}與影像掃描器的角度狀態/位置αscn之間。
如上所述，習知技術的顯著缺陷其中之一係由眼睛所擷取之投影影像相對於眼睛座標(參考坐標系)係非固定，而是相對於另一參考系固定，無論是眼睛之外景物的參考坐標系，或使用者頭部的參考坐標系。因此，當眼睛凝視方向改變，眼睛網膜上影像投影的位置隨之改變。這是因為實際瞳孔入射角α in取決於凝視方向。舉例來說，將凝視方向標記為β≡{βx,βy}，對於特定投影角度α scn瞳孔入射角αin將如下：方程式(1)αin=Fopt(αscn)-β=Fopt(S({Px,Py}))-β 這將導致網膜上像素投影位置(其取決於瞳孔入射角αin)與凝視方向β之間的相依性。
因此，根據本發明，函數Fopt(S({Px,Py}))應加以修改，俾以補償瞳孔凝視方向β的變化，以在各種/變化的凝視方向將影像像素投影在網膜上的特定(例如固定)位置。
達成此點，可藉由利用與修改之光學函數F'opt相關聯之特定建構的眼睛投影光學模組，光學函數F'opt係根據凝視方向可調整。舉例來說，將上述方程式(1)之中的光學函數Fopt以如下修改的光學函數F'opt取代方程式(2)F'opt(αscn,β)=Fopt(αscn)+β將導致瞳孔入射角α in相對於凝視方向係不變。實際上，根據本發明一些實施例，實施此解決方案係藉由在眼睛投影光學模組中包含一可調整凝視追蹤偏轉器，其為一第二可調整光學偏轉器(例如包含一可定址鏡)。該凝視追蹤偏轉器係建構成可操作用以對表示眼睛凝視方向β的訊號反應，以根據凝視方向β偏轉光束的光學傳播路徑，使得該光束以相對於凝視方向(相對於瞳孔的光學軸，即其視線)的該角度α in入射瞳孔。
或者是或額外地，達成瞳孔入射角α in相對於凝視方向不變，可藉由利用影像像素與影像掃描鏡之間適合的映射。此映射考量且補償凝視方向β的變化(例如根據凝視方向可調整)。舉例來說，利用一修改的影像掃描映射函數S'，其滿足以下：方程式(3)Fopt(S'({Px,Py},β))=Fopt(S({Px,Py}))+β
為此，對凝視方向β提供至少部分補償的另一方式，係藉由將影像掃描函數S修改成至少部分補償β，以允許在網膜上相同位置保持像素投影。換 言之，修改影像掃描函數S，係藉由根據β改變投影角度α scn與以此影像掃描器角度投影的的影像像素(光強度)之間的對應性。這可從而藉由實施適合的數位處理以決定在網膜上所投影影像之選定部分而加以達成。當凝視方向變化改變時，影像的此選定部分係移位以補償凝視方向的移動。
然而，此方式可能需要使用一影像投影系統，其具有延長的景深，且能夠以極端的入射角投影像素相關光束而涵蓋不同凝視方向的可能瞳孔定向的全部範圍。然而，設計及製造支援此眼睛極端入射角的光學影像投影系統可能伴隨劣化的光學效能及/或高的允差限制，造成製造此種系統對於若干應用來說不可行或無成本效益。
此外應注意的是，當凝視方向β改變時，瞳孔的空間位置亦改變。因此，使用方程式(3)之修改的影像掃描函數S'以補償β可能需要使用充分寬的光束，其具有涵蓋一些或全部可能瞳孔位置的寬度。舉例來說，眼睛的凝視方向β可能在立體角Ω=~60°之內的任何角度。因此，由於一般眼球直徑D係約25mm，瞳孔可位在6mm標稱半徑的一區域。因此，使用凝視方向β可能需要引導至眼睛的光束具有相當的半徑(例如約8mm)，使得該光束確實抵達於各種不同凝視方向的瞳孔。
如以下進一步探討的，在一些情況下，期望引導寬度/半徑小於瞳孔寬度/半徑的光束至瞳孔。這可用以改善網膜上影像投影的焦深。然而，應注意的是，使用方程式(3)的方案藉由使用影像掃描函數S'補償凝視方向，在使用窄光束(例如窄於瞳孔)的此等實施例中可能是不期望的。這是因為此方案將需要光束遠寬於瞳孔而涵蓋可能瞳孔位置相當大的一部分。
然而，使用寬於瞳孔之寬光束，在眼睛投影光學模組係特別建構用於補償凝視方向β的實施例中(亦即是眼睛投影光學系統係依據凝視方向而可調/可調整(如方程式(2))的實施例)可能是不需要的。這是因為，在此等實施例中，眼睛投影光學模組可包含依據凝視方向β操作的凝視追蹤偏轉器，用以偏轉光束的光學傳播路徑朝向瞳孔。這容許使用窄於瞳孔寬度的光束且同時仍追蹤及引導這些光束朝向於其各種不同凝視方向的瞳孔。舉例來說，在一些實施例中，凝視追蹤偏轉器可包含一可定址鏡，依據凝視方向β偏轉光束至不同的偏轉角度以改變自其偏轉的光束的光學路徑。凝視追蹤偏轉器亦可包含一欄選擇器光學模組(例如包含一個以上透鏡或鏡)，建構成可操作用以接收自可定址鏡沿對應不同凝視方向之各種不同各別光學路徑傳播的光束，且引導光束朝向對應的空間位置，瞳孔係當於這些不同凝視方向時分別在此等空間位置。舉例來說，欄選擇器光學模組可包含非球面光學件，例如一離軸拋物面偏轉器，其係特別建構用於執行此功能。在一些實施例中，眼睛追蹤偏轉器模組的欄選擇器光學模組包含眼鏡透鏡的一個以上光學表面或由眼鏡透鏡的一個以上光學表面形成。
實際上，更一般而言，亦可使用上述參照方程式(2)及(3)之技術的組合，其係藉由使用眼睛投影光學模組及像素映射處理二者，補償凝視方向β(舉例來說，使得函數每一者提供部分和附加的補償)。這可能需要以下條件由映射函數S'及光學函數F'加以滿足：方程式(4)F'opt(S'({Px,Py},β-β1),β1)=Fopt(αscn)+β 其中β1係由眼睛投影光學模組的可調整凝視追蹤偏轉器加以補償之凝視方向角度β的部分，且(β-β1)係藉由處理(藉由調整映射函數S')加以補償之凝視方向角度β的部分。
如此，本發明提供系統和方法，用於直接投影影像於眼睛網膜上。這可根據本發明加以達成，而不需要投影/聚焦影像於距離眼睛固定距離位在眼睛之外的實際或虛擬中間影像平面。因此，與感知影像在此等中間影像平面相關聯的不適、疲勞或頭痛係實質減輕，且可能完全消除。如以下將更具體描述的，達成在眼睛網膜上的影像直接投影，係使用一影像投影系統，其適用於輸出對應不同影像像素的光束於與影像中各別像素位置相關聯的不同各別輸出影像投影角度，且利用一角度中繼光學件將輸出自影像投影系統的光束以對應的瞳孔入射角中繼至眼睛瞳孔。此角度中繼光學件提供入射瞳孔的光束角度，對應自影像投影系統發出光束的輸出角度，且因而亦對應影像的各別像素。因為晶狀體將從不同方向入射的光束聚焦到網膜的不同各別區域，因此該系統提供在網膜上影像的直接成像。
在一些實施例中，本發明的系統適用於引導準直光束至瞳孔。因此，此等光束被眼睛感知為從「無限遠距離」抵達而晶狀體不需要聚焦於位在距其有限距離處的任何影像平面。這能夠減輕與此聚焦相關聯的不適現象，如以上所探討。
或者是，或額外地，本發明的直接投影技術提供在影像以加強焦深投影至眼睛網膜上之方式下將影像投影至眼睛網膜。因此，在實質任何晶狀體的聚焦狀態，將影像投影成實質聚焦於網膜上。舉例來說，影像可以大的焦深加以投影，允許其保持聚焦在網膜上，且同時晶狀體係在從4公尺至∞之寬焦 距範圍內的任何聚焦狀態。根據本發明，具有增加焦深的影像投影係藉由投影與影像像素相關聯的光束至眼睛瞳孔而達成，其中光束寬度係窄於眼睛瞳孔直徑。為此，在典型光學件中焦深係關聯於光學系統的瞳孔直徑。較小瞳孔直徑提供較寬焦深，反之亦然。對於眼睛光學系統，這是相同的。然而，根據本發明，影像係藉由引導對應影像像素的光束直接朝向眼睛瞳孔(在不形成中間影像平面的情況下)而直接投影至眼睛網膜上。因此，發明人已發現，藉由利用及引導具有窄於瞳孔直徑之窄光束寬度的光束，投影至網膜上的影像的焦深係增加。實際上，網膜上影像的焦深增加係因為在此情況中光束進入眼睛而與晶狀體相互作用所通過的瞳孔有效直徑係等於光束的直徑(其小於瞳孔的實際直徑)。在本發明的一些實施例中，由於在任何晶狀體合理的聚焦狀態影像保持聚焦，上述方式係用於減輕，且可能完全消除，與眼睛企圖聚焦於投影影像上相關聯的不適、疲勞或頭痛。因此，在本發明一些實施例中，使用一光學系統，其能夠投影窄於瞳孔直徑的光束至眼睛上。
此外在一些實施例中，雷射光(例如相干光)係用作光源，並且選用性地一適合的光束準直器亦加以使用以提供充分窄且選擇性準直的光線朝向瞳孔。
在一些實施例中，具有一般瞳孔半徑(例如約1.5mm)大約60%之寬度的光束，係用以提供在網膜上影像充分大的景深/焦深。就此而言，根據本發明，由於當在眼睛上使用/投影此窄光束(例如窄於瞳孔)之時所取得的大景深，可調整聚焦和相關聯的光學件之需求可加以避免。因此，在本發明的一些實施例中，具有固定/不可調整焦點的系統可加以使用於引導光束至眼睛。
因此，根據本發明一個廣義實施態樣，提供一種眼睛投影系統，包含一影像產生器及一眼睛投影光學模組。該影像產生器係用以取得表示一影像的資料；產生對應該影像的像素的複數光束部分；根據對應各光束部分的該影像的各別像素的數值，調整該光束部分的強度；及引導該光束部分沿著一個一般光學傳播路徑朝該眼睛投影光學模組傳播。該光束部分係加以引導，以相對於該一般光學傳播路徑的一投影角度αscn向該眼睛投影光學模組傳播，其中，投影角度αscn係根據在該影像中各別像素的位置加以決定。該眼睛投影光學模組包含一凝視追蹤偏轉器，建構成操作用於對表示一使用者眼睛的凝視方向β的輸入訊號反應，以根據該凝視方向β偏轉該等光束部分的該一般光學傳播路徑朝向眼睛的瞳孔。該一般光學傳播路徑係被偏轉，使得相對於在凝視方向β之該瞳孔的視線，該等光束部分以對應投影角度αscn的瞳孔入射角αin入射該瞳孔。藉此無論眼睛的凝視角度β，該系統能夠將該影像於該眼睛的網膜的一實質固定位置直接投影於該網膜上。
根據本發明一些實施例，該投影角度αscn與瞳孔入射角αin之間的對應性係使得瞳孔入射角αin為投影角度αscn的單調函數。
根據本發明一些實施例，眼睛投影系統包含一個以上光束準直器，適用於準直該等光束部分，使得該等光束部分入射該瞳孔且同時實質準直，藉此允許於眼睛網膜上該影像的直接投影。舉例來說，在網膜上影像的直接投影的特徵可在於影像被眼睛感知為源自距眼睛無限遠距離處。
根據本發明一些實施例，該眼睛投影系統包含一個以上光學模組，適用於達成該等光束部分的寬度，使得該等寬度係小於該瞳孔的直徑。這因而允許以一延長的焦深投影該影像於該網膜。根據本發明一些實施例，眼睛 投影系統的該凝視追蹤偏轉器包含一可定址光學偏轉單元及一欄選擇器光學模組。該可定址光學偏轉單元係沿該一般光學傳播路徑配置，且該欄選擇器光學模組係相對於通過系統的光傳播方向配置於沿該光學路徑該可定址光學偏轉單元的下游。在一些實施例中，該可定址光學偏轉單元係對表示該凝視方向β的該等輸入訊號反應，且操作用於調整其偏轉角度，以將入射其上之光束偏轉而沿著對應該凝視方向β的一各別光學路徑傳播。該欄選擇器光學模組可建構成操作用於接收沿著對應不同凝視方向β的各種不同各別光學路徑傳播的光束，且引導該等光束分別朝向分別與該等不同凝視方向β相關聯的該瞳孔的對應位置。為此，在本發明若干實施例中，該欄選擇器光學模組包含一非球面(a-spherical)光學件，例如一離軸拋物面偏轉器。
根據本發明一些實施例，眼睛投影系統的眼睛投影光學模組更包含一角度光束中繼模組。該角度光束中繼模組係建構成可操作用於接收來自該影像產生器於各種投影角度αscn傳播的各光束部分，且中繼該等光束部分而分別以對應的瞳孔入射角αin投影至瞳孔上(於其位置)。舉例來說，在一些實施例中，該角度光束中繼模組包含第一及第二光學模組，分別與第一和第二焦距相關聯。該第一和第二光學模組係沿著該一般光學傳播路徑以一光程彼此分隔開，該光程實質等於該第一和第二焦距的和。
在本發明的若干實施例中，凝視追蹤偏轉器的可定址光學偏轉單元係沿著光學路徑配置在該角度光束中繼模組的該第一與第二光學模組之間。並且，在一些實施例中，該角度光束中繼模組的該第二光學模組以及該欄選擇器光學模組係整合在一共同光學構件之中。
根據本發明一些實施例，眼睛投影系統的影像產生器包含： 一光源，提供一輸入光束；一影像掃描器，位於該輸入光束的光學路徑之中，且適用於將該輸入光束分割成一個以上光束部分，以及引導光束部分其中一者以上相對於該一般光學傳播路徑以該投影角度αscn傳播；一光強度調變器，位於該輸入光束及該一個以上光束部分其中至少一者的光學路徑之中，且適用於可控制地調整光束部分其中一者以上的強度；及一投影控制器，可連接至該光強度調變器模組，且建構成操作用以：取得表示待投影至該眼睛網膜上的影像像素的影像資料；及操作該光強度調變器以根據分別對應該等光束部分的該影像的像素的數值調整該光束部分的強度。
在若干實施例中，該投影控制器亦為可連接至該影像掃描器，且操作用以引導該光束部分相對於該一般光學傳播路徑以該投影角度αscn傳播。
舉例來說，在一些實施例中該光強度調變器可包含一空間光調變器，建構成操作用於將該輸入光束分割成沿著不同各別光學路徑傳播的複數光束部分；且該影像掃描器可包含一靜態光學模組，建構成用於將該複數光束部分偏轉朝向不同的投影角度αscn。
或者是或額外地，該光強度調變器可適用於調變該輸入光束的強度；且該影像掃描器可包含一掃描鏡，適用於將該輸入光束分割成該複數光束部分(時間部分)，並引導該複數光束部分朝不同的角度αscn傳播。
為此，根據本發明一些實施例，眼睛投影系統包含至少二個可調整光學偏轉器(例如二個可調整二維光學偏轉器，各自由一個以上可旋轉鏡形 成)。舉例來說，一第一可調整光學偏轉器可包含或可關聯於影像掃描器的至少一掃描光學偏轉器，且一第二可調整光學偏轉器可包含或可關聯於凝視追蹤偏轉器的凝視追蹤偏轉器。
在一些實施例中，該至少二個(例如第一和第二)可調整光學偏轉器係被致動以控制該等光束部分的傳播的二個以上自由度，以引導該等光束部分相對於在不同凝視方向β的眼睛的視線以所欲的瞳孔入射角αin入射於不同凝視方向β的瞳孔位置，且同時調整該瞳孔入射角αin以對應分別與該等光束部分相關聯的該影像的各別像素。瞳孔入射角αin亦藉由該至少二個可調整光學偏轉器加以調整，以對應分別與該等光束部分相關聯的影像的各別像素。
舉例來說，該第二可調整光學偏轉器係建構成操作用於控制朝瞳孔傳播之光束部分的交點位置，其中一虛擬表面的一實質球面部分界定當該使用者眼睛於不同方向凝視時該瞳孔的可能位置。該第一可調整光學偏轉器係建構成操作用於控制該等光束部分的交角，其中該虛擬表面的一實質球面部分界定該瞳孔的可能位置。或者是，該第一和第二光學偏轉器的光學函數可加以混合，且某個映射(例如查找表)可用以將各別位置(例如二個偏轉器的各別定向)與交點位置相關聯，且該虛擬表面上光束部分的交角界定該瞳孔的可能位置。
根據本發明一些實施例，眼睛投影系統包含一個以上光束準直器，適用於控制入射瞳孔之該光束部分的準直程度(例如建構成使得該光束部分在入射該瞳孔時係實質準直的)。或者是或額外地，該一個以上光束準直器可建構成使得當該光束部分入射該瞳孔時該光束部分的寬度係較該瞳孔直徑窄得多。
根據本發明另一廣義實施態樣，提供一種眼鏡，包含類似上述眼睛投影系統的一個以上眼睛投影系統(例如二個眼睛投影系統)。該眼鏡可見構成用於投影純及/或擴增虛擬實境至眼睛。在後者情況中，眼鏡的透鏡可包含一光束分束器/組合器表面，適用於將來自該眼睛投影系統的光反射朝向使用者眼睛，且將來自景物的外部光發送朝向使用者眼睛。舉例來說，眼睛投影系統的輸入光束可包含一個以上頻譜帶，且該光束分束器/組合器表面可建構成一凹口濾波器，適用於將該一個以上頻譜帶反射朝向使用者眼睛。替代地或額外地，輸入光束可包含偏極化於特定偏光的光，且該光束分束器/組合器表面可建構成一偏光器，適用於將該特定偏光反射朝向使用者眼睛。
根據本發明又另一廣義實施態樣，提供一種眼睛投影系統，用於投影影像於使用者眼睛的網膜。該眼睛投影系統包含：一光模組，用於產生可控制強度的輸入光束；及一光學系統，配置在該輸入光束的光學路徑之中。該光學系統包含第一及第二可調整二維光學偏轉器，以及一控制器，適用於接收表示待投影至使用者眼睛網膜上的影像的資料、及表示該眼睛的凝視方向β的資料，以及用於投影該影像的像素至該網膜上的對應位置。投影影像於網膜可包含針對該影像的各像素的投影執行以下操作：操作該光模組以產生具有對應該影像中該像素的強度值的強度的輸入光束；藉由調整該第一和第二二維光學偏轉器其中至少一者的偏轉角度而操作該第一和第二二維光學偏轉器該其中至少一者，以根據該凝視方向β引導該輸入光束入射該使用者眼睛的瞳孔；及 藉由調整該第一和第二二維光學偏轉器其中至少一者的偏轉角度而操作該第一和第二二維光學偏轉器該其中至少一者，以引導該光束以對應該影像中該像素的一位置的瞳孔入射角αin入射該瞳孔，藉此使晶狀體能夠將與該像素相關聯的該光束的一部分聚焦於對應該影像中該像素的該位置之該網膜上的一位置。
12‧‧‧影像(影像資料)
20‧‧‧凝視追蹤模組
21‧‧‧紅外(IR)光發射器
22‧‧‧資料/訊號
23‧‧‧眼睛追蹤感測器
100‧‧‧眼睛投影系統
110‧‧‧影像投影系統
112‧‧‧影像投影控制器
114‧‧‧光源/模組
116‧‧‧影像產生器
117‧‧‧強度及/或頻率調變器(強度調變器117)
118‧‧‧掃描器
120‧‧‧凝視追蹤控制器
130‧‧‧眼睛投影光學件
132‧‧‧凝視追蹤偏轉器模組
132A‧‧‧偏轉器
132B‧‧‧欄選擇器光學模組
132B.1、132B.2‧‧‧光學構件
134‧‧‧角度光束中繼模組
134A‧‧‧光學模組(透鏡)
134B‧‧‧光學模組(透鏡)
500‧‧‧眼鏡
為了較佳理解此處揭露的申請標的，並例示其實際可能如何執行，現在將參照隨附圖式僅以非限定例示為目的描述實施例，其中：圖1係根據本發明一些實施例建構及操作的眼睛投影系統100的功能方塊圖；圖2A及2B示意描述根據本發明實施例之眼睛投影系統100的光學構造，以及其在二個不同眼睛凝視方向β0及β1的操作；圖2C及2D示意描述根據本發明另一實施例之眼睛投影系統100的光學構造，以及其在二個不同凝視方向β0及β1的操作；圖3係流程圖200，顯示根據本發明實施例的一個方法，用於投影影像於眼睛網膜；圖4係一功能方塊圖，示意描述根據本發明若干實施例的影像投影模組110的構造；圖5係眼鏡的示意圖，該眼鏡包含根據本發明一實施例的眼睛投影系統100；要瞭解的是，為了說明的簡單和清楚，在圖示中顯示的構件不一定依比例繪製。舉例來說，若干構件的尺寸，為清楚起見，可能相對於其他構 件誇大。又，在認為適當之處，參考標號可能在圖示間重複，以表示對應或類似的構件。
在以下詳細說明中，描述許多特定的細節，以提供目前所揭露之申請標的的完整理解。然而，熟習此技藝者理解，目前所揭露的申請標的可在沒有這些特定細節其中若干的情況下加以實施。另一方面，眾所周知的方法、程序、及元件未詳細描述，以免混淆目前所揭露的申請標的。
要瞭解的是，除非另行特別記載，為清楚起見以不同實施例為背景加以描述的目前揭露申請標的之若干特徵，亦可在單一實施例中結合而提供。相反地，為簡潔起見以單一實施例為背景而描述的目前揭露申請標的之各種不同特徵，亦可獨立地提供或以任何適合的子組合方式提供。
亦應理解的是，以下所述光學模組/元件，特別是在圖2A至2D、4及5中所描述者，表示用於實施本發明的功能性光學構件/模組及其構造。因此，該等光學元件/模組係根據其功能性操作於以下加以描述。應注意的是，這些光學構件/模組可藉由利用實際光學構件的各種配置組合而加以實際實施。此外在本發明的若干實施例中，以下所述功能性光學模組其中二者以上可在一共同的光學模組/構件中整合地實施，且/或以下所述單一功能性光學構件/模組可利用數個獨立的光學構件加以實際實施。為此，知曉本發明的熟習此技藝者，將輕易地了解光學構件/模組的各種構造及此等模組的各種配置，以實施本發明及以下所述的功能性光學構件/模組的光學功能。
參照圖1，其顯示根據本發明一些實施例所建構及操作的眼睛投影系統100的功能方塊圖。該眼睛投影系統100包含一影像投影系統110、一眼睛投影光學件130。
影像投影系統110係用以取得表示待投影至眼睛上之一影像的資料，產生對應該影像之像素的複數光束部分LB。該影像投影系統110亦用以：調整光束部分LB的各光束部分LBi的強度，其中該影像一像素的數值對應該各別的部分；及引導該光束部分傳播至眼睛投影光學件130，其中一特定投影角度αscn係關聯於該影像中該各別像素的位置。接著，眼睛投影光學件係建構成且可操作用以對表示使用者眼睛凝視方向β的輸入訊號反應，以依據該凝視方向β將光束部分LB的光學傳播路徑偏轉朝向使用者眼睛的瞳孔。一般的光學傳播路徑係加以偏轉，使得光束部分LB以對應投影角度αscn(例如無關凝視方向β)的瞳孔入射角αin入射瞳孔。在這方面，應理解的是，用語瞳孔入射角αin在此是用以表示當相對於瞳孔/眼睛視線加以量測時光束或其一部分於瞳孔上的入射角度。
為此，本發明藉由引導像素關聯光束部分LB對應與這些光束部分相關聯的像素的影像位置以預定入射角入射眼睛瞳孔，部分或全部地補償不同的眼睛凝視方向。就此而言，應注意的是，光束部分LB可為輸入光束ILB的空間部分/片段，輸入光束ILB可藉由影像投影系統110的影像掃描器118加以空間上或時間上分段/分割。如以下更詳細描述的，實現掃描器118，可利用空間光調變器及/或掃描鏡(例如光柵鏡掃描器)，其可操作用於將光束分割成沿著一般光學路徑朝向眼睛投影光學件130傳播的空間或時間光束部分。
應注意的是，為清楚起見，以下，由影像掃描器118所產生的光束部分LB係可互換地稱作光束或光束部分。
根據本發明一些實施例，眼睛投影系統100亦可包含凝視追蹤控制器120，其可連接至影像投影系統110及眼睛投影光學件130其中至少一者，且適用於根據眼睛/瞳孔的凝視方向β(亦即是根據瞳孔的視線LOS)調整它們其中至少一者的操作。影像投影系統110藉由在對應待投影影像資料12中像素位置的投影角度αscn範圍掃描光束，且同時根據影像投影像素的各別強度和色彩內容值控制光束的強度Int及可能的色彩(頻譜)Spc內容，而建構成可操作用於影像投影。
為此，影像投影系統110通常包含：一光源/模組114，產生輸入光束ILB；及一影像產生器116，包括一強度及/或頻率調變器117(以下稱為強度調變器117)及一影像掃描器118，位於光束LB的光學路徑之中。強度調變器117適用於根據影像12投影像素的強度調變光束的強度。在針對網膜上彩色影像投影的實施例中，光模組可包含一個以上光源(典型上三個紅、綠及藍雷射來源)。接著，強度調變器117可建構且操作用以可控制地調整(衰減/調變)來自光源114之光束ILB的強度Int且亦可能調整其色彩/頻譜內容SPC。在各種實施例中，強度調變器/衰減器可利用位於輸出自光模組114的一個以上光源的光束的光學路徑之中的可控制濾波器/衰減器加以實施。額外地或替代地，強度調變器/衰減器可額外或替代地利用空間光調變器(SLM)加以實施。又，額外地或替代地，強度調變器可利用適用於控制光模組114之中光源/雷射器操作以調整它們輸出強度的控制器加以實施。根據本發明一些實施例之影像投影系統110的構造及/或功能操作，以下參照圖2A至4更詳細地描述。
位於光束光學路徑中的影像掃描器118，可包含一個以上光學偏轉器(舉例來說：可調整光學偏轉器，例如快速掃描/光柵鏡；及/或複數靜態構 件，例如微透鏡陣列(MLA)或微鏡陣列(MMA))，其位於光束LB的光學路徑之中且建構成可操作用以執行影像掃描及/或空間調變以偏轉光束沿著各種掃描/投影角度αscn傳播，藉此分割光束為對應影像12各別像素的複數個光束部分。
影像投影系統110亦包含一影像投影控制器112，其可連接至影像掃描器118及強度調變器117模組，且建構成可操作用以取得表示待投影至網膜之影像像素的影像資料12，以及操作影像掃描器118及強度調變器117將此等光束部分(光束的空間/時間部分)以對應該等影像像素的適當各別強度引導朝向各種掃描/輸入角度αscn。接著，眼睛投影光學件130係適用於接收具有投影角度αscn之輸出自影像產生器116的光束(或其部分)，且引導光束(或其部分)使得它們以對應的瞳孔入射角αin入射眼睛瞳孔，俾使影像像素在其適當位置直接投影在網膜上。眼睛投影光學件130亦可建構成可操作用於補償眼睛的不同凝視方向β以投影影像於網膜上固定位置。
眼睛投影光學件130通常包含一角度光束中繼模組134，適用於中繼光束，以引導光束以對應影像中相應像素各別位置的適當瞳孔入射角度αin入射使用者眼睛的瞳孔EP，藉此能夠藉由晶狀體EL將光束聚焦於應投影關聯於投影角度αscn之影像像素於其上的眼睛網膜ER之適當位置上。這有助於直接投影影像12於眼睛網膜ER上。
根據本發明的一些實施例，眼睛投影系統100亦包含凝視追蹤控制器120，建構成可操作用於根據眼睛的凝視方向β調整/控制影像投影系統110的眼睛投影光學件130的操作，俾以根據在一不同的凝視方向時瞳孔位置及其視線引導影像投影至網膜ER上。更具體而言，在本發明一些實施例中，凝視追蹤 控制器120建構成可操作用於根據上述方程式(2)到(4)其中任一控制眼睛投影光學件130的光學函數F'opt以能夠在凝視目光變化時在網膜上的固定位置進行影像像素投影。應注意的是，當根據上述方程式(2)操作時，僅有眼睛投影光學件130的光學函數F'opt被使用/調整以補償凝視方向的變化。然而，當根據方程式(4)操作時，眼睛投影光學件130的光學函數F'opt及影像投影系統110的影像掃描函數S'(S'係與以影像掃描器的各投影角度αscn加以投影之影像像素的強度相關聯)皆加以調整以執行此補償。
就此而言，應注意的是，凝視追蹤控制器120可為一電子/處理模組，建構成可操作用於從凝視追蹤模組20接收表示眼睛凝視方向β的資料/訊號22。凝視追蹤模組可被包含為本發明系統100的一部分，或可為連接至本發明系統的一外部系統。凝視追蹤模組20可建構成操作用於根據任何適合的技術決定眼睛所朝向的視線/凝視方向。在此技術領域中有一些已知技術，可納入本發明的系統100或與其配合使用。舉例來說，此等技術係揭露於國際專利申請案公開第WO 2013/117999號、美國專利第7,542,210號、及美國專利第6,943,754號。
回到眼睛投影光學件130，根據本發明的某些實施例，眼睛投影光學件130建構成具有一可調整光學函數F'opt，其允許至少部分補償凝視方向上的變化。要注意的是，當凝視方向改變時，瞳孔位置及眼睛的視線皆改變。為此，眼睛投影光學件130建構成用以允許來自影像投影系統110(例如來自影像掃描器118)之光束LB的光學路徑的變化，所以光束LB可被引導朝向在眼睛不同凝視方向時瞳孔的各種可能位置。此外，在本發明某些實施例中，眼睛投影光學件130亦建構成使得光束LB光學路徑的修改，不僅將光引導至對應凝視方向之瞳孔的各別位置，亦至少部分補償於不同凝視方向瞳孔視線LOS方向的變化。 舉例來說，對於各種凝視方向β，光學函數F'opt係加以調整以引導光束朝向瞳孔的位置，同時確保光束相對於各別凝視方向β之眼睛的視線LOS以瞳孔入射角αin入射瞳孔，其中瞳孔入射角αin係保持為投影角度αscn的一預定函數(典型為某個單調函數)。如此提供影像像素至網膜上各別固定位置的直接投影。本發明的此特徵係在圖2A及2B中更詳細的描述和例示說明。
同時參照圖2A及2B，其示意描述根據本發明一些實施例的眼睛投影系統100的光學構造。在這些圖示中特別顯示本發明的眼睛投影光學件130的例示構造，及其在二個不同的眼睛凝視角度β0及β1的操作(光學函數F'opt)。
在此範例中，眼睛投影光學件130包含一凝視追蹤偏轉器模組132及一角度光束中繼模組134。凝視追蹤偏轉器模組132適用於根據眼睛的凝視角度β(亦即是根據在不同凝視方向的眼睛之眼睛視線方向及瞳孔位置)，將光學傳播路徑光束的一般光線傳播路徑GPP偏轉朝向眼睛。角度光束中繼模組134係光學系統，建構成用以中繼具有輸出投影角度αscn的來自影像掃描器118的光束，且引導其以適當瞳孔入射角αin入射使用者眼睛的瞳孔EP上。
如圖示中所顯示，輸入光束ILB係由光源114產生，且它的強度，可能以及其頻譜內容，係根據影像12中的一個以上像素的資料加以調整(調變/衰減)。為此，影像產生器16，包含例如在光束ILB的光學路徑中的一個以上強度調變器117，係根據像素資料加以操作，以控制像素影像的強度及/或色彩內容。光束接著被引導至影像掃描器118。
在本範例中，影像掃描器118包含一個以上掃描鏡SM，其執行光束的掃瞄/光柵掃描(例如藉由旋轉該等鏡)，期間光束係受偏轉而在一影像投影角度αscn的範圍傳播(相對於一般光線傳播路徑GPP加以量測)，在該範圍中 各投影角度通常對應投影於網膜上之影像12的像素。掃描/光柵掃描鏡/偏轉器可利用任何適合的技術實施，例如電光偏轉器，以及/或使用鏡加以實施，例如與適合之致動器(例如壓電致動器或其他類型致動器)機械式連接的微機電系統(MEMS)鏡，使該等鏡能夠偏轉來自光模組114的光束而在一個投影角度αscn範圍執行光束的影像/光柵掃描。如上所述，影像投影角度αscn可指定一二維數值{αX scnαY scn}，其對應水平及垂直影像投影角度。舉例來說，角度{αX scnαY scn}可分別對應介於一般光線傳播路徑GPP與在二個平面上光束投影之間的角度，該二個平面係由一般光線傳播路徑GPP和與光線傳播路徑GPP正交的二側向軸X及Y張開。就此而言，應理解的是，雖然在圖2A及2B中為清楚起見描繪單一的掃瞄鏡SM(例如快速掃描鏡)(例如以環架支撐以在二維度/軸中旋轉)，在本發明的其他實施例中，可使用二個以上的鏡/偏轉器以偏轉光束於二維影像投影角度αscn(即{αX scnαY scn})中。
在圖2A及2B中描述二個光束部分LB1及LB2，其從影像掃描器於二個不同的影像投影角度αscn1及αscn2加以偏轉。通過眼睛投影光學件130之這些光束的傳播，係在圖示中加以例示及描述。角度光束中繼模組134包含二個以上的光學模組，此處稱為第一及第二光學模組134A及134B，其係沿著從影像掃描器至眼睛的光學路徑加以配置，且建構成用以引導光束以對應影像投影角度αscn(αscn1及αscn2)的瞳孔入射角αin(此處分別為光束LB1及LB2的αin1及αin2)入射瞳孔。根據本發明若干實施例，達成此目的，係藉由利用具有光功率(分別與第一及第二焦距相關聯)的第一和第二光學模組134A及134B，且配置第一及第二光學模組134A及134B，使得它們沿著光LB1和LB2從影像掃描器至瞳孔傳播的光學路徑以一光程彼此分隔開，該光程實質等於該第一和第二焦距的和。為此， 角度光束中繼模組134提供影像投影角度αscn與瞳孔入射角αin之間的單調函數對應性，其中光束部分(例如LB1及LB2)係以影像投影角度αscn從影像掃描器偏轉，而以瞳孔入射角αin入射瞳孔。如此提供眼睛網膜上的定向成像。應注意的是，在本發明其他實施例中，角度光束中繼模組134的相同功能操作可藉由利用/包含額外光學模組於角度光束中繼模組134之中而加以達成，該等額外光學模組可具有在其光功率(焦距)與光學路徑中其配置之間不同的關係。所屬技術領域具有通常知識者，可輕易明瞭如何利用此處例示的構造或一不同構造實施此一角度光束中繼模組。亦應注意的是，角度光束中繼模組134的光學模組(例如134A和134B)可包含一個以上光學構件，其亦可為與系統100的其他光學構件整合的功能構件。
凝視追蹤偏轉器模組132可連接至凝視追蹤控制器120，以從其接收表示眼睛凝視方向β的訊號/資料。凝視追蹤偏轉器模組132可操作用於根據來自凝視追蹤控制器120的訊號/資料(例如操作訊號)偏轉光束LB的光學傳播路徑，根據眼睛的凝視方向β改變/調整眼睛投影光學件130的光學函數F'opt。如上所述，凝視追蹤控制器120可建構成操作用於根據方程式(2)或(4)控制凝視追蹤偏轉器模組132的狀態(偏轉操作/方向)，以完全(方程式(2))或至少部分地(方程式(4))補償從標稱凝視方向(在圖示中以0° β-Ref表示)的眼睛凝視方向β的偏移。在後一種情況下，額外及附加的補償可由如上所述影像掃描函數S'加以提供，且以下將更詳細探討。
圖2A及2B各自顯示二條光束LB1及LB2的光學路徑的示意圖，該二條光束對應影像12的二個不同像素。圖2A及2B顯示系統100的操作，且特別是在眼睛的二個不同凝視狀態/方向β0及β1之系統100的凝視追蹤偏轉器模組132的 操作。如所述，在不同的凝視狀態β0及β1，瞳孔係分別位在界定當眼睛凝視不同方向且眼睛二個不同視線LOS0及LOS1係在此等不同凝視方向時之瞳孔可能位置之虛擬表面S(為實質球形虛擬表面的一部分)之上的二個不同瞳孔位置PL0及PL1。根據本發明一些實施例，凝視追蹤偏轉器模組132包含二個以上光學構件/模組，適用於補償與不同凝視方向相關聯之瞳孔位置的偏移及眼睛視線的偏移。
舉例來說，如圖2A及2B所示，凝視追蹤偏轉器模組132包含：一可調整/可定址光學偏轉器132A(例如可定址凝視追蹤鏡)及一欄選擇器光學模組132B，其建構成一起可操作用於控制不同影像像素的光束LB(例如圖示中LB1及LB2)的傳播，以在瞳孔凝視不同方向時與瞳孔的各別位置(圖示中的LP0及LP1)相交，且相對於視線LOS(此處對應二個不同凝視方向的LOS0及LOS1)調整光束LB在瞳孔上的入射角αin(此處分別是光束LB1及LB2的αin1及αin2)，使得入射角αin相對於眼睛視線LOS保持固定且對於眼睛/瞳孔視線LOS方向的變化係不變。
由於可調整/可定址光學偏轉器132A係對表示凝視方向的輸入訊號(或表示對應凝視方向β之偏轉器132A的位址/定向角的訊號)反應，且可操作/可移位以分別調整其定向角/偏轉角俾以偏轉光束LB沿著對應凝視方向β的各別光學路徑傳播，可調整/可定址光學偏轉器132A係可定址的。欄選擇器光學模組132B係建構成可操作用以接收沿著對應不同凝視方向的各種不同各別光學路徑傳播的光束LB，且將此等光束引導至在各別凝視方向之對應瞳孔位置，而以適當入射角入射瞳孔。
根據本發明若干實施例，可調整/可定址光學偏轉器132A係沿著來自影像掃描器118的光束LB(例如LB1及LB2)的一般光線傳播光學路徑GPP 配置於角度光束中繼模組的第一和第二光學模組134A與134B之間。凝視追蹤偏轉器模組132的欄選擇器光學模組132B可沿著光學路徑GPP相對於光傳播方向配置在可調整/可定址光學偏轉器132A的下游。欄選擇器光學模組132B可位於角度光束中繼模組134的第二光學模組134B之前或之後，且/或可與其整合而形成一整合光學元件，該整合光學元件執行欄選擇器光學模組132B及角度光束中繼模組134的第二光學模組134B二者的功能。欄選擇器光學模組132B可包含一非球面(a-spherical)透鏡及/或鏡。在圖2A及2B中，欄選擇器光學模組132B係藉由一組的二個透鏡加以實施，該等透鏡配置成接收來自凝視追蹤可定址光學偏轉器132A的光束且將其引導至瞳孔。然而，如在圖5範例中進一步說明的，欄選擇器可實施成反射/半反射光束分束表面/塗層。舉例來說，它可包含一離軸拋物面偏轉器，其可關聯於實施本發明系統100的眼鏡的眼鏡透鏡。
應注意的是，根據本發明一些實施例，影像係直接投影於網膜上的特定/固定位置，且沒有在眼睛前方使用者視野中配置任何可調整/可移動光學構件。為此，凝視追蹤可定址光學偏轉器132A以及影像掃描器鏡SM可配置在使用者視野之外、眼睛旁邊的區域，而角度光束中繼模組(其可包含固定光學構件)可建構成適當地將來自影像投影系統的光束引導朝向瞳孔的位置。
在圖2B中所述的二條光束(即光束部分)LB1及LB2係與影像12的二個各別像素P1及P2於網膜上的投影相關聯。影像投影控制器112可適用於接收影像資料12，操作影像產生器116產生對應各別像素P1及P2的資料具有適當強度(例如以及色彩內容)的光束LB1及LB2，以及操作影像掃描器118引導/偏轉各別光束LB1及LB2至與影像12中各別像素P1及P2位置相關聯的適當各別影像投影角度(αscn1及αscn2)。為此，眼睛投影光學件130從控制器120取得表示凝視 方向β的資料，且調整凝視追蹤偏轉器模組132的角度位置/偏轉狀態以中繼光束LB1及LB2每一者於適當瞳孔位置(在圖2A及2B中分別為PL0及PL1)且以相對於眼睛視線軸/方向(在圖2A及2B中分別為LOS0及LOS1)的適當瞳孔入射角(分別為光束LB1及LB2的αin1及αin2)入射瞳孔。在圖2A及2B中，描述類似的光束LB1及LB2，藉由影像掃描器偏轉至類似的各別投影角度(αscn1及αscn2)。在圖2A及2B中，眼睛凝視方向β0及β1係不同，且因此可定址鏡/偏轉器132A的角度位置係加以調整，以將光束引導朝向瞳孔位置而以各別的適當入射角αin1及αin2入射瞳孔。雖然在圖示中未具體指明，相對於瞳孔視線LOS0及LOS1的光束入射角αin1及αin2在二圖中係類似，且分別對應與這些光束相關聯的各別影像像素P1及P2的位置。
應理解的是，雖然在圖示中將光束LB1及LB2一起描述，它們不必然並存/一起投影。事實上，通常在本發明實施例中，例如圖1及2A及2B所示者，其中使用一影像掃描器，通常各光束係與影像掃描器118的掃瞄鏡/偏轉器SM的特定位置相關聯，且因此光束LB1及LB2不並存。
應注意的是，對於本發明若干實施例，使用掃描投影系統，例如上述參照圖2A及2B所述者，可能有顯著的好處。這特別是因為使用此掃描投影系統於小型化應用，例如用於眼鏡應用，可提供與使用區域投影系統(例如在圖2C及2D中所揭露者)時可達成者相比以較佳的影像品質投影影像於網膜。為此，掃描投影系統可為與對應的區域投影系統相比更小型化。並且，使用影像係藉由使用一次投影一像素之雷射光束投影至眼睛的掃瞄投影系統，在相鄰像素之間不造成串擾。此外，像素尺寸，亦即是與各特定像素投影相關聯的光束部分(例如LB1或LB2)的寬度，與使用空中影像投影(aerial image projection) 技術於小型系統時可取得者相比，可能實質較寬(通常寬一個以上數量級)。因此，眼睛投影光學件130的光學模組，且特別是角度光束中繼模組134，可設有較低的數值孔徑，且因此關聯於較低的光學像差，且以良好的調變轉移函數(MTF,modulation transfer function)對眼睛提供高品質影像中繼。如此有助於使用小型影像投影系統，將具有改善的動態範圍、高影像對比、及高解析度及亮度的影像投影於眼睛網膜上。此外，使用掃描投影於小型化應用，亦可降低及/或完全消除繞射假影，上述繞射假影可能是小型空中投影(aerial projection)系統由於往後的顯著較小像素尺寸劣化而加以產生。
然而，亦應注意的是，在本發明的一些實施例中，且特別是對於非小型化系統，可使用空中影像投影系統取代掃描影像投影。為此，替代掃描鏡/偏轉器SM，影像掃描器118可包含一空間光調變器(SLM,spatial light modulator)，例如液晶調變器，其可適用於同時調變及引導與複數像素相關聯的複數光束。
參照圖2C及2D，其描述根據本發明另一實施例的眼睛投影系統100的光學構造，其中與影像像素相關聯的一些或所有光束(例如，在圖示中，與像素P1及P2相關聯的光束LB1及LB2)係同時加以產生且同時以各別投影角度(αscn1及αscn2)加以引導朝向眼睛投影光學件130。眼睛投影光學件130，將具有各別投影角度(αscn1及αscn2)的光束以對應的瞳孔入射角(αin1及αin2)投影至瞳孔，以在眼睛網膜上產生/投影影像12。在圖2C及2D中的系統100的構造係類似於在圖2A及2B中所描繪且以上詳細描述者，除了此處對應複數影像像素的複數光束係同時引導至瞳孔之外。為此，舉例來說，影像產生器116可包含一個以上空間光/強度調變器SLM於光束ILB的光學路徑之中。空間光調變器SLM能夠獨 立調變輸入光束ILB的不同空間部分的強度，例如替代或附加於圖2A及2B中所述強度調變器IM，此處SLM提供同時調整與不同像素相關聯的光束/部分的強度。接著，影像掃描器118包含一光學模組，其能夠接收輸出自SLM的光束部分且引導各個部分(例如光束/光束部分LB1及LB2)以對應與光束部分相關聯的影像各別像素的適當投影角度朝眼睛投影光學件130傳播。
舉例來說，在本發明的一些實施例中，SLM可包含例如液晶強度調變器，其分割成複數單元的矩陣，該等單元各自關聯於強度的衰減及/或關聯於與不同影像像素相關之光束其中一者(例如LB1及LB2其中一者)色彩內容的控制。選擇性地，微透鏡陣列的矩陣可配置在液晶強度調變器的光學路徑之中，以接收從其輸出的光束(例如LB1及LB2)且以對應的影像投影角度(例如對於凝視追蹤偏轉器模組132的αscn1及αscn2)引導光束。
為此，替代影像光柵掃描鏡，例如圖2A及2B的SM鏡，此處可使用靜態光學模組。舉例來說，一微透鏡陣列MLA可配置在SLM的光學路徑之中，且將從SLM中各單元發射的像素相關光束引導朝向適當的投影角度。空間光調變器SLM係位於輸入光束ILB的光學路徑之中，且適用於接收輸入光束ILB且從其產生複數光束(例如LB1及LB2)，該複數光束的強度(亦可能以及色彩內容)對應在影像12的各別影像像素(例如P1及P2)之中的這些數值。影像掃描器118的靜態光學模組，此處例示為MLA，係建構成可操作用以從影像產生器116(從SLM)接收複數光束，且將光束引導至與影像12各別像素(P1及P2)位置及它們在網膜上的指定投影位置相關聯的各別輸出角度(上述亦稱作影像投影角度(例如αscn1及αscn2))。為此，如同在圖2A及2B的實施例，在圖2C及2D的實施例中眼睛投影光學件130亦中繼光束(LB1及LB2)每一者，於瞳孔適當位置(分 別為在圖2C及2D中的PL0及PL1)且以適當的瞳孔入射角(分別為光束LB1及LB2的αin1及αin2)入射瞳孔。因此，在圖2C及2D的實施例中，與不同影像像素相關聯的複數光束係同時利用一SLM產生，且利用例如MLA的靜態光學模組加以引導朝向眼睛投影光學件130。
在圖2C及2D的構造中，凝視追蹤偏轉器模組132建構成使得凝視追蹤可定址光學偏轉器132A的操作及角度偏轉位置/狀態的決定，係基於凝視方向β且獨立於投影在網膜上的特定像素。因此，在此等實施例中，複數像素可同時投影在網膜上。應理解的是，在像素相關光束非同時投影至眼睛(如圖2A及2B的構造)之系統的光學構造中，此需求係非必要的。在此等實例中，凝視追蹤可定址光學偏轉器132A的角度偏轉位置/狀態，可基於凝視方向β以及於任何特定時刻入射凝視追蹤可定址光學偏轉器132A的光束(例如LB1)的特定像素(例如特定投影角度αscn1)二者而加以決定。
因此，圖2A至2D所述者係建構成用於投影影像至眼睛網膜之本發明實施例的眼睛投影系統100的光學構造及操作。眼睛投影系統包含：一光模組114和一影像產生器116，產生可控制強度的輸入光束ILB；及一光學系統OS，配置在輸入光束的光學路徑之中。該光學系統包含第一及第二二維光學偏轉器。第一光學偏轉器係與影像掃描器118相關聯，且可實施成一個以上掃描偏轉器/鏡SM(例如快速掃描鏡)，其用於執行光束LB的影像/光柵掃描而將光束分割成多個時間部分，或者可實施成MLA或MMA模組，其用於將光束分割成多個空間部分。影像掃描器118建構成用以將光的空間及/或時間部分偏轉朝向與不同的各別影像像素相關聯的不同投影角度。第二光學偏轉器，為可調整/可定址光學偏轉器132A，係關聯於凝視追蹤偏轉器模組132，其可實施成一可定址鏡，用 於追蹤在不同凝視狀態的瞳孔位置。可調整/可定址光學偏轉器132A可利用任何適合的技術實施，舉例來說，它可包含一電光偏轉器及MEMS鏡，其可加以致動。應注意的是，通常，凝視追蹤偏轉器模組132係建構成可操作用於補償在凝視方向β之中的二維偏移{βX βY}。因此，可調整/可定址光學偏轉器132A通常利用至少一個光學偏轉器加以實施，該至少一個光學偏轉器可加以致動且係對於相對於光學路徑張開某個二維立體角(例如錐狀立體角)的不同角度方向為可定址。或者是，或額外地，可調整/可定址光學偏轉器132A可利用二個以上的鏡加以實施，該等鏡可相對於光學路徑繞二個以上不同的側軸旋轉。
凝視追蹤控制器120及影像投影控制器112可藉由單一控制模組/單元或獨立的二個以上控制單元加以實施。如熟習此技藝者將輕易瞭解的，控制器可利用適合的類比電路加以類比式實施，或者利用適合的處理器及記憶體/儲存模組執行適合的軟/硬編碼電腦可讀/可執行指令加以數位式實施，以控制凝視追蹤偏轉器132A的操作及控制影像產生器116的操作，以及可能亦控制影像掃描器118的操作，而產生適合強度的光束，且將其根據影像資料引導至適當的影像投影角度。為此，控制器適用於接收表示待投影至眼睛網膜的影像12的資料、及指示凝視方向β的資料，且藉由執行以下方法200的操作，投影影像像素至網膜對應位置，以投影影像的各像素。
如上所述，根據本發明一些實施例，眼睛投影系統100可適用於將實質準直光束引導朝向瞳孔，使得眼睛將這些光束視為源自位於距眼睛無限遠的影像平面。為此，在本發明一些變型中，光模組114可適用於提供同調光，且舉例來說，可包含一個以上雷射以產生輸入光束ILB。
額外地，或替代地，系統100可包含一個以上光束準直器BC，其可包含沿著光束(例如ILB及/或LB)的光學路徑配置的一個以上光學構件。舉例來說，在圖2A及2B的實施例中，光束準直器BC係在輸入光束ILB的光學路徑之中。替代地或額外地，在圖2C及2D的例子中，一個以上光束準直器BC係描繪在從影像掃描器118朝向凝視追蹤偏轉器模組132傳播之光束LB的光學路徑之中。
根據本發明一些實施例，光束準直器適用於控制入射瞳孔的光束LB的準直程度。特別是，在某些實施例中，光束準直器建構成可操作用於準直光束LB，使得光束在入射瞳孔時實質準直。因此，眼睛將投影在網膜上的影像感知為源自無限遠的影像平面。如此允許直接投影影像於網膜上，同時緩和來自晶狀體的聚焦需求，且從而能夠緩解可能與將感知為位在離眼睛有限距離處的影像投影眼睛相關聯的眼睛疲勞及/或頭痛。
替代地或額外地，光束準直器BC或系統100的其他光學模組可建構成操作用於調整入射瞳孔之光束LB的寬度。在許多實例中可能期望，在瞳孔的位置處，光束寬度係與瞳孔直徑相比窄得多。這能夠延長網膜上影像投影的景深(焦深)，從而提供替代或額外的方式降低與晶狀體聚焦相關聯的眼睛疲勞。就此而言，應理解的是，使用窄光束寬度延長網膜上影像投影景深的此選項，亦可用於引導至瞳孔的光束未加以準直之實施例之中，以降低眼睛疲勞。
參照圖3，其為流程圖200，顯示根據本發明用於投影影像於眼睛網膜的方法。該方法可藉由根據本發明一實施例建構的眼睛投影系統100的一個以上控制器加以實施。操作210至250係對於影像12之中的像素{Pi}每一者一般性加以執行。當操作於根據圖2A及2B構造的影像掃描模式中，其中影像像素係循 序地投影，這些操作可對於各個像素循序地執行。或者是或額外地，這些操作可對於例如圖2C及2D之實施例中的所有或複數像素同時地執行，其中影像像素同時地投影至網膜上(例如關於不同影像像素之光束的強度及空間/角度分布係由影像掃描器118的一SLM及一適當建構的光學模組(例如MLA)加以同時地管理的實施例)。
在操作210中，表示眼睛凝視方向β的資料，係從建構成可操作用於決定眼睛凝視方向的凝視追蹤模組加以取得。
在操作220中，影像掃描器118的投影角度係加以決定。就此而言，在影像掃描器118包含被建構/致動以執行影像/光柵掃描的掃描鏡/偏轉器的實例中，瞬間投影角度αscn(例如{αX scn,αY scn})可加以取得/決定。或者是，在影像掃描器係建構成對輸入光束ILB施以空間調變的實例中(對與不同像素相關聯的輸入光束ILB的空間部分施以不同的強度/色彩調變)，作為從SLM的各個特定空間單元的輸出角度之投影角度αscn係加以取得。
操作230係加以執行，以決定經由各別投影角度αscn投影至網膜的影像像素Pi的強度，亦可能以及其色彩內容。為此，在232中，可使用影像映射，例如以上參照方程式(1)、(3)、及(4)探討的S'或S。影像映射S'或S可實施為函數或查找表(LUT,lookup data table)，其將各個投影角度αscn與輸入影像12中對應的像素Pi或像素位置相關聯。如參照方程式(3)及(4)以上所述，影像映射S'可用以部分地或全部地補償凝視方向β上的變化。
在此等實例中，影像映射S'可將各個特定凝視方向β及特定投影角度αscn與影像中對應的像素Pi相關聯。如以上所述，利用影像映射S'補償不同的凝視方向，在系統的若干實施方式中可能較不理想的，因為這可能需要以較瞳孔 直徑寬的光束投影眼睛，如此有損網膜上影像投影的可達成景深。此外，使用此技術，在一些實例中，可能受限於僅部分補償凝視方向β，因為這需要引導光束至眼睛的凝視追蹤偏轉器模組132支援對眼睛光束傳播的延伸角度範圍(以包含眼睛可能需要的視線LOS的角度範圍，可能為約Ω=~60°的立體角)。這一方面需要複雜的光學件，其在一些系統可能不可行，且在另一方面，就使用SLM的實施例中的SLM資產而言係浪費的，或者在MLA或掃描/轉向鏡其中任一者用於影像產生器116的情況下就MLA或掃描/轉向鏡的角度解析度而言係浪費的。為此，在本發明的若干實施例中，較佳是使用凝視追蹤偏轉器模組132的凝視追蹤可定址光學偏轉器132以完全補償總凝視方向角度β；或以補償角β1~β補償大部分凝視方向且利用映射函數S'以數位微調藉由補償角(β-β1)<<β之凝視方向補償。為此由映射S'數位式執行的微調補償角，在一些實施例中係限制於角度β-β1<<ω，其中ω表示於固定凝視時眼睛視野的立體角。這允許使用光束寬度小於瞳孔直徑的光束，如此能夠達成以延長的影像景深影像投影於網膜上。
如此，在232中，與特定投影角度αscn的投影角度相關聯的像素Pi，係藉由使用對凝視方向無補償的平凡(trivial)影像映射函數/LUT S加以決定，或藉由使用至少部分補償凝視方向的補償影像映射函數/LUT S'加以決定。因此，在234中，像素Pi的數值係從影像資料12加以決定/獲取。這可僅包含像素的灰階強度數值及/或在尋求彩色影像投影時之像素的色彩(例如RGB)強度數值。
操作240包含根據在230中所決定的對應像素Pi的資料，調整輸入光束ILB或其各別部分的強度及/或色彩內容。就此而言，在實施例中，例如圖2A及2B所述者(其中對於各像素，全部的輸入光束係由影像掃描器118的光柵或掃描鏡加以轉向至適當的投影角度αscn)，整個輸入光束ILB的強度及/或整個輸入 光束ILB的各別色彩部分的強度，可藉由使用在輸入光束ILB的輸入路徑中的強度調變器IM加以調整。這在圖示中的選用性步驟242A加以顯示。或者是或額外地，在例如圖2C及2D中所示的實施例中(其中一個以上SLM係用以分割及獨立控制輸入光束ILB不同空間部分的的強度)，對應投影角度αscn的影像產生器的SLM的各別空間單元的操作可加以控制，以根據像素Pi的這些數值調整空間光束的強度及/或色彩內容。
在操作250中，凝視追蹤偏轉器模組132的偏轉角度係根據凝視方向β加以調整，以引導與像素Pi相關聯的光束以對應網膜上那個像素所欲位置的瞳孔入射角αin入射瞳孔。就此而言，若凝視方向的部分補償係藉由影像映射函數/LUT S'加以數位式執行，凝視追蹤偏轉器模組132的偏轉角度可加以調整，以僅對未數位式補償的凝視方向β的附加部分β1提供補償。
參照圖4，圖4示意性描述根據本發明若干實施例的影像投影系統/模組110的構造。如上所述，光模組114可包含一個以上不同顏色的光源模組。在圖4所述實施例中，三個彩色光模組LR、LB及LG，其可為紅、綠、及藍雷射器，係用以提供RGB光線。應注意的是，此處RGB光線係僅用作範例，且對應其他光調色板的光源/雷射器亦可用於投影彩色影像於網膜上。
如在圖4中以自解釋方式描述的，來自光模組LR、LB、及LG的光束係利用光束組合器光學件COMP加以組合，該光束組合器光學件COMP包含適合的光束分束器組合器，且可能亦包含光學件用於引導來自光模組LR、LB、及LG的光束沿著共同一般傳播軸GPP傳播。舉例來說，一個以上的光束分束器組合器COMP可包含頻譜/偏光光束分束器/組合器模組，其沿著輸出自一個以上彩色光模組LR、LB、及LG的彩色光束的光學路徑配置，且用於組合這些光束而傳 播為組合光束LB。組合光束LB的色彩內容係藉由影像產生器116加以控制。舉例來說，後者可包含針對各色彩的獨立強度/功率調變器IM(及/或獨立SLM)。通常，至少一個強度/功率調變器IM(或SLM)係與彩色光源/模組LR、LB、及LG每一者相關聯。
影像產生器116可建構成操作用於控制各雷射器的光束的強度(例如藉由可控制地衰減從雷射器輸出的光束，或藉由控制雷射器的操作)，以調整組合光束LB的色彩/頻譜內容。
參照圖5，圖5以自我解釋的方式描述一眼鏡500構造，其包含根據本發明一實施例加以建構及操作的一眼睛投影系統100。在此實施例中眼睛投影系統100包含一影像投影系統/模組110，其係一般裝設於眼鏡500的把手/手柄，且包含類似於以上參照圖2A-2B及圖4所描述者而建構和操作的模組。
在此實施例中眼睛投影系統100亦包含一眼睛投影光學件，其類似於以上參照圖2A-2B所描述和說明者。為此，眼睛投影系統100的模組110及130的功能操作及構造此處可能不詳細描述，除了要注意到，在此實施例中，眼睛投影系統100的大部分光學構件可裝設眼鏡的框架及/或把手上，而光線係從其投影至瞳孔的最終光學構件可納入/整合入眼鏡透鏡。為此，影像或一視訊影像序列可直接投影於眼睛上。
在此特定實施例中，影像投影系統包含三個光R、G、及B模組，LR、LG、及LB，關聯於各別光束準直器BC，且關聯於光束組合器模組COMB，其組合來自該等模組的光線，以沿著一共同路徑及透鏡L-SM傳播，將組合的光束引導朝向影像掃描器(在圖1的118)的掃瞄鏡SM。光束中繼模組134包含二個透鏡134A及134B，且凝視追蹤偏轉器模組132的凝視追蹤可定址光學偏轉器 132A係在光學路徑中位於134A及134B之間。在本範例中，欄選擇器光學模組132B(在圖2A-2D)係以二個光學構件132B.1及132B.2加以實施，132B.1係沿著在凝視追蹤可定址光學偏轉器132A之後的光學路徑加以配置的透鏡，且132B.2係反射表面，其以眼鏡的透鏡加以實施或實施在眼鏡透鏡之上。
就此而言，應注意到，根據本發明一些實施例，如此處所述者，在沒有利用眼睛前方(例如在眼睛視野之中)的移動式/可調整光學模組/偏轉器的狀況下，達成將影像投影以適當入射角引導至瞳孔的位置。由於在眼睛視野處沒有移動/變化的構件，此實例有助於元件的美觀，且亦簡化使用者的使用。特別是，在本範例中，凝視追蹤可定址光學偏轉器132A及影像掃描器鏡SM皆位於眼鏡框架的手把處。一摺鏡FM係使用於框架/手把的邊緣處，以引導來自系統100的光束適當入射瞳孔。
在本發明若干實施例中，眼鏡500可建構及操作用於投影純虛擬實境及/或擴增虛擬實境至使用者眼睛的一者或二者。在後者情況，眼鏡透鏡可包含光束分束器組合器表面BSC，適用於將來自眼睛投影系統100的光反射朝向使用者眼睛，且將來自景物的外部光透射朝向使用者眼睛。舉例來說，在一些實施例中，系統110的光模組114可建構成用於產生包含具有實質窄頻譜的一個以上窄頻譜帶(例如窄RGB頻譜帶)的輸入光束。接著，眼鏡透鏡的光束分束器組合器表面可建構成一凹口濾波器，適用於將該一個以上窄頻譜帶反射朝向使用者眼睛，且將從景物抵達並在這些窄頻譜帶之外的光透射。或者是或額外地，由系統110所產生的光束/光束部分可偏極化成特定偏光，且光束分束器組合器表面可建構成一偏光器，適用於反射該特定偏光朝向使用者眼睛。
應注意到，雖然在圖示中僅描繪一個眼睛投影系統，二個此等系統可裝設在眼鏡以獨立地投影影像於眼睛每一者。在此等狀況下，共同的控制器可加以使用於兩個系統的影像投影系統110及眼睛投影光學件130的操作。並且，該等系統可加以操作以投影立體影像/視訊至使用者眼睛以產生3D幻象。
亦在圖5中示意描繪的是一凝視追蹤模組(在圖1中的20)，建構成可操作用於決定眼睛凝視的方向β，且提供表示方向的資料至系統100。凝視追蹤模組20可通常根據在此技術領域已知的任何適合技術加以建構及操作。
在本範例中，凝視追蹤模組包含：一紅外(IR)光發射器21，裝設在眼鏡橋架上且適用於引導IR光束IRB至眼睛；及一眼睛追蹤感測器23，其為一IR感測器，位於眼鏡框架/手把上且適用於偵測從眼睛的IR光束IRB的反射(例如，從其瞳孔及/或角膜及/或網膜)。一控制器(未顯示)適用於處理所反射IR光束的圖案，以決定眼睛的凝視方向。
因此，本發明提供新穎系統和方法，用於將影像/視訊序列直接投影至一眼睛網膜。舉例來說，實施直接投影可利用一角度光束中繼模組，建構成可操作用於引導與影像各別像素相關聯的像素相關光束部分，以對應各別影像像素的位置的瞳孔入射角入射眼睛瞳孔。根據本發明如此使用的角度光束中繼模組，在不形成眼睛之外有限距離處的中間影像平面的狀況下，直接投影影像至眼睛網膜上。在一些實例中，此等光束部分係在入射瞳孔時加以準直。因此，投影在網膜上的影像，被眼睛感知為源自無限遠距離處的影像平面。或者是或額外地，影像可投影至眼睛，其中光束的光束部分具有窄於瞳孔直徑的寬度。這提供在網膜上影像投影延長的焦深。關於感知影像投影為來自無限遠距離中間影像平面、或在網膜上影像投影延長的景深之本發明特徵，能夠降低且 可能完全消除與透過距離眼睛有限距離之中間影像平面直接投影影像於眼睛相關聯的眼睛錯亂和疲勞。此外，亦可達成本發明的上述優點，且同時追蹤眼睛/瞳孔的凝視方向且補償凝視方向變化，以在眼睛凝視方向可能改變時投影影像於網膜固定位置。如上所述，達成此點可利用一凝視偏轉光學模組，根據本發明建構且可依據眼睛凝視方向調整，以引導像素相關光束部分以相對於在不同凝視方向的瞳孔/眼睛視線之適當瞳孔入射角朝向瞳孔的位置。

Claims (31)

  1. 一種眼睛投影系統，包含一影像產生器及一眼睛投影光學模組，其中：該影像產生器適用於：取得表示一影像的資料；產生對應該影像的像素的複數光束部分；根據對應該等光束部分的各光束部分的該影像的一像素的數值，調整該光束部分的強度；及引導該光束部分沿著一個一般光學傳播路徑以相對於該一般光學傳播路徑的一投影角度αscn朝該眼睛投影光學模組傳播，其中，投影角度αscn係根據在該影像中各別像素的位置加以決定；及該眼睛投影光學模組包含一凝視追蹤偏轉器，建構成操作用於對表示一使用者眼睛的凝視方向β的輸入訊號反應，而根據該凝視方向β偏轉光束部分的一般光學傳播路徑朝向該使用者眼睛的瞳孔；且其中該一般光學傳播路徑係被偏轉，使得相對於與該凝視方向β相關聯的該瞳孔的視線，光束部分以對應投影角度αscn的瞳孔入射角αin入射瞳孔，使得瞳孔入射角αin為該投影角度αscn的單調函數，藉此無論眼睛的該凝視方向β，將該影像於該眼睛的網膜的一實質固定位置直接投影於該網膜上。
  2. 如申請專利範圍第1項的眼睛投影系統，包含一個以上光束準直器，適用於準直該等光束部分，使得該等光束部分入射該瞳孔且同時實質準直，藉此允許直接投影影像在該網膜上。
  3. 如申請專利範圍第2項的眼睛投影系統，其中該直接投影影像在該網膜上之特徵在於該影像被眼睛感知為源自距眼睛無限遠距離。
  4. 如申請專利範圍第1至3項其中任一的眼睛投影系統，包含一個以上光學模組，適用於達成該等光束部分的寬度，使得該等寬度係小於該瞳孔的直徑，藉此允許以一延長的焦深投影該影像於網膜。
  5. 如申請專利範圍第1至3項其中任一的眼睛投影系統，其中該凝視追蹤偏轉器包含：一可定址光學偏轉單元，沿該一般光學傳播路徑配置；及一欄選擇器光學模組，相對於通過系統的光傳播方向，配置在該一般光學傳播路徑之中該可定址光學偏轉單元的下游。
  6. 如申請專利範圍第5項的眼睛投影系統，其中該可定址光學偏轉單元係對表示該凝視方向β的該等輸入訊號反應，且操作用於調整其偏轉角度，以將入射其上之光束偏轉而沿著對應該凝視方向β的一各別光學路徑傳播；且該欄選擇器光學模組係建構成操作用於接收沿著對應不同凝視方向β的各種不同各別光學路徑傳播的光束，且引導該等光束分別朝向與該等不同凝視方向β相關聯的該瞳孔的對應位置。
  7. 如申請專利範圍第6項的眼睛投影系統，其中該欄選擇器光學模組包含一非球面(a-spherical)光學件。
  8. 如申請專利範圍第7項的眼睛投影系統，其中該欄選擇器光學模組包含一離軸拋物面偏轉器。
  9. 如申請專利範圍第1至3項其中任一的眼睛投影系統，其中該眼睛投影光學模組更包含一角度光束中繼模組，建構成操作用於接收來自該影像產生器於各種投影角度αscn傳播的各光束部分，且中繼該等光束部分以對應的瞳孔入射角αin投影至瞳孔上。
  10. 如申請專利範圍第9項的眼睛投影系統，其中該角度光束中繼模組包含第一及第二光學模組，分別與第一和第二焦距相關聯，該第一和第二光學模組係沿著該一般光學傳播路徑以一光程彼此分隔開，該光程實質等於該第一和第二焦距的和。
  11. 如申請專利範圍第10項的眼睛投影系統，其中該可定址光學偏轉單元係沿著該一般光學傳播路徑配置在該角度光束中繼模組的該第一與第二光學模組之間。
  12. 如申請專利範圍第10項的眼睛投影系統，其中該凝視追蹤偏轉器包含一可定址光學偏轉單元及一欄選擇器光學模組，且其中該角度光束中繼模組的該第二光學模組以及該欄選擇器光學模組係整合在一共同光學構件之中。
  13. 如申請專利範圍第1至3項其中任一的眼睛投影系統，其中該影像產生器包含：一光模組，提供一輸入光束；一影像掃描器，位於該輸入光束的光學路徑之中，且適用於將該輸入光束分割成一個以上光束部分，以及引導該一個以上光束部分相對於該一般光學傳播路徑以該投影角度αscn傳播；一光強度調變器，位於該輸入光束及該一個以上光束部分其中至少一者的光學路徑之中，且適用於可控制地調整光束部分其中一者以上的強度；及一投影控制器，可連接至該光強度調變器，且建構成操作用以：取得表示待投影至該網膜上的影像像素的影像資料；及操作該光強度調變器以根據分別對應該等光束部分的該影像的像素的數值調整該光束部分的強度。
  14. 如申請專利範圍第13項的眼睛投影系統，其中該投影控制器係可連接至該影像掃描器，且操作用以引導該光束部分相對於該一般光學傳播路徑沿著該投影角度αscn傳播。
  15. 如申請專利範圍第13項的眼睛投影系統，其中該光強度調變器包含一空間光調變器，建構成操作用於將該輸入光束分割成沿著不同各別光學路徑傳播的該複數光束部分；且該影像掃描器包含一靜態光學模組，建構成用於將該複數光束部分偏轉朝向不同的投影角度αscn。
  16. 如申請專利範圍第13項的眼睛投影系統，其中該光強度調變器適用於調變該輸入光束的強度；且該影像掃描器包含一掃描鏡，該掃描鏡將該輸入光束分割成為其時間部分的該複數光束部分，並引導該複數光束部分朝不同的投影角度αscn傳播。
  17. 如申請專利範圍第13項的眼睛投影系統，其中該影像掃描器包含至少一掃描光學偏轉器，適用於接收輸入光束及分割輸入光束為該複數光束部分，且引導該複數光束部分以該投影角度αscn朝該眼睛投影光學模組傳播。
  18. 如申請專利範圍第17項的眼睛投影系統，其中該至少一掃描光學偏轉器係一第一可調整光學偏轉器，且該凝視追蹤偏轉器係一第二可調整光學偏轉器；且其中該第一和第二可調整光學偏轉器係被致動以控制該等光束部分的傳播的二個以上自由度，以引導該等光束部分相對於在不同凝視方向β的眼睛的視線以所欲的瞳孔入射角αin入射於該不同凝視方向β的瞳孔位置，且調整該瞳孔入射角αin以對應分別與該等光束部分相關聯的該影像的各別像素。
  19. 如申請專利範圍第18項的眼睛投影系統，其中該第二可調整光學偏轉器係建構成操作用於控制朝瞳孔傳播之光束部分的交點位置，其中一虛擬表面的一實質球面部分界定當該使用者眼睛於不同方向凝視時該瞳孔的可能位置。
  20. 如申請專利範圍第18項的眼睛投影系統，其中該第一可調整光學偏轉器係建構成操作用於控制該等光束部分的交角，其中該虛擬表面的一實質球面部分界定該瞳孔的可能位置。
  21. 如申請專利範圍第2至3項其中任一的眼睛投影系統，其中該一個以上光束準直器適用於控制入射瞳孔之該光束部分的準直程度。
  22. 如申請專利範圍第21項的眼睛投影系統，其中該一個以上光束準直器係建構成使得該光束部分在入射該瞳孔時係實質準直的。
  23. 如申請專利範圍第21項的眼睛投影系統，其中該一個以上光束準直器係建構成使得當該光束部分入射該瞳孔時該光束部分的寬度係較該瞳孔直徑窄得多。
  24. 如申請專利範圍第1至3項其中任一的眼睛投影系統，包含：一控制器，適用於接收表示待投影至使用者眼睛網膜上的該影像的該資料、及表示該眼睛的該凝視方向β的資料，以及用於投影該影像的像素至該網膜上的對應位置，其中該投影操作包含針對該影像的各像素的投影執行以下操作：操作該光模組以產生具有對應該影像中該像素的強度值的強度的光束部分；藉由調整影像光學偏轉器和該凝視追蹤偏轉器其中至少一者的偏轉角度而操作該影像光學偏轉器和該凝視追蹤偏轉器該其中至少一者，以根據該凝視方向β引導該光束部分入射該使用者眼睛的瞳孔；及藉由調整該影像光學偏轉器和該凝視追蹤偏轉器其中至少一者的偏轉角度而操作該影像光學偏轉器和該凝視追蹤偏轉器該其中至少一者，以引導該光束部分以對應該影像中該像素的一位置的瞳孔入射角αin入射該瞳孔，藉此使晶狀體能夠將與該像素相關聯的該光束部分聚焦於對應該影像中該像素的該位置之該網膜上的一位置。
  25. 一種眼鏡，包含申請專利範圍第1至3項其中任一的眼睛投影系統。
  26. 如申請專利範圍第25項的眼鏡，建構成投影擴增虛擬實境至眼睛，該眼鏡的一透鏡包含一光束分束器/組合器表面，適用於將來自該眼睛投影系統的光反射朝向使用者眼睛，且將來自景物的外部光透射朝向使用者眼睛。
  27. 如申請專利範圍第26項的眼鏡，其中由一光模組產生的輸入光束包含一個以上頻譜帶，且該光束分束器/組合器表面係建構成一凹口濾波器，適用於將該一個以上頻譜帶反射朝向使用者眼睛。
  28. 如申請專利範圍第26項的眼鏡，其中由該光模組產生的輸入光束係偏極化於特定偏光，且該光束分束器/組合器表面係建構成一偏光器，適用於將該特定偏光反射朝向使用者眼睛。
  29. 如申請專利範圍第25項的眼鏡，建構成用於投影純虛擬實境。
  30. 一種眼睛投影系統，包含一影像產生器及一眼睛投影光學模組，其中：該影像產生器適用於：取得表示一影像的資料；產生對應該影像的像素的複數光束部分；根據對應該等光束部分的各光束部分的該影像的一像素的數值，調整該光束部分的強度；且該影像產生器包含一影像光學偏轉器，該影像光學偏轉器適用於：引導該光束部分沿著一個一般光學傳播路徑以相對於該一般光學傳播路徑的一投影角度αscn朝該眼睛投影光學模組傳播，其中，投影角度αscn係根據在該影像中各別像素的位置加以決定；該眼睛投影光學模組包含一凝視追蹤偏轉器，建構成操作用於對表示一使用者眼睛的凝視方向β的輸入訊號反應，而根據該凝視方向β偏轉光束部分的該一般光學傳播路徑朝向該使用者眼睛的瞳孔；且其中該一般光學傳播路徑係被偏轉，使得相對於與該凝視方向β相關聯的該瞳孔的視線，光束部分以對應投影角度αscn的瞳孔入射角αin入射瞳孔，藉此無論眼睛的該凝視方向β，將該影像於該眼睛的網膜的一實質固定位置直接投影於該網膜上；且其中該影像光學偏轉器和該凝視追蹤偏轉器係被適用於控制該等光束部分的傳播的二個以上自由度αin及β，使得各別光束部分相對關聯於眼睛之視線之凝視方向β，以對應關聯於該光束部分之該影像之個別像素的所欲瞳孔入射角αin入射於該瞳孔。
  31. 如申請專利範圍第30項的眼睛投影系統，其中可調整的光學式之該凝視追蹤偏轉器係建構成操作用於控制朝瞳孔傳播之該等光束部分的交點位置，其中一虛擬表面的一實質球面部分界定不同凝視方向上該瞳孔的可能位置；且掃描式之該影像光學偏轉器係建構成操作用於控制該等光束部分的交角，其中該虛擬表面的該實質球面部分界定該瞳孔的可能位置。
TW104106443A 2014-03-03 2015-03-02 眼睛投影系統 TWI666467B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??PCT/IL2014/050210 2014-03-03
PCT/IL2014/050210 WO2015132775A1 (en) 2014-03-03 2014-03-03 Eye projection system

Publications (2)

Publication Number Publication Date
TW201546491A TW201546491A (zh) 2015-12-16
TWI666467B true TWI666467B (zh) 2019-07-21

Family

ID=54054647

Family Applications (2)

Application Number Title Priority Date Filing Date
TW104106443A TWI666467B (zh) 2014-03-03 2015-03-02 眼睛投影系統
TW108114254A TWI710797B (zh) 2014-03-03 2015-03-02 眼睛投影系統

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW108114254A TWI710797B (zh) 2014-03-03 2015-03-02 眼睛投影系統

Country Status (10)

Country Link
US (2) US10042161B2 (zh)
EP (1) EP3114525A4 (zh)
JP (1) JP6415608B2 (zh)
KR (2) KR20200092424A (zh)
CN (2) CN106164743B (zh)
AU (2) AU2014385317B2 (zh)
CA (2) CA2941306C (zh)
IL (2) IL247404B (zh)
TW (2) TWI666467B (zh)
WO (1) WO2015132775A1 (zh)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US11054639B2 (en) * 2014-03-03 2021-07-06 Eyeway Vision Ltd. Eye projection system
WO2016035607A1 (ja) * 2014-09-03 2016-03-10 三菱電機株式会社 画像表示装置
JP6738342B2 (ja) * 2015-02-13 2020-08-12 ヌープル, インコーポレーテッドNoopl, Inc. 聴力を改善するためのシステムおよび方法
CA2984138A1 (en) * 2015-05-28 2016-12-01 Thalmic Labs Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
IL241033B (en) 2015-09-02 2021-12-01 Eyeway Vision Ltd Projector system and method for ocular projection
GB201518110D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
GB201518113D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
GB201518112D0 (en) * 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
IL242895B (en) * 2015-12-03 2021-04-29 Eyeway Vision Ltd Image projection system
US10877438B2 (en) 2016-01-07 2020-12-29 Magic Leap, Inc. Dynamic fresnel projector
WO2017122427A1 (ja) * 2016-01-12 2017-07-20 ソニー株式会社 表示システムおよび電子機器
US10681328B1 (en) 2016-01-13 2020-06-09 Apple Inc. Dynamic focus 3D display
US11262580B1 (en) 2016-01-13 2022-03-01 Apple Inc. Virtual reality system
CN108713160B (zh) * 2016-03-01 2020-12-11 富士胶片株式会社 投影型显示装置及投影控制方法
US9964768B2 (en) 2016-03-04 2018-05-08 Sharp Kabushiki Kaisha Head mounted display using spatial light modulator to generate a holographic image
US20170255012A1 (en) * 2016-03-04 2017-09-07 Sharp Kabushiki Kaisha Head mounted display using spatial light modulator to move the viewing zone
EP3433672B1 (en) * 2016-03-25 2021-03-03 CY Vision Inc. Near-to-eye image display device delivering enhanced viewing experience
CN107300824B (zh) * 2016-04-15 2019-11-12 台达电子工业股份有限公司 光源模块
EP3508907B1 (en) * 2016-08-31 2023-10-04 Panasonic Intellectual Property Management Co., Ltd. Display device
CN107870418A (zh) * 2016-09-27 2018-04-03 成都虚拟世界科技有限公司 一种近眼显示系统及虚拟现实设备
CN108882845B (zh) * 2016-12-31 2022-05-03 鲁姆斯有限公司 基于经由光导光学元件的视网膜成像的眼动追踪器
EP3574360B1 (en) * 2017-01-28 2024-07-10 Lumus Ltd. Augmented reality imaging system
CN110383139A (zh) * 2017-02-17 2019-10-25 康尼柴克斯 用于显示图像的方法和系统
CN108572450B (zh) * 2017-03-09 2021-01-29 宏碁股份有限公司 头戴式显示器、其视野校正方法以及混合现实显示系统
CN108663806A (zh) * 2017-03-31 2018-10-16 及至微机电股份有限公司 具有瞳孔追踪功能的影像投影装置及其瞳孔位置追踪装置
CN108319015B (zh) * 2017-04-21 2023-02-10 北京耐德佳显示技术有限公司 视网膜投影式近眼显示装置
US10585291B2 (en) * 2017-04-28 2020-03-10 Yonatan Gerlitz Eye safety system for lasers
US10674143B2 (en) * 2017-05-12 2020-06-02 Qualcomm Incorporated System for eye tracking
IL252582A0 (en) * 2017-05-29 2017-08-31 Eyeway Vision Ltd A method and system for registration between the outside world and a virtual image
CN110914737A (zh) 2017-05-29 2020-03-24 爱威愿景有限公司 图像投影系统
IL252585A0 (en) * 2017-05-29 2017-08-31 Eyeway Vision Ltd System and method for projection to the eye with focus control
US10345600B1 (en) * 2017-06-08 2019-07-09 Facebook Technologies, Llc Dynamic control of optical axis location in head-mounted displays
DE102017211932A1 (de) * 2017-07-12 2019-01-17 Robert Bosch Gmbh Projektionsvorrichtung für eine Datenbrille, Datenbrille sowie Verfahren zum Betreiben einer Projektionsvorrichtung
US10394034B2 (en) 2017-08-15 2019-08-27 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and optical relay
US20200371378A1 (en) * 2017-08-23 2020-11-26 Pcms Holdings, Inc. Light field image engine method and apparatus for generating projected 3d light fields
US11160449B2 (en) * 2017-08-29 2021-11-02 Verily Life Sciences Llc Focus stacking for retinal imaging
US10420467B2 (en) * 2017-09-05 2019-09-24 eyeBrain Medical, Inc. Method and system for measuring binocular alignment
US11567318B1 (en) * 2017-09-25 2023-01-31 Meta Platforms Technologies, Llc Determining features of a user's eye from depth mapping of the user's eye via indirect time of flight
JP6993722B2 (ja) * 2017-10-05 2022-01-14 株式会社Ｑｄレーザ 視覚検査装置
US10712576B1 (en) * 2017-10-24 2020-07-14 Facebook Technologies, Llc Pupil steering head-mounted display
US11006827B2 (en) * 2017-10-30 2021-05-18 Verily Life Sciences Llc Active visual alignment stimuli in fundus photography
CN107861248B (zh) * 2017-12-25 2023-12-26 歌尔光学科技有限公司 激光束扫描显示设备及增强现实眼镜
WO2019126951A1 (zh) * 2017-12-25 2019-07-04 歌尔科技有限公司 激光束扫描显示设备及增强现实眼镜
JP6966075B2 (ja) * 2018-02-13 2021-11-10 国立大学法人福井大学 画像投影装置
CN110275376B (zh) * 2018-03-16 2021-08-03 深圳光峰科技股份有限公司 显示设备及显示方法
CN110297324B (zh) * 2018-03-21 2021-08-03 京东方科技集团股份有限公司 显示装置和交通工具
US10636340B2 (en) * 2018-04-16 2020-04-28 Facebook Technologies, Llc Display with gaze-adaptive resolution enhancement
US10951875B2 (en) * 2018-07-03 2021-03-16 Raxium, Inc. Display processing circuitry
CN108983424A (zh) * 2018-07-27 2018-12-11 华为技术有限公司 一种近眼显示装置
EP3794399A1 (en) * 2018-08-01 2021-03-24 Huawei Technologies Co., Ltd. A retinal display apparatus and method
AU2019330119B2 (en) * 2018-08-26 2023-08-24 Lumus Ltd. Reflection suppression in near eye displays
JP7466524B2 (ja) * 2018-08-28 2024-04-12 マジック リープ， インコーポレイテッド 結像システムにおける動的内部結合格子
CN113631986A (zh) * 2018-12-10 2021-11-09 脸谱科技有限责任公司 用于超焦视口（hvp）显示器的自适应视口
DE102018222861A1 (de) * 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zum Akkumulieren von Bildinformation
EP3693061A1 (en) * 2019-02-05 2020-08-12 Gensight Biologics Method for controlling an optogenetic device using filtering and associated devices
CN113614615B (zh) * 2019-03-28 2023-07-21 Qd激光公司 图像中继装置及图像投影系统
CN110225226B (zh) * 2019-05-10 2020-09-08 华中科技大学 一种视觉跟踪系统及方法
WO2020232309A1 (en) * 2019-05-15 2020-11-19 The Regents Of The University Of California Method and apparatus to track binocular eye motion
JP7484348B2 (ja) 2019-06-27 2024-05-16 株式会社リコー 光学装置、映像表示装置、及び検眼装置
EP3990969A1 (en) * 2019-06-27 2022-05-04 Ricoh Company, Ltd. Optical device, image display, and optometric apparatus
CN114365026B (zh) * 2019-07-01 2024-08-13 Pcms控股公司 用于基于光束转向对3d显示器进行连续校准的方法和系统
CN110338750B (zh) * 2019-07-08 2022-04-05 北京七鑫易维信息技术有限公司 一种眼球追踪设备
TWI704376B (zh) * 2019-07-19 2020-09-11 宏碁股份有限公司 視角校正方法、虛擬實境顯示系統與運算裝置
CN112558751B (zh) * 2019-09-25 2022-07-01 武汉市天蝎科技有限公司 一种智能眼镜基于mems和光波导镜片的视线追踪方法
IL269809B (en) * 2019-10-03 2021-12-01 Eyejets Ltd A compact retinal scanning device for tracking pupil movements of a user's eye and its applications
KR102270754B1 (ko) * 2019-12-16 2021-06-29 한국항공우주연구원 프로젝터를 이용한 증강현실 또는 가상현실 시스템
US12066624B2 (en) 2020-01-06 2024-08-20 Eyeway Vision Ltd. Eye tracking device and method thereof
TW202137760A (zh) 2020-01-06 2021-10-01 以色列商愛威願景有限公司 眼動追蹤裝置及其方法
JP2023539962A (ja) * 2020-08-14 2023-09-21 ヒーズ アイピー ホールディングス エルエルシー リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法
TWI838640B (zh) 2020-09-03 2024-04-11 美商海思智財控股有限公司 改善雙眼視覺的系統與方法
CN114326104B (zh) * 2020-09-28 2023-07-25 宏碁股份有限公司 具有结构光检测功能的扩增实境眼镜
TWI838651B (zh) * 2020-09-30 2024-04-11 美商海思智財控股有限公司 用於虛擬實境及擴增實境裝置的虛擬影像顯示系統
KR20220077724A (ko) * 2020-12-02 2022-06-09 삼성전자주식회사 메타 표면을 이용한 디스플레이 장치
KR102394032B1 (ko) 2020-12-10 2022-05-04 주식회사 휴비츠 망막 혈관 모사 모델 아이 장치
US11892634B2 (en) * 2021-01-29 2024-02-06 Infineon Technologies Ag Multi-plane projection with laser beam scanning in augmented reality displays
CN112926102A (zh) * 2021-02-01 2021-06-08 维沃移动通信有限公司 电子设备及投影方法
JP2022152394A (ja) * 2021-03-29 2022-10-12 セイコーエプソン株式会社 光学モジュールおよび画像表示装置
CN113933998A (zh) * 2021-10-22 2022-01-14 小派科技（上海）有限责任公司 光学模组/系统、显示装置、头戴式显示设备和显示系统
CN114019679A (zh) * 2021-10-22 2022-02-08 小派科技（上海）有限责任公司 光学模组/系统、显示装置、头戴式显示设备和显示系统
JP7437048B2 (ja) * 2021-11-22 2024-02-22 株式会社Ｑｄレーザ 画像投影装置
DE102022208721A1 (de) * 2022-08-23 2024-02-29 Robert Bosch Gesellschaft mit beschränkter Haftung Optisches Segmentierungselement und optischen System für eine virtuelle Netzhautanzeige
JP2024044406A (ja) * 2022-09-21 2024-04-02 ソニーグループ株式会社 画像表示装置および導光板

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006078177A1 (en) * 2005-01-21 2006-07-27 Peter James Hilton Direct retinal display
US20130021226A1 (en) * 2011-07-21 2013-01-24 Jonathan Arnold Bell Wearable display devices
WO2014030158A1 (en) * 2012-08-24 2014-02-27 Ic Inside Ltd Visual aid projector

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4404213A (en) 1981-01-26 1983-09-13 Shell Oil Company Derivatives of certain pyridyliminomethyl-benzenes
US5596339A (en) 1992-10-22 1997-01-21 University Of Washington Virtual retinal display with fiber optic point source
JPH10319342A (ja) * 1997-05-15 1998-12-04 Olympus Optical Co Ltd 眼球投影型映像表示装置
CA2375519A1 (en) 1999-06-21 2000-12-28 The Microoptical Corporation Eyeglass display lens system employing off-axis optical design
US6657628B1 (en) * 1999-11-24 2003-12-02 Fuji Xerox Co., Ltd. Method and apparatus for specification, control and modulation of social primitives in animated characters
US6747611B1 (en) 2000-07-27 2004-06-08 International Business Machines Corporation Compact optical system and packaging for head mounted display
SE519851C2 (sv) 2001-06-11 2003-04-15 Saab Ab Anordning och metod för visning av bild på näthinnan
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
JP4385742B2 (ja) * 2002-11-29 2009-12-16 ブラザー工業株式会社 画像表示装置
US6967781B2 (en) * 2002-11-29 2005-11-22 Brother Kogyo Kabushiki Kaisha Image display apparatus for displaying image in variable direction relative to viewer
JP4608996B2 (ja) 2004-08-19 2011-01-12 ブラザー工業株式会社 瞳孔検出装置およびそれを備えた画像表示装置
US7331929B2 (en) * 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
JP4537192B2 (ja) * 2004-12-21 2010-09-01 キヤノン株式会社 眼科装置
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
JP4829765B2 (ja) 2006-12-08 2011-12-07 キヤノン株式会社 画像表示装置及び画像表示システム
WO2009066446A1 (ja) 2007-11-20 2009-05-28 Panasonic Corporation ビーム走査型表示装置、表示方法、及び自動車
WO2009094643A2 (en) * 2008-01-26 2009-07-30 Deering Michael F Systems using eye mounted displays
JP2010091944A (ja) * 2008-10-10 2010-04-22 Canon Inc 画像表示装置及び画像表示システム
US8730266B2 (en) * 2008-11-13 2014-05-20 Queen's University At Kingston System and method for integrating gaze tracking with virtual reality or augmented reality
JP2010139575A (ja) * 2008-12-09 2010-06-24 Brother Ind Ltd シースルー型ヘッドマウント表示装置
JP4674634B2 (ja) 2008-12-19 2011-04-20 ソニー株式会社 頭部装着型ディスプレイ
JP2010175829A (ja) 2009-01-29 2010-08-12 Brother Ind Ltd ヘッドマウントディスプレイ
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
KR20130000401A (ko) 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
JP5565258B2 (ja) * 2010-10-12 2014-08-06 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
KR101521495B1 (ko) * 2011-06-28 2015-05-19 페더럴-모굴 이그니션 컴퍼니 스파크 플러그 전극 구성
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
US8384999B1 (en) 2012-01-09 2013-02-26 Cerr Limited Optical modules
CN104094197B (zh) 2012-02-06 2018-05-11 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
JP2013210587A (ja) 2012-03-30 2013-10-10 Brother Ind Ltd ヘッドマウントディスプレイ
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
KR102139501B1 (ko) 2012-08-21 2020-07-30 쓰리엠 이노베이티브 프로퍼티즈 컴파니 관찰 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006078177A1 (en) * 2005-01-21 2006-07-27 Peter James Hilton Direct retinal display
US20130021226A1 (en) * 2011-07-21 2013-01-24 Jonathan Arnold Bell Wearable display devices
WO2014030158A1 (en) * 2012-08-24 2014-02-27 Ic Inside Ltd Visual aid projector

Also Published As

Publication number Publication date
CA3075154A1 (en) 2015-09-11
JP2017515161A (ja) 2017-06-08
US20180341107A1 (en) 2018-11-29
EP3114525A1 (en) 2017-01-11
CN106164743B (zh) 2020-10-27
CA2941306C (en) 2020-04-28
US10539789B2 (en) 2020-01-21
WO2015132775A1 (en) 2015-09-11
CA2941306A1 (en) 2015-09-11
IL271410B2 (en) 2023-02-01
AU2014385317A1 (en) 2016-09-08
AU2014385317B2 (en) 2019-11-07
IL247404B (en) 2020-01-30
IL247404A0 (en) 2016-11-30
IL271410A (en) 2020-01-30
TWI710797B (zh) 2020-11-21
KR20200092424A (ko) 2020-08-03
IL271410B (en) 2022-10-01
EP3114525A4 (en) 2018-03-07
TW201932910A (zh) 2019-08-16
AU2020200899A1 (en) 2020-02-27
CN112203067A (zh) 2021-01-08
CN106164743A (zh) 2016-11-23
JP6415608B2 (ja) 2018-10-31
KR20160129080A (ko) 2016-11-08
US10042161B2 (en) 2018-08-07
KR102139268B1 (ko) 2020-07-30
TW201546491A (zh) 2015-12-16
US20170068091A1 (en) 2017-03-09

Similar Documents

Publication Publication Date Title
TWI666467B (zh) 眼睛投影系統
US11054639B2 (en) Eye projection system
JP7514968B2 (ja) 傾斜アレイベースのディスプレイ
CN108474939B (zh) 图像投影系统
US10397560B2 (en) Transmission-type display
CN107203045B (zh) 虚拟和增强现实系统与方法
KR20200067858A (ko) 투명 발광 디스플레이를 갖는 접안렌즈를 포함하는 증강 현실 디스플레이
US11695913B1 (en) Mixed reality system
CN114365027A (zh) 显示具有景深的物体的系统与方法
KR20220134774A (ko) 머리-착용 디스플레이 시스템들에 대한 편광-멀티플렉싱된 광학부들
JP7275124B2 (ja) 映像投射システム、映像投射装置、映像表示光回折用光学素子、器具、及び映像投射方法
JP6832318B2 (ja) 目用投影システム
TWI832308B (zh) 頭戴式裝置之光學系統
WO2022064564A1 (ja) ヘッドマウントディスプレイ
TWI842461B (zh) 顯示一個具有景深的物體的系統

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees