TWI708985B - 影像投影系統 - Google Patents

影像投影系統 Download PDF

Info

Publication number
TWI708985B
TWI708985B TW105139592A TW105139592A TWI708985B TW I708985 B TWI708985 B TW I708985B TW 105139592 A TW105139592 A TW 105139592A TW 105139592 A TW105139592 A TW 105139592A TW I708985 B TWI708985 B TW I708985B
Authority
TW
Taiwan
Prior art keywords
image
projection
image projection
eye
retina
Prior art date
Application number
TW105139592A
Other languages
English (en)
Other versions
TW201730628A (zh
Inventor
波瑞斯 格林伯格
Original Assignee
以色列商愛威願景有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商愛威願景有限公司 filed Critical 以色列商愛威願景有限公司
Publication of TW201730628A publication Critical patent/TW201730628A/zh
Application granted granted Critical
Publication of TWI708985B publication Critical patent/TWI708985B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Prostheses (AREA)
  • Acyclic And Carbocyclic Compounds In Medicinal Compositions (AREA)
  • Medicines That Contain Protein Lipid Enzymes And Other Medicines (AREA)
  • Eye Examination Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一種用於視網膜影像投影的系統，包含至少第一和第二影像投影單元及眼睛投影光學模組。該等投影單元係加以配置並可操作分別用於至少第一及第二影像部分的投影。該眼睛投影光學模組係光學地耦接至該等影像投影單元，且係加以配置並可操作以沿一般光徑組合該至少第一及第二影像投影單元之投影的光徑。如此，提供分別關於第一及第二影像部分的投影之來自該第一及第二影像投影單元的光束，其係加以引導以朝使用者的眼睛傳播以將該第一及第二影像部分的組合影像投影在視網膜上。

Description

影像投影系統
本發明係關於影像投影系統的領域，且特別關於穿戴式/頭戴式視網膜投影系統，以對使用者提供純擴增或虛擬實境的體驗。
頭戴式或一般穿戴式的影像投影系統係用於藉由直接將影像顯示至使用者的眼睛而提供虛擬實境及/或擴增實境的體驗。各種類型的頭戴式投影系統係已知利用影像投影在使用者的眼睛前面或影像投影至眼睛內之操作。此等投影系統在許多實例中係建構成眼鏡，其係可戴在使用者頭部且可操作成用於將影像投影至使用者眼睛以提供真實且令人信服的顯示。
類似於標準顯示系統，頭戴式顯示系統旨在使用有限之運算能力的同時提供高解析度的影像。為了簡化影像成像的複雜性，某些視網膜/中央窩(foveal)顯示系統已加以發展，其使用針對使用者眼睛之中央窩區域的獨立影像投影及針對視網膜周邊區域之額外、較低解析度的影像投影，以提供寬視場。
美國專利第2008002262號揭露一種頭戴式顯示裝置，其具有：一安裝座，其將該裝置附接至使用者頭部；一分光器，以移動元件附接至該安裝座；一影像投影器，將影像投影至該分光器上；一眼睛追蹤器，追蹤使用者眼睛的凝視；及一個以上處理器。該裝置使用眼睛追蹤器及移動元件以及一選用 性的頭部追蹤器，以圍繞眼睛轉動中心移動分光器，將該分光器保持於眼睛的直視視線中。使用者同時觀看影像及該影像之後的環境。一第二分光器、眼睛追蹤器、及投影器可使用於使用者的另一眼，以建立立體、虛擬的環境。該顯示器可對應人類眼睛的旋轉能力。無論使用者觀看何處，該發明呈現高解析度的影像。
美國專利第2012/0105310號描述具有至少一視網膜顯示單元的一種頭戴式顯示系統，該至少一視網膜顯示單元具有在佩戴者之一隻眼睛或兩隻眼睛前面加以配置的彎曲反射器。該單元包含：第一組三個調變的可見光雷射，其係共對準且適用以提供具有可選擇顏色的雷射光束；及第一掃描器單元，其提供在多個方向上橫跨彎曲反射器一部分之雷射光束的水平及垂直掃描，以產生彩色雷射光束的反射通過眼睛瞳孔到視網膜的一部分之上，其中該視網膜部分係足夠大以包圍中央窩。該單元亦包含：第二組三個調變的可見光雷射及紅外線雷射，所有雷射係共對準且適用以提供彩色及紅外線周邊視野雷射光束；及第二掃描器單元，其提供在多個方向上橫跨彎曲反射器一部分之可見光及紅外線雷射光束的水平及垂直掃描，以產生掃描之彩色及紅外線雷射光束的反射通過眼睛瞳孔到對應於至少30度×30度之視場的視網膜之一部分之上。
美國專利第2005/185281號描述一種用於觀看的設備，其包含屏幕。該設備包含用於偵測在屏幕上之一影像上之觀看者眼睛之凝視點的裝置。該設備包含用於顯示在屏幕上關於凝視點之影像的一中央窩插圖影像之裝置，使得觀看者的中央窩看到該中央窩影像，而眼睛的其餘部分看到該影像。該方法包含偵測在屏幕上之一影像上之觀看者眼睛之凝視點的步驟。有顯示在屏幕 上關於凝視點之該影像的一中央窩插圖影像之步驟，使得觀看者的中央窩看到該中央窩影像，而眼睛的其餘部分看到該影像。
美國專利第2009/189830號描述一種安裝在眼睛上及/或眼睛內部的顯示裝置。該安裝在眼睛的顯示器包含多個子顯示器，其中的每一者將光投射至對應於該子顯示器之視網膜的一部分之內的不同視網膜位置。所投射的光傳播通過瞳孔但不充滿整個瞳孔。以此方式，多個子顯示器可將各自的光投射至視網膜的相關部分之上。從瞳孔移動至角膜，瞳孔在角膜上的投影將被稱為角膜孔徑。所投射的光傳播通過小於完整角膜的孔徑。子顯示器在角膜表面使用空間多工。
在本技術領域中對於顯示系統的新穎配置有所需求，該配置使用給定影像成像能力提供具有期望之高影像/投影品質的視網膜影像投影。
在傳統投影系統中，最大影像解析度通常受限於幾個因素：影像生成元件(投影單元)，由控制單元(例如圖形處理單元(GPU))提供的處理能力，及從GPU到投影單元之資料傳輸的帶寬。因此，提供具有與使用傳統眼睛投影系統之人類視覺之空間解析度相等的像素密度之影像投影，需要極高的運算能力，且通常可能需要小投影/顯示單元的陣列。
更具體而言，提供具有最大人眼解析度的成像通常可能需要包含針對每隻眼睛約2千萬像素以上之影像框(image frame)的投影。此外，為了提供與人類感知的時間解析度匹配之時間解析度(使得影像運動係被感知為流暢的及無縫的)，該顯示的影像可能需要以60Hz以上的速率加以成像。此需要高速 影像成像，以及在控制單元與投影單元之間及在儲存工具與控制單元之間的高速資料傳輸(例如，考慮具有24位元顏色之色彩深度的影像之投影，係28GBit/秒的等級)。此等高資料傳輸速率係通常超出現有技術之眼睛投影裝置的能力，且在任何情況下可能增加系統的重量、尺寸、成本及能量消耗。
本發明提供一種新穎影像投影系統，其使用兩個以上影像投影模組/單元以將具有空間變化影像投影品質的影像投影至視網膜上。就此而言，術語影像投影品質在本文係用以意指影像投影在視網膜上的像素密度(例如：每單位立體角的DPI或點)，且亦可能為影像投影在投影影像中的色彩深度等級之上之像素密度。為此，在一些實施例中，兩個以上投影模組提供分別具有兩個以上色彩深度等級的影像部分。
在某些實施例中，本發明的技術將高像素密度影像部分(即，在所投影的表面上具有高角解析度及等效高數量的每英吋點數(DPI))投影至使用者眼睛的中央窩區域上，以及將具有較低像素密度(較低角解析度/DPI)之影像部分投影至使用者視網膜的周邊(例如中央窩旁(parafoveal)的區域)上。此提供由使用者眼睛對所投影影像的有效高解析度感知，且同時減少投影系統的影像成像、資料傳輸及儲存的需求。因此，高像素密度影像係提供至視網膜區域(中央窩)，其係能夠收集影像細節並將其轉譯至使用者的大腦，而較低像素密度(角解析度)的影像係提供至具有較低感知能力之視網膜的區域(中央窩旁)。
類似地，本發明的某些實施例利用色彩深度的感知在眼睛視網膜的中央窩區域相較於其他(中央窩旁)區域係更顯著的事實。在那些實施例中， 投影在中央窩上的影像部分相較於投影在周邊上的影像部分係以較高的色彩深度加以投影。
因此，根據本發明的某些實施例，影像的某些部分係以高影像投影品質(高角解析度及/或高色彩深度)在能夠感知具有高DPI及/或高色彩深度之投影影像的視網膜某些區域(即在中央窩)上加以投影，而影像的某些其他部分係以較低的影像投影品質在感知係受限於較低DPI及/或較低色彩深度的視網膜區域上(例如視網膜的周邊/中央窩旁區域)加以投影。
因此，本發明的一些實施例使用兩個以上影像投影模組/單元，其具有分別寬和窄之不同的角擴展。該具有窄角擴展(例如沿水平及垂直軸之每一者覆蓋3°至10°的立體角)之影像投影模組，係加以配置並可操作以將較高影像投影品質(較高角解析度/DPI及/或較高色彩深度)的影像投影在視網膜的中心(中央窩)區域上，使得使用者可感知高品質影像。該具有寬角擴展(例如沿水平及垂直軸之每一者覆蓋在60°和170°之間的立體角)之影像投影模組，係配置成用於將具有較低影像投影品質的影像部分投影在視網膜的周邊(例如所謂中央窩旁區域)上。此允許利用人眼的解剖學特性，以投影被感覺高品質的影像於其上，且同時減少資料量及處理需求、及/或系統的尺寸/重量及/或成本，上述需求係在原本在整個視網膜以相同高品質均勻投影該影像的情況下所需要。
因此，本發明的技術顯著減少眼睛投影系統的資料傳輸及處理需求，且同時最大化來自投影系統的使用者體驗(使用者仍透過能夠感知高解析度影像的視網膜的區域感知高解析度影像)。
眾所周知，人眼的視網膜內被膜具有光敏組織。被稱為中央窩的視網膜區域係負責清晰的視覺，具有高密度的錐形感光神經細胞。為此，本發明的技術針對使用者的中央窩使用高解析度影像，而針對視網膜提供具有較低影像解析度的周邊影像，以降低成像複雜性且同時保持大視場。因此，本發明的技術將具有高解析度的影像投影集中於中央窩，且提供具有較低解析度的投影，因此與均勻像素密度成像相比，提供具有減少處理及資料傳輸需求的高解析度投影。
本發明的眼睛投影系統包含光學模組，該光學模組係配置成將來自至少兩個(例如第一及第二)影像投影單元的影像(即，本文亦稱為影像部分)引導進使用者的眼睛(即，至少進入一隻眼睛)。該光學模組係配置成將自第一投影單元提供的影像部分引導進使用者眼睛的第一區域(中央窩)，及將由其他投影單元(例如第二投影單元或其他者(若使用的話))投影的影像部分引導至視網膜的周圍/周邊區域(中央窩旁)。
根據一些實施例，光學模組通常可包含組合單元(例如光束組合器)及中繼單元(光學中繼器)，其可沿光學模組的光徑以級聯順序加以排列，以引導來自影像投影單元的影像投影，且將其組合(同時或非同時)投影進使用者的眼睛。更具體而言，組合單元將與由至少第一及第二投影單元產生的投影影像部分相關的光束組合成表示應提供/投影至使用者眼睛之整個投影影像框的組合光場。在此，術語光場及組合的光場係用以指定在朝眼睛之影像投影的整個光徑所測量之光的強度分布及可能的色度含量。形成組合光場的光束可從組合單元發送至光學中繼器，該光學中繼器將光場引導至使用者的眼睛。
更具體而言，在一些實施例中，光學中繼器係配置成中繼至光場，使得該光場係直接投影在視網膜上。包含此等中繼器(其係加以配置並可操作以將影像直接投影至眼睛視網膜上且可納入本發明的光學模組中)的此等光學模組之操作的配置及方法之示例係例如在PCT專利公開案第WO 2015/132775號中及在以色列專利申請案第241033號中加以描述，兩者係共同轉讓給本專利申請案的受讓人且於此藉由參照納入本案揭示內容。
在此方面，應理解本文以下使用的術語「直接投影」係關於光場的投影，使得傳播光場係聚焦於使用者視網膜上的影像平面。舉例而言，光學模組及/或其光學中繼器可加以配置使得光場的光束到達眼睛的水晶體，使得光束係基本上準直的及/或使得光束係藉由眼睛水晶體本身聚焦在視網膜上。或者或額外地，達成此種直接投影，可藉由將光場朝視網膜投影，使得其橫剖面直徑相較於眼睛的入射瞳孔係小得多(例如小二倍以上)(以從而在視網膜上獲得高景深的影像投影)。
在一些實施例中，光學模組包含軌跡模組(例如可移動或可旋轉的光偏轉器，例如提供諸如在以色列專利申請案第241033號中描述的凝視追蹤光學偏轉器及/或瞳孔位置光學偏轉器)，該軌跡模組係加以配置並可操作以根據使用者眼睛的視線(LOS)調整影像投影的光徑。為此，系統可利用及/或可包含眼睛追蹤單元，該眼睛追蹤單元係配置成偵測使用者眼睛的視線及/或凝視方向上的變化，及將相應的資料提供至軌跡模組以改變一般光學路徑的定向，以決定由軌跡模組提供之光徑的偏向。因此，影像(光場)可由系統沿根據眼睛視線(LOS)之定向中的變化及/或相對於眼睛投影系統之瞳孔/眼睛位置中的變化而改變之一般光徑加以投影。為此，軌跡模組可加以配置，以根據相對於眼睛 投影系統之使用者眼睛的定向(例如根據眼睛的光軸/視線(LOS)的定向)，改變沿光學模組之光傳播的一般光學路徑。包含光學中繼器及眼睛追蹤光學偏轉器(例如瞳孔位置光束偏轉器及凝視方向光束偏轉器)之此種光學系統的示例係例如在以色列專利申請案第241033號中加以描述，其係共同轉讓給本專利申請案的受讓人且於此藉由參照納入本案揭示內容，該光學系統可用以在眼睛的位置及其凝視方向可能相對於眼睛投影系統變化之時將影像投影引導至眼睛視網膜。
為此，在使用軌跡模組、眼睛追蹤單元及光學中繼單元的情況下，光學模組的光徑可加以變化，使得組合兩個以上影像部分的光場可沿朝使用者瞳孔的一般光徑加以發送。投射的光場可加以引導以從各種角定向抵達瞳孔的位置，使得當使用者可能改變其凝視方向及/或當在眼睛投影系統與眼睛之間的相對位移改變時，使用者的眼睛可在視網膜的適當位置上形成組合影像。如上所述，光場係加以配置使得由第一投影單元產生的影像部分在視網膜之選擇的部分(即中央窩)上形成一部分的該影像，及由一個以上第二投影單元產生的影像部分在視網膜的其他區域(中央窩旁)上形成其他部分的該影像。此外，即使使用者移動其凝視方向，在視網膜上所產生的影像部分之位置亦可保持固定。
因此，光學中繼器(本文亦稱為中繼單元)係通常加以配置以在使用者的視網膜上產生影像，使得由第一投影單元提供的影像部分係在視網膜的中央窩區域上加以產生，而由其他投影單元提供的影像部分係在視網膜的中央窩旁區域(在視網膜的周邊)上加以產生。
應注意第一及第二影像投影單元通常可具有不同的性質。舉例而言，為了投影不同的視場，影像投影單元可加以配置並可操作以朝光學模組輸出跨越不同角度範圍的光線/光束。此外，影像投影單元可配置成輸出具有不同角解析度及/或不同色彩深度的影像。例如，第一影像投影單元可適用以提供具有高角解析度及高色彩深度的RGB影像(影像部分)，而第二影像投影單元可適用以提供具有較低色彩深度的RGB影像部分，或在某些情況下，單色及/或具有較低角解析度的影像部分。色彩深度的變化可為使得第一投影單元提供具有例如32位元或24位元之色彩深度的影像，及一個以上第二投影單元提供具有例如16位元或8位元之色彩深度的影像。
為此，在一些情況下，第一及第二影像投影單元可基於不同的技術加以配置。舉例而言，第一影像投影單元可配置成掃描影像投影，產生其輸出的影像係藉由在影像輸出之角度範圍內掃描(例如光柵掃描)光線，且同時調節光線的強度及可能的色彩內容，以朝光學模組產生及輸出第一光場，該第一光場將由此產生的影像(影像部分)加以編碼。相對於非基於掃描(例如基於SLM)的投影單元，使用基於掃描的影像投影在功率及強度方面可能是有優勢的。第二影像投影單元可配置成如上所述的掃描影像投影系統或使用一個以上空間光調節器(SLM；諸如液晶陣列及/或微鏡陣列)的區域影像投影系統，以同時調節由此投影之複數像素的強度及可能的色彩內容。使用光柵掃描及/或空間光調節以形成影像之影像投影單元的配置及操作之示例在影像投影的領域中係通常已知的，且其配置及操作的原理不需在此詳加描述。
應注意，根據本發明，第一及第二影像投影單元係加以配置並可操作，使得其係能夠分別輸出彼此在空間上互補的兩個(第一及第二)互補的 影像部分(光場)，以在視網膜的表面上形成連續影像的投影。為此，第一影像投影單元可適用以投影繞光學模組之一般光軸覆蓋某角/橫向範圍的影像，使得當其被引導至視網膜時，其落在視網膜的中央窩區域上。第二影像投影系統可加以配置並可操作以覆蓋繞該一般光軸延展之較寬的角/橫向場，且同時選用性地跨越/覆蓋繞光學模組之一般光軸的一環(或更一般地，如框或甜甜圈狀的區域)，使得當由此產生的影像部分被引導至視網膜時，其至少落在視網膜的周邊上。
就此而言，第一及第二影像投影單元係配置成產生在空間上彼此互補的影像部分(例如使得其重疊或具有共同邊界)，以允許光學模組適當地組合所得到的光場(影像部分)。所得之組合的光場對應於在其中心區域(在一影像平面處)的中央窩影像部分及在其周邊部分(在一影像平面處)的中央窩旁影像部分，一起提供在該等影像部分之間具有實質平滑轉變的空間連續影像。為了實現上述，第一及第二影像投影係在眼睛投影系統內加以配置，使得由組合器單元輸出及組合的影像部分沿光學模組的光徑相對於彼此空間配準而加以傳播。
應注意在本發明的一些實施例中，第二影像投影單元係加以配置並可操作，使得由此輸出以沿光學模組的光徑傳播之第二(例如環形)影像部分(光場)的橫向/角度範圍，在空間上重疊由第一投影單元輸出以沿光徑傳播的第一(例如中心)影像部分(光場)。為此，在第一及第二影像部分之間的一些重疊(至少沿第一影像部分的周邊(環形邊界))可用以提供在第一影像部分的高品質及第二影像部分的較低品質之間的平滑及無縫轉變。
本發明的此技術藉由集中所需的計算能力針對對應於使用者注視區域的中心視場產生高解析度影像而減少成像過程。影像的周邊及使用者視場的周邊可以較低的解析度加以成像及投影。這是因為所投影影像的中央窩旁部分係在使用者注意力的周邊，且係由使用者眼睛的中央窩旁區域(本文通常意指視網膜)加以捕捉，在該區域感光細胞係較低密度且提供具有降低空間密度及較低解析度的資料。
應注意因為被引導進使用者眼睛的影像係通常根據眼睛的定向加以成像，且影像/光場的傳輸係藉由眼睛追蹤單元加以調整，所以使用者可體驗完全的虛擬實境(或擴增實境)，感知對使用者提供臨場感的大視場(有效地且無影像邊界)。
因此，根據本發明的一廣泛實施態樣，提供一種用於視網膜影像投影的系統，該系統包含：至少第一及第二影像投影單元，配置並可操作分別用於至少第一及第二影像部分的投影；以及一眼睛投影光學模組(在此亦可互換地稱為光學投影模組)，光學地耦接至該至少第一及第二影像投影單元且係加以配置並可操作以沿一一般光徑組合該至少第一及第二影像投影單元之投影的光徑，分別關於該第一及第二影像部分的該投影之來自該第一及第二影像投影單元的光束，係沿該一般光徑加以引導以朝使用者的眼睛傳播以將包含該第一及第二影像部分的組合影像投影在視網膜上。
根據一些實施例，該第一及第二影像投影單元及該眼睛投影光學模組可加以配置並可操作，使得由該第一影像投影單元投影的該第一影像部分 係加以引導至使用者眼睛之視網膜上的一第一、中心區域上，而由該第二影像投影單元投影的該第二影像部分係加以引導至在視網膜周邊的一第二、環形區域上。
在一些實施例中，該第二影像投影單元可配置成使用大於由該第一影像投影單元投影之該第一影像部分之角度範圍的角度範圍投影該第二影像部分。
在一些實施例中，該第一影像投影單元可配置成將該第一影像部分投影在視網膜的一第一、中心區域上，使得該第一、中心區域覆蓋視網膜的中央窩(foveal)區域，而該第二區域覆蓋環繞該中央窩區域之視網膜的中央窩旁(parafoveal)區域之至少一部分。
該第一及第二影像投影單元可進一步加以配置並可操作以允許在視網膜的中央窩區域上投影相對較高影像投影品質的影像部分，及在視網膜的周邊區域上投影相對較低影像投影品質的影像部分。該影像投影品質可能與下列至少一者相關聯：影像投影的角解析度及色彩深度。
根據一些實施例，該第一及第二影像投影單元的其中至少一者可為一基於掃描的影像投影單元，其係加以配置並可操作成用於藉由在視網膜上掃描一影像編碼的光束而將影像投影。
根據一些實施例，該系統可進一步包含與一眼睛追踨模組相關的一控制單元，該眼睛追踨模組係加以配置並可操作成用於偵測眼睛凝視方向上的改變；且其中，該眼睛投影光學模組包含一軌跡模組，該軌跡模組係加以配置並可操作成用於調整朝眼睛之影像投影的一般光徑；該控制單元係適用以根據所偵測之凝視方向上的改變而操作該軌跡模組。
眼睛追踨模組可加以配置並可操作以相對於該系統偵測眼睛瞳孔橫向位置上的改變，且該控制單元係適用以根據所偵測之該瞳孔橫向位置上的改變而操作該軌跡模組。
該控制單元可加以配置並可操作成用於操作該軌跡模組以補償該所偵測的改變，且從而在視網膜上的一固定位置維持所投影的組合影像。
根據一些實施例，該眼睛投影光學模組係配置成將入射光引導進使用者的眼睛且通過瞳孔朝向視網膜，使得光場的橫剖面(例如在半高寬(full width half max)處或在25%強度處)係小於使用者的瞳孔。此提供具有小於使用者瞳孔之直徑的眼盒(eye-box)。該眼睛投影光學模組可配置成根據自該眼睛追踨模組接收之在使用者瞳孔之凝視位置上的資料而改變眼盒的位置及角度之其中至少一者，以從而將出口瞳孔對準使用者眼睛的光軸。
根據又另一實施例，該系統亦可包含一控制單元，該控制單元係加以配置並可操作成用於獲得指示應被投影至使用者眼睛之組合影像的內容之影像資料，及將該影像資料分割成該至少第一及第二影像部分，使得該第一及第二影像部分係在視網膜的中心及周邊區域上由該第一及第二影像投影單元所投影之互補的影像部分，從而將該組合影像投影在視網膜上。
光學投影模組可包含一光學組合元件，該光學組合元件係配置成組合該第一及第二影像投影單元的影像投影，使得由該第一影像投影單元產生且與該第一影像部分的投影相關聯的第一光場沿垂直於該光學投影模組之光軸的平面之中心區域傳播，且由該第二影像投影單元產生的第二光場在相對於該中心區域之該平面的周邊區域傳播。
根據一些實施例，該系統可加以配置並可操作使得沿該中心區域傳播的該第一光場係朝眼睛加以投影，使得該第一光場覆蓋眼睛視場的中心部分，藉此將影像投影提供至視網膜的中央窩區域，而在光徑周圍傳播的該第二光場覆蓋視場的一環形區域，藉此將影像投影提供至視網膜的中央窩旁區域。
該第一及第二光場可分別使用較高及較低的影像投影品質加以投影，且該第二影像投影單元係配置成將影像投影提供至一甜甜圈狀視場上，從而將影像投影提供至中央窩旁區域。
或者或額外地，該第一及第二光場可在該中心及周邊區域之間的一邊界區域重疊，從而在該邊界區域提供該第一及第二影像部分之重疊部分的投影。該第一及第二影像部分可加以配準，使得由該第一及第二影像投影單元投影的該等重疊部分對應於類似的影像內容。
根據一些實施例，該系統可加以配置使得該至少第一及第二影像投影單元的每一者係配置成使用投影角度範圍αmax提供對應於投影之影像的輸出光，該光學投影模組係配置成朝使用者的眼睛中繼該輸出光，使得由該第一及第二影像投影單元投影的影像分別以角度範圍α1 in及α2 in進入使用者的瞳孔，且α2 in>α1 in。α1 in可對應於3°的角度範圍。α2 in可對應於大於20°的角度範圍。
根據一些實施例，該系統可配置成在一頭戴式顯示單元內加以使用。
根據一些實施例，該系統可配置成提供虛擬或擴增實境體驗。
在一些實施例中，該眼睛投影光學模組可配置成將由該第一及第二影像投影單元投影的影像引導至使用者的眼睛且同時阻擋周圍的環境光。
在一些實施例中，該眼睛投影光學模組可配置成將由該第一及第二影像投影單元投影的影像引導至使用者的眼睛且同時允許周圍的環境光之透射，藉此提供透明的顯示。
10:眼睛
12:視網膜
14:中央窩
100:眼睛投影系統
120:光學模組
122:中繼器模組
122a:中繼器模組
122b:中繼器模組
124:軌跡模組
126:中繼器模組
130:第一影像投影單元/模組
140:第二影像投影單元/模組
200:控制單元
250:方法
1300:中央窩影像部分
1310:區域
1400:中央窩旁/視網膜影像部分
1410:區域
為了更能瞭解此處揭露的申請標的且為了舉例說明在實務上可如何執行，現將參照隨附圖式藉由僅為非限制性的例子來敘述實施例，其中：圖1A及1B顯示眼睛投影系統的示意性圖示及用於根據本發明操作該眼睛投影系統的一般控制單元操作；圖2顯示人眼的示意性圖示；圖3示意性地說明根據本發明的技術產生之影像配置；圖4顯示根據本發明的一些實施例之眼睛投影系統的一配置；圖5顯示根據本發明的一些其他實施例之眼睛投影系統的一其他配置；圖6說明在根據本發明的一些實施例之眼睛投影系統中使用的一些影像成像概念。
如上所述，在本技術領域中對於眼睛投影系統的新穎配置有所需求。一起參照圖1A及1B，其示意性地說明根據本發明的一些實施例將影像投影進使用者眼睛的眼睛投影系統100及方法250。眼睛投影系統100係配置成產生影像並將所產生的影像投影進使用者的眼睛10。為了簡單起見，在此圖示中只顯 示一隻眼睛；然而應理解，通常眼睛投影系統100可配置成將影像投影至使用者的兩隻眼睛，且同時允許右眼影像與左眼影像之間的某些差異，以提供三維的體驗。
眼睛投影系統100包含至少第一影像投影單元/模組130和第二影像投影單元/模組140(之後亦稱為投影單元)及光學模組120，該光學模組120係配置成將對應於由投影單元所投影之影像的光引導進使用者的眼睛10以在使用者的視網膜12上形成影像。該系統通常亦可包含或可連接至至少一控制單元200。該控制單元200係通常配置成將影像資料成像(render)並將其發送以由第一及第二二影像投影單元130及140加以投影。
為此，藉由兩個以上(第一及第二)影像投影單元130及140將所投影的影像資料成像之操作可包含立即執行如上所述之方法250的操作。控制單元200可加以配置並可操作以執行操作251，其用於接收指示應被投影至使用者眼睛的「投影影像框」(此處亦稱為「組合影像」)之內容的影像資料。該影像資料可例如包含應被投影至視網膜上之影像的內容及布局(其中，內容可為應被同時投影至視網膜上之一個以上影像的資訊，而布局可包含關於這些一個以上影像之投影的配置/布局的資訊)。布局資料可包含例如指示視網膜上之影像的橫向位置之橫向定位資料(例如，關於影像中定錨點的資料，其表示在眼睛的LOS與影像平面之間的交點)。控制單元200可適用以執行選用性操作252，其用於處理影像資料以決定/產生指示應被投影至視網膜上之組合光場(影像內容)的「投影影像框」。舉例而言，在一些情況下，「投影影像框」係藉由串連包含在影像資料中的複數影像且同時根據布局資料將其在框中排列而加以形成。在選用性的操作253中，控制單元執行配準操作以相對於眼睛的光軸(LOS)對 準「投影影像框」。換句話說，指示「投影影像框」之對準位置的配準/對準資料係關於眼睛的LOS(例如，配準/對準資料可為指示應與眼睛的LOS軸相交之「投影影像框」中的點)。
在操作254中，控制單元200將「投影影像框」分割成兩個以上片段(影像部分)，其係將由兩個以上(第一及第二)影像投影單元130及140加以投影。該等影像投影單元的其中至少一者(例如130)係適用於將影像(影像部分)投影至視網膜的中心(中央窩)區域上；而該等影像投影單元的其中至少另一者(例如140)係適用於將影像(影像部分)投影至視網膜的周邊(中央窩旁)區域上。因此，在操作254中，控制單元200利用在253中獲得的配準/對準資料且將「投影影像框」分割成至少兩個影像部分，該至少兩個影像部分係分別將由第一及第二影像投影單元130及140投影至視網膜的中央窩及中央窩旁區域上。就此而言，應注意為了執行這樣的分割，控制單元可利用投影單元配置資料，該投影單元配置資料係指示第一及第二影像投影單元130及140的投影參數，諸如數值孔徑(NA)(即，關於由投影單元的每一者及其角度範圍覆蓋之視網膜區域的資料)。此允許控制單元200在影像投影單元130及140之間適當地分割及劃分「投影影像框」。
在255中，控制單元200執行分別將由影像投影單元130及140投影之第一及第二影像部分的成像。控制單元200可利用投影單元配置資料，其可指示由影像投影單元130及140提供的投影參數(諸如角解析度及色彩深度)，以相應地將各個第一及第二影像部分加以成像。就此而言，如上所述，相較於將影像投影在視網膜之中央窩旁區域上的第二影像投影單元140所提供的角解析度(DPI)及/或色彩深度，配置成將影像投影至視網膜中央窩區域的第一影像投影 單元130，可配置成以較高角解析度(較高DPI)及/或以改進的色彩深度將影像投影在視網膜上。接著，控制單元選擇性地將指示第一及第二影像部分的成像資料提供至第一及第二影像投影單元130及140，以用於投影。在此方面，根據本發明的眼睛投影系統100利用人眼解剖結構的特徵。參照圖2，其說明人眼的解剖結構。由於人眼的結構係一般已知的，因此本文將不詳加描述，但是其係足以說明視網膜(圖1中的12)係收集光及產生被發送至大腦之資料的感光區。視網膜包含對光強度(黑及白視覺)及對波長(顏色視覺)敏感的複數感光細胞。更具體而言，視網膜包含對光度(光的強度)敏感之桿狀類型的細胞(桿狀細胞)，及對色度(顏色或波長)敏感之錐狀類形的細胞(錐狀細胞)。視網膜中心的區域包含較高濃度的錐狀細胞(波長敏感細胞)，且該區域係被稱為「中央窩」(在圖1中標示為14)。中央窩係負責提供位於視場中心或注意力中心的詳細影像。通常，中央窩區域提供較高的空間頻率或較高的解析度及可能較高的顏色感知能力，而中央窩旁區域提供低解析度影像感知(向大腦提供場景周圍的模糊指示)及可能較低的顏色感知能力，且同時對在輸入光場之內的移動及梯度更敏感。
因此，影像投影單元130及140係加以配置並可操作以用於投影組合光場(「投影影像框」)的互補部分，該組合光場係被投影至視網膜上。第一影像投影單元130係加以配置並可操作，使得其可以高影像投影品質投影第一影像部分，該第一影像部分係將被引導至視網膜的中央窩區域(即，將第一影像部分成像/投影，使得其具有高角解析度及/或高色彩深度)。第二影像投影單元係配置成以較低的影像投影品質(即，與第一影像部分的那些相比降低的角 解析度及/或降低的色彩深度)投影第二影像部分(其係被引導至視網膜的中央窩旁區域)。
舉例而言，影像投影單元130可加以配置並可操作以用於投影具有高角解析度(其係每像素大約或小於4弧分2立體角)之投影影像框的某些部分。影像投影單元140可加以配置並可操作以用於投影具有低角解析度(其係每像素大約或大於10弧分2立體角)之投影影像框的某些部分。在一些實施例中，影像投影單元130係配置成用於投影其各個具有RGB顏色內容(例如具有至少8位元(256色)或更高(例如24位元)色彩深度)的影像部分。用於將影像投影至視網膜周邊上的影像投影單元140可配置成用於投影其各個具有較低色彩深度(例如4位元色彩深度(16色))及/或沒有、或具有最少顏色資訊(例如灰階影像)的影像部分。
為此，根據本發明的一些實施例，影像投影單元130可以掃描影像投影構造加以配置(藉由該掃描影像投影構造，影像係藉由掃描(光柵掃描)使用影像資訊而時序調變的光束而加以投影在投影表面(即，在視網膜的各個中央窩區域)上)。影像投影單元130的此種掃描影像投影構造協助達成具有影像投影單元130之緊湊尺寸的高品質影像投影。影像投影單元140可以掃描影像投影構造及/或空間影像投影技術加以配置，例如，其利用空間光調節器將其各個影像部分投影至視網膜的中央窩旁區域上。
光學模組120係配置成組合由至少第一及第二影像投影單元130及140投影的影像部分，且引導相對應的光線以形成同時投影進使用者眼睛10的影像。此外，光學模組係配置成將由不同投影單元產生的影像引導至使用者視網膜12的不同區域(例如中央窩及中央窩旁區域)上。
就此而言，應注意根據本發明的一些實施例，在方法250的分割操作254中，控制單元200將「投影影像框」分割成兩個(或多個)片段(第一及第二影像部分)，其沿彼此之間的邊界區域有一些重疊。因此，在此等實施例中，第一及第二影像投影單元130及140係加以配置並可操作以將這些第一及第二影像部分投影至視網膜上，使得其在彼此之間的邊界區域重疊。因此，在該邊界上，相似的影像資訊係藉由第一及第二影像投影單元130及140以重疊及分別具有高及低影像投影品質的方式加以投影。光學模組120可配置成組合由第一影像投影單元130及第二影像投影單元140產生的影像部分，使得在第一及第二影像部分之間的重疊係加以維持。此外，光學模組可加以配置及/或可操作以引導所投影的影像部分，使得在該等影像部分之間的邊界實質上對應於使用者視網膜中之中央窩的解剖邊界。該系統可包含針對使用者的選擇設定關於中央窩影像及邊界位置之相對尺寸/角度延展有關的參數，或可加以固定以適合大多數使用者的解剖結構。在影像部分之間的重疊係通常加以提供以協助在視網膜中央窩區域上所投影之較高品質的影像及在其中央窩旁區域上所投影之較低品質的影像部分之間所感知的平滑轉變，及/或補償使用者之間的誤差及解剖差異。
控制單元200亦可響應在眼睛10定向及/或位置上的眼睛追蹤資料(例如得自諸如在以色列專利申請案第241033號中揭露的眼睛追蹤模組)，及對光學模組120提供適當的指令以改變影像投影的一般路徑，以根據眼睛10的移動校正影像投影的光徑。例如，光學模組120可包含軌跡模組(例如諸如在圖5中顯示的124)，該軌跡模組可包含例如可調節的凝視追蹤光束偏轉器及/或可調節的瞳孔位置光束偏轉器(例如其可如在以色列專利申請案第241033號上所述加以配置及操作)。控制單元200可加以配置及可操作以調整這些偏轉器中之一 者或二者的位置，以根據眼睛凝視方向(LOS的方向)而改變影像投影的一般傳播路徑、及/或在眼睛的光軸與光學模組120的輸出光軸之間的相對的橫向位移及/或相對的角定向；例如以維持在其之間實質固定的相對定向及/或位移。實際上，當固定的相對定向及位移係保持在眼睛的光軸與光學模組120的輸出光軸之間時，來自第一影像投影單元130及第二影像投影單元140的影像/影像部分係在視網膜上的固定位置加以投影。
或者或額外地，在一些實施例中，控制單元200可加以配置及可操作以藉由操作第一及第二影像投影單元130及140平移及/或扭曲由此投影的影像，使得投影的光場係以抵消在相對定向/位移中之變化的方式加以平移/扭曲，而補償在眼睛的光軸與光學模組120之間之相對定向及/或位移中的一些/輕微的改變/平移。例如，此種技術的使用以補償小眼睛運動係參照圖6在下面更詳細地舉例說明。
因此，根據本發明的眼睛投影系統係通常配置成針對視網膜的中央窩區域提供具有增加解析度的影像投影，而針對環繞中央窩的中央窩旁區域提供具有相對較低(例如一般)解析度的影像投影。此允許系統相對於高解析度的影像降低影像成像/處理的複雜性，且同時針對實際利用高解析度影像且需要高解析度影像之使用者眼睛的區域提供高解析度影像。
圖3說明由本發明的眼睛投影系統產生之兩部分的影像。完整的影像包含兩個影像部分(通常至少兩個，因為周邊影像部分可由幾個投影單元產生的幾個子影像構成)，該兩個影像部分包含：提供周邊影像資料的中央窩旁/視網膜影像部分1400，該中央窩旁/視網膜影像部分1400通常環繞注意力的中心；及提供影像資料的主要部分且對應使用者注意力中心的中央窩影像部分 1300。中央窩影像部分1300相對於中央窩旁影像部分1400通常可具有較高的解析度。中央窩影像部分1300之像素的實際數量可能與中央窩旁影像部分1400之像素的實際數量相同或更高。影像解析度中的差異通常可能因為由每個影像部分覆蓋的不同區域(視場)而加以提供。具體而言，中央窩影像部分通常可加以投影以覆蓋中央窩的實際區域或稍大的區域，其相對於視網膜的周圍區域顯著較小。應注意如圖3顯示的影像部分舉例說明圓形視場。然而，通常視場可為矩形、橢圓形或任何其他形狀。所投影之影像的中央窩影像部分1300較佳地可為圓形或橢圓形，以覆蓋中央窩的視場且因而最佳化眼睛此區域的清晰視覺能力。亦在圖3中舉例說明的是在使用者瞳孔處的中央窩影像部分1300及中央窩旁影像部分1400的角度範圍。通常，中央窩影像部分的角度範圍可為α1 in及可在3°和10°之間，且較佳約5°。此外，在瞳孔輸入處之中央窩旁影像部分的角度範圍可多於20°，且通常約120°-180°。
參照圖4及圖5，眼睛投影系統100的兩種配置係加以顯示，其根據本發明的兩個示例性實施例舉例說明光學模組120更具體的配置。如圖4所示，第一影像投影單元130及第二影像投影單元140係分別與對應的初始中繼器模組122a及122b相關聯。在圖5的示例中，中繼器模組係組合成單一中繼器模組122，其包含兩個(通常至少兩個)輸入透鏡L1a和L1b及單一輸出透鏡L2。如圖4及圖5兩個例子所示，光學模組120可較佳包含組合模組(M或M1和M2)、第一中繼器模組122和第二中繼器模組126及追蹤/軌跡模組124。在此方面，第一中繼器模組(包含如圖4之分開的中繼器模組或如圖5之組合的中繼器模組)係配置成合併由第一影像投影單元130及第二影像投影單元140(或以並聯或級聯合併之額外的投影單元)產生的影像投影，使得每個投影單元發送光以在沿垂直 於所投影的光之一般傳播方向的橫剖面的對應區域中形成影像部分(即光場)。此外，圖4說明第一影像投影單元130及第二影像投影單元140的輸出角度範圍αmax。如圖所示，第一影像投影單元130及第二影像投影單元140可提供或可不提供類似的輸出角度範圍。光學模組120係配置成調整如上面圖3所述之每個投影單元的角度範圍。
參照圖4，第一影像投影單元130及第二影像投影單元140的每一者輸出指示影像或影像流的光，針對第一影像投影單元130在圖中以極端光線R1a及R1b加以標示，且針對第二影像投影單元140以極端光線R2a及R2b加以標示。來自第一影像投影單元130的輸出光係發送進中繼器模組122a的輸入透鏡，且係加以中繼至軌跡模組124之上。更具體而言，光線係從投影單元輸出，使得在所投影影像上的不同像素或不同點係與光傳播之相應的不同角度相關聯。因此，極端光線R1a及R1b對應於所投影影像上的兩個極端點。中繼器模組122a的第一透鏡L1a折射光且將其朝第二透鏡L2a引導，該第二透鏡L2a將輸入的光再次聚焦至軌跡模組124上。在中繼器模組122a的輸出處，一個以上光束組合器(M1及M2)係加以配置，如圖所示。光束組合器M1及M2係配置成將由第一投影單元投影的光組合至由第二影像投影單元140所投影的光之光徑中。類似地，中繼器模組122b通常包含第一透鏡L1b及第二透鏡L2b，且該中繼器模組122b係配置成以基本上類似的方式中繼來自第二影像投影單元140的光投影。示例性光線R2a及R2b說明第二影像投影單元140的極端光線。通常，中繼器模組122a及122b係以其適當選擇之不同光學倍率的透鏡而加以配置，且光束組合器M1及M2係加以配置使得由第一影像投影單元130投影的影像在影像投影區域的中心處佔較小的區域，該區域係由第二影像投影單元140投影之影像的部分加以環繞，如圖 3所示。此外，應注意通常中繼器模組122a和122b兩者及光束組合器M1和M2係配置成將該等影像部分合併以形成共影像平面(例如在軌跡模組124上)。這是為了確保使用者眼睛的共聚焦。
應注意中繼器模組122a(及諸如122b及126的任何其他中繼器單元，其係未在此具體描述)可包含額外的透鏡，且為了簡單起見在此係顯示為雙透鏡的中繼器單元。亦應注意中繼器單元的光學參數係加以選擇以提供具有如一般已知的期望解析度及清晰度之適當成像，及/或可由標準光學設計工具加以決定。
由第一影像投影單元130及第二影像投影單元140產生之所投影的影像係引導至軌跡模組124上。軌跡模組124可包含例如一個以上移動的光偏轉器/鏡(例如上述凝視追蹤光束偏轉器及/或瞳孔位置光束偏轉器)，其係加以配置以改變其定向，以根據眼睛運動的追蹤所決定的一般光徑引導照射在其上的光。軌跡模組124及眼睛追蹤的技術可為任何已知的配置，且如上所述，一示例性配置係在轉讓給本申請案受讓人的以色列專利申請案第241033號中加以描述。
如上所述，圖5說明第一中繼器模組122的額外配置，第一中繼器模組122係配置成在該中繼器模組內組合來自第一影像投影單元130及第二影像投影單元140的投影影像。中繼器模組122使用共同的第二透鏡L2且同時使用用於第一影像投影單元130及第二影像投影單元140之獨立的第一透鏡L1a及L1b。如圖所示，來自第二影像投影單元140的輸出係透過透鏡L1b及L2中繼至軌跡模組124上。透鏡L1b及L2的位置及光學倍率係加以選擇以提供所投射的光之角分布(以極端光線R2a及R2b舉例說明)，以針對使用者的周邊視覺提供期望的角 解析度。由極端光線R1a及R1b舉例說明的第一影像投影單元130之光輸出係由輸入透鏡L1a加以收集，該輸入透鏡L1a將發散的光轉換成朝光束組合器M傳播的一組平行光線。光束組合器M(其如上所述可使用單一表面(例如反射表面)或複數表面，或可配置成部分反射表面(例如分光器類型))係配置成引導第一影像投影單元130的輸出光，以與自第二影像投影單元140輸出的光一起傳播且位在該自第二影像投影單元140輸出的光之橫剖面中心。通常，光束組合器M可配置成在視場橫剖面中心的區域內阻擋來自第二影像投影單元140的光傳輸。然而，在一些配置內，光束組合器M可配置成部分發送通過其中的光，且因而允許由第二影像投影單元140產生的光之至少一部分通過視場的中心。在一些另外的實施例中，光束組合器M可在中心區域阻擋且在其周圍發送，以在由第一影像投影單元130和第二影像投影單元140產生的影像之間允許影像投影中的平滑轉變。組合之投影的光係進一步由第二透鏡L2加以收集且被引導/聚焦至軌跡模組124上。
在此方面，應注意光束組合技術(即，利用如圖4及5中的一、二或多個光束組合器)可在由第一影像投影單元130的影像投影(中央窩影像)及由第二影像投影單元140的影像投影(中央窩旁影像)之間提供一定的重疊。為此，一個以上光束組合器可配置成提供光的50%反射及50%透射的分光表面，及/或配置成在表面的周邊具有高透射(反射)和在表面的中心具有高反射(透射)的非均勻光束組合器表面。因此，在中央窩影像和中央窩旁影像之間的轉變可變得相對平滑。亦應注意圖形處理單元(GPU)通常可加以配置以將不同的影像部分成像，以提供如上所述的平滑轉變。舉例而言，GPU可配置成將影像成像且同時在影像部分邊界調整影像亮度，以避免由於影像組合導致的尖銳梯度。
通常，根據此處描述的本發明及參照圖1、4、及5，第一及第二影像投影單元130及140可為任何類型的投影單元，且較佳可配置成掃描雷射投影單元。通常，掃描雷射類型的投影單元可關於光強度以及所投影影像的解析度提供更高的效率。通常，第一及第二影像投影單元130及140可以類似的規格加以配置，且同時提供針對其控制單元(圖1中的200)或圖形處理單元(GPU)發送之不同影像資料的投影。雖然光學模組係配置成組合第一及第二影像投影單元(130及140)的影像投影(通常如圖3所示)，但提供至第二影像投影單元140的影像資料可指示包含中心(中央窩)區域的完整影像，或其可包含對應於甜甜圈狀影像(即，具有孔區域的周邊影像，在該孔區域，由第一影像投影單元130投影的影像係加以組合)的影像資料。
如上所述，第一及第二影像投影單元(130及140)可較佳為掃描雷射類型的投影單元。在此等投影單元中，光柵掃描光偏轉器(移動鏡，例如使用MEMS)係配置成在角掃描範圍(角投影範圍)αmax之內掃描雷射光束。光學模組120組合且引導至少第一及第二投影單元的光，使得在使用者的瞳孔處，由第一投影單元產生的光具有角度範圍α1 in，及由第二投影單元產生的光具有大於α1 in的角度範圍α2 in。有效地，在使用者瞳孔處的光傳播之不同的角度對應於視場內的不同點。這是發生於光投影的角解析度通常對應於感知影像的解析度之情況下。發明人已發現基於人眼的解剖結構，由第一投影單元α1 in之光投影的輸入角度範圍係較佳地配置成在約3°的範圍內。在一些配置中，光學模組120和其中繼器模組126係配置成提供大約α1 in=5°的角度範圍，以確保在視網膜內之中央窩區域的覆蓋。角度範圍α1 in係較佳根據由第一影像投影單元130提供的影像解析度加以決定，使得在使用者輸入瞳孔處的角解析度超過每像素2弧分，且 較佳地每像素超過1弧分。與由第一影像投影單元130的投影相反，第二影像投影單元140的光投影係通常配置成在視場的周邊內提供有意義的影像。因此，關於由第二影像投影單元140的影像投影之角度範圍α2 in係較佳地大於20°，且在一些配置中可大於70°，以提供使用者寬視場的影像投影，及提供在投影影像之內的臨場感。第二影像投影單元140可提供類似數量的不同角點，使得角度範圍越大，角解析度越低。
當使用掃描雷射類型的投影單元時，雷射光束通常可包含來自發射三種以上原色(例如紅、綠及藍)之三個以上雷射單元的光束，且係配置成根據掃描定向改變每種顏色的強度以提供期望影像資料的成像。光學模組120係加以配置以中繼自第一及第二投影單元輸出的光，以將投射的光引導進使用者的眼睛。通常，光學單元(更具體而言，其中繼器模組126)係配置成將輸入光引導進使用者的眼睛，使得在使用者瞳孔處(即眼盒(eye-box))之光的橫剖面具有小於使用者瞳孔的直徑。更具體而言，光的橫剖面直徑(例如：全寬、半高測量(half max measure)或標準偏差測量(standard deviation measure))係小於在強照明條件下的瞳孔直徑。這是在以下情況下：軌跡模組124將一般光徑轉向以根據偵測的凝視方向(LOS)及/或瞳孔的位置(例如由於相對於眼睛投影系統100的眼睛/LOS移動)而改變眼盒(該系統的出口瞳孔)之位置及角度。亦應注意投影單元的輸出強度(其係基於非雷射或非掃描的掃描雷射且在一些實施例中係空間光調節器影像投影單元(例如基於LCD))，較佳係足夠低或係加以減弱，以避免損壞及較佳地避免使用者的不適。
在此方面，應注意由根據本發明的光學模組120使用的直接投影技術提供以入射光場傳播至視網膜上之影像平面的方式將影像投影至眼睛視網 膜上。其係通常可實現的，無論使用者眼睛的聚焦距離/配置(其係通常基於對感興趣事物的實際或虛擬距離而加以控制)，因為眼盒尺寸或在瞳孔處之光場的橫剖面係通常小於瞳孔直徑。此提供在視網膜上具有增強的焦深之影像投影。因此，影像係以基本上在眼睛水晶體的任何聚焦狀態下加以投影，以實質聚焦在視網膜上。舉例而言，影像可使用相當大的焦深加以投影，允許其在視網膜上保持聚焦，而眼睛水晶體係在從4公尺至∞之寬焦距範圍內的任何聚焦狀態下。
通常，根據本發明的一些實施例，如圖4及5舉例說明的眼睛投影系統使用將影像投影進使用者眼睛的光學中繼器。在此方面，本發明的技術將投影單元(例如第一及第二投影單元)的投影影像加以組合，且組合的光場通過追蹤眼睛運動的軌跡模組124，且係藉由中繼器模組126發送至眼睛。因此，光學模組120可配置成相對於眼睛的定向、照明條件、影像特性、使用者偏好等將投影最佳化。這是發生於由投影單元的不同影像部分投影係加以組合以將該等影像部分引導至使用者視網膜中的對應區域的情況下。如上所述，在本發明的一些實施例中，第一投影單元提供朝向使用者眼睛內的中央窩區域之影像投影，而第二投影單元針對中央窩周圍的視網膜提供周圍影像。所投影的影像係使用一個以上光束組合器及第一中繼器模組加以組合。該後者通常係亦配置成調整所投影影像的擴展，使得由第一投影單元投影之「中央窩」影像中的像素密度相對於由第二投影單元投影之周圍「視網膜」影像中的像素密度係較大。通常，中央窩影像係使用對應於480p、720p、1080p或更高的解析度投影至每方向約3°至5°之視場的角部分上。中央窩旁/視網膜影像係使用基本上相似數量的像素加以投影；然而，所投影的影像係中繼至使用者的眼睛，使得其以低投影強 度占有使用者視場的一預定部分，且同時留下對應於如圖3顯示之中央窩影像的中心區域，以因而允許由第一影像投影單元130之中央窩影像的投影。
因此，光學模組的配置允許根據眼睛追蹤及影像特性調整出口瞳孔及一般光徑。亦應注意藉由針對中央窩提供高解析度影像及較低解析度的周邊影像資料，系統可將體驗最佳化且同時降低計算複雜性。此外，為了補償小眼睛運動，與眼睛投影系統相關聯的圖形處理單元(GPU)可配置成將對應於稍微大於所投影之實際影像資料的區域之影像資料加以成像。因此，成像的影像資料存在且可基於在投影時眼睛的確切位置直接發送至投影單元。此係在圖6舉例說明，其顯示中央窩影像1300及視網膜影像1400的成像區域。更具體而言，當對應於1300及1400之區域的影像資料係投影進使用者的眼睛時，GPU處理對應於後續的框之影像資料。GPU產生的影像資料對應於區域1310及1410，該等區域1310及1410係大於1300及1400之區域。區域1310及1410包含大致在由影像部分1300及1400定義之視場外側之影像資料，在此稱為肩影像資料(shoulder image data)。在新處理的影像中，當資料係發送至影像投影單元(130及140)時，控制單元(200)使用眼睛追蹤技術指示使用者瞳孔的確切位置，且所處理影像之相對應的部分係加以投影。此技術藉由提供已成像之肩影像資料的片段允許補償小眼球運動的影像變化。在此方面，對使用者眼睛的中央窩區域以均勻解析度投影提供高解析度(即，每像素小於4弧分2的立體角)，需產生具有極大量像素的影像資料(具有這樣空間解析度的全半球影像需要幾乎3千萬像素)。本發明的技術允許提供具有期望的高感知角解析度之影像投影，且同時針對較不敏感的眼睛區域降低影像解析度。因此，中央窩影像使用每像素提供低於4弧分之角解析度的高像素密度，而中央窩旁影像提供較低的角解析度(例如每像素約 10弧分)。此允許控制單元及其GPU產生對應於較低解析度(例如針對中央窩影像約5百萬像素及針對中央窩旁影像5百萬像素)影像的影像資料，提供約一千萬像素的總成像影像資料。
因此，本發明針對使用者的眼睛提供一種影像投影的系統。該系統係配置成降低影像成像複雜性及從處理/成像單元至投影單元的資料傳輸，且同時對使用者提供期望的高解析度影像。該系統係通常配置成基於針對使用者視網膜之相應部分的兩個以上影像部分產生組合的影像投影，且係配置成最佳地利用視網膜不同區域的局部靈敏度。在此技術領域具有通常知識者將容易理解在不背離由隨附申請專利範圍所限定之範圍的情況下，各種修改及改變可應用至如上所述之本發明的實施例。
10‧‧‧眼睛
12‧‧‧視網膜
14‧‧‧中央窩
100‧‧‧眼睛投影系統
120‧‧‧光學模組
130‧‧‧第一影像投影單元/模組
140‧‧‧第二影像投影單元/模組
200‧‧‧控制單元

Claims (25)

  1. 一種用於視網膜影像投影的系統，包含：至少第一及第二影像投影單元，配置並可操作分別用於至少第一及第二影像部分的投影；以及一眼睛投影光學模組，光學地耦接至該至少第一及第二影像投影單元，該眼睛投影光學模組包含：至少二個初始中繼器模組，分別與該第一及第二影像投影單元相關聯，用於分別中繼該第一及第二影像部分的光；及一光束組合器，配置並可操作以沿一一般光徑組合來自該至少第一及第二影像投影單元的該第一及第二影像部分之投影的光徑，該第一及第二影像部分的光束係沿該一般光徑加以引導以朝使用者的眼睛傳播以將包含該第一及第二影像部分的組合影像投影在視網膜上；其中，該等初始中繼器模組包含具有不同光學倍率之各自的光學元件，俾使由該第一影像投影單元所投影的該第一影像部分與由該第二影像投影單元所投影的該第二影像部分相比在該組合影像中佔較小的面積。
  2. 如申請專利範圍第1項之用於視網膜影像投影的系統，其中，該第一及第二影像投影單元及該眼睛投影光學模組係加以配置並可操作，使得由該第一影像投影單元投影的該第一影像部分係加以引導至使用者眼睛之視網膜上的一第一、中心區域上，而由該第二影像投影單元投影的該第二影像部分係加以引導至在視網膜周邊的一第二、環形區域上。
  3. 如申請專利範圍第2項之用於視網膜影像投影的系統，其中，該第一及該第二影像投影單元係配置成使用大於由該第一影像投影單元投影之該第一影像部分之角度範圍的角度範圍投影該第二影像部分。
  4. 如申請專利範圍第3項之用於視網膜影像投影的系統，其中，該第一影像投影單元係配置成將該第一影像部分投影在視網膜的一第一、中心區域上，使得該第一、中心區域覆蓋視網膜的中央窩(foveal)區域，而該第二區域覆蓋環繞該中央窩區域之視網膜的中央窩旁(parafoveal)區域之至少一部分。
  5. 如申請專利範圍第1-4項其中任一者之用於視網膜影像投影的系統，其中，該第一及第二影像投影單元係加以配置並可操作以允許在視網膜的中央窩區域上投影相對較高影像投影品質的影像部分，及在視網膜的周邊區域上投影相對較低影像投影品質的影像部分。
  6. 如申請專利範圍第5項之用於視網膜影像投影的系統，其中，該影像投影品質係與影像投影的角解析度及色彩深度的其中至少一者相關聯。
  7. 如申請專利範圍第1-4項其中任一者之用於視網膜影像投影的系統，其中，該第一及第二影像投影單元的其中至少一者係一基於掃描的影像投影單元，其係加以配置並可操作成用於藉由在視網膜上掃描一影像編碼的光束而將影像投影。
  8. 如申請專利範圍第1-4項其中任一者之用於視網膜影像投影的系統，進一步包含與一眼睛追踨模組相關的一控制單元，該眼睛追踨模組係加以配置並可操作成用於偵測眼睛凝視方向上的改變；且其中，該眼睛投影光學模組包含一軌跡模組，該軌跡模組係加以配置並可操作成用於調整 朝眼睛之影像投影的一般光徑；且該控制單元係適用以根據所偵測之凝視方向上的改變而操作該軌跡模組。
  9. 如申請專利範圍第8項之用於視網膜影像投影的系統，其中，配置並可操作以相對於該系統及該控制單元偵測眼睛瞳孔橫向位置上之改變的該眼睛追踨模組，係適用以根據所偵測之該瞳孔橫向位置上的改變而操作該軌跡模組。
  10. 如申請專利範圍第8項之用於視網膜影像投影的系統，其中，該控制單元係加以配置並可操作成用於操作該軌跡模組以補償該所偵測的改變，且從而在視網膜上的一固定位置維持所投影的組合影像。
  11. 如申請專利範圍第8項之用於視網膜影像投影的系統，其中，該眼睛投影光學模組係配置成將入射光引導進使用者的瞳孔，其中光場橫剖面係小於使用者的瞳孔。
  12. 如申請專利範圍第11項之用於視網膜影像投影的系統，其中，該眼睛投影光學模組係配置成根據自該眼睛追踨模組接收之關於使用者瞳孔之凝視位置的資料而改變眼盒(eye-box)的位置及角度之其中至少一者，以從而將該眼盒對準使用者眼睛的光軸。
  13. 如申請專利範圍第1-4項其中任一者之用於視網膜影像投影的系統，包含一控制單元，該控制單元係加以配置並可操作成用於獲得指示應被投影至使用者眼睛之組合影像的內容之影像資料，及將該影像資料分割成該至少第一及第二影像部分，使得該第一及第二影像部分係在視網膜的中心及周邊區域上由該第一及第二影像投影單元所投影之互補的影像部分，從而將該組合影像投影在視網膜上。
  14. 如申請專利範圍第1項之用於視網膜影像投影的系統，其中該眼睛投影光學模組包含一光學組合元件，該光學組合元件係配置成組合該第一及第二影像投影單元的影像投影，使得由該第一影像投影單元產生且與該第一影像部分的投影相關聯的第一光場沿垂直於該眼睛投影光學模組之光軸的平面之中心區域傳播，且由該第二影像投影單元產生的第二光場在相對於該中心區域之該平面的周邊區域傳播。
  15. 如申請專利範圍第14項之用於視網膜影像投影的系統，配置及可操作使得沿該中心區域傳播的該第一光場係朝眼睛加以投影，使得該第一光場覆蓋眼睛視場的中心部分，藉此將影像投影提供至視網膜的中央窩區域，而在光徑周圍傳播的該第二光場覆蓋視場的一環形區域，藉此將影像投影提供至視網膜的中央窩旁區域。
  16. 如申請專利範圍第14項或第15項之用於視網膜影像投影的系統，其中，該第一及第二光場係分別使用較高及較低的影像投影品質加以投影，且其中該第二影像投影單元係配置成將影像投影提供至一環形視場上，從而將影像投影提供至中央窩旁區域。
  17. 如申請專利範圍第14項或第15項之用於視網膜影像投影的系統，其中，該第一及第二光場在該中心及周邊區域之間的一邊界區域重疊，從而在該邊界區域提供該第一及第二影像部分之重疊部分的投影。
  18. 如申請專利範圍第17項之用於視網膜影像投影的系統，其中，該第一及第二影像部分係加以配準，使得由該第一及第二影像投影單元投影的該等重疊部分對應於類似的影像內容。
  19. 如申請專利範圍第1-4項其中任一者之用於視網膜影像投影的系統，其中，該至少第一及第二影像投影單元的每一者係配置成使用投影角度範圍αmax提供對應於投影之影像的輸出光，該眼睛投影光學模組係配置成朝使用者的眼睛中繼該輸出光，使得由該第一及第二影像投影單元投影的影像分別以角度範圍α1 in及α2 in進入使用者的瞳孔，且α2 in>α1 in。
  20. 如申請專利範圍第19項之用於視網膜影像投影的系統，其中，α1 in對應於3°的角度範圍。
  21. 如申請專利範圍第19項之用於視網膜影像投影的系統，其中，α2 in對應於大於20°的角度範圍。
  22. 如申請專利範圍第1-4項其中任一者之用於視網膜影像投影的系統，配置成在一頭戴式顯示單元內加以使用。
  23. 如申請專利範圍第1-4項其中任一者之用於視網膜影像投影的系統，其中，該系統係配置成提供虛擬或擴增實境體驗。
  24. 如申請專利範圍第1-4項其中任一者之用於視網膜影像投影的系統，其中，該眼睛投影光學模組係配置成將由該第一及第二影像投影單元投影的影像引導至使用者的眼睛且同時阻擋周圍的環境光。
  25. 如申請專利範圍第1-4項其中任一者之用於視網膜影像投影的系統，其中，該眼睛投影光學模組係配置成將由該第一及第二影像投影單元投影的影像引導至使用者的眼睛且同時允許周圍的環境光之透射，藉此提供透明的顯示。
TW105139592A 2015-12-03 2016-12-01 影像投影系統 TWI708985B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IL242895A IL242895B (en) 2015-12-03 2015-12-03 Image projection system
ILIL242895 2015-12-03

Publications (2)

Publication Number Publication Date
TW201730628A TW201730628A (zh) 2017-09-01
TWI708985B true TWI708985B (zh) 2020-11-01

Family

ID=56082820

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105139592A TWI708985B (zh) 2015-12-03 2016-12-01 影像投影系統

Country Status (13)

Country Link
US (2) US10623707B2 (zh)
EP (1) EP3384337B1 (zh)
JP (2) JP2018538573A (zh)
KR (1) KR20180091028A (zh)
CN (2) CN113660474B (zh)
AU (1) AU2016364026B2 (zh)
CA (1) CA3007069A1 (zh)
HK (1) HK1257021A1 (zh)
IL (1) IL242895B (zh)
RU (1) RU2018122714A (zh)
SG (1) SG11201804662PA (zh)
TW (1) TWI708985B (zh)
WO (1) WO2017094002A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI826113B (zh) * 2021-12-04 2023-12-11 兆輝光電股份有限公司 以雷射束掃描器產生光場的近眼顯示裝置

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333874B2 (en) 2004-02-24 2008-02-19 Cadent Ltd. Method and system for designing and producing dental prostheses and appliances
US7862336B2 (en) 2004-11-26 2011-01-04 Cadent Ltd. Method and system for providing feedback data useful in prosthodontic procedures associated with the intra oral cavity
US10555837B2 (en) 2016-09-12 2020-02-11 Rainbow Medical Ltd. Intraocular prosthesis
CN110914737A (zh) * 2017-05-29 2020-03-24 爱威愿景有限公司 图像投影系统
US10338400B2 (en) * 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
KR102461253B1 (ko) * 2017-07-24 2022-10-31 삼성전자주식회사 시선 추적기를 구비하는 투사형 디스플레이 장치
US11194391B2 (en) 2017-09-27 2021-12-07 Apple Inc. Visual artifact mitigation of dynamic foveated displays
US10712576B1 (en) * 2017-10-24 2020-07-14 Facebook Technologies, Llc Pupil steering head-mounted display
JP6644105B2 (ja) * 2018-04-11 2020-02-12 ヒュンダイ・モービス・カンパニー・リミテッド 車両用ヘッドアップディスプレイ装置及びその制御方法
US10338397B1 (en) 2018-04-18 2019-07-02 Hyundai Mobis Co., Ltd. Vehicle head-up display device and control method thereof
US11846781B2 (en) * 2018-09-29 2023-12-19 Beijing Antvr Technology Co., Ltd. Thin type large field of view near-eye display device
CN109752852B (zh) * 2018-12-12 2021-04-13 重庆爱奇艺智能科技有限公司 一种用于头戴式设备的显示系统及其设计方法
US10853993B2 (en) * 2018-12-18 2020-12-01 Varjo Technologies Oy System and method for producing images for display apparatus
US10897601B2 (en) 2018-12-19 2021-01-19 Microsoft Technology Licensing, Llc Display projector with non-uniform pixel resolution
CN111385548B (zh) * 2018-12-29 2021-12-07 深圳光峰科技股份有限公司 投影系统及投影方法
US11030719B2 (en) * 2019-01-22 2021-06-08 Varjo Technologies Oy Imaging unit, display apparatus and method of displaying
US20200234401A1 (en) * 2019-01-22 2020-07-23 Varjo Technologies Oy Display apparatus and method of producing images using rotatable optical element
US11156759B2 (en) * 2019-01-29 2021-10-26 Osram Opto Semiconductors Gmbh μ-LED, μ-LED device, display and method for the same
US11271143B2 (en) 2019-01-29 2022-03-08 Osram Opto Semiconductors Gmbh μ-LED, μ-LED device, display and method for the same
US11610868B2 (en) 2019-01-29 2023-03-21 Osram Opto Semiconductors Gmbh μ-LED, μ-LED device, display and method for the same
US11302248B2 (en) 2019-01-29 2022-04-12 Osram Opto Semiconductors Gmbh U-led, u-led device, display and method for the same
CN109933268A (zh) * 2019-02-25 2019-06-25 昀光微电子（上海）有限公司 一种基于人眼视觉特征的近眼显示装置
WO2020173414A1 (zh) 2019-02-25 2020-09-03 昀光微电子（上海）有限公司 一种基于人眼视觉特征的近眼显示方法和装置
JP7207520B2 (ja) * 2019-03-26 2023-01-18 日本電気株式会社 興味判定装置、興味判定システム、興味判定方法及びプログラム
KR102192941B1 (ko) * 2019-03-26 2020-12-18 주식회사 레티널 복수개의 증강 현실용 화상을 이용한 증강 현실용 광학 장치
JP7123403B2 (ja) * 2019-04-04 2022-08-23 株式会社Ｑｄレーザ 画像検査装置
US11538852B2 (en) 2019-04-23 2022-12-27 Osram Opto Semiconductors Gmbh μ-LED, μ-LED device, display and method for the same
DE102019111238A1 (de) * 2019-04-30 2020-11-05 Carl Zeiss Ag Verfahren zur Einstellung und Visualisierung von Parametern zur Fokussierung eines Objektivs auf ein Objekt sowie System zur Durchführung des Verfahrens
KR102582407B1 (ko) * 2019-07-28 2023-09-26 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
JP2021021879A (ja) * 2019-07-30 2021-02-18 セイコーエプソン株式会社 光学素子及び画像表示装置
KR20210014813A (ko) 2019-07-30 2021-02-10 삼성디스플레이 주식회사 표시장치
CN113966482A (zh) * 2019-11-22 2022-01-21 苹果公司 具有用于执行凹的多个光路径的显示系统
WO2021111792A1 (ja) * 2019-12-02 2021-06-10 ソニーグループ株式会社 表示装置及び表示システム
IL297235A (en) * 2020-04-14 2022-12-01 Creal Sa A close-to-the-eye image projection system with distorted projection and an expanded eye box area
WO2021241073A1 (ja) * 2020-05-27 2021-12-02 ソニーグループ株式会社 表示装置及び表示方法
WO2022064564A1 (ja) * 2020-09-23 2022-03-31 マクセル株式会社 ヘッドマウントディスプレイ
US11523095B2 (en) * 2020-12-21 2022-12-06 Infineon Technologies Ag Mems mirror-based extended reality projection with eye-tracking
CN112734629B (zh) * 2020-12-30 2022-12-27 广州极飞科技股份有限公司 一种正射影像生成方法、装置、设备及存储介质
EP4350421A4 (en) * 2021-05-28 2024-09-11 Sony Group Corp DISPLAY DEVICE AND DISPLAY SYSTEM

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105310A1 (en) * 2010-11-03 2012-05-03 Trex Enterprises Corporation Dynamic foveal vision display
WO2015132775A1 (en) * 2014-03-03 2015-09-11 Eyeway Vision Ltd. Eye projection system
TW201537218A (zh) * 2014-03-20 2015-10-01 Syndiant Inc 頭戴式擴增實境顯示系統

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4479784A (en) * 1981-03-03 1984-10-30 The Singer Company Eye line-of-sight responsive wide angle visual system
US4927260A (en) * 1988-10-11 1990-05-22 Orville Gordon Apparatus and method for the precision evaluation of visual function in the fovea centralis (macula) area of the retina
JP3332535B2 (ja) * 1993-12-14 2002-10-07 キヤノン株式会社 眼科測定装置
JP2000506998A (ja) * 1996-03-15 2000-06-06 レティナル ディスプレイ ケイマン リミティッド 画像を見るための方法及び装置
JPH1184306A (ja) * 1997-09-01 1999-03-26 Minolta Co Ltd 映像観察装置
US6781606B2 (en) * 1999-05-20 2004-08-24 Hewlett-Packard Development Company, L.P. System and method for displaying images using foveal video
US7081870B2 (en) * 2001-05-09 2006-07-25 Hewlett-Packard Development Company, L.P. Wearable display and method of displaying images using a wearable display
US6890077B2 (en) * 2002-11-27 2005-05-10 The Boeing Company Method and apparatus for high resolution video image display
US7495638B2 (en) * 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
WO2005057248A2 (en) 2003-12-04 2005-06-23 New York University Eye tracked foveal display by controlled illumination
FR2866123B1 (fr) * 2004-02-10 2007-10-12 Zile Liu Procede et dispositif pour la creation d'images retiniennes utilisant le stigmatisme des deux foyers d'un dioptre sensiblement elliptique
US7090358B2 (en) * 2004-03-04 2006-08-15 International Business Machines Corporation System, apparatus and method of displaying information for foveal vision and peripheral vision
US7436568B1 (en) * 2004-08-17 2008-10-14 Kuykendall Jr Jacob L Head mountable video display
JP4222285B2 (ja) * 2004-10-06 2009-02-12 セイコーエプソン株式会社 プロジェクタ
HU0500357D0 (en) * 2005-04-04 2005-05-30 Innoracio Fejlesztoe Es Kutata Dynamic display and method for enhancing the effective resolution of displays
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
US8259239B2 (en) * 2007-01-18 2012-09-04 The Arizona Board Of Regents On Behalf Of The University Of Arizona Polarized head-mounted projection display
TWI388918B (zh) * 2007-06-21 2013-03-11 Univ Nat Taiwan Multi - resolution digital desktop display system
EP2185973A2 (en) * 2007-08-28 2010-05-19 Koninklijke Philips Electronics N.V. A front projector
US7973834B2 (en) * 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
US9812096B2 (en) * 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
WO2009094587A1 (en) 2008-01-23 2009-07-30 Deering Michael F Eye mounted displays
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
WO2009131626A2 (en) * 2008-04-06 2009-10-29 David Chaum Proximal image projection systems
US8922898B2 (en) * 2008-09-04 2014-12-30 Innovega Inc. Molded lens with nanofilaments and related methods
JP5279522B2 (ja) * 2009-01-21 2013-09-04 キヤノン株式会社 画像処理装置および方法
US20100309391A1 (en) * 2009-06-03 2010-12-09 Honeywood Technologies, Llc Multi-source projection-type display
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US8837050B2 (en) * 2011-04-05 2014-09-16 Microvision, Inc. Optical wedge redirection apparatus and optical devices using same
WO2013030978A1 (ja) * 2011-08-31 2013-03-07 パイオニア株式会社 画像表示装置
US8746888B2 (en) * 2011-10-03 2014-06-10 Eastman Kodak Company Stereoscopic projector using spectrally-adjacent color bands
KR102139501B1 (ko) * 2012-08-21 2020-07-30 쓰리엠 이노베이티브 프로퍼티즈 컴파니 관찰 장치
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
JP6229260B2 (ja) * 2012-11-20 2017-11-15 セイコーエプソン株式会社 虚像表示装置
US9500866B2 (en) * 2013-04-04 2016-11-22 Texas Instruments Incorporated Near display and imaging
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9993335B2 (en) * 2014-01-08 2018-06-12 Spy Eye, Llc Variable resolution eye mounted displays
JP2015167341A (ja) * 2014-02-13 2015-09-24 株式会社リコー マルチプロジェクションシステム
WO2015134958A1 (en) * 2014-03-07 2015-09-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9971153B2 (en) * 2014-03-29 2018-05-15 Frimory Technologies Ltd. Method and apparatus for displaying video data
US20160143527A1 (en) * 2014-11-20 2016-05-26 Gn Otometrics A/S Head mountable device for measuring eye movement having visible projection means
WO2016134037A1 (en) * 2015-02-17 2016-08-25 Thalmic Labs Inc. Systems, devices, and methods for eyebox expansion in wearable heads-up displays
US10335572B1 (en) * 2015-07-17 2019-07-02 Naveen Kumar Systems and methods for computer assisted operation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105310A1 (en) * 2010-11-03 2012-05-03 Trex Enterprises Corporation Dynamic foveal vision display
WO2015132775A1 (en) * 2014-03-03 2015-09-11 Eyeway Vision Ltd. Eye projection system
TW201537218A (zh) * 2014-03-20 2015-10-01 Syndiant Inc 頭戴式擴增實境顯示系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI826113B (zh) * 2021-12-04 2023-12-11 兆輝光電股份有限公司 以雷射束掃描器產生光場的近眼顯示裝置

Also Published As

Publication number Publication date
WO2017094002A1 (en) 2017-06-08
RU2018122714A (ru) 2020-01-09
US20200236331A1 (en) 2020-07-23
CA3007069A1 (en) 2017-06-08
EP3384337A1 (en) 2018-10-10
AU2016364026B2 (en) 2020-10-22
IL242895B (en) 2021-04-29
JP2022008984A (ja) 2022-01-14
AU2016364026A1 (en) 2018-06-21
SG11201804662PA (en) 2018-06-28
CN113660474A (zh) 2021-11-16
US10623707B2 (en) 2020-04-14
IL242895A0 (en) 2016-04-21
HK1257021A1 (zh) 2019-10-11
JP2018538573A (ja) 2018-12-27
RU2018122714A3 (zh) 2020-02-06
TW201730628A (zh) 2017-09-01
US20180367769A1 (en) 2018-12-20
CN108474939A (zh) 2018-08-31
CN108474939B (zh) 2021-07-27
EP3384337B1 (en) 2020-11-04
KR20180091028A (ko) 2018-08-14
CN113660474B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
TWI708985B (zh) 影像投影系統
JP6909874B2 (ja) 画像投影システム
KR102139268B1 (ko) 눈 투영 시스템
US11551602B2 (en) Non-uniform resolution, large field-of-view headworn display
KR102116551B1 (ko) 입체 디스플레이 시스템
JP6832318B2 (ja) 目用投影システム
JP7133163B2 (ja) 網膜走査型画像投影装置、網膜走査型画像投影方法、網膜走査型画像投影システム
CN110727112A (zh) 一种可变焦视网膜扫描成像三维显示装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees