TW201907204A - 用以在外部場景與虛擬影像之間對位的方法與系統 - Google Patents

用以在外部場景與虛擬影像之間對位的方法與系統 Download PDF

Info

Publication number
TW201907204A
TW201907204A TW107118120A TW107118120A TW201907204A TW 201907204 A TW201907204 A TW 201907204A TW 107118120 A TW107118120 A TW 107118120A TW 107118120 A TW107118120 A TW 107118120A TW 201907204 A TW201907204 A TW 201907204A
Authority
TW
Taiwan
Prior art keywords
image
user
external scene
eye
eyes
Prior art date
Application number
TW107118120A
Other languages
English (en)
Inventor
波瑞斯 格林伯格
Original Assignee
以色列商愛威願景有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商愛威願景有限公司 filed Critical 以色列商愛威願景有限公司
Publication of TW201907204A publication Critical patent/TW201907204A/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本發明提供用於擴增實境投影中以決定眼睛成像於視網膜上之外部場景與虛擬影像/擴增數據之間之對位的技術。在某些實施例中，本發明係關於用以藉著成像視網膜並識別其上之外部場景的投影而決定視網膜上之擴增實境投影與視網膜所捕捉到之外部場景之間之對位的技術。

Description

用以在外部場景與虛擬影像之間對位的方法與系統
本發明係關於眼投影領域，更具體而言，本發明係關於用以將純擴增/虛擬實境影像投影至使用者眼睛上的技術。
用以將虛擬及/或擴增實境投影至使用者眼睛(複數眼睛)上之頭戴式或以其他方式配戴的影像投影系統變得愈來愈熱門。在許多情況中此類系統係被配置為可如眼鏡配戴至使用者頭上且可操作將影像投影至使用者眼睛上以將虛擬實鏡影像/視頻投影提供予使用者。為達此目的，某些已知的系統致力於將純虛擬實鏡影像投影提供至使用者眼睛且此類系統阻擋來自外部場景到達眼睛(複數眼睛)，但其他系統致力於提供擴增實境經驗且此類系統允許來自外部場景的光通過眼中並同時被影像投影系統投影至眼上的影像/視頻框所擴增/疊加。
本發明提供用於擴增實境投影中以決定眼睛成像於視網膜上之外部場景與虛擬影像/擴增數據之間之對位的技術。在某些實施例中，本發明係關於用以藉著成像視網膜並識別其上之外部場景的投影而決定視網膜上之擴增實境投影與視網膜所捕捉到之外部場景之間之對位的技術。
在每一眼所感知之影像被投影至眼前之一成像平面上的傳統技術中，成像平面通常與一參考框相關，此參考框係相對於使用者所在的外部場景/環境的參考框固定(如真實影像被投影至電影院中之固定螢幕上的典型3D電影電影院的情況)、或相對於與使用者頭部相關的參考框固定(如被設計用來投影擴增/虛擬實境至使用者的飛行員或遊戲者頭盔的情況)。在此些情況的任一者中，被投影的影像並非固定至眼睛的參考框(即眼球的視線)，這導致目標-視線對投影模組之對準的已知問題，需要特別校正。
影像直接投影至眼視網膜上之技術的原理例如係更細詳地載於共讓渡予本申請案之受讓人之同在審理中的PCT專利申請案WO 2015/132775中，將其包含於此作為參考。此影像直接投影至眼視網膜上能在視網膜上產生具有較佳景深的影像，因此避免因眼睛試圖在錯誤距離處對焦所造成的眼睛不適及疲勞。
本發明大致上係關於對位系統及方法以及用以利用虛擬資訊如電腦產生之物體之影像而整合或擴增外部場景如真實或捕捉到之真實世界影像之真實資訊的擴增實境(AR)技術。更具體而言，本發明係關於在AR系統中虛擬世界資訊與真實世界資訊的對位技術。
AR技術使吾人能見到或以其他方式感知到與真實世界整合之電腦生成的虛擬世界。「真實世界」是觀察者可利用其自身感觀所見、感覺、聽、嘗、或聞到的環境。「虛擬世界」被定義為儲存在儲存媒體中或利用處理器所計算得到之經生成的環境。AR技術內的對位系統使虛擬世界和真實世界對位，以觀察者可用的方式整合虛擬與真實資訊。
因此本發明的系統不僅是能極精準地使經投影的資訊與真實世界對準，亦能產生最佳的實時遮擋地圖，實時遮擋地圖為近體互動的重要問題。
該技術使用可見光譜之光自視網膜的反射將外部場景的投影成像至視網膜上；對位輸入相對於視網膜上之外部場景之影像投影的擴增視頻/圖，藉此能將擴增視頻投影至視網膜上與外部場景對位。
根據本發明的一廣泛態樣，提供一種欲與擴增實境系統一起使用的對位系統，其包含：一感測器，可操作用以接收自一使用者眼睛之一視網膜所反射的一光束部分及成像代表該使用者眼睛所感知到之一外部場景之一影像之反射光束部分藉此產生一再現影像；及一控制單元，係連接至該感測器且可操作用以接收該外部場景的一三維影像數據、比較該再現影像與該三維影像數據；及在該外部場景與該虛擬影像之間進行相對該眼之至少一參數的對位藉此將該虛擬影像投影至該視網膜上與該外部場景對位。在此處應瞭解，如上所述，外部場景的三維影像數據係由位於使用者之眼睛上方的成像單元所產生，因此容易有和使用者眼睛相關的視差效應。由於相機系統無法被置於眼睛上，因此存在視差(即沿著兩不同視線(相機系統的視線與眼睛的視線)所看到之一物體的明顯位置的差異)。本發明之對位系統的一目的在於在投影虛擬影像之前調整投影以補償此視差偏差。一旦在影像投影期間對位對準了目標視線，則對位系統可重覆對位處理以補償使用者臉孔上之眼鏡的任何位移。為達此目的，本發明的系統比較代表外部場景的影像數據與自使用者眼睛所反射的影像數據以決定收集代表外部場景之影像數據之成像單元與使用者眼睛之間的相對位置與位向、對位虛擬世界物體與真實世界物體、及藉著在真實世界物體上顯示或投影虛擬世界物體的影像或藉著電子結合虛擬世界物體的影像與真實世界物體之經捕捉的影像而整合虛擬世界物體與真實世界物體。
在某些實施例中，本發明的對位系統係用來作為在擴散實境(AR)系統內對位虛擬資訊與真實世界資訊。在AR系統中的適當對位能使使用者正確地觀看虛擬場景並引導使用者恰當地放置或以其他方式與擴增視野中的真實物體互動。對位系統所進行的對位處理能決定一些參數，此些參數包含了至少一真實世界物體或目標與使用者眼睛之間的相對位置與位向。
在某些實施例中，本發明的技術能在不校正的情況下提供虛擬資訊與真實世界資訊的對位。
在某些實施例中，該對位系統更包含一影像產生器，該影像產生器係用以獲得代表該虛擬影像的數據、產生對應至該虛擬影像之複數軸的複數光束部分、及引導該複數光束部分沿著一大致光學傳播路徑傳播。
在某些實施例中，該對位系統更包含具有一偏光器的一眼投影光學模組，其可操作用以使該複數光束部分的大致光學傳播路徑偏向該使用者眼睛的一瞳孔藉此將虛擬影像直接投影至眼睛的一視網膜上。
在某些實施例中，該對位系統更包含一成像單元，其係用以使光朝向該外部場景傳輸、收集自其反射的光、及處理收集到的光以產生其一捕捉到的三維影像。
根據本發明的另一廣泛態樣，亦提供一種欲與感知外部場景之使用者眼睛一起使用的眼投影系統。該系統包含一感測器，該感測器係位於自每一使用者眼睛所反射之光的一光學路徑中且可操作用以接收自使用者視網膜所反射之一光束部分並成像代表該外部場景之一影像的反射光束部分藉此產生該外部場景的一再現影像；一影像產生器，係用以獲得代表一虛擬影像的數據、產生對應至該虛擬影像之複數軸的複數光束部分、及引導該複數光束部分沿著一大致光學傳播路徑傳播；一眼投影光學模組，位於該大致光學傳播路徑中且包含一偏光器，該偏光器可操作用以使該複數光束部分之該大致光學傳播路徑偏向該使用者眼睛藉此將該虛擬影像直接投影至該眼睛的一視網膜上，其中該大致光學傳播路徑係受到偏移俾使入射至該瞳孔上具有不同瞳孔入射角度的該複數光束部分係針對不同注視方向，該不同注視方向係相對於與一特定注視方向相關的該眼睛的一視線；及一控制單元，係用以接收該外部場景的一三維影像數據，其中該控制單元係連接至該感測器且可操作用以接收代表該再現影像的數據、比較該數據與該三維影像數據、對位該外部場景與該虛擬影像之間相對於該眼睛之視線之光的至少一參數藉此將該虛擬影像投影至該視網膜上與該外部場景對位。
在某些實施例中，該外部場景與該虛擬影像的該至少一參數包含相對於該使用者臉孔之位置與位向中的至少一者。
在某些實施例中，該感測器係整合於該眼投影光學模組內。
在某些實施例中，該系統更包含一成像單元，該成像單元係用以使光朝向該外部場景之至少一受關注區域傳輸、收集自其反射的光、及處理收集到的光以產生其一三維影像數據。
在某些實施例中，該影像產生器包含至少一光源，該至少一光源可操作用以產生在一特定波長範圍處的至少一光束部分。
在某些實施例中，該眼投影光學模組包含一影像掃描器。該掃描器可操作用以進行影像掃描俾使對應至該視網膜上之諸多位置的複數反射光束部分依序被該感測器所接收。
在某些實施例中，該系統更包含一分光器/組光器，該分光器/組光器係用以使來自該眼投影光學模組的光朝向該使用者眼睛的該瞳孔傳輸、及將自該視網膜所反射的該光束部分朝向該感測器反射。該分光器/組光器可被配置為一缺口濾波器，其係用以使一或多個光譜帶朝向該使用者之該瞳孔或一寬帶反射器傳輸。
在某些實施例中，該感測器包含一IR感測器，該IR感測器可操作用以偵測自該眼睛反射之至少一IR 光束的反射。
在某些實施例中，該偏光器係配置為一影像掃描器，該影像掃描器可操作用以在該複數光束部分偏向期間進行影像掃描，該複數光束部分偏向俾使該複數光束部分以對應至該視網膜上之諸多位置的諸多瞳孔入射角度入射至該瞳孔上。
在某些實施例中，該系統更包含用以決定該使用者眼睛之一注視方向的一眼追蹤器。
在某些實施例中，該眼投影光學模組包含一可調整之聚焦元件，該可調整之聚焦元件係用以變化朝向該使用者眼睛之該瞳孔之該複數光束部分的發散。該可調整之聚焦元件係用以調整該對位系統的複數聚焦特性以感知對應至瞬間注視方向之影像的銳利「焦點對準」重建。
根據本發明的另一廣泛態樣，提供一種使用者眼睛所感知到之外部場景與虛擬影像之間的對位方法。該方法包含至少下列步驟：接收代表該外部場景的一三維影像數據與代表該虛擬影像的數據；接收自一視網膜所反射的一光束部分及成像代表該外部場景之一影像之複數反射光束部分以產生一再現影像；比較該再現影像與該三維影像數據；在該外部場景與該虛擬影像之間進行相對該使用者眼睛之至少一參數的對位藉此將該虛擬影像投影至該視網膜上與該外部場景對位；產生對應至該虛擬影像之複數像素的複數光束部分並引導該複數光束部分沿著一大致光學傳播路徑傳播；及根據該對位使該複數光束部分的該大致光學傳播路徑偏向每一該使用者眼睛的一瞳孔。
在某些實施例中，該外部場景與該虛擬影像之該至少一參數包含相對於該使用者臉孔之位置與位向中的至少一者。
在某些實施例中，該方法更包含下列步驟：使光朝向該外部場景傳輸、收集自其反射的光、及處理收集到的光以產生其三維影像數據。或者，該三維影像數據可自兩或多個設置在頭戴式設備上的空間分散的相機所收集及/或來自能產生該三維影像數據的一對非固定的相機與慣性量測單元。
在某些實施例中，產生該複數光束部分的步驟包含產生在一特定波長範圍處的至少一光束部分。
在某些實施例中，接收自該視網膜所反射的該光束部分的步驟包含進行影像掃描俾以依序收集對應至該視網膜上之諸多位置的複數反射光束部分。
在某些實施例中，使該複數光束部分的該大致光學傳播路徑偏向該使用者眼睛的該瞳孔的步驟包含在該複數光束部分偏向期間進行影像掃描，該複數光束部分偏向俾使該複數光束部分以對應至該視網膜上之諸多位置的諸多瞳孔入射角度入射至該瞳孔上。使該複數光束部分的該大致光學傳播路徑偏向該使用者眼睛的該瞳孔的步驟可額外地或替代性地包含使該複數光束部分的一或多個光譜帶朝向該使用者的該瞳孔傳輸。
在某些實施例中，接收自該視網膜所反射的該光束部分的步驟包含偵測IR或一可見光束部分的反射。
雖然本發明易有諸多修改及替代形式，但以已圖示及文中詳細說明的方式例示其特定實施例。然而當瞭解，其意不在將本發明限制至特定揭露的形式，而是意在包涵落在由隨附之申請專利範圍所定義之本發明之精神與範疇內的所有修改、等效物、及替代物。
應瞭解，下述的光學模組/元件指出了用以實施本發明的功能性光學元件/模組及其配置。因此，下面將根據其功能性操作來說明光學元件/模組。應注意，此些光學元件/模組可使用真實光學元件的諸多配置組合來加以實施。此外，在本發明的某些實施例中，下述功能性光學模組中的兩或更多者可在一相同的光學模組/元件中整合實施及/或下述的單一功能性光學元件/模組可實際上利用數個分離的光學元件實施之。為達此目的，具有本發明知識之此領域中具有通常技能者可輕易瞭解用以施行本發明之光學元件/模組的諸多配置及此類模組的諸多排列以及下述之功能性光學元件/模組的光學功能。
參考圖1，以方塊圖例示本發明之對位系統100之結構與功能部件的部分概圖。對位系統100係用於外部場景與虛擬影像之間相對於眼睛之至少一參數的對位，藉此能將虛擬影像投影至視網膜上與外部場景對位。物體對位代表物體相對於眼睛的位置。對位系統100可特別包含此類主要部件如感測器102(即眼內觀相機)、透明的分光器/組光器BSC、及成像單元106(即世界觀相機)。感測器102可操作用以接收自使用者眼睛之視網膜所反射的一光束部分並成像代表使用者眼睛所感知到之外部場景之影像之反射光束部分藉此產生一再現影像。成像單元106係用以使光朝向外部場景之至少一關注區域傳輸、收集自其反射的光、及處理收集到的光以產生其三維影像數據。成像單元106可為可自真實世界捕捉影像並將影像送至控制單元(未顯示)的相機。本發明的對位系統100藉著眼睛內影像與真實世界影像的疊加而提供精準的目標對準。感測器102與相機系統106可同步化以捕捉實質上同步的影像。BSC可為彎曲的半反射鏡，用以使來自外部場景的光朝向使用者眼睛的瞳孔傳輸並使自視網膜所反射的光束部分朝向感測器102反射。
如上所述，感測器102所接收到的影像係代表眼睛所感知到的外部場景。圖2A顯示標的所感知到的影像。圖2B顯示出現在視網膜上的相同影像因此係由圖1之感測器102所捕捉到。應瞭解，一般而言眼睛約略為球狀，角膜與水晶體在前方而視網膜在後內表面上。將影像聚焦於視網膜上所需之折射的大部分皆發生於空氣-角膜的界面處。透鏡藉著調整其焦長而修改影像焦點。此處理係稱為調節。睫狀肌將水晶體拉成適當的形狀。影像的最尖部係聚焦於視網膜的中央窩上(在水晶體後方的視軸上)。角膜-水晶體系統中的大部分像差係藉由水晶體中之非均折射係數而有效地最小化。某些色差仍存在。為了使眼睛將影像容納於視網膜上，短波聚焦得太靠近水晶體。如圖清楚所示，由於影像聚焦於球形的視網膜上因此其包含大場/幾何扭曲，但如圖2A中所示在腦中於所謂恒常的處理中會易地修正此些扭曲。圖2C顯示代表特定標的之視網膜結構的影像。圖1之感測器102所接收的影像係代表與外部場景之影像疊加之視網膜的結構(如圖2C中所示)且由於影像係聚焦於球形視網膜上故感測器102所接收的影像包含眼睛所產生的大場/幾何扭曲(如圖2A中所示)。如下面針對圖6所將更進一步說明的，本發明的對位系統係用以補償此類幾何扭曲並自感測器所接收的影像過濾掉代表視網膜結構的數據。
參考圖3A-3B，其顯示在投影虛擬影像期間常會發生的遮擋/阻擋問題。在此特定且非限制性的實例中，使用者的手移動至使用者的視野因此遮擋了方塊(在此實例中的虛擬物體)的一部分。遮擋意指場景的部分因其前方有某物而不可見的情況。在擴增實鏡的文義下，這意味著某物係介於相機與虛擬元素的3D位置之間。如圖3B中所示，當此類遮擋發生時，控制單元產生一遮罩裁切被投影於遮擋物體前方之遮擋物體的確切形狀，只有虛擬物體的可見部分才會被擴增。因此，本發明產生以遮罩形式實施的最佳實時遮擋地圖。
就此應瞭解，任何純/擴增虛擬實鏡系統之眾多挑戰中的一挑戰為使虛擬數據與環境對準。位於使用者眼睛稍上方之玻璃框中之相機系統的視線(如下面的4A中所示)應確切與眼睛的視線相關聯。為了對使用者提供真實的感知經驗，相機系統視線應完全地與使用者眼睛的視線協調。相機座標與世界座標之間的轉換係由旋轉向量與平移向量所構成。通常，匹配旋轉向量相當簡單，但需要提供相機座標與世界座標之間的確切平移轉換。因此，為了避免遮擋感知，遮擋遮擋物體之遮罩的位置應根據相機系統之視線與使用者眼睛之視線之間的關聯而平移。
亦應注意，投影系統所需之對位精準度取決於環境以及被觀看之物體的距離：針對視差偏差較不明顯之大規模環境中的遠方物體可接受較低精準度之對位，但鄰近物體的精準擴增較難。應發生真實物體與虛擬物體之間的正確遮擋，是以由於兩個環境皆可見因此虛擬環境應切實地疊加在真實環境上。物體與虛擬物體之間之匹配與拼接位置以及尺寸的差異可能會發生在真實環境之世界座標與虛擬環境的座標之間。此差異直接造成虛擬物體疊加之位置的位移。是以必須在虛擬物體與真實世界之間進行適當對位俾使虛擬環境適當地疊加。眼睛在中央窩處的敏感度約為1/60°但周邊的敏感度約為1/6°。因此，使用者對現在中央窩區域中的遮擋極為敏感。
參考圖4A，其簡化概圖顯示本發明的對位系統400。本發明的對位系統400(通常被配置為頭戴式的)可與用以將顯示數據提供予使用者的一或兩眼顯示單元一起使用。該系統通常係用以藉著顯示具有相對較大視野的影像數據而對使用者提供虛擬或擴增實境經驗，且係用以實質上實時方式將使用者前方之區域的真實視覺數據(真實場景)包含於顯示數據中。如圖1中所述，對位系統400尤其包含此類主要結構部件如位於使用者眼睛上方的感測器102(即掃描相機)與成像單元106(即視野相機)、及透明分光器/組光器BSC，感測器102係用以接收自使用者眼睛之視網膜所反射的一光束部分並成像代表使用者眼睛所感知到之外部場景(如此特定之非限制性實例中的花)之影像之反射光束部分，成像單元106收集自外部場景反射的光及產生其三維影像數據，透明分光器/組光器BSC係用以使來自外部場景的光朝向使用者眼睛的瞳孔傳輸並使自視網膜所反射的光束部分朝向感測器102反射。感測器102係用以在視網膜之諸多位置上進行影像掃描如光柵掃描俾使感測器102能依序收集對應至視網膜上之諸多位置的反射光束部分。
參考圖4B，其顯示本發明之對位系統之一部分的部分圖示。自眼睛所反射的光被BSC收集並傳輸至影像掃描器(如中央窩掃描器)，掃描器為能進行二維影像掃描如光柵掃描的一或多個快速掃描鏡且能接收(例如藉由旋轉掃描鏡)自視網膜之諸多位置處之眼睛所反射的光束(對應至影像中的複數像素)並使視網膜之諸多位置的光束朝向感測器102(如光電二極體陣列)傳輸。掃描/光柵掃描鏡(複數鏡)可利用諸多適合的技術實施如機械耦合至適合致動器如壓電致動器或其他類型致動器的微電機系統( MEMS)鏡、使鏡在視網膜之複數位置的範圍各處進行光束的影像/光柵掃描。就此應瞭解，雖然在圖中為了清晰的目的僅顯示單一掃描鏡(如快速掃描鏡例如置於萬向架上以進行二維/軸旋轉)，但在本發明的其他實施例中可使用兩或更多鏡收集二維影像中的光束。感測器102可為在每一像素處收集一外部場景之不同部分的光電二極體陣列。感測器102利用影像掃描器隨著時間建立2D影像而在期望的視野各處建立影像。為達此目的，感測器102具有短整合時間且可使用高敏感度元件如雪崩光電二極體。感測器102所輸出之影像螢幕中的虛線為掃描影像的軌跡。
參考5A-5C顯示感測器102所涵蓋之波長範圍，感測器102例如是以矽為基礎(氮化鎵)的固態直接發光光電二極體。如圖中所示，光電二極體具有對光譜之藍(λp=460 nm)、綠(λp=520 nm)、紅(λp=640 nm)區域敏感的3通道(RGB)光電二極體。曲線S代表感測器102所產生之眼睛所感知之外部場景的光學偵測，R、G、B峰為虛擬影像之RGB投影的偵測。應注意，本發明之對位方法可選擇性地包含相機系統106的校正階段，在校正階段中一圖案被投影至使用者的視網膜上。接著要求使用者識別圖案上的某些點，使控制單元104能針對每一使用者識別扭曲、像差與擴散。圖5B顯示感測器102通常在綠範圍內進行的校正圖案的偵測。圖5C顯示選定關注的特定光譜區域並針對此選定區域判斷已接收之輻射之強度以識別視網膜上的場景投射。
參考圖6，以方塊圖的方式例示本發明之對位系統600之一結構與功能部件的部分概圖。對位系統600可與外部擴增實境系統一起使用或可為擴增實境系統的一部分。對位系統600包含此類主要結構部件如感測器102與控制單元104。
控制單元104使用對應至使用者所期望之視線的輸入影像數據。控制單元104通常係用來作為計算/電子設備尤其包含此類元件如數據輸入與輸出設備104A、104B、記憶體104C、及數據處理器模組104D。控制單元104係藉由纜線或以無纜線的方式連接至感測器102。控制單元104可操作用以接收外部場景的三維影像數據、比較感測器的再現影像與三維影像數據、及對外部場景與虛擬影像之間相對於眼睛的至少一參數進行對位，藉此將虛擬影像投影至視網膜上與外部場景對位。外部場景與虛擬影像的參數可為位置(如平移矩陣)及/或位向(如旋轉矩陣)。
代表感測器102所捕捉到之影像的數據被傳輸至控制單元104而數據處理器104D係用以自該影像濾除(如去旋繞)代表視網膜結構的影像數據。這可以數個方式進行：在一預校正階段中將如圖2C中所示之代表視網膜結構的影像數據儲存在記憶體104C中，然後數據處理器104D自感測器102所接收到的影像濾除代表視網膜結構之預校正的影像數據。或者，數據處理器104D分析代表視網膜結構的影像數據以估計視網膜結構的反射特性即不同亮度之幾何區域之間的差異。如圖2C中所示，負責銳利中央視力之稱為中央窩的眼睛部分係位於視網膜的中央。中央窩係受到中央窩外圍感受帶及中央窩周圍之外區域所包圍。中央窩外圍感受帶及中央窩周圍之外區域為比中央窩遠遠不亮的區域，因此在此些區域中有更多的血管。因此，藉著差異化不同亮度的區域之間可估計視網膜的結構。或者，可藉由局部識別影像之不同區域中的亮度變化而估計視網膜的結構。影像的掃描可由控制單元104進行以識別高反射率/亮度的區域。一般而言，如上所述，高反射率的區域代表靠近中央窩的視網膜區域，而低反射率的區域代表中央窩附近的視網膜區域。應瞭解，再現影像對應至自眼睛以特定視角/方向所反射的光。就此應注意，眼睛的注視方向在捕捉反射光的期間可能會改變及/或可能會發生眼睛的跳閱移動。在此些情況中，控制單元104分析影像的變化並濾除此些變化以僅保留穩定固定的影像數據。因此，控制單元104可操作用以藉由濾除對應至視網膜結構的影像數據並選擇高亮度影像的區域而「平坦化」眼睛之彎曲形狀的影像。
選擇性地，對位系統可包含用以將影像直接投影至眼睛之視網膜上的眼投影光學模組。眼投影光學模組可例如是擴增或虛擬實境眼鏡的一部分且可包含兩個眼投影系統。為了清晰的目的，圖示中僅顯示一個眼投影光學模組。應注意，雖然在圖中只顯示一個對位系統但在眼鏡中可設置多個此類系統以將影像分別投影至每一眼。在此類情況中，控制單元104亦可用以操作影像投影模組110。又，系統可操作以將立體影像/視頻投影至使用者眼睛而產生3D幻覺。在某些實施例中，該系統包含用以判斷使用者眼睛之注視方向的眼追蹤器120。眼追蹤器120可為設置在對位系統100上維持追蹤使用者頭部之位置的位向感測器。眼追蹤器120以三個自由度(翻滾、俯仰、偏擺)進行角度追蹤。眼追蹤器120可根據用以決定眼睛關注之視線/注視方向之任何適當技術操作配置。在此技術領域中已知有數個此類技術可包含於本發明的系統100中或與本發明的系統100一起使用。此類技術例如揭露於國際專利申請公開案WO 2013/117999、美國專利US 7,542,210與 US 6,943,754中。
選擇性地，對位系統600可包含影像產生器108，影像產生器108係用以獲得代表虛擬影像的數據、產生對應至虛擬影像之複數像素的複數光束部分、及引導複數光束部分沿著一大致光學傳播路徑傳播。在此配置中可採用圖1的分光器/組光器BSC，除了將自視網膜所反射之光束部分朝向感測器102反射並將來自外部場景的光朝向使用者眼睛的瞳孔傳輸外，更使來自眼投影光學模組110的光朝向使用者眼睛的瞳孔傳輸。通常，被收集到的影像數據係傳輸至控制單元104以處理及產生顯示數據，顯示數據藉由影像產生器108而提供予使用者。虛擬影像或影像產生器108所產生的影像可為二維或更高維度的，且可為深度影像、彩色影像、醫學影像、輪廓影像、或任何其他類型的數位影像。虛擬影像(複數虛擬影像)可包含單一的影像或一系列的影像如來自視頻相機或深度相機的影像。在某些實例中，輸入虛擬影像包含來自立體照相機或不同視點處之複數相機的立體影像。輪廓影像為二維的二進位影像，其可識別成像感測器所捕捉之深度及/或彩色RGB影像的前景區域與背景區域。
在某些實施例中，數據處理器104D可提供相機系統之位向的量測值，此些量測值可能是直接來自環境中及影像中所捕捉到的至少三個點的量測距離或自其所決定。計算再現影像與3D捕捉影像之間的對應點對(深度地圖或估計的深度地圖)。一對對應點為來自一深度地圖的一點與來自另一深度地圖的一點且估計此些點係由場景中之相同真實世界點所產生。「點」一詞在本文中係用以指涉點雲中或一群或塊相鄰座標中的一座標。由於過多的可能點組合，此類對應可能有問題。在每一影像中可識別形狀如線、邊緣、角落等，然後在影像對之間匹配此些形狀。
參考圖7，其顯示在本發明之使用者眼睛所感知到之外部場景與虛擬影像之間之對位技術中所用之流程圖700的簡化不同步驟。首先，相機與標的之眼睛之間的距離受到量測/提供至控制單元。在步驟1中，接收在特定時間期間T 處代表外部場景的三維影像數據(複數影像的一或多序列)及代表虛擬影像的數據。此三維影像數據可被設置於使用者眼睛上方的成像單元所捕捉。在步驟2中，依序掃描代表視網膜之諸多位置處之外部場景之影像的反射光束部分並由光電二極體所捕捉並隨時間整合以提供再現影像。光電二極體可附接至可以高精準度追蹤其位置與位向的座標量測裝置。接著將掃描結果整合至單一影像中。
在步驟3中，比較再現影像與三維影像數據。如上所述，識別出出現充分亮度及幾何扭曲減少之再現影像中的關注區域/關注物體。在兩影像之間進行關聯以識別具有較高關聯峰的區域。接著選擇此區域以決定虛擬影像與外部場景之影像之間的對位。輸入數據包含相機的光學軸、眼睛注視方向、及感測器與兩個影像的光學軸。必須找到能對位再現影像之至少一部分與捕捉到之3D影像中之對應位置的直射翹曲函數。此函數提供關聯兩影像之間的平移向量。如上所述，3D相機捕捉點雲中之一系列的點，此些點係經計算可轉譯為世界地圖。尤其這可在疊代最小化處理中達到，在此處理中將where a first set of points in 再現影像中的第一組點與捕捉到之3D影像中之計算組點以及用以在每次疊代處比較變化之捕捉到之3D影像的計算組點比較。為了解決一立體對之兩影像之間的點匹配問題，已有數種演算法。此些演算法可被分為兩群即產生稀疏輸出者及產生緻密結果者，而後者可被分類為局部(基於區域)及全局(基於能量)。立體匹配技術可包含局部方法如塊匹配、基於梯度之最佳化或特徵匹配、及/或全局方法如動態程式化、本質曲線、圖切、非線性擴散、置信度傳播、或無對應(correspondence-less)方法。塊匹配演算法亦可用於針對動作估算目的在一系列的數位視頻框中找到匹配的微塊。塊匹配方法可包含正規化的交叉關聯(normalized Cross-Correlation(NCC))、誤差平方和(Sum of Squared Differences(SSD))、正規化的SSD、絕對誤差和(Sum of Absolute Differences(SAD))、排名或普查。動作估算下的假設為：對應至視頻序列之框中之物體與背景的圖案會在框內移動而在接續框上形成對應物體。這可用以藉由參考最少不同之一已知微塊的內容而定義一微塊的內容，發現視頻序列中的暫時冗餘部分，增加框間的視頻壓縮效率。對位處理提供一角度，在此角度處成像單元的影像應被正規化以找到外部場景上的物體。比較步驟包含利用仿射平移轉換矩陣的轉移仿射性處理。然而，應考慮使用者眼睛相對於感測器102與相對於成像單元106的平移以獲得更精準的對位。為達此目的，可使用例如下列文獻中所載之極線計算方法：Multiple View Geometry in Computer Vision, R. Hartley and A. Zisserman, Cambridge University Press, 2000。此類極線幾何提供兩畫面之間的投影幾何。
在步驟4 中對外部場景與虛擬影像之間相對於使用者眼睛的至少一參數進行對位，藉此將虛擬影像投影至視網膜上與外部場景對位。控制單元可使用關聯函數利用2D/3D數據融合，將2D片段影像特徵與稀疏3D點關聯以導出物體結構以及物體上的一或多個特性。
在步驟5中產生對應至虛擬影像之複數像素的複數光束部分，此些光束部分係沿著一大致光學傳播路徑傳播，該些光束部分的大致光學傳播路徑根據對位而偏向每一使用者眼睛的瞳孔。
參考圖8，其顯示本發明的另一配置，其中眼投影系統為共讓渡予本申請案之受讓人之同在審理中之PCT 專利申請案WO17037708中所載的掃描投影系統，將此案包含於此作為參考。就此應注意，對於本發明的某些實施例而言，使用掃描投影系統可能有重大的優點。在此情況中，可將感測器102整合至眼投影系統內。使用此類針對輕巧應用的掃描投影系統如眼鏡應用，可將比使用區域投影系統(如圖6中所揭露者)所能達到之影像具有更佳影像品質的影像投影至視網膜上。為達此目的，掃描投影系統可比對應的區域投影系統更輕巧。又，使用掃描投影系統(其中利用一次投影一像素的雷射光束將影像投影至眼睛)提供在相鄰像素之間的無串音。此外，像素尺寸(即與每一特定像素投影相關之光束部分的寬度)可能比使用輕巧系統中之空中影像投影技術時所能獲得的實質上更寬(通常大一或多個數量級)。因此，眼投影光學模組130的光學模組可配置較少的數值孔徑因此可與較少的的光學像差相關，進而以良好的調制轉換函數(MTF)將高品質影像中繼提供予眼睛。這促進使用輕巧的影像投影系統投影具有較佳動態範圍、高影像對比、及高解析度與亮度的影像至眼睛視網膜。此外，在輕巧應用中使用掃描投影亦可減少及/或完全消除輕巧空中投影系統因明顯較小之像素尺寸品質惡化所產生的繞射缺陷。
因此，本發明之對位系統600具有充分大的F數以自感測器102感測器獲得清楚的影像且減少上述眼睛的幾何視野扭曲。眼睛所反射並被感測器102所收集之影像的扭曲可藉由下列方式減少：將視野止件放置於感測器102的鏡頭孔徑處以限制系統視野並收集較小的光束部分。
應注意，當在影像掃描模式中操作時，影像像素係依序投影。例如，掃描可以高頻率(每一像素10 ns)俾使感測器所捕捉到之光的功率約為3 mWatt。為了放大功率偵測，感測器102可以雪崩光電二極體配置以偵測自眼睛所反射的光。雪崩光電二極體的高敏感度能產生外部場景之至少一部分的再現影像。亦可將放大器置於感測器102的輸出處以增加所接收到的訊號。
眼投影系統800係用以獲得代表欲投影至眼睛上之影像的數據並產生對應至影像之複數像素的複數光束部分。眼投影系統800包含分光/結合表面BSC，BSC係用以使來自場景的外部光朝向使用者眼睛傳輸、使自眼睛所反射的反射光朝向感測器102傳輸並將來自眼投影模組130的光朝向使用者眼睛反射。這可藉著使用波長過濾之不同方法同時進行。例如，BSC的一部分可塗覆有用以過濾掉不同波長之光束之特定塗覆材料(如薄膜標準具(etalon))俾以分離自眼投影模組130所反射並朝向使用者眼睛的光且來自場景並朝向使用者眼睛的外部光。接著移置BSC以收集反射光與外部光。在另一實例中，BSC可包含電控制液晶(LC)元件的可調式液晶濾件(LCTF)或可調式聲光濾件，兩者皆可用以傳輸可選擇之波長的光並排除其他波長的光。例如，被選定之波長可為540 nm與532 nm。或者，吾人可藉著以一時間延遲控制相機系統106與眼投影模組130的時序加以進行，俾以時間分離自眼投影模組130反射並朝向使用者眼睛之光的取得與來自場景朝向使用者眼睛之外部光的取得。
在此特定之非限制性實例中，自眼睛所反射之光係藉由兩鏡M1與M2自BSC朝向投影模組130傳輸，兩鏡M1與M2被分別稱為用以追蹤眼睛之注視方向用的跳閱鏡與瞳孔鏡。接著由眼追蹤器偵測到眼睛的注視方向。此外或或者，該系統800可包含置於眼鏡橋樑上用以偵測至眼睛之IR光束的紅外線(IR)光發射器，且位於眼鏡框/臂上的感測器102(在此例中為IR感測器)係用以偵測來自眼睛(來自其瞳孔及/或角膜及/或視網膜)的IR光束的反射。控制單元104係用以處理反射IR 光束的圖案以判斷眼睛的注視方向。在此特定之非限制性實例中，可被整合至眼投影系統130中或可為外部模組的感測器102係如圖4A中所示位於眼鏡的框及/或把手上。感測器102藉由定義聚焦系統之BSC、可調式之跳閱鏡與瞳孔鏡M1與M2、及空間分離之中繼透鏡L1與L2接收自使用者眼睛反射的光。一或多個掃描鏡SM 132係設置於自眼睛所反射之光與感測器102之間的光學路徑中以進行反射光束的掃描/光柵掃描(例如藉由旋轉鏡子)，其間之每一掃描角度係對應至視網膜上之影像的另一位置。掃描/光柵掃描鏡(複數鏡)SM 132可利用諸多適合的技術實施如電光偏光器及/或使用鏡子如機械耦合至適合致動器如壓電致動器或其他類型致動器的微電機系統( MEMS)鏡、使複數掃描角度的範圍各處進行反射光束的影像/光柵掃描。就此應瞭解，雖然在圖中為了清晰的目的僅顯示單一掃描鏡(如快速掃描鏡)SM 132(如被置於萬向架上以進行二維/軸旋轉)，但在本發明的其他實施例中可使用兩或更多鏡/偏光器以使反射光束在二維影像掃描角度中偏移。感測器102成像代表外部場景之影像之自視網膜反射的此掃描反射光並產生如使用者所觀看到之外部場景的再現影像。如上所述，自此影像濾除視網膜結構的影像以僅獲得代表外部場景的影像。當感測器102係整合至眼投影模組130中時，自眼睛所反射之影像的捕捉與虛擬影像的投影同時進行。在圖8所示的實施例中，感測器102包含三個光電二極體R、G、B，其各自可為對紅、綠、藍波長範圍敏感的光電二極體。是以，眼鏡之分光器/結合器表面可被配置為缺口濾波器且可位於感測器102之前，缺口濾波器係用以使一或多個窄光譜帶朝向使用者眼睛反射並同時傳輸來自於場景之此些窄光譜帶之外的光。以此方式，感測器可捕捉到特定波長的反射光。
用以偵測自眼睛所反射之光且包含上述光學元件如BSC、鏡M1與M2、中繼透鏡L1與L2、掃描鏡132的光學路徑亦用於將與外部場景對位之虛擬影像朝向使用者眼睛投影。眼投影系統800之光學配置俾使以不同瞳孔入射角度入射於瞳孔上的光束部分相對於與一特定注視方向相關之一眼視線具有不同注視方向。此特殊配置能使用相同的系統成像來自眼睛的反射光並將虛擬影像朝向視網膜投影。兩種操作皆使用相同的角規模。對位提供成像系統與投影系統之間角差異。接著使系統的光學扭曲與光學系統的扭曲而非眼睛的扭曲相關聯。SM 132亦用來作為注視追蹤偏光器，其可操作用以直接將虛擬影像投影至眼睛的視網膜上。是以眼投影光學模組130係用以接收自影像產生器108所輸出之具有投影角度的光束(或光束之部分)並導引此些光束俾使其以對應瞳孔入射角度入射至眼睛瞳孔上，進而使影像像素被直接投影至視網膜上的適當位置處。影像產生器108係用以獲得代表虛擬影像的數據、產生對應至虛擬影像之複數軸的複數光束部分、及導引該複數光束部分沿著一大致光學傳播路徑 OP傳播。注視追蹤偏光器132包含進行光束之掃描/光柵掃描(例如藉由旋轉鏡子)的一或多個掃描鏡SM，在掃描期間光束偏向以在影像投影角度αscn 的範圍內傳播，其中每一投影角度通常對應至被投影至視網膜上之影像的一像素。掃描/光柵掃描鏡(複數鏡)/偏光器SM使光束偏離投影模組130以在投影角度αscn 的範圍內進行光束的影像/光柵掃描。就此應瞭解，雖然在圖中為了清晰的目的僅顯示單一掃描鏡(如快速掃描鏡)SM(例如置於萬向架上以進行二維/軸旋轉)，但在本發明的其他實施例中可使用兩或更多鏡/偏光器使光束在二維影條投影角度αscn 中(即{αX scn αY scn })偏移。影像產生器108可尤其包含具有可調式光學偏光器(如能操作進行二維影像掃描如光柵掃描的一或多個快速掃描鏡)的影像掃描器。影像掃描器可操作用以接收輸入光束並使光束偏移俾以調整光束相對於使用者眼睛之瞳孔的入射角度。為達此目的，影像掃描器的可調式光學偏光器進行影像掃描如光柵掃描，在掃描期間光束偏移俾使光束以對應至眼睛之視網膜上之諸多位置的諸多瞳孔入射角度αin 入射瞳孔。是以根據被投影至視網膜上之影像調制光束的強度及可能調制光束的光譜內容，俾以在像掃描期間將影像之各個像素投影至視網膜的諸多位置上。換言之，瞳孔入射角度αin 對應至影像的像素且造成此些像素直接投影至視網膜上的各別位置上。如上所述，傳統技術的重大不足中的一者為眼睛所捕捉到之投影影像並非固定至眼座標(參考框)而是固定至另一參考框(眼睛外之場景的參考框或使用者頭部的參考框)。因此，當眼睛的注視方向變化時，眼睛視網膜上之影像的投影位置跟著改變。這是因為真實的瞳孔入射角度 αin 取決於注視方向。眼投影光學模組130包含位於使用者之對應眼前方的注射追蹤偏光器，其係用以引導自使用者前方之外部場景之至少一關注區域所到達的光並引導自至少一影像產生器108所到達的光朝向使用者眼睛。在尋求將彩色影像投影至視網膜上的實施例中，影像產生器108包含光模組且可包含一或多個光源，一或多個光源(通常為紅、綠、藍三雷射源)可操作用以產生在一特定波長範圍處的至少一光束部分。
應注意，眼睛會持續尋找外部場景上的一聚焦點，這會造成眼睛疲勞。為了解決此問題，眼投影光學模組130可包含可調整之聚焦元件134，其係用以變化朝向使用者眼睛之瞳孔之光束部分的發散。發散的變異係根據對位數值所選擇。
中繼透鏡L1與L2係沿著光學路徑以串級方式設置以導引來自投影模組的後影像投影並將其組合(同時或非同時)投影至使用者眼睛中。更具體而言，中繼透鏡L1與L2係沿著自影像掃描器SM傳播至瞳孔之光的光學路徑彼此以一光學距離分離設置，此光學距離係實質上等於第一與第二焦長的總和。是以，中繼透鏡L1與L2被配置為角光束中繼模組，其係用以接收自影像掃描器SM傳播且相對於光學軸具有一特定輸出影像投影角度αscn 的光束並中繼該光束以對應的瞳孔入射角度 αin 入射至瞳孔上。角中繼光學件提供入射至瞳孔上之光束的角度係對應至自影像投影系統發出之光束的輸出角度因此亦對應至影像的各別像素。操作包含此類中繼之此類光學模組之組態與方法的實例例如係載於共讓渡予本申請案之受讓人的PCT專利公開案WO 2015/132775與專利申請案IL 241033中，此類中繼可操作用以導引影像投影至眼睛的視網膜上且其可被包含於本發明的光學模組中，將上述文獻包含於此作為參考。
控制單元104可使用適合的類比電路以類比方式實施，或以數位方式實施，其可藉著使用載帶了能進行下列控制之適合軟編碼/硬編碼之電腦可讀/可執行指令的適合處理器(複數處理器)及記憶體/儲存模組(複數模組)：控制SM 132的操作及控制影像產生器108的操作。為達此目的，控制單元104係用以自影像產生器108接收代表欲投影至眼睛視網膜上之影像的數據、代表眼睛之注視方向 β的數據(例如由眼追蹤器所獲得)、相機系統106所獲得之外部場景的三維影像數據、及來自感測器102代表再現影像的數據。控制單元之數據的取得(時間與速率)應與感測器102、與相機系統106、及與掃描鏡同步，以收集所有的影像數據。控制單元104比較來自感測器102之代表再現影像的數據與相機系統106之三維影像數據、及對外部場景與虛擬影像之間針對相對於眼睛之視線的至少一參數進行對位。控制單元104控制眼投影光學模組130，藉著進行上述用以投影影像之每一像素之方法700的操作，使虛擬影像的像素被投影至視網膜上的對應位置處與外部場景對位。
100‧‧‧對位系統
102‧‧‧感測器
104‧‧‧控制單元
104A‧‧‧輸入與輸出設備
104B‧‧‧輸入與輸出設備
104C‧‧‧記憶體
104D‧‧‧數據處理器模組
106‧‧‧成像單元
108‧‧‧影像產生器
110‧‧‧影像投影模組
120‧‧‧眼追蹤器
130‧‧‧眼投影模組
132‧‧‧掃描鏡/偏光器
134‧‧‧可調整之聚焦元件
400‧‧‧對位系統
600‧‧‧對位系統
700‧‧‧流程圖
800‧‧‧眼投影系統
為了更明白文中所揭露之標的並例示其如何實施，現將參考附圖以非限制性的例示方式說明實施例，其中：
圖1之方塊圖概略顯示根據本發明之某些實施例之對位系統之某些元件的部分示圖；
圖2A顯示出現在使用者之感知(腦中)之外部場景的影像；
圖2B顯示出現在視網膜上之相同外部場景的影像；
圖2C顯示一特定標的之視網膜結構的影像；
圖3A-3B概略顯示一虛擬物體的遮擋及此類遮擋的處理；
圖4A概略顯示根據本發明之某些實施例之掃描投影系統之某些元件的概圖，其中亦顯示虛擬物體投影至眼睛的視網膜上及使用者的感知；
圖4B概略顯示根據本發明之某些實施例之掃描投影系統之某些元件的概圖；
圖5A-5C概略顯示光電二極體感測器的可用波長及感測器所進行的不同偵測；
圖6之方塊圖概略顯示根據本發明之某些實施例之對位系統；
圖7之流程圖概略顯示根據本發明之某些實施例之技術的主要步驟；及
圖8概略顯示根據本發明之某些實施例之對位系統的另一配置。

Claims (25)

  1. 一種欲與感知外部場景之使用者眼睛一起使用的眼投影系統，該系統包含： 一感測器，該感測器係位於自每一該使用者眼睛所反射之光的一光學路徑中，且可操作用以接收自該使用者之視網膜所反射之一光束部分並成像代表該外部場景之一影像的該反射光束部分，藉此產生該外部場景的一再現影像； 一影像產生器，係用以獲得代表一虛擬影像的數據、產生對應至該虛擬影像之複數軸的複數光束部分、及引導該複數光束部分沿著一大致光學傳播路徑傳播； 一眼投影光學模組，係位於該大致光學傳播路徑中且包含一偏光器，該偏光器可操作用以使該複數光束部分之該大致光學傳播路徑偏向該使用者眼睛藉此將該虛擬影像直接投影至該眼睛的該視網膜上，其中該大致光學傳播路徑係受到偏移俾使入射至一瞳孔上具有不同瞳孔入射角度的該複數光束部分係朝向不同注視方向，該不同注視方向係相對於與一特定注視方向相關的該眼睛的一視線；及 一控制單元，係用以接收該外部場景的一三維影像數據，其中該控制單元係連接至該感測器且可操作用以接收代表該再現影像的數據、比較該數據與該三維影像數據、對位該外部場景與該虛擬影像之間相對於該眼睛之視線之光的至少一參數，藉此將該虛擬影像投影至該視網膜上與該外部場景對位。
  2. 如申請專利範圍第1項之欲與感知外部場景之使用者眼睛一起使用的眼投影系統，其中該外部場景與該虛擬影像的該至少一參數包含位置與位向中的至少一者。
  3. 如申請專利範圍第1項或第2項之欲與感知外部場景之使用者眼睛一起使用的眼投影系統，其中該感測器係整合於該眼投影光學模組內。
  4. 如申請專利範圍第1至3項中任一項之欲與感知外部場景之使用者眼睛一起使用的眼投影系統，更包含一成像單元，該成像單元係用以使光朝向該外部場景之至少一受關注區域傳輸、收集自其反射的光、及處理收集到的光以產生其一三維影像數據。
  5. 如申請專利範圍第1至4項中任一項之欲與感知外部場景之使用者眼睛一起使用的眼投影系統，其中該影像產生器包含至少一光源，該至少一光源可操作用以產生在一特定波長範圍處的至少一光束部分。
  6. 如申請專利範圍第1至5項中任一項之欲與感知外部場景之使用者眼睛一起使用的眼投影系統，其中該眼投影光學模組包含一影像掃描器，該掃描器可操作用以進行影像掃描，俾使對應至該視網膜上之諸多位置的複數反射光束部分依序被該感測器所收集。
  7. 如申請專利範圍第1至6項中任一項之欲與感知外部場景之使用者眼睛一起使用的眼投影系統，更包含一分光器/組光器，該分光器/組光器係用以使來自該眼投影光學模組的光朝向該使用者眼睛的該瞳孔傳輸、及將自該視網膜所反射的該光束部分朝向該感測器反射。
  8. 如申請專利範圍第7項之欲與感知外部場景之使用者眼睛一起使用的眼投影系統，其中該分光器/組光器係配置為一缺口或帶通濾波器，其係用以使一或多個光譜帶朝向該使用者之該瞳孔傳輸。
  9. 如申請專利範圍第1至8項中任一項之欲與感知外部場景之使用者眼睛一起使用的眼投影系統，其中該感測器包含一IR感測器，該IR感測器可操作用以偵測自該眼睛反射之至少一IR 光束的反射。
  10. 如申請專利範圍第1至9項中任一項之欲與感知外部場景之使用者眼睛一起使用的眼投影系統，其中該偏光器係配置為一影像掃描器，該影像掃描器可操作用以在該複數光束部分偏向期間進行影像掃描，該複數光束部分偏向俾使該複數光束部分以對應至該視網膜上之諸多位置的諸多瞳孔入射角度入射至該瞳孔上。
  11. 如申請專利範圍第1至10項中任一項之欲與感知外部場景之使用者眼睛一起使用的眼投影系統，更包含一眼追蹤器，該眼追蹤器係用以判斷該使用者眼睛的一注視方向。
  12. 如申請專利範圍第1至11項中任一項之欲與感知外部場景之使用者眼睛一起使用的眼投影系統，其中該眼投影光學模組包含一可調整之聚焦元件，該可調整之聚焦元件係用以變化朝向該使用者眼睛之該瞳孔之該複數光束部分的發散。
  13. 一種使用者眼睛所感知到之外部場景與虛擬影像之間的對位方法，包含： 接收代表該外部場景的一三維影像數據與代表該虛擬影像的數據； 接收自一視網膜所反射的一光束部分及成像代表該外部場景之一影像之複數反射光束部分以產生一再現影像； 比較該再現影像與該三維影像數據； 在該外部場景與該虛擬影像之間進行相對該使用者眼睛之至少一參數的對位藉此將該虛擬影像投影至該視網膜上與該外部場景對位； 產生對應至該虛擬影像之複數像素的複數光束部分並引導該複數光束部分沿著一大致光學傳播路徑傳播；及 根據該對位使該複數光束部分的該大致光學傳播路徑偏向每一該使用者眼睛的一瞳孔。
  14. 如申請專利範圍第13項之使用者眼睛所感知到之外部場景與虛擬影像之間的對位方法，其中該外部場景與該虛擬影像之該至少一參數包含位置與位向中的至少一者。
  15. 如申請專利範圍第13或14項之使用者眼睛所感知到之外部場景與虛擬影像之間的對位方法，更包含使光朝向該外部場景傳輸、收集自其反射的光、及處理收集到的光以產生其三維影像數據。
  16. 如申請專利範圍第13至15項中任一項之使用者眼睛所感知到之外部場景與虛擬影像之間的對位方法，其中產生該複數光束部分的步驟包含產生在一特定波長範圍處的至少一光束部分。
  17. 如申請專利範圍第13至16項中任一項之使用者眼睛所感知到之外部場景與虛擬影像之間的對位方法，其中接收自該視網膜所反射的該光束部分的步驟包含進行影像掃描俾以依序收集對應至該視網膜上之諸多位置的複數反射光束部分。
  18. 如申請專利範圍第13至17項中任一項之使用者眼睛所感知到之外部場景與虛擬影像之間的對位方法，其中使該複數光束部分的該大致光學傳播路徑偏向該使用者眼睛的該瞳孔的步驟包含在該複數光束部分偏向期間進行影像掃描，該複數光束部分偏向俾使該複數光束部分以對應至該視網膜上之諸多位置的諸多瞳孔入射角度入射至該瞳孔上。
  19. 如申請專利範圍第13至18項中任一項之使用者眼睛所感知到之外部場景與虛擬影像之間的對位方法，其中使該複數光束部分的該大致光學傳播路徑偏向該使用者眼睛的該瞳孔的步驟包含使該複數光束部分的一或多個光譜帶朝向該使用者的該瞳孔傳輸。
  20. 如申請專利範圍第13至19項中任一項之使用者眼睛所感知到之外部場景與虛擬影像之間的對位方法，其中接收自該視網膜所反射的該光束部分的步驟包含偵測IR或一可見光束部分的反射。
  21. 一種欲與擴增實境系統一起使用的對位系統，包含： 一感測器，可操作用以接收自一使用者眼睛之一視網膜所反射的一光束部分、及成像代表該使用者眼睛所感知到之一外部場景之一影像之反射光束部分，藉此產生一再現影像；及 一控制單元，係連接至該感測器且可操作用以接收該外部場景的一三維影像數據、比較該再現影像與該三維影像數據；及在該外部場景與該虛擬影像之間進行相對該眼之至少一參數的對位藉此將該虛擬影像投影至該視網膜上與該外部場景對位。
  22. 如申請專利範圍第21項之欲與擴增實境系統一起使用的對位系統，其中該外部場景與該虛擬影像的該至少一參數包含位置與位向中的至少一者。
  23. 如申請專利範圍第21或22項之欲與擴增實境系統一起使用的對位系統，更包含一影像產生器，該影像產生器係用以獲得代表該虛擬影像的數據、產生對應至該虛擬影像之複數軸的複數光束部分、及引導該複數光束部分沿著一大致光學傳播路徑傳播。
  24. 如申請專利範圍第21至23項中任一項之欲與擴增實境系統一起使用的對位系統，更包含具有一偏光器之一眼投影光學模組，該偏光器可操作用以使該複數光束部分的該大致光學傳播路徑偏向該使用者眼睛的一瞳孔，藉此將該虛擬影像直接投影至眼睛的一視網膜上。
  25. 如申請專利範圍第21至24項中任一項之欲與擴增實境系統一起使用的對位系統，更包含一成像單元，該成像單元係用以使光朝向該外部場景傳輸、收集自其反射的光、及處理收集到的光以產生其一捕捉到的三維影像。
TW107118120A 2017-05-29 2018-05-28 用以在外部場景與虛擬影像之間對位的方法與系統 TW201907204A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ILIL252582 2017-05-29
IL252582A IL252582A0 (en) 2017-05-29 2017-05-29 A method and system for registration between the outside world and a virtual image

Publications (1)

Publication Number Publication Date
TW201907204A true TW201907204A (zh) 2019-02-16

Family

ID=62452826

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107118120A TW201907204A (zh) 2017-05-29 2018-05-28 用以在外部場景與虛擬影像之間對位的方法與系統

Country Status (11)

Country Link
US (1) US20200081530A1 (zh)
EP (1) EP3631603A4 (zh)
JP (1) JP2020522738A (zh)
KR (1) KR20200023305A (zh)
CN (1) CN110914786A (zh)
AU (1) AU2018277268A1 (zh)
CA (1) CA3062558A1 (zh)
IL (1) IL252582A0 (zh)
RU (1) RU2019142857A (zh)
TW (1) TW201907204A (zh)
WO (1) WO2018220631A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11249315B2 (en) 2020-04-13 2022-02-15 Acer Incorporated Augmented reality system and method of displaying virtual screen using augmented reality glasses
TWI825891B (zh) * 2021-08-02 2023-12-11 美商海思智財控股有限公司 用於真實空間導航的擴增實境系統以及使用該系統的手術系統

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958482B (zh) * 2016-10-17 2021-06-18 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
US11380018B2 (en) 2017-12-19 2022-07-05 Telefonaktiebolaget Lm Ericsson (Publ) Head-mounted display device and method thereof
KR20200050689A (ko) * 2018-11-02 2020-05-12 삼성전자주식회사 광의 경로를 변경하는 광학부재들을 포함하는 전자 장치
US11189061B2 (en) * 2019-06-25 2021-11-30 Universal City Studios Llc Systems and methods for virtual feature development
IL271129B (en) * 2019-12-02 2021-12-01 Elbit Systems Ltd Method and system for optical vision through a head-mounted display of virtual objects precisely aligned with external objects
US20220050527A1 (en) * 2020-08-12 2022-02-17 Himax Technologies Limited Simulated system and method with an input interface
US11783550B2 (en) 2020-09-17 2023-10-10 Apple Inc. Image composition for extended reality systems
WO2022159912A1 (en) * 2021-01-25 2022-07-28 Quantum Radius Corporation Retinal foveation system and method
KR20220137428A (ko) * 2021-04-02 2022-10-12 삼성전자주식회사 전자 장치 및 그 동작 방법
WO2022229943A1 (en) * 2021-04-27 2022-11-03 Elbit Systems Ltd Optical see through (ost) head mounted display (hmd) system and method for precise alignment of virtual objects with outwardly viewed objects
CN113171913B (zh) * 2021-04-30 2022-04-22 哈尔滨工业大学 一种基于座椅类家具三维点云的喷涂路径生成方法
WO2023144189A1 (de) * 2022-01-25 2023-08-03 Ams-Osram International Gmbh Optische baugruppe zur detektion einer vom auge reflektierten strahlung eines retinaprojektors und verfahren
CN114624883B (zh) * 2022-03-08 2022-10-04 常山县亿思达电子有限公司 一种基于柔性曲面透明微显示屏的混合现实眼镜系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3425818B2 (ja) * 1995-01-23 2003-07-14 キンセキ株式会社 網膜直接表示装置及びそれを用いたテレビジョン受信機
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
DE19728890A1 (de) * 1997-07-07 1999-02-04 Daimler Benz Ag Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des Netzhautbildes
US6327341B1 (en) * 1997-12-17 2001-12-04 Siemens Aktiengesellschaft Scattered-ray grid
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6867753B2 (en) * 2002-10-28 2005-03-15 University Of Washington Virtual image registration in augmented display field
IL172797A (en) * 2005-12-25 2012-09-24 Elbit Systems Ltd Real-time image scanning and processing
JP2010139575A (ja) * 2008-12-09 2010-06-24 Brother Ind Ltd シースルー型ヘッドマウント表示装置
US20160210785A1 (en) * 2013-10-03 2016-07-21 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
CN104749777B (zh) * 2013-12-27 2017-09-26 中芯国际集成电路制造(上海)有限公司 可穿戴智能设备的互动方法
JP6415608B2 (ja) * 2014-03-03 2018-10-31 アイウェイ ビジョン エルティーディー． 目用投影システム
US9759918B2 (en) * 2014-05-01 2017-09-12 Microsoft Technology Licensing, Llc 3D mapping with flexible camera rig
KR20160059406A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11249315B2 (en) 2020-04-13 2022-02-15 Acer Incorporated Augmented reality system and method of displaying virtual screen using augmented reality glasses
TWI790430B (zh) * 2020-04-13 2023-01-21 宏碁股份有限公司 擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法
TWI825891B (zh) * 2021-08-02 2023-12-11 美商海思智財控股有限公司 用於真實空間導航的擴增實境系統以及使用該系統的手術系統

Also Published As

Publication number Publication date
CN110914786A (zh) 2020-03-24
EP3631603A1 (en) 2020-04-08
IL252582A0 (en) 2017-08-31
WO2018220631A1 (en) 2018-12-06
CA3062558A1 (en) 2018-12-06
EP3631603A4 (en) 2020-06-24
AU2018277268A1 (en) 2020-01-23
KR20200023305A (ko) 2020-03-04
US20200081530A1 (en) 2020-03-12
JP2020522738A (ja) 2020-07-30
RU2019142857A (ru) 2021-07-01

Similar Documents

Publication Publication Date Title
TW201907204A (zh) 用以在外部場景與虛擬影像之間對位的方法與系統
US11079601B2 (en) Eye projection system and method
JP6415608B2 (ja) 目用投影システム
CN108107579B (zh) 一种基于空间光调制器的全息光场大视域大出瞳的近眼显示系统
US10048750B2 (en) Content projection system and content projection method
JP3787939B2 (ja) 立体映像表示装置
US10382699B2 (en) Imaging system and method of producing images for display apparatus
US20160301260A1 (en) Three-dimensional imager and projection device
US11188175B1 (en) Display system with integrated depth detection
US10789782B1 (en) Image plane adjustment in a near-eye display
WO2013122711A1 (en) Heads-up display including eye tracking
CN110082914A (zh) 包括用于校正差分失真的光学组件的光投影系统
EP3548991A1 (en) Gaze-tracking system and method of tracking user's gaze
JP6349660B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
CN112055827A (zh) 具有数字校正像差的光学混合现实系统
US11841510B1 (en) Scene camera
US11221487B2 (en) Method and device of field sequential imaging for large field of view augmented/virtual reality
Itoh et al. Gaussian light field: Estimation of viewpoint-dependent blur for optical see-through head-mounted displays
CN114008665A (zh) 显示设备及用于校正该显示设备的图像畸变的方法
WO2019235059A1 (ja) 映像投射システム、映像投射装置、映像表示光回折用光学素子、器具、及び映像投射方法
JP3698582B2 (ja) 画像表示装置
CN114326104B (zh) 具有结构光检测功能的扩增实境眼镜
WO2022111668A1 (zh) 实现虚实融合的显示设备
JP2011158644A (ja) 表示装置
CN117555138A (zh) 一种ar眼镜光路反射投射装置及畸变校正方法