TWI802826B - 顯示一個具有景深的物體的系統與方法 - Google Patents

顯示一個具有景深的物體的系統與方法 Download PDF

Info

Publication number
TWI802826B
TWI802826B TW109141615A TW109141615A TWI802826B TW I802826 B TWI802826 B TW I802826B TW 109141615 A TW109141615 A TW 109141615A TW 109141615 A TW109141615 A TW 109141615A TW I802826 B TWI802826 B TW I802826B
Authority
TW
Taiwan
Prior art keywords
light signal
combiner
user
redirected
pixel
Prior art date
Application number
TW109141615A
Other languages
English (en)
Other versions
TW202136861A (zh
Inventor
賴俊穎
葉逢春
陳國軒
Original Assignee
美商海思智財控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2020/059317 external-priority patent/WO2021092314A1/en
Application filed by 美商海思智財控股有限公司 filed Critical 美商海思智財控股有限公司
Publication of TW202136861A publication Critical patent/TW202136861A/zh
Application granted granted Critical
Publication of TWI802826B publication Critical patent/TWI802826B/zh

Links

Images

Abstract

一種顯示物體的系統與方法。物體顯示系統包含右側光訊號產生器、左側光訊號產生器、右側合併器、及一左側合併器。右側光訊號產生器產生物體的複數個右側光訊號。右側合併器接收並重新導向複數個右側光訊號朝向使用者的一視網膜以顯示物體的複數個右像素。左側光訊號產生器產生物體的複數個左側光訊號。左側合併器接收並重新導向複數個左側光訊號朝向另一個該使用者的視網膜以顯示物體的複數個左像素。此外,使用者接收第一重新導向的右側光訊號及對應的第一重新導向的左側光訊號以第一景深顯示該物體的第一虛擬雙目像素,第一景深與第一重新導向的右側光訊號及對應的第一重新導向的左側光訊號之間的一第一角度相關。

Description

顯示一個具有景深的物體的系統與方法
本案涉及顯示具有景深的物體的系統與方法,尤其是,藉由產生複數個右側光訊號與左側光訊號並重新導向複數個右側光訊號與左側光訊號至使用者的視網膜以顯示具有景深的物體的系統與方法。
在傳統的虛擬實境(VR)與擴增實境(AR)系統中,其採用的立體技術(stereoscopic technology)為藉由同時各別投射兩個具有不同視角的視差影像到鄰近使用者眼睛的左側與右側顯示面板以產生三維虛擬影像。兩個視差影像之間的視角差被大腦解讀為影像的景深。而事實上,使用者的眼睛聚焦(凝視)於顯示面板上;由於視差影像的關係,顯示面板的景深與使用者看見的影像的景深不同。當景深感知的聚焦調節與眼睛會聚不一致時,視覺輻輳調節衝突(vergence-accommodation conflict/VAC)產生。VAC讓使用者產生暈眩或頭痛。再者,在混合實境(MR)中使用視差影像,使用者將無法同時聚焦在實物與虛擬影像上,因此產生對焦競爭(focal rivalry)。進一步的,藉由視差影像技術顯示虛擬影像的移動對於影像處理的硬體設備而言負擔相當沉重。
本案的目的在於提供一種在空間中顯示具有景深的物體的系統與方法。由於物體的景深與使用者雙眼凝視的位置相同,因此可避免視覺輻輳調節衝突(vergence-accommodation conflict/VAC)及對焦競爭(focal rivalry)。物體顯示系統包含右側光訊號產生器、右側合併器、左側光訊號產生器、及左側合併器。右側光訊號產生器產生物體的複數個右側光訊號。右側合併器接收並重新導向複數個右側光訊號朝向使用者的視網膜以顯示物體的複數個右像素。左側光訊號產生器產生該物體的複數個左側光訊號。左側合併器接收及重新導向該複數個左側光訊號朝向該使用者的另一視網膜以顯示該物體的複數個左像素。此外,使用者感知第一重新導向的右側光訊號及對應的第一重新導向的左側光訊號,以第一景深產生該物體的第一虛擬雙目像素,該第一景深與該第一重新導向的右側光訊號及對應的該第一重新導向的左側光訊號之間的第一角度相關。在一實施例中,該第一景深係由該第一重新導向的右側光訊號及對應的該第一重新導向的左側光訊號光徑延伸之間的該第一角度來決定。
當物體被視為具有複數個景深時,對於物體第一虛擬雙目像素而言,該使用者感知第二重新導向的右側光訊號及對應的第二重新導向的左側光訊號,以第二景深產生該物體的第二虛擬雙目像素,該第二景深與該第二重新導向的右側光訊號及對應的該第二重新導向的左側光訊號之間的第二角度相關。
進一步而言,該第一重新導向的右側光訊號非為對應的該第一重新導向的左側光訊號的視差。本案中,右眼與左眼兩者自相同視角接收物體的影像,而不是透過傳統產生3D影像的右眼視角與左眼視角視差 的方法。
在另一實施例中,第一重新導向的右側光訊號及對應的該第一重新導向的左側光訊號於該使用者兩眼的視網膜上大致上具有相同的高度。
在另一實施例中,由該右側光訊號產生器產生的該複數個右側光訊號在進入該使用者的視網膜之前僅被反射一次,且由該左側光訊號產生器產生的該複數個左側光訊號在進入該使用者的視網膜之前僅被反射一次。
在一實施例,右側合併器接收並重新導向複數個右側光訊號朝向使用者的右視網膜以顯示物體的複數個右像素,左側合併器接收並重新導向複數個左側光訊號朝向該使用者的左視網膜以顯示物體的複數個左像素。在另一實施例中,右側合併器接收並重新導向複數個左側光訊號朝向使用者的右視網膜以顯示物體的複數個右像素,左側合併器接收並重新導向複數個右側光訊號朝向該使用者的左視網膜以顯示物體的複數個左像素。
在擴增實境(augmented reality/AR)或混合實境(mixed reality/MR)的應用上,右側合併器與左側合併器對環境光而言為透明。
另外在AR與MR的應用上,物體顯示系統更包含使用者頭部可穿戴的支撐結構。右側光訊號產生器、左側光訊號產生器、右側合併器、及左側合併器裝載於支撐結構。在一實施例中,該使用者頭部可穿戴的支撐結構為眼鏡。在此狀況下,支撐結構可為具有鏡片或不具鏡片的眼鏡。鏡片可為具有度數的鏡片,用以矯正近視、遠視...等。
在智慧型眼鏡的實施例中,右側光訊號產生器可裝載於鏡框的右鏡腿處而左側光訊號產生器可裝載於鏡框的左鏡腿處。此外,右側合併器可裝載於右鏡片而左側合併器可裝載於左鏡片。裝載方法有許多不同的實施方式。合併器可藉由可拆卸式或非可拆卸式手段接合或整合至鏡片。此外,合併器可與鏡片一體成型,該鏡片包含具度數的鏡片。
本案藉由視網膜掃描技術投射右側光訊號與左側光訊號至使用者的視網膜,不同於通常放置於相當接近使用者眼睛的近眼顯示。
本案的其他特徵或優勢將在以下的敘述有更明確的說明,該領域具有通常知識者亦可藉由實施本案進一步了解本案。本案的目的及優勢由本案說明書、權利範圍以及圖示中指出的構造及方法來表示。以下的描述皆為示例性,目的在於解釋權利的範圍。
10:右側光訊號產生器
110:左光學複製器
12:右側光訊號
12’:第一重新導向的右側光訊號
120:右光學複製器
130:左鏡腿
14:右側光訊號
14’:第一重新導向的右側光訊號
140:右鏡腿
16:右側光訊號
16’:第一重新導向的右側光訊號
20:右側合併器
200:屈光單元
210:外表面
220:內表面
30:左側光訊號產生器
300:合併器
310:外表面
32:左側光訊號
32’:左側光訊號
320:內表面
34:左側光訊號
34’:左側光訊號
36:左側光訊號
36’:左側光訊號
40:左側合併器
50:右眼
52:右瞳孔
54:右視網膜
60:左眼
62:左瞳孔
64:左視網膜
70:恐龍物件
710:步驟
720:步驟
72:第一虛擬雙目像素
730:步驟
74:第二虛擬雙目像素
740:步驟
80:右視網膜影像
82:右側合併器影像
84:右瞳孔影像
86:右視網膜影像
90:左視網膜影像
92:左側合併器影像
94:左瞳孔影像
96:右視網膜影像
A:區域
B:區域
C:區域
D1:第一景深
D2:第二景深
θ1:第一角度
圖1 為說明根據本發明的物體顯示系統實施例示意圖。
圖2 為說明根據本發明的虛擬雙目像素與對應的右像素及左像素對之間關係示意圖。
圖3 為說明根據本發明的自光訊號產生器至合併器,抵達使用者視網膜的光徑示意圖。
圖4 為說明根據本發明的右側光訊號及左側光訊號形成的虛擬雙目像素示意圖。
圖5 說明根據本發明實施例的查找表。
圖6 為說明根據本發明由各個不同的虛擬雙目像素顯示物體示意圖。
圖7 為說明根據本發明顯示物體過程的流程圖。
圖8 為說明根據本發明的光訊號產生器相對於合併器的位置示意圖。
圖9 為說明根據本發明實施例具有光學複製器的物體顯示系統的示意圖。
圖10 為說明根據本發明實施例的物體顯示系統的示意圖。
圖11 為說明根據本發明的整合合併器的示意圖。
圖12 為說明根據本發明的裝載於眼鏡的物體顯示系統示意圖。
圖13 為說明根據本發明的屈光單元及合併器的示意圖。
圖14A-I 為說明根據本發明顯示移動物體的示意圖。
本文中所使用的詞彙係用來描述本發明特定具體實施例中的細節,所有的詞彙應以最大的範疇做合理解讀。某些詞彙將在以下特別強調;任何限制性用語將由具體實施例中定義。
本發明涉及在空間中顯示一個具有景深的物體的系統與方法系統。由於物體的景深與使用者雙眼凝視的位置相同,因此可避免視覺輻輳調節衝突(vergence-accommodation conflict/VAC)及對焦競爭(focal rivalry)。在此所述的實施例涉及一種或多種方法、系統、裝置、及儲存有處理器可執行的步驟之電腦可讀取媒介以在空間中顯示一個具有景深的物體。物體顯示系統具有右側光訊號產生器、右側合併器、左側光訊號產生器、及左側合併器。右側光訊號產生器產生物體的複數個右側光訊號。右側合併器接收並重新導向複數個右側光訊號朝向使用者的一視網膜顯示物體的複數個右像素。左側光訊號產生器產生物體的複數個左側光訊號。左 側合併器接收並重新導向複數個左側光訊號朝向另一該使用者的視網膜以顯示物體的複數個左像素。此外,使用者感知第一重新導向的右側光訊號及對應的第一重新導向的左側光訊號以第一景深顯示該物體的第一虛擬雙目像素,第一景深與第一重新導向的右側光訊號及對應的第一重新導向的左側光訊號之間的第一角度相關。在一實施例中,第一景深係由第一重新導向的右側光訊號及對應的第一重新導向的左側光訊號光徑延伸之間的第一角度來決定。
使用者可以複數個景深感知物體的位置,除了物體的第一虛擬雙目像素外,該使用者感知第二重新導向的右側光訊號及對應的第二重新導向的左側光訊號以第二景深顯示物體的第二虛擬雙目像素,第二景深與第二重新導向的右側光訊號及對應的第二重新導向的左側光訊號之間的第二角度相關。
進一步而言,第一重新導向的右側光訊號非為對應的第一重新導向的左側光訊號的視差。右眼與左眼自相同的視角接收物體的影像,而不是自右眼視角與左眼視角各接收傳統上產生3D影像的視差。
在另一實施例中,第一重新導向的右側光訊號及對應的第一重新導向的左側光訊號於該使用者兩眼的該視網膜上大致上具有相同的高度。
在另一實施例中,由右側光訊號產生器產生的複數個右側光訊號在進入該使用者的視網膜之前僅被反射一次,且由左側光訊號產生器產生的複數個左側光訊號在進入該使用者的視網膜之前僅被反射一次。
在一實施例中,右側合併器接收並重新導向複數個右側光 訊號朝向使用者的右視網膜以顯示物體的複數個右像素,左側合併器接收並重新導向複數個左側光訊號朝向該使用者的左視網膜以顯示物體的複數個左像素。在另一實施例中,右側合併器接收並重新導向複數個左側光訊號朝向使用者的右視網膜以顯示物體的複數個右像素,而左側合併器接收並重新導向複數個右側光訊號朝向該使用者的左視網膜以顯示物體的複數個左像素。
在擴增實境(augmented reality/AR)或混合實境(mixed reality/MR)的應用中,右側合併器及左側合併器對環境光而言為透明的。
在AR及MR的應用中,物體顯示系統更包含支撐結構,該支撐結構可穿戴於使用者的頭部。右側光訊號產生器、左側光訊號產生器、右側合併器、及左側合併器裝載於支撐結構上。在實施例中,本案的系統為頭戴式裝置(head wearable device),尤指眼鏡。在此狀況中,支撐結構可為具有或非具有眼鏡鏡片的鏡框。鏡片可為具度數的鏡片,用以矯正近視或遠視...等。
在智慧型眼鏡的實施例中,右側光訊號產生器可裝載於鏡框的右鏡腿處而左側光訊號產生器可裝載於鏡框的左鏡腿處。此外,右側合併器可裝載於右鏡片而左側合併器可裝載於左鏡片。裝載方法有許多不同的實施方式。合併器可藉由可拆卸式或非可拆卸式手段貼合或整合至鏡片。此外,合併器可與鏡片一體成型,該鏡片包含具度數的鏡片。
如圖1所示,物體顯示系統包含右側光訊號產生器10用以產生複數個右側光訊號RLS(例如RLS_1的12,RLS_2的14以及RLS_3的16),右側合併器20用以接收並重新導向複數個右側光訊號12’、14’、及16’朝向 使用者的右視網膜54,左側光訊號產生器30用以產生複數個左側光訊號LLS(例如LLS_1的32,LLS_2的34,以及LLS_3的36),以及左側合併器40用以接收並重新導向複數個左側光訊號32’、34’、及36’朝向使用者的左視網膜64。使用者具有右眼50,並包含右瞳孔52及右視網膜54,而左眼60包含左瞳孔62及左視網膜64。一般而言,取決於環境光的強度,人類瞳孔的直徑介於2至8mm之間。在強光的環境下,成人正常瞳孔的直徑大小於2至4mm之間變動,而在黑暗處,成人正常瞳孔的直徑大小於4至8mm之間變動。複數個右側光訊號由右側合併器20重新導向,通過右瞳孔52,最終由右視網膜54接收。右側光訊號RLS_1為使用者的右眼50在一特定水平面上能看到最右側的光訊號。右側光訊號RLS_2為使用者的右眼50在一特定水平面上能看到最左側的光訊號。在接收重新導向的右側光訊號時,使用者可在由重新導向的右側光訊號RLS_1及RLS_2的延伸所定義的區域A中看見物體的複數個右像素。區域A可被稱為右眼50的視野(FOV)。相同的,複數個左側光訊號由左側合併器40重新導向,通過左瞳孔62,最終由左視網膜64接收。左側光訊號LLS_1為使用者的左眼60在一特定水平面上能看到最右側的光訊號。左側光訊號LLS_2為使用者的左眼在一特定水平面上能看到最左側的光訊號。在接收重新導向的左側光訊號時,使用者可在由重新導向的左側光訊號LLS_1及LLS_2的延伸所定義的區域B中看見物體的複數個左像素。區域B可被稱為左眼60的視野(FOV)。當複數個右像素及左像素於區域C中顯示(區域A及區域B重疊的區域),顯示一右像素的至少一右側光訊號與對應的顯示一左像素的左側光訊號融像以在區域C中顯示一個具有景深的虛擬雙目像素。該景深與重新導向的右側光訊號及重新導向的左 側光訊號的角度相關。該角度也被稱為會聚角(convergent angle)。
如圖1及2所示,在使用者前方的區域C中可見具有複數個景深的恐龍物件70虛擬影像。恐龍物件70的影像包含在第一景深D1顯示的第一虛擬雙目像素72以及在第二景深D2顯示的第二虛擬雙目像素74。第一重新導向的右側光訊號16’及對應的第一重新導向的左側光訊號36’之間的第一角度為θ1。第一景深D1與第一角度θ1相關。尤其,物體的第一虛擬雙目像素的第一景深D1可由第一重新導向的右側光訊號與對應的第一重新導向的左側光訊號的光徑延伸之間的第一角度θ1決定。藉此,第一虛擬雙目像素72的第一景深D1可由下列公式計算:
Figure 109141615-A0305-02-0012-1
右瞳孔52與左瞳孔62之間的距離為瞳距(interpupillary distance/IPD)。相同的,第二重新導向的右側光訊號18’與對應的第二重新導向的左側光訊號38’之間的第二角度為θ2。第二景深D2與第二角度θ2相關。尤其,物體的第二虛擬雙目像素的第二景深D2可由第二重新導向的右側光訊號與對應的第二重新導向的左側光訊號光徑延伸之間的第二角度θ2決定。使用者感受到第二虛擬雙目像素74比第一虛擬雙目像素72更遠離使用者(意即,具有較大的景深),第二角度θ2小於第一角度θ1。
更進一步的,雖然重新導向的RLS_3的右側光訊號16’及對應的重新導向的LLS_3的左側光訊號36’一起以第一景深D1顯示第一虛擬雙目像素72,RLS_3的重新導向的右側光訊號16’非為對應的LLS_3的重新導向的左側光訊號36’的視差。傳統上,由於右眼以不同於左眼的視角觀看物體,右眼接收的影像與左眼接收的影像之間的視差被用來讓使用者感受具 有景深的3D影像。然而,在本發明中,虛擬雙目像素的右側光訊號與對應的左側光訊號顯示相同視角的影像。因此,紅、藍、以及綠色(RBG)的光強度及/或右側光訊號與左側光訊號的亮度大致上相同。換句話說,右像素與對應的左像素大致上相同。然而,在另一實施例中,右側光訊號與左側光訊號的其中之一或兩者可被調整以呈現其他3D效果例如陰影。一般而言,在本發明中,右眼與左眼兩者自相同的視角接收物體的影像,而不是以傳統產生3D影像的方式各自從右眼視角與左眼視角的視差。如同以上所述,複數個右側光訊號由右側光訊號產生器10產生,由右側合併器20重新導向,並直接掃描至右視網膜以在右視網膜上形成右視網膜影像。同樣的,複數個左側光訊號由左側光訊號產生器30產生,由左側合併器40重新導向的,並直接掃描至左視網膜以在左視網膜上形成左視網膜影像。在一實施例,如圖2所示,右視網膜影像80包含36個右像素(6x6矩陣)而左視網膜影像90也包含36個左像素(6x6矩陣)。在另一實施例中,右視網膜影像80包含921,600右像素(1280x720矩陣)而左視網膜影像90也包含921,600左像素(1280x720矩陣)。物體顯示系統被配置以產生複數個右側光訊號與對應的複數個左側光訊號,其各自在右視網膜形成右視網膜影像及在左視網膜形成左視網膜影像。因此,由於影像融像的關係,使用者在區域C中可看到具有特定景深的虛擬雙目物體。
如圖2所示,來自右側光訊號產生器10的第一右側光訊號16被右側合併器20接收並反射。第一重新導向的右側光訊號16',通過右瞳孔52,到達該使用者的右視網膜以顯示右像素R34。來自左側光訊號產生器30的對應的左側光訊號36由左側合併器40接收並反射。第一重新導向的光 訊號36',通過左瞳孔62,到達該使用者的左視網膜以顯示左像素L33。由於影像融像,使用者可看見具有複數個景深的虛擬雙目物體,該景深是由相同物體的複數個重新導向的右側光訊號與對應的複數個重新導向的左側光訊號之間的角度決定。重新導向的右側光訊號與對應的左側光訊號之間的角度由右像素與左像素相對水平距離決定。因此,虛擬雙目像素的景深與形成虛擬雙目像素的右像素與對應的左像素之間的相對水平距離成反比。換句話說,虛擬雙目像素對使用者而言具有越深的景深,形成虛擬雙目像素的右像素及左像素之間X軸相對水平距離則越小。舉例而言,如圖2所示,第二虛擬雙目像素74對使用者而言相對於第一虛擬雙目像素72具有較深的景深(意即,離使用者較遠)。因此,視網膜上,第二右像素與第二左像素之間的水平距離小於第一右像素與第一左像素之間的水平距離。特別是,形成第二虛擬雙目像素的第二右像素R41與第二左像素L51之間的水平距離為4-像素的長度。然而,形成第一虛擬雙目像素的第一右像素R43與第一左像素L33之間的距離為6-像素的長度。
在如圖3的實施例中,其說明從光訊號產生器到視網膜的複數個右側光訊號及複數個左側光訊號的光徑。右側光產生器產生的複數個右側光訊號被投射至右側合併器20以形成右側合併器影像(RCI)82。這些複數個右側光訊號由右側合併器20重新導向的並會聚成小的右瞳孔影像(RPI)84以通過右瞳孔52,最終抵達右視網膜54以形成右視網膜影像(RRI)86。RCI、RPI、以及RRI包含ixj個像素。每一個右側光訊號RLS(i,j)通過相同的對應的像素自RCI(i,j)到RPI(i,j)並抵達RRI(x,y)。舉例來說,RLS(5,3)自RCI(5,3)到RPI(5,3)並抵達RRI(2,4)。相同的,左側光產生器30產 生的複數個左側光訊號被投射至左側合併器40以形成左側合併器影像(LCI)92。這些複數個左側光訊號由左側合併器40重新導向的並會聚成小的左瞳孔影像(LPI)94以通過左瞳孔62,最終抵達左視網膜64以形成右視網膜影像(LRI)96。LCI、LPI、及LRI的每一個包含ixj個像素。每一個左側光訊號LLS(i,j)通過相同的對應的像素自LCI(i,j)到LPI(i,j)並抵達LRI(x,y)。舉例來說,LLS(3,1)自LCI(3,1)到LPI(3,1)並抵達LRI(4,6)。像素(0,0)為每個影像最左上側的像素。視網膜影像中的像素相對於合併器影像中對應的像素為左右相反,上下顛倒。取決於光訊號產生器與合併器適當的相對位置與角度,每一個光訊號各自都具有從光訊號產生器到視網膜的光徑。在右視網膜顯示一個右像素的一個右側光訊號與對應的在左視網膜顯示左像素的左側光訊號結合形成具有特定景深的虛擬雙目像素。因此,在一空間中的虛擬雙目像素可由一對右像素及左像素或一對右側合併器20像素及左側合併器40像素表示。
使用者在區域C所見的虛擬物體包含複數個虛擬雙目像素。為了精準描述在空間中的虛擬雙目像素的位置,在空間中的每一個位置皆以三維(3D)座標表示,例如XYZ座標。其他實施例中,也可運用不同的3D座標系統。因此,每個虛擬雙目像素具有3D座標─水平方向、垂直方向、及景深方向。水平方向(或X軸方向)是沿著瞳間線(interpupillary line)的方向。垂直方向(或Y軸方向)係沿著顏面中線(facial mid line)並與水平方向呈垂直。景深方向(或Z軸方向)與額平面(frontal surface)正交,並與水平與垂直方向垂直。
圖4表示右側合併器影像中的像素,左側合併器影像中的像 素,以及虛擬雙目像素之間的關係。如上所述,右側合併器影像中的像素與右視網膜影像中的像素(右像素)有一對一的關係。左側合併器影像中的像素與左視網膜影像中的像素(左像素)有一對一的關係。然而,視網膜影像中的像素與合併器影像中對應的像素為左右相反,上下顛倒。對包含36(6x6)右像素的右視網膜影像與包含36(6x6)左像素的左視網膜影像而言,假設光訊號在使用者兩眼的FOV中,在區域C中一共有216(6x6x6)虛擬雙目像素(以點陣顯示)。一重新導向的右側光訊號光徑延伸與影像中同一排的每個重新導向的左側光訊號的光徑延伸相交。相同的,一重新導向的左側光訊號光徑延伸與影像中同一排的每個重新導向的右側光訊號的光徑延伸相交。因此,在一層中有36(6x6)個虛擬雙目像素,且在空間中共有6層。兩相鄰線之間通常具有小角度表示光徑延伸相交並形成虛擬雙目像素(雖然在圖4中被顯示為平行)。每個視網膜具有大致上相同高度的右像素與對應的左像素(意即,在同一排的右視網膜影像及左視網膜影像)最先相互融像。因此,在視網膜影像中同一排的右像素與左像素相互配對以形成虛擬雙目像素。
如圖5所示,利用查找表以方便找出每個虛擬雙目像素右像素及左像素對。舉例而言,216個虛擬雙目像素,以數字標號1到216,由36(6x6)個右像素及36(6x6)個左像素構成。第1(1st)虛擬雙目像素VBP(1)代表右像素RRI(1,1)與左像素LRI(1,1)對。第2(2nd)虛擬雙目像素VBP(2)代表右像素RRI(2,1)與左像素LRI(1,1)對。第7(7th)虛擬雙目像素VBP(7)代表右像素RRI(1,1)與左像素LRI(2,1)對。第37(37th)虛擬雙目像素VBP(37)代表右像素RRI(1,2)與左像素LRI(1,2)對。第216(216th)虛擬雙目像素VBP(216)代 表右像素RRI(6,6)與左像素LRI(6,6)對。因此,為了在空間中顯示物體的特定虛擬雙目像素,必須先決定哪個右像素及左像素對可用來產生對應的右側光訊號與左側光訊號。此外,查找表上每個排的虛擬雙目像素包含指引(pointer)指向儲存VBP景深(z)與VBP位置(x,y)的一記憶體位址。其他的資料,例如可儲存VBP比例大小、重疊物體的數量、以及連續景深...等的資料。比例大小可為特定VBP與標準VBP的比較的相對大小資料。舉例而言,當物體顯示在使用者前方一公尺以標準VBP顯示時,比例大小可設定為1。因此,在使用者前方90cm的特定VBP的比例大小可設為1.2。相同的,在使用者前方1.5m的特定VBP的比例大小可設為0.8。當物體自第一景深D1移動到第二景深D2時,比例大小可被用來判定顯示物體的大小。物體重疊數為多個物體互相重疊的數目(物體完全或部分被隱藏於另一物體之後)。景深順序提供各個重疊物體景深的順序資料。舉例而言,以3個物體相互重疊為例。在前方的第一物體的景深順序可被設為1,而隱藏於第一物體後的第二物體的景深順序可被設為2。當不同的物體移動時,物體重疊數與景深順序可被用來判定哪一個物體或哪一個部分需要被顯示。
如圖6所示,具複數個景深的虛擬物體,例如一隻恐龍,可藉由投射預先設定的右像素及左像素到使用者的視網膜而在區域C中顯示出。在一實施例,物體位置可藉由一參考位置來判定,而物體的視角藉由一旋轉角度來判定。如圖7所示,在步驟710,以一參考位置來創造物體影像。在一實施例中,物體影像可由2D或3D模組產生。參考位置可位於物體的重心。步驟720中,判定參考位置的虛擬雙目像素。透過參考位置的3D座標,設計者可以其數字直接判定,例如透過GUI軟體,一最接近虛擬 雙目像素,例如VBP(145)。在步驟730中,找出對應虛擬雙目像素的一對右像素及左像素。設計者可藉由查找表找出對應的右像素與左像素對。設計者也可預先決定的參考位置景深來計算會聚角度並找出對應的右像素與左像素,假設參考位置位於使用者雙眼之間的前方。設計者可在XY平面移動參考位置到預先設定的X與Y座標並找出最終對應的右像素與左像素。在步驟740中,投射右側光訊號與對應的左側光訊號以各別顯示右像素與對應的左像素以作為參考位置。當對應參考位置的虛擬雙目像素的右像素與左像素對被確定後,整個虛擬物體可藉由2D或3D模組資料顯示。
查找表由以下步驟產生。第一步驟,基於使用者的IPD取得個人虛擬地圖,該虛擬地圖是在初始化及校正過程中由系統產生,其定義使用者可看見具有景深的物體的區域C的邊界,使用者可看見具有景深的物體是由於右視網膜影像與左視網膜影像融像所造成。在第二步驟,計算Z軸方向的每個景深(Z-座標上的每個點)的會聚角度以在右視網膜影像與左視網膜影像各別找出右像素及左像素對無論X-座標與Y-座標位置。在第三步驟,沿著X軸方向移動右像素及左像素對以找出每個右像素及左像素對在特定景深的X-座標及Z-座標無論Y-座標位置。在第四步驟,沿著Y軸方向移動右像素及左像素對以判定每個右像素與左像素對的Y-座標。藉此,在右視網膜影像與左視網膜影像的每個右像素及左像素對的3D座標系統(如XYZ)可被判定來產生查找表。此外,第三步驟與第四步驟可被交換。
在另一實施例中,設計者可決定形成虛擬物體的每個必要虛擬雙目像素,然後藉由查找表找出每個對應的右像素與左像素對。右側 光訊號與左側光訊號可接著被產生。右視網膜影像與左視網膜影像具有相同視角。視差並未被使用來呈現3D影像。因此,可避免複雜及費時的電腦製圖計算。右視網膜影像與左視網膜影像上物體的相對位置決定使用者所感受到的景深。
光訊號產生器10與30在後續可被利用,發光二極體(“LED”,包含迷你與微型LED)、有機發光二極體(“OLED”)、或超發光二極體(super luminescent diode/“SLD”),液晶覆矽(LcoS)、液晶顯示(“LCD”)、或上述的組合可被運用做為光源。在一實施例中,光訊號產生器10及30為雷射光束掃描投影機(LBS投影機),其包含如紅光雷射、綠光雷射、與藍光雷射的光源,光色調節器(如雙向色合併器與偏光合併器),及二維(2D)可調整反射器(如2D機電系統(“MEMS”)鏡)。2D可調整反射器可由兩個一維(1D)反射器(如兩個1D MEMS鏡)取代。LBS投影機依序產生及掃瞄光訊號以形成具預先決定解析度的2D影像,例如每影格具有1280x720像素。因此,一次產生一個像素的一個光訊號並朝向合併器20與40一次投射一個像素。為了讓使用者可由單眼看見2D影像,LBS投影機必須在視覺暫留的時間內(例如1/18秒)依序產生每個像素的光訊號,例如1280x720光訊號。因此,每個光訊號的停留時間係約60.28奈秒。
在另一實施例中,光訊號產生器10與30可為數位光處理投影機(“DLP投影機”),其可一次產生一個2D彩色影像。德州儀器(Texas Instrument)的DLP技術是可生產DLP投影機的多種技術中的其中一種。整個2D彩色影像影格,例如可包含1280x720像素,係同時朝向合併器20與40投射。
合併器20與40接收並重新導向光訊號產生器10及30產生的複數個光訊號。在一實施例中,合併器20與40反射複數個光訊號讓重新導向的光訊號與入射光訊號在合併器20與40的同一側。在另一實施例中,合併器20與40折射複數個光訊號讓重新導向的光訊號與入射光訊號在合併器20與40的不同側。當合併器20與40具折射器的功能時,反射比例可具有相當大的變動,例如20%-80%,其部分取決於光訊號產生器的能力。該領域具有通常知識者可基於光訊號產生器與合併器的特性決定適當的反射比例。除此之外,在一實施例,合併器20與40的光訊號入射的相對面相對於環境光而言可為透明。基於不同的實施例,透明的程度可具有相當大的變動。在AR/MR的應用中,透明度較佳為50%,在其他實施例中75%則較佳。此外,為了重新導向光訊號,合併器20與40可會聚複數個光訊號以形成合併器影像使其可通過瞳孔並抵達使用者的視網膜。
合併器20與40可由玻璃或塑膠材質的鏡面構成,並塗布有特定材料(例如金屬)使其具部分透光或部分反射的特性。使用反射性合併器的優勢在於不使用先前技術中導光板來導向光訊號至使用者的眼睛,可以解決不佳的饒射效應,如複數個影子,顏色失真...等。合併器20與40可為全像合併器但不是較佳實施例因為饒射效應可造成複數個影子及RGB失真。在一些實施例,需要避免使用全像合併器。
在一實施例,合併器20與40具有橢球體表面。此外,光訊號產生器與使用者的眼睛位於橢球體的焦點。如圖8所示,右側合併器20具有橢球體表面,右側光訊號產生器10位於右側焦點且使用者右眼位於橢球體的左側焦點。同樣的,左側合併器40具有橢球體表面,左側光訊號產 生器30位於左側焦點且使用者左眼位於橢球體的右側焦點。基於橢球體的幾何特性,自一焦點投射到橢球體表面的所有光束會被反射至另一個焦點。在這樣的狀況下,自光訊號產生器投射到橢球體表面合併器的所有光束會被反射到使用者的眼睛。因此,在此實施例,FOV可被最大化,與橢球體表面相當。在另一實施例中,合併器20及40可具有平的表面並具有全像膜,其被配置以橢球體的方式來反射光。
物體顯示系統可右準直器及左準直器以收斂複數個光訊號的光束,例如導致移動的方向較與一方向對齊或讓光束的空間剖面更小。右準直器可被設置於右側光訊號產生器10與右側合併器20之間,而左準直器可被設置於左側光訊號產生器30與左側合併器40之間。準直器可為曲面鏡或鏡片。
如圖9所示,物體顯示系統可進一步包含右光學複製器(光學複製器)及左光學複製器。光學複製器可設置在光訊號產生器10與30及合併器20與40之間以複製入射光訊號。因此,光學複製器可產生複數個入射光訊號以擴大使用者眼箱(eye-box)。光學複製器可be光束分光鏡、偏光分光鏡、半鍍銀鏡(half-silvered mirrors)、部分反射鏡(partial reflective mirror)、雙向色棱鏡(dichroic mirrored prisms)、雙向色、或介電質光學塗佈層。光學複製器110及120可包含至少兩個光學元件以複製入射光訊號成為至少兩個物件。每個光學元件可為鏡片、反射器、部分反射鏡、菱鏡或上述的任何組合。
物體顯示系統可進一步包含控制單元,其包含所有必要的電路以控制右側光訊號產生器10與左側光訊號產生器30。控制單元提供電 子訊號至光訊號產生器以產生複數個光訊號。在一實施例中,右側光訊號產生器10與左側光訊號產生器30的位置及角度可調整右側光訊號與左側光訊號入射角與右側合併器20與左側合併器40接收位置。這樣的調整可由控制單元實現。控制單元可透過有線或無線機制與獨立的影像訊號提供者通訊。無線通訊包含4G與5G電信通訊、WiFi、藍芽、近距離通訊(near field communication)、及網路。控制單元可包含處理器、記憶體、輸入輸出介面(I/O interface),以與影像訊號提供者與使用者通訊。物體顯示系統更包含電源。該電源可為電池及/或可無線充電的原件。
至少有兩種安排光訊號產生器至使用者的視網膜的光徑的選項。上述的第一選項為右側光訊號產生器10產生右側光訊號,且右側光訊號由右側合併器20重新導向到右視網膜;左側光訊號產生器30產生左側光訊號,且左側光訊號由左側合併器40重新導向到左視網膜。如圖10所示,第二選項為右側光訊號產生器10產生右側光訊號,右側光訊號由左側合併器40重新導向到左視網膜;而左側光訊號產生器30產生左側光訊號,產生左側光訊號由右側合併器20重新導向到右視網膜。
在另一實施例中,如圖11所示,右側合併器20與左側合併器40可被整合成一整合合併器並對右側光訊號與左側光訊號具有特定曲率。在這個實施例的大合併器中,右側光訊號產生器10產生的右側光訊號被反射至左視網膜而左側光訊號產生器30產生的左側光訊號被反射至右視網膜。藉由延長合併器的寬度以產生相對較大的反射表面,雙目融像的FOV與區域C大小可增加。
物體顯示系統可包含使用者頭部可穿戴的支撐結構以裝載 右側光訊號產生器10、左側光訊號產生器30、右側合併器20、及左側合併器40。右側合併器20與左側合併器40位於使用者視野內。因此,在此實施例,物體顯示系統為頭戴式裝置(HWD)。尤其,如圖12所示,物體顯示系統可由眼鏡裝載,即智慧型眼鏡。在此狀況中,支撐結構可為具有鏡片或不具鏡片的眼鏡鏡框。鏡片可為具有度數的鏡片,用以矯正近視、遠視...等。右側光訊號產生器10可裝載於鏡框的右鏡腿140處而左側光訊號產生器30可裝載於鏡框的左鏡腿130處。右側合併器20可裝載於右鏡片而左側合併器40可裝載於左鏡片。裝載方法有許多不同的實施方式。合併器可藉由可拆卸式或非可拆卸式手段貼合或整合至鏡片。此外,合併器可與鏡片一體成型,該鏡片包含具度數的鏡片。當支撐結構不包含鏡片時,右側合併器20與左側合併器40可直接裝載於鏡架或鏡框。
上述物體顯示系統實施例的所有各種部件可被運用到HWD。因此,HWD,包含智慧型眼鏡,可進一步裝載其他物體顯示系統部件,例如控制單元,右準直器及左準直器。右準直器可位於右側光訊號產生器10與右側合併器20之間,左準直器或可位於左側光訊號產生器30與左側合併器40之間。此外,合併器可由光束分光鏡與會聚鏡片取代。光束分光鏡的功能在於反射光訊號,會聚鏡片的功能在於會聚光訊號使其通過瞳孔並抵達使用者的視網膜。
當物體顯示系統配置於智慧型眼鏡時,智慧型眼鏡鏡片可同時具有屈光特性用以校正使用者的視力與合併器的功能。智慧型眼鏡可具有度數的鏡片以校正近視使用者或遠視的使用者的視力。在這些狀況下,智慧型眼鏡每個鏡片可包含屈光單元及合併器。屈光單元與合併器可 以相通或不同的材質一體成型的製造。屈光單元與合併器可各別被製造成為兩個元件並組裝在一起。這兩個元件可相互接合,亦可拆卸,例如透過磁吸件,或可用永久性接合在一起。在上述的兩個狀況中,合併器被提供在鏡片靠近使用者眼睛的一側。如果鏡片為一體成型,合併器形成鏡片的內表面。如果鏡片具有兩個部件,合併器形成鏡片的內表面。合併器同時允許環境穿透及反射光訊號產生器產生的光訊號到使用者的眼睛以在真實的環境中形成虛擬影像。合併器被設計具有適當的曲率以反射並會聚所有來自光訊號產生器的光訊號進入瞳孔至眼睛的視網膜。
在一些實施例,屈光單元的一表面的曲率係基於使用者的屈光度數來決定。如果鏡片為一體成型,具屈光度數的曲率為鏡片的外表面。如果鏡片具有兩個部分,屈光單元形成鏡片的外部分。在此狀況下,屈光度數的曲率可為屈光單元的內表面或外表面。為了讓屈光單元與合併器更好的匹配,在一實施例,屈光單元可基於度數被分類為3組-超過+3.00(遠視),-3.0-+3.0之間,以及小餘-3.0(近視)。合併器可屈光單元的類別來設計。在另一實施例中,屈光單元可被分類成5組或10組,每個組具有更小的屈光度範圍。如圖13所示,屈光單元200外表面210用來提供具有屈光度數的曲率,屈光單元200內表面220可被設計成具有與合併器300外表面310相同的曲率。因此,屈光單元200可與合併器300更容易結合。舉例而言,屈光單元200內表面220與合併器300外表面310可為相同的球體或橢圓體表面。在另一實施例,當屈光單元200內表面220的曲率具有度數時,合併器300外表面310可設計為具有相同或相似屈光單元200內表面220的曲率使兩者易於結合。然而,當合併器300外表面310與屈光單元200內 表面220不具有相同曲率時,合併器300外表面310與屈光單元200內表面220可藉由力學機制如磁鐵、黏合材料或接合構件相互結合。另外也可以運用中介材料組裝屈光單元200與合併器300。或者,合併器300可塗布在鏡片的內表面320。
除了空間影格中的靜止虛擬物體外,物體顯示系統可顯示移動物體。當右側光訊號產生器10與左側光訊號產生器30可以高速度產生光訊號,例如30、60或更高影格/秒,由於視覺暫留,使用者可在影像中看見物體平順移動。以下將描述各種以顯示虛擬物體移動的實施例。圖14A-I各別說明物體移動的例1-9。在圖中顯示的右側合併器影像82與左側合併器影像92的物體並沒有精確的反應對應的右側光訊號與左側光訊號顯示的位置。此外,這些例子中將使用者的瞳孔間線的中間點作為XYZ座標系統的原點。更進一步的,RCI(10,10)與LCI(10,10)被設定為右側合併器影像與左側合併器影像的中間點。相同的,RRI(10,10)與LRI(10,10)被設定為右視網膜影像與左視網膜影像的中間點。(0,0)像素是每個影像最左上側的像素。
圖14A的例1說明虛擬物體在相同的景深平面上只在X軸方向移動(向右),從第一虛擬雙目像素到第二虛擬雙目像素。為達到此目的,右側光訊號與對應的左側光訊號在右側合併器影像與左側合併器影像的位置必須各別在X軸方向上以相同的距離(像素)向右移動。因此,右側光訊號與對應的左側光訊號各自在形成虛擬物體的右視網膜影像與左視網膜影像的位置在X軸方向上以相同的距離移向左側。換句話說,來自光訊號產生器的右側光訊號與對應的左側光訊號必須被投射在合併器影像上不同的X-座標位置。然而,由於虛擬物體的Y-座標與Z-座標(景深方向)維持不 變,右側光訊號與對應的左側光訊號被投射合併器影像上相同的位置(Y-座標andZ-座標)。舉例而言,當虛擬物體XYZ座標自(0,0,100)移動到(10,0,100),右側合併器影像上的右側光訊號自RCI(10,10)移動到RCI(12,10),而左側合併器影像上的左側光訊號自LCI(10,10)移動到LCI(12,10)。因此,右視網膜影像上的右側光訊號自RRI(10,10)移動到RRI(8,10),而左視網膜影像上的左側光訊號自LRI(10,10)移動到LRI(8,10)。
圖14B的例2說明虛擬物體在相同的景深平面上只在Y軸方向移動(向下),從第一虛擬雙目像素到第二虛擬雙目像素。為達到此目的,右側光訊號與對應的左側光訊號在右側合併器影像與左側合併器影像的位置必須各別在Y軸方向上以相同的距離(像素)向下移動。因此,右側光訊號與對應的左側光訊號各自在形成虛擬物體的右視網膜影像與左視網膜影像的位置在Y軸方向上以相同的距離移向上。換句話說,來自光訊號產生器的右側光訊號與對應的左側光訊號必須被投射在合併器影像上不同的Y-座標位置。然而,由於虛擬物體的X-座標與Z-座標(景深方向)維持不變,右側光訊號與對應的左側光訊號被投射合併器影像上相同的位置(X-座標andZ-座標)。舉例而言,當虛擬物體XYZ座標自(0,0,100)移動到(0,-10,100),右側合併器影像上的右側光訊號自RCI(10,10)移動到RCI(10,12),而左側合併器影像上的左側光訊號自LCI(10,10)移動到LCI(10,12)。因此,右視網膜影像上的右側光訊號自RRI(10,10)移動到RRI(10,8),而左視網膜影像上的左側光訊號自LRI(10,10)移動到LRI(10,8)。
圖14C的例3說明虛擬物體只在Z軸方向移動(朝向使用者), 因此從原來的景深平面到新的景深平面。為達到此目的,基於右側光訊號與對應的左側光訊號光徑延伸之間的會聚角度加大,右側光訊號與對應的左側光訊號在右側合併器影像與左側合併器影像的位置必須在X軸方向彼此靠近。因此,形成虛擬物體的右側光訊號與對應的左側光訊號在右視網膜影像與左視網膜影像的位置在X軸方向相互遠離。總體而論,當虛擬物體移動接近使用者,合併器影像中右側光訊號與對應的左側光訊號位置之間的相對距離減小,而視網膜影像中右側光訊號與對應的左側光訊號位置之間的相對距離增加。換句話說,來自光訊號產生器的右側光訊號與對應的左側光訊號必須投射在合併器影像上兩個不同X-座標位置使兩者彼此靠近。然而,由於虛擬物體Y-座標維持不變,右側光訊號與對應的左側光訊號被投射到合併器影像相同的Y-座標位置。舉例而言,當虛擬物體XYZ座標自(0,0,100)移動到(0,0,50),右側合併器影像上的右側光訊號自RCI(10,10)移動到RCI(5,10),而左側合併器影像上的左側光訊號自LCI(10,10)移動到LCI(15,10)。因此,右視網膜影像上的右側光訊號自RRI(10,10)移動到RRI(15,10),而左視網膜影像上的左側光訊號自LRI(10,10)移動到LRI(5,10)。
然而,為了移動虛擬物體使其接近使用者,虛擬物體的X-座標並不在瞳孔間線中間(中間點)(在一實施例中,X-座標=0),右側光訊號與對應的左側光訊號在右側合併器影像與左側合併器影像的各別位置必須基於一比例向彼此靠近。該比例是由右側光訊號在右側合併器影像的位置與其左側邊界(靠近雙眼的中間)之間的距離,與左側光訊號在左側合併器影像的位置與其右側邊界之間的距離(靠近雙眼的中間)相比。舉例而 言,假設右側光訊號在右側合併器影像的位置為離左側邊界10像素(靠近雙眼的中間),左側光訊號在左側合併器影像的位置為離右側邊界5像素(靠近雙眼的中間),右側位置到中間的距離與左側位置到中間的距離的比為2:1(10:5)。為了移動物體使其更靠進使用者,由於2:1比例的關係,如果右側合併器影像上右側位置與左側合併器影像上左側位置必須彼此靠近3像素的距離,右側位置必須朝向左側邊界移動2像素,而左側位置必須朝向右側移動1像素。
圖14D的例4說明虛擬物體在空間中相同的景深平面上在X軸方向(向右)與Y軸方向(向上)移動,從第一虛擬雙目像素到第二虛擬雙目像素。為達到此目的,右側光訊號與對應的左側光訊號在右側合併器影像與左側合併器影像的位置必須相對於原先的位置向右與向上移動。因此,右側光訊號與對應的左側光訊號各自在形成虛擬物體的右視網膜影像與左視網膜影像的位置相對於原先的位置向右與向上移動。換句話說,來自光訊號產生器的右側光訊號與對應的左側光訊號必須被投射在右側合併器影像與左側合併器影像較右上側的新位置,而右側光訊號與對應的左側光訊號光徑延伸之間的會聚角度維持不變。舉例而言,當虛擬物體XYZ座標自(0,0,100)移動到(10,10,100),右側光訊號在右側合併器影像自RCI(10,10)移動到RCI(12,8),而左側光訊號在左側合併器影像自LCI(10,10)移動到LCI(12,8)。因此,右側光訊號在右視網膜影像自RRI(10,10)移動到RRI(8,12),而左側光訊號在左視網膜影像自LRI(10,10)移動到LRI(8,12)。
圖14E的例5說明虛擬物體在空間中在Y軸方向(向下)與Z軸方向(接近使用者)移動,因此自原先的景深平面移動到新的景深平面。為 達到此目的,右側光訊號與對應的左側光訊號在右側合併器影像與左側合併器影像的位置必須在Y軸方向向下移動,並在X軸方向互相靠近移動,對應大會聚角。因此,右側光訊號與對應的左側光訊號各自在形成虛擬物體的右視網膜影像與左視網膜影像的位置必須在Y軸方向向上移動,並在X軸方向互相遠離移動。換句話說,來自光訊號產生器的右側光訊號與對應的左側光訊號必須投射在合併器影像不同Y-座標位置及兩個不同X-座標位置(互相靠近)。舉例而言,當虛擬物體XYZ座標自(0,0,100)移動到(0,-10,50),右側光訊號在右側合併器影像自RCI(10,10)移動到RCI(5,12),而左側光訊號在左側合併器影像自LCI(10,10)移動到LCI(15,12)。因此,右側光訊號在右視網膜影像自RRI(10,10)移動到RRI(15,8),而左側光訊號在左視網膜影像自LRI(10,10)移動到LRI(5,8)。
然而,由於虛擬物體X-座標維持不變而虛擬物體朝向使用者移動,右側合併器影像與左側合併器影像上右側光訊號與對應的左側光訊號的各別位置必須基於一比例向彼此靠近。該比例是由右側光訊號在右側合併器影像的位置與其左側邊界(靠近雙眼的中間)之間的距離,與左側光訊號在左側合併器影像的位置與其右側邊界之間的距離(靠近雙眼的中間)相比。舉例而言,(假設右側光訊號在右側合併器影像的位置為離左側邊界10像素(靠近雙眼的中間),左側光訊號在左側合併器影像的位置為離右側邊界5像素(靠近雙眼的中間),右側位置到中間的距離與左側位置到中間的距離的比為2:1(10:5)。為了移動物體使其更靠進使用者,由於2:1比例的關係,如果右側合併器影像上右側位置與左側合併器影像上左側位置必須彼此靠近3像素的距離,右側位置必須朝向左側邊界移動2像素,而左側 位置必須朝向右側移動1像素。
圖14F的例6說明虛擬物體在空間中在X軸方向(向右)與Z軸方向(接近使用者)移動,因此自原先的景深平面移動到新的景深平面。為達到此目的,右側光訊號與對應的左側光訊號在右側合併器影像與左側合併器影像的位置必須在X軸方向向右移動,並在X軸方向互相靠近移動,對應大會聚角。因此,右側光訊號與對應的左側光訊號各自在形成虛擬物體的右視網膜影像與左視網膜影像的位置必須在X軸方向向左移動,並在X軸方向互相遠離移動。換句話說,來自光訊號產生器的右側光訊號與對應的左側光訊號必須投射在合併器影像不同X-座標位置及兩個不同X-座標位置(向右並互相靠近)。由於虛擬物體Y-座標維持不變,右側光訊號與對應的左側光訊號被投射合併器影像相同的Y-座標位置。舉例而言,當虛擬物體XYZ座標自(0,0,100)移動至(10,0,50),右側合併器影像上的右側光訊號自RCI(10,10)移動至RCI(7,10),而左側合併器影像上的左側光訊號自LCI(10,10)移動至LCI(17,10)。因此,右視網膜影像上的右側光訊號自RRI(10,10)移動至RRI(13,10)而左視網膜影像上的左側光訊號自LRI(10,10)移動至LRI(3,10)。
圖14G的例7說明虛擬物體在空間中在X軸方向(向右),Y軸方向(向下),Z軸方向(接近使用者)移動,因此從原先的景深平面到新的景深平面。為達到此目的,右側光訊號與對應的左側光訊號在右側合併器影像與左側合併器影像的位置必須在X軸方向向右移動,在Y軸方向向下移動,在X軸方向互相靠近移動,對應大會聚角。因此,右側光訊號與對應的左側光訊號各自在形成虛擬物體的右視網膜影像與左視網膜影像的位置 必須在X軸方向向左移動,在Y軸方向向上移動,在X軸方向互相遠離移動。換句話說,來自光訊號產生器的右側光訊號與對應的左側光訊號必須投射在合併器影像兩個不同X-座標(向右並互相靠近)與不同Y-座標位置。舉例而言,當虛擬物體XYZ座標自(0,0,100)移動至(10,-10,50),右側合併器影像上的右側光訊號自RCI(10,10)移動至RCI(7,12),而左側合併器影像上的左側光訊號自LCI(10,10)移動至LCI(17,12)。因此,右視網膜影像上的右側光訊號自RRI(10,10)移動至RRI(13,8),而左視網膜影像上的左側光訊號自LRI(10,10)移動至LRI(3,8)。
圖14H所示的例8說明在Z軸方向移動虛擬物體的方法,該物體自景深1m移動到景深10m(遠離使用者),因此在空間中自原先的景深平面至新的景深平面。當區域C的空間包含足夠多數量的虛擬雙目像素,虛擬物體可經由許多中間虛擬雙目像素而平順的移動。換句話說,當右視網膜影像與左視網膜影像包含足夠多數量的右像素與左像素,使用者可在空間中看見大量的虛擬雙目像素。在圖14H中,以圓點代表的物體自景深1m的第一虛擬雙目像素移動至景深10m的第二虛擬雙目像素,中間經由不同的中間虛擬雙目像素。首先,景深1m的第一虛擬雙目像素的第一重新導向的右側光訊號與第一重新導向的左側光訊號光徑延伸之間的會聚角度為3.4度。
Figure 109141615-A0305-02-0031-28
。如果IPD=60mm,θ=3.4度。
第二,景深10m的第二虛擬雙目像素的第二重新導向的右側光訊號與第二重新導向的左側光訊號的光徑延伸之間的會聚角度為0.34 度。
Figure 109141615-A0305-02-0032-2
。如果IPD=60mm, θ=0.34度。
第三,計算中間虛擬雙目像素。中間虛擬雙目像素的數量可根據第一虛擬雙目像素與第二虛擬雙目像素會聚角的差異以及FOB每一度中X軸方向中像素的數量來計算。第一虛擬雙目像素會聚角度(3.4度)與第二虛擬雙目像素會聚角度(0.34度)之間的差異為3.06。FOB每一度中X軸方向中像素的數量為32,假設掃描的視網膜影像總寬度為1280像素,其視野(FOV)涵蓋40度。因此,當虛擬物體自景深1m的第一虛擬雙目像素移動到景深10m的第二虛擬雙目像素,在此之間有大約98個(32x3.06)虛擬雙目像素可用來顯示此移動。該些98個虛擬雙目像素可藉由上述的查找表找到。第四,在本實施例中,可藉由98個中間虛擬雙目像素顯示移動,如切分成98個小移動步驟。這些98個虛擬雙目像素右側光訊號與對應的左側光訊號各別由右側光訊號產生器10與左側光訊號產生器30產生並投射到使用者的右視網膜及左視網膜。因此,使用者可看見虛擬物體經由98個中間位置平順的自1m移動到10m。
圖14I的例9說明在Z軸方向將虛擬物體自景深1m移動到景深20cm(更接近使用者)的方法,因此在空間中自原先的景深平面至新的景深平面。當區域C的空間包含足夠多數量的虛擬雙目像素,虛擬物體可經由許多中間虛擬雙目像素而平順的移動。換句話說,當右視網膜影像與左視網膜影像包含足夠多數量的右像素與左像素,使用者可在空間中看見大量的虛擬雙目像素。(在圖14I中,以圓點代表的物體自景深1m的第一虛擬
雙目像素移動至景深20cm的第二虛擬雙目像素,中間經由不同的中間虛擬雙目像素。首先,景深1m的第一虛擬雙目像素的第一重新導向的右側光訊號與第一重新導向的左側光訊號光徑延伸之間的會聚角度為3.4度。)
Figure 109141615-A0305-02-0033-4
。If IPD=60mm,θ=3.4度。
第二,景深20cm的第二虛擬雙目像素的第二重新導向的右側光訊號與第二重新導向的左側光訊號的光徑延伸之間的會聚角度為17度。
Figure 109141615-A0305-02-0033-3
。If IPD=60mm,θ=17度。
第三,計算中間虛擬雙目像素。中間虛擬雙目像素的數量可根據第一虛擬雙目像素與第二虛擬雙目像素會聚角的差異以及FOB每一度中X軸方向中像素的數量來計算。第一虛擬雙目像素會聚角度(3.4度)與第二虛擬雙目像素會聚角度(17度)之間的差異為13.6。FOB每一度中X軸方向中像素的數量為32,假設掃描的視網膜影像總寬度為1280像素,其視野(FOV)涵蓋40度。因此,當虛擬物體自景深1m的第一虛擬雙目像素移動到景深20cm的第二虛擬雙目像素,在此之間有大約435個(32x13.6)虛擬雙目像素可用來顯示此移動。該些435個虛擬雙目像素可藉由上述的查找表找到。第四,在本實施例中,可藉由435個中間虛擬雙目像素顯示移動,如切分成435個小移動步驟。這些435個虛擬雙目像素右側光訊號與對應的左側光訊號各別由右側光訊號產生器10與左側光訊號產生器30產生並投射到使用者的右視網膜及左視網膜。因此,使用者可看見虛擬物體經由435個中間位置平順的自1m移動到20cm。
以上雖然闡述了本發明諸多技術特徵及優勢,但其揭露的 功能及細部結構皆為示例性說明。在不背離本發明的精神下,本發明申請專利範圍的權利範疇最大解讀方式涵蓋基於本說明書的教示而改變本發明形狀、大小、及部件的配置方式所得的改良。
以上的實施例係提供給該領域具有通常知識者可使用本案。該實施例的各種改良變化對該領域具有通常知識者而言可為顯而易見。在不涉及新的技術特徵的前提下,在此描述的技術思想與標的物可被運用至其他實施例。本案的請求的權利範圍不用來限制在此描述的實施例,且應該以最廣的範疇解讀。其他囊括在本案精神內的的實施例亦可被包含在本案中。本案請求的權利範圍亦涵蓋其他改良變化及均等物。
10:右側光訊號產生器
12:右側光訊號
12’:第一重新導向的右側光訊號
14:右側光訊號
14’:第一重新導向的右側光訊號
16:右側光訊號
16’:第一重新導向的右側光訊號
20:右側合併器
30:左側光訊號產生器
32:左側光訊號
32’:左側光訊號
34:左側光訊號
34’:左側光訊號
36:左側光訊號
36’:左側光訊號
40:左側合併器
50:右眼
52:右瞳孔
54:右視網膜
60:左眼
62:左瞳孔
64:左視網膜
70:恐龍物件
72:第一虛擬雙目像素
74:第二虛擬雙目像素
A:區域
B:區域
C:區域

Claims (41)

  1. 一種顯示一個具有景深的物體的系統,包含:一右側光訊號產生器,用以產生一物體的複數個右側光訊號,藉由一右側合併器重新導向該複數個右側光訊號以直接投射該複數右側光訊號至一使用者的一視網膜並在該視網膜上形成該物體的一視網膜影像;以及一左側光訊號產生器,用以產生該物體的複數個左側光訊號,藉由一左側合併器重新導向該複數個左側光訊號以直接投射該複數左側光訊號至該使用者的另一視網膜並在該另一視網膜上形成該物體的另一視網膜影像;其中,一第一重新導向的右側光訊號及對應的一第一重新導向的左側光訊號形成一右像素及左像素對,該右像素及左像素對對應該視網膜及該另一視網膜上的特定位置及一3D位置,使該使用者眼睛接收該右像素及左像素對時,感知一第一虛擬雙目像素於該3D位置,該3D位置包含一第一景深的資訊,其中,該3D位置與該第一重新導向的右側光訊號及對應的該第一重新導向的左側光訊號光徑延伸相交處相同,使該使用者凝視該第一虛擬雙目像素時,該第一虛擬雙目像素的該第一景深與該使用者雙眼凝視位置的深度相同。
  2. 如請求項1所述的系統,其中,該第一景深係由該第一重新導向的右側光訊號及對應的該第一重新導向的左側光訊號光徑延伸之間的一第一角度來決定。
  3. 如請求項1所述的系統,其中,該第一重新導向的右側光訊號及對應的該第一重新導向的左側光訊號於該使用者兩眼的該視網膜上大致上具有相同的高度。
  4. 如請求項1所述的系統,其中,該第一重新導向的右側光訊號與對應的該第一重新導向的左側光訊號具有大致相同的視角。
  5. 如請求項1所述的系統,其中,由該右側光訊號產生器產生的該複數個右側光訊號在進入該使用者的視網膜之前僅被反射一次,且由該左側光訊號產生器產生的該複數個左側光訊號在進入該使用者的視網膜之前僅被反射一次。
  6. 如請求項1所述的系統,其中,該右側光訊號產生器係一右側雷射光束掃描投影機(LBS投影機),且由該右側LBS投影機產生的該複數個右側光訊號進入該使用者的視網膜之前僅由該右側合併器反射一次,該左側光訊號產生器係一左側LBS投影機,且由該左側LBS投影機產生的該複數個左側光訊號進入該使用者的視網膜之前僅由該左側合併器反射一次。
  7. 如請求項1所述的系統,其中,該右側合併器及該左側合併器對環境光而言為透明。
  8. 如請求項1所述的系統,其中,該使用者感知一第二重新導向的右側光訊號及對應的一第二重新導向的左側光訊號以第二景深顯示該物體的一第二虛擬雙目像素,該第二景深與該第二重新導向的右側光訊號及對應的該第二重新導向的左側光訊號之間的一第二角度相關。
  9. 如請求項1所述的系統,其中,該右側合併器接收並重新導 向該複數個左側光訊號朝向該使用者的一右視網膜以顯示該物體的複數個右像素,而該左側合併器接收並重新導向該複數個右側光訊號朝向該使用者的一左視網膜以顯示該物體的複數個左像素。
  10. 如請求項1所述的系統,其中,該右側合併器及該左側合併器為橢圓體型,該右側光訊號產生器配置於該右側合併器的一焦點位置,而該左側光訊號產生器配置於該左側合併器的一焦點位置。
  11. 如請求項1所述的系統,其中,該右側光訊號產生器的一右投射角度可被調整以改變該複數個右側光訊號至該右側合併器的一入射角度,該左側光訊號產生器的一左側投射角度可被調整以改變該複數個左側光訊號至該左側合併器的一入射角度。
  12. 如請求項1所述的系統,更包含:一支撐結構,該支撐結構可被穿戴於該使用者的一頭部;其中,該右側光訊號產生器及該左側光訊號產生器裝載於該支撐結構;以及其中,該右側合併器及該左側合併器裝載於該支撐結構並配置於該使用者的一視野中。
  13. 如請求項12所述的系統,其中,該支撐結構係一眼鏡。
  14. 如請求項13所述的系統,其中,該眼鏡的一鏡片具有度數並裝載有該右側合併器或該左側合併器。
  15. 如請求項13所述的系統,其中,該眼鏡的一鏡片具有度數且該鏡片與該右側合併器或該左側合併器一體成型。
  16. 如請求項13所述的系統,其中,具有度數的一鏡片及該右 側合併器或該左側合併器可相互結合且可相互拆卸。
  17. 如請求項12所述的系統,其中,該右側合併器及該左側合併器一體成型成為一整合合併器。
  18. 如請求項1所述的系統,更包含:一控制單元,基於一查找表以各別控制該右側光訊號產生器及該左側光訊號產生器以產生對應不同3D座標及視網膜位置的右像素及左像素對。
  19. 如請求項18所述的系統,其中該查找表包含該第一虛擬雙目像素的該3D座標的一對一2D右像素座標及對應的一2D左像素座標。
  20. 如請求項18所述的系統,其中當XYZ座標被使用時,該第一虛擬雙目像素的一Z座標由一右像素X座標及一左像素X座標之間的一水平距離決定。
  21. 如請求項19所述的系統,其中該查找表更包含一虛擬雙目像素的一比例大小,一重疊物體的數量,以及/或一連續景深。
  22. 如請求項18所述的系統,其中該查找表係基於使用者的一瞳距來校正。
  23. 如請求項1所述的系統,其中該第一景深由該第一重新導向的右側光訊號及相對應的該第一重新導向的左側光訊號之間的相對水平距離來決定。
  24. 如請求項1所述的系統,其中該使用者於一第一時間在一第一預先設定的3D座標中感知該第一虛擬雙目像素,該第一預先設定的3D座標與該第一重新導向的右側光訊號及相對應的該第一重新導向的左側光 訊號之間的一第一角度相關,該使用者於一第二時間在一第二預先設定的3D座標中感知一第二虛擬雙目像素,該第二預先設定的3D座標與一第二重新導向的右側光訊號及相對應的一第二重新導向的左側光訊號之間的一第二角度相關。
  25. 如請求項24所述的系統,其中該第一虛擬雙目像素與該第二虛擬雙目像素顯示該物體大致上相同的部位,且該第一時間與該第二時間介於視覺暫留的期間內,使得該使用者感知該物體為移動中。
  26. 如請求項24所述的系統,其中該第一虛擬雙目像素與該第二虛擬雙目像素顯示該物體不同的部位,且該第一時間與該第二時間介於視覺暫留的期間內,使得該使用者在同時間感知該物體的不同部位。
  27. 如請求項24所述的系統,其中該使用者感知該第二虛擬雙目像素相較於該第一虛擬雙目像素更接近該使用者,該第二角度大於該第一角度,且該第二重新導向的右側光訊號及相對應的該第二重新導向的左側光訊號之間的一第二相對水平距離大於該第一重新導向的右側光訊號及相對應的該第一重新導向的左側光訊號之間的一第一相對水平距離。
  28. 如請求項1所述的系統,其中該第一右側光訊號投射至該使用者一視網膜的一預先設定的位置,而該第一左側光訊號同時投射至該使用者另一視網膜的一預先設定的位置。
  29. 一種顯示一個具有景深的物體的方法,包含:自一右側光訊號產生器產生一物體的複數個右側光訊號;重新導向該複數個右側光訊號至一使用者的一視網膜,並在該視網膜上形成該物體的一視網膜影像; 自一左側光訊號產生器產生該物體的複數個左側光訊號;重新導向該複數個左側光訊號至該使用者的另一視網膜,並在該另一視網膜上形成該物體的另一視網膜影像;其中,一第一重新導向的右側光訊號及對應的一第一重新導向的左側光訊號形成一右像素及左像素對,該右像素及左像素對對應該視網膜及該另一視網膜上的特定位置及一3D位置,使該使用者眼睛接收該右像素及左像素對時,感知一第一虛擬雙目像素於該3D位置,該3D座標包含一第一景深的資訊,其中,該3D位置與該第一重新導向的右側光訊號及對應的該第一重新導向的左側光訊號光徑延伸相交處相同,使該使用者凝視該第一虛擬雙目像素時該第一虛擬雙目像素的該第一景深與該使用者雙眼凝視位置的深度相同。
  30. 如請求項29所述的方法,其中,該第一景深係由該第一重新導向的右側光訊號及對應的該第一重新導向的左側光訊號光徑延伸之間的該第一角度來決定。
  31. 如請求項29所述的方法,其中,該第一重新導向的右側光訊號及對應的該第一重新導向的左側光訊號於該使用者兩眼的該視網膜上大致上具有相同的高度。
  32. 如請求項29所述的方法,其中,該第一重新導向的右側光訊號與對應的該第一重新導向的左側光訊號具有大致相同的視角。
  33. 如請求項29所述的方法,其中,由該右側光訊號產生器產生的該複數個右側光訊號在進入該使用者的視網膜之前僅被反射一次,且 由該左側光訊號產生器產生的該複數個左側光訊號在進入該使用者的視網膜之前僅被反射一次。
  34. 如請求項29所述的方法,其中,該右側光訊號產生器係一右側雷射光束掃描投影機(LBS投影機),且由該右側LBS投影機產生的該複數個右側光訊號進入該使用者的視網膜之前由一右側合併器反射,該左側光訊號產生器係一左側LBS投影機,且由該左側LBS投影機產生的該複數個左側光訊號進入該使用者的視網膜之前由一左側合併器反射。
  35. 如請求項34所述的方法,其中,該右側合併器及該左側合併器對環境光而言為透明。
  36. 如請求項34所述的方法,其中,該右側合併器接收並重新導向該複數個左側光訊號朝向該使用者的一右視網膜以顯示該物體的複數個右像素,而該左側合併器接收並重新導向該複數個右側光訊號朝向該使用者的一左視網膜以顯示該物體的複數個左像素。
  37. 如請求項34所述的方法,其中,該右側合併器及該左側合併器為橢圓體型,該右側光訊號產生器配置於該右側合併器的一焦點位置,而該左側光訊號產生器配置於該左側合併器的一焦點位置。
  38. 如請求項34所述的方法,其中,該右側光訊號產生器的一右投射角度可被調整以改變該複數個右側光訊號至該右側合併器的一入射角度,該左側光訊號產生器的一左側投射角度可被調整以改變該複數個左側光訊號至該左側合併器的一入射角度。
  39. 如請求項34所述的方法,其中:該右側光訊號產生器及該左側光訊號產生器裝載於一支撐結構,該支 撐結構可被穿戴於該使用者的一頭部;以及該右側合併器及該左側合併器裝載於該支撐結構並配置於該使用者的一視野中。
  40. 如請求項39所述的方法,其中,該支撐結構係一眼鏡,該眼鏡的一鏡片具有度數並裝載有該右側合併器或該左側合併器。
  41. 如請求項39所述的方法,其中,該右側合併器及該左側合併器一體成型成為一整合合併器。
TW109141615A 2020-02-19 2020-11-26 顯示一個具有景深的物體的系統與方法 TWI802826B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US202062978322P 2020-02-19 2020-02-19
US62/978,322 2020-02-19
US202063041740P 2020-06-19 2020-06-19
US63/041,740 2020-06-19
US202063085172P 2020-09-30 2020-09-30
US63/085,172 2020-09-30
PCT/US2020/059317 WO2021092314A1 (en) 2019-11-06 2020-11-06 System and method for displaying an object with depths
WOPCT/US2020/059317 2020-11-06

Publications (2)

Publication Number Publication Date
TW202136861A TW202136861A (zh) 2021-10-01
TWI802826B true TWI802826B (zh) 2023-05-21

Family

ID=79601273

Family Applications (2)

Application Number Title Priority Date Filing Date
TW109141615A TWI802826B (zh) 2020-02-19 2020-11-26 顯示一個具有景深的物體的系統與方法
TW112112456A TW202332965A (zh) 2020-02-19 2020-11-26 顯示一個具有景深的物體的系統

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW112112456A TW202332965A (zh) 2020-02-19 2020-11-26 顯示一個具有景深的物體的系統

Country Status (1)

Country Link
TW (2) TWI802826B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201716827A (zh) * 2015-09-02 2017-05-16 愛威願景有限公司 眼睛投影系統與方法
CN108427498A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的交互方法和装置
US20180252926A1 (en) * 2015-02-17 2018-09-06 Thalmic Labs Inc. Systems, devices, and methods for eyebox expansion in wearable heads-up displays
CN109073901A (zh) * 2016-04-10 2018-12-21 艾维赛特有限公司 双眼广视场(wfov)可穿戴光学显示系统
US20190187473A1 (en) * 2017-12-14 2019-06-20 Seiko Epson Corporation Head-mounted type display device and method of controlling head-mounted type display device
CN110168427A (zh) * 2016-11-15 2019-08-23 见真实三维股份有限公司 具有正确的单目深度线索的近眼顺序光场投影仪

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180252926A1 (en) * 2015-02-17 2018-09-06 Thalmic Labs Inc. Systems, devices, and methods for eyebox expansion in wearable heads-up displays
TW201716827A (zh) * 2015-09-02 2017-05-16 愛威願景有限公司 眼睛投影系統與方法
CN109073901A (zh) * 2016-04-10 2018-12-21 艾维赛特有限公司 双眼广视场(wfov)可穿戴光学显示系统
CN110168427A (zh) * 2016-11-15 2019-08-23 见真实三维股份有限公司 具有正确的单目深度线索的近眼顺序光场投影仪
CN108427498A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的交互方法和装置
US20190187473A1 (en) * 2017-12-14 2019-06-20 Seiko Epson Corporation Head-mounted type display device and method of controlling head-mounted type display device

Also Published As

Publication number Publication date
TW202332965A (zh) 2023-08-16
TW202136861A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
JP7228581B2 (ja) 透明発光型ディスプレイを有する接眼レンズを備える拡張現実ディスプレイ
US10663735B2 (en) Head-mounted display
CN107430277B (zh) 用于沉浸式虚拟现实的高级折射光学器件
JP6423945B2 (ja) 表示装置、およびプロジェクタを用いた表示方法
CN108919531B (zh) 基于液晶变焦透镜的ar显示系统
US10419731B2 (en) Virtual image generator
JP2023126616A (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
JP6246592B2 (ja) 画素レンズを有するコリメーティングディスプレイ
US20170188021A1 (en) Optical engine for creating wide-field of view fovea-based display
US20220311992A1 (en) System and method for displaying an object with depths
CN115516366A (zh) 扩大可视空间的影像显示系统及其方法
BR112013009855B1 (pt) Aparelho de exibição montado na cabeça
US11695913B1 (en) Mixed reality system
JP3453086B2 (ja) 三次元表示方法およびヘッドマウントディスプレイ装置
US11353711B1 (en) Wearable pupil-forming display apparatus
TWI802826B (zh) 顯示一個具有景深的物體的系統與方法
TWI717912B (zh) 頭戴式顯示裝置
CN116057450A (zh) 头戴式装置的光学系统
JP2019049724A (ja) 目用投影システム
US20220035168A1 (en) Optical system for a display device
TWI832308B (zh) 頭戴式裝置之光學系統
TWI837482B (zh) 擴大可視空間的影像顯示系統
US20230360567A1 (en) Virtual reality display system
WO2023219925A1 (en) Virtual reality display system
WO2023158742A1 (en) Display systems with waveguide configuration to mitigate rainbow effect