TW202107152A

TW202107152A - 頭戴式顯示器

Info

Publication number: TW202107152A
Application number: TW109127479A
Authority: TW
Inventors: 林詠真
Original assignee: 宏達國際電子股份有限公司
Priority date: 2019-08-13
Filing date: 2020-08-13
Publication date: 2021-02-16
Also published as: CN112394515A; CN112394515B; EP3779561A1; US11327318B2; TWI751647B; US20210048675A1

Abstract

本揭露提供一種包含腔室、光發射器、相機以及處理器的頭戴式顯示器（HMD）。腔室設置有透鏡和顯示器，其中透鏡塗布有反射層，且反射層具有至少一個特定位置。光發射器位於腔室的外部且將第一光線發射到反射層上的各特定位置，其中對於第i個特定位置而言，第一光線經第i個特定位置散射為多個第二光線，多個第二光線經目標眼睛散射為多個第三光線，且多個第三光線經反射層上的多個參考位置散射為多個第四光線。相機從反射層擷取多個第四光線作為對應於第i個特定位置的影像。處理器基於對應於各特定位置的影像而估計目標眼睛的眼睛姿態。

Description

頭戴式顯示器

本發明是有關於一種用於獲得眼睛姿態的裝置，且特別是有關於一種能夠獲得穿戴者的眼睛姿態的頭戴式顯示器（head-mounted display；HMD）。

見圖1A，其繪示常規眼球追蹤機制。在圖1A中，由於虛擬實境（virtual reality；VR）透鏡102的光圈的趨勢是變得越來越大以用於用戶的沉浸式感知，因此當目標眼睛199處於一些特定眼睛旋轉角度時，透鏡102的邊界處的直觀型（direct-view type）眼球追蹤器的相機106的位置變得越來越難以擷取眼睛特徵（例如，瞳孔）。舉例來說，當由穿戴者穿戴的HMD的腔室100（其可稱作VR管（VR tube））的顯示器104呈現具有圍繞視覺內容的上部邊界的一些物件的視覺內容時，穿戴者的目標眼睛199可能嘗試注視那些物件。在這種情況下，目標眼睛199可向上旋轉，使得設置於透鏡102的下部邊界附近的相機106無法取得具有瞳孔的眼睛影像，且因此不能恰當地執行相關的眼球追蹤機制。

見圖1B，其繪示熱鏡面型（hot-mirror type）眼球追蹤機制。在圖1B中，用於擷取目標眼睛199的眼睛影像的相機106設置於腔室100a的內部，其中腔室100a更設置有僅能夠反射紅外（infrared；IR）光的鏡面108。在這種情況下，HMD可設置有用於利用IR光來照明目標眼睛199的IR照明器，使得目標眼睛199可將IR光反射到鏡面108。當鏡面108接收由目標眼睛199反射的IR光時，鏡面108會將接收到的IR光進一步反射到相機106a以使相機106a擷取目標眼睛199的眼睛影像，使得可執行後續眼球追蹤機制。

然而，隨著腔室100a（即，VR管）的厚度的趨勢變得越薄（即，透鏡102與顯示器104之間的距離變得越短），鏡面108將越來越接近顯示器104，且因此相機106a的可見性也變得越來越小。

有鑑於此，本發明提出一種HMD，其可用於解決以上技術問題。

在一個實施例中，本揭露提供包含腔室、光發射器、相機以及處理器的頭戴式顯示器（HMD）。腔室設置有透鏡和顯示器，其中透鏡具有第一表面和第二表面，第一表面面向顯示器，第二表面塗布有反射層且面向穿戴者的目標眼睛，且反射層具有至少一個特定位置。光發射器位於腔室的外部且將第一光線發射到反射層上的每一特定位置，其中對於所述至少一特定位置中的第i個特定位置而言，所述第一光線經所述第i個特定位置散射為多個第二光線，所述多個第二光線經所述目標眼睛散射為多個第三光線，且所述多個第三光線經所述反射層上的多個參考位置散射為多個第四光線。相機位於腔室外部且從反射層擷取所述多個第四光線作為對應於所述第i個特定位置的影像。處理器與光發射器和相機耦合且基於對應於每一特定位置的影像而估計目標眼睛的眼睛姿態。

在另一實施例中，本揭露提供包含腔室、參考光源、至少一個光發射器、相機以及處理器的頭戴式顯示器（HMD）。腔室設置有透鏡和顯示器，其中透鏡具有第一表面和第二表面，第一表面面向顯示器，且第二表面塗布有反射層且面向穿戴者的目標眼睛。參考光源位於腔室外部且將參考光發射到反射層。至少一個光發射器位於所述腔室的外部且序列地將第一光線發射到所述目標眼睛，其中對於所述至少一光發射器的第j個光發射器而言，所述目標眼睛將對應於所述第j個光發射器的所述第一光線散射為多個第二光散射到所述反射層，對應於每一光發射器的所述第一光線與所述參考光為時間上同調，且對應於所述第j個光發射器的所述多個第二光與所述參考光干涉為對應於所述第j個光發射器的干涉圖案。相機位於腔室的外部且擷取對應於每一光發射器的干涉圖案。處理器與參考光源、至少一個光發射器以及相機耦合且基於對應於每一光發射器的干涉圖案而估計目標眼睛的眼睛姿態。

見圖2，其繪示根據本揭露的第一實施例的HMD的示意圖。在圖2中，HMD 200包含腔室210、光發射器220、相機230以及處理器240。腔室210設置有透鏡211和顯示器212，其中透鏡211具有第一表面211a和第二表面211b。

在一個實施例中，顯示器212可用於提供視覺內容（例如，VR內容），且視覺內容可透過透鏡211傳播到HMD 200的穿戴者的目標眼睛299。也就是說，目標眼睛299可透過透鏡211看見視覺內容。

在本揭露的一個實施例中，第一表面211a面向顯示器212，第二表面211b塗布有反射層213且面向目標眼睛299。

光發射器220位於腔室210外部且將第一光線L1發射到反射層213。在一個實施例中，反射層213可具有至少一個特定位置，且光發射器220可設計成將第一光線L1發射到反射層213上的每一特定位置。

從另一觀點而言，圖2可視為繪示光發射器220將第一光線L1發射到反射層213上的一個特定位置（表示為v）的情形，但本揭露不限於此。

在一個實施例中，反射層213可包含N個特定位置及多個參考位置。在一實施例中, 所述N個特定位置可分別表示為v1、v2、…、vN，且圖2中的特定位置v可理解為N個特定位置中的一個，但本揭露不限於此。此外，圖2所示的參考位置k可理解為上述參考位置的其中之一，但本揭露可不限於此。

在一個實施例中，第一光線L1可以是具有波長分布的不可見窄帶光（例如，IR光），且反射層213可設計成僅散射具有位於上述波長分布的特定波長的光，例如，第一光線L1。

在一個實施例中，在第一光線L1到達反射層213上的第i個（

）特定位置（例如特定位置v）之後，第一光線L1可經所述第i個特定位置散射為多個第二光線，所述多個第二光線可經目標眼睛299散射為多個第三光線，而所述多個第三光線可經反射層213上的上述參考位置而散射為多個第四光線。

以圖2為例，第一光線L1可視為由反射層213上的特定位置v散射為多個第二光線L2（圖2中僅簡示出所述多個第二光線L2的其中之一）。對應於特定位置v的第二光線L2可視為由目標眼睛299上的多個眼睛位置p（圖2中僅簡示出所述多個眼睛位置p的其中之一）散射為多個第三光線L3（圖2中僅簡示出所述多個第三光線L3的其中之一）。對應於特定位置v的所述多個第三光線L3可視為由反射層213上的上述參考位置散射為對應於特定位置v的多個第四光線L4（圖2中僅簡示出所述多個第四光線L4的其中之一），但本揭露不限於此。

在一個實施例中，由位置k處的第三光線L3所產生的輻射（radiance）可模型化為：

，其中f表示點p處的雙向反射分布函數（bidirectional reflectance distribution function；BRDF），L(v)是特定位置v處的輻射，L(k)是參考位置k處的輻射，n_x 是在眼睛位置p處的入射表面的表面法線，dS_p 是在眼睛位置p附近的微分表面元素，r_pv 是從點特定位置v到眼睛位置p的距離，且眼睛位置p處的BRDF編碼目標眼睛299的資訊。L(k)的以上公式的細節可參考「W. Chen, S. Daneau, C. Brosseau and F. Heide, "Steady-State Non-Line-Of-Sight Imaging," 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2019, pp. 6783-6792, doi: 10.1109/CVPR.2019.00695」（下文中稱作「文獻D1」），本文中將不重複所述細節。

在一個實施例中，相機230可位於腔室210的外部且僅能夠偵測具有特定波長的光（例如，第四光線L4）。在這種情況下，相機230可將所述多個第四光線L4擷取為對應於所述第i個特定位置的影像。

在一個實施例中，在對應於所述第i個特定位置的影像上的像素q上的輻射可模型化為：

，且其細節也可參考文獻D1，本文中將並不重複所述細節。

基於類似原理，相機230可擷取對應於各特定位置的影像。也就是說，相機230可擷取分別對應於N個特定位置（即，v1到vN）的N個影像（表示為

…、

），但本揭露不限於此。

隨後，與光發射器220和相機230耦合的處理器240可基於對應於每一特定位置的影像而估計目標眼睛299的眼睛姿態。也就是說，處理器240可基於N個影像（即，

…、

）而估計目標眼睛299的眼睛姿態。

在一個實施例中，處理器240可將對應於每一特定位置的影像輸入到特徵提取模型。也就是說，處理器240可將

…、

輸入到特徵提取模型。對應地，特徵提取模型可從對應於每一特定位置的影像提取目標眼睛299的多個3D眼睛特徵。

在一個實施例中，

…、

可理解為來自特定位置v上的不同入射光線的目標眼睛299的一系列已編碼多視圖影像。在這種情況下，特徵提取模型可包含編碼器解碼器（encoder-decoder）卷積神經網路，所述編碼器解碼器卷積神經網路經過預訓練以學習從

…、

（即，已編碼多視圖影像）提取目標眼睛299內的3D眼睛特徵，但本揭露不限於此。

在一個實施例中，從上述影像中提取的3D眼睛特徵可表徵為張量，而表徵提取自

…、

的上述3D眼睛特徵的輸出張量的維度可以是W×H×C，其中W可以是

的寬度且H可以是

的高度。在一個實施例中，C可以是特徵索引的預定數目，其也可視為張量的通道的數目。也就是說，上述張量可視為包含C個通道，其中這些通道一對一地對應於3D眼睛特徵，且每一通道是W×H矩陣。在一個實施例中，第i個通道指示與第i個眼睛特徵相對應的深度圖，其中通道中此矩陣元素的值表示在定義範圍內的深度步長（depth step）。

隨後，處理器240可基於3D眼睛特徵以及3D至2D匹配技術（例如透視n點（PNP））而獲得目標眼睛299的眼睛姿態。在一個實施例中，處理器240可基於3D眼睛特徵而重建目標眼睛299的3D眼睛結構，且處理器240可使用姿態估計器來基於重建3D眼睛結構而估計目標眼睛299的眼睛姿態。在一些實施例中，姿態估計器可經過預訓練以基於重建眼睛結構而輸出估計眼睛姿態，但本揭露不限於此。

在一個實施例中，處理器240可基於目標眼睛299的眼睛姿態而進一步獲得目標眼睛299的凝視方向，使得可恰當地執行眼球追蹤機制。

另外，HMD 200可包含如圖2中所繪示的另一腔室，其中上文中的教示可用於獲得穿戴者的另一目標眼睛的眼睛姿態，且本文中將不重複細節。

見圖3A和圖3B，其中圖3A是根據本揭露的第二實施例的HMD的示意圖，且圖3B是圖3A中的腔室的正視圖。在第二實施例中，HMD 300包含腔室310、參考光源320、光發射器351到光發射器358、相機330以及處理器340。類似於圖2中的結構，腔室310設置有透鏡311和顯示器312，其中透鏡311具有第一表面311a和第二表面311b。第一表面311a面向顯示器312，且第二表面311b塗布有反射層313且面向HMD 300的穿戴者的目標眼睛399。

參考光源320位於腔室310的外部且將參考光RL發射到反射層313。在一個實施例中，參考光RL可以是IR光，但本揭露不限於此。

光發射器351到光發射器358位於腔室310的外部且序列地將第一光線L11發射到目標眼睛399，其中對應於每一光發射器351到光發射器358的第一光線L11與參考光RL在時間上同調（temporally coherent）。在一個實施例中，第一光線L11可以是具有波長分布的不可見窄帶光（例如，IR光），且反射層313可設計成僅散射具有位於上述波長分布內的特定波長的光，例如，第一光線L11。

在圖3B中，光發射器351到光發射器358可圍繞透鏡311設置，但本揭露不限於此。在另一實施例中，每一光發射器的數目和位置可基於設計者的需求而調整。舉例來說，光發射器的數目可更多或更少，且每一光發射器的位置可改變，只要由每一光發射器發射的第一光線L11可到達目標眼睛399即可，但本揭露不限於此。應注意，為簡化說明，圖3A中僅繪示光發射器351，但本揭露不限於此。

在一個實施例中，對於第j個（j介於1及光發射器351-358的總數之間）光發射器而言，目標眼睛399可將對應於所述第j個光發射器的第一光線散射為多個第二光線L21到反射層313。舉例來說，在圖3A中，目標眼睛399可將對應於光發射器351的第一光線L11散射為第二光線L21到反射層313（其中圖3A中僅簡示所述多個第二光線L21的其中之一）。對於其它光發射器352到光發射器358，與其對應的第一光線L11也將由目標眼睛399散射到反射層313。

在這種情況下，對應於每一光發射器351到光發射器358的第二光線將與參考光RL干涉作為對應於每一光發射器351到光發射器358的干涉圖案。舉例來說，在圖3A中，對應於光發射器351的第二光線L21將與參考光RL干涉作為對應於光發射器351的干涉圖案

。因此，在光發射器351到光發射器358順序地發射第一光線L11之後，將存在可在反射層313上觀際察到的八個（即，光發射器351到光發射器358的數目）干涉圖案（稱作

到

）。

隨後，相機330可位於腔室310的外部且僅能夠偵測具有特定波長的光。在這種情況下，相機330可擷取對應於每一光發射器351到光發射器358的干涉圖案。也就是說，在圖3A和圖3B的情境中，相機330可擷取

到

。

然後，與參考光源320、光發射器351到光發射器358以及相機330耦合的處理器340可基於對應於每一光發射器351到光發射器358的干涉圖案而估計目標眼睛399的眼睛姿態。也就是說，處理器340可基於

到

而估計目標眼睛399的眼睛姿態

在一個實施例中，處理器340可將對應於每一光發射器351到光發射器358的干涉圖案輸入到特徵提取模型。也就是說，處理器340可將

到

輸入到特徵提取模型。對應地，特徵提取模型可從對應於每一光發射器351到光發射器358的干涉圖案提取目標眼睛399的多個3D眼睛特徵。

在一個實施例中，

可理解為目標眼睛399的已編碼多視圖影像。在這種情況下，特徵提取模型可包含編碼器解碼器卷積神經網路，所述編碼器解碼器卷積神經網路經過預訓練以學習從

（即，已編碼多視圖影像）提取目標眼睛399內的3D眼睛特徵，但本揭露不限於此。在一個實施例中，從干涉圖案中的一個提取的3D眼睛特徵可表徵為張量，且其細節可參考第一實施例中的教示，本文中將不重複所述細節。

隨後，處理器340可基於3D眼睛特徵而獲得目標眼睛399的眼睛姿態。在一個實施例中，處理器340可基於輸入干涉影像而重建目標眼睛399的3D眼睛結構，且處理器340可使用姿態估計器來基於重建3D眼睛結構而估計目標眼睛399的眼睛姿態。在一些實施例中，姿態估計器可經過預訓練以基於重建眼睛結構而輸出估計眼睛姿態，但本揭露不限於此。

在一個實施例中，處理器340可基於目標眼睛399的眼睛姿態而進一步獲得目標眼睛399的凝視方向，使得可恰當地執行眼球追蹤機制。

另外，HMD 300可包含如圖3A中所繪示的另一腔室，其中上文中的教示可用於獲得穿戴者的另一目標眼睛的眼睛姿態，且本文中將不重複細節。

綜上所述，本揭露提供兩個HMD結構，其中反射層塗布在面向穿戴者的目標眼睛的透鏡表面上。在此情況下，當由光發射器發射的光到達目標眼睛時，目標眼睛的資訊可編碼為由目標眼睛反射或散射的光，且因此可對應地獲得目標眼睛的眼睛姿態。因此，兩個提出的HMD結構可用於以新穎方式執行眼球追蹤機制，使得眼球追蹤機制將不受具有小厚度的腔室限制或不受其中目標眼睛執行極端旋轉的情形（例如，注視視覺內容的邊界處的物件）限制。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100,100a,210,310:腔室 102:透鏡 104,212,312:顯示器 106,106a,230,330:相機 108:鏡面 199,299,399:目標眼睛 200,300:HMD 211,311:透鏡 211a,311a:第一表面 211b,311b:第二表面 213,313:反射層 220,351,352,353,354,355,356,357,358:光發射器 240,340:處理器 320:參考光源 k:參考位置 L1,L11:第一光線 L2,L21:第二光線 L3:第三光線 L4:第四光線 p:眼睛位置

:干涉圖案 RL:參考光 v:特定位置

圖1A繪示常規眼球追蹤機制。圖1B繪示熱鏡面型眼球追蹤機制。圖2繪示根據本揭露的第一實施例的HMD的示意圖。圖3A是根據本揭露的第二實施例的HMD的示意圖。圖3B是圖3A中的腔室的正視圖。

210:腔室

212:顯示器

230:相機

299:目標眼睛

200:HMD

211:透鏡

211a:第一表面

211b:第二表面

213:反射層

220:光發射器

240:處理器

k:參考位置

L1:第一光線

L2:第二光線

L3:第三光線

L4:第四光線

p:眼睛位置

v:特定位置

Claims

一種頭戴式顯示器，包括：腔室，設置有透鏡和顯示器，其中所述透鏡具有第一表面和第二表面，所述第一表面面向所述顯示器，所述第二表面塗布有反射層且面向穿戴者的目標眼睛，且所述反射層具有至少一個特定位置；光發射器，位於所述腔室的外部且將第一光線發射到所述反射層上的每一特定位置，其中對於所述至少一特定位置中的第i個特定位置而言，所述第一光線經所述第i個特定位置散射為多個第二光線，所述多個第二光線經所述目標眼睛散射為多個第三光線，且所述多個第三光線經所述反射層上的多個參考位置散射為多個第四光線；相機，位於所述腔室的外部且從所述反射層擷取所述多個第四光線作為對應於所述第i個特定位置的影像；以及處理器，與所述光發射器和所述相機耦合且基於對應於每一特定位置的所述影像而估計所述目標眼睛的眼睛姿態。
如請求項1所述的頭戴式顯示器，其中所述顯示器用於提供視覺內容，其中所述視覺內容透過所述透鏡傳播到所述目標眼睛。
如請求項1所述的頭戴式顯示器，其中所述第一光線具有波長分布，所述反射層僅散射位於所述波長分布內的特定波長的光，且所述相機僅擷取具有所述特定波長的光。
如請求項1所述的頭戴式顯示器，其中所述處理器經配置以：將對應於每一特定位置的所述影像輸入到特徵提取模型，其中所述特徵提取模型從對應於每一特定位置的所述影像提取所述目標眼睛的多個3D眼睛特徵；以及基於所述3D眼睛特徵而獲得所述目標眼睛的所述眼睛姿態。
如請求項4所述的頭戴式顯示器，其中所述特徵提取模型包括編碼器解碼器卷積神經網路。
如請求項1所述的頭戴式顯示器，其中所述第一光線是不可見光。
如請求項1所述的頭戴式顯示器，其中所述處理器基於所述目標眼睛的所述眼睛姿態而進一步獲得所述目標眼睛的凝視方向。
一種頭戴式顯示器，包括：腔室，設置有透鏡和顯示器，其中所述透鏡具有第一表面和第二表面，所述第一表面面向所述顯示器，且所述第二表面塗布有反射層且面向穿戴者的目標眼睛；參考光源，位於所述腔室的外部且將參考光發射到所述反射層；至少一個光發射器，位於所述腔室的外部且序列地將第一光線發射到所述目標眼睛，其中對於所述至少一光發射器的第j個光發射器而言，所述目標眼睛將對應於所述第j個光發射器的所述第一光線散射為多個第二光散射到所述反射層，對應於每一光發射器的所述第一光線與所述參考光為時間上同調，且對應於所述第j個光發射器的所述多個第二光與所述參考光干涉為對應於所述第j個光發射器的干涉圖案；相機，位於所述腔室的外部且擷取對應於每一光發射器的所述干涉圖案；以及處理器，與所述參考光源、所述至少一個光發射器以及所述相機耦合且基於對應於每一光發射器的所述干涉圖案而估計所述目標眼睛的眼睛姿態。
如請求項8所述的頭戴式顯示器，其中所述顯示器用於提供視覺內容，其中所述視覺內容透過所述透鏡傳播到所述目標眼睛。
如請求項8所述的頭戴式顯示器，其中所述第一光線具有波長分布，所述反射層僅散射具有位於所述波長分布內的特定波長的光，且所述相機僅擷取具有所述特定波長的光。
如請求項8所述的頭戴式顯示器，其中所述處理器經配置以：將對應於每一光發射器的所述干涉圖案輸入到特徵提取模型，其中所述特徵提取模型從對應於每一光發射器的所述干涉圖案提取所述目標眼睛的多個3D眼睛特徵；以及基於所述3D眼睛特徵而獲得所述目標眼睛的所述眼睛姿態。
如請求項11所述的頭戴式顯示器，其中所述特徵提取模型包括編碼器解碼器卷積神經網路。
如請求項8所述的頭戴式顯示器，其中所述至少一個光發射器圍繞所述透鏡設置。
如請求項8所述的頭戴式顯示器，其中所述第一光線是不可見光。
如請求項8所述的頭戴式顯示器，其中所述處理器基於所述目標眼睛的所述眼睛姿態而進一步獲得所述目標眼睛的凝視方向。