TWI725802B - 頭戴式顯示裝置 - Google Patents

Abstract

頭戴式顯示裝置包括管體、第一光束產生器、第二光束產生器、影像擷取器以及控制器。第一光束產生器設置在管體外，投射多個第一光束至目標區的第一範圍。第二光束產生器設置在管體內，投射第二光束至目標區的第二範圍。影像擷取器擷取目標區上的影像以產生影像資訊。控制器接收影像資訊，並依據影像資訊以進行眼球追蹤動作。其中第二範圍為目標區的中心範圍，第一範圍為目標區的周圍範圍。

Description

頭戴式顯示裝置

本發明是有關於一種頭戴式顯示裝置，且特別是有關於一種可提升眼球追蹤準確度的頭戴式顯示裝置。

隨著電子科技的進步，可提供高維度顯示能力的頭戴式顯示裝置成為一種新的趨勢。頭戴式顯示裝置可提供虛擬實境、擴增實境以及混合實境等多種視覺體驗，在多種領域的應用上，都有革命性的貢獻。

在頭戴式顯示裝置的技術領域中，針對使用者的眼球狀態進行追蹤，是一個重要的課題。在習知技術領域中，可透過發光二極體投射光束至眼球上，並透過眼球上反射的光點，來執行眼球的追蹤動作。

基於每個使用者頭型的不相同，當配戴頭戴式顯示裝置時，使用者的眼球與頭戴式顯示裝置的成像透鏡間的距離可能有所不同。在這樣的情況下，當使用者的眼球過度靠近頭戴式顯示裝置的成像透鏡時，作為眼球追蹤的發光二極體所投射的光束，可能只能有效的照射到眼球的部分範圍。如此一來，在部分範圍 未能有效被光束照射到的情況下，所進行的眼球追蹤動作的準確度可能大打折扣，降低頭戴式顯示裝置的使用效能。

本發明提供一種頭戴式顯示裝置，可提升眼球追蹤的準確度。

本發明的頭戴式顯示裝置包括管體、第一光束產生器、第二光束產生器、影像擷取器以及控制器。第一光束產生器設置在管體外，投射多個第一光束至目標區的第一範圍。第二光束產生器設置在管體內，投射第二光束至目標區的第二範圍。影像擷取器擷取目標區上的影像以產生影像資訊。控制器接收影像資訊，並依據影像資訊以進行眼球追蹤動作。其中第二範圍為目標區的中心範圍，第一範圍為目標區的周圍範圍。

基於上述，本發明的頭戴式顯示裝置透過分別設置在管體外以及內的不同的光束產生器，並藉以投射光束至目標區的周圍範圍以及中心範圍。在當目標區過度接近管體時，第二光束產生器可透過投射第二光束至目標區的中心範圍以補足目標區的中心範圍所產生的光點的亮度，可提升眼球追蹤的準確度。

100、200:頭戴式顯示裝置

110:管體

120:控制器

130、230:透鏡

140:顯示面板

150:反射鏡

A1、A2、CL1~CL3:連線

A3:切線

B11、B12、B2:光束

C:光心

C1:影像擷取器

D_L、D_S、D_C、D₁~D₄:距離

EYE:眼球

I1、I3:子亮度

I2:平均亮度

IF、IF1~IF4:影像資訊

L₁₁*、L₁₂*、L₂*:光點影像

L₁₁’、L₁₂’、L₂’:位置

LE1、LE11、LE12、LE2:光束產生器

O:球心

PA:屏幕

R:曲率半徑

R11、R12、R1:周圍範圍

R2:中心範圍

RA11、RA12:子範圍

S410~S460、S610~S660:步驟

TG:目標區

圖1繪示本發明一實施例的頭戴式顯示裝置的側視示意圖。

圖2繪示本發明實施例的頭戴式顯示裝置的示意圖。

圖3A至圖3D繪示的本發明實施例的補光動作的示意圖。

圖4繪示本發明實施例的頭戴式顯示裝置的補光動作的流程圖。

圖5繪示本發明一實施例的影像資訊的示意圖。

圖6繪示本發明實施例的頭戴式顯示裝置的眼球追蹤功能的流程圖。

圖7繪示眼球的角膜的曲率以及眼球與透鏡間的距離的計算方法的示意圖。

請參照圖1，圖1繪示本發明一實施例的頭戴式顯示裝置的側視示意圖。頭戴式顯示裝置100包括管體110、光束產生器LE1、LE2、影像擷取器C1、控制器120、透鏡130以及顯示面板140。在本實施例中，透鏡130設置在管體110鄰近於目標區TG的第一側邊。管體110遠離目標區TG的第二側邊上則設置顯示面板140。上述的第一側邊與第二側邊相對。

在另一方面，光束產生器LE1包括兩個部分的光束產生器LE11、LE12。光束產生器LE1的各個部分的光束產生器LE11、LE12可包括一個或多個發光二極體，在本實施例中，上述的發光二極體可以為紅外線發光二極體。光束產生器LE11、LE12分別設置在透鏡130的上邊緣以及下邊緣，並分別投射光束B11、B12至目標區TG的周圍範圍R11、R12。

此外，光束產生器LE2設置在管體110的內部，並用以投射光束B2。在本實施例中，管體110中設置反射鏡150。透過反射鏡150，光束產生器LE2可使光束B2經反射以投射至目標區TG的中心範圍R2。光束產生器LE2包括一個或多個發光二極體，並可為紅外線發光二極體。反射鏡150則可為紅外線反射鏡。

影像擷取器C1可以為紅外線照相機。影像擷取器C1設置在管體110內，並透過反射鏡150以擷取目標區TG的影像資訊。影像擷取器C1耦接至控制器120，並用以將影像資訊IF傳送至控制器120。控制器120則可針對影像資訊IF進行分析。在當使用者的眼球EYE位在目標區TG上時，控制器120可依據影像資訊IF來進行眼球EYE的追蹤動作。

在本實施例中，控制器120可以為具運算能力的處理器。或者，控制器120可以是透過硬體描述語言(Hardware Description Language,HDL)或是其他任意本領域具通常知識者所熟知的數位電路的設計方式來進行設計，並透過現場可程式邏輯門陣列(Field Programmable Gate Array,FPGA)、複雜可程式邏輯裝置(Complex Prograimimable Logic Device,CPLD)或是特殊應用積體電路(Application-specific Integrated Circuit,ASIC)的方式來實現的硬體電路。

關於本發明實施例的頭戴式顯示裝置的動作細節，請參照圖2繪示的本發明實施例的頭戴式顯示裝置的示意圖，以及圖3A至圖3D繪示的本發明實施例的補光動作的示意圖。在圖2中， 頭戴式顯示裝置200中的影像擷取器可針對目標區上的眼球EYE進行影像擷取動作，在理想狀態下，可獲得如圖3A中的影像資訊IF1。

在當使用者的眼球EYE過於貼近頭戴式顯示裝置200的透鏡230時，設置在透鏡230邊緣的光束產生器LE11、LE12所投射的光束所涵蓋的範圍，將無法有效的涵蓋到眼球EYE所在的目標區的中央範圍R2。此時，頭戴式顯示裝置200中的影像擷取器針對目標區上的眼球EYE進行影像擷取動作，可獲得如圖3B的影像資訊IF2。在影像資訊IF2中，可以明顯看到使用者眼球EYE的部分因為亮度過低，而產生難以辨識眼球EYE上的光點的現象。

在本發明實施例中，頭戴式顯示裝置200可透過啟動設置在管體內的光束產生器，以投射光束B2，並透過光束B2以針對目標區的中央範圍R2進行補光的動作。在當光束B2被產生後，頭戴式顯示裝置200可擷取到影像資訊IF3，其中影像資訊IF3中的眼球EYE部位的亮度已被提高。

附帶一提的，在影像資訊IF3中，眼球EYE上可能具有因透鏡230而產生的雜散光。

接著，在圖3D中，頭戴式顯示裝置200的控制器可針對影像資訊IF3執行消除雜散光的動作，並藉以獲得影像資訊IF4。進一步的，控制器可透過影像資訊IF4中眼球上的光點，來判斷出眼球EYE的位置。

以下請同步參照圖1以及圖4，其中圖4繪示本發明實施例的頭戴式顯示裝置的補光動作的流程圖。其中，在步驟S410中，補光設定開始。在此時，頭戴式顯示裝置100中，設置在管體110內用以投射光束B2至目標區TG的中心範圍R2的光束產生器LE2未被啟動，而僅啟動投射光束B11、B12至目標區TG的外圍範圍R11、R12的光束產生器LE11、LE12。接著，在步驟S420中，針對影像資訊分成三個區域，並計算影像資訊中的光強度。細節上請同步參照圖1、圖4以及圖5，其中圖5繪示本發明一實施例的影像資訊的示意圖。在圖5中，控制器120可依據影像資訊IF的位置，可以影像資訊IF為中心範圍R2以及包括兩個子範圍RA11、RA12的周圍範圍R1。其中，中心範圍R2在子範圍RA11、RA12之間。而在步驟S420中，控制器120可針對中心範圍R2的平均光強度進行計算，以獲得平均亮度I2，並分別針對子範圍RA11、RA12的平均光強度進行計算，以分別獲得子亮度I1以及I3。進一步，控制器120可計算平均亮度I2的兩倍與子亮度I1以及I3的總和的比值(=(2*I2)/(I1+I3))，並依據判斷上述的比值有無小於一預設的臨界值，來決定是否啟動補光的動作(步驟S430)。

在步驟S430中，當上述的比值小於預設的臨界值時，控制器120可啟動補光的動作，並啟動設置在管體110內的光束產生器LE2，來投射補光用的光束B2至目標區TG的中心範圍R2，接著執行步驟S440。相對的，若上述的比值不小於預設的臨界值 時，則無需啟動補光動作，並可結束補光設定(步驟S460)。本實施例的預設的臨界值可以為80%。

在步驟S440，影像擷取器C1可重新針對目標區TG進行影像擷取動作，控制器120再依據新的影像資訊計算中心範圍R2的平均亮度與子範圍RA11、RA12的平均亮度的比值。接著，在步驟S450中，控制器120則依據更新後的比值的大小，來執行補光用的光束的亮度調整動作(步驟S450)。在本發明一實施例中，當上述更新後的比值小於80%，表示補光用的光束的亮度需調高。在另一方面，當上述更新後的比值大於120%，表示補光用的光束的亮度需調低。對應於上述，控制器120可透過發送命令，以驅使光束產生器LE2以調整光束B2的光強度(亮度)。

上述依據80%以及120%來與比值相比較的動作中，80%以及120%的數值僅只是說明用的範例，並非用來限縮本發明範疇。本領域具通常知識者可以依據實際的需求來設定比值的比較依據，沒有特定的限制。

以下請同步參照圖1以及圖6，其中圖6繪示本發明實施例的頭戴式顯示裝置的眼球追蹤功能的流程圖。在步驟S610中，啟動眼球追蹤功能。接著，在步驟S620中，頭戴式顯示裝置100可先開啟作為補光動作，設置在管體110內的光束產生器(發光二極體LED)LE2，並關閉設置在管體110外，用來照明的光束產生器(發光二極體LED)LE11、LE12。接著，在步驟S630中，使影像擷取器C1擷取目標區TG中的眼球EYE的影像資訊。控制 器120可依據中心範圍被點亮的影像資訊，來計算出瞳孔資訊(瞳孔的位置以及大小)。

在步驟S640中，頭戴式顯示裝置100使設置在管體110內的光束產生器(發光二極體LED)LE2被關閉，且使設置在管體110外用來照明的光束產生器(發光二極體LED)LE11、LE12被啟動。並在步驟S650中，透過擷取眼球EYE的影像資訊，控制器120可獲得眼球EYE上的光點資訊，並計算眼睛的位置以及視線方向。

步驟S660中判斷眼球追蹤動作是否結束，若眼球追蹤動作未結束，重新執行步驟S620。步驟S660的判斷動作可依據頭戴式顯示裝置100的眼球追蹤需求是否已經結束，並在當頭戴式顯示裝置100不需要進行使用者的眼球位置進行追蹤時，結束此流程。

進一步來說明，本發明的頭戴式顯示裝置更可依據所擷取的影像資訊，來計算使用者的眼球的角膜的曲率，以及眼球與透鏡間的距離。請參照圖7繪示的眼球的角膜的曲率以及眼球與透鏡間的距離的計算方法的示意圖。在圖7中，影像擷取器中影像擷取器的光心C與屏幕PA間具有距離D_S，設置在管體外的光束產生器LE11、LE12的連線A1與光心C間具有最短的距離D_C，而設置在管體內的光束產生器LE2與連接線A1間則具有最短的距離D_L。其中，光束產生器LE2不與光束產生器LE11、LE12共平面，因此距離D_L不等於0。屏幕PA上可產生影像資訊，影像 資訊中具有光點影像L₁₁*、L₁₂*以及L₂*。光點影像L₁₁*、L₁₂*以及L₂*分別對應光束產生器LE11、LE12以及光束產生器LE2所提供的光束在眼球EYE上所產生的光點。上述的距離D_S、D_C以及D_L都是已知且固定的參數。

在另一方面，眼球EYE的角膜是球形並具有曲率半徑R以及球心O。眼球EYE與光束產生器LE11、LE12的連線A1間具有最短的距離D₁(等於眼球EYE球面切線A3與連線A1間的距離)。並且，光束產生器LE11、LE12、LE2提供的光束，可分別在眼球EYE中不同的位置L₁₁’、L₁₂’以及L₂’上成像，其中位置L₁₁’、L₁₂’與位置L₂’不共平面。另外，位置L₁₁’、L₁₂’的連線A2以及切線A3間具有最短的距離D₂，位置L₂’以及切線A3間則具有最短的距離D₄，而切線A3與光束產生器LE2間則具有最短的距離D₃。上述的距離D₁~D₄皆為可變動的參數。本發明實施例可透過成像公式法來計算出角膜的曲率半徑R以及距離D₁。首先，設定一個假定平面，此假定平面與連線A1平行，並與一Z軸相垂直。接著，在圖7上定位出連線A2。依據光心C與光點影像L₁₁*產生第一連線CL1，光心C與光點影像產生第二連線CL2，並藉以計算出第一連線CL1與連線A2的交點(位置L₁₁’)，以及第二連線CL2與連線A2的交點(位置L₁₂’)。球心O是位置LE11與位置L₁₁’的連線和位置LE12與位置L₁₂’的連線這兩條線的交點。

球心O至連線A2間的最短距離可等於曲率半徑R減去 距離D₂。而連線A1與A2間的最短距離則等於距離D₁+D₂。再依據成像公式可獲得數學式：1/D₁+1/D₂=2/R。針對上述的關係進行解聯立方程式，可以計算出距離D₁、D₂以及曲率半徑R。

再依據光心C與光點影像L₂*產生第三連線CL3，並計算出球心O與光束產生器LE2間的連線與第三連線CL3間的交點，可以獲得位置L₂’。其中，距離D₃=距離D_L+距離D₁，且依據成像公式1/D₃+1/D₄=2/R，可以解出距離D₄。

基於上述的連線A2在計算的初始時是假定的，而未必是設置在正確的位置上，因此需要執行進一步的驗證動作。在此，依據位置L₂’以及球心O產生一向量，並使此向量與Z軸進行內積運算，並將運算的結果減去(曲率半徑R-距離D₄)來產生一誤差值。再當誤差值不等於0或大於一容忍值時，可透過調整連線A2的位置，並重新執行前述運算以解出新的距離D₁~D₄以及曲率半徑R，直到誤差值等於0或小於容忍值。

如此一來，本發明實施例的頭戴式顯示裝置可有效計算出眼球的角膜的曲率，以及眼球與透鏡間的距離，提升眼球追蹤動作的效率。

上述利用成像公式法來計算出眼球的角膜的曲率以及眼球與透鏡間的距離僅只是說明用的範例，不用以限縮本發明的範疇。本發明實施例的頭戴式顯示裝置也可應用其他的計算方式，來獲得眼球的角膜的曲率以及眼球與透鏡間的距離。

綜上所述，本發明透過在頭戴式顯示器的殼體內外，分 別設置不同的光束產生器，並在執行眼球追蹤動作時，使光束產生器分別投射光束至目標區的外圍範圍以及中心範圍。如此一來，目標區中的所有範圍都可以具有足夠高的亮度，可以有效執行眼球的追蹤動作。

100:頭戴式顯示裝置

110:管體

120:控制器

130:透鏡

140:顯示面板

150:反射鏡

B11、B12、B2:光束

C1:影像擷取器

EYE:眼球

IF:影像資訊

LE1、LE11、LE12、LE2:光束產生器

R11、R12:周圍範圍

R2:中心範圍

TG:目標區

Claims (11)

1. 一種頭戴式顯示裝置，包括：一管體；一第一光束產生器，設置在該管體外，投射多個第一光束至一目標區的一第一範圍；一第二光束產生器，設置在管體內，投射一第二光束至該目標區的一第二範圍；一影像擷取器，擷取該目標區上的影像以產生一影像資訊；以及一控制器，接收該影像資訊，並依據該影像資訊以進行眼球追蹤動作，其中該第二範圍為該目標區的中心範圍，該第一範圍為該目標區的周圍範圍，其中在一第一時間區間中：該第一光束產生器投射該些第一光束至該目標區的該第一範圍；該影像擷取器擷取該目標區上的影像以產生一第一影像資訊；以及該控制器依據該第一影像資訊分別計算該第一範圍與該第二範圍的一第一平均亮度以及一第二平均亮度，並依據該第一平均亮度以及該第二平均亮度以決定是否驅使該第二光束產生器投射該第二光束。
2. 如請求項1所述的頭戴式顯示裝置，其中在該第一時間區間後的一第二時間區間中：當該第二平均亮度以及該第一平均亮度的比值小於一臨界值時，該控制器驅使該第二光束產生器投射該第二光束；該影像擷取器擷取該目標區上的影像以產生一第二影像資訊；以及該控制器依據該第二影像資訊以計算該目標區上的眼球的位置資訊。
3. 如請求項2所述的頭戴式顯示裝置，其中更包括：當該第二平均亮度以及該第一平均亮度的比值小於該臨界值，且該第二光束產生器被啟動時，該第二光束產生器調高該第二光束的亮度。
4. 如請求項3所述的頭戴式顯示裝置，其中在該第一時間區間中，該第一光束產生器投射該些第一光束至該第一範圍的一第一子範圍以及一第二子範圍，該控制器獲得該第一子範圍以及該第二子範圍分別對應的一第一子亮度I1以及一第二子亮度I3；該控制器並計算該第二平均亮度I2的兩倍與該第一子亮度I1以及該第二子亮度13的總合的比值=(2*I2)/(I1+I3)。
5. 如請求項4所述的頭戴式顯示裝置，其中當該比值小於80%時調高第二光束的亮度。
6. 如請求項4所述的頭戴式顯示裝置，其中當該比值大於120%時，該第二光束產生器調低該第二光束的亮度。
7. 如請求項1所述的頭戴式顯示裝置，更包括：一透鏡，設置在該管體的鄰近該目標區的一第一側邊；以及一反射鏡，設置在該管體中，用以反射該第二光束至該目標區，其中該第一光束產生器設置在該透鏡的邊緣，該影像擷取器透過該反射鏡以擷取該目標區的該影像資訊。
8. 如請求項7所述的頭戴式顯示裝置，其中該控制器更依據該影像資訊以計算該目標區上的一眼球的角膜的曲率，以及該眼球與該透鏡間的距離。
9. 如請求項7所述的頭戴式顯示裝置，更包括：一顯示面板，設置在該管體與該第一側邊相對的一第二側邊。
10. 如請求項1所述的頭戴式顯示裝置，其中該第一光束產生器包括多個第一紅外線發射器與該第二光束產生器包括多個第二紅外線發射器，該影像擷取器為紅外線照相機。
11. 一種頭戴式顯示裝置，包括：一管體；一第一光束產生器，設置在該管體外，投射多個第一光束至一目標區的一第一範圍；一第二光束產生器，設置在管體內，投射一第二光束至該目標區的一第二範圍；一影像擷取器，擷取該目標區上的影像以產生一影像資訊；以及 一控制器，接收該影像資訊，並依據該影像資訊以進行眼球追蹤動作，其中該第二範圍為該目標區的中心範圍，該第一範圍為該目標區的周圍範圍，其中在一第一時間區間中：該第二光束產生器投射該第二光束至該目標區的該第二範圍，該第一光束產生器被關閉；該影像擷取器擷取該目標區上的影像以產生一第一影像資訊；以及該控制器依據該第一影像資訊計算該目標區中的一眼球的瞳孔資訊；在不同於該第一時間區間的一第二時間區間中：該第一光束產生器投射該些第一光束至該目標區的該第一範圍，該第二光束產生器被關閉；該影像擷取器擷取該目標區上的影像以產生一第二影像資訊；以及該控制器依據該第二影像資訊計算該目標區中的該眼球的位置以及視線方向。

Images