TWI672526B - 近眼顯示系統及其顯示方法 - Google Patents

Abstract

本發明提出一種近眼顯示系統，包括顯示器、影像擷取裝置、儲存裝置以及處理器。影像擷取裝置用以取得使用者觀看顯示器的視線範圍的影像。儲存裝置用以記錄程式或指令。處理器載入並執行記錄於所述儲存裝置的所述程式或指令以：根據影像計算視野亮度分布；根據視野亮度分布建立亮度反轉遮罩；以及控制顯示器以根據亮度反轉遮罩進行顯示。此外，一種近眼顯示系統的顯示方法亦被提出。

Description

近眼顯示系統及其顯示方法

本發明是有關於一種顯示技術，且特別是有關於一種近眼顯示系統及其顯示方法。

戶外情境下使用擴增實境（Augment Reality，AR）眼鏡，常會有遇到逆光狀態（例如:白天時面對太陽直射、夜晚時面向車燈、路燈、招牌廣告燈以及後方車輛投射到後照鏡等等），無法清楚注視前方目標物以及眼鏡投射的虛擬目標物。

為了解決上述問題，現行的作法是外掛太陽眼鏡於擴增實境眼鏡外，以達到遮蔽陽光效果。但是，這樣的作法在遇到亮度極度不均勻的環境時，會產生暗部細節看不清楚的狀況。

有鑑於此，本發明實施例提供一種近眼顯示系統及其顯示方法，能夠讓使用者可以在清楚看到擴增實境影像的同時，減少外部強光的干擾。

本發明實施例的近眼顯示系統包括顯示器、影像擷取裝置、儲存裝置以及處理器。影像擷取裝置用以取得使用者觀看顯示器的視線範圍的影像。儲存裝置用以記錄程式或指令。處理器耦接於顯示器、影像擷取裝置以及儲存裝置，載入並執行記錄於所述儲存裝置的所述程式或指令以：根據影像計算視野亮度分布；根據視野亮度分布建立亮度反轉遮罩；以及控制顯示器以根據亮度反轉遮罩進行顯示。

本發明實施例的顯示方法適用於近眼顯示系統，並且包括以下步驟：取得使用者觀看近眼顯示系統的顯示器的視線範圍的影像；根據影像計算視野亮度分布；根據視野亮度分布建立亮度反轉遮罩；以及控制顯示器以根據亮度反轉遮罩進行顯示。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1繪示本發明一實施例的近眼顯示系統的方塊示意圖。

請參照圖1，近眼顯示系統100包括顯示器110、處理器120、儲存裝置130、影像擷取裝置140、環境光感測器150以及動作感測裝置160，其中顯示器110、儲存裝置130、影像擷取裝置140、環境光感測器150以及動作感測裝置160皆耦接於處理器120。在本實施例中，近眼顯示系統100例如是擴增實境（Augment Reality，AR）眼鏡，但本發明並不限於此。

顯示器110為透明顯示器，其例如是薄膜電晶體液晶顯示器（Thin film transistor liquid crystal display，TFT-LCD）、場色序（Field sequential color）顯示器、主動式有機發光顯示器（Active matrix organic light emitting display，AMOLED）、電濕潤顯示器(Electrowetting display)等穿透式透明顯示器，或者是投影式透明顯示器，本發明並不在此設限。在本實施例中，顯示器110是實作為擴增實境眼鏡的鏡片。

處理器120例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuits，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置或這些裝置的組合。

儲存裝置130可以是任何型態的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或類似元件或上述元件的組合。在本實施例中，儲存裝置130記錄可供處理器120存取並執行的程式或指令。處理器120可從儲存裝置130載入程式指令，並據以執行本發明一實施例的顯示方法。此外，在本實施例中，儲存裝置130更包括記憶體緩衝區，用以記錄待顯示的影像。

影像擷取裝置140例如是攝影機，其中配置有電荷耦合元件（Charge coupled device，CCD）、互補性氧化金屬半導體（Complementary metal-oxide semiconductor，CMOS）元件或其他種類的感光元件，而可感測進入鏡頭的光線強度，從而擷取影像訊號以產生並輸出影像。在本實施例中，影像擷取裝置140是對應顯示器110的位置進行設置，並且用以取得使用者觀看顯示器110的視線範圍的影像。

在本實施例中，環境光感測器（Ambient Light Sensor，ALS）150是用以取得近眼顯示系統100（例如，擴增實境眼鏡）當前使用環境下的環境光強度。

動作感測裝置160例如包括三軸加速度計以及陀螺儀的慣性測量單元（Inertial Measurement Unit，IMU）或類似的感測器。在本實施例中，動作感測裝置160可以感測到近眼顯示系統100（例如，擴增實境眼鏡）在三維空間中的角速度以及加速度，進而判斷出近眼顯示系統100的姿態。換句話說，動作感測裝置160可以用來判斷近眼顯示系統100的顯示器110當前的視野方向的改變。

圖2繪示本發明一實施例的顯示方法的流程圖。

請同時參照圖1及圖2，本實施例的方法可適用於圖1的近眼顯示系統100，以下即搭配近眼顯示系統100中的各項元件說明本發明一實施例之顯示方法的詳細步驟。

首先，處理器120會透過影像擷取裝置140取得使用者觀看近眼顯示系統100的顯示器110的視線範圍的影像（步驟S202）。接著，處理器120會根據影像計算視野亮度分布（步驟S204）。具體來說，處理器120所取得的使用者觀看顯示器110的視線範圍的影像例如是RGB格式，而處理器120例如可以將此影像轉換成YUV格式。由於YUV格式中的Y值是代表明亮度（luminance），因此，影像上所有像素（pixel）的Y值能夠形成視野亮度分布。以下搭配圖3舉實施例進行說明。

圖3繪示本發明一實施例的視野亮度分布的示意圖。

請參照圖3，視野亮度分布DIST中包括16個像素，其中左上方的7個像素的Y值為255，右下方的4個像素的Y值為0，並且其他像素的Y值為128。在視野亮度分布DIST中，左上角的亮度最高，並且亮度朝右下方遞減。

請回到圖2，在取得了視野亮度分布後，處理器120會根據視野亮度分布建立亮度反轉遮罩（步驟S206）。具體來說，亮度反轉遮罩是為了在後續步驟中，將亮度較高的區域的亮度、穿透率或透明度調降的遮罩工具。舉例而言，亮度反轉遮罩例如是與視野亮度分布負相關的遮罩值分布，其中遮罩值例如是對應於亮度、穿透率或透明度，本發明不在此設限。換句話說，若視野亮度分布中第一像素的亮度值大於第二像素的亮度值，則在亮度反轉遮罩中對應的第一像素的遮罩值不會大於對應的第二像素的遮罩值。

在一些實施例中，處理器120例如會根據遞減函數來計算亮度反轉遮罩中每一個像素的遮罩值，例如：α=f(Y)，其中f為遞減函數，Y為視野亮度分布中像素的Y值，並且α為亮度反轉遮罩中像素的遮罩值。特別是，本發明並不在此限制上述遞減函數的形式，其可以是線性函數、分段函數或其他各種類型的遞減函數。

一般來說，使用者瞳孔大小直接相關於近眼顯示系統100當前使用環境。因此，在一些實施例中，用來建立亮度反轉遮罩的遞減函數會與近眼顯示系統100當前使用環境下的環境光強度有關。詳細來說，當在環境光強度很低的狀態下使用近眼顯示系統100時，稍高的亮度就可能讓使用者感覺到刺眼；而當在環境光亮度很高的狀態下使用近眼顯示系統100時，極高的亮度才可能讓使用者感覺到刺眼。因此，處理器120除了根據視野亮度分布之外，還會根據當前的環境光強度資訊來建立亮度反轉遮罩。

然而，本發明並不在此限制環境光強度資訊的來源。在一些實施例中，處理器120可以透過環境光感測器150來取得環境光強度資訊。在一些實施例中，處理器120也可以根據影像擷取裝置140的相機參數，例如光圈、曝光值、增益值等，來取得環境光強度資訊。在一些實施例中，處理器120也可以整合上述環境光感測器150的感測資料，以及影像擷取裝置140的相機參數，來計算出環境光強度資訊。

在一些實施例中，處理器120例如會設定至少一個亮度閾值以將亮度分為多個區間，並且設定每一個區間所對應的遮罩值。處理器120可以根據上述的設定來建立亮度反轉遮罩。以下將搭配圖3與圖4進行說明。

圖4繪示本發明一實施例的亮度反轉遮罩的示意圖。

請同時參照圖3與圖4，處理器120例如會設定兩個亮度閾值，以將Y值分為第一區間（0～85）、第二區間（86～170）以及第三區間（171～255）。處理器120會將視野亮度分布DIST中Y值介於第一區間的像素轉換成亮度反轉遮罩MK中遮罩值為1的像素，將視野亮度分布DIST中Y值介於第二區間的像素轉換成亮度反轉遮罩MK中遮罩值為0.5的像素，並且將視野亮度分布DIST中Y值介於第三區間的像素轉換成亮度反轉遮罩MK中遮罩值為0的像素。

在一些實施例中，根據不同的環境光強度資訊，處理器120例如會隨之調整亮度閾值，以改變各個亮度區間的大小。舉例來說，當環境光強度增強時，處理器120會調整亮度閾值以減少第三區間的比例；反之當環境光強度減弱時，處理器120會調整亮度閾值增加第三區間的比例。換言之，亮度閾值可以是根據環境光強度資訊來進行設定。

必須說明的是，本發明並不在此限制處理器120根據視野亮度分布以及環境光強度資訊建立亮度反轉遮罩的具體方式，所屬領域具備通常知識者當可依其需求來進行實作。

請回到圖2，在建立亮度反轉遮罩後，處理器120會控制顯示器110根據亮度反轉遮罩進行顯示（步驟S208）。具體來說，計算出亮度反轉遮罩後，在顯示器110顯示下一幀的待顯示影像之前，會先將此待顯示影像以亮度反轉遮罩進行調整後，才顯示調整後的待顯示影像。

在一些實施例中，亮度反轉遮罩是對應到穿透率或透明度，因此處理器120會根據亮度反轉遮罩來調整待顯示影像的穿透率或透明度，例如將待顯示影像的透明度乘上亮度反轉遮罩，然後再顯示調整過後的待顯示影像。

在一些實施例中，亮度反轉遮罩是對應到亮度，因此處理器120會根據亮度反轉遮罩來調整待顯示影像的亮度，例如將待顯示影像的亮度乘上亮度反轉遮罩，然後再顯示調整過後的待顯示影像。以下將以圖5舉例進行說明。

圖5繪示本發明一實施例的調整待顯示影像的示意圖。

請參照圖4與圖5，處理器120例如會從影格緩衝區（FrameBuffer）取得待顯示影像，在本實施例中，待顯示影像例如是RGB格式的全白影像。在顯示器110顯示待顯示影像之前，處理器120會先此RGB格式的待顯示影像轉換為YUV格式的待顯示影像IMG。如圖5所示，YUV格式的待顯示影像IMG中每一個像素Y值皆為255。在本實施例中，處理器120會將待顯示影像IMG的Y值乘上亮度反轉遮罩MK，以得到調整後的待顯示影像IMG’。 如圖5所示，在調整後的待顯示影像IMG’中，畫面左上方對應到遮罩值為0的區域亮度值也為0，而畫面右下方對應到遮罩值為1的區域亮度值仍然維持255。由此可見，亮度反轉遮罩MK會將影格緩衝區中的待顯示影像IMG左上方的亮度調降。最後，處理器120會將調降亮度後的待顯示影像IMG’再次從YUV格式轉換回RGB格式，以供顯示器110進行顯示。

在一些實施例中，在計算出亮度反轉遮罩之後，處理器120更會利用動作感測裝置160的資訊來調整亮度反轉遮罩。

圖6繪示本發明一實施例的調整亮度反轉遮罩的流程圖。

請參照圖6，處理器120會透過動作感測裝置160取得顯示器110的視野方向資訊（步驟S602）。具體來說，根據動作感測裝置160的資訊，處理器120可以計算出使用者頭部擺動的動作，進而得知顯示器110的視野方向是如何改變。舉例來說，當處理器120計算出使用者向下擺頭時，便可以得知顯示器110的視野方向也是向下變化。

隨後，處理器120會根據視野方向資訊調整亮度反轉遮罩（步驟S604）。具體來說，處理器120會根據顯示器110的視野方向變化，來對應移動亮度反轉遮罩中每一個遮罩值所在的像素位置。舉例來說，當顯示器110的視野方向向下變化時，處理器120會將亮度反轉遮罩中每一個遮罩值的像素位置向上移動。

圖7繪示本發明一實施例的調整亮度反轉遮罩的示意圖。

請參照圖7，假設使用者在開車時，顯示器110在第一視野方向具有第一視線範圍RG1。由於第一視線範圍RG1的區域B1所對應的外部光線過強，因此亮度反轉遮罩在對應第一視線範圍RG1的區域B1處將影像亮度調降。此時，若使用者為了觀看後視鏡而將頭部轉向左下方時，顯示器110改變為第二視野方向，並且在第二視野方向具有第二視線範圍RG2。處理器120會根據動作感測裝置160的資訊計算出顯示器110的視野方向朝左下方移動，因此處理器120會對應地將亮度反轉遮罩中每一個遮罩值的像素位置朝右上方移動，使得亮度反轉遮罩在對應第二視線範圍RG2的區域B2處將影像亮度調降。

在一些實施例中，處理器120根據影像擷取裝置140所擷取的影像來計算亮度反轉遮罩的頻率（例如，第一頻率）小於處理器120利用動作感測裝置160的資訊來調整亮度反轉遮罩的頻率（例如，大於第一頻率的第二頻率）。由於根據影像計算亮度反轉遮罩的計算負擔高於直接利用動作感測裝置160的資訊來調整亮度反轉遮罩的計算負擔，因此降低根據影像計算亮度反轉遮罩的頻率有助於提升近眼顯示系統100的電池續航力。

綜上所述，本發明實施例所提出的近眼顯示系統及其顯示方法，利用影像擷取裝置來取得使用者觀看近眼顯示系統的顯示器的視線範圍內的影像，處理器可以根據影像計算出視野亮度分布。然後，處理器會根據視野亮度分布來在隨後要顯示的影像中，調整影像的亮度、穿透率或透明度。據此，能夠讓使用者在清楚看到擴增實境影像的同時，避免外部強光的干擾。此外，本發明實施例在計算出亮度反轉遮罩，還能夠利用動作偵測裝置來在調整亮度反轉遮罩。據此，能夠減少近眼顯示系統的計算負擔並且提升電池續航力。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧近眼顯示系統
110‧‧‧顯示器
120‧‧‧處理器
130‧‧‧儲存裝置
140‧‧‧影像擷取裝置
150‧‧‧環境光感測器
160‧‧‧動作感測裝置
B1、B2‧‧‧區域
DIST‧‧‧視野亮度分布
IMG‧‧‧待顯示影像
IMG’‧‧‧調整後的待顯示影像
MK‧‧‧亮度反轉遮罩
RG1‧‧‧第一視線範圍
RG2‧‧‧第二視線範圍
S202、S204、S206、S208‧‧‧顯示方法的步驟
S602、S604‧‧‧調整亮度反轉遮罩的步驟

圖1繪示本發明一實施例的近眼顯示系統的方塊示意圖。
圖2繪示本發明一實施例的顯示方法的流程圖。
圖3繪示本發明一實施例的視野亮度分布的示意圖。
圖4繪示本發明一實施例的亮度反轉遮罩的示意圖。
圖5繪示本發明一實施例的調整待顯示影像的示意圖。
圖6繪示本發明一實施例的調整亮度反轉遮罩的流程圖。
圖7繪示本發明一實施例的調整亮度反轉遮罩的示意圖。

Claims (14)

1. 一種近眼顯示系統，包括：一顯示器；一影像擷取裝置，用以取得使用者觀看該顯示器的一視線範圍的一影像；一儲存裝置，用以記錄程式或指令；以及一處理器，耦接於該顯示器、該影像擷取裝置以及該儲存裝置，載入並執行記錄於所述儲存裝置的所述程式或指令以：根據該影像計算一視野亮度分布；根據該視野亮度分布建立一亮度反轉遮罩；根據該亮度反轉遮罩的遮罩值調整待顯示影像的亮度、穿透率或透明度；以及控制該顯示器以顯示調整後的該待顯示影像。
2. 如申請專利範圍第1項所述的近眼顯示系統，其中該亮度反轉遮罩係為一遮罩值分布，且與該視野亮度分布負相關。
3. 如申請專利範圍第2項所述的近眼顯示系統，該儲存裝置更用以記錄該待顯示影像，且該處理器依據該亮度反轉遮罩而控制該顯示器顯示，其中當該待顯示影像根據該遮罩值分布調整時，該顯示器顯示調整後的該待顯示影像。
4. 如申請專利範圍第1項所述的近眼顯示系統，更包括：一環境光感測器，耦接於該處理器，用以取得一環境光強度資訊，其中該處理器根據該視野亮度分布以及該環境光強度資訊建立該亮度反轉遮罩。
5. 如申請專利範圍第4項所述的近眼顯示系統，其中該處理器根據該環境光強度資訊設定一亮度閾值，並且根據該視野亮度分布以及該亮度閾值而建立該亮度反轉遮罩。
6. 如申請專利範圍第1項所述的近眼顯示系統，更包括：一動作感測裝置，耦接於該處理器，用以取得該顯示器的一視野方向資訊，其中該處理器更根據該視野方向資訊調整該亮度反轉遮罩。
7. 如申請專利範圍第6項所述的近眼顯示系統，其中該處理器以一第一頻率根據該影像計算該視野亮度分布以及根據該視野亮度分布建立該亮度反轉遮罩，並且以一第二頻率根據該視野方向資訊調整該亮度反轉遮罩，其中該第一頻率小於該第二頻率。
8. 一種顯示方法，適用於一近眼顯示系統，所述顯示方法包括：取得使用者觀看該近眼顯示系統的一顯示器的一視線範圍的一影像；根據該影像計算一視野亮度分布；根據該視野亮度分布建立一亮度反轉遮罩；根據該亮度反轉遮罩的遮罩值調整待顯示影像的亮度、穿透率或透明度；以及控制該顯示器以顯示調整後的該待顯示影像。
9. 如申請專利範圍第8項所述的顯示方法，其中該亮度反轉遮罩係為一遮罩值分布，且與該視野亮度分布負相關。
10. 如申請專利範圍第9項所述的顯示方法，其中控制該顯示器以根據該亮度反轉遮罩進行顯示的步驟包括：當該待顯示影像根據該遮罩值分布調整時，該顯示器顯示調整後的該待顯示影像。
11. 如申請專利範圍第8項所述的顯示方法，其中根據該視野亮度分布建立該亮度反轉遮罩的步驟包括：取得一環境光強度資訊；以及根據該視野亮度分布以及該環境光強度資訊建立該亮度反轉遮罩。
12. 如申請專利範圍第11項所述的顯示方法，其中根據該視野亮度分布以及該環境光強度資訊建立該亮度反轉遮罩的步驟包括：根據該環境光強度資訊設定一亮度閾值；以及根據該視野亮度分布以及該亮度閾值而建立該亮度反轉遮罩。
13. 如申請專利範圍第8項所述的顯示方法，更包括：取得該顯示器的一視野方向資訊；以及根據該視野方向資訊調整該亮度反轉遮罩。
14. 如申請專利範圍第13項所述的顯示方法，其中根據該影像計算該視野亮度分布以及根據該視野亮度分布建立該亮度反轉遮罩是由該近眼顯示系統的一處理器以一第一頻率進行，並且根據該視野方向資訊調整該亮度反轉遮罩是由該處理器以一第二頻率進行，其中該第一頻率小於該第二頻率。