TW201634974A - 頭戴式顯示系統及影像低頻寬傳輸方法 - Google Patents

Abstract

一種頭戴式顯示系統及影像低頻寬傳輸方法，頭戴式顯示系統包括一主機及一供使用者配戴於頭部並與其雙眼對應的頭戴式顯示裝置，當主機的一影像處理單元接收一原始影像時，頭戴式顯示裝置的一眼球視線偵測單元偵測該使用者的一眼球視線，並將一偵測結果提供給影像處理單元，使根據該偵測結果，定義該原始影像中的一眼球聚焦區域及一其餘區域，並針對該其餘區域進行影像處理，使得該其餘區域的解析度及色彩深度兩者至少其中之一低於該眼球聚焦區域，而產生一處理後影像，並將該處理後影像輸出至該頭戴式顯示裝置的一顯示單元顯示。

Description

頭戴式顯示系統及影像低頻寬傳輸方法

本發明是有關於一種頭戴式顯示器的影像處理方法，特別是指一種能降低影像傳輸頻寬的頭戴式顯示系統及影像低頻寬傳輸方法。

傳統頭戴式顯示器(HMD)為了播放3D動態影像，並防止影像出現網格效應(screen door effect)，會選擇使用具有較高解析度，例如FHD(1920x1080)、400ppi以上的顯示器，因此由於輸出至顯示器的影像畫面的每個畫素都具有符合顯示器需求的相同解析度及色彩深度，使得傳統頭戴式顯示器必需使用運算速度夠快且昂貴的影像處理器來處理大量的影像資料，並需提供較大的傳輸頻寬以應付影像處理器與顯示器之間大量的影像資料傳輸需求。

因此，本發明的目的在於提供一種影像低頻寬傳輸方法及實現該方法的頭戴式顯示系統。

於是，本發明影像低頻寬傳輸方法是以一頭戴式顯示系統實現，該頭戴式顯示系統包括一主機及一供一使用者配戴於頭部並與其雙眼對應的頭戴式顯示裝置；該方法包括：該主機的一影像處理單元接收一原始影像；該 頭戴式顯示裝置的一眼球視線偵測單元偵測該使用者的一眼球視線，並將一偵測結果提供給該影像處理單元；該影像處理單元根據該偵測結果，定義該原始影像中的一眼球聚焦區域；該影像處理單元針對該原始影像中該眼球聚焦區域以外的一其餘區域進行影像處理，使該其餘區域的一第一解析度及一第一色彩深度兩者至少其中之一低於該眼球聚焦區域，以產生一處理後影像；及該影像處理單元將該處理後影像傳送給該頭戴式顯示裝置的一顯示單元，使顯示該處理後影像。

又本發明實現上述方法的一頭戴式顯示系統，包括一主機及一頭戴式顯示裝置，其中該主機包含一影像處理單元，其接收一原始影像；該頭戴式顯示裝置供一使用者配戴於頭部且與其雙眼對應，並包含：一顯示單元；一眼球視線偵測單元，其偵測該使用者的一眼球視線，並將一偵測結果提供給該影像處理單元，使該影像處理單元根據該偵測結果，定義該原始影像中的一眼球聚焦區域，並針對該原始影像中該眼球聚焦區域以外的一其餘區域進行影像處理，使該其餘區域的一第一解析度及一第一色彩深度至少其中之一低於該眼球聚焦區域，以產生一處理後影像，並將該處理後影像傳送至該顯示單元，使顯示該處理後影像。

在一實施例中，該主機還包括一與該影像處理單元電耦接的第一傳輸介面，且該頭戴式顯示裝置還包括一與該第一傳輸介面以有線或無線方式通訊的第二傳輸介 面，且該眼球視線偵測單元經由該第二傳輸介面及該第一傳輸介面，將該偵測結果傳送給影像處理單元；而該顯示單元包含一顯示器及一與該第二傳輸介面電耦接的顯示驅動器，而且該影像處理單元將該處理後影像壓縮後，經由該第一傳輸介面及該第二傳輸介面，將該壓縮後的該處理後影像傳送至該顯示驅動器，使將壓縮後的該處理後影像解壓縮並顯示於該顯示器。

在一實施例中，該原始影像是一動態影像的其中一張影像畫面資料。

在一實施例中，該處理後影像的該眼球聚焦區域具有一第二解析度及一第二色彩深度，且該其餘區域的該第一解析度低於該第二解析度，或者該其餘區域的該第一色彩深度低於該第二色彩深度，或者該其餘區域的該第一解析度低於該第二解析度且該其餘區域的該第一色彩深度低於該第二色彩深度。

在一實施例中，上述該第二解析度及該第二色彩深度是該影像處理器可以支援的最大解析度及最大色彩深度。

在一實施例中，該影像處理單元還將該處理後影像之該眼球聚焦區域及該其餘區域的一範圍資訊傳送給該顯示驅動器，使該顯示驅動器根據該範圍資訊，對解壓縮後的該處理後影像中的該其餘區域進行畫質優化處理後，再輸出至該顯示器顯示。

在一實施例中，該主機是整合在該頭戴式顯示 裝置中。

本發明藉由設置在頭戴式顯示裝置的眼球視線偵測單元，偵測使用者的眼球視線投向頭戴式顯示裝置的顯示器的位置，並提供偵測結果給影像處理單元，使根據該偵測結果定義輸入的一原始影像的一眼球聚焦區域及其餘區域，並針對其餘區域調降其解析度及色彩深色兩者至少其中之一，再將處理後影像傳輸至頭戴式顯示裝置的顯示單元播放，藉此，當輸入影像處理單元的影像是動態影像時，除了可以使影像處理單元及顯示驅動器要處理的動態影像的資料量大幅降低，而減少處理動態影像的時間，並且能減少動態影像資料傳輸頻寬，使得處理動態影像資料的成本降低，確實達到本發明的功效與目的。

1、1’‧‧‧頭戴式顯示系統

2‧‧‧主機

3‧‧‧頭戴式顯示裝置

21‧‧‧影像處理單元

22‧‧‧第一傳輸介面

31‧‧‧顯示單元

32‧‧‧眼球視線偵測單元

33‧‧‧第二傳輸介面

34‧‧‧顯示驅動器

35‧‧‧顯示器

41‧‧‧原始影像

42‧‧‧眼球聚焦區域

43‧‧‧其餘區域

P‧‧‧聚焦點

S1~S5‧‧‧步驟

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是本發明影像低頻寬傳輸方法的一實施例的主要流程圖；圖2是本發明頭戴式顯示系統的一實施例的主要電路方塊圖；圖3是本發明頭戴式顯示系統的另一實施例的主要電路方塊圖；圖4是一示意圖，說明本實施例的影像處理單元根據一聚焦點，定義一原始影像中的一眼球聚焦區域及一其餘區域；及 圖5是一示意圖，說明本實施例的影像處理單元根據一移動後的聚焦點，重新定義一原始影像中的一眼球聚焦區域及一其餘區域示意圖。

參見圖1所示，是本發明影像低頻寬傳輸方法的一實施例的流程圖，且如圖2所示，是本發明實現上述方法的頭戴式顯示系統的一實施例，該頭戴式顯示系統1主要包含各自獨立的一主機2及一供一使用者配戴於頭部並與其雙眼對應的頭戴式顯示裝置3。

在本實施例中，主機2主要具有一接受連續的動態影像輸入的影像處理單元21，及一與影像處理單元21電耦接的第一傳輸介面22。頭戴式顯示裝置3主要包括一顯示單元31、一眼球視線偵測單元32及一與顯示單元31及眼球視線偵測單元32電耦接的第二傳輸介面33。其中第一傳輸介面22與第二傳輸介面33之間可以有線或無線方式通訊，以傳輸電訊號，顯示單元31還包含一顯示驅動器33及一顯示器34，其中顯示器34為解析度至少1920x1080或者更高的高畫質顯示器。

此外，如圖3所示，本實施例的主機2也可以和頭戴式顯示裝置3整合在一起(即主機2整合在頭戴式顯示裝置3中)而構成一獨立的頭戴式顯示系統1’。

且為實現上述方法，如圖1的步驟S1，在影像處理單元21接收到如圖4所示的一張原始影像41的同時，如步驟S2所示，頭戴式顯示裝置3的眼球視線偵測單元32 偵測使用者的一眼球視線落在顯示器的那一位置，並將一偵測結果經由第二傳輸介面33及第一傳輸介面22提供給影像處理單元21。

接著，如步驟S3，影像處理單元21根據該偵測結果，定義原始影像41中的一眼球聚焦區域42，例如圖4所示，影像處理單元21根據偵測結果，得知使用者的眼球視線在顯示器35上的聚焦位置，對應於原始影像41左下方處的一聚焦點P，影像處理單元21即以該聚焦點P為中心向外擴展一預定距離，而定義該眼球聚焦區域42，當然本實施例的眼球聚焦區域42的範圍並不以圖示為限，可以視實際應用需求適當外擴或內縮，且眼球聚焦區域42雖以矩形為例，但並不以此為限，也可以是圓形或橢圓形或其它適合的形狀等，端視應用需求而定。

並且，如步驟S4，影像處理單元21會針對原始影像41中眼球聚焦區域42以外的一其餘區域43進行影像處理，使其餘區域43的一第一解析度及一第一色彩深度兩者至少其中之一低於眼球聚焦區域42，例如為了產生高畫質影像，原始影像41的解析度(又稱第二解析度)為FHD(1920x1080)，色彩深度(又稱第二色彩深度)為24位元(16.7M色)(R(紅)8位元、G(綠)8位元、藍(B)8位元)，則除了眼球聚焦區域42維持第二解析度及第二色彩深度外，其餘區域43則調降其解析度至第一解析度，例如1280x1024或者更低，而色彩深度維持不變(即第一色彩深度等同於第二色彩深度)。

或者，將原始影像41其餘區域43的色彩深度調降至第一色彩深度，例如將色彩深度由24位元調降至18位元(R(紅)6位元、G(綠)6位元、藍(B)6位元)或者更低，而解析度(即第一解析度等同於第二解析度)維持不變。

又或者，將原始影像41其餘區域43的解析度(即第二解析度)調降至第一解析度，例如1280x1024或者更低，以及色彩深度(即第二色彩深度)由24位元調降至第一色彩深度，例如18位元(R(紅)6位元、G(綠)6位元、藍(B)6位元)或者更低。

因此，影像處理單元21藉由上述三種方式其中之一處理原始影像41，並產生一處理後影像(圖未示)。藉此，不但可大量降低處理後影像的資料量，而且可以減少影像處理單元21對處理後影像的處理時間，例如減少影像壓縮時間。

再者，當輸入影像處理單元21的原始影像並非高畫質影像，例如解析度(第二解析度)為1280x1024，則影像處理單元21還會針對眼球聚焦區域42提高其解析度至高畫質，例如1920x1080或者更高。而其餘區域43則如同上述調降其第一解析度及第一色彩深度兩者至少其中之一。藉此，除了降低傳輸及處理的影像資料量，亦使輸出至顯示器31的處理後影像的眼球聚焦區域42避免出現網格效應(screen door effect)。

當然，若顯示器31的解析度更高，例如2K(2560x1440)或4K(3840x2160)，以及色彩深度更高，例 如30位元(紅色10位元、綠色10位元、藍色10位元)，則影像處理單元21還會針對眼球聚焦區域42提高其解析度(第二解析度，例如原始為1920x1080)至2K或4K，及/或提高其色彩深度(第二色彩深度，例如原始為24位元)至30位元，而其餘區域43則如同上述調降其第一解析度及第一色彩深度兩者至少其中之一。藉此，除了降低傳輸及處理的影像資料量，亦可進一步提高眼球聚焦區域42的影像畫質。

然後，如圖1的步驟S5，影像處理單元21將處理後影像壓縮後，經由第一傳輸介面22及第二傳輸介面33傳送至頭戴式顯示裝置3之顯示單元31，並由顯示單元31中的顯示驅動器34將處理後影像解壓縮，且將處理後影像適當調整成符合顯示器35的影像輸出格式後，再輸出至顯示器35顯示。藉此，不但降低主機2與頭戴式顯示裝置3(即第一傳輸介面22與第二傳輸介面33)之間的影像傳輸頻寬，而且減少顯示驅動器34解壓縮處理後影像的時間，使影像能更順暢且及時地輸出至頭戴式顯示裝置3的顯示器35。

再者，由於使用者眼睛正聚焦在顯示器35顯示之處理後影像的眼球聚焦區域42(可參見圖4)，因此即使處理後影像之除了眼球聚焦區域42以外的其餘區域43(可參見圖4)的解析度或色彩深度被適當調降，使用者眼睛並不易察覺到也不會注意到其餘區域43和眼球聚焦區域42有明顯不同。而且，由於眼球聚焦區域42仍保有高畫質的解 析度及色彩深度，因此能避免影像出現網格效應(screen door effect)。

此外，影像處理單元21還可將處理後影像之眼球聚焦區域42及其餘區域43的一範圍資訊連同壓縮後的處理後影像傳送給顯示驅動器34，藉此，顯示驅動器34可根據該範圍資訊得知其餘區域43在處理後影像中的分佈範圍，並進一步針對該其餘區域43進行畫質優化處理後，再將處理後影像輸出至顯示器35顯示。

而且，如圖5所示，當眼球視線偵測單元32再次偵測到使用的眼球視線改變時，例如眼球視線的聚焦點P移動到顯示器的靠近中央位置時，則如上所述，影像處理單元21將立即根據眼球視線偵測單元32提供的偵測結果，重新定義當下接收到的一原始影像的眼球聚焦區域42及其餘區域43，並對其餘區域43的解析度及/或色彩深度進行適當調降之後，再傳送給顯示單元31，使顯示單元31顯示的影像中，使用者眼睛主要注視的眼球聚焦區域42的解析度及色彩深度保持最佳，其餘區域43的解析度及/或色彩深度則有限度的降低。

綜上所述，上述實施例藉由設置在頭戴式顯示裝置3的眼球視線偵測單元32，偵測使用者的眼球視線投向顯示器35的位置，並提供偵測結果給影像處理單元21，使根據該偵測結果定義輸入的一原始影像41的一眼球聚焦區域42及其餘區域43，並針對其餘區域43調降其解析度及色彩深色兩者其中之一，再將處理後影像傳輸至頭戴 式顯示裝置3的顯示單元31播放，藉此，使動態影像的資料量大幅降低，而減少影像處理單元21及顯示驅動器34處理動態影像的時間並減少資料傳輸頻寬，使得處理影像資料的成本降低，達到本發明的功效與目的。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

S1~S5‧‧‧步驟

Claims (14)

1. 一種影像低頻寬傳輸方法，該方法是以一頭戴式顯示系統實現，該頭戴式顯示系統包括一主機及一供一使用者配戴於頭部並與其雙眼對應的頭戴式顯示裝置；該方法包括：該主機的一影像處理單元接收一原始影像；該頭戴式顯示裝置的一眼球視線偵測單元偵測該使用者的一眼球視線，並將一偵測結果提供給該影像處理單元；該影像處理單元根據該偵測結果，定義該原始影像中的一眼球聚焦區域；該影像處理單元針對該原始影像中該眼球聚焦區域以外的一其餘區域進行影像處理，使該其餘區域的一第一解析度及一第一色彩深度兩者至少其中之一低於該眼球聚焦區域，以產生一處理後影像；及該影像處理單元將該處理後影像傳送給該頭戴式顯示裝置的一顯示單元，使顯示該處理後影像。
2. 如請求項1所述的影像低頻寬傳輸方法，其中該顯示單元包含一顯示器及一顯示驅動器，該影像處理單元將該處理後影像壓縮後，傳送至該顯示驅動器，使將壓縮後的該處理後影像解壓縮並顯示於該顯示器。
3. 如請求項1所述的影像低頻寬傳輸方法，其中該原始影像是一動態影像的其中一張影像畫面資料。
4. 如請求項1所述的影像低頻寬傳輸方法，其中該處理後 影像中，該眼球聚焦區域具有一第二解析度及一第二色彩深度，且該其餘區域的該第一解析度低於該第二解析度，或者該其餘區域的該第一色彩深度低於該第二色彩深度，或者該其餘區域的該第一解析度低於該第二解析度且該其餘區域的該第一色彩深度低於該第二色彩深度。
5. 如請求項4所述的影像低頻寬傳輸方法，其中該第二解析度及該第二色彩深度是該影像處理器可以支援的最大解析度及最大色彩深度。
6. 如請求項2所述的影像低頻寬傳輸方法，其中該影像處理單元還將該處理後影像之該眼球聚焦區域及該其餘區域的一範圍資訊傳送給該顯示驅動器，使該顯示驅動器根據該範圍資訊，對解壓縮後的該處理後影像中的該其餘區域進行畫質優化處理後，再輸出至該顯示器顯示。
7. 如請求項1至6其中任一項所述的影像低頻寬傳輸方法，其中該主機是整合在該頭戴式顯示裝置中。
8. 一種頭戴式顯示系統，包括：一主機，包含一影像處理單元，其接收一原始影像；一頭戴式顯示裝置，供一使用者配戴於頭部且與其雙眼對應，並包含：一顯示單元；及一眼球視線偵測單元，偵測該使用者的一眼球視線，並將一偵測結果提供給該影像處理單元，使 該影像處理單元根據該偵測結果，定義該原始影像中的一眼球聚焦區域，並針對該原始影像中該眼球聚焦區域以外的一其餘區域進行影像處理，使該其餘區域的一第一解析度及一第一色彩深度至少其中之一低於該眼球聚焦區域，以產生一處理後影像，並將該處理後影像傳送至該顯示單元，使顯示該處理後影像。
9. 如請求項8所述的頭戴式顯示系統，其中該主機還包括一與該影像處理單元電耦接的第一傳輸介面，且該頭戴式顯示裝置還包括一與該第一傳輸介面以有線或無線方式通訊的第二傳輸介面，且該眼球視線偵測單元是經由該第二傳輸介面及該第一傳輸介面，將該偵測結果傳送給影像處理單元；而該顯示單元包含一顯示器及一與該第二傳輸介面電耦接的顯示驅動器，而且該影像處理單元將該處理後影像壓縮後，經由該第一傳輸介面及該第二傳輸介面傳送壓縮後的該處理後影像至該顯示驅動器，使將壓縮後的該處理後影像解壓縮並顯示於該顯示器。
10. 如請求項8所述的頭戴式顯示系統，其中該原始影像是一動態影像的其中一張影像畫面資料。
11. 如請求項8所述的頭戴式顯示系統，其中該處理後影像中，該眼球聚焦區域具有一第二解析度及一第二色彩深度，而該其餘區域的該第一解析度低於該第二解析度，或者該其餘區域的該第一色彩深度低於該第二色彩深度 ，或者該其餘區域的該第一解析度低於該第二解析度且該其餘區域的該第一色彩深度低於該第二色彩深度。
12. 如請求項11所述的頭戴式顯示系統，其中該第二解析度及該第二色彩深度是該影像處理器可以支援的最大解析度及最大色彩深度。
13. 如請求項9所述的頭戴式顯示系統，其中該影像處理單元還將該處理後影像之該眼球聚焦區域及該其餘區域的一範圍資訊傳送給該顯示驅動器，使該顯示驅動器根據該範圍資訊，對解壓縮後的該處理後影像中的該其餘區域進行畫質優化處理後，再輸出至該顯示器顯示。
14. 如請求項8至13其中任一項所述的頭戴式顯示系統，其中該主機是整合在該頭戴式顯示裝置中。