TW201304504A - 被動式立體影像系統及其影像處理方法 - Google Patents

Abstract

本發明提供之被動式立體影像系統包含一被動式立體影像顯示裝置、一縮放模組及一亮度調整模組。該被動式立體影像顯示裝置包含N列顯示單位。該縮放模組係用以接收包含N列原始資料之一原始影像並合併該N列原始資料，以產生包含(N/2)列縮放後資料之一縮放後影像。該原始影像為一左眼影像或一右眼影像。該亮度調整模組則係用以調整該(N/2)列縮放後資料，以提高該縮放後影像之一整體亮度。

Description

被動式立體影像系統及其影像處理方法

本發明係與影像顯示系統相關，並且尤其與提升立體影像清晰度的技術相關。

隨著各種相關軟硬體技術的進步，商用和家用的立體影像顯示設備皆漸趨成熟，立體影像也成為多媒體領域中受到高度矚目的發展趨勢。現有的立體影像顯示技術大致包含主動式和被動式兩種，分述如下。

主動式立體影像顯示技術係於螢幕上先後交替播放左眼和右眼的影像。在播放左眼影像時，觀看者所佩戴的專用眼鏡會遮蔽其右眼。在播放右眼影像的時候，立體眼鏡則會遮蔽觀看者的左眼。觀看者的視覺系統會自動將雙眼在先後時間分別接收到的影像組合起來，成為立體影像。由於視覺暫留效應的關係，只要左眼影像和右眼影像更替的頻率夠快，觀看者並不會察覺眼前的景象在某些時間被立體眼鏡遮蔽。主動式顯示技術的缺點在於，兩端須設有無線溝通機制，才能令顯示設備上的畫面切換時立體眼鏡亦同步切換。因此，該立體眼鏡的價格較高，也較為笨重。更有甚者，一般人眼可容許之單一畫面更新頻率為60赫茲以上。倘若人眼目視以低於60赫茲頻率播放之影像資訊，視覺效果上會產生閃動(flicker)，並進一步造成人眼的不舒適感。因此，由於主動式立體影像顯示技術係於螢幕上先後交替播放左眼和右眼的影像，利用主動式顯示技術之顯示系統需支援雙倍於一般顯示系統之顯示頻率，始能於人眼視覺效果上達成相當之顯示頻率。換言之，主動式顯示技術只適用於能將畫面更新頻率提高為120赫茲的顯示系統，因此未被廣泛接受。

被動式立體影像顯示則是在同一畫面中同時呈現左眼影像和右眼影像。如圖一所示，畫面中的奇數列畫素R1、R2、R3...係對應於右眼影像，而偶數列畫素L1、L2、L3...係對應於左眼影像。以顯示器之縱向解析度為1080畫素的情況為例，該畫面包含兩個影像：540列的右眼影像資料和540列的左眼影像資料，兩者水平交錯。

被動式立體影像顯示器外部貼有偏光膜。舉例而言，對應於奇數列畫素R1、R2、R3...之偏光角度可被設計為45度，對應於偶數列畫素L1、L2、L3...之偏光角度可被設計為135度。相對應地，觀看者所佩戴的眼鏡之右眼鏡片僅容偏光角度為45度的光線通過，左眼鏡片則是僅容偏光角度為135度的光線通過，左右眼分別接收不同影像。同樣是利用人類的視覺特性，觀看者會將其左眼和右眼在同一時間分別接收到的影像組合起來，成為立體影像。

偏光膜的成本不高，整體而言，被動式立體影像顯示系統的價格較低，其專用眼鏡也較主動式系統所使用者簡單輕巧。因此，目前被動式立體影像顯示系統在市場上的接受度較高。

如上所述，圖一所示之畫面係由左右眼影像交錯排列而成，因此，供顯示的左眼影像資料和右眼影像資料之縱向解析度各僅有540畫素。然而，實際上一開始輸入之原始左眼影像資料和原始右眼影像資料原本的縱向解析度同樣皆為1080畫素。所以，原始左眼影像與原始右眼影像各自經由運算合併後而產生分別具有540畫素縱向解析度的右眼影像資料與左眼影像資料。最普遍的運算合併方式係將原始右(左)眼影像中相鄰的兩列畫素取平均值以產生一個供顯示的一列畫素。舉例而言，由原始右眼影像中最上方的第一列和第二列畫素取平均值，產生圖一畫面中的第一列畫素R1。同理，將原始右眼影像中最上方的第三列和第四列畫素取平均值可產生圖一畫面中的第三列畫素R2。這種做法的缺點在於，即便該顯示器之縱向解析度為1080畫素，觀看者左右眼各自所見的畫面之縱向解析度卻僅有540畫素，相當於原始影像的資訊量被減半。因此，觀看者可能會感覺影像的亮度不夠、細節不足、清晰度不佳。

為了解決被動式立體影像顯示器細節不足的問題，另有將畫面更新頻率加倍的先前技術，比方說，由60赫茲提高為120赫茲。換言之，除了以空間分離的概念區分左右眼影像，此先前技術更進一步採用時間分離的概念增加畫面解析度。於此先前技術中，原始左眼影像被分為兩組，原始右眼影像也被分為兩組。於1/120秒時，螢幕上呈現的畫面如圖二(A)，交錯包含原始右眼影像的奇數列資料(RO1、RO3、RO5...)及原始左眼影像中的奇數列資料(LO1、LO3、LO5...)。接著在2/120秒時，螢幕上呈現的畫面如圖二(B)，交錯包含原始右眼影像的偶數列資料(RO2、RO4、RO6...)及原始左眼影像中的偶數列資料(LO2、LO4、LO6...)。

如圖二(A)和圖二(B)所示，原始左眼影像和原始右眼影像中的所有資料都會被呈現在畫面上。同在1/60秒內，這種情況下進入觀看者之視覺系統的影像資訊會比圖一所示者多。因此，根據上述方式將畫面更新頻率加倍之後，觀看者確實會感覺影像的細節增加。然而，由於使用時間分離的概念，即便顯示系統之畫面更新頻率實質上已提高為120赫茲，對於人眼而言，其所視之單一畫面更新頻率仍相當於60赫茲。據此，圖二(A)和圖二(B)所示之先前技術變相地只適用於能將畫面更新頻率提高為120赫茲的顯示系統，因此未被廣泛接受。

為解決上述問題，本發明提出一種被動式立體影像系統及其影像處理方法。利用被動式立體影像系統本身的特性，根據本發明之系統及方法藉由提高影像的亮度，達到令觀看者感覺畫面細節增加的效果。

本發明提供一種被動式立體影像系統，其中包含一被動式立體影像顯示模組、一縮放模組及一亮度調整模組。被動式立體影像系統接收包含N列原始資料之一原始影像(一左眼影像或一右眼影像)。該縮放模組係用以依據N列原始資料產生包含(N/2)列縮放後資料之一縮放後影像。亮度調整模組則用來調整(N/2)列縮放後資料，以提高縮放後影像之整體亮度。經調整後之縮放後影像包含(N/2)列處理後資料，而此(N/2)列處理後資料將由設有偏光膜之該被動式立體影像顯示模組顯示。

從另一觀點來看，本發明也提供一種影像處理裝置，用以與設有偏光膜之一被動式立體影像顯示裝置協同運作。此影像處理裝置接收包含N列原始資料之一原始影像(一左眼影像或一右眼影像)，且包含一縮放模組和一亮度調整模組。縮放模組會依據N列原始資料產生包含(N/2)列縮放後資料之一縮放後影像。亮度調整模組可以調整(N/2)列縮放後資料，以提高縮放後影像之整體亮度。經調整後之縮放後影像包含(N/2)列處理後資料，而此(N/2)列處理後資料將由該被動式立體影像顯示裝置顯示。

從另一觀點來看，本發明還提供一種影像處理方法，用以配合設有偏光膜之一被動式立體影像顯示裝置。本發明之影像處理方法首先執行接收包含N列原始資料之一原始影像的步驟，其中原始影像為一左眼影像或一右眼影像。接著，此N列原始資料會被縮放，以產生包含(N/2)列縮放後資料之一縮放後影像。此影像處理方法隨後執行一調整步驟，來調整(N/2)列縮放後資料，以提高縮放後影像之整體亮度。

相較於典型的被動式立體影像系統，根據本發明之系統能提供具有更佳視覺清晰度的畫面。此外，根據本發明之方法可實施於畫面更新頻率無法調整的硬體，因此較將畫面更新頻率加倍的先前技術更具運用彈性。

關於本發明的優點與精神可以藉由以下發明詳述及所附圖式得到進一步的瞭解。

根據本發明之一具體實施例為一被動式立體影像系統，舉例而言，該系統可為一家用電視系統或一商用電影放映系統。如圖三之方塊圖所示，被動式立體影像系統30包含一被動式立體影像顯示模組32、一縮放模組34、一亮度調整模組36及一暫存器38。為明確呈現本發明的技術重點，被動式立體影像系統30中其他如喇叭等硬體裝置未繪示於圖中。

被動式立體影像顯示模組32包含N列顯示單位，N為一正偶數。於此實施例中，N等於被動式立體影像顯示模組32的縱向解析度。易言之，該N列顯示單位構成被動式立體影像顯示模組32的整個顯示畫面，但不以此為限。以被動式立體影像顯示模組32符合解析度為1920*1080之全高畫質(full high-definition,FHD)規格的情況為例，N即等於1080。在其他實施例中，該N列顯示單位可以只對應於被動式立體影像顯示模組32之顯示畫面的局部。

在被動式立體影像系統30接收包含N列原始資料之一原始影像後，縮放模組34依據該N列原始資料進行合併運算，以產生包含(N/2)列縮放後(scaled)資料之一縮放後影像，此處為一縮小(scale down)影像。以該原始影像為包含1080列原始資料的情況為例，縮放模組34將該1080列原始資料合併為540列的資料。該原始影像可為一原始左眼影像或一原始右眼影像。舉例而言，縮放模組34可先處理一原始左眼影像，接著再處理對應於同一個畫面的原始右眼影像，如此依序交替進行。

在一實施例中，縮放模組34可將原始影像中最上方的第一列和第二列畫素取平均值，產生第一列縮放後資料，將原始左眼影像中最上方的第三列和第四列畫素取平均值，產生第二列縮放後資料，依此類推。也就是說，縮放模組34所採用之合併運算方式可為將該N列原始資料中之一第(2i-1)列原始資料與一第2i列原始資料合併，以產生該(N/2)列縮放後資料中之一第i列縮放後資料，其中i為範圍在1到(N/2)間之一整數指標。或者，在其他實施例中，縮放模組34也可以根據更多列彼此鄰近的原始資料產生一列縮放後資料，不以兩列原始資料為限。

以圖一所示之畫面為例，若上述原始影像為原始左眼影像，則縮放模組34所產生之複數列縮放後資料可為左眼影像資料列L1、L2、L3...；相對地，若上述原始影像為原始右眼影像，則縮放模組34所產生之複數列縮放後資料可為右眼影像資料列R1、R2、R3...。由此可知，分別由縮放模組34產生的(N/2)列右眼縮放後資料與(N/2)列左眼縮放後資料，後續可再被結合為一張包含N列資料的影像。

亮度調整模組36接著調整該(N/2)列縮放後資料，以提高該縮放後影像之整體亮度。以圖一所示之影像為例，亮度調整模組36係藉由調整左眼影像資料列L1、L2、L3...，以提高對應於左眼之縮放後影像之亮度，並藉由調整右眼影像資料列R1、R2、R3...，以提高對應於右眼之縮放後影像之亮度。在一實施例中，假設亮度調整模組36先自縮放模組34接收並處理對應於左眼影像的(N/2)列縮放後資料，經亮度調整模組36調整完成的(N/2)列左眼處理後資料可以先被儲存在暫存器38中。待亮度調整模組36亦產生調整完成的(N/2)列右眼處理後資料後，暫存器38再將這總共N列的處理後資料提供給被動式立體影像顯示模組32顯示。

如先前所述，被動式立體影像顯示模組32外部貼有偏光膜，且觀看者所佩戴的眼鏡之右眼鏡片僅容偏光角度為一特定角度的光線通過，左眼鏡片則是僅容偏光角度為另一特定角度的光線通過，左右眼分別接收不同影像。也就是說，對觀看者的右眼而言，畫面中對應於左眼影像的橫向線條為黑線；對觀看者的左眼而言，畫面中對應於右眼影像的橫向線條為黑線。由於此特性的存在，亮度調整模組36提高影像的整體亮度之後，可令觀看者感覺畫面細節增加。本發明之精神即基於此一特性適當調整被動式立體影像並提高其整體亮度，以達到類似於銳利化(sharpening)之效果。以圖一所示之畫面為例，由於觀看者的右眼所見之左眼影像資料列L1、L2皆為黑線，提高右眼影像資料列R2的亮度即等同於提高資料列R2與其上下相鄰兩列的對比度，進而達到類似於將影像銳利化的效果。

於一實施例中，亮度調整模組36係藉由調整該等合併後資料於YUV色彩空間中之明亮度(luminance) Y以提高該縮放後影像之整體亮度。這種做法的好處在於，單獨調整明亮度Y不會對該影像原本的色度造成影響。但於其他實施例中，亮度調整模組36亦可藉由調整該等縮放後資料的RGB三色灰階值以提高該縮放後影像之亮度，不以此為限。

以調整明亮度Y的做法為例，縮放模組34所產生之一縮放後資料可能是由一第一原始資料及一第二原始資料經合併運算後產生。舉例而言，在先前的例子當中，第一列縮放後資料是由第一列原始資料與第二列原始資料經合併運算後產生。假設該第一原始資料具有第一亮度Y1，該第二原始資料具有第二亮度Y2，則亮度調整模組36可被設計為根據下列關係式決定該處理後資料所具有之處理後亮度Yc：

其中w1和w2分別為一加權係數，且w1和w2之和為1。

由以上關係式可看出，若加權係數w2愈大，處理後亮度Yc愈高。實務上，該等加權係數w1和w2可為固定之預設值，亦可被設計為與第一原始資料及第二原始資料各自之周邊影像相關。舉例而言，若第一原始資料及第二原始資料附近的影像區域變化較劇烈，則加權係數w2可被提高，以配合增加該區域的影像對比度。於其他實施例中，亮度調整模組36亦可被設計為根據其他原則提高或者降低該縮小影像之加權係數，不以上述者為限。

圖四係繪示縮放模組34與亮度調整模組36之一詳細實施範例。於此範例中，亮度調整模組36包含較大值選取單元36A、乘法器36B、乘法器36C及加法器36D。如圖四所示，暫存器39將第一原始資料(Y1,U1,V1)及第二原始資料(Y2,U2,V2)提供給縮放模組34，並另將第一原始資料及第二原始資料各自的亮度Y1、Y2提供給較大值選取單元36A。縮放模組34的輸出信號除了縮放後資料的色度U、V之外，還有傳送至乘法器36B的(Y1+Y2)/2。較大值選取單元36A會由Y1、Y2中選出較大者，傳送至乘法器36C。兩個乘法器分別提供乘以加權係數w1、w2的功能。加法器36D則是將加權後結果相加，以產生處理後資料的處理後亮度Y。

雖然上述亮度調整機制能達到類似於將影像銳利化以增強對比的效果，但其實施方式與一般的影像銳化處理程序不盡相同。舉例而言，一般的銳化程序是在將影像尺寸縮小後才執行，因此在影像縮小電路和銳化電路之間通常還須額外設置一個暫存器做為緩衝資料之用。在圖四之範例中，縮放模組34與亮度調整模組36則可共用同一個暫存器39。

根據本發明之另一具體實施例為一影像處理裝置，用以與設有偏光膜之被動式立體影像顯示裝置協同運作。該影像處理裝置包含如圖三所示之縮放模組34和亮度調整模組36。易言之，縮放模組34和亮度調整模組36可獨立存在，用以配合各種需要提高影像清晰度的被動式立體影像顯示裝置。

根據本發明之另一具體實施例為一影像處理方法，用以配合設有偏光膜之被動式立體影像顯示裝置。圖五為該影像處理方法的流程圖。該方法首先執行步驟S51，接收包含N列原始資料之一原始影像的步驟，其中該原始影像為一左眼影像或一右眼影像。接著，在步驟S52中，該N列原始資料被合併，以產生包含(N/2)列縮放後資料之一縮放後影像。該方法隨後執行步驟S53，調整該(N/2)列縮放後資料，以提高該縮放後影像之整體亮度，其中該縮放後影像包含(N/2)列處理後資料。

步驟S42中合併資料及步驟S43中提高整體亮度的詳細實施方式，皆可被設計為如先前其他實施例之相關說明中所述，因此不再贅述。

如上所述，利用被動式立體影像系統本身的特性，根據本發明之系統及方法藉由提高影像的整體亮度，達到令觀看者感覺畫面細節增加的效果。相較於典型的被動式立體影像系統，根據本發明之系統能提供具有更佳視覺清晰度的畫面。此外，根據本發明之方法可實施於畫面更新頻率無法調整的硬體，因此較將畫面更新頻率加倍的先前技術更具運用彈性。

藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。

30．．．被動式立體影像系統

32．．．被動式立體影像顯示模組

34．．．縮放模組

36．．．亮度調整模組

36A．．．較大值選取單元

36B、36C．．．乘法器

36D．．．加法器

38、39．．．暫存器

S51~S53．．．流程步驟

圖一為被動式立體影像畫面範例。

圖二(A)及圖二(B)為採用畫面更新頻率加倍技術之被動式立體影像畫面範例。

圖三為根據本發明之一具體實施例中的被動式立體影像系統方塊圖。

圖四係繪示根據本發明之亮度調整模組的詳細實施範例。

圖五為根據本發明之一具體實施例中的影像處理方法之流程圖。

30．．．被動式立體影像系統

32．．．被動式立體影像顯示模組

34．．．縮放模組

36．．．亮度調整模組

Claims (15)

1. 一種被動式立體影像系統，適於接收包含N列原始資料之一原始影像，其為一左眼影像或一右眼影像，且N為一正偶數，而該被動式立體影像系統包含：一被動式立體影像顯示模組，設有一偏光膜；一縮放模組，用以依據該N列原始資料產生一縮放後影像，包含(N/2)列縮放後資料；以及一亮度調整模組，用以調整該(N/2)列縮放後資料，以提高該縮放後影像之一整體亮度，經調整後之該縮放後影像包含(N/2)列處理後資料，其中該(N/2)列處理後資料係由該被動式立體影像顯示模組顯示。
2. 如申請專利範圍第1項所述之被動式立體影像系統，其中該縮放模組係將該N列原始資料中之一第(2i-1)列原始資料與一第2i列原始資料合併，以產生該(N/2)列縮放後資料中之一第i列縮放後資料，其中i為範圍在1到(N/2)間之一整數。
3. 如申請專利範圍第1項所述之被動式立體影像系統，其中該亮度調整模組係藉由調整該等縮放後資料於YUV色彩空間中之一明亮度以提高該縮放後影像之該整體亮度。
4. 如申請專利範圍第1項所述之被動式立體影像系統，其中一縮放後資料係由該縮放模組根據一第一原始資料及一第二原始資料所產生，該第一原始資料具有一第一亮度Y1，該第二原始資料具有一第二亮度Y2，對應於該縮放後資料之該處理後資料具有一處理後亮度Yc： 其中w1和w2分別為一加權係數，且w1和w2之和為1。
5. 如申請專利範圍第4項所述之被動式立體影像系統，其中該等加權係數w1和w2係與該第一原始資料及該第二原始資料所分別對應之一周邊影像相關。
6. 一種影像處理裝置，用以與設有一偏光膜之一被動式立體影像顯示裝置協同運作，該影像處理裝置接收包含N列原始資料之一原始影像，該原始影像為一左眼影像或一右眼影像，N為一正偶數，該影像處理裝置包含：一縮放模組，用以依據該N列原始資料產生一縮放後影像，包含N/2列縮放後資料；以及一亮度調整模組，用以調整該(N/2)列縮放後資料，提高該縮放後影像之一整體亮度，經調整後之該縮放後影像包含(N/2)列處理後資料，其中該(N/2)列處理後資料係由該被動式立體影像顯示裝置顯示。
7. 如申請專利範圍第6項所述之影像處理裝置，其中該縮放模組係將該N列原始資料中之一第(2i-1)列原始資料與一第2i列原始資料合併，以產生該(N/2)列縮放後資料中之一第i列縮放後資料，其中i為範圍在1到(N/2)間之一整數。
8. 如申請專利範圍第6項所述之影像處理裝置，其中該亮度調整模組係藉由調整該等縮放後資料於YUV色彩空間中之一明亮度以提高該縮放後影像之該整體亮度。
9. 如申請專利範圍第6項所述之影像處理裝置，其中一縮放後資料係由該縮放模組根據一第一原始資料及一第二原始資料所產生，該第一原始資料具有一第一亮度Y1，該第二原始資料具有一第二亮度Y2，對應於該縮放後資料之該處理後資料具有一處理後亮度Yc： 其中w1和w2分別為一加權係數，且w1和w2之和為1。
10. 如申請專利範圍第9項所述之影像處理裝置，其中該等加權係數w1和w2係與該第一原始資料及該第二原始資料所分別對應之一周邊影像相關。
11. 一種影像處理方法，用以配合設有一偏光膜之一被動式立體影像顯示裝置，該影像處理方法包含：(a)接收包含N列原始資料之一原始影像，其中該原始影像為一左眼影像或一右眼影像，N為一正偶數；(b)縮放該N列原始資料，以產生包含(N/2)列縮放後資料之一縮放後影像；以及(c)調整該(N/2)列縮放後資料，提高該縮放後影像之一整體亮度，經調整後之該縮放後影像包含(N/2)列處理後資料。
12. 如申請專利範圍第11項所述之影像處理方法，其中步驟(b)係將該N列原始資料中之一第(2i-1)列原始資料與一第2i列原始資料合併，以產生該(N/2)列縮放後資料中之一第i列縮放後資料，其中i為範圍在1到(N/2)間之一整數。
13. 如申請專利範圍第11項所述之影像處理方法，其中步驟(c)係藉由調整該等縮放後資料於YUV色彩空間中之一明亮度以提高該縮放後影像之該整體亮度。
14. 如申請專利範圍第11項所述之影像處理方法，其中於步驟(b)中，一縮放後資料係根據一第一原始資料及一第二原始資料所產生，該第一原始資料具有一第一亮度Y1，該第二原始資料具有一第二亮度Y2，對應於該縮放後資料之該處理後資料具有一處理後亮度Yc： 其中w1和w2分別為一加權係數，且w1和w2之和為1。
15. 如申請專利範圍第14項所述之影像處理方法，其中該等加權係數w1和w2係與該第一原始資料及該第二原始資料所分別對應之一周邊影像相關。