TWI502960B - 二維轉三維轉換裝置及其方法 - Google Patents

Description

二維轉三維轉換裝置及其方法

本發明是有關於一種二維轉三維轉換裝置及其方法，且特別是有關於一種實現局部影像轉換之二維轉三維轉換裝置及其方法。

三維(three dimensional)或立體(stereoscopic)電視或顯示器，已愈來愈受矚目。相較於二維(two dimepsional)或平面影像，三維影像能提供觀賞者較佳娛樂效果，並增進視覺享受。

一般來說，二維影像可藉由二維轉三維轉換技術，以轉換成三維影像。此種技術的實現仰賴與二維影像相對應之一張深度圖(depth map)。所謂的「深度」是指，人眼在看此影像中的物體時所感覺到物體的遠近程度，亦指兩眼的視差。

傳統在將二維影像轉換成三維影像時，是以全屏的轉換方式來進行。然而，對於某些二維影像如電腦針對視頻電話所提供之視訊畫面而言，其中可能有部分是適於以立體效果呈現之資訊如影片資訊，另有部分是不適於以立體效果呈現之資訊如網路瀏覽器內容、聊天的簡訊內容、工具列的文字、按鈕。此時，若以傳統的全屏的轉換方式將二維影像中的所有資訊轉換成三維資訊，這樣的三維影像會造成觀賞者在閱讀文字的困難，降低視覺感受。

本發明有關於一種二維轉三維轉換裝置及其方法，能以局部轉換的方式來將二維影像轉成三維影像，從而增進視覺感受。

根據本發明之一方面，提出一種二維轉三維轉換裝置，包括資料接收器、使用者介面、深度圖產生器、影像轉換器。資料接收器用以接收二維影像的影像資料。使用者介面用以指定預定框的定位資料。預定框代表二維影像中的一個影像範圍。深度圖產生器用以依據二維影像的影像資料與預定框的定位資料產生深度圖。深度圖包含二維影像的深度資料。影像轉換器用以依據深度圖的深度資料與預定框的定位資料，將二維影像的影像資料轉成三維影像的影像資料。

根據本發明之一方面，提出一種二維轉三維轉換方法，包括多個步驟。由二維轉三維轉換裝置接收二維影像的影像資料。由二維轉三維轉換裝置指定預定框的定位資料。預定框代表二維影像中的一個影像範圍。由二維轉三維轉換裝置依據二維影像的影像資料與預定框的定位資料產生深度圖。深度圖包含二維影像的深度資料。由二維轉三維轉換裝置依據深度圖的深度資料與預定框的定位資料，將二維影像的影像資料轉成三維影像的影像資料。

根據本發明之一方面，提出一種二維轉三維轉換方法，包括：接收一二維影像；將二維影像之一部份影像轉成一三維影像；以及輸出三維影像以及二維影像中該部分影像以外的二維影像。

根據本發明之一方面，提出一種二維轉三維轉換裝置，包括資料接收器、使用者介面、深度圖產生器、影像轉換器。資料接收器用以接收一二維影像。使用者介面用以指定二維影像之一部份影像。深度圖產生器用以產生二維影像之一深度圖。影像轉換器用以依據深度圖，將二維影像之部份影像轉成一三維影像，並輸出三維影像以及二維影像中部分影像以外的二維影像。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。

以下揭露二維轉三維轉換裝置及其方法之實施例。在一些實施例中，二維轉三維轉換裝置以局部轉換的方式來將二維影像轉成三維影像。換言之，一部分的二維影像會呈現立體顯示效果，另一部分的二維影像則以預設的深度資料來呈現平面顯示效果。如此，能讓觀賞者在感受三維影像的同時，仍能方便地閱讀二維影像中之文字資訊，從而增進視覺感受。

請參照第1圖，其繪示依照本發明實施例之二維轉三維轉換方法。於步驟S110中，由二維轉三維轉換裝置接收二維影像的影像資料。於步驟S120中，由二維轉三維轉換裝置指定預定框的定位資料。預定框代表二維影像中的一個影像範圍。於步驟S130中，由二維轉三維轉換裝置依據二維影像的影像資料與預定框的定位資料產生深度圖。深度圖包含二維影像的深度資料。於步驟S140中，由二維轉三維轉換裝置依據深度圖的深度資料與預定框的定位資料，將二維影像的影像資料轉成三維影像的影像資料。預定框的使用代表二維轉三維轉換裝置能以局部轉換的方式來將二維影像轉成三維影像，藉以增進視覺感受。

請參照第2圖，其繪示依據本發明實施例之二維轉三維轉換裝置及其使用環境之一例之方塊圖。

二維轉三維轉換裝置110、二維影像來源120、三維顯示裝置130形成三維影像顯示系統10。於此例中，係繪示三維影像顯示系統10之部分元件以方便說明，於實作中，三維影像顯示系統10可更複雜而具有其他未繪示於此之元件或電路。

二維轉三維轉換裝置110包括資料接收器111、使用者介面112、深度圖產生器113、影像轉換器114。二維轉三維轉換裝置110例如是以軟體或硬體的方式來實現其各個組成元件或電路。二維轉三維轉換裝置110用以將一張二維影像轉的資料換成三維影像的資料。二維轉三維轉換裝置110例如是將三維影像的資料傳送至三維顯示裝置130，如三維或立體電視或顯示器，以呈現具有立體效果的三維影像。

資料接收器111用以接收二維影像的影像資料。資料接收器111例如是連接至二維影像來源120如電腦或其他電子裝置。資料接收器111例如是從二維影像來源120接收一張靜態影像如照片(photo)、或接收動態影片其中的一張影格(frame)。

使用者介面112用以指定預定框的定位資料。預定框代表二維影像中的一個影像範圍，或代表二維影像之一部份影像。預定框在二維影像中所代表的影像範圍能用來界定二維影像中的哪一部分欲呈現立體顯示效果、而哪一部分欲呈現平面顯示效果。

於一些實施例中，使用者介面112例如是呈現一個畫面供使用者預覽，以待使用者從畫面中選取一個影像範圍。當使用者選取一個影像範圍時，影像範圍內的影像資料可視為是欲呈現立體顯示效果的部分，而影像範圍外的影像資料可視為是欲呈現平面顯示效果的部分。

於一些實施例中，使用者介面112會針對所選的影像範圍來產生對應的預定框定位資料。預定框的定位資料例如是座標資料、或一中心點及其涵蓋區域的資料。具有通常知識者應知，預定框的定位資料可以多種實施態樣來代表其所涵蓋的影像範圍，並不限於此處所揭露者。

深度圖產生器113連接至資料接收器111與使用者介面112。深度圖產生器113用以依據二維影像的影像資料與預定框的定位資料產生一深度圖。

深度圖包含二維影像的深度資料。深度圖例如是一張影像或影像通道(image channel)，其影像資料即為深度資料，或稱Z軸資料。每個深度資料代表著受體(場景物件)表面與授體(攝影機或觀賞者)之間在某個視角下的距離。

於一些實施例中，針對二維影像之一筆影像資料，深度圖產生器113判斷該影像資料是否涵蓋在預定框內，並依據判斷結果產生對應的一筆深度資料。

當該影像資料的位置被判定涵蓋在預定框內時，深度圖產生器113可對該影像資料進行深度估測。於實作中，深度圖產生器113可使用各種演算法來估測場景的深度資訊，如基於二維照片轉三維演算法、或二維影片轉三維演算法。有關二維照片轉三維演算法，其例如是使用圖樣識別的技術，以識別出影像中的場景或物件。至於二維影片轉三維演算法，則例如可參考其他張影格來作為場景或物件的識別基礎。

當該影像資料的位置被判定不涵蓋在預定框內時，深度圖產生器113產生一預設深度資料，如平面深度資料。換言之，深度圖產生器113針對落在預定框內的影像資料指定一代表平面顯示效果的深度資料，如零。

如此，預定框內的二維影像會具有立體顯示效果，而預定框外的二維影像則以預設的深度資料來呈現平面顯示效果，從而實現局部之二維轉三維轉換技術。

於上述實施例中，深度圖產生器113例如是仰賴各種演算法來分析或估測二維影像中各影像資料的深度資訊或深度值。然本發明亦不限於此。於其他實施例中，深度圖產生器113也可直接從外部接收二維影像的深度圖。如此，對於預定框外的影像資料，深度圖產生器113便會更新其等於深度圖中所對應的深度資訊，如更新為代表平面顯示效果的深度資料。

再者，於其他實施例中，深度圖產生器113也可先對二維影像進行全屏的深度估測，而產生完整的深度圖，再對深度圖以遮罩或過濾的方式，來濾掉(如歸零)預定框外的深度資料，並保留預定框內的深度資料。

影像轉換器114連接至資料接收器111、使用者介面112、與深度圖產生器113。影像轉換器114用以依據深度圖的深度資料與預定框的定位資料，將二維影像的影像資料轉成三維影像的影像資料。

於一些實施例中，影像轉換器114例如是使用深度影像繪圖法(depth-image-based rendering,DIBR)之轉換器，以產生至少一張自原始二維影像進行移位後的位移影像，如產生兩張影像(左眼影像及右眼影像)，或產生多張的視角影像，以供三維顯示裝置130產生立體效果的三維影像。

如此，預定框內的影像資料會有適當的深度資料配合以呈現立體效果，而預定框外的影像資料則是以預設的深度資料來呈現平面顯示效果。此種以局部轉換的方式來將二維影像轉成三維影像的作法，能讓觀賞者在感受三維影像的同時，仍能方便地閱讀二維影像中之文字資訊，從而增進視覺感受。

舉例來說，對於電腦針對視頻電話程式所提供的顯示畫面來說，此種顯示畫面通常有一個視窗呈現視頻電話的視訊內容，而視窗外的周圍部分則例如是其他適用於以平面效果來顯示的資訊，如網路瀏覽器內容、聊天的簡訊內容、工具列的文字、按鈕。此時，若以傳統的全屏的轉換方式將二維影像中的所有資訊轉換成三維資訊，將會降低視覺感受。然而，於局部轉換方式中，預定框能用來圈選出欲以立體效果來呈現的畫面範圍，讓觀賞者在感受以立體效果呈現之視訊內容的同時，也便方便地閱讀以平面效果來呈現的文字資訊。

請參照第3圖，其繪示依據本發明實施例之二維轉三維轉換裝置及其使用環境之另一例之方塊圖。

於三維影像顯示系統30中，二維轉三維轉換裝置300與二維轉三維轉換裝置110不同之處在於，二維轉三維轉換裝置300更包括多工器115。多工器115的使用讓本實施例之二維轉三維轉換裝置300有更高的使用彈性，從而提昇使用方便性。

多工器115連接至資料接收器111、使用者介面112、與影像轉換器114。多工器115用以依據使用者介面112的控制，選擇性地輸出二維影像或三維影像的影像資料。

舉例來說，多工器115可依據預定框的定位資料，來得知二維影像的資料轉換範圍是局部或全屏。若為局部，則多工器115將通道CH1的訊號輸出；若為全屏，則多工器115將通道CH2的訊號輸出。

另舉例來說，多工器115可依據使用者介面112之選擇訊號，如代表致能或除能狀態的訊號位準，來選擇將通道CH1或通道CH2的訊號作輸出。

如此，二維轉三維轉換裝置能選擇性地以局部或全屏的轉換方式來呈現具立體效果的影像，故能增加使用彈性，並提昇使用方便性。

本實施例之二維轉三維轉換裝置及其方法之實施例，藉由局部轉換的方式來將二維影像轉成三維影像，使一部分的二維影像呈現立體顯示效果，另一部分的二維影像以預設的深度資料來呈現平面顯示效果。如此，能讓觀賞者在感受三維影像的同時，仍能方便地閱讀二維影像中之文字資訊，從而增進視覺感受。

綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10、30．．．三維影像顯示系統

110、310．．．二維轉三維轉換裝置

111．．．資料接收器

112．．．使用者介面

113．．．深度圖產生器

114．．．影像轉換器

115．．．多工器

120．．．二維影像來源

130．．．三維顯示裝置

200．．．伺服器系統

CH1、CH2．．．通道

S110~S140．．．流程步驟

第1圖繪示依照本發明實施例之二維轉三維轉換方法。

第2圖繪示依據本發明實施例之二維轉三維轉換裝置及其使用環境之一例之方塊圖。

第3圖繪示依據本發明實施例之二維轉三維轉換裝置及其使用環境之另一例之方塊圖。

S110~S140．．．流程步驟

Claims (16)

1. 一種二維轉三維轉換裝置，包括：一資料接收器，用以接收一二維影像的影像資料；一使用者介面，用以指定一預定框的定位資料，該預定框代表該二維影像中的一影像範圍；一深度圖產生器，用以依據該二維影像的影像資料與該預定框的定位資料產生一深度圖，該深度圖包含該二維影像的深度資料；以及一影像轉換器，用以依據該深度圖的深度資料與該預定框的定位資料，將該二維影像的影像資料轉成一三維影像的影像資料。
2. 如申請專利範圍第1項所述之二維轉三維轉換裝置，更包括：一多工器，用以依據該使用者介面的控制，選擇性地輸出該二維影像或該三維影像的影像資料。
3. 如申請專利範圍第1項所述之二維轉三維轉換裝置，其中，針對該二維影像之一筆影像資料，該深度圖產生器判斷該影像資料是否涵蓋在該預定框內，並依據判斷結果產生對應的一筆深度資料。
4. 如申請專利範圍第3項所述之二維轉三維轉換裝置，其中，當該影像資料的位置被判定不涵蓋在該預定框內時，該深度圖產生器產生一預設深度資料。
5. 如申請專利範圍第4項所述之二維轉三維轉換裝置，其中，該預設深度資料為一平面深度資料。
6. 一種二維轉三維轉換方法，包括：由一二維轉三維轉換裝置接收一二維影像的影像資料；由該二維轉三維轉換裝置指定一預定框的定位資料，該預定框代表該二維影像中的一影像範圍；由該二維轉三維轉換裝置依據該二維影像的影像資料與該預定框的定位資料產生一深度圖，該深度圖包含該二維影像的深度資料；以及由該二維轉三維轉換裝置依據該深度圖的深度資料與該預定框的定位資料，將該二維影像的影像資料轉成一三維影像的影像資料。
7. 如申請專利範圍第6項所述之二維轉三維轉換方法，更包括：由該二維轉三維轉換裝置選擇性地輸出該二維影像或該三維影像的影像資料。
8. 如申請專利範圍第6項所述之二維轉三維轉換方法，其中，產生該深度圖的步驟包括：該二維轉三維轉換裝置判斷該二維影像之一筆影像資料是否涵蓋在該預定框內，並依據判斷結果產生對應的一筆深度資料。
9. 如申請專利範圍第8項所述之二維轉三維轉換方法，其中，產生該深度圖的步驟更包括：當該影像資料的位置被判定不涵蓋在該預定框內時，該二維轉三維轉換裝置產生一預設深度資料。
10. 如申請專利範圍第9項所述之二維轉三維轉換方法，其中，該預設深度資料為一平面深度資料。
11. 一種二維轉三維轉換方法，包括：接收一二維影像；依據該二維影像的影像資料與一預定框的定位資料產生一深度圖；依據該深度圖將該二維影像之一部份影像轉成一三維影像；以及輸出該三維影像以及該二維影像中該部分影像以外的該二維影像。
12. 如申請專利範圍第11項所述之二維轉三維轉換方法，其中，輸出該二維影像中該部分影像以外的該二維影像之步驟包括：將該二維影像中該部分影像以外的該二維影像轉成另一三維影像，該另一三維影像係依據一預設深度資料而被產生；以及輸出該另一三維影像。
13. 如申請專利範圍第12項所述之二維轉三維轉換方法，其中，該預設深度資料為一平面深度資料。
14. 一種二維轉三維轉換裝置，包括：一資料接收器，用以接收一二維影像；一使用者介面，用以指定該二維影像之一部份影像；一深度圖產生器，用以產生該二維影像之該部份影像之一深度圖；一影像轉換器，用以依據該深度圖，將該二維影像之該部份影像轉成一三維影像，並輸出該三維影像以及該二維影像中該部分影像以外的該二維影像。
15. 如申請專利範圍第14項所述之二維轉三維轉換裝置，其中，該影像轉換器依據一預設深度資料將該二維影像中該部分影像以外的該二維影像轉成另一三維影像，並輸出該另一三維影像。
16. 如申請專利範圍第15項所述之二維轉三維轉換裝置，其中，該預設深度資料為一平面深度資料。