TW201325200A - 三維視訊的景深圖的壓縮方法、裝置、電腦可讀取記錄媒體及電腦程式產品 - Google Patents

Abstract

在此提供一種三維視訊的景深圖的壓縮方法及裝置，此壓縮裝置包括：邊緣偵測模組、均勻化模組以及壓縮編碼模組。本揭露的方法對三維視訊中一圖框的景深圖進行邊緣偵測，當圖框中的至少一巨集塊沒有物體邊緣通過時，對這種巨集塊進行均勻化處理，再對景深圖進行編碼。因此，本揭露對景深圖進行壓縮編碼時，可能降低其資料量。

Description

三維視訊的景深圖的壓縮方法、裝置、電腦可讀取記錄媒體及電腦程式產品

本揭露是有關於一種三維(three dimension，簡稱3D)視訊的技術，且特別是有關於一種三維視訊的景深圖(depth map)的壓縮方法。

隨著近年來3D風潮再起，各類的影音娛樂商品也搭上這股潮流，推出像是3D電影、3D遊戲等數位內容，而消費性電子產品也不斷的推出支援觀看甚至自製3D內容的新產品，像是3D螢幕、3D相機、3D攝影機等，可以看出各大消費性電子廠商都想搶佔先機。然而，目前在製作3D影片這方面，並沒有一個通用的影片壓縮標準，這點將造成影片的不相容，也就是影片可能沒辦法在每一台終端設備上播放，因而對3D數位內容的推廣造成了阻礙。

動態影像專家組(Moving Picture Experts Group，簡稱MPEG)組織正在制定一個新的3D影片壓縮標準，這個標準希望能夠僅使用2到3圖框(frame)彩色的紋理影像(texture image)及灰階的景深圖，來產生多個圖框的虛擬影像，以做到多視點(multi-view)觀看之目的。前述的紋理影像為攝影機拍攝的自然影像，而景深圖一般為8位元的灰階影像，其中的每一像素值代表物體距離攝影機的遠近，也就是說景深圖展現的是物體間在空間座標的相對應關係，而與物體本身的色彩無關。

圖1為一種使用3圖框的紋理影像及景深圖來合成9圖框的多視點影像的方塊示意圖，請參考圖1。圖中每一個紋理影像稱為一個視點(view)，用V1,V2…V9代表視點的編號，藉由景深影像為基礎渲染(Depth Image Based Rendering，簡稱DIBR)的演算法，使用3圖框的紋理影像及景深圖，來合成9個視點。故當觀眾站在不同的位置來觀看時，例如：位置1(Pos1)、位置2(Pos2)或位置3(Pos3)等，讓左右眼接收到對應的紋理影像就可以做到多視點這個功能，也就是說，不管從哪個角度來觀看，只要讓左右眼接收到對應的影像就能觀賞到3D的效果。

根據一實施範例，提供一種三維視訊的景深圖(depth map)的壓縮方法，包括下列步驟。步驟之一是對三維視訊中一圖框(frame)的景深圖進行邊緣偵測(edge detection)。步驟之另一是當圖框中的至少一巨集塊(macroblock)沒有物體邊緣通過時，對這種巨集塊進行均勻化處理。步驟之又一是對景深圖進行編碼。

根據一實施範例，提供一種三維視訊的景深圖的壓縮裝置，其包括：邊緣偵測模組、均勻化模組以及壓縮編碼模組。邊緣偵測模組對三維視訊中一圖框的景深圖進行邊緣偵測。均勻化模組耦接至邊緣偵測模組，當圖框中的巨集塊沒有物體邊緣通過或不屬於邊緣區域中的巨集塊時，均勻化模組對巨集塊進行均勻化處理。壓縮編碼模組耦接至均勻化模組，壓縮編碼模組對均勻化後的景深圖進行編碼。

根據一實施範例，提供一種內儲程式的電腦可讀取記錄媒體，當電腦載入前述程式並執行後，可完成如前述之方法。

根據一實施範例，提供一種電腦程式產品，當電腦載入前述電腦程式並執行後，可完成如前述之方法。

基於上述，本揭露對非邊緣區域中的巨集塊或沒有物體邊緣通過的巨集塊進行均勻化處理。因此，對景深圖進行壓縮編碼時，本揭露可能降低其資料量。

為讓本揭露之上述特徵和優點能更明顯易懂，下文特舉實施範例，並配合所附圖式作詳細說明如下。

三維視訊中的景深圖(depth map)具有如下的特性：(1)對於圖片裡缺乏圖形特徵的區域，例如：相同顏色且距離相近的一片區域、單純沒有其他物體的區域、距離逐漸變化的區域等等，對這種區域進行拍攝或其他處理，而所獲得相對應的景深圖中的像素值，亦即景深值，容易得到類似雜訊的錯誤結果，也就是產生錯誤的視差。(2)使用紋理影像及景深圖來合成視點影像，所合成的影像對景深圖裡物體的邊緣錯誤很敏感，錯誤的邊緣會造成合成影像中物體的邊緣產生破碎的圖像。結合前述兩點，如果能適當的消去一些景深圖本身的雜訊，並保留物體邊緣的重要資訊，原則上，可以在不降低視訊影片品質的情況下，減少視訊壓縮後的資料量。

在此揭露一種新的三維視訊的景深圖的壓縮方法，如圖2所示，圖2為一種三維視訊的景深圖的壓縮方法的實施範例的流程圖，請參照圖2。步驟S210是對三維視訊中一圖框(frame)的景深圖進行邊緣偵測(edge detection)。待處理的三維視訊的資料包括多個圖框的紋理影像及景深圖的資料串流，首先針對一個圖框的景深圖進行邊緣偵測，進行邊緣偵測的方法可以有很多種，本揭露並不限制，例如：索貝爾(Sobel)方法、Prewitt方法、羅伯特(Roberts)方法、高斯的拉普拉斯(Laplacian of Gaussian)方法、零跨越(zero-cross)方法或坎尼(Canny)方法等等，都可以對景深圖進行邊緣偵測。

執行過步驟S210後，就可以知道景深圖中各物體的邊緣在哪裡。步驟S220是當圖框中的至少一巨集塊(at least one macroblock)沒有物體邊緣通過時，對這種沒有物體邊緣通過的巨集塊進行均勻化處理。巨集塊一般為4x4、8x8或16x16個像素所組成，但本揭露並未限制。一個圖框的景深圖可以分解成眾多個巨集塊，例如：1024x768的景深圖可以分解成128x92個8x8的巨集塊，一個圖框中沒有物體邊緣通過的巨集塊可能有很多，故要針對所有沒有物體邊緣通過的巨集塊進行均勻化處理可以有很多種方法，以下將步驟S220細分成數個步驟為例。

步驟S221是於圖框中選擇一開始巨集塊為一目前巨集塊。一般巨集塊是依照由左而右由上而下的次序來處理，故開始巨集塊一般為左上角的第一個巨集塊，但本揭露並未限制，開始巨集塊也可以是其他位置的巨集塊，處理的順序也可能是如Z字型等等的順序。步驟S222是判斷此目前巨集塊有沒有物體邊緣通過，當目前巨集塊有物體邊緣通過時執行步驟S223，當目前巨集塊沒有物體邊緣通過時執行步驟S224。步驟S223是當目前巨集塊有物體邊緣通過時，則保留目前巨集塊中的像素值，亦即，不變更或不處理目前巨集塊中的景深值，將此時的資料串流略過或是直接儲存等等。步驟S224是當目前巨集塊沒有物體邊緣通過時，則對目前巨集塊進行均勻化處理。均勻化處理的方法有很多種，可以對目前巨集塊使用中值濾波器(median filter)或是一些如巴特沃斯濾波器(Butterworth filter)或高斯濾波器(Gaussian filter)等的低通濾波器(low pass filter)，來消除可能是雜訊的訊號，達到均勻化處理之目的。另外，也可以用平均值將目前巨集塊中每個像素的像素值取代，例如：先計算目前巨集塊的所有像素的算術平均值，接著以此平均值來取代目前巨集塊中每個像素的像素值。但本揭露並未限定一定要使用前述方法，任何可以進行均勻化處理的方法皆可。步驟S225是判斷是否所有的巨集塊都被選擇過，當還有巨集塊沒被選擇過時，則執行步驟S226，亦即，於該圖框中選擇另一巨集塊，並使其為目前巨集塊，再回到步驟S222去執行。當所有的巨集塊都被選擇過時，則執行步驟S230。簡言之，就是於圖框中選擇另一巨集塊為目前巨集塊，重複步驟S222、步驟S223及步驟S224這3個步驟，直到圖框中所有的巨集塊都被選擇過為止。

步驟S230是對景深圖進行編碼。經過前述步驟處理完的景深圖再經過H.264或是進階視訊編碼(Advanced Video Coding，簡稱AVC)的I圖像(Intra pictures)的intra coding的壓縮編碼，或其他任何有關三維視訊的壓縮編碼後，其檔案大小會比原先沒經過前述步驟處理就以intra coding來壓縮編碼的資料串流來的小。

前述步驟S225為判斷是否所有的巨集塊都被選擇過，但並非用以限定本揭露，也可以是只選擇圖框中部份的巨集塊，本揭露並不限制圖框中所有的巨集塊都要被選擇過。

另一種實施範例可以是先找出景深圖裡物體的邊緣區域以及非邊緣區域，再針對非邊緣區域中的巨集塊進行均勻化處理，請再參照圖2的流程圖。步驟S210中對三維視訊中一圖框的景深圖進行邊緣偵測，可以還找出邊緣區域以及非邊緣區域，所謂邊緣區域包括所有有物體邊緣通過的巨集塊，但本揭露並未限定，邊緣區域也可以是包括所有有物體邊緣通過的巨集塊以及與其相鄰的巨集塊，或以有物體邊緣通過的巨集塊為中心範圍更廣的區域等等。前述非邊緣區域為圖框中除了邊緣區域外的巨集塊的集合。

此實施範例針對非邊緣區域的巨集塊進行均勻化。因此，步驟S220就可以是對非邊緣區域中的每一巨集塊進行均勻化處理，而步驟S222就可以是判斷目前巨集塊是否屬於非邊緣區域，當目前巨集塊屬於非邊緣區域時，對目前巨集塊進行均勻化處理。

又一種實施範例可以是先找出景深圖裡物體的邊緣區域，當巨集塊不屬於邊緣區域時就進行均勻化處理，請再參照圖2的流程圖。步驟S210中對三維視訊中一圖框的景深圖進行邊緣偵測，可以還找出邊緣區域。此邊緣區域的定義與前一實施範例相同或類似。此種實施範例中步驟S220可以是當圖框中的至少一巨集塊不屬於前述邊緣區域時，對這種巨集塊進行均勻化處理，而步驟S222可以是判斷目前巨集塊是否屬於邊緣區域，當目前巨集塊不屬於邊緣區域時，對目前巨集塊進行均勻化處理。

前述方法的步驟S230中是在整個圖框的巨集塊被選擇過後，才針對整個景深圖進行壓縮編碼，但非以限定本揭露，所謂對景深圖進行編碼，也可以解釋為針對景深圖中每一個巨集塊進行壓縮編碼，則此步驟變成可以放在進入判斷步驟S225之前，其結果並不會對本揭露的技術發生影響。

本揭露的另一種實施範例是一種內儲程式的電腦可讀取記錄媒體，當電腦載入前述程式並執行後，可完成如同前述的壓縮方法。本揭露的又一種實施範例是一種電腦程式產品，當電腦載入前述電腦程式並執行後，可完成如同前述的壓縮方法。

圖3為一種三維視訊的景深圖的壓縮裝置的實施範例的方塊圖。請參照圖3。圖3中的壓縮裝置包括：邊緣偵測模組510、均勻化模組520以及壓縮編碼模組530。邊緣偵測模組510對三維視訊中一圖框的景深圖進行邊緣偵測。均勻化模組520耦接至邊緣偵測模組510，當圖框中的巨集塊沒有物體邊緣通過或不屬於邊緣區域中的巨集塊時，均勻化模組520對巨集塊進行均勻化處理。壓縮編碼模組530耦接至均勻化模組520，壓縮編碼模組530對均勻化後的景深圖進行編碼。此裝置中的運作方法與原理與前述方法相同故不再贅述。

基於上述，本揭露對非邊緣區域中的巨集塊或沒有物體邊緣通過的巨集塊進行均勻化處理。因此，對景深圖進行壓縮編碼的時候，本揭露可能降低其資料量。

雖然本揭露已以實施範例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾，故本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

510．．．邊緣偵測模組

520．．．均勻化模組

530．．．壓縮編碼模組

D1,D5,D9．．．景深圖

DIBR．．．景深影像為基礎渲染演算法

Pos1,Pos2,Pos3．．．位置1，位置2，位置3

S210~S230．．．用以說明圖2的實施範例的各步驟

V1~V9．．．紋理影像

圖1為一種使用3圖框的紋理影像及景深圖來合成9圖框的多視點影像的方塊示意圖。

圖2為一種三維視訊的景深圖的壓縮方法的實施範例的流程圖。

圖3為一種三維視訊的景深圖的壓縮裝置的實施範例的方塊圖。

S210~S230．．．用以說明圖2的實施範例的各步驟

Claims (15)

1. 一種三維視訊的景深圖的壓縮方法，執行於一三維視訊的景深圖的壓縮裝置，該壓縮方法包括：對三維視訊中一圖框的景深圖進行邊緣偵測；當該圖框中的至少一巨集塊沒有物體邊緣通過時，對該巨集塊進行一均勻化處理；以及對景深圖進行編碼。
2. 如申請專利範圍第1項所述之三維視訊的景深圖的壓縮方法，其中當該圖框中的至少一巨集塊沒有物體邊緣通過時，對該巨集塊進行該均勻化處理的步驟，包括：於該圖框中選擇一開始巨集塊為一目前巨集塊；判斷該目前巨集塊有沒有物體邊緣通過；當該目前巨集塊有物體邊緣通過時，保留該目前巨集塊中的像素值；當該目前巨集塊沒有物體邊緣通過時，對該目前巨集塊進行該均勻化處理；以及於該圖框中選擇另一巨集塊為該目前巨集塊，重複前3個步驟，直到該圖框中所有或部分的巨集塊都被選擇過為止。
3. 如申請專利範圍第1項所述之三維視訊的景深圖的壓縮方法，其中對該巨集塊進行該均勻化處理的步驟，包括：計算該巨集塊的所有像素的一平均值；以及以該平均值來取代該巨集塊中每個像素的像素值。
4. 如申請專利範圍第1項所述之三維視訊的景深圖的壓縮方法，其中對該巨集塊進行該均勻化處理的步驟，包括：對該巨集塊使用中值濾波器、巴特沃斯濾波器或高斯濾波器。
5. 如申請專利範圍第1項所述之三維視訊的景深圖的壓縮方法，其中進行邊緣偵測的方法為索貝爾(Sobel)方法、Prewitt方法、羅伯特(Roberts)方法、高斯的拉普拉斯(Laplacian of Gaussian)方法、零跨越(zero-cross)方法或坎尼(Canny)方法。
6. 如申請專利範圍第1項所述之三維視訊的景深圖的壓縮方法，其中，對景深圖進行邊緣偵測的步驟，還找出一邊緣區域以及一非邊緣區域，該邊緣區域包括所有有物體邊緣通過的巨集塊，該非邊緣區域為該圖框中除了該邊緣區域外的巨集塊的集合，則對沒有物體邊緣通過的該巨集塊進行該均勻化處理的步驟包括：對該非邊緣區域中的每一巨集塊進行該均勻化處理。
7. 如申請專利範圍第6項所述之三維視訊的景深圖的壓縮方法，其中對該非邊緣區域中的每一巨集塊進行該均勻化處理的步驟，包括：於該圖框中選擇一開始巨集塊為一目前巨集塊；判斷該目前巨集塊是否屬於該非邊緣區域；當該目前巨集塊屬於該非邊緣區域時，對該目前巨集塊進行該均勻化處理；以及於該圖框中選擇另一巨集塊為該目前巨集塊，重複前2個步驟，直到該圖框中所有的巨集塊都被選擇過為止。
8. 如申請專利範圍第6項所述之三維視訊的景深圖的壓縮方法，其中邊緣區域是包括所有有物體邊緣通過的巨集塊以及與其相鄰的巨集塊。
9. 如申請專利範圍第6項所述之三維視訊的景深圖的壓縮方法，其中邊緣區域是包括以有物體邊緣通過的巨集塊為中心範圍更廣的區域。
10. 一種三維視訊的景深圖的壓縮裝置，包括：一邊緣偵測模組，用以對三維視訊中一圖框的景深圖進行邊緣偵測；一均勻化模組，耦接至該邊緣偵測模組，當該圖框中的巨集塊沒有物體邊緣通過或不屬於一邊緣區域中的巨集塊時，對巨集塊進行一均勻化處理；以及一壓縮編碼模組，耦接至該均勻化模組，用以對均勻化後的景深圖進行編碼。
11. 如申請專利範圍第10項所述之三維視訊的景深圖的壓縮裝置，其中該均勻化模組計算巨集塊的所有像素的一平均值，且以該平均值來取代巨集塊中每個像素的像素值。
12. 如申請專利範圍第10項所述之三維視訊的景深圖的壓縮裝置，其中該均勻化模組對巨集塊使用中值濾波器、巴特沃斯濾波器或高斯濾波器。
13. 如申請專利範圍第10項所述之三維視訊的景深圖的壓縮裝置，其中該邊緣偵測模組使用索貝爾(Sobel)方法、Prewitt方法、羅伯特(Roberts)方法、高斯的拉普拉斯(Laplacian of Gaussian)方法、零跨越(zero-cross)方法或坎尼(Canny)方法來進行邊緣偵測。
14. 一種內儲程式的電腦可讀取記錄媒體，當電腦載入該程式並執行後，可完成如申請專利範圍第1-9項所述之方法。
15. 一種電腦程式產品，當電腦載入該電腦程式並執行後，可完成如申請專利範圍第1-9項所述之方法。