TWI467514B - 三維影像處理系統及方法 - Google Patents

Description

三維影像處理系統及方法

本發明係有關一種三維（3D）影像系統，特別是關於一種可偵測及降低假影（artifact）的三維影像處理系統及方法。

第一圖顯示傳統三維影像系統的方塊圖，深度產生器10根據二維（2D）影像輸入以產生深度訊息。接著，深度影像成像器（depth-image-based rendering, DIBR）12處理深度訊息及二維影像以產生左場影像（L）及右場影像（R），經顯示讓觀者觀看。

上述的深度訊息（例如深度圖（depth map））一般係藉由演算法得到，因此通常會在影像邊緣附近產生非連續現象。非連續之深度圖經深度影像成像器（DIBR）12處理後會產生擾人的鋸齒狀假影或錯誤。

鑑於傳統三維影像系統（特別是根據二維影像所導出之深度圖以產生三維影像的系統）無法有效呈現三維影像，因此亟需提出一種新穎機制，用以降低三維影像中的鋸齒狀假影。

鑑於上述，本發明實施例的目的之一在於提出一種三維影像處理系統及方法，用以有效偵測假影像素位置及實質地降低假影。

根據本發明實施例，三維影像處理系統包含深度產生器、深度影像成像（DIBR）單元、假影偵測單元及假影降低單元。深度產生器根據二維影像以產生深度圖。深度影像成像（DIBR）單元根據深度圖及二維影像以產生至少一左場影像及至少一右場影像，且根據深度圖以提供像素之空洞訊息及像差值。假影偵測單元根據空洞訊息及像差值以定位出假影像素位置。假影降低單元於該至少一左場影像及該至少一右場影像的假影像素位置處降低假影。

第二圖顯示本發明實施例之三維影像處理系統的方塊圖，用以降低三維影像當中產生的假影（例如鋸齒狀假影）或錯誤。

在本實施例中，深度產生器20接收二維影像，並據以產生深度圖。於所產生的深度圖中，每ㄧ像素或區塊具有相應的深度值。例如，靠近觀者的物件具有較大的深度值，而遠離觀者的物件具有較小的深度值。

所產生之深度圖傳送給深度影像成像（DIBR）單元22，其根據深度圖及二維影像以產生（或合成）至少一左場影像（L）及至少一右場影像（R）。DIBR單元22之實施可使用傳統技術，例如Christoph Fehn所揭露之”A 3D-TV Approach Using Depth-Image-Based Rendering (DIBR)”。再者，DIBR單元22可產生包含二或多個不同視角影像的多重顯示（multi-view）影像。

除了產生左、右場影像，DIBR單元22使用像差（disparity）產生器220，以產生或導出像素的像差值。在本說明書中，（像素的）“像差”係指左場影像與右場影像之間的水平差距。觀者即根據左場影像與右場影像之間存在的像差以感知三維影像的深度。DIBR單元22還提供像素的空洞訊息。在本說明書中，“空洞”係指未指定有適當像素值的像素。

接著，假影（例如鋸齒狀假影）偵測單元24接收像差值或/且空洞訊息，據以定位出假影像素位置。第三圖顯示本發明實施例於左、右場影像偵測假影像素位置的方法流程圖。步驟31-34的執行順序可作改變調整。於步驟31，決定左或右場影像的目前（待決定）像素及至少一相鄰像素是否為空洞。步驟31可表示如下：
if (hole(i,j)==1 & (hole(i,j-1)==1∥hole(i,j+1)==1)，
其中，DIBR單元22所提供的hole()邏輯值，當為“1”時表示存在有空洞，當為“0”時表示不存在有空洞。

如果步驟31的結果為“是”，則目前像素為假影像素位置，表示目前像素位置極有可能存在假影（例如鋸齒狀假影）。否則，流程進入步驟32。

於步驟32，決定與目前像素相鄰之二像素是否皆為空洞。步驟32可表示如下：
if (hole(i,j-1)==1 && hole(i,j+1)==1)。

如果步驟32的結果為“是”，則目前像素為假影像素位置，表示目前像素位置極有可能存在假影（例如鋸齒狀假影）。否則，流程進入步驟33。

於步驟33，決定目前像素分別與二相鄰像素之像差絕對差值是否都大於預設第一臨界值TL。步驟33可表示如下：
if (abs(disparity(i,j)-disparity(i,j-1))>TL &&
abs(disparity(i,j)-disparity(i,j-1))>TL)，
其中，disparity()為像差值，由DIBR單元22所提供。

如果步驟33的結果為“是”，則目前像素為假影像素位置，表示目前像素位置極有可能存在假影（例如鋸齒狀假影）。否則，流程進入步驟34。

於步驟34，決定目前像素與其中一個相鄰像素之像差絕對差值是否大於預設第二臨界值TS。在本實施例中，第一臨界值TL小於第二臨界值TS。步驟34可表示如下：
if (abs(disparity(i,j)-disparity(i,j-1))>TS∥
abs(disparity(i,j)-disparity(i,j-1))>TS)。

如果步驟34的結果為“是”，則目前像素為假影像素位置，表示目前像素位置極有可能存在假影（例如鋸齒狀假影）。否則，結束流程。

接著，DIBR單元22所產生的左場影像（L）及右場影像（R）以及假影偵測單元24所偵測的假影像素位置被饋至假影降低單元26，其於左、右場影像之假影像素位置處降低或消除假影或錯誤，因而輸出左場處理影像（L’）及右場處理影像（R’）。

於進行假影降低之前，假影降低單元26決定一特定方向或角度，根據該方向或角度以進行假影的降低。第四圖顯示本發明實施例之決定（影像）邊緣方向的方法流程圖。步驟41-46的執行優先順序可作改變調整。第四圖所示流程可適用於左場影像（L），若將步驟43、44順序互換，將步驟45、46順序互換，則可適用於右場影像（R）。參閱第四圖，於步驟41，決定垂直邊緣是否存在。步驟41可表示如下：
水平亮度差值>垂直亮度差值+T1，
其中，T1為預設臨界值，水平/垂直亮度差為水平/垂直像素之間的亮度差值。

如果步驟41的結果為“是”，表示存在垂直邊緣，則流程進入第六圖的步驟61。否則，流程進入步驟42。

於步驟42，決定水平邊緣是否存在。步驟42可表示如下：
垂直亮度差值>水平亮度差值+T2，
其中，T2為預設臨界值。

如果步驟42的結果為“是”，表示存在水平邊緣，則流程進入第六圖的步驟62。否則，流程進入步驟43。

第五A圖顯示部分像素，排列為列A、列B及列C，水平方向由左至右分別標示為-2、-1、0、+1、+2。第五B圖顯示與第五A圖相同的像素，並標示以個別的像素值。如果目前像素位於B(0)，則垂直方向定義為連接A(0)及C(0)的方向，水平方向則定義為連接B(-1)及B(+1)的方向。正1點方向51定義為連接右上方像素A(+1)及左下方像素C(-1)的方向；負1點方向52定義為連接左上方像素A(-1)及右下方像素C(+1)的方向。正1/2點方向53更定義為介於垂直方向與正1點方向51之間的方向；負1/2點方向54定義為介於垂直方向與負1點方向52之間的方向。

參閱第四圖，於步驟43，決定負1/2點邊緣是否存在。步驟43可表示如下：
負1/2點方向亮度差值< min(水平亮度差值，垂直亮度差值)+T3，
其中，T3為預設臨界值，min()為最小值運算子，且負1/2點方向亮度差值表示沿負1/2點方向之像素間的亮度差值。

如果步驟43的結果為“是”，表示存在負1/2點邊緣，則流程進入第六圖的步驟63。否則，流程進入步驟44。

於步驟44，決定正1/2點邊緣是否存在。步驟44可表示如下：
正1/2點方向亮度差值< min(水平亮度差值，垂直亮度差值)+T4，
其中，T4為預設臨界值，且正1/2點方向亮度差值表示沿正1/2點方向之像素間的亮度差值。

如果步驟44的結果為“是”，表示存在正1/2點邊緣，則流程進入第六圖的步驟64。否則，流程進入步驟45。

於步驟45，決定負1點邊緣是否存在。步驟45可表示如下：
負1點方向亮度差值< min(水平亮度差值，垂直亮度差值)+T5，
其中，T5為預設臨界值，且負1點方向亮度差值表示沿負1點方向之像素間的亮度差值。

如果步驟45的結果為“是”，表示存在負1點邊緣，則流程進入第六圖的步驟65。否則，流程進入步驟46。

於步驟46，決定正1點邊緣是否存在。步驟46可表示如下：
正1點方向亮度差值< min(水平亮度差值，垂直亮度差值)+T6，
其中，T6為預設臨界值，且正1點方向亮度差值表示沿正1點方向之像素間的亮度差值。

如果步驟46的結果為“是”，表示存在正1點邊緣，則流程進入第六圖的步驟66。否則，結束流程。

於決定出邊緣方向後，假影降低單元26沿著所決定之邊緣方向對像素進行假影降低處理。在本實施例中，假影降低單元26使用低通濾波以降低假影。第六圖顯示低通濾波的方法流程，沿著第四圖所決定之邊緣方向，於假影像素位置對像素進行低通濾波。於以下的說明中，假設目前像素為B(0)（第五A圖）。於步驟61，沿垂直方向對多個（例如三個）像素進行低通濾波。例如，濾波處理後的像素可表示為：(A0*Wa+B0*Wb+C0*Wc)/T，其中, Wa、Wb及Wc分別為像素A0、B0及C0的權重，且 Wa+Wb+Wc=T，T為定值。

於步驟62，沿水平方向對多個（例如五個）像素進行低通濾波。例如，濾波處理後的像素可表示為：(B_2*W_2+B_1*W_1+B0*W0+B1*W1+B2*W2)/T，其中, W_2、W_1、W0、W1及W2分別為像素B_2、B_1、B0、B1及B2的權重，且W_2+W_1+W0+W1+W2=T。

於步驟63，沿負1/2點方向54對多個（例如五個）像素進行低通濾波。例如，濾波處理後的像素可表示為：(A_1*W_1+A0*WA0+B0*WB0+C0*WC0+C1*W1)/T，其中, W_1、WA0、WB0、WC0及W1分別為像素A_1、A0、B0、C0及C1的權重，且W_1+WA0+WB0+WC0+W1=T。

於步驟64，沿正1/2點方向53對多個（例如五個）像素進行低通濾波。例如，濾波處理後的像素可表示為：(C_1*W_1+C0*WC0+B0*WB0+A0*WA0+A1*W1)/T，其中, W_1、WC0、WB0、WA0及W1分別為像素C_1、C0、B0、A0及A1的權重，且W_1+WC0+WB0+WA0+W1=T。

於步驟65，沿負1點方向52對多個（例如三個）像素進行低通濾波。例如，濾波處理後的像素可表示為：(A_1*W_1+B0*W0+C1*W1)/T，其中, W_1、W0及W1分別為像素A_1、B0及C1的權重，且W_1+W0+W1=T。

於步驟66，沿正1點方向51對多個（例如三個）像素進行低通濾波。例如，濾波處理後的像素可表示為：(C_1*W_1+B0*W0+A1*W1)/T，其中, W_1、W0及W1分別為像素C_1、B0及A1的權重，且W_1+W0+W1=T。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

10．．．深度產生器

12．．．深度影像成像器(DIBR)

20．．．深度產生器

22．．．深度影像成像(DIBR)單元

220．．．像差產生器

24．．．假影偵測單元

26．．．假影降低單元

31-34．．．步驟

41-46．．．步驟

51．．．正1點方向

52．．．負1點方向

53．．．正1/2點方向

54．．．負1/2點方向

61-66．．．步驟

L．．．左場影像

R．．．右場影像

L’．．．左場處理影像

R’．．．右場處理影像

第一圖顯示傳統三維影像系統的方塊圖。
第二圖顯示本發明實施例之三維影像處理系統的方塊圖，用以降低三維影像當中的假影。
第三圖顯示本發明實施例之偵測假影像素位置的方法流程圖。
第四圖顯示本發明實施例之決定邊緣方向的方法流程圖。
第五A圖顯示部分像素。
第五B圖顯示與第五A圖相同的像素，並標示以個別的像素值。
第六圖顯示低通濾波的方法流程，沿著第四圖所決定之邊緣方向對像素進行低通濾波。

20．．．深度產生器

22．．．深度影像成像(DIBR)單元

220．．．像差產生器

24．．．假影偵測單元

26．．．假影降低單元

L．．．左場影像

R．．．右場影像

L’．．．左場處理影像

R’．．．右場處理影像

Claims (15)

1. 一種三維影像處理系統，包含：
   　　 一深度產生器，其根據一二維影像以產生一深度圖；
   　　 一深度影像成像（DIBR）單元，其根據該深度圖及該二維影像以產生至少一左場影像及至少一右場影像，該深度影像成像單元根據該深度圖以提供像素之空洞訊息及像差值；
   　　 一假影偵測單元，其根據該空洞訊息及該像差值以定位出一假影像素位置；及
   　　 一假影降低單元，其於該至少一左場影像及該至少一右場影像的該假影像素位置處降低假影。
2. 如申請專利範圍第1項所述之三維影像處理系統，其中該假影偵測單元根據以下決定以定位出該假影像素位置：
   　　 決定一目前像素及至少一相鄰像素是否為空洞。
3. 如申請專利範圍第1項所述之三維影像處理系統，其中該假影偵測單元根據以下決定以定位出該假影像素位置：
   　　 決定一目前像素之二相鄰像素是否皆為空洞。
4. 如申請專利範圍第1項所述之三維影像處理系統，其中該假影偵測單元根據以下決定以定位出該假影像素位置：
   　　 決定一目前像素分別與二相鄰像素之像差絕對差值是否都大於一預設第一臨界值。
5. 如申請專利範圍第1項所述之三維影像處理系統，其中該假影偵測單元根據以下決定以定位出該假影像素位置：
   　　 決定一目前像素與其中一相鄰像素之像差絕對差值是否大於一預設第二臨界值。
6. 如申請專利範圍第1項所述之三維影像處理系統，其中該假影降低單元根據以下步驟以降低假影：
   　　 決定一邊緣方向；及
   　　 沿著該決定之邊緣方向，對該假影像素位置之像素進行低通濾波。
7. 如申請專利範圍第6項所述之三維影像處理系統，其中該邊緣方向為以下之一：垂直邊緣、水平邊緣、負1/2點邊緣、正1/2點邊緣、負1點邊緣及正1點邊緣。
8. 如申請專利範圍第1項所述之三維影像處理系統，其中該深度影像成像單元包含一像差產生器，用以產生該像差值。
9. 一種三維影像處理方法，包含：
   　　 根據一二維影像以產生一深度圖；
   　　 以深度影像成像（DIBR）方法，根據該深度圖及該二維影像以產生至少一左場影像及至少一右場影像；
   以深度影像成像（DIBR）方法，根據該深度圖以提供像素之空洞訊息及像差值；
   　　 根據該空洞訊息及該像差值以定位出一假影像素位置；及
   　　 於該至少一左場影像及該至少一右場影像的該假影像素位置處降低假影。
10. 如申請專利範圍第9項所述之三維影像處理方法，其中該假影像素位置係根據以下決定而定位：
    　　 決定一目前像素及至少一相鄰像素是否為空洞。
11. 如申請專利範圍第9項所述之三維影像處理方法，其中該假影像素位置係根據以下決定而定位：
    　　 決定一目前像素之二相鄰像素是否皆為空洞。
12. 如申請專利範圍第9項所述之三維影像處理方法，其中該假影像素位置係根據以下決定而定位：
    　　 決定一目前像素分別與二相鄰像素之像差絕對差值是否都大於一預設第一臨界值。
13. 如申請專利範圍第9項所述之三維影像處理方法，其中該假影像素位置係根據以下決定而定位：
    　　 決定一目前像素與其中一相鄰像素之像差絕對差值是否大於一預設第二臨界值。
14. 如申請專利範圍第9項所述之三維影像處理方法，其中該假影之降低包含以下步驟：
    　　 決定一邊緣方向；及
    　　 沿著該決定之邊緣方向，對該假影像素位置之像素進行低通濾波。
15. 如申請專利範圍第14項所述之三維影像處理方法，其中該邊緣方向為以下之一：垂直邊緣、水平邊緣、負1/2點邊緣、正1/2點邊緣、負1點邊緣及正1點邊緣。