TWI514325B - 三維影像對的深度修正系統及其方法 - Google Patents

Description

三維影像對的深度修正系統及其方法

本發明係有關數位影像處理，特別是關於一種三維(3D)影像的深度修正系統及其方法。

當三維物體藉由照相機或攝影機而投影映射至二維影像平面時，會失去許多的資訊，特別是三維深度資訊。三維成像系統可藉由錄製三維視覺資訊或創造深度幻覺而傳達三維資訊給觀者。雖然三維成像技術已有一世紀以上的歷史，然而由於近來高解析度及低價格顯示器(例如液晶顯示器)的發展，使得三維顯示器變得更為實際及普遍。

第一圖顯示傳統三維成像系統1的方塊圖，其中，深度產生器11根據二維輸入影像而產生深度資訊。該深度資訊經由深度影像成像器(depth-image-based rendering,DIBR)12的處理而產生左(L)影像14A及右(R)影像14B，其經顯示而讓觀者觀看。

另外，請參考第二圖，其顯示另一種傳統三維成像系統2的方塊圖。三維成像系統2使用兩個攝影機分別對目標物擷取左影像20A和右影像20B，深度產生器21便利用如區塊配對技術(block matching technique)的立體配對技術(stereo matching technique)從立體成對影像--左影像20A和右影像20B分別獲得左右深度資訊。深度影像成像器(DIBR)22根據所產生的左右深度資訊以及左右影像20A,20B的配對關係來產生觀者應該觀看到的至少兩張不同視角的影像(即至少一左影像24A和至少一右影像24B)。

然而，對傳統三維成像系統2來說，在立體影像中仍有一些基本限制，例如，影像中被遮蔽到的部份，或兩攝影機的設定參數誤差都會影響所產生的深度資訊。因此，若只是考量立體成對影像的配對關係，可能會導致影像中的部份像素具有不正確的深度資訊。

鑑於傳統三維成像系統無法有效顯示三維影像或視訊，因此亟需提出一種新穎的三維影像的深度修正系統及方法，以忠實地且簡易地重現或近似出立體表現。

鑑於上述，本發明實施例的目的之一在於提出一種三維影像對(3D image pair)的深度修正系統及其方法，用以提高三維影像或視訊的品質。

本發明係揭示一種三維(3D)影像對的深度修正系統，其包含一深度產生器以及一深度修正器。深度產生器產生相關於三維影像對之其中一影像的至少一初始深度圖，其中該影像具有複數個像素，初始深度圖記錄了每一像素的一初始深度值。深度修正器包含一差異性偵測單元以及一內插單元。差異性偵測單元偵測影像中像素之間的差異性，並根據所偵測到的差異性估測一可信圖(reliable map)。內插單元根 據可信圖以及近似的像素來內插初始深度值，以藉由修正初始深度值產生一修正深度圖。

本發明係揭示一種三維影像對的深度修正方法，包含以下步驟：首先，接收相關於三維影像對之其中一影像的至少一初始深度圖，其中該影像具有複數個像素，初始深度圖記錄了每一像素的一初始深度值；接著，偵測影像中像素之間的差異性，以估測一可信圖(reliable map)；最後，根據可信圖以及近似的該些像素來內插初始深度值，以藉由修正初始深度值產生一修正深度圖。

習知：

1‧‧‧三維成像系統

11‧‧‧深度產生器

12‧‧‧深度影像成像器

14A‧‧‧左影像

14B‧‧‧右影像

2‧‧‧三維成像系統

20A‧‧‧左影像

20B‧‧‧右影像

21‧‧‧深度產生器

22‧‧‧深度影像成像器

24A‧‧‧左影像

24B‧‧‧右影像

本發明：

3‧‧‧三維影像對的深度修正系統

30A‧‧‧左影像

30B‧‧‧右影像

31‧‧‧深度產生器

32‧‧‧深度修正器

321‧‧‧差異性偵測單元

323‧‧‧內插單元

33‧‧‧深度影像成像器

34A‧‧‧修正左影像

34B‧‧‧修正右影像

41‧‧‧影像

411‧‧‧遮蔽區域

43‧‧‧初始深度圖

45‧‧‧可信圖

47‧‧‧修正深度圖

S501-S513‧‧‧步驟

第一圖顯示傳統三維成像系統的方塊圖。

第二圖顯示另一種傳統三維成像系統的方塊圖。

第三圖顯示本發明實施例之三維影像對的深度修正系統之方塊圖。

第四圖例示本發明實施例之影像及其相關初始深度圖、可信圖、修正深度圖。

第五圖顯示本發明實施例之三維影像對的深度修正方法之流程圖。

請參考第三圖，係顯示本發明實施例之三維影像對(3D image pair)的深度修正系統之方塊圖。三維影像對又稱為立體(stereoscopic)影像。三維影像對的深度修正系統3包含一深度產生器(depth generator)31、一深度修正器(depth revisor)32以及一深度影像 成像(depth-image-based rendering,DIBR)單元33。深度產生器31接收可顯示於三維成像系統的三維影像對，如左(L)影像30A及右(R)影像30B，以產生至少一深度圖。例如，深度產生器31基於立體配對技術(stereo matching technique)來產生左深度圖及右深度圖，其分別對應至原始左影像30A及右影像30B。

為方便說明，以下以單一影像為例，請一併參考第四圖。深度產生器31基於如區塊配對技術(block matching technique)的立體配對技術(stereo matching technique)，從一影像41(如三維影像對的左影像30A或右影像30B)產生一初始深度圖43。影像41具有複數個像素，初始深度圖43記錄了每一像素或區塊相應的一初始深度值。例如，靠近觀者物件的深度值比遠離觀者物件的深度值來得大。因此，於深度圖影像中，靠近觀者物件的亮度會比遠離觀者物件的亮度來得大。其中，從圖中可看出，初始深度圖43的深度資訊會有誤差，尤其是影像41中的遮蔽區域(occlusion region)411或物件邊界(object boundary)。

深度修正器32包含一差異性偵測單元(inconsistence detection unit)321以及一內插單元(interpolation unit)323。差異性偵測單元321藉由雙向遮蔽偵測技術(two-directional occlusion detection techniques)來偵測影像41中像素之間的差異性，進而對每一像素計算出一差異值(cost value)，代表其與鄰近像素的差異性。具體來說，雙向遮蔽偵測技術包含左到右確認(Left-Right-checking)或右到左確認(Right-Left-checking)技術，用來找出影像41中被遮蔽或邊界位置。雙向遮蔽偵測技術之實施可使用傳統技術，例如Pattern Analysis及Machine Intelligence中所揭露之”Detecting binocular half- occlusions：empirical comparisons of five approaches”其出處為IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,VOL.24,NO.8,Pages 1127-1133,AUGUST 2002。

此外，差異性偵測單元321根據每個像素的差異值來估測一可信圖(reliable map)45，其記錄每一像素的一可信值。具體來說，差異性偵測單元321預先定義一預設門檻值來對差異值進行分類，若差異值小於預設門檻值的像素就視為可信區域，若差異值大於預設門檻值的像素就視為不可信區域。其中，可信區域的像素之可信值被設定為1，而不可信區域的像素之可信值被設定為0，如可信圖45中的黑色區域。

內插單元323根據可信圖45以及近似的像素來內插初始深度值，具體來說，內插單元323包含一三向濾波器(Trilateral Filter)。其中，藉由公式(1)可計算出像素之間的空間與亮度近似程度B(．)，內插單元323便可根據像素之間的空間與亮度近似程度來計算出修正後的深度值。除此之外，內插單元323亦考量可信圖45來排除不可信區域的深度資訊，如公式(2)。

其中(x,y)表示不可信區域中的像素之座標值、(x_j,y_j)表示不可信區域中的像素之鄰近像素之座標值、B(．)為像素之間的空間與亮度近似程 度、exp(．)表示指數函數、I(．)表示亮度值、|(．)|表示絕對值、σ _x 表示x的標準差、σ _y 表示y的標準差、σ _j 表示亮度值的標準差。

其中R(．)表示修正後的深度值、D(．)表示初始深度值、O(．)表示可信值、S表示不可信區域中的像素之鄰近像素。

因此，內插單元323藉由修正初始深度值D(x,y)產生一修正深度圖47。根據實驗結果可看出，修正深度圖47的深度品質大幅提升，尤其是遮蔽區域和物件邊界部分。深度影像成像單元33便根據修正深度圖47及原始左影像30A及右影像30B來產生至少一修正左(L’)影像34A及至少一修正右(R’)影像34B，其經顯示而讓觀者觀看。深度影像成像單元33之實施可使用傳統技術，例如Christoph Fehn所揭露之”A 3D-TV Approach Using Depth-Image-Based Rendering(DIBR)”，其出處為Picture Coding Symposium(PCS'04),San Francisco,CA,USA,December 2004,Pages 307-312。

第五圖顯示本發明實施例之三維影像的深度修正方法之流程圖。首先，於步驟S501，從深度產生器31接收初始深度圖43。接著，於步驟S503，差異性偵測單元321偵測影像41(如三維影像對的左影像30A或右影像30B)中像素之間的差異性，並判斷每個像素的差異值是 否大於預設門檻值(步驟S505)。

若差異值大於預設門檻值的像素，則視為不可信區域，便設定像素的可信值為0(步驟S507)；若差異值小於預設門檻值的像素，則視為可信區域，便設定此像素的可信值為1(步驟S509)。最後，內插單元323便根據可信圖45以及近似的像素來內插初始深度值(步驟S511)，深度影像成像單元33再根據修正深度圖47來產生修正左(L’)影像34A及修正右(R’)影像34B，並顯示之(步驟S513)。

根據上述實施例，本發明提出一種深度內插演算法來進行深度後製處理，以加強遮蔽區域的深度資訊，並修正不可靠的深度資訊。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

3‧‧‧三維影像對的深度修正系統

30A‧‧‧左影像

30B‧‧‧右影像

31‧‧‧深度產生器

32‧‧‧深度修正器

321‧‧‧差異性偵測單元

323‧‧‧內插單元

33‧‧‧深度影像成像器

34A‧‧‧修正左影像

34B‧‧‧修正右影像

Claims (15)

1. 一種三維(3D)影像對的深度修正系統，包含：一深度產生器，用以基於立體配對技術來產生相關於該三維影像對之其中一影像的至少一初始深度圖，其中該影像具有複數個像素，該初始深度圖記錄了每一該些像素的一初始深度值；及一深度修正器，包含：一差異性偵測單元，基於雙向遮蔽偵測技術(two-directional occlusion detection technique)來偵測該影像中該些像素之間的差異性，並根據所偵測到的差異性估測一可信圖(reliable map)，其中該可信圖包含一可信區域和一不可信區域，其中該可信區域包含該差異值小於一預設門檻值的該些像素，且該不可信區域該差異值大於該預設門檻值的該些像素；及一內插單元，根據該可信圖以及近似的該些像素來內插該初始深度值，以藉由修正該初始深度值產生一修正深度圖。
2. 如申請專利範圍第1項所述三維影像的深度修正系統，其中該差異性偵測單元對每一該些像素計算出一差異值，代表其與鄰近該些像素的差異性。
3. 如申請專利範圍第1項所述三維影像的深度修正系統，其中該內插單元係根據該些像素之間的空間與亮度近似程度來對該不可信區域中的該些像素之該初始深度值進行內插運算。
4. 如申請專利範圍第1項所述三維影像的深度修正系統，其中 該可信圖記錄了每一該些像素的一可信值，該差異性偵測單元設定於該可信區域的該些像素之該可信值為1，並設定於該不可信區域的該些像素之該可信值為0。
5. 如申請專利範圍第1項所述三維影像的深度修正系統，其中上述之深度產生器根據一左影像以產生一左深度圖，且根據一右影像以產生一右深度圖，其中該影像為該左影像或該右影像。
6. 如申請專利範圍第1項所述三維影像的深度修正系統，更包含一深度影像成像(DIBR)單元，其接收該修正深度圖，藉以產生至少一修正左影像及至少一修正右影像。
7. 如申請專利範圍第1項所述三維影像的深度修正系統，其中該差異性偵測單元係使用左到右確認(Left-Right-checking)或右到左確認(Right-Left-checking)技術來偵測差異性。
8. 如申請專利範圍第1項所述三維影像的深度修正系統，其中該內插單元包含一三向濾波器(Trilateral Filter)。
9. 一種三維(3D)影像對的深度修正方法，包含：接收基於立體配對技術所產生之相關於該三維影像對之其中一影像的至少一初始深度圖，其中該影像具有複數個像素，該初始深度圖記錄了每一該些像素的一初始深度值；偵測該影像中該些像素之間的差異性，以估測一可信圖(reliable map)，其中該可信圖記錄了每一該些像素的一可信值，於估測該可信圖之步驟中更包含：提供一預設門檻值；設定該差異值小於該預設門檻值的該些像素之該可信值 為1；及設定該差異值大於該預設門檻值的該些像素之該可信值為0；及根據該可信圖以及近似的該些像素來內插該初始深度值，以藉由修正該初始深度值產生一修正深度圖。
10. 如申請專利範圍第9項所述三維影像的深度修正方法，其中於估測該可信圖之步驟中包含：對每一該些像素計算出一差異值，代表每一該些像素與鄰近該些像素的差異性；及根據所偵測到的差異性估測該可信圖。
11. 如申請專利範圍第9項所述三維影像的深度修正方法，其中於內插該初始深度值之步驟中包含：根據該些像素之間的空間與亮度近似程度來運算該初始深度值。
12. 如申請專利範圍第9項所述三維影像的深度修正方法，係使用左到右確認(Left-Right-checking)或右到左確認(Right-Left-checking)技術來偵測差異性。
13. 如申請專利範圍第9項所述三維影像的深度修正方法，係使用一三向濾波器(Trilateral Filter)來內插該初始深度值。
14. 如申請專利範圍第9項所述三維影像的深度修正方法，其中上述之至少一初始深度圖包含對應於一左影像之一左深度圖，及對應於一右影像之一右深度圖，其中該影像為該左影像或該右影像。
15. 如申請專利範圍第9項所述三維影像的深度修正方法，更 包含：接收該修正深度圖，藉以產生至少一修正左影像及至少一修正右影像。