TWI492186B - 修補三維立體影像之裝置及方法 - Google Patents

Description

修補三維立體影像之裝置及方法

本揭露是有關於一種修補影像之裝置及方法，且特別是有關於一種修補三維立體影像之裝置及修補三維立體影像之方法。

隨著影像處理技術的進步，視覺效果的呈現逐漸地由二維平面拓展至三維空間。從輸入影像來說可將三維影像處理分為兩大類。第一類方法係使用多台攝影機，定位在不同的角度上來拍攝相同的物件，進而取得多張的二維影像。如此一來，對於所要呈現三維物件，則有多個不同角度上的視角影像，再將所有的視角影像資訊匯整，即能合成多視角三維立體影像。

第二類方法則是使用單一台攝影機，並在固定的角度上拍攝物件，以取得單一張的二維影像。但是，額外會再搭配此二維影像相對應的深度影像，其深度影像代表二維影像中各個物件的遠近距離，能推論出何者物件在二維影像中的前面，即在畫面前方。反之，則推論出何者物件在二維影像中的後面，即在畫面後方。因此，利用二維影像與深度影像的資訊，也能合成出多視角三維立體影像。

如前所述，單一二維影像搭配深度影像可以產生多視角三維立體影像。在合成的過程中，係利用產生的不同視角影像來轉換最後輸出的影像結果。在深度影像部分，係決定出各自視角的新影像像素偏移量來獲得各個不同角度的視角影像。然而，視角影像不一定是完整的影像，在部份視角影像中會有破洞區域存在，讓影像中的物體造成破洞的效果。

請同時參照第1A圖、第1B圖、第1C圖、第1D圖及第1E圖，第1A圖繪示係為原始的中間視角影像，第1B圖及第1C圖繪示係為位移後的左邊視角影像，第1D圖及第1E圖繪示係為位移後的右邊視角影像。視角影像10a、視角影像10b、視角影像10c、視角影像10d及視角影像10e分別表示五個不同視角的視角影像。視角影像10a為中間視角的視角影像同時也是原始的輸入二維影像，並無做位移的運算處理。視角影像10b及10c為位移後的左邊視角影像，而視角影像10d及10e則為位移後的右邊視角影像。物件110及物件120分別以三角形圖案和正方形圖案表示，且物件110及物件120位於背景140之前。物件110及物件120的空間位置關係上，物件110最靠近觀察者，因此稱之為前景。而物件120在物件110的後面，因此稱之後景。

當觀察者往左邊移動時，看到的影像則會如視角影像10b和10c所示。在視角影像10b中物件110的左邊緣會出現黑色的破洞區域130b，而在視角影像10c中物件110的左邊緣會出現黑色的破洞區域130c。這是因為原始輸入的二維影像中並沒有破洞區域130b及130c的影像資訊而造成破洞的現象。破洞區域130b及130c代表相對於視角影像10a的相對位移，亦即為觀察者移動所造成的視差。所以，破洞區域130b及130c也就是代表觀察者的眼睛應該是看到物件110的後面，但是原始輸入的二維影像卻無法提供其影像資訊為何，因而產生破洞區域130b及130c中黑色的破洞現象。相似地，在視角影像10d中物件110的左邊緣會出現黑色的破洞區域130d，而在視角影像10e中物件110的右邊緣會出現黑色的破洞區域130e。

除了在左右邊視角影像各自會在左右邊的邊緣產生破洞現象外，在同一邊的視角影像，離中間視角越遠處，所產生造成的破洞區域會越顯著。舉例來說，視角影像10b和10c都為左邊視角影像，視角影像10b比10c離中間視角更遠處，所以產生的破洞區域130b會比破洞區域130c更加顯著，其表示視角影像130b會看到更多原始影像所無提供的影像資訊。相似地，視角影像10e比10d離中間視角更遠處，所以產生的破洞區域130e會比破洞區域130d更加顯著。

根據一實施例，提出一種修補三維立體影像之裝置。修補三維立體影像之裝置用於三維影像處理系統，且三維影像處理系統根據輸入影像及輸入深度產生視角影像。修補三維立體影像之裝置包括物件器、深度器及區塊填補器。物件器執行物件偵測以根據輸入影像輸出輪廓資訊，而深度器執行物件判斷以根據輸入深度輸出距離資訊。區塊填補器偵測各視角影像中之破洞區域，並搜索鄰近該破洞區域之搜索區間內之原始像素，區塊填補器根據原始像素、輪廓資訊及距離資訊填補破洞區域。

根據另一實施例，提出一種修補三維立體影像之方法。修補三維立體影像之方法用於三維影像處理系統，且三維影像處理系統根據輸入影像及輸入深度產生視角影像。修補三維立體影像之方法包括：偵測各視角影像中之破洞區域；執行物件偵測以根據輸入影像輸出輪廓資訊；執行物件判斷以根據輸入深度輸出距離資訊；搜索鄰近破洞區域之搜索區間內之原始像素；以及根據原始像素、輪廓資訊及距離資訊填補破洞區域。

為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：

為了填補視角影像位移所造成的破洞區域，下述實施例揭露一種修補三維立體影像之裝置及修補三維立體影像之方法。修補三維立體影像之裝置用於三維影像處理系統，且三維影像處理系統根據輸入影像及輸入深度產生視角影像。修補三維立體影像之裝置包括物件器、深度器及區塊填補器。物件器根據輸入影像輸出輪廓資訊，而深度器根據輸入深度輸出距離資訊。區塊填補器偵測各視角影像中之破洞區域，並搜索鄰近破洞區域之搜索區間內之原始像素，區塊填補器根據原始像素、輪廓資訊及距離資訊填補破洞區域。

修補三維立體影像之方法用於三維影像處理系統，且三維影像處理系統根據輸入影像及輸入深度產生視角影像。修補三維立體影像之方法包括：偵測各視角影像中之破洞區域；執行物件偵測以根據輸入影像輸出輪廓資訊；執行物件判斷以根據輸入深度輸出距離資訊；搜索鄰近破洞區域之搜索區間內之原始像素；以及根據原始像素、輪廓資訊及距離資訊填補破洞區域。

第一實施例

請同時參照第2圖及第3圖，第2圖繪示係為三維影像處理系統之一實施例方塊圖，第3圖繪示係為修補三維立體影像之方法之一實施例流程圖。三維影像處理系統2包括記憶體21、深度轉換器22、多視角處理器23及修補三維立體影像之裝置24，且修補三維立體影像之裝置24包括物件器241、深度器242及區塊填補器243。記憶體21用以儲存輸入影像S1。深度轉換器22用以根據不同的視角將輸入深度S2轉換為不同的像素移位輸出至多視角處理器23，以供多視角處理器23輸出數個視角影像至區塊填補器243。區塊填補器243搭配物件器241及深度器242填補視角影像中的破洞區域後輸出填補後的輸出影像S3。

修補三維立體影像之裝置24係執行修補三維立體影像之方法以填補視角影像的破洞區域，影像處理方法包括如下步驟。首先如步驟310所示，區塊填補器243偵測視角影像中之破洞區域。舉例來說，區塊填補器243依照輸入影像S1的判斷所接收的像素值為破洞資訊或影像資訊。若所接收的像素值為影像資訊則直接輸出所接收的像素值。相反地，若所接收的像素值為破洞資訊則由後續步驟修補破洞。區塊填補器243在發現破洞區域後，會記錄破洞區域的破洞像素個數或破洞像素位置資訊，以利後續修補破洞之處理。

接著如步驟320所示，物件器241執行物件偵測以根據輸入影像S1輸出輪廓資訊S4，且深度器242執行物件判斷以根據輸入深度S2輸出距離資訊S5。輪廓資訊S4例如係由物件器241對輸入影像S1進行邊緣偵測而取得的物件邊緣，而距離資訊S5例如係由深度器242對輸入深度S2以取得物件與背景間的距離或是物件與物件間的距離。前述物件器241對輸入影像S1進行物件偵測，例如以藉由物件邊緣的切割分辨物件與背景。由於物件器241無法得知物件與背景間或物件與物件間的距離，因此搭配深度器242對輸入深度進行物件判斷。由於相同深度物件輸入深度S2的像素值會非常接近，因此物件器241搭配深度器242能提供區塊填補器243輪廓資訊S4及距離資訊S5以利後續的修補破洞處理。

跟著如步驟330所示，區塊填補器243搜索鄰近破洞區域之搜索區間內之原始像素。修補三維立體影像之裝置24例如更包括一區塊緩衝器，區塊緩衝器用以暫存前述原始像素之原始像素值。搜索區間之範圍例如為預設值或隨破洞區域之破洞像素個數而動態調整。

然後如步驟340所示，區塊填補器243根據原始像素之原始像素值、輪廓資訊S4及距離資訊S5填補破洞區域。由於區塊填補器243能根據輪廓資訊S4、距離資訊S5及原始像素之原始像素值決定破洞區域中之破洞像素分別為物件或背景，因此區塊填補器243能分別對破洞區域之破洞像素填補背景像素值或物件像素值。上述修補三維立體影像之方法還可進一步分為無記憶體模式及有記憶體模式下述將分別舉例說明。

無記憶體模式

請同時參照第4A圖、第4B圖、第4C圖及第4D圖，第4A圖繪示係為輸入影像位移後產生破洞的視角影像之一實施例示意圖，第4B圖係為第4A圖中區域450的區部放大圖，第4C圖係為第4B圖依等比例擴增填補破洞後之示意圖，第4D圖繪示係為第4A圖依等比例擴增填補破洞後之視角影像。舉例來說，原始視角影像4a中區域450的局部放大係為局部視角影像4b。前述區塊填補器243偵測視角影像4a中之破洞區域430之破洞像素432後，區塊填補器243根據輪廓資訊S4及距離資訊S5判斷搜索區間W內的原始像素屬於物件420還是背景440。屬於物件420的原始像素稱為物件像素422，而屬於背景440的原始像素稱為背景像素412。於一實施例，搜索區間W內的原始像素中物件像素與背景像素之個數比例即為物件與背景比例。以第4B圖為例，搜索區間W內有2個物件像素422及3個背景像素412，物件與背景比例即為2：3。也就是說5個原始像素值中有2個物件像素值及3個背景像素值。

區塊填補器243根據物件與背景比例將5個原始像素值中的2個物件像素值及3個背景像素值等比例擴增至第4B圖繪示之破洞像素432、物件像素422及背景像素412中，以產生如第4C圖繪示之修補後局部視角影像4c。而第4A圖依等比例擴增填補破洞後之繪示則如第4D圖所繪示之修補後視角影像4d。破洞像素432的多寡及搜索區間W的大小會影像破洞的修補能力。當搜索區間W越大，則破洞的修補能力越佳，相對地需要暫存的資料量也越多。相反地，當搜索區間W越小，則破洞的修補能力越小，相對地需要暫存的資料量也越少。修補破洞的方式除了上述之等比例擴增外，在其他實施例，區塊填補器243亦可根據原始像素值之平均值填補破洞區域之破洞像素。或者，由區塊填補器243直接複製原始像素值至破洞區域之破洞像素或複製運算處理後的原始像素值至破洞區域之破洞像素。

有記憶體模式

請同時參照第5A圖及第5B圖，第5A圖繪示係為第4B圖依物件之變化規則填補破洞後之一實施例示意圖，第5B圖繪示係為第4A圖依物件之變化規則填補破洞後之一視角影像實施例示意圖。前述修補三維立體影像之裝置24更包括一記憶體244，記憶體244用以儲存參考像素值。需說明的是下述實施例之參考像素雖然以位於原始像素上一列為例說明，但並不侷限於此。記憶體244亦能儲存其他列或數列之像素值做為參考像素值。參考像素值分別對應至參考像素。於第5A圖中參考像素即位於搜索區間W’內。區塊填補器243根據位於搜索區間W’內之參考像素及位於搜索區間W內之原始像素找出物件之變化規則，並根據變化規則填補破洞像素。在其他實施例中，前述記憶體244更包括區塊緩衝器，區塊緩衝器用以暫存前述原始像素之原始像素值。

有記憶體模式為區塊填補器243參考例如上一列的參考像素去處理破洞的所需的像素值。如第5A圖所示，搜索區間W內有3個背景像素及2個物件像素，而搜索區間內的參考像素包括4個背景像素及1個物件像素。區塊填補器243根據物件之變化規則能推得知物件像素的個數依序遞增，因此區塊填補器243對第4B圖中在搜索區間W左邊的5個破洞像素432中填入3個背景像素412之背景像素值的延伸。第4B圖依物件之變化規則填補破洞後之繪示則如第5A圖所示。而第4A圖依物件之變化規則填補破洞後之繪示則如第5B圖所示。除此之外，在其他實施例，區塊填補器243亦能參考搜索區間W’的參考像素並根據搜索區間W內之一物件與背景像素比例將原始像素值等比例擴增至破洞像素及原始像素。此外，在其他實施例，區塊填補器243也能參考參考像素並將原始像素值複製至破洞像素。

上述內容雖以不同的實施方式做說明，然只要區塊填補器根據物件器之輪廓資訊及深度器之距離資訊填補破洞區域，即在本揭露的範圍之內。

綜上所述，雖然本揭露已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

2．．．三維影像處理系統

4a．．．視角影像

4b．．．局部視角影像

4c‧‧‧修補後局部視角影像

4d‧‧‧修補後視角影像

10a、10b、10c、10d、10e‧‧‧視角影像

21、244‧‧‧記憶體

22‧‧‧深度轉換器

23‧‧‧多視角處理器

24‧‧‧修補三維立體影像之裝置

110、120、410、420‧‧‧物件

130b、130c、130d、130e、430‧‧‧破洞區域

140、440‧‧‧背景

241‧‧‧物件器

242‧‧‧深度器

243‧‧‧區塊填補器

310、320、330、340‧‧‧步驟

422‧‧‧物件像素

432‧‧‧破洞像素

412‧‧‧背景像素

450‧‧‧區域

S1‧‧‧輸入影像

S2‧‧‧輸入深度

S3‧‧‧輸出影像

S4‧‧‧輪廓資訊

S5‧‧‧距離資訊

W、W’、W”‧‧‧搜索區間

第1A圖繪示係為原始的中間視角影像。

第1B圖及第1C圖繪示係為位移後的左邊視角影像。

第1D圖及第1E圖繪示係為位移後的右邊視角影像。

第2圖繪示係為三維影像處理系統之一實施例方塊圖。

第3圖繪示係為修補三維立體影像之方法之一實施例流程圖。

第4A圖繪示係為輸入影像位移後產生破洞的視角影像之一實施例示意圖。

第4B圖係為第4A圖中區域450的區部放大圖。

第4C圖係為第4B圖依等比例擴增填補破洞後之示意圖。

第4D圖繪示係為第4A圖依等比例擴增填補破洞後之視角影像。

第5A圖繪示係為第4B圖依物件之變化規則填補破洞後之一實施例示意圖。

第5B圖繪示係為第4A圖依物件之變化規則填補破洞後之一視角影像實施例示意圖。

310、320、330、340．．．步驟

Claims (12)

1. 一種修補三維立體影像之裝置，用於一三維影像處理系統，該三維影像處理系統根據一輸入影像及一輸入深度產生複數個視角影像，該修補三維立體影像之裝置包括：一物件器，用以執行一物件偵測以根據該輸入影像輸出一輪廓資訊；一深度器，用以執行一物件判斷以根據該輸入深度輸出一距離資訊；以及一區塊填補器，用以偵測各該些視角影像中之一破洞區域，並搜索鄰近該破洞區域之一搜索區間內之複數個原始像素，該區塊填補器根據該些原始像素之一物件與背景比例將該些原始像素之複數個原始像素值等比例擴增至該破洞區域之複數個破洞像素及該些原始像素，其該區塊填補器根據該輪廓資訊、該距離資訊及該些原始像素決定該破洞區域之複數個破洞像素分別為物件或背景，該距離資訊為物件與背景間的距離或是物件與物件間的距離。
2. 如申請專利範圍第1項所述之修補三維立體影像之裝置，其中該區塊填補器直接複製該些原始像素之複數個原始像素值至該破洞區域之複數個破洞像素或複製運算處理後的該些原始像素值至該破洞區域之複數個破洞像素。
3. 如申請專利範圍第1項所述之修補三維立體影像之裝置，其中該搜索區間之範圍係隨該破洞區域之破洞像 素個數而動態調整。
4. 如申請專利範圍第1項所述之修補三維立體影像之裝置，其中該搜索區間之範圍係為一預設值。
5. 一種修補三維立體影像之裝置，用於一三維影像處理系統，該三維影像處理系統根據一輸入影像及一輸入深度產生複數個視角影像，該修補三維立體影像之裝置包括：一物件器，用以執行一物件偵測以根據該輸入影像輸出一輪廓資訊；一深度器，用以執行一物件判斷以根據該輸入深度輸出一距離資訊；一區塊填補器，用以偵測各該些視角影像中之一破洞區域，並搜索鄰近該破洞區域之一搜索區間內之複數個原始像素，該區塊填補器根據該些原始像素、該輪廓資訊及該距離資訊填補該破洞區域；以及一記憶體，用以儲存複數個參考像素值，該些參考像素值分別對應至複數個參考像素，該些參考像素係相鄰該些原始像素，其中該區塊填補器根據該些參考像素及該些原始像素找出一物件像素與背景像素的個數變化規則，並根據該變化規則填補該破洞區域之複數個破洞像素。
6. 如申請專利範圍第5項所述之修補三維立體影像之裝置，其中該記憶體更包括：一區塊緩衝器，用以暫存該些原始像素之複數個原始像素值。
7. 一種修補三維立體影像之方法，用於一三維影像處理系統，該三維影像處理系統根據一輸入影像及一輸入深度產生複數個視角影像，該修補三維立體影像之方法包括：偵測各該些視角影像中之一破洞區域；執行一物件偵測以根據該輸入影像輸出一輪廓資訊；執行一物件判斷以根據該輸入深度輸出一距離資訊；搜索鄰近該破洞區域之一搜索區間內之複數個原始像素；根據該輪廓資訊、該距離資訊及該些原始像素決定該破洞區域之複數個破洞像素分別為物件或背景，其中該距離資訊為物件與背景間的距離或是物件與物件間的距離；以及根據該些原始像素之一物件與背景比例將該些原始像素之複數個原始像素值等比例擴增至該破洞區域之複數個破洞像素及該些原始像素，以填補該破洞區域。
8. 如申請專利範圍第7項所述之修補三維立體影像之方法，其中於填補該破洞區域之該步驟中，係直接複製該些原始像素之複數個原始像素值至該破洞區域之複數個該些破洞像素或複製運算處理後的該些原始像素值至該破洞區域之複數個破洞像素。
9. 如申請專利範圍第7項所述之修補三維立體影像之方法，更包括：暫存該些原始像素之複數個原始像素值。
10. 如申請專利範圍第9項所述之修補三維立體影像 之方法，其中該搜索區間之範圍係隨該破洞區域之破洞像素個數而動態調整。
11. 如申請專利範圍第9項所述之修補三維立體影像之方法，其中該搜索區間之範圍係為一預設值。
12. 一種修補三維立體影像之方法，用於一三維影像處理系統，該三維影像處理系統根據一輸入影像及一輸入深度產生複數個視角影像，該修補三維立體影像之方法包括：偵測各該些視角影像中之一破洞區域；執行一物件偵測以根據該輸入影像輸出一輪廓資訊；執行一物件判斷以根據該輸入深度輸出一距離資訊；搜索鄰近該破洞區域之一搜索區間內之複數個原始像素；儲存複數個參考像素值，該些參考像素值分別對應至複數個參考像素；以及根據該些參考像素及該些原始像素找出一物件像素與背景像素的個數變化規則，並根據該變化規則填補該破洞區域之複數個破洞像素。