TW201220248A - Apparatus and method for inpainting three-dimensional stereoscopic image - Google Patents

Description

201220248 1 WO^^HKA * 六、發明說明： 【發明所屬之技術領域】 本揭露是有關於一種修補影像之裝置及方法，且特別 是有關於一種修補三維立體影像之裝置及修補三維立體 影像之方法。 【先前技術】 隨著影像處理技術的進步，視覺效果的呈現逐漸地由 二維平面拓展至三維空間。從輪入影像來說可將三維影像 •處理分為兩大類。第一類方法係使用多台攝影機，定位在 不同的角度上來拍攝相同的物件，進而取得多張的二維影 像。如此一來，對於所要呈現三維物件，則有多個不同角 度上的視角影像，再將所有的視角影像資訊匯整，即能合 成多視角三維立體影像。 卜减第方法則是使用單—台攝影機，並在固定的角度 上拍攝物件，以取得單一張的二維影像。但是，額外合再 搭配t一維影像相對應的深度影像，其深度影像代表二維 Φ影像中各個物件的遠近距離，能推論出何者物件在二維影 像中=前面’即在畫面前方。反之，則推論出何者物件在 二=影像中的後面，即在晝面後方。因此，利用二維影像 與深度i像的資訊，也能合成出多視角三維立體影像。 一如前所述，單一二維影像搭配深度影像可以產生多視 角三維立體影像。在合成的過程中，係利用產生的不同視 角〜像來轉換最後輸出的影像結果。在深度影像部分，係 決定出各自視角的新影像像素偏移量來獲得各個不同角 度的視角影像。然而，視角影像不-定是完整的影像，在 201220248 TW6344PA * 4 部份視角影像中會有破洞區域存在，讓影像中的物體造成 破洞的效果。 請同時參照第1A圖、第1B圖、第1C圖、第1D圖 及第1E圖，第1A圖繪示係為原始的中間視角影像，第 1B圖及第1C圖繪示係為位移後的左邊視角影像，第1D 圖及第1E圖繪示係為位移後的右邊視角影像。視角影像 l〇a、視角影像10b、視角影像10c、視角影像10d及視角 影像10e分別表示五個不同視角的視角影像。視角影像10a 為中間視角的視角影像同時也是原始的輸入二維影像，並 無做位移的運算處理。視角影像10b及10c為位移後的左 邊視角影像，而視角影像l〇d及10e則為位移後的右邊視 角影像。物件110及物件120分別以三角形圖案和正方形 圖案表示，且物件110及物件120位於背景140之前。物 件110及物件120的空間位置關係上，物件110最靠近觀 察者，因此稱之為前景。而物件120在物件110的後面， 因此稱之後景。 當觀察者往左邊移動時，看到的影像則會如視角影像 10b和10c所示。在視角影像10b中物件110的左邊緣會 出現黑色的破洞區域130b，而在視角影像10c中物件110 的左邊緣會出現黑色的破洞區域130c。這是因為原始輸入 的二維影像中並沒有破洞區域130b及130c的影像資訊而 造成破洞的現象。破洞區域130b及130c代表相對於視角 201220248 • 1 W6344FA 1 影像10a的相對位移，亦即為觀察者移動所造成的視差。 所以，破洞區域130b及130c也就是代表觀察者的眼睛應 該是看到物件110的後面，但是原始輸入的二維影像卻無 法提供其影像資訊為何，因而產生破洞區域130b及130c 中黑色的破洞現象。相似地，在視角影像l〇d中物件110 的左邊緣會出現黑色的破洞區域130d，而在視角影像10e 中物件110的右邊緣會出現黑色的破洞區域130e。 φ 除了在左右邊視角影像各自會在左右邊的邊緣產生 破洞現象外，在同一邊的視角影像，離中間視角越遠處， 所產生造成的破洞區域會越顯著。舉例來說，視角影像1 〇 b 和10c都為左邊視角影像，視角影像10b比10c離中間視 角更遠處，所以產生的破洞區域130b會比破洞區域130c 更加顯著，其表示視角影像130b會看到更多原始影像所 無提供的影像資訊。相似地，視角影像l〇e比10d離中間 • 視角更遠處，所以產生的破洞區域130e會比破洞區域130d 更加顯著。 【發明内容】 根據一實施例，提出一種修補三維立體影像之裝置。 修補三維立體影像之裝置用於三維影像處理系統，且三維 影像處理系統根據輸入影像及輸入深度產生視角影像。修 補三維立體影像之裝置包括物件器、深度器及區塊填補 器。物件器執行物件偵測以根據輸入影像輸出輪廓資訊，

S 5 201220248 TW6344PA 4 , , 而深度器執行物件判斷以根據輪入深度輪出距離資訊。區 塊填補器偵測各祝角影像中之破洞區域，並搜索鄰近該破 洞區域之搜索區間内之原始像素，區邋填補器拫據原始像 素、輪廓資訊及距離資訊填補破洞區域。 根據另/實施例，提出一種修補三維立體影像之方 法。修補三維立體影像之方法用於三維影像處理系統，且 三維影像處理系統根據輸入影像及輸入深度產生視角影 像。修補三維立體影像之方法包括：偵測各視角影像中： 破洞區域；執行物件偵測以根據輸入影像輸出輪廓資訊； 執行物件判斷以根據輸入深度輸出距離資訊；搜舍 洞區域之搜索區間内之原始像素；以及根據原始像素、輪 廓資訊及距離資訊填補破洞區域。 為了對本揭露之上述及其他方面有更佳的瞭解，下文 特舉較佳實施例，並配合所附圖式，作詳細說明如下： 【實施方式】 為了填補視角衫像位移所造成的破洞區域，下述實 例揭露一種修補三維立體影像之襞置及修補三維立體 像之方法。修補三維立體影像之裝置㈣三維影像處理 統，且三維影像處理系統根據輸入影像及輸 角影像。修補三維立體影像之裳置包括物件器、 像中之破洞區域，並搜索鄰近 始像素’區塊填補器根據原始間内之 填補破洞區域。 、輪廓貧訊及距離資 201220248 TW6344PA 1 修補三維立體影像之方法用於三維影像處理系統，且 三維影像處理系統根據輸入影像及輸入深度產生視角影 像。修補三維立體影像之方法包括：偵測各視角影像中之 破洞區域；執行物件偵測以根據輸入影像輸出輪廓資訊； 執行物件判斷以根據輸入深度輸出距離資訊；搜索鄰近破 洞區域之搜索區間内之原始像素；以及根據原始像素、輪 廓資訊及距離資訊填補破洞區域。 第一實施例 • 請同時參照第2圖及第3圖，第2圖繪示係為三維影 像處理系統之一實施例方塊圖，第3圖繪示係為修補三維 立體影像之方法之一實施例流程圖。三維影像處理系統2 包括記憶體21、深度轉換器22、多視角處理器23及修補 三維立體影像之裝置24,且修補三維立體影像之裝置24 包括物件器241、深度器242及區塊填補器243。記憶體 21用以儲存輸入影像S1。深度轉換器22用以根據不同的 視角將輸入深度S2轉換為不同的像素移位輸出至多視角 • 處理器23，以供多視角處理器23輸出數個視角影像至區 塊填補器243。區塊填補器243搭配物件器241及深度器 242填補視角影像中的破洞區域後輸出填補後的輸出影像 S3。 修補三維立體影像之裝置24係執行修補三維立體影 像之方法以填補視角影像的破洞區域，影像處理方法包括 如下步驟。首先如步驟310所示，區塊填補器243偵測視 角影像中之破洞區域。舉例來說，區塊填補器243依照輸 入影像S1的判斷所接收的像素值為破洞資訊或影像資 201220248 TW6344PA :值IS的影像資訊則直接輸出所接收的像 驟修補麵。區塊填補=的像素值為破洞#㈣由後續步 ==::像素個數或破㈣素位置資訊，心 接著如步驟320 % _ , 據輸入影㈣輪出輪Μ;:器， 判斷以根據輸入深深度器242執行物件 例如係由物件器輸出距離資訊S5。㈣資訊S4 &輪此遠& 對輸入影像S1進行邊緣偵測而取 ， =距離資訊S5例如係由深度器242對輪入 取*物件與背景間的距離或是物件與物件間的 距離:^物件器= 如以猎…^邊緣的切割分辨物件與背景。由於物件器 彳I知物件與背景間或物件與物件間的距離，因此 搭配深度器242對輸入深度進行物件判斷。由於相同深度 物件輸入深度S2的像素值會非常接近，因此物件器241 搭配深度& 242能提供區塊填補器243輪㈣訊S4及距 離資訊S5以利後續的修補破洞處理。 跟著如步驟330所示，區塊填補器243搜索鄰近破洞 區域之搜索區_之原始像素。修補三維立體影像之裝置 24例如更包括-區塊緩衝器’區塊緩衝器用以暫存前述原 始像素之原始像素值。搜索區間之範圍例如為預設值戍隨 破洞區域之破洞像素個數而動態調整。 然後如步驟34〇所示，區塊填補器⑷根據原始像素 之原始像素值、輪廓資訊S4及㈣f訊s5填補破㈣ 201220248

1WW44PA 域。由於區塊填補器243能根據輪廓資訊S4、距離資訊 S5及原始像素之原始像素值決定破洞區域中之破洞像素 分別為物件或背景’因此區塊填補器243能分別對破洞區 域之破洞像素填補背景像素值或物件像素值。上述修補三 維立體影像之方法還可進—步㈣無記憶體模式及有記 憶體模式下述將分別舉例說明。 無記憶體模式 請同時參照第4八圖、第4B圖、第4C圖及第4D圖， 第4A圖繪示係為輸人影像位移後產生破洞的視角影像之 實她例示忍圖’第4B圖係為第4A圖中區域450的區部 放大圖第4C圖係為第4B圖依等比例擴增填補破洞後之 不思圖第二圖、會不係為第4A圖依等比例擴增填補破洞 後之視角衫像°舉例來說，原始視角影像4a中區域450 的局部放大係為局部視角影像扑。前述區塊填 破洞區域430之破洞像素-後，區 =的二:二=”；，判斷搜索區 体畜屬於物件420還是背景4 爯為物件像素422，·背景二： 始像素稱為h像素412。於—實施例， 與背景像素之個數比例“： 二2及3個二為例，搜索區間W内有2個物件像 素412,物件與背景比例即為2:3。 像iT。 像素值中有2個物件像素值及3個背景

S 區塊填補器243根據物件與背景比例將5個原始像素 9 201220248 TW6344PA , ^ 值中的2個物件像素值及3個背景像素值等比例擴增至第 4B圖繪示之破洞像素432、物件像素422及背景像素412 中，以產生如第4C圖繪示之修補後局部視角影像軋。而 第4A圖依等比例擴增填補破洞後之繪示則如第4D圖所繪 不之修補後視角影像4d。破洞像素432的多寡及搜索區間 w的大小會影像破洞的修補能力。當搜索區間w越大， ，破洞的修補能力越佳，相對地需要暫存的資料量也越 多。相反地，當搜索區間w越小，則破洞的修補能力越小， 相對地需要暫存的資料量也越少。修補破洞的方式除了上 述之等比例擴增外，在其他實施例，區塊填補器243亦可 根據原始像素值之平均值填補破洞區域之破洞像素。或 者，由區塊填補器243直接複製原始像素值至破洞區域之 破洞像素或複製運异處理後的原始像素值至破洞區域之 破洞像素。 有記憶體模式 請同時參照第5A圖及第5B圖，第5A圖繪示係為第 4B圖依物件之變化規則填補破洞後之一實施例示意圖第 圖繪示係為第4A圖依物件之變化規則填補破洞後之一 現角影像實施例示意圖。前述修補三維立體影像之裝置24 更包括一s己憶體244，§己憶體244用以儲存參考像素值。 鬵說明的是下述實施例之參考像素雖然以位於原始像素 上一列為例說明’但並不侷限於此。記憶體244亦能儲存 其他列或數列之像素值做為參考像素值。參考像素值分別 對應至參考像素。於第5A圖中參考像素即位於搜索區間 W’内。區塊填補器243根據位於搜索區間w，内之參考像 201220248 TW6344PA ' 素及位於搜索區間w内之 則，並簡㈣規職财崎㈣ 述記憶體244更包括區塊緩衝器，區塊緩衝;=;: 述原始像素之原始像素值。 、衝益用以暫存别 夫考體模式為區塊填補器243參考例如上一列的 〃象素去處理破洞的所需的像素值。如第 搜索區間W内有3個昔旦伤| 圖所不’ 間内的μ Γϋ 及2個物件像素，*搜索區 巍接的參考像素包括4個背景像素及1個物件像素。區塊 ·= 243根據物件之變化規則能推得知物件像素的個： 區塊填補器243對第4Β圖中在搜索區間 =，的5個破洞像素432中填入3個背景像素412之背 素值的延伸。第4Β圖依物件之變化規則填補破洞後 、、不則如帛5Α圖所示。而第4ΑΚ依 變 :洞後之繪示則如第5Β圖所示。除此之外真 並柄姑&塊填補器243亦能參考搜索區間W，的參考像素 素值w内之一物件與背景像素比例將原始像 ^值等比例擴增至破洞像素及原始像素。此外，在其他奋 器243也能參考參考像素並將— 補雖以不同的實施方式做說明，然只要區塊填 輪織訊及深度器之距離資訊填補破 ㉝即在本揭露的範圍之内。 綜上所述，雖然本揭露已以較佳實施例揭露如上，铁 二=用：限定本發明。本發明所屬技術領域中具有通； 哪香，在不脫離本發明之精神和範圍内，當可作各種之 201220248 TW6344PA ' 更動與潤飾。因此，本發明之保護範圍當視後附之申請專 利範圍所界定者為準。 【圖式簡單說明】 第1A圖繪示係為原始的中間視角影像。 第1B圖及第1C圖繪示係為位移後的左邊視角影像。 第1D圖及第1E圖繪示係為位移後的右邊視角影像。 第2圖繪示係為三維影像處理系統之一實施例方塊 圖。 第3圖繪示係為修補三維立體影像之方法之一實施 鲁 例流程圖。 第4A圖繪示係為輸入影像位移後產生破洞的視角影 像之一實施例示意圖。 第4B圖係為第4A圖中區域450的區部放大圖。 第4C圖係為第4B圖依等比例擴增填補破洞後之示 意圖。 第4D圖繪示係為第4A圖依等比例擴增填補破洞後 之視角影像。 · 第5A圖繪示係為第4B圖依物件之變化規則填補破 洞後之一實施例示意圖。 第5B圖繪示係為第4A圖依物件之變化規則填補破 洞後之一視角影像實施例示意圖。 【主要元件符號說明】 2 :三維影像處理系統 4a :視角影像 4b :局部視角影像 12 201220248 * TW6344PA ' 4c :修補後局部視角影像 4d :修補後視角影像 10a、10b、10c、10d、10e :視角影像 21、244 :記憶體 22 :深度轉換器 23 :多視角處理器 24 :修補三維立體影像之裝置 110、120、410、420 :物件 φ 130b、130c、130d、130e、430 :破洞區域 140、440 :背景 241 :物件器 242 :深度器 243 :區塊填補器 310、320、330、340 :步驟 422 :物件像素 432 :破洞像素 • 412 :背景像素 450 :區域 51 :輸入影像 52 :輸入深度 53 :輸出影像 54 :輪廓資訊 55 :距離資訊 W、W’、W” ：搜索區間

S 13

Claims (1)

1. 201220248 TW6344PA ' 七、申請專利範圍： 1. 一種修補三維立體影像之裝置，用於一三維影像 處理系統，該三維影像處理系統根據一輸入影像及一輸入 深度產生複數個視角影像，該修補三維立體影像之裝置包 括： 一物件器，用以執行一物件偵測以根據該輸入影像輸 出一輪廓資訊； 一深度器，用以執行一物件判斷以根據該輸入深度輸 出一距離資訊；以及 · 一區塊填補器，用以偵測各該些視角影像中之一破洞 區域，並搜索鄰近該破洞區域之一搜索區間内之複數個原 始像素，該區塊填補器根據該些原始像素、該輪廓資訊及 該距離資訊填補該破洞區域。 2. 如申請專利範圍第1項所述之修補三維立體影像 之裝置，其中該區塊填補器根據該輪廓資訊、該距離資訊 及該些原始像素決定該破洞區域之複數個破洞像素分別 為物件或背景。 · 3. 如申請專利範圍第1項所述之修補三維立體影像 之裝置，其中該區塊填補器根據該些原始像素之一物件與 背景比例將該些原始像素之複數個原始像素值等比例擴 增至該破洞區域之複數個破洞像素及該些原始像素。 4. 如申請專利範圍第1項所述之修補三維立體影像 之裝置，其中該區塊填補器根據該些原始像素之複數個原 始像素值之平均值填補該破洞區域之複數個破洞像素。 5. 如申請專利範圍第1項所述之修補三維立體影像 14 201220248 TW6344PA ' 之裝置，其中該區塊填補器直接複製該些原始像素之複數 個原始像素值至該破洞區域之複數個破洞像素或複製運 算處理後的該些原始像素值至該破洞區域之複數個破洞 像素。 6. 如申請專利範圍第1項所述之修補三維立體影像 之裝置，更包括： 一記憶體，用以儲存複數個參考像素值，該些參考像 素值分別對應至複數個參考像素，該些參考像素係相鄰該 • 些原始像素。 7. 如申請專利範圍第6項所述之修補三維立體影像 之裝置，其中該區塊填補器根據該些參考像素及該些原始 像素找出該物件之一變化規則，並根據該變化規則填補該 破洞區域之複數個破洞像素。 8. 如申請專利範圍第6項所述之修補三維立體影像 之裝置，其中該區塊填補器參考該些參考像素並根據該些 原始像素之一物件與背景比例將該些原始像素值等比例 • 擴增至該破洞區域之複數個破洞像素及該些原始像素 9. 如申請專利範圍第6項所述之修補三維立體影像 之裝置，其中該區塊填補器參考該些參考像素並將該些原 始像素值複製至該破洞區域之複數個破洞像素。 10. 如申請專利範圍第6項所述之修補三維立體影像 之裝置，其中該記憶體更包括： 一區塊緩衝器，用以暫存該些原始像素之複數個原始 像素值。 11. 如申請專利範圍第1項所述之修補三維立體影像 15 201220248 TW6344PA ' ^ 之裝置，其中該搜索區間之範圍係隨該破洞區域之破洞像 素個數而動態調整。 12. 如申請專利範圍第1項所述之修補三維立體影像 之裝置，其中該搜索區間之範圍係為一預設值。 13. —種修補三維立體影像之方法，用於一三維影像 處理系統，該三維影像處理系統根據一輸入影像及一輸入 深度產生複數個視角影像，該修補三維立體影像之方法包 括： 偵測各該些視角影像中之一破洞區域； 執行一物件偵測以根據該輸入影像輸出一輪廓資訊； 執行一物件判斷以根據該輸入深度輸出一距離資訊； 搜索鄰近該破洞區域之一搜索區間内之複數個原始 像素；以及 根據該些原始像素、該輪廓資訊及該距離資訊填補該 破洞區域。 14. 如申請專利範圍第13項所述之修補三維立體影 像之方法，其中於填補該破洞區域之該步驟中，係根據該 輪廓資訊、該距離資訊及該些原始像素決定該破洞區域之 複數個破洞像素分別為物件或背景。 15. 如申請專利範圍第13項所述之修補三維立體影 像之方法，其中於填補該破洞區域之該步驟中，係根據該 些原始像素之一物件與背景比例將該些原始像素之複數 個原始像素值等比例擴增至該破洞區域之複數個破洞像 素及該些原始像素。 16. 如申請專利範圍第13項所述之修補三維立體影 201220248 TW6344PA ' 像之方法，其中於填補該破洞區域之該步驟中，係根據該 些原始像素之複數個原始像素值之平均值填補該些破洞 像素。 17.如申請專利範圍第13項所述之修補三維立體影 像之方法，其中於填補該破洞區域之該步驟中，係直接複 製該些原始像素之複數個原始像素值至該破洞區域之複 數個該些破洞像素或複製運算處理後的該些原始像素值 至該破洞區域之複數個破洞像素。 • 18.如申請專利範圍第13項所述之修補三維立體影 像之裝置，更包括： 儲存複數個參考像素值，該些參考像素值分別對應至 複數個參考像素。 19. 如申請專利範圍第18項所述之修補三維立體影 像之方法，其中於填補該破洞區域之複數個破洞像素之該 步驟中，係根據該些參考像素及該些原始像素找出該物件 之一變化規則，並根據該變化規則填補該破洞區域之複數 • 個破洞像素。 20. 如申請專利範圍第18項所述之修補三維立體影 像之方法，其中於填補該破洞區域之複數個破洞像素之該 步驟中，係參考該些參考像素並根據該些原始像素之一物 件與背景比例將該些原始像素值等比例擴增至該破洞區 域之複數個破洞像素及該些原始像素 21. 如申請專利範圍第18項所述之修補三維立體影 像之方法，其中於填補該破洞區域之該步驟中，係參考該 些參考像素並將該些原始像素值複製至該破洞區域之複 17 201220248 TW6344PA ’ ’ 數個破洞像素。 22. 如申請專利範圍第13項所述之修補三維立體影 像之方法，更包括： 暫存該些原始像素之複數個原始像素值。 23. 如申請專利範圍第22項所述之修補三維立體影 像之方法，其中該搜索區間之範圍係隨該破洞區域之破洞 像素個數而動態調整。 24. 如申請專利範圍第22項所述之修補三維立體影 像之方法，其中該搜索區間之範圍係為一預設值。