TWI439961B - Conversion algorithm for voids generated after converting 2D images - Google Patents
Conversion algorithm for voids generated after converting 2D images Download PDFInfo
- Publication number
- TWI439961B TWI439961B TW100107730A TW100107730A TWI439961B TW I439961 B TWI439961 B TW I439961B TW 100107730 A TW100107730 A TW 100107730A TW 100107730 A TW100107730 A TW 100107730A TW I439961 B TWI439961 B TW I439961B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- block
- hole
- converting
- image search
- Prior art date
Links
- 238000006243 chemical reaction Methods 0.000 title description 2
- 230000008439 repair process Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 7
- 239000011800 void material Substances 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 235000014121 butter Nutrition 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Description
本發明是有關於一種影像補償演算法，特別是指一種快速補償轉換2D影像後所產生空洞的補償演算法。
近年來隨著科技的進步，人們對於視訊也越來重視，也因此造就了3D的影像系統的蓬勃發展。然而現階段對於3D影像系統普及化前，所面臨到的關鍵問題一部份是3D系統製造成本昂貴，另一部份是如何與現有2D影像共存。
參閱圖1，為了解決這個問題有人便提出利用一DIBR(Depth-Image-Based Rendering)技術，將2D影像轉換成3D影像，其作法主要是利用一2D影像搭配一深度圖，透過將2D影像中屬於該深度圖中同一深度範圍的像素朝左方或右方位移一預定量，不同深度範圍的像素有不同的位移量，來轉換成不同視角的虛擬視野影像，依需求可轉換成左視角或右視角的虛擬視野影像，上述部份一般稱為影像變形(Image Warping)，再將原本的2D影像及轉換出的虛擬視野影像二張組合產成一3D影像，藉以模擬出立體影像的效果。由於該深度圖可以由簡單的技術，例如：深度探測器來完成，因此能有效節省3D製作成本。
然而在轉換成虛擬視野的過程中，若虛擬視野影像中的像素點沒有原2D影像中對應的像素點可以填入，則會產生空洞(Hole)，空洞一般均產生在前景與背景的交界處，其中，前景為距離拍攝鏡頭較近的部分，背景則為較遠的部分。因此空洞的補償方法，對3D影像的品質將有決定性的影響。
習知的空洞補償技術，如Criminisi與Toyama所提出的Image Inpainting，發表文獻在「“Region Filling and Object Removal by Exemplar-Based Image Inpainting,”IEEE Transactions On Image Processing,2004 Vol. 13,No. 9」(以第一演算法代表之)，該方法對於空洞的修補是搜尋整張畫面中最相似區塊，來對空洞做修補，因為是對整張畫面搜尋，如此效能不是很好且容易將前景部分填補到背景部分，造成誤差。
另一種空洞補償技術為Depth-Aided Inpainting，發表文獻在「“Depth-Aided Inpainting forDisocclusion Restoration of Multi-View Images Using Depth-Image-BasedRendering”,Zhejiang Univ Sci A 2009 10(12),pp.1738-1749.」(以第二演算法代表之)所述，空洞的修補上加入了前景與背景的判斷，且搜尋範圍也縮小至空洞鄰近四周圍的影像區塊以節省運算，雖然在時間的節省上有顯著的成效，但仍然還有向上提升的空間。
因此，本發明之目的，即在提供一種能夠快速補償轉換2D影像後所產生空洞的補償演算法。
於是，本發明影像補償演算法，適用於修補一影像轉換視野後所產生的複數空洞，該演算法包含步驟A至步驟D等四個步驟。
步驟A：偵測該虛擬視野影像中的該等空洞的位置。
步驟B：在該虛擬視野影像中選定一包含有空洞的影像修補區塊，利用一評比方法，與分別位於該影像修補區塊上方的複數影像搜尋區塊、下方的複數影像搜尋區塊、左方的複數影像搜尋區塊，右方的複數影像搜尋區塊做比較，將有最佳評比結果的一影像搜尋區塊設定為一影像候補區塊。
步驟C：將影像候補區塊的像素值填入該影像修補區塊的空洞。
步驟D：判斷所有的空洞是否修補完成，若否則繼續進行步驟B。
本發明之功效在於：透過只比對位在該影像修補區塊四個方向的複數影像搜尋區塊，來選擇與該影像修補區塊最接近的影像候補區塊，以縮小搜尋範圍與搜尋時間，節省資料的處理量，並且能維持良好的影像品質。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之兩個較佳實施例的詳細說明中，將可清楚的呈現。
在本發明被詳細描述之前，要注意的是，在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖2、圖3與圖4，本發明轉換2D影像後所產生空洞之補償演算法之第一較佳實施例適用於修補由一2D影像轉換成一虛擬視野影像所產生的複數空洞，且該等空洞11是由一2D影像12搭配一深度圖13，透過一種已知的影像變形(Image warping)技術來轉換成一虛擬視野影像14後，在虛擬視野影像14中的像素點沒有原2D影像12中對應的像素點可以填入時即會產生，其中，大部份空洞11係產生在該虛擬視野影像14的前景141與背景142的交界處等，且前景141與背景142的區別越明顯，也會導致生成的空洞11的尺寸越大；值得說明的是，判斷背景142的依據，是透過該深度圖13之灰階值的對應關係而來，也就是說背景142對應至該深度圖13的灰階值，其值不大於該深度圖13的任一灰階值，即代表為背景142。而該深度圖13是一對應於該影像12的圖像，利用量化後的複數灰階值以代表距離拍攝鏡頭的遠近，深度圖13顏色越亮的部分表示灰階值越大，且離拍攝鏡頭越近，深度圖13顏色越暗的部分表示灰階值越小，且離拍攝鏡頭越遠。
參閱圖5與圖6，該第一較佳實施例包括步驟21~步驟26等六個步驟：步驟21：檢視該虛擬視野影像，並利用公式(1)偵測出存在於該虛擬視野內的空洞11所在位置。
公式(1)中的變數t x
代表兩眼間的距離，f
表示焦距，Z
則為深度圖13中量化後的灰階值。
其中butter(x,y)的數值若為null，則將這像素判斷為空洞，並給予空洞的標籤。
步驟22：在該虛擬視野影像14中選定一包含空洞11的影像修補區塊143及複數影像搜尋區塊15，其中，該影像修補區塊與分別位於該影像修補區塊上、下、左、右方的影像搜尋區塊之間有一部分像素重疊，在本實施例中重疊部分6X7個畫素或7X6個畫素，且構成的八個影像搜尋區塊15、15’，每一影像搜尋區塊15、15’尺寸與該影像修補區塊143尺寸為7x7像素，而該影像修補區塊143是7x7像素中以一空洞為中心，其它一部份的像素可是具有影像，一部份是空洞11，而每一方向的二個影像搜尋區塊之間有一部份畫素重疊，在本實施例中是6X7個畫素或7X6個畫素重疊。接著對該等影像搜尋區塊15、15’利用一評比方法進行比較，其比較順序順序為：先比較與該影像修補區塊143相鄰的四個影像搜尋區塊15，接著再比較與該影像修補區塊143距離次近的四個影像搜尋區塊15’，並以逆時針螺旋方向向外展出；該評比方法是將每一影像搜尋區塊15、15’內不是前景141與空洞11的每一像素值，分別與該該影像候補區塊14相對應的每一像素值計算差值，並採用絕對差值合(Sum of absolute difference)最小的影像搜尋區塊為最佳評比結果的影像搜尋區塊；將該最佳評比結果的影像搜尋區塊設定為一影像候補區塊。但若一影像搜尋區塊15、15’中具有部分的前景141或部分的空洞11，則該影像搜尋區塊15不列入該影像候補區塊。
步驟23：判斷該影像候補區塊是否存在，若存在則執行步驟24，若不存在則執行步驟25。
步驟24：若該候補區塊存在，則以該影像候補區塊的影像值填入該影像修補區塊143的空洞，接著執行該步驟26。
步驟25：該影像候補區塊不存在，表示該影像修補區塊143的上、下、左、右方是被部分的前景141與部分的空洞11所包圍，該影像修補區塊周圍無背景142的存在，此時利用平均濾波器來修補該影像修補區塊143的空洞11，接著執行該步驟26。
步驟26：判斷該虛擬視野影像14所有的空洞11是否修補完成，若否，則繼續進行步驟22，但在選定一包含空洞11的影像修補區塊143時，則改由上一次剛處理完的該影像修補區塊143的中心，向右移動一7個畫素後的新影像修補區塊143。
透過上述的流程步驟，以選自The Middlebury computer vision pages(http://vision.middlebury.edu/)所提供的圖像：Interview、Orbi、Black dancer、Cg、Dog、summer Dog等六圖做為範圍，如圖7所示，與習知的第一演算法及第二演算法做出計算時間及畫面品質的比較，畫面品質以PSNR(peak signal to noise ratio)做為基準，結果如表一所示
由上述表格得知，該第一較佳實施例在PSNR的表現上，與使用該第一演算法與該第二演算法的差別很小，然而卻能節省90%以上的處理時間，故在一定的顯示品質下，節省了運算複雜度，確實能達成本發明之目的。
值得說明的是，在步驟22中關於該影像修補區塊143的尺寸大小決定了空洞修補的時間與品質，當影像修補區塊143越大時，需要計算量越多，以同樣Interview、Orbi 、Black dancer、Cg、Dog、summer Dog等六圖為範例，利用3x3像素、5x5像素、7x7像素、9x9像素、11x11像素等尺寸的該影像修補區塊143，進行本方法空洞修補所需要的時間，結果如表二所示：
由上述表格得知，當選該影像修補區塊143的尺寸大小為5x5像素、7x7像素、9x9像素時，進行本方法空洞修補所需要的時間增加較為和緩，但尺寸大小增加到11x11像素時，則所需要的時間會大幅增加，而3x3像素則因為品質較差不適合，僅做為比較基礎，所以較適當的該影像修補區塊143的尺寸大小介於5x5像素到9x9像素。
另外，在步驟22中，關於以該影像修補區塊143為中心，向左、右、上與下四個方向各延伸的影像搜尋區塊數量，會直接影響計算修補的時間，當影像搜尋區塊延伸數量越多時計算所需時間越長，如果以距離該影像修補區塊143的遠近來分內外圈，每圈的影像搜尋區塊均有上、下、左、右四個影像搜尋區塊，則有不同圈數的計算結果如表三所示：
由上述表格得知，當影像搜尋區塊的圈數在1~3圈時，計算修補的時間增加地和緩，但4~5圈時則所需要的時間會大幅增加，而1圈時則因為品質較差不適合，僅做為比較基礎，所以較適當的影像搜尋區塊的圈數在2~3圈，換句話說，位於該影像修補區塊143上、下、左、右方的影像搜尋區塊數量各是2個或各是3個是較佳的。
參閱圖8，該第二較佳實施例包括步驟31~步驟37等7個步驟，主要的不同在於步驟31~步驟33：步驟31：檢視該虛擬視野影像14，並偵測出存在於該虛擬視野影像14內的空洞11所在位置，接著將該等空洞11個別區分為一大尺寸空洞111或一小尺寸空洞112，其中，該小尺寸空洞112是指1x1像素或1x2像素的空洞11，其餘將定義為一大尺寸空洞111，如圖9所示。
步驟32：對每一小尺寸空洞112，利用平均濾波器來做修補，直到完成所有小尺寸空洞112的修補，大尺寸空洞111略過不作處理。
步驟33：本步驟除了在該虛擬視野影像14中選定一包含大尺寸空洞111的影像修補區塊143及複數影像搜尋區塊15之外，其餘與步驟22相同。
步驟34：與步驟23相同。
步驟35：與步驟24相同。
步驟36：與步驟25相同。
步驟37：與步驟26相同。
以同樣Interview、Orbi、Black dancer、Cg、Dog、summer Dog等六圖為範例，與該第一較佳實施例做出比較，畫面品質以PSNR(peak signal to noise ratio)做為基準，結果如表四所示：
由上述表格得知，若針對該等空洞11依尺寸區分為大尺寸空洞111及小尺寸空洞112，在執行步驟33前，先對小尺寸空洞112以較為簡單的平均濾波器進行修補，能更進一步地節省處理時間，且畫面品質PSNR幾乎不變，故確實能達成本發明之目的。
值得說明的是，大尺寸空洞111及小尺寸空洞112的修補處理也可以依在該虛擬視野影像14中的X、Y軸位置，依序處理，不必像上述步驟32中，先對每一小尺寸空洞112做修補，直到完成所有小尺寸空洞112的修補，再進行大尺寸空洞11的處理。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
11．．．空洞
111．．．大尺寸空洞
112．．．小尺寸空洞
12．．．2D影像
13．．．深度圖
14．．．虛擬視野影像
141．．．前景
142．．．背景
143．．．影像修補區塊
15．．．影像搜尋區塊
15’．．．影像搜尋區塊
21~26．．．步驟
31~37．．．步驟
圖1是一流程圖，說明習知由2D影像模擬3D效果；
圖2是一影像圖，說明一原始的2D畫面；
圖3是一灰階深度圖，說明該原始2D畫面的景深；
圖4是一影像圖，說明該原始2D畫面轉換成一虛擬視野後，產生複數空洞；
圖5是一流程圖，說明本發明的第一較佳實施例；
圖6是一示意圖，說明該第一較佳實施例向外環繞搜尋複數搜尋區塊；
圖7是一使用圖片的說明圖；
圖8是一流程圖，說明本發明的第二較佳實施例；
圖9是一空洞尺寸的說明圖。
21~26．．．步驟
Claims (9)
- 一種轉換2D影像後所產生空洞之補償演算法，適用於修補由一2D影像轉換成一虛擬視野影像後所產生的複數空洞，該演算法包含：步驟A：偵測該虛擬視野影像中的該等空洞的位置；步驟B：在該虛擬視野影像中選定一包含有空洞的影像修補區塊，利用一評比方法，與分別位於該影像修補區塊上方的複數影像搜尋區塊、下方的複數影像搜尋區塊、左方的複數影像搜尋區塊，右方的複數影像搜尋區塊做比較，將有最佳評比結果的一影像搜尋區塊設定為一影像候補區塊，該評比方法為將每一影像搜尋區塊內不是前景與空洞的每一像素值，分別與該該影像候補區塊相對應的每一像素值計算差值，並採用絕對差值合最小的影像搜尋區塊為最佳評比結果的影像搜尋區塊；步驟C：將影像候補區塊的像素值填入該影像修補區塊的空洞；及步驟D：判斷所有的空洞是否修補完成，若否則繼續進行步驟B。
- 依據申請專利範圍第1項所述之轉換2D影像後所產生空洞之補償演算法，其中，該步驟B中的該影像修補區塊與分別位於該影像修補區塊上、下、左、右方的影像搜尋區塊之間有一部分像素重疊，且該等影像搜尋區塊的大小與該影像修補區塊的大小相同。
- 依據申請專利範圍第2項所述之轉換2D影像後所產生空洞之補償演算法，其中，該步驟B中位於該影像修補區塊上、下、左、右方的影像搜尋區塊數量各是2個或各是3個，且每一方向的複數影像搜尋區塊之間有一部份像素重疊。
- 依據申請專利範圍第3項所述之轉換2D影像後所產生空洞之補償演算法，其中，該步驟B中評比方法比較順序為，先比較與該影像修補區塊相鄰的四個影像搜尋區塊，接著再比較與該影像修補區塊距離次近的四個影像搜尋區塊，之後若還有剩餘影像搜尋區塊再比較，並以順時針螺旋方向或逆時針螺旋方向環繞比較。
- 依據申請專利範圍第2項所述之轉換2D影像後所產生空洞之補償演算法，其中，該步驟A還包括判斷每一空洞是否為一小尺寸空洞，該小尺寸空洞是指空洞尺寸為1x1像素或1x2像素。
- 依據申請專利範圍第5項所述之轉換2D影像後所產生空洞之補償演算法，還包含一介於該步驟A與該步驟B之間的步驟A1，該步驟A1是先對每一小尺寸空洞以平均濾波器來做修補，且修補的每一小尺寸空洞不再進行後續步驟。
- 依據申請專利範圍第2項所述之轉換2D影像後所產生空洞之補償演算法，該步驟B中，判斷位於該影像修補區塊上、下、左、右方的每一影像搜尋區塊是否含有前景或空洞，若有則該影像搜尋區塊不列入該影像候補區 塊。
- 依據申請專利範圍第7項所述之轉換2D影像後所產生空洞之補償演算法，還包含一介於該步驟B與該步驟C之間的步驟B1，該步驟B1是判斷該影像候補區塊是否存在，若存在則執行該步驟C；若不存在，則執行一步驟E，該步驟E為利用平均濾波器來修填該影像修補區塊的空洞，繼續該步驟D。
- 依據申請專利範圍第5項或第7項所述之轉換2D影像後所產生空洞之補償演算法，其中，該步驟B中的該影像修補區塊尺寸是介於5x5像素到9x9像素。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100107730A TWI439961B (zh) | 2011-03-08 | 2011-03-08 | Conversion algorithm for voids generated after converting 2D images |
| US13/178,404 US8526759B2 (en) | 2011-03-08 | 2011-07-07 | Method of filling a hole in a virtual view image warped from a two-dimensional image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100107730A TWI439961B (zh) | 2011-03-08 | 2011-03-08 | Conversion algorithm for voids generated after converting 2D images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201237803A TW201237803A (en) | 2012-09-16 |
| TWI439961B true TWI439961B (zh) | 2014-06-01 |
Family
ID=46795652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW100107730A TWI439961B (zh) | 2011-03-08 | 2011-03-08 | Conversion algorithm for voids generated after converting 2D images |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8526759B2 (zh) |
| TW (1) | TWI439961B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI736335B (zh) * | 2020-06-23 | 2021-08-11 | 國立成功大學 | 基於深度影像生成方法、電子裝置與電腦程式產品 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8879828B2 (en) | 2011-06-29 | 2014-11-04 | Matterport, Inc. | Capturing and aligning multiple 3-dimensional scenes |
| US8934707B2 (en) * | 2012-03-21 | 2015-01-13 | Industrial Technology Research Institute | Image processing apparatus and image processing method |
| TW201528775A (zh) * | 2014-01-02 | 2015-07-16 | Ind Tech Res Inst | 景深圖校正方法及系統 |
| KR102156410B1 (ko) | 2014-04-14 | 2020-09-15 | 삼성전자주식회사 | 오브젝트 움직임을 고려한 영상 처리 장치 및 방법 |
| GB2594329A (en) * | 2020-04-24 | 2021-10-27 | Sony Interactive Entertainment Europe Ltd | Computer-implemented method for completing an image |
-
2011
- 2011-03-08 TW TW100107730A patent/TWI439961B/zh not_active IP Right Cessation
- 2011-07-07 US US13/178,404 patent/US8526759B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI736335B (zh) * | 2020-06-23 | 2021-08-11 | 國立成功大學 | 基於深度影像生成方法、電子裝置與電腦程式產品 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20120230603A1 (en) | 2012-09-13 |
| US8526759B2 (en) | 2013-09-03 |
| TW201237803A (en) | 2012-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109712067B (zh) | 一种基于深度图像的虚拟视点绘制方法 | |
| TWI439961B (zh) | Conversion algorithm for voids generated after converting 2D images | |
| JP5442111B2 (ja) | 画像から高速に立体構築を行なう方法 | |
| JP6143747B2 (ja) | 深度測定の品質の向上 | |
| WO2018040463A1 (zh) | DeMura表的数据压缩、解压缩方法及Mura补偿方法 | |
| TWI489418B (zh) | Parallax Estimation Depth Generation | |
| US8374428B2 (en) | Color balancing for partially overlapping images | |
| KR101855980B1 (ko) | 홀 채우기 방법 및 장치 | |
| CN110866882B (zh) | 基于深度置信度的分层联合双边滤波深度图修复方法 | |
| CN112991420A (zh) | 一种视差图的立体匹配特征提取及后处理方法 | |
| KR102158390B1 (ko) | 영상 처리 방법 및 장치 | |
| JP4296617B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| CN111881985A (zh) | 立体匹配方法、装置、终端和存储介质 | |
| TWI478095B (zh) | Check the depth of mismatch and compensation depth error of the perspective synthesis method | |
| CN103456031A (zh) | 一种区域图像插值的新方法 | |
| CN108805841B (zh) | 一种基于彩色图引导的深度图恢复及视点合成优化方法 | |
| CN113888509A (zh) | 一种图像清晰度的评价方法、装置、设备及存储介质 | |
| US20200334890A1 (en) | Systems and Methods for Fast Texture Mapping of 3D Models | |
| CN116245928A (zh) | 一种基于双目立体匹配的三维重建方法 | |
| CN107610070B (zh) | 基于三摄像采集的自由立体匹配方法 | |
| Li et al. | A Bayesian approach to uncertainty-based depth map super resolution | |
| CN114727073B (zh) | 一种图像的投影方法、装置、可读存储介质及电子设备 | |
| Shen et al. | Gradient based image completion by solving poisson equation | |
| TWI527432B (zh) | 用以建立立體影像之深度影像的修補方法 | |
| CN115176459A (zh) | 虚拟视点合成方法、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |