TWI478095B - Check the depth of mismatch and compensation depth error of the perspective synthesis method - Google Patents

Description

檢查深度不匹配與補償深度誤差之視角合成方法

本發明係有關一種視角合成之技術，特別是一種可檢查深度不匹配與補償深度誤差之視角合成方法。

按，視角合成技術是基於深度影像繪圖法(Depth-image-based rendering,DIBR)技術而來。從真實的世界來說，當面對著相同的某個場景，並且移動一小段距離後，就會發現較遠的物件於自己的相對位置改變較小，而較近的物件與自己的相對位置有較大的改變，視角合成技術即是利用此關係來模擬出中間畫面，由於前景物件在畫面上的相對移動量較背景物件來得多，根據這個原則，只要有了深度資訊，即可利用此深度換算出每一個物件在左右畫面上的相對位置改變了多少，並依據改變的多寡讓每一個深度不相同的物件有不同扭曲(Warping)結果，進而模擬出虛擬視角畫面，如下式(1)：I _w (i,j)=(1-w)*I _L (i+w*d,j)+w*I _R (i-(1-w)*d,j) (1)上式表達了左右兩張原圖先分別進行扭曲運算，再將兩者的結果混和，最後合成出某個虛擬視角畫面。在式(1)中，(i,j)代表在圖上的座標，w代表視角權重參數，介於0到1之間，越靠近1則表示視角越靠近右方真實相機，I_w、I_L、I_R分別代表虛擬畫面、左邊畫面、右邊畫面，I_w,R,L(i,j)則是表示在左或右圖座標上的像素值，d則是由深度值換算而來的視差值，表示相同物件在左右畫面上相對位置的差異量。

一個完整的視角合成演算法中，通常都具有兩大運算部分，第一為扭曲運算，第二為空洞填補。扭曲運算乃是根據視差值和視角權重參數來改變畫面上物件的相對位置關係，而由於扭曲運算而出現的黑色部分，代表是原本被前景擋住的地方，稱為遮蔽區(Occlusion Area)或空洞，而這些遮蔽區通常在左右原圖進行完扭曲和混合(Blending)後就會消失，其原因是左邊畫面中被前景擋住的地方，大多可以從右邊 畫面找到，如第1A圖及第1B圖所示，第1A圖為原始視角畫面及其相對應之深度圖，第1B圖為扭曲後之畫面及其相對應之深度圖。經過混合運算後，理論上不會再有任何空洞存在，但事實上，空洞的產生除了來自於遮蔽區外，還有一大原因就是深度值錯誤或是在同一物件上深度的些微差異，此種情況下，無法藉由混合將這些空洞區填補完全，所以仍需要空洞填補(Hole Filling)將虛擬畫面修補得更逼近真實。

空洞填補的方式很多，最基本的作法是以空洞附近背景(深度最小)的像素值來填補。舉例來說，空洞大部分產生的原因是由於畫面在經過扭曲運算後，前景和背景視差量不同，而導致原本遮蔽的地方顯示出來，而這些地方通常是被擋住的部分，也就是背景部分，而背景部分的深度值都是比較小的，所以便利用空洞附近具有較小深度的像素來填補這些遮蔽區，最後，填補完就會產生出中間的虛擬畫面。

由於視角合成技術對於深度圖的品質相當敏感，一旦深度圖上有誤差產生，此誤差將傳遞至虛擬畫面上，導致畫面的變形或是不自然，因此，本發明即提出一種檢查深度不匹配與補償深度誤差之視角合成方法，以克服上述該等問題，具體架構及其實施方式將詳述於下。

本發明之主要目的在提供一種檢查深度不匹配與補償深度誤差之視角合成方法，其可解決深度圖中物件大小與實際物件大小不相符之深度錯誤、修正合成後物件中裂縫被背景物件填補之錯誤並減少冗餘運算。

本發明之另一目的在提供一種檢查深度不匹配與補償深度誤差之視角合成方法，其改善扭曲運算流程，不是在視角合成前先對深度圖進行預先處理，而是以補償式扭曲運算提升虛擬視圖的畫質，簡化運算複雜度。

本發明之再一目的在提供一種檢查深度不匹配與補償深度誤差之視角合成方法，其係利用圖像中同一物件內部之深度是否連續判斷是 否需要計算位移量，以降低像素位移量之運算量，提高運算效率。

為達上述之目的，本發明提供一種檢查深度不匹配與補償深度誤差之視角合成方法，其係輸入左圖及右圖在一處理器中扭曲以進行視角合成，當一目前像素扭曲後會移動至一目標像素之位置，分別計算左圖及右圖中目前像素移動到目標像素之一像素位移量，以算出目標像素之座標；判斷目前像素之深度值是否大於目標像素之深度值，若是，則判斷目前像素之深度值與目標像素之鄰近座標的深度值是否匹配，若不匹配，則將目標像素之深度值設定為空洞，若匹配，則將目前像素之像素值覆蓋目標像素，最後將微小誤差部分修補完成。

本發明另提供一種於視角合成中判斷相同深度區塊之方法，包括下列步驟：分別取得扭曲後一左圖及一右圖之一深度圖；於深度圖中判斷至少一深度連續處及至少一深度不連續處；以及設定一門檻值，當深度改變幅度小於門檻值時，採用一先前像素之位移量作為一目前像素之位移量，當深度改變幅度大於門檻值時，分別計算左圖及右圖中目前像素移動到一目標像素之像素位移量。

底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

本發明提供一種檢查深度不匹配與補償深度誤差之視角合成方法，其係應用於多視角視訊之影像處理，本發明係在處理器中利用低複雜度的演算法判斷錯誤的深度區域，並根據深度邊界判斷及視差量四捨五入前後的比較，分別進行補償式扭曲運算及殘留物件邊緣的修正，提高虛擬視圖之真實性；更利用判斷深度連續情形以降低運算複雜度。

使用不同演算法所產生出來的深度圖中，在深度的物體邊界與實際彩色圖像上物件會發生大小不匹配的情況，若深度圖中的物件大於實際物件，在視角合成後會發生物件周圍的背景與物件相連一起，造 成在不同的視角上，物件周圍的背景並不會和物件有視差量上的分別，導致背景與前景失去前後關係，在移動視角時，會發現物件連著一大塊背景一起移動；而若深度圖中的物件小於實際物件，則會造成物件邊緣殘留於背景上的情況，這種情況會使得背景上出現明顯的物件輪廓線條。而在相同物件中，深度值若有些許差異，亦可能導致物件在扭曲運算後，物件中間出現裂縫，且被背景像素所填補之情況，如第2A圖及第2B圖所示，第2A圖為原始影像，第2B圖為誤差狀況，為解決此問題，本發明提出一作法來消弭這兩種錯誤情況，詳述如下。

第3圖為本發明視角合成方法之流程圖，設D_C(i,j)、C_C(i,j)分別代表當前要進行扭曲運算之目前像素的深度值和像素值，目前像素扭曲後會移動至一新位置上，而原本位於此位置上的像素為目標像素，D_T(i,j)、C_T(i,j)分別代表目標像素之深度值和像素值。首先，在步驟S10中先計算出一像素位移量，如下式(2)、(3)中的變數dl和dr，dl代表左圖某像素的整數位移量，dr代表右圖某像素的整數位移量，V_D為深度值，f_s是量化因子(ScaleFactor)，用以轉換深度值和位移量(或稱視差值)，此值通常和視差估計運算時的搜尋範圍有關，大致上來說，左右相機鏡頭的差距越大，搜尋範圍會變得越大，而量化因子則是變得越小。舉例而言，當鏡頭距離為5到20公分左右時，量化因子大約是介於4到1之間。式(2)表示左圖計算位移量dl之公式，而式(3)表示右圖計算位移量dr之公式，而w表示使用者或觀看者選取視角的參數，此參數介於1到0之間，越靠近1表示越接近右視角畫面，越接近0表示越接近左視角畫面。

當步驟S10計算出像素位移量後，接著步驟S12判斷此目前像素之深度值是否大於水平座標加上位移量後之像素(稱之為目標像素)的 深度值，若目前像素深度值並未大於目標像素深度值，表示此像素在扭曲後，是被遮蔽的像素，故回到步驟S10進行下一像素的計算；若目前像素的深度值大於目標像素的深度值，表示此像素在扭曲後是屬於前景的物件，所以此一像素需要被顯示出來。接著步驟S14判斷這一目前像素的深度值與目標像素之鄰近座標的深度值是否匹配，鄰近座標為目標像素的右邊一個座標單位或是左邊一個座標單位，步驟S14係在判斷目標像素之深度值是否小於該鄰近座標之深度值，若是，代表深度不匹配，則步驟S16將目標像素之深度值設定為空洞，若否，代表深度匹配，則步驟S18將目前像素之像素值覆蓋目標像素。

為了讓目標像素之座標及像素值判斷更為準確，本發明更提出了詳細的判斷步驟補足第3圖，詳細流程如第4圖所示，在步驟S10計算出像素位移量後，進行步驟S11，先判斷目前像素座標(水平方向座標)加上此量後是否會超出圖片或影像的最大邊界，若超出最大邊界則回到步驟S10進行下一像素的運算；若未超出邊界，則進行步驟S12，如上述內容。

若步驟S12判斷目前像素的深度值大於目標像素的深度值，則繼續步驟S13，判斷目標像素是否位於深度邊界，其係由於要將可能出現深度錯誤之處先設定為空洞，以便後續的空洞填補可以修補此區域，所以在此加入深度邊界判斷。以深度圖物件小於實際物件為例，由於深度圖發生錯誤的地方會出現在前景物件和背景物件交界之處，且錯誤的地方會成為背景的深度值，一旦出現這種情況，在後處理很難以空洞填補的方式填補起來，所以本發明提出一方法以在扭曲運算時就先將這些地方以正確的資訊填補起來。深度出現錯誤的地方通常都位於物件的邊緣處，因此判斷此目標像素是否位於深度邊界，若是位於深度邊界，表示此處是可能出現錯誤的地方，接下來再於步驟S14中加入錯誤情況的判斷，以提升判斷的準確度，才不會將所有邊緣皆視為錯誤區。

當目前像素在邊界處時，再判斷目前像素之深度值是否小於目標 像素的右邊一個座標單位的像素之深度值，或是目前像素之深度值小於目標像素左邊一個座標單位的像素之深度值(此處之座標單位數目可依深度圖之錯誤特性來做修改)，如步驟S14，若上述條件成立，則表示此像素是有可能位於錯誤區的，所以在步驟S16中將此像素位移後位置上的像素值指定為空洞；若上述條件都未成立，則表示此像素並非在可能錯誤區，同時因為該像素是位於邊緣區，所以只在步驟S18中將目前像素填入，而不進行補償式扭曲運算。

反之，若步驟S13判斷目前像素不在邊界處，表示目前像素扭曲後是位於物件中間，為了消除物件裂縫之誤差，所以本發明在此進行補償式的扭曲運算，如第5圖所示，D表示四捨五入前之位移量(非整數位移量)，而D_t表示四捨五入後之位移量(整數位移量)，在進行補償式扭曲運算前，先將目前像素的像素值及深度值填入目標像素，接下來計算非整數點位移量(dlf)，如下式(4)，非整數點位移量是用來與整數點位移量進行比較大小，判斷出目前像素位於目標像素的左邊或右邊。

若D<D_t，亦即整數點位移量大於非整數點位移量，代表當前像素在扭曲後，對於目標像素及其左方像素皆有影響，所以再另外判斷目標像素的左方像素深度值是否小於當前像素深度值，若是，則將當前像素亦填入目標像素的左方像素。相反的，當D>D_t，整數點位移量小於非整數點位移量，表示當前像素在扭曲後，是對於目標像素及其右方像素有影響，所以再判斷目標像素的右方像素深度值是否小於目標深度值，若是，則將當前像素亦填入目標像素的右方像素，如第5圖所示。

接下來再將扭曲運算後之左、右圖進行混合運算(Blending)，將大部分的遮蔽區修復完成，最後透過空洞填補將較為細小的誤差以背景值填補完成。第6A圖及第6B圖分別顯示直覺性的做法與本發明結 果之比較，從第6B圖可以明顯看到改良後的邊界殘留處和物件內部的裂縫已經消失，且在較細長物件上，由於計算後產生的誤差也少了許多。

除了改善虛擬視圖的品質之外，本發明另提出一判斷相同深度區塊的方法，用以降低在視角合成中冗餘的計算步驟。由於同一物件在進行扭曲運算時，常常會重複計算出相同的位移量，其原因為同一物件通常具有差異不大的深度值，因此本發明利用此特點，先判斷出深度圖上的深度連續處和不連續處，並設定一門檻值，只有在深度改變超過此門檻值時才會需要重新計算左圖及右圖中目前像素移動到目標像素之像素位移量，此門檻值介於0到255之間，門檻值越低，所需運算量越高，門檻值越高，所需運算量越低，但畫面品質也會隨之下降；門檻值為0時，效果和不使用此方法一樣，此外，將門檻值設定為1時，即可降低高達90%的運算量；因此，在權衡運算量與畫質之下，最佳實施例是將此門檻值設定為1；而深度改變不大的情況下(深度改變小於門檻值)，就使用目前像素在進行扭曲運算前已完成扭曲運算之先前像素的位移量，來做為目前像素之位移量，如第7A圖及第7B圖所示，點線填滿部分代表原圖上之色彩(例如左斜線為紅色、點點為黃色，右斜線為綠色)，黑白部分表示相對應的深度值，圓圈代表運算位移量的運算單元，第7A圖採用原始作法需要十次扭曲運算，而本發明在深度改變時才計算，僅需三次扭曲運算，如第7B圖。

綜上所述，本發明所提供之視角合成方法係藉由邊界判斷、深度是否匹配等判斷步驟判斷目前像素與扭曲後之目標像素之間的關係及是否需要補償，並利用補償式扭曲運算對殘留物件邊緣進行修正，提升虛擬視圖的畫質，簡化運算複雜度；此外，為降低像素位移量之運算量，本發明更利用圖像中同一物件內部之深度是否連續判斷是否需要計算位移量，以提高運算效率。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之 均等變化或修飾，均應包括於本發明之申請專利範圍內。

第1A圖為原始視角畫面及其相對應之深度圖。

第1B圖為扭曲後之畫面及其相對應之深度圖

第2A圖及第2B圖為原始影像及扭曲後誤差狀況之示意圖。

第3圖為本發明視角合成方法之流程圖。

第4圖為本發明視角合成方法之詳細流程圖。

第5圖為本發明中補償式扭曲運算之流程示意圖。

第6A圖及第6B圖分別為先前技術中直覺性做法與本發明方法之結果比較。

第7A圖及第7B圖分別為先前技術中以原始作法及以本發明方法進行扭曲運算之實施例示意圖。

Claims (12)

1. 一種檢查深度不匹配與補償深度誤差之視角合成方法，其係輸入一左圖及一右圖在一處理器中扭曲以進行視角合成，該方法包括下列步驟：(a)一目前像素會在扭曲後移動至一目標像素之位置，分別計算該左圖及該右圖中該目前像素移動到該目標像素之一像素位移量以算出該目標像素之座標；(b)判斷該目前像素之深度值是否大於該目標像素之深度值，若否，則回到步驟(a)計算下一目前像素之像素位移量，若是，則又包括下列步驟：(b1)判斷該目標像素是否位於一深度邊界；以及(b2)若是，則進行步驟(c)判斷該等深度值是否匹配，若否，則除了將該目前像素之像素值覆蓋該目標像素之外，更進行補償式扭曲運算，將該目前像素之該像素值及該深度值填入該目標像素中，再計算一非整數點位移量及一整數點位移量；(c)判斷該目前像素之深度值與該目標像素之鄰近座標的深度值是否匹配；以及(d)若不匹配，則將該目標像素之深度值設定為空洞，若匹配，則將該目前像素之像素值覆蓋該目標像素。
2. 如請求項1所述之視角合成方法，其中該目標像素之座標係將該目前像素之水平方向座標值加上該像素位移量。
3. 如請求項1所述之視角合成方法，其中該步驟(b)更包括判斷該目標像素是否會超出邊界，若是則回到步驟(a)計算下一目前像素之該像素位移量。。
4. 如請求項1所述之視角合成方法，其中該非整數點位移量係利用 該目前像素之該深度值除以一量化因子再乘上一視角參數，該量化因子係用以轉換深度值及位移量，該視角參數為一使用者觀看角度之參數。
5. 如請求項1所述之視角合成方法，其中該非整數點位移量小於該整數點位移量時，該目標像素扭曲之前在該目前像素之左邊，判斷該目標像素之一左邊像素的深度值是否小於該目前像素之深度值，若是，則將該目前像素填入該左邊像素。
6. 如請求項1所述之視角合成方法，其中該非整數點位移量大於該整數點位移量時，該目標像素扭曲之前在該目前像素之右邊，判斷該目標像素之一右邊像素的深度值是否小於該目前像素之深度值，若是，則將該目前像素填入該右邊像素。
7. 如請求項1所述之視角合成方法，更包括步驟(e)，針對扭曲運算後之該左、右圖進行混合運算，將該目前像素之深度值小於該目標像素之深度值之區域進行修復，並透過空洞填補在複數具有微小誤差之像素座標中填入扭曲前之該目前像素的像素值。
8. 如請求項1所述之視角合成方法，更包括於該左圖或該右圖之一深度圖中，判斷至少一深度連續處及至少一深度不連續處，當深度改變幅度大時才進行步驟(a)計算該像素位移量。
9. 一種於第1項所述之視角合成方法中填補空洞之方法，其係對扭曲運算後之該左、右圖進行一混合運算，以修復在該左圖中被前景擋住的區域，該方法包括下列步驟：修復該目前像素之深度值小於該目標像素之深度值之區域；以及透過空洞填補在複數具有微小誤差之像素座標中填入扭曲前之該目前像素的像素值。
10. 如請求項1所述之視角合成方法，其中該步驟(a)更包括下列步驟：分別取得扭曲後之該左圖及該右圖之一深度圖；於該等深度圖中判斷至少一深度連續處及至少一深度不連續處；以 及設定一門檻值，當深度改變幅度小於該門檻值時，採用一先前像素之位移量作為該目前像素之位移量，當深度改變幅度大於該門檻值時，分別計算該左圖及該右圖中該目前像素移動到該目標像素之該像素位移量。
11. 如請求項10所述之視角合成方法，其中該目標像素為該目前像素在扭曲後會移動至之位置。
12. 如請求項10所述之視角合成方法，其中該先前像素為該目前像素進行扭曲運算前已完成扭曲運算之像素。