TWI547904B

TWI547904B - 多視角視差圖的補洞方法

Info

Publication number: TWI547904B
Application number: TW101132537A
Authority: TW
Inventors: 陳曉薇; 汪德美; 李韋億
Original assignee: 財團法人工業技術研究院
Priority date: 2012-05-31
Filing date: 2012-09-06
Publication date: 2016-09-01
Also published as: TW201349174A; CN103458257B; CN103458257A

Description

多視角視差圖的補洞方法

本發明是有關於一種視差圖補洞方法，且特別是有關於一種多視角視差圖的補洞方法。

隨著三維立體(3D)電視的崛起，如何利用少量的二維影像來產生多視角影像的技術也越來越重要。目前已有許多用以產生虛擬視角影像的方法，其大致上可分為兩種：一種是由一張影像來產生其他虛擬視角的影像；另一種則是由兩張影像來產生此兩張影像夾角內之虛擬視角的影像。以上方法所模擬出來的虛擬視角因為轉換角度不大，因此所產生的未知區域也不大。然而，裸視3D電視的影像內容需要模擬大視角的轉換，從而會產生相當大的未知區域，此將是以上方法所不能負荷的。若要產生擬真的虛擬視角影像，除了影像方面的模擬之外，視差圖的處理也是很重要的一環。其中，視差圖的值是否正確，關係著是否能將影像投影至正確的位置，而對於虛擬視角中未知區域的補洞，也會對影像資訊的正確性造成影響。

一般補洞的方法大多適用於經由小視角轉換所產生的小未知區域，而當轉換視角變大時，未知區域也隨之擴大，此時前景與背景之間會因為視角轉換的關係可能造成錯位，從而導致左右關係與原先不同。也因此，未知區域的周圍沒有正確的深度值，再怎麼從鄰近區域抓值來填補也只會抓到錯誤的值。舉例來說，如圖1所示，圖1為一視角轉換後的視差圖，顏色較淺的表示物體較接近拍攝位置，顏色較深的表示物體較遠離拍攝位置。未知區域18(以黑色表示)原為石膏人像14背後的背景，此區域的視差值應與視差圖的背景12相同。但因為視角轉換顯露出來的未知區域18是產生在石膏人像14與三角錐16的中間，此未知區域18的周圍完全被前景所包圍，而沒有與它正確的背景值相接。

另外，一般的補洞方法是分別對所產生之不同虛擬角度的影像個別作補洞，此可能造成原本在3D空間中的同一個點，在不同虛擬視角的影像裡卻補上不同的深度值，這樣的結果將會影響之後觀賞時的感官錯亂，從而影響3D立體感。

本發明提出一種多視角視差圖的補洞方法，適用於電子裝置。此方法是針對拍攝一目標之多個視角中的至少一個已知視角，分別取得對應的影像視差圖。然後，針對這些視角中除已知視角外的多個虛擬視角，依照各個虛擬視角與所述已知視角之間的虛擬相機位置的距離或轉換角度，依序使用已知視角的影像視差圖來合成其他虛擬視角的影像視差圖。最後為填補虛擬視角中的未知區域，填補虛擬視角未知區域的順序為虛擬相機位置的距離或虛擬視角轉換角度的大小，由距離或轉換角度小的開始處理。每一個虛擬視角填補未知區域前利用距離或轉換角度小於該虛擬視角之其他虛擬視角之影像視差圖的填補資訊來填補該虛擬視角的影像視差圖中至少一個未知區域的破洞。

本發明提出一種多視角視差圖的補洞方法，適用於電子裝置。此方法是針對拍攝一目標之多個視角中的至少一個已知視角，分別取得對應的影像視差圖。接著，針對這些視角中除已知視角外的多個虛擬視角，使用已知視角的影像視差圖來合成各個虛擬視角的影像視差圖，再對所合成之虛擬視角的影像視差圖中至少一個未知區域的破洞進行填補。然後，將所述虛擬視角的影像視差圖的投影方式轉換為一水平方向為正交投影以及垂直方向為透視投影，並對轉換後之虛擬視角的影像中至少一個未知區域的破洞進行填補。

為讓本發明之上述特徵能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本揭露提出一種多視角視差圖的補洞方法，可處理大角度虛擬視角的視差圖，且產生的影像視差圖能夠在空間中保有一致性，讓3D視覺效果達到最佳。本揭露的特徵為將一張或多張不同視角的視差圖(Disparity Map)轉換成多視角且大角度變換的虛擬視角視差圖，並用來合成立體影像的內容。因為輸入的視差圖有限，將其視角轉換後會產生一些未知區域，而在填補這些虛擬視角視差圖中的未知區域時，為了保持空間中的一致性，本揭露定義了一個傳遞圖(Propagation Map)，其可用以儲存已經填補之未知區域的資訊。

舉例來說，圖2為依照本揭露一實施例所繪示之由單張已知視差圖模擬其他虛擬視角俯視示意圖。圖3為依照本揭露一實施例所繪示之以兩張已知視差圖模擬其他虛擬視角俯視示意圖。其中，本實施例的傳遞圖係固定在某一視角(如圖2、圖3中的三角點)，或是其他正對影像中心相鄰的視角。另外，本實施例是以模擬14個虛擬視角為例，圖2、圖3中的圓點標示所要模擬(輸出)之視差圖的虛擬視角，方形點標示所輸入之已知視差圖的視角。以下介紹的實施方式以兩張已知的視差圖為例。

當所要模擬之虛擬視角的轉換視角越大時，所產生的未知區域也越大，且前後物體的左右關係也已更改，此時未知區域的周圍可能沒有正確的值可以參考。對此，本揭露提出的方法例如是先從轉換視角較小之虛擬視角的視差圖開始著手，此轉換視角代表該虛擬視角與影像中央垂直線的夾角，例如圖3的第8個虛擬視角的轉換角度為θ。因此，填補虛擬視角的順序例如為7,8,6,9,...,1,14。從轉換角度較小的視差圖開始填補，因為該虛擬視角視差圖的未知區域較小，抓取鄰近視差值來填補準確率較高。除了依虛擬視角轉換的角度的大小來決定處理順序外，在另一實施例中，也可以依照虛擬視角與任一已知視差圖之虛擬相機位置的距離來決定處理順序(由最小距離開始)，也就是圖3中圓點與任一方形的距離。此處理順序是為了先從未知區域最少的虛擬視角開始著手，以增加填補的準確率。

圖4是依照本揭露一實施例所繪示之多視角視差圖的補洞方法流程圖。請參照圖4，本實施例的補洞方法適於由電子裝置來執行，此電子裝置例如是電腦、工作站、伺服器，或其他具有微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)的裝置，而可用以執行本實施例的補洞方法。本實施例方法的詳細步驟如下：

首先，由電子裝置分別取得拍攝一目標之多個視角中至少一個已知視角相對應的影像視差圖(步驟S402)，並針對這些視角中除已知視角外的多個虛擬視角，依照各個虛擬視角與已知視角之間的虛擬相機位置距離或轉換角度，依序使用已知視角的影像視差圖來合成虛擬視角的影像視差圖(步驟S404)。其中，電子裝置例如會先將所取得之已知視角的影像視差圖的視角轉換(或者投影)至所要模擬的虛擬視角，然後再將這些已經過視角轉換的影像視差圖合成，以產生此虛擬視角的影像視差圖。

需說明的是，在合成影像視差圖的過程中，電子裝置例如會針對此虛擬視角之影像視差圖中的每一個像素，選取所有影像視差圖之對應像素中深度值較小之像素的像素值來作為此影像視差圖之像素的像素值。其中，若此像素在這些影像視差圖中皆無對應的深度值，則電子裝置會將此像素標示為未知區域。

最後，電子裝置會使用距離或轉換角度小於此虛擬視角之其他虛擬視角之影像視差圖的填補資訊，來填補所合成之虛擬視角的影像視差圖中之未知區域的破洞(步驟S406)。其中，針對第一順位處理的虛擬視角，在填補其影像視差圖中的未知區域時，因為沒有先前的資訊，所以由已知視角的影像視差圖轉換視角後直接對未知區域做填補。此處所使用的補洞方式不限定方法，例如可採用一般簡單的補洞方式，即抓取未知區域的左邊與右邊深度較深的值來填補此區域，即可以有很好的效果。

需說明的是，在取得轉換角度較小之虛擬視角的影像視差圖並填補破洞後，此影像視差圖即可和已知視角的影像視差圖一起用來合成轉換角度較大之虛擬視角的影像視差圖。以下則再舉一實施例詳細說明。

圖5是依照本揭露一實施例所繪示之多視角視差圖的補洞方法的流程圖。請參照圖5，本實施例的補洞方法適於由電子裝置來執行，其詳細步驟如下：

首先，由電子裝置分別取得拍攝一目標之多個視角中至少一個已知視角相對應的影像視差圖(步驟S502)，並針對這些視角中除已知視角外的多個虛擬視角，使用已知視角的影像視差圖來合成虛擬視角的影像視差圖(步驟S504)。上述步驟S502~S504的內容與前述實施例的步驟 S402~S404相同或相似，故在此不再贅述。

與前述實施例不同的是，本實施例的電子裝置在每次填補虛擬視角的影像視差圖中未知區域的破洞時，還會將其填補此未知區域的填補資訊記錄於一個傳遞圖。藉此，當電子裝置合成下一個虛擬視角的影像視差圖時，即可存取其先前填補其他虛擬視角之影像視差圖時所記錄的傳遞圖，而將此傳遞圖中的填補資訊填入所合成之虛擬視角的影像視差圖中未知區域的破洞(步驟S506)。此外，電子裝置還可使用其他的補洞方法對虛擬視角的影像視差圖的破洞進行填補(步驟S508)，例如，可取用未知區域周圍一深度值之像素的像素值來填補未知區域的破洞。最後，電子裝置會將所有的填補資訊回傳到傳遞圖中(步驟S510)，以作為填補下一個影像視差圖之破洞的依據。其中，電子裝置例如會將此傳遞圖的視角轉換至預設視角，以作為填補下一個影像視差圖之破洞的依據，而在進行影像視差圖的填補時，電子裝置則會將先前已轉換至預設視角之傳遞圖的視角轉換至目前要填補之影像視差圖的虛擬視角。此預設視角例如是正對影像中心或正對相鄰影像中心的視角，在此不設限。

舉例來說，圖6是依照本揭露一實施例所繪示之多視角視差圖的補洞方法的流程圖。請參照圖6，本實施例的流程60是由電子裝置分別將已知視角的左影像視差圖62及右影像視差圖64轉換至所要模擬的虛擬視角n(步驟S602及S604)，而獲得視角轉換後的左影像視差圖及右影像視差圖。接著，將視角轉換後的左影像視差圖及右影像視差圖合成為所要模擬之虛擬視角的影像視差圖(步驟S606)，並使用先前處理過的虛擬視角之影像視差圖的填補資訊，來填補所合成之虛擬視角的影像視差圖中未知區域的破洞。其中，電子裝置例如會先將其先前填補其他虛擬視角之影像視差圖所記錄之傳遞圖66，經由轉換至所要模擬的虛擬視角(步驟S608)後，拿來填補目前所合成之虛擬視角的影像視差圖中未知區域的破洞(步驟S610)。

之後，電子裝置會利用其他補洞方法對該虛擬視角之影像視差圖進行補洞(步驟S612)，例如是從該虛擬視角之影像視差圖中，取用未知區域周圍一深度值之像素的像素值來填補未知區域的破洞，從而獲得所要模擬之虛擬視角n的影像視差圖68。其中，電子裝置例如還會將其填補破洞的填補資訊，經由視角轉換(步驟S614)後，用以更新傳遞圖66，藉以作為填補下一個虛擬視角的影像視差圖時的依據。

同理，在處理下一個虛擬視角的影像視差圖時，即可將轉換視角後的影像視差圖與轉換視角後的傳遞圖合併，以減少未知區域的大小，並利用補洞方法將剩下的未知區域填補。同樣的，此時的填補資訊需轉換回傳遞圖以累積填補資訊。接下來處理每個虛擬視角的方式都相同。

簡而言之，上述流程大致上可分成四個步驟：即轉換已知影像視差圖的視角、加入傳遞圖的資訊、填補未知區域、回傳填補資訊至傳遞圖。舉例來說，圖7是依照本揭露一實施例所繪示之多視角視差圖的補洞方法的範例。請參照圖7，本實施例分別繪示8^th、1^st、14^th虛擬視角之影像視差圖經由上述四個步驟處理後的結果。

綜上所述，本揭露之補洞方法不會因為虛擬視角的轉換角度過大，造成前後物體錯位後未知區域難以填補回正確的值。圖8(a)~圖8(c)為本揭露一實施例提出的方法與其他補洞方法的結果比較圖。其中，圖8(a)為補洞前的影像，黑色部分為未知區域；圖8(b)為利用其他補洞方法進行補洞後的影像；圖8(c)為利用本揭露提出的方法進行補洞後的影像。

需說明的是，因為對所有產生的虛擬視角填補資訊一致，符合之後要合成立體影像內容的需求。目前立體電視所需要產生的虛擬視角，投影方式水平與垂直都為透視投影(Perspective projection，在此簡稱為PP投影)，例如多視角(Multi-view)立體顯示器。這類投影方式與本揭露取用影像的投影方式相同。另一類立體電視例如是採用水平視差積分成像(HPO II)的立體顯示器，其需要的虛擬視角在水平方向的投影為正交投影(Orthographic projection)，而在垂直方向的投影為透視投影(在此簡稱為OP投影)。這種投影方式的虛擬視角所產生之未知區域的規則與一般因為視角轉換所產生之未知區域的規則不同。舉例來說，圖9(a)及圖9(b)為本揭露一實施例之兩種投影方式在同一個虛擬視角產生的不同視差圖。其中，圖9(a)為PP投影；圖9(b)則為OP投影在同一個視角產生的虛擬視角視差圖與其未知區域。

因此，要填補這類虛擬視角的未知區域需要分成兩階段來填補，第一階段為處理因為視角轉換所產生的未知區域，第二階段為處理因為不同投影方式所產生的未知區域。以下則舉實施例詳細說明。

圖10是依照本揭露一實施例所繪示之多視角視差圖的補洞方法的流程圖。請參照圖10，本實施例的補洞方法適於由電子裝置來執行，其詳細步驟如下：

首先，由電子裝置分別取得拍攝一目標之多個視角中至少一個已知視角相對應的影像視差圖(步驟S1002)，並針對這些視角中除已知視角外的多個虛擬視角，使用所述已知視角的影像視差圖來合成各個虛擬視角的影像視差圖(步驟S1004)，以及對所合成之虛擬視角的影像視差圖中未知區域的破洞進行填補(步驟S1006)。其中，電子裝置在合成影像視差圖及填補破洞時，例如會採用前述實施例的方式，意即，依照各個虛擬視角的虛擬相機位置，依序使用已知視角的影像視差圖來合成虛擬視角的影像視差圖，並且使用轉換角度小於目前虛擬視角之其他虛擬視角之影像視差圖的填補資訊，來填補所合成之虛擬視角的影像視差圖中未知區域的破洞。上述方法的詳細實施方式已揭露於前述實施例中，在此不再贅述。

需說明的是，在產生各個虛擬視角的影像之後，為了產生所要的三維立體影像，電子裝置會將這些虛擬視角的影像的投影方式轉換為OP投影(步驟S1008)，並對轉換後之虛擬視角的影像中未知區域的破洞進行填補(步驟S1010)，最終填補後之虛擬視角的影像即可用以合成三維立體影像。

詳言之，若要產生虛擬視角的影像，必須先得到該虛擬視角的視差圖，而視差圖的正確率為之後合成該虛擬視角影像的一個非常重要的因素。因此，本揭露提供了模擬準確率極高的多個且大角度轉換虛擬視角的視差圖，以供之後模擬虛擬視角影像時使用，最後再將所有模擬的虛擬視角影像合成為一張三維立體影像。

舉例來說，圖11是依照本揭露一實施例所繪示之多視角視差圖的補洞方法的流程圖。請參照圖11，本實施例的流程110是由電子裝置分別將已知視角的左影像視差圖112及右影像視差圖114轉換至所要模擬的虛擬視角(步驟S1102及S1104)，而獲得視角轉換後的左影像視差圖及右影像視差圖。接著，將視角轉換後的左影像視差圖及右影像視差圖合成為所要模擬之虛擬視角的影像視差圖(步驟S1106)，並使用其他虛擬視角之影像視差圖的填補資訊，來填補所合成之虛擬視角的影像視差圖中未知區域的破洞(步驟S1108)。其中，電子裝置可利用其先前填補其他影像視差圖所記錄之傳遞圖中的填補資訊，拿來填補目前所合成之虛擬視角的影像視差圖中未知區域的破洞。此處影像視差圖的轉換方式仍然採用PP投影，且是將轉換後的影像視差圖合併後進行補洞，而可產生多個虛擬視角的影像視差圖116，以做為符合多視角三維立體顯示器的輸入。

另一方面，電子裝置會進一步將上述虛擬視角之影像視差圖的投影方式轉換為OP投影(步驟S1110)，並對轉換後的這些虛擬視角的影像視差圖中的未知區域進行破洞填補(步驟S1112)，最後這些虛擬視角的影像視差圖為符合水平視差積分成像立體顯示器所需的視差圖。詳言之，若要產生水平視差積分成像立體顯示器符合的輸入，需要將虛擬視角從PP投影轉換成OP投影，但這樣的轉換仍然會產生一些未知區域的破洞，此時再利用補洞的方法將此區域填補，最後即可獲得多個虛擬視角的影像視差圖118，以做為符合水平視差積分成像立體顯示器的輸入。

綜上所述，本發明的多視角視差圖的補洞方法係將少量視差圖轉換至多個虛擬視角後，針對每一個虛擬視角的補洞考慮空間上的一致性，而將所有的補洞資訊都轉存在同一個視角的傳遞圖裡。而在多個虛擬視角裡，採用轉換角度最小或是距離已知視角最小的視角開始填補未知區域，接著再填補其他較大的虛擬視角。其中，藉由將先前在其他虛擬視角填補的資訊用來幫助其他虛擬視角填補未知區域，從而可填補視差圖轉換視角時所產生之未知區域的破洞。此外，本揭露可產生不同投影方式的立體視差圖，第一階段為將輸入的視差圖轉換成其相對應的虛擬視角視差圖後，再填補因為視角轉換而產生的未知區域的破洞，第二階段為將視差圖轉換投影方式後再進行補洞，以填補因為投影方式改變而產生的未知區域的破洞。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

12‧‧‧背景，與未知區域有相同的深度值

14‧‧‧石膏人像

16‧‧‧三角錐

18‧‧‧未知區域

60、110‧‧‧流程

62、112‧‧‧左影像視差圖

64、114‧‧‧右影像視差圖

66‧‧‧傳遞圖

68‧‧‧虛擬視角n的影像視差圖

116、118‧‧‧多個虛擬視角的影像視差圖

S402~S406‧‧‧本揭露一實施例之多視角視差圖的補洞方法的步驟

S502~S510‧‧‧本揭露一實施例之多視角視差圖的補洞方法的步驟

S602~S614‧‧‧本揭露一實施例之多視角視差圖的補洞方法的步驟

S1002~S1010‧‧‧本揭露一實施例之多視角視差圖的補洞方法的步驟

S1102~S1112‧‧‧本揭露一實施例之多視角視差圖的補洞方法的步驟

圖1為習知補洞方式產生之視差圖。

圖2為依照本揭露一實施例所繪示之由單張已知視差圖模擬其他虛擬視角俯視示意圖。

圖3為依照本揭露一實施例所繪示之以兩張已知視差圖模擬其他虛擬視角俯視示意圖。

圖4是依照本揭露一實施例所繪示之多視角視差圖的補洞方法的流程圖。

圖5是依照本揭露一實施例所繪示之多視角視差圖的補洞方法的流程圖。

圖6是依照本揭露一實施例所繪示之多視角視差圖的補洞方法的流程圖。

圖7是依照本揭露一實施例所繪示之多視角視差圖的補洞方法的範例。

圖8(a)至圖8(c)為本揭露一實施例提出的方法與其他補洞方法的結果比較圖。

圖9(a)及圖9(b)為本揭露一實施例之兩種投影方式在同一個虛擬視角產生的不同視差圖。

圖10是依照本揭露一實施例所繪示之多視角視差圖的補洞方法的流程圖。

圖11是依照本揭露一實施例所繪示之多視角視差圖的補洞方法的流程圖。

Claims

一種多視角影像視差圖的補洞方法，適用於一電子裝置，該方法包括下列步驟：針對拍攝一目標之多個視角中的至少一已知視角，分別取得對應的一影像視差圖；針對該些視角中除所述已知視角外的多個虛擬視角，依照各該些虛擬視角與所述已知視角之間的一虛擬相機位置的一距離或一轉換角度，依序使用所述已知視角的影像視差圖來合成該虛擬視角的影像視差圖；以及使用該距離或該轉換角度小於該虛擬視角之其他虛擬視角之影像視差圖的一填補資訊，填補所合成之該虛擬視角的影像視差圖中至少一未知區域的破洞。
如申請專利範圍第1項所述之多視角影像視差圖的補洞方法，其中使用所述已知視角的影像視差圖來合成該虛擬視角的影像視差圖的步驟包括：取得所述已知視角的至少一影像視差圖；轉換該至少一影像視差圖的視角至該虛擬視角；以及合成轉換視角後的該至少一影像視差圖以產生該虛擬視角的影像視差圖。
如申請專利範圍第2項所述之多視角影像視差圖的補洞方法，其中合成轉換視角後的該至少一影像視差圖以產生該虛擬視角的影像視差圖的步驟包括：針對該虛擬視角之影像視差圖中的每一個像素，選取該至少一影像視差圖之對應像素中一深度值較小之像素的像素值來作為影像視差圖之該像素的像素值，若該像素皆無對應的深度值，則標示該像素為未知區域。
如申請專利範圍第1項所述之多視角影像視差圖的補洞方法，其中使用該轉換角度小於該虛擬視角之其他虛擬視角之影像視差圖的該填補資訊，填補所合成之該虛擬視角的影像視差圖中該至少一未知區域的破洞的步驟更包括：記錄填補所合成之該虛擬視角的影像視差圖中該至少一未知區域的填補資訊於一傳遞圖。
如申請專利範圍第4項所述之多視角影像視差圖的補洞方法，其中使用該轉換角度小於該虛擬視角之其他影像視差圖的該填補資訊，填補所合成之該虛擬視角的影像視差圖中該至少一未知區域的破洞的步驟包括：存取填補該其他虛擬視角之影像視差圖時所記錄的該傳遞圖，將該傳遞圖中的該填補資訊填入所合成之該虛擬視角的影像視差圖中該至少一未知區域的破洞。
如申請專利範圍第5項所述之多視角影像視差圖的補洞方法，其中使用該轉換角度小於該虛擬視角之其他虛擬視角之影像視差圖的該填補資訊，填補所合成之該虛擬視角的影像視差圖中該至少一未知區域的破洞的步驟更包括：取用該至少一未知區域周圍一深度值之像素的像素值來填補該至少一未知區域的破洞。
如申請專利範圍第4項所述之多視角影像視差圖的補洞方法，其中記錄填補所合成之該虛擬視角的影像視差圖中該至少一未知區域的填補資訊於該傳遞圖的步驟更包括：轉換該傳遞圖的視角至一預設視角。
如申請專利範圍第7項所述之多視角影像視差圖的補洞方法，其中存取填補該其他虛擬視角之影像視差圖時所記錄的該傳遞圖的步驟更包括：轉換該傳遞圖的視角至該虛擬視角，以將轉換後之該傳遞圖中的該填補資訊填入所合成之該虛擬視角的影像視差圖中的該至少一未知區域。
如申請專利範圍第7項所述之多視角影像視差圖的補洞方法，其中該預設視角為正對或正對相鄰一影像中心的視角。
如申請專利範圍第1項所述之多視角影像視差圖的補洞方法，其中該轉換角度為該虛擬視角與影像中心點所夾之角度。
一種多視角影像視差圖的補洞方法，適用於一電子裝置，該方法包括下列步驟：針對拍攝一目標之多個視角中的至少一已知視角，分別取得對應的一影像視差圖；針對該些視角中除所述已知視角外的多個虛擬視角，使用所述已知視角的影像視差圖來合成各該些虛擬視角的影像視差圖；填補所合成之該虛擬視角的影像視差圖中至少一未知區域的破洞；轉換該些虛擬視角的影像的一投影方式為一水平方向為正交投影，垂直方向為透視投影；以及填補轉換後之該些虛擬視角的影像中該至少一未知區域的破洞。
如申請專利範圍第11項所述之多視角影像視差圖的補洞方法，其中針對該些視角中除所述已知視角外的多個虛擬視角，使用所述已知視角的影像視差圖來合成各該些虛擬視角的影像視差圖的步驟包括：針對該些視角中除所述已知視角外的多個虛擬視角，使用所述已知視角的影像視差圖來合成該虛擬視角的影像視差圖。
如申請專利範圍第12項所述之多視角影像視差圖的補洞方法，其中使用所述已知視角的影像視差圖來合成該虛擬視角的影像視差圖的步驟包括：取得所述已知視角的至少一影像視差圖；轉換該至少一影像視差圖的視角至該虛擬視角；以及合成轉換視角後的該至少一影像視差圖以產生該虛擬視角的影像視差圖。
如申請專利範圍第13項所述之多視角影像視差圖的補洞方法，其中合成轉換視角後的該至少一影像視差圖以產生該虛擬視角的影像視差圖的步驟包括：針對該虛擬視角之影像視差圖中的每一個像素，選取該至少一影像視差圖之對應像素中一深度值較小之像素的像素值來作為影像視差圖之該像素的像素值，若該像素皆無對應的深度值，則標示該像素為未知區域。
如申請專利範圍第12項所述之多視角影像視差圖的補洞方法，其中填補所合成之該虛擬視角的影像視差圖中該至少一未知區域的破洞的步驟包括：使用一轉換角度小於該虛擬視角之其他虛擬視角之影像視差圖的一填補資訊，填補所合成之該虛擬視角的影像視差圖中該至少一未知區域的破洞。
如申請專利範圍第15項所述之多視角影像視差圖的補洞方法，其中使用該轉換角度小於該虛擬視角之其他虛擬視角之影像視差圖的該填補資訊，填補所合成之該虛擬視角的影像視差圖中該至少一未知區域的破洞的步驟更包括：記錄填補所合成之該虛擬視角的影像視差圖中該至少一未知區域的填補資訊於一傳遞圖。
如申請專利範圍第16項所述之多視角影像視差圖的補洞方法，其中使用該轉換角度小於該虛擬視角之其他虛擬視角之影像視差圖的該填補資訊，填補所合成之該虛擬視角的影像視差圖中該至少一未知區域的破洞的步驟包括：存取填補該其他虛擬視角之影像視差圖時所記錄的該傳遞圖，將該傳遞圖中的該填補資訊填入所合成之該虛擬視角的影像視差圖中該至少一未知區域的破洞。
如申請專利範圍第17項所述之多視角影像視差圖的補洞方法，其中使用該轉換角度小於該虛擬視角之其他虛擬視角之影像視差圖的該填補資訊，填補所合成之該虛擬視角的影像視差圖中該至少一未知區域的破洞的步驟更包括：取用該至少一未知區域周圍一深度值之像素的像素值來填補該至少一未知區域的破洞。
如申請專利範圍第16項所述之多視角影像視差圖的補洞方法，其中記錄填補所合成之該虛擬視角的影像視差圖中該至少一未知區域的填補資訊於該傳遞圖的步驟更包括：轉換該傳遞圖的視角至一預設視角。
如申請專利範圍第19項所述之多視角影像視差圖的補洞方法，其中存取填補該相鄰虛擬視角之影像視差圖時所記錄的該傳遞圖的步驟更包括：轉換該傳遞圖的視角至該虛擬視角，以將轉換後之該傳遞圖中的該填補資訊填入所合成之該虛擬視角的影像視差圖中的該至少一未知區域。