TWI566576B

TWI566576B - 立體影像合成方法及裝置

Info

Publication number: TWI566576B
Application number: TW103119217A
Authority: TW
Inventors: 張添烜; 陳易群
Original assignee: 宏碁股份有限公司
Priority date: 2014-06-03
Filing date: 2014-06-03
Publication date: 2017-01-11
Also published as: CN105306919A; US9729845B2; TW201547254A; US20150350632A1

Description

立體影像合成方法及裝置

本發明是有關於一種影像處理方法以及裝置，且特別是有關於一種立體影像合成方法及裝置。

隨著科技的日新月異，電視等大型顯示器的顯示技術亦走向了新的時代，越來越多的顯示器製造廠商推出了可以顯示立體影像/視訊的顯示器，使得一般使用者亦可在電影院以外的地方體驗到立體影像的享受。然而，立體影像對於人眼的影像舒適度一直沒有獲得太大的解決。這是因為，人眼的焦距與視軸不配稱所造成的腦內錯亂(vergence accommodation conflict)。一般而言，為了要避免這樣的情況，顯示器在設置時則可能將抑制立體場景的場景深度。雖這樣的設置可以提高使用者於觀看時的舒適度，但立體效果也因此而降低了許多。

本發明提供一種立體影像合成方法以及裝置，可提供更適合人眼觀看的立體視訊影像。

本發明的立體影像合成方法包括以下步驟。首先，接收對應於一第一視角的一第一影像以及對應於一第二視角的一第二影像。然後，取得對應於影像內容的一視差圖，並且根據視差圖判斷影像內容中的一零視差區域，其中視差圖包括對應於第一影像以及第二影像的多個視差值。接著，對應零視差區域調整視差圖為一已位移視差圖。並且，根據已位移視差圖以及一預設最大範圍線性或非線性地調整已位移視差圖得到一已調整視差圖。再者，根據已調整視差圖、第一影像以及第二影像產生多個虛擬視角影像。以及，根據已調整視差圖加強虛擬視角影像的一二維深度線索。

本發明的立體影像合成裝置包括：一影像接收單元、一資料處理單元以及一影像輸出單元。影像接收單元，接收對應於第一視角的一第一影像以及對應於第二視角的一第二影像。資料處理單元耦接影像接收單元。一影像輸出單元。耦接資料處理單元。資料處理單元取得對應於第一影像以及第二影像的一視差圖，並且根據視差圖判斷影像內容中的一零視差區域，其中視差圖包括對應於影像內容的多個視差值。資料處理單元對應零視差區域調整視差圖為一已位移視差圖。資料處理單元根據已位移視差圖以及一預設最大範圍線性或非線性地調整已位移視差圖得到一已調整視差圖。資料處理單元根據已調整視差圖、第一影像以及第二影像產生多個虛擬視角影像。資料處理單元根據已調整視差圖加強虛擬視角影像的一二維深度線索。影像輸出單元輸出虛擬視角影像。

基於上述，本發明提供一種立體影像合成方法以及裝置，可根據人眼的視覺特性調整立體影像中的深度，使得影像的觀看者得以在不失去過多立體效果的情況下減少腦內錯亂的問題。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

10‧‧‧立體影像合成裝置

110‧‧‧影像接收單元

120‧‧‧影像處理單元

130‧‧‧影像輸出單元

300‧‧‧顯示器

IMG1、IMG2‧‧‧影像

VI、40、41‧‧‧虛擬視角影像

OB1~OB4、OB3’‧‧‧物件

VR‧‧‧觀看者

DIS‧‧‧視差距離

d‧‧‧已位移視差值

d'‧‧‧已調整視差值

dmax‧‧‧已位移視差最大值

dmax'‧‧‧為預設最大視差值

dmax"‧‧‧已調整視差最大值

dmin‧‧‧已位移視差最小值

dmin'‧‧‧預設最大視差值

dmin"‧‧‧已調整視差最小值

S101~S106‧‧‧步驟

圖1為根據本發明一實施例所繪示立體影像合成方法的步驟流程圖。

圖2為根據本發明一實施例所繪示立體影像合成裝置的功能方塊圖。

圖3A為根據本發明一實施例所繪示顯示器、觀看者與根據視差圖所顯示的物件之關係示意圖。

圖3B為根據本發明一實施例所繪示顯示器、觀看者與根據已位移視差圖所顯示的物件之關係示意圖。

圖3C為根據本發明一實施例所繪示顯示器、觀看者與根據已調整視差圖所顯示的物件之關係示意圖。

圖4A、4B為根據本發明一實施例所繪示虛擬視角影像的示意圖。

圖1為根據本發明一實施例所繪示立體影像合成方法的步驟流程圖。請參照圖1，首先在步驟S101時，接收對應於第一視角的一第一影像以及對應於第二視角的一第二影像，然後在步驟S102時，取得對應於第一影像以及第二影像的一視差圖，並且根據視差圖判斷一零視差區域，其中視差圖包括對應於第一影像以及第二影像的多個視差值。接著在步驟S103時，對應零視差區域調整視差圖為一已位移視差圖。並且在步驟S104時，根據已位移視差圖以及一預設最大範圍線性或非線性地調整已位移視差圖得到一已調整視差圖。再者在步驟S105時，根據已調整視差圖、第一影像以及第二影像產生多個虛擬視角影像。以及在步驟S106時，加強虛擬視角影像的二維深度線索。

圖2為根據本發明一實施例所繪示立體影像合成裝置的功能方塊圖。請參照圖2，立體影像合成裝置10包括影像接收單元110、資料處理單元120以及影像輸出單元130。影像接收單元110接收對應於第一視角的第一影像IMG1以及對應於第二視角的第二影像IMG。資料處理單元120耦接影像接收單元110。影像輸出單元130耦接資料處理單元120。資料處理單元120取得對應於影像內容的視差圖DM，並且根據視差圖DM判斷影像內容中的零視差區域，其中視差圖DM包括對應於影像內容的多個視差值。

資料處理單元120對應零視差區域調整視差圖DM為已位移視差圖。資料處理單元120根據已位移視差圖以及預設最大範圍線性或非線性地調整已位移視差圖得到已調整視差圖。資料處理單元120根據已調整視差圖合成第一影像IMG1以及第二影像IMG2或產生多個虛擬視角影像VI。資料處理單元120加強虛擬視角影像VI的二維深度線索。影像輸出單元130輸出虛擬視角影像VI。

簡單來說，在本發明所提供的立體影像合成方法以及裝置中，主要可以分為在影像合成步驟(圖1步驟S105)之前的預處理程序(對應於圖1步驟S101~S104)以及在影像合成步驟之後的後處理程序(對應於圖1步驟S106)。在上述的預處理程序中，主要是將立體影像的視差調整至人眼可舒適的觀看的範圍。而在上述的後處理程序中，則是在虛擬視角影像合成之後，再根據人眼的特性而對立體影像更進一步的進行處理。以下則將針對各步驟進行詳細的說明。

在本發明中，第一影像IMG1與第二影像IMG2對應於一相同的影像內容(例如特定物體或是特定場景)，分別以第一視角以及第二視角的角度所擷取而得到。另外，在本發明中所提及的影像(例如第一影像IMG1以及第二影像IMG2)可為一視訊流中的一圖框(frame)，例如第一影像IMG1為處於第一視角的一攝影機所拍攝之視訊流中的一圖框，而第二影像IMG2為處於第二視角的攝影機所拍攝之視訊流中的圖框。又，第一影像IMG1與第二影像IMG2亦可分別為一靜態影像，本發明並不限定於此。

請參照圖1以及圖2，首先，立體影像合成裝置10的影像接收單元110將接收第一影像IMG1以及第二影像IMG2(步驟S101)。其中，第一影像IMG1以及第二影像IMG2可被視為對同一拍攝物由不同的兩個視角(即，第一視角以及第二視角)所拍攝得到的影像內容。例如，第一影像IMG1可對應於使用者左眼所看到的影像內容，以及第二影像IMG2可對應於使用者右眼所看到的影像內容。

在本實施例中，影像接收單元110僅接收了上述的第一影像IMG1以及第二影像IMG2，但在本發明的其他實施例中，影像接收單元110亦可同時接收與第一影像IMG1以及第二影像IMG2同一時間點以其他視角拍攝的多個影像中之部份或全部，即，多視角影像(Multi-view images)，並同時在接收這些影像後傳送至資料處理單元120，本發明並不限定於上述的設置。基本上，若是對應於同一時間點視角不同的影像越多，資料處理單元120便可合成具有更高品質的虛擬視角影像VI。

接著，資料處理單元120接收上述的第一影像IMG1以及第二影像IMG2後，資料處理單元120取得對應於第一影像IMG1以及第二影像IMG2中影像內容的視差圖，並且根據視差圖判斷視差圖中的零視差區域(步驟S102)。其中，視差圖包括對應於第一影像IMG1以及第二影像IMG2中影像內容中每一個像素的視差值。

上述的視差圖可以以多種方式取得，例如，可由資料處理單元120於取得對應於第一影像IMG1以及第二影像IMG2後分析比較第一影像IMG1以及第二影像IMG2來得到視差圖，或是由與第一影像IMG1以及第二影像IMG2相關的資訊轉換得到。

另一方面，資料處理單元120可透過影像接收單元110於接收第一影像IMG1以及第二影像IMG2時，亦同時接收對應於第一影像IMG1以及第二影像IMG2的立體對應資訊(stereo correspondence information)，資料處理單元120則可將上述的立體對應資訊轉換為視差圖。立體對應資訊可為一深度圖(depth map)，包括對應於第一影像IMG1以及第二影像IMG2中影像內容每一個點的相對深度值。例如，此深度圖可為第一影像IMG1相對於第二影像IMG2的深度圖。或者，此立體對應資訊亦可包括第一影像IMG1相對於一另一視角之虛擬影像的深度圖以及第二影像IMG2相對於同一虛擬影像的深度圖，本發明並不限定於上述。

所以，簡單來說，在本發明中，影像接收單元110可接收兩個視角不同的影像(例如，分別代表左眼所見之第一影像IMG1以及右眼所見之第二影像IMG2)、兩個視角不同的影像以及兩個影像所對應的視差圖(對應於立體對應資訊)或深度圖(各自對應的視差圖或是兩者間相對的視差圖)、多視角影像中的任兩個視角不同之影像或者多視角影像中的任兩個視角不同之影像及其所對應的視差圖或深度圖，但本發明並不限定於上述。

另一方面，由於在影像內容中，對應於單一物件的各像素於影像內容中的視差(或對應的深度)相似，在取得第一影像IMG1以及第二影像IMG2所對應的影像內容之視差圖後，資料處理單元120可根據視差圖切割第一影像IMG1以及第二影像IMG2所對應的影像內容為多個物件區域，其中各個物件區域內的深度值相似。在將資料處理單元120。資料處理單元120在將第一影像IMG1以及第二影像IMG2所對應的影像內容切割成多個物件區域後，便可進一步的判定這些物件區域中之一為零視差區域。

零視差區域所對應的深度值亦為0，即，對應於與顯示器的螢幕重合的平面上。換句話說，即為在顯示立體影像(例如，上述的虛擬視角影像)時，觀看者可以最不費力的狀態觀看的區域。資料處理單元120則可將上述的物件區域中對應於觀看者的目光焦點的物件區域判定為零視差區域，並且進一步將此物件區域的視差值調整為零，使得當觀看者可以最不費力的狀態觀看。

而資料處理單元120則可根據一興趣區域中判定物件區域中之一為零視差區域。其中，興趣區域可由資料處理單元120根據影像內容及其物件區域執行一興趣區域偵測程序(例如，利用一特定演算法進行計算)而得，亦可由使用者輸入其感興趣的區域(region of interesting,ROI)。值得注意的是，上述的使用者可為立體影像的觀看者外，亦可為此影像內容(即，第一影像IMG1、第二影像IMG2，或對應於第一影像IMG1、第二影像IMG2 的之第一視訊流以及第二視訊流)的產生者，於產生此影像內容時所指定，例如指定零視差區域於影像畫面中的主要物件上，或是產生者欲觀看者聚焦之物件上。影像內容的產生者即可透過操作產生包括興趣區域的一操作信號(或操作信息)附加於第一影像IMG1、第二影像IMG2或立體對應資訊，一同由影像接收單元110所接收並傳遞至資料處理單元120。

另外，為了避免聚焦的物件區域切換過於頻繁，資料處理單元120亦可在參考上述興趣區域外，亦參考對應於第一影像IMG1以及第二影像IMG2前一時間點的影像內容中之零視差區域(例如包括第一影像IMG1以及第二影像IMG2的視訊流中，第一影像IMG1以及第二影像IMG2前一個時間點的圖框)。資料處理單元120在選擇性地根據上述的資訊(影像內容中的各物件區域、偵測各物件區域計算產生的興趣區域、由使用者指定的興趣區域和/或前一個時間點的零視差區域等)來判定對應於第一影像IMG1以及第二影像IMG2的影像內容中之零視差區域。

在零視差區域決定後，資料處理單元120便可對應零視差區域調整視差圖為已位移(shifted)視差圖(步驟S103)。簡單來說，即為對應零視差區域所既有的視差值來調整視差圖中各物件區域的視差值。例如，將整個視差圖中各物件區域的視差值全部減去零視差區域所既有的視差值來得到已位移視差圖，但本發明並不限定上述的設置方式。

在調整視差圖為已位移視差圖後，資料處理單元120則可根據已位移視差圖以及預設最大範圍線性或非線性地調整已位移視差圖得到一已調整視差圖(步驟S104)。上述的預設最大範圍包括了預設最大視差值以及預設最小視差值，分別對應於觀看者(人眼)所能接受的最大視差值以及最小視差值。經實驗可知，當超過人眼所能接受最大視差值以及最小視差值後，所合成的影像並無法增加觀看者更多的立體感受，反而可能造成使用者腦內錯亂的情形更加的嚴重。因此，透過根據預設最大範圍線性或非線性地調整已位移視差圖，則有助於增加使用者於觀看三維立體影像時的舒適度。

而上述的預設最大範圍可預設於資料處理單元120之中。在本發明一實施例中，立體影像合成裝置10可被設置於一顯示器中。在此實施例中，立體影像合成裝置10則可透過顯示器取得顯示器的尺寸大小以及使用者與顯示器之間的距離等資訊，資料處理單元120即可藉由這些資訊計算得到此時觀看者所能接受的最大視差範圍，並以此最大視差範圍設定/更新上述的預設最大範圍。其中，使用者與顯示器之間的距離可透過顯示器的操作介面接收使用者的輸入，或是直接以一偵測器或攝像單元(未繪示)偵測取得，但本發明並不限定於上述的設置。

在本實施例中，資料處理單元120則可根據已位移視差圖與上述的預設最大範圍重新設定視差值的最大範圍(即，已調整視差最大值以即已調整視差最小值)，首先，資料處理單元120必須先設定已位移視差圖中視差值最大者為已位移視差最大值，以及已位移視差圖中視差值最小者為已位移視差最小值。而重新設定視差值的最大範圍的動作可以下式(1)、(2)表示：dmax"=MIN(dmax,dmax') (1)

dmin"=MAX(dmin,dmin') (2)

其中，dmax"即為已調整視差最大值，dmax'為預設最大視差值，以及dmax為已位移視差最大值。而dmin"則為已調整視差最小值，dmin'為預設最小視差值，以及dmin為已位移視差最小值。式(1)即表示已調整視差最大值dmax"等於已位移視差最大值dmax以及預設最大視差值dmax'中較小者，而式(2)即表示已調整視差最小值dmin"等於已位移視差最小值dmin以及預設最大視差值dmin'中較大者。

在取得已調整視差最大值dmax"以及已調整視差最小值dmin"後，資料處理單元120便可以根據已調整視差最大值dmax"以及已調整視差最小值dmin"線性或非線性地調整該已位移視差圖得到已調整視差圖。以下提供兩種轉換方式，其一為根據已調整視差最大值dmax"以及已調整視差最小值dmin"比例調整已位移視差圖中各像素之視差值(即，已位移視差值)，並可表示如下式(3)、(4)：d'=(d*dmax"/dmax)，當dmax">d>0 (3)

d'=(d*dmin"/dmin),when 0>d>dmin" (4)

其中，d'即為已調整視差圖中，對應於影像內容中的各像素的已調整視差值，d則為已位移視差圖中，對應於影像內容中的各像素的已位移視差值。

另外一種轉換方式為根據已調整視差最大值dmax"以及已調整視差最小值dmin"以指數方式調整已位移視差圖中各像素之視差值，並可表示如下式(5)、(6)：d'=[(1+dmax")^d/dmax-1],when d>0 (5)

d'=[1-(1-dmin")^d/dmin],when d<0 (6)

而本發明並不限定僅使用上述兩種方法之一進行轉換，線性或非線性的調整已位移視差圖的意義在於提供觀看者可以更舒適的視覺享受。若欲更加簡化上述之設置，在本發明一實施例中，資料處理單元120亦直接設定超出預設最大範圍的視差值為預設最大視差值或預設最小視差值。例如，若已位移視差圖有一物件區域的視差值小於預設最小視差值，資料處理單元120則直接將物件區域中各像素的視差值設定為預設最小視差值，但本發明並不限定於上述的設置。

圖3A至圖3C則以圖式的方式表示觀看者、顯示器與影像內容中視差值不同的物件之間的關係。為了解說方便，圖3A~圖3C中各物件雖以視差值作為表示，但圖3A~圖3C各物件的位置則是對應於各物件視差值所轉換的深度值之位置。圖3A為根據本發明一實施例所繪示顯示器、觀看者與根據視差圖所顯示的物件之關係示意圖。請參照圖2及3A，在第一影像以及第二影像所對應的影像內容中，包括了物件OB1~OB4。在本實施例中，物件OB1為影像內容中具有最大視差值(深度值)的物件，物件OB2 次之。而對觀看者VR而言，物件OB1、OB2凹入顯示器300中。物件OB4則為影像內容中具有最小視差值的物件，物件OB3次之。對觀看者VR而言，物件OB3、OB4突出顯示器300外。

在經過零視差區域的判斷(例如圖1步驟S102)後，物件OB3被判定為零視差區域，由於物件OB3並未位於顯示器300的平面上，因此資料處理單元120則根據物件OB3與顯示器300的平面之視差距離DIS產生已位移視差圖，而根據已位移視差圖所顯示的物件OB1~OB4則如圖3B所示。

圖3B為根據本發明一實施例所繪示顯示器、觀看者與根據已位移視差圖所顯示的物件之關係示意圖。請參照圖3B，在物件OB1~OB4從圖3A所示位置位移視差距離DIS後，物件OB1~OB4則平行地位移深入顯示器內。在圖3B中，物件OB1與顯示器300的平面之間的視差距離(對應於深度)即為式(1)中的已位移視差最大值dmax。同理，物件OB4與顯示器300的平面之間的視差距離(對應於深度)即為式(2)中的已位移視差最小值dmin。而此時，物件OB2與顯示器300的平面之間的視差距離則表示為同式(3)、(4)中的已位移視差d。

請繼續參照圖3B，在本實施例中，由資料處理單元120所預設的預設最大視差值dmax'和預設最大視差值dmin'則如圖所示，其中預設最大視差值dmax'小於已位移視差最大值dmax，而預設最大視差值dmin'則亦於已位移視差最小值dmin。則根據式(1)、(2)，資料處理單元120則可判定已調整視差最大值dmax" 即等於為預設最大視差值dmax'，而已調整視差最小值dmin"則可判定等於已位移視差最小值dmin。資料處理單元120則可進一步的根據已調整視差最大值dmax"以及已調整視差最小值dmin"調整已位移視差圖為已調整視差圖(步驟S104)。

圖3C為根據本發明一實施例所繪示顯示器、觀看者與根據已調整視差圖所顯示的物件之關係示意圖。圖3C所示即為物件OB1~OB4根據已調整視差圖所顯示的結果。其中，物件OB1被調整於視差距離顯示器300為已調整視差最大值dmax"的位置，由於已調整視差最小值dmin"等於已位移視差最小值dmin，物件OB4的位置則為被調整，與圖3B所示相同。物件OB2的視差距離(即，已位移視差值)d介於0(顯示器300的平面，物件OB3與零視差區域的位置)與已調整視差最大值dmax"之間，資料處理單元120則可透過式(3)得到已調整視差值d'。

請參照圖1、2，在完成了視差圖的調整後，資料處理單元120則根據已調整視差圖合成第一影像以及第二影像以產生多個虛擬視角影像VI(步驟S105)並傳送虛擬視角影像VI至影像輸出單元，供顯示器(例如圖3A~3C所示顯示器300)播放。而藉由具有立體影像合成裝置10的顯示器300顯示如圖3C所示視差/深度關係的影像內容，觀看者VR則可在享受立體影像(上述虛擬視角影像)的同時確保了觀看者VR的舒適度。根據第一影像IMG1、第二影像IMG2(或更多視角的影像)以及已調整視差圖產生虛擬視角影像VI的方法眾多，在此則不贅述。

在本發明中，資料處理單元120更於傳送虛擬視角影像VI至影像輸出單元130以供播放前，加強虛擬視角影像的一二維深度線索(two-dimensioned depth cue)(步驟S106)。所述的二維深度線索指的是，影像觀看者於觀看一二維影像(例如上述的第一影像IMG1、第二影像IMG2)時，藉以從直接從影像中所感受到的深度的線索，例如，物件的大小關係、清晰程度，或是物件間互相遮蔽的關係等。例如，在本實施例中，資料處理單元120利用強度不同的低通濾波處理以及調整影像內容中的零視差區域中物件之比例來增強二維深度線索。

圖4A、4B為根據本發明一實施例所繪示虛擬視角影像的示意圖。其中，圖4A所示虛擬視角影像40為經過步驟S106加強二維深度線索前的影像內容，而圖4B所示虛擬視角影像41為經過步驟S106加強二維深度線索後的影像內容。請參照4A，虛擬視角影像40中主要包括了三個物件OB1~OB3，其中物件OB1為天，視差(深度)最深，物件OB2為山，視差值次之。而物件OB3為人，並且被被判斷為零視差區域，視差為0。

再請參照圖4B，資料處理單元120將首先對視差值不為0的區域進行調整。其中，視差值距離零視差區域越遙遠的物件，資料處理單元120將施以越強程度的低通濾波，使得物件失焦程度隨著遠離零視差區域逐漸增強，使得觀看者更能將焦點停留在零視差區域上。例如，物件OB1較物件OB2遠，資料處理單元120則將對物件OB1施以強於物件OB2的低通濾波處理。其中，所述的低通濾波處理除了與上述的視差值有關外，亦可同時根據每個時間點影像之的焦點移動速度、每個像素與焦點的距離程度等資訊有關，但本發明並不限定於上述的設置內容。

再者，資料處理單元120則將調整影像內容中的零視差區域，也就是物件OB3之比例來增強二維深度線索。在本實施例中，由於物件OB3為人，與物件OB1、OB2(對應於天，山)距離甚遠，資料處理單元120則判定將物件OB3的比例增大(從虛線繪示的物件OB3之比例調整為實線繪示物件OB3'的比例)。物件的大小亦屬於二維深度線索之一。由於人眼構造的關係，觀看者會認為較大的物件距離自身距離較近，藉由這樣放大的調整，觀看者則會認為物件OB3距離自身較近，具有略為跳出的效果。觀看者對於虛擬視角影像的立體感則可因此增加，卻不影響觀看者的舒適程度。

綜上所述，本發明提供了一種立體影像合成方法及裝置，在合成立體影像(即上述的虛擬視角影像)時，考慮了人眼可接受的深度/視差範圍，根據了人眼焦距和視軸的特性修正了影像合成的結果，使得觀看者可以在舒適的情況下享受立體感十足的立體影像。其中，所述的立體影像合成裝置更可整合於例如電視、智慧電視等顯示器中，藉由顯示器中的儲存單元儲存設定，或由顯示器的處理單元和/或輸入輸出介面取得所需的參數，使得合成得到的立體影像更能符合使用者的需求。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S101~S106‧‧‧步驟

Claims

一種立體影像合成方法，包括：接收對應於一第一視角的一第一影像以及對應於一第二視角的第二影像；取得對應於該第一影像以及該第二影像的一視差圖，其中該視差圖包括多個物件區域以及對應於該第一影像以及該第二影像的多個視差值，並且根據該視差圖判斷該些物件區域中的一零視差區域；對應該零視差區域中的該些視差值調整該視差圖為一已位移視差圖；根據該已位移視差圖以及一預設最大範圍線性或非線性地調整該已位移視差圖得到一已調整視差圖，其中該已調整視差圖中的該些視差值的一最大範圍包含於該預設最大範圍；根據該已調整視差圖、該第一影像以及該第二影像產生多個虛擬視角影像；以及根據該已調整視差圖調整該些虛擬視角影像的一二維深度線索。
如申請專利範圍第1項所述的立體影像合成方法，其中該判斷該視差圖中的該零視差區域的步驟包括：根據該些視差值將該視差圖切割為該些物件區域；以及根據該視差圖的一興趣區域和/或一前一時間點的該零視差區域判斷該視差圖中該些物件區域之一為該零視差區域。
如申請專利範圍第2項所述的立體影像合成方法，其中該判斷該視差圖中的該零視差區域的步驟之前，所述方法更包括：執行一興趣區域偵測程序以取得對應於該些物件區域之一的該興趣區域，或接收一控制信號，並根據該控制信號產生該興趣區域。
如申請專利範圍第1項所述的立體影像合成方法，其中該預設最大範圍包括一預設最大視差值以及一預設最小視差值，以及根據該零視差區域以及該預設最大範圍線性或非線性地調整該些視差值的步驟包括：取得該已位移視差圖中一已位移視差最大值以及一已位移視差最小值；選擇該已位移視差最大值以及該預設最大視差值中之較小值為一已調整視差最大值；選擇該已位移視差最小值以及該預設最小視差值中之較大值為一已調整視差最小值；以及根據該已調整視差最大值以及該已調整視差最小值線性或非線性地調整該已位移視差圖得到該已調整視差圖。
如申請專利範圍第1項所述的立體影像合成方法，其中加強該些虛擬視角影像的該二維深度線索的步驟包括：根據該已調整視差圖對該些虛擬視角影像中該零視差區域外的部份進行一低通濾波處理。
如申請專利範圍第1項所述的立體影像合成方法，其中加強該些虛擬視角影像的該二維深度線索的步驟包括：調整該零視差區域於該些虛擬視角影像中的比例。
一種立體影像合成裝置，包括：一影像接收單元，接收對應於一第一視角的一第一影像以及對應於一第二視角的一第二影像；一資料處理單元，耦接該影像接收單元；以及一影像輸出單元，耦接該資料處理單元，其中，該資料處理單元取得對應於該第一影像以及該第二影像的一視差圖，其中該視差圖包括多個物件區域以及對應於該第一影像以及該第二影像的多個視差值，並且根據該視差圖判斷該些物件區域中的一零視差區域；其中，該資料處理單元對應該零視差區域中的該些視差值調整該視差圖為一已位移視差圖；該資料處理單元根據該已位移視差圖以及一預設最大範圍線性或非線性地調整該已位移視差圖得到一已調整視差圖，其中該已調整視差圖中的該些視差值的一最大範圍包含於該預設最大範圍；該資料處理單元根據該已調整視差圖、該第一影像以及該第二影像以產生多個虛擬視角影像；該資料處理單元根據該已調整視差圖調整該些虛擬視角影像的一二維深度線索；以及其中，該影像輸出單元輸出該些虛擬視角影像。
如申請專利範圍第7項所述的立體影像合成裝置，其中：該資料處理單元根據該些視差值將該視差圖切割為該些物件區域；以及該資料處理單元根據該視差圖的一興趣區域和/或前一時間點的該零視差區域判斷該視差圖中該些物件區域之一為該零視差區域。
如申請專利範圍第8項所述的立體影像合成裝置，其中：該資料處理單元執行一興趣區域偵測程序以取得對應於該些物件區域之一的該興趣區域，或接收一控制信號，並根據該控制信號產生該興趣區域。
如申請專利範圍第7項所述的立體影像合成裝置，其中：該預設最大範圍包括一預設最大視差值以及一預設最小視差值：該資料處理單元取得該已位移視差圖中一已位移視差最大值以及一已位移視差最小值；該資料處理單元選擇該已位移視差最大值以及該預設最大視差值中之較小值為一已調整視差最大值；該資料處理單元選擇該已位移視差最小值以及該預設最小視差值中之較大值為一已調整視差最小值；以及該資料處理單元根據該已調整視差最大值以及該已調整視差最小值線性或非線性地調整該已位移視差圖得到該已調整視差圖。
如申請專利範圍第7項所述的立體影像合成裝置，其中：該資料處理單元根據該已調整視差圖對該些虛擬視角影像中該零視差區域外的部份進行一低通濾波處理。
如申請專利範圍第7項所述的立體影像合成裝置，其中：該資料處理單元調整該零視差區域於該些虛擬視角影像中的比例。