TW201428680A

TW201428680A - 影像處理裝置及立體影像前景分離方法

Info

Publication number: TW201428680A
Application number: TW102100005A
Authority: TW
Inventors: Chi-Chang Kuo
Original assignee: Ind Tech Res Inst
Priority date: 2013-01-02
Filing date: 2013-01-02
Publication date: 2014-07-16
Also published as: US20140184739A1

Abstract

本發明係提供一種立體影像前景分離方法，用於一視角解碼器中之一影像處理裝置。該方法包括：接收一多視角視訊位元流解碼所得的一左眼視角影像及一右眼視角影像及其相關的複數個視角間移動向量，並依據所接收的視角間移動向量產生一第一位移圖；對第一位移圖中的各像素套用一中值濾波器及一預定閥值，以產生一第二位移圖；對第二位移圖中的各像素套用中值濾波器，以產生一第三位移圖；由第三位移圖中找出至少一輪廓線，並據以產生一輪廓圖；填滿輪廓圖中之輪廓線以產生一遮罩圖；以及依據遮罩圖由左眼視角影像及右眼視角影像取出相應的複數宏塊，並利用該等宏塊產生已分離前景之一輸出左眼視角影像及一輸出右眼視角影像。

Description

影像處理裝置及立體影像前景分離方法

本發明係有關於視訊處理，特別是有關於適用於立體視訊編解碼的影像處理裝置及立體影像前景分離方法。

在數位影像/視訊的相關應用中，經常需要針對畫面中的個別物件來進行分析。而首要步驟係將影像中的前景物件分離(foreground segmentation)。前景分離通常也可稱為前景擷取(foreground extraction)或是背景去除(background subtraction)。第1圖係顯示將一影像進行前景分離的示意圖。如第1圖所示，影像100經過前景分離後可得到一前景影像110及一背景影像120。

除此之外，隨著立體顯示技術的進步，多視角影像常常應用於不同的視訊編解碼標準中。若需對立體影像進行前景分離，習知技術係可利用前景物件的空間特徵(spatial-based)、運動特徵(motion-based)及混合特徵(spatial-temporal)等方式、或是利用前景物件的深度特徵。然而這些習知技術均具有缺點，例如：(1)利用空間特徵之方法需要先建立資料庫，且無法處理與背景顏色類似的前景；(2)利用運動特徵的方法無法處理靜態的前景物件；(3)利用混合特徵的方法之運算複雜度非常高；(4)利用深度特徵的方法需要利用價格非常昂貴的深度感測器以取得深度資訊，或是將立體影像進行立體比對(stereo matching)以取得深度資訊。

簡單來說，立體比對方法係將左眼視角影像及右眼視角影像進行比對運算，藉以找出畫面中各個像素的視差(parallax)。若視差值較大，則表示該像素比較靠近鏡頭，有可能是前景物件中的像素。若視差值較小，則表示該像素比較遠離鏡頭，有可能是背景物件中的像素。

更進一步而言，在H.264視訊編解碼標準中已定義了多視角編解碼(multi-view coding)之規範，其技術主要仍是基於傳統的移動估計及移動補償方法，並再加入視角間移動向量(interview motion vector)進行編碼。若將前述的立體比對方法與多視角解碼技術相結合，對於一H.264標準的多視角視訊位元流來說，解碼端需要將上述多視角視訊位元流進行解碼以得到視角影像(decoded view)，並對視角影像重新進行立體比對才找出視差。接著才能進行相關的前景/背景分離程序。然而，這種習知方法會大量增加解碼端的運算量及複雜度。

有鑑於此，本發明係提供一種可針對立體視訊以分離前景的影像處理裝置及立體影像前景分離方法，其可利用多視角視訊位元流中既存的資訊(例如視角間移動向量)快速估測出左右視角的視差(parallax)，再藉由判斷物件的位移距離以從畫面中分離出前景物件。

本發明係提供一種影像處理裝置，用於一視訊解碼器。該裝置包括：一儲存單元；以及一影像處理單元，用以接收一多視角視訊位元流解碼所得的一左眼視角影像及一右眼視角影像及其相關的複數個視角間移動向量，並依據所接收的該等視角間移動向量產生一第一位移圖；其中該影像處理單元更對該第一位移圖中的各像素套用一中值濾波器及一預定閥值，以產生一第二位移圖；其中該影像處理單元更對該第二位移圖中的各像素套用中值濾波器，以產生一第三位移圖；其中影像處理單元更由第三位移圖中找出至少一輪廓線，並據以產生一輪廓圖；其中影像處理單元更填滿輪廓圖中之輪廓線以產生一遮罩圖；其中影像處理單元依據所產生的遮罩圖由左眼視角影像及右眼視角影像取出相應的複數宏塊，並利用該等宏塊產生已分離前景之一輸出左眼視角影像及一輸出右眼視角影像，其中第一位移圖、第二位移圖、第三位移圖、輪廓圖及遮罩圖係儲存於儲存單元。

本發明更提供一種立體影像前景分離方法，用於一視角解碼器中之一影像處理裝置。該方法包括下列步驟：接收一多視角視訊位元流解碼所得的一左眼視角影像及一右眼視角影像及其相關的複數個視角間移動向量，並依據所接收的該等視角間移動向量產生一第一位移圖；對該第一位移圖中的各像素套用一中值濾波器及一預定閥值，以產生一第二位移圖；對該第二位移圖中的各像素套用該中值濾波器，以產生一第三位移圖；由第三位移圖中找出至少一輪廓線，並據以產生一輪廓圖；填滿該輪廓圖中之輪廓線以產生一遮罩圖；以及依據所產生的遮罩圖由該左眼視角影像及該右眼視角影像取出相應的複數宏塊，並利用該等宏塊產生已分離前景之一輸出左眼視角影像及一輸出右眼視角影像。

為使本發明之上述目的、特徵和優點能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式，作詳細說明如下。

第2圖係顯示依據本發明一實施例之影像處理裝置200的功能方塊圖。在一實施例中，影像處理裝置200係用於一視訊解碼器中，用以接收一多視角視訊位元流解碼所得之視角影像以及分離前景物件，其中上述多視角視訊位元流係包括立體視訊(stereo video)之兩個視角(例如左眼視角及右眼視角)的影像。更進一步而言，影像處理裝置200係包括一影像處理單元210及一儲存單元220，其中影像處理單元210係用以執行本發明之立體影像前景分離方法，而儲存單元220係用以儲存在進行立體影像前景分離方法之過程中所產生的中間結果(例如數值及影像陣列等等)，其細節將詳述於後。舉例來說，本發明中的影像處理單元210係可由一中央處理器(CPU)或一數位信號處理器(DSP)所實現(意即軟體)。除此之外，影像處理單元210亦可為特定的一數位邏輯電路(意即硬體)用以實現本發明之立體影像前景分離方法。在一實施例中，儲存單元220係可為一隨機存取記憶體(例如DRAM、SRAM)、快閃記憶體(flash memory)及硬碟(hard disk)等等。

承上述實施例，在H.264/AVC編解碼標準之多視角編碼的流程中，視訊編碼器往往是先對立體影像中的某一眼影像(例如以右眼影像做為基準影像)進行編碼，再利用視角間編碼(interview prediction)對另一眼的影像(例如左眼影像)進行編碼。換言之，視訊解碼器可先利用移動估計及移動補償計算出右眼影像，再利用相關於右眼影像的視角間移動向量來推得左眼影像。除此之外，立體影像中的左眼影像及右眼影像往往具有某些相關影像特性，例如左眼影像及右眼影像之間會具有一視差(parallax)，而且通常是僅有水平方向的視差(或具有微量的垂直方向視差)。本發明所提出的影像處理裝置200及立體影像前景分離方法係可利用左眼影像及右眼影像在水平方向之間的視差關係以快速地計算出在多視角視訊位元流中的前景物件，藉以取代在傳統視訊解碼器中的立體比對(stereo matching)運算，並可大幅減少傳統視訊解碼器在多視角影像編碼位元流(multi-view coded bitstream)執行前景物件分離的運算量。

第3圖係顯示依據本發明一實施例之立體影像前景分離方法的流程圖。第4A-4G圖係顯示依據本發明一實施例之立體影像前景分離方法所產生之中間結果的示意圖。請同時參考第3圖及第4A-4G圖。在步驟S310，影像處理單元210係接收一多視角視訊位元流解碼所得的一視角影像(例如右眼影像)400及其相關的複數個視角間移動向量(interview motion vectors)，並依據所接收的該等視角間移動向量產生一第一位移圖410(shift map)，其中視角影像400如第4A圖所示，第一位移圖如第4B圖所示。更進一步而言，影像處理單元210係以一張視角影像為單位對其視角間移動向量，且每一個視角間移動向量所對應的宏塊尺寸係切割至4x4。舉例來說，原本每一個視角間移動向量係對應至一個16x16宏塊，因此每個16x16宏塊可切割為4個4x4宏塊，而且切割而得的4個4x4宏塊均對應至其16x16宏塊的視角間移動向量，意即此4個4x4宏塊具有相同的視角間移動向量。

假定視角影像的解析度為1280x720，影像處理單元210在切割視角影像後一共可產生(1280/4)*(720/4)=320*180=57600個視角間移動向量。接著，影像處理單元210係取出所產生的視角間移動向量之水平方向(例如X軸)位移數值，並將這些水平方向位移數值組成一張第一位移圖。若視角影像400之解析度為frame_width*frame_height，則影像處理單元210所產生的第一位移圖之尺寸map_width*map_height則為((frame_width/4)*(frame_height/4))。更進一步而言，影像處理單元210所產生的第一位移圖410係可用一灰階影像(例如灰階值0~255)表示。若某一視角間移動向量的水平方向位移數值愈大，則其對應之像素的灰階值愈高。

在步驟S320，影像處理單元210係對第一位移圖410中的各像素套用一中值濾波器(median filter)及一預定閥值，以產生一第二位移圖420。更詳細而言，影像處理單元210係使用一3x3的中值濾波器對第一位移圖410中的各像素進行濾波處理。意即該中值濾波器是以每一點像素為中心的3x3範圍內共取出9個點以小而大排序成一數列，並取出該數列中之第5個數值以做為該像素的新數值。將每個像素濾波後的新數值組合可得到一第一濾波位移圖(未繪示)。接著，影像處理單元210再對第一濾波位移圖中的每個像素數值進行統計，並找出發生次數最多的像素數值MAX_VALUE。影像處理單元210再計算(MAX_VALUE-10)以產生一下限值，並計算(MAX_VALUE+10)以產生一上限值，其中前述的預定閥值在此實施例中即為10。需注意的是上述下限值及上限值若超過255或低於0，影像處理單元210仍會將其限制於0~255的範圍之內。最後，影像處理單元210則使用所產生的上限值及下限值對第一濾波位移圖中的各像素進行限幅(clipping)處理。

更進一步而言，若在第一濾波位移圖中的各像素數值低於下限值或高於上限值，則影像處理單元210會將對應的像素數值直接設定為0。若第一濾波位移圖中的各像素數值介於下限值及上限值之間，則維持原數值。第一濾波位移圖中進行限幅(clipping)處理後的各像素即可組成一第二位移圖420，如第4C圖所示。簡單來說，同一個前景物件之像素在視角影像的視角間移動向量往往是很相近的，意即在第一位移圖410中的灰階值是很相近的。因此經過步驟S320，可濾除掉與前景物件之視角間移動向量相差較大的其他視角間移動向量，並得到一第二位移圖420。

在步驟S330，影像處理單元210再對第二位移圖420 中的各像素套用前述中值濾波器，以產生一第三位移圖430。意即經過步驟S310~S330的處理後，即可得到較清楚的視角間移動向量之第三位移圖430，如第4D圖所示。需注意的是，步驟S330與步驟S320中所使用的中值濾波器是相同的，且濾波處理的方式也相同，其細節於此不再贅述。

在步驟S340，影像處理單元210係由第三位移圖430中找出至少一輪廓線(contour)，並據以產生一輪廓圖440。更詳細而言，步驟S340之詳細步驟係如第5圖之流程所示。請再參考第3圖及第4E圖。在步驟S350，影像處理單元210係填滿輪廓圖中之輪廓線445以產生一遮罩圖(mask map)450。更詳細而言，影像處理單元210係判斷在輪廓圖440中的各像素之位置(例如以座標(x,y)表示)是否落在輪廓圖440中之輪廓線445的內部或邊緣。若是，則將該像素所相應的一遮罩值(mask value)設定為1。若否，則將該像素所相應的一遮罩值設定為0。將各像素所相應的遮罩值組合即可得到遮罩圖450。

請再參考第3圖及第4F圖。在步驟S360，影像處理單元210係依據所產生的遮罩圖由視角影像410取出相應的複數宏塊，並利用該等宏塊產生已分離前景之一輸出影像460。更詳細而言，在步驟S350所產生的遮罩圖450之尺寸係與第一位移圖410之尺寸相同，意即遮罩圖450中之各像素在視角影像400中均有相應的一個4x4宏塊。換言之，若遮罩圖450中之一像素相應的遮罩值為1，則由視角影像410取出相應的4x4宏塊。若遮罩圖450中之一像素之相應的遮罩值為0，則其相應的4x4宏塊之亮度值則強制設定為0。當影像處理單元210處理完遮罩圖450中的所有像素後，影像處理單元210即可依據所產生的遮罩圖450由該左眼視角影像及該右眼視角影像(例如第4A圖的視角影像400)取出相應的複數宏塊，並利用該等宏塊產生已分離前景(例如前景物件465)的一輸出左眼視角影像及一輸出右眼視角影像(例如視角影像460)，如第4G圖所示。

需注意的是，為了便於說明，本發明第4B-4E圖中之位移圖係以白底繪示，熟習本發明領域之技藝者當可了解本發明第4B-4E圖係為灰階影像，而第4F圖中的遮罩圖450則為黑白影像。

第5圖係顯示依據本發明一實施例中影像處理單元210產生輪廓圖之步驟的流程圖。請參考第5圖及第4D圖。在步驟S510，影像處理單元210係在第三位移圖430中由外向內決定一個起始點S(sx,sy)，其中該起始點的位置在第三位移圖430中的相應數值不為0，且該起始點的位置在輪廓圖440中尚未被指派任何數值。除此之外，該起始點S(sx,sy)更需滿足下列條件之任一項，例如：(a)起始點S(sx,sy)為第三位移圖440的四個頂點之任一者(以左上頂點為(0,0)，且X軸往右為正，Y軸往下為正)，意即sx=0或sx=map_width-1，以及sy=0或sy=map_height-1。(b)在第三位移圖440中以座標(sx,sy)為中心的像素之相鄰像素有任一者為0。

第6圖係顯示依據本發明一實施例之目前檢查點及其相鄰像素的示意圖。請同時參考第5圖及第6圖。在步驟S520，影像處理單元210係設定目前檢查點C(x,y)及其相鄰8個像素的編號及相對位置(如第6圖所示)，並設定相應的8個檢查序列L0~L8，且每個檢查序列均具有8個待測點。編號4的像素即為目前檢查點，而編號0-3及5-8的像素即為目前檢查點的8個相鄰像素。檢查序列L0~L8係分別為：L0={8,5,7,2,6,1,3,0}；L1={7,6,8,3,5,0,2,1}；L2={6,3,7,0,8,1,5,2}；L3={5,2,8,1,7,0,6,3}；L5={3,0,6,1,7,2,8,5}；L6={2,1,5,0,8,3,7,6}；L7={1,0,2,3,5,6,8,7}；L8={0,1,3,2,6,5,7,8}。

其中各檢查序列中的數字編號即為第6圖所示之像素編號。

請再回到第5圖。在步驟S530，影像處理單元210係將目前檢查點C(x,y)初始化為起始點S(sx,sy)，並初始化前次檢查點編號pos_pre為0。

在步驟S540，影像處理單元210係依據一第一預定程序以檢查目前檢查點C(x,y)之相鄰的8個像素，並選擇相應的檢查序列。更詳細而言，若目前檢查點C(x,y)位於第三位移圖440之邊界，則影像處理單元210會將其超出邊界的相鄰像素則設定為0(註：即處理滿足邊界條件之像素)。接著，影像處理單元210係判斷像素0-3及5-8是否為輪廓線的候選像素，意即判斷像素0-3及5-8在本身像素不為0且其水平或垂直方向的相鄰像素(僅限於像素0-3及5-8)有一者為0的情況。在一特殊情況中，若判斷結果僅有兩個像素可能為輪廓線的候選像素，則需再進一步判斷是否有其中一個候選像素搜尋過(意即該候選像素的編號恰為前次檢查點編號pos_pre)。若是，則影像處理單元210會強制往尚未處理過的該像素以尋找輪廓線。接著，影像處理單元則依據前次檢查點編號pos_pre之數值設定相應的檢查序列。

在步驟S550，影像處理單元210係依據一第二預定程序以決定目前檢查點C(x,y)的下一位置(next position)。更詳細而言，影像處理單元210係判斷在步驟S540中之目前檢查點C(x,y)的相鄰8個像素是否為輪廓線的候選像素。若僅有一個相鄰像素為輪廓線的候選像素，則將輪廓圖中在該候選像素之位置的相應像素的數值設定為該候選像素的數值，並對應調整前次檢查點編號之數值。若在步驟S550中並沒有發現適合的輪廓線候選像素，則進入步驟S560。簡單來說，步驟S550係用來決定以輪廓圖中的空位置(empty position)做為下一個目前檢查點。

在步驟S560，當該第二預定程序無法決定目前檢查點的下一位置，影像處理單元210再依據一第三預定程序以決定目前檢查點C(x,y)的下一位置(next position)。更詳細而言，當目前檢查點C(x,y)之相鄰像素均不為空位置時，影像處理單元210係依據該前次檢查點編號post_pre以決定目前檢查點C(x,y)之下一位置。

在步驟S570，影像處理單元210係重複執行步驟S540至S560直到目前檢查點C(x,y)=S(sx,sy)，並輸出一輪廓圖440，意即最後之搜尋結果即為輪廓圖440中的輪廓線445。

綜上所述，本發明係提供一種可針對立體視訊以分離前景的影像處理裝置及立體影像前景分離方法，其可利用多視角視訊位元流中既存的資訊(例如視角間移動向量)快速估測出左右視角的視差(parallax)，再藉由判斷物件的位移距離以從畫面中分離出前景物件。

本發明之方法，或特定型態或其部份，可以以程式碼的型態包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置或系統。本發明之方法、系統與裝置也可以以程式碼型態透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置或系統。當在一般用途處理器實作時，程式碼結合處理器提供一操作類似於應用特定邏輯電路之獨特裝置。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用以輔助專利文件搜尋之用，並非用以限制本發明之權利範圍。

100‧‧‧影像

110‧‧‧前景影像

200‧‧‧影像處理裝置

120‧‧‧背景影像

210‧‧‧影像處理單元

440‧‧‧輪廓圖

220‧‧‧儲存單元

445‧‧‧輪廓線

400、460‧‧‧視角影像

450‧‧‧遮罩圖

410‧‧‧第一位移圖

x,y‧‧‧座標

415‧‧‧區域

0-9‧‧‧像素編號

420‧‧‧第二位移圖

465‧‧‧前景物件

430‧‧‧第三位移圖

S310-S360‧‧‧步驟

第1圖係顯示將一影像進行前景分離的示意圖。

第2圖係顯示依據本發明一實施例之影像處理裝置200的功能方塊圖。

第3圖係顯示依據本發明一實施例之立體影像前景分離方法的流程圖。

第4A-4G圖係顯示依據本發明一實施例之立體影像前景分離方法所產生之中間結果的示意圖。

第5圖係顯示依據本發明一實施例中影像處理裝置200產生輪廓圖之步驟的流程圖。

第6圖係顯示依據本發明一實施例之目前檢查點及其相鄰像素的示意圖。

S310-S360‧‧‧步驟

Claims

一種影像處理裝置，用於一視訊解碼器，包括：一儲存單元；以及一影像處理單元，用以接收一多視角視訊位元流解碼所得的一左眼視角影像及一右眼視角影像及其相關的複數個視角間移動向量，並依據所接收的該等視角間移動向量產生一第一位移圖；其中該影像處理單元更對該第一位移圖中的各像素套用一中值濾波器及一預定閥值，以產生一第二位移圖；其中該影像處理單元更對該第二位移圖中的各像素套用該中值濾波器，以產生一第三位移圖；其中該影像處理單元更由該第三位移圖中找出至少一輪廓線，並據以產生一輪廓圖；其中該影像處理單元更填滿該輪廓圖中之該至少一輪廓線以產生一遮罩圖；其中該影像處理單元依據所產生的該遮罩圖由該左眼視角影像及該右眼視角影像取出相應的複數宏塊，並利用該等宏塊產生已分離前景之一輸出左眼視角影像及一輸出右眼視角影像，其中該第一位移圖、該第二位移圖、該第三位移圖、該輪廓圖及該遮罩圖係儲存於該儲存單元。
如申請專利範圍第1項所述之影像處理裝置，其中該影像處理單元係使用該中值濾波器依序由該第一位移圖中之各像素及其相鄰的8個像素所組成之序列中計算一第一中間值。
如申請專利範圍第2項所述之影像處理裝置，其中該影像處理單元更由濾波所得的該中間值中決定出現次數最多的一數值，並設定該數值與該預定閥值之和為一上限值，及設定該數值與該預定閥值之差值為一下限值，且保留在該上限值及該下限值之間的該第一中間值以產生該第二位移圖。
如申請專利範圍第3項所述之影像處理裝置，其中該影像處理單元係使用該中值濾波器依序由該第二位移圖中之各像素及其相鄰的8個像素所組成之序列中計算一第二中間值，並依據計算所得的該第二中間值以產生該第三位移圖。
如申請專利範圍第1項所述之影像處理裝置，其中該影像處理單元更在該第三位移圖中由外向內決定一起始點，並設定一目前檢查點及其相鄰8個像素的編號及相對位置，並設定相應的複數個檢查序列；其中該影像處理單元更將該目前檢查點初始化為該起始點且初始化一前次檢查點編號為0，並依據一第一預定程序檢查該目前檢查點相鄰的8個像素，並選擇相應的該等檢查序列；其中該影像處理單元更依據一第二預定程序檢查該目前檢查點的下一位置，且當該第二預定程序無法決定該目前檢查點的下一位置，該影像處理單元再依據一第三預定程序以決定該目前檢查點的下一位置；以及其中該影像處理單元更重複執行該第一預定程序、該第二預定程序及該第三預定程序直到該目前檢查點為該起始點，並輸出該輪廓圖。
如申請專利範圍第5項所述之影像處理裝置，其中該第一預定程序係指影像處理單元判斷該目前檢查點之相鄰像素是否為輪廓線的候選像素，並依據該前次檢查點編號之數值設定相應的該等檢查序列。
如申請專利範圍第5項所述之影像處理裝置，其中該第二預定程序係指該影像處理單元判斷該目前檢查點的該等相鄰像素是否為一空位置及該輪廓線的候選像素，其中若該目前檢查點僅有1個相鄰像素為該輪廓線的候選像素，則該影像處理單元係將該輪廓圖中在該候選像素之位置的相應像素的數值設定為該候選像素的數值並對應調整該前次檢查點編號之數值。
如申請專利範圍第5項所述之影像處理裝置，其中該第三預定程序係指當該目前檢查點之該等相鄰像素均不為空位置，該影像處理單元係依據該前次檢查點編號以決定該目前檢查點之下一位置。
如申請專利範圍第1項所述之影像處理裝置，其中該影像處理單元更判斷在該輪廓圖中之各像素的位置是否落在該至少一輪廓線之內部或邊緣，若是，該影像處理單元係將該像素所相應的一遮罩值設定為1；若否，該影像處理單元係將該像素所相應的該遮罩值設定為0；以及其中該影像處理單元更將該輪廓圖中之各像素所相應的該遮罩值組合以產生該遮罩圖。
如申請專利範圍第1項所述之影像處理裝置，其中該等視角間移動向量之任一者在該左眼視角影像及該右眼視角影像中均有相應之一4x4宏塊。
一種立體影像前景分離方法，用於一視角解碼器中之一影像處理裝置，該方法包括：接收一多視角視訊位元流解碼所得的一左眼視角影像及一右眼視角影像及其相關的複數個視角間移動向量，並依據所接收的該等視角間移動向量產生一第一位移圖；對該第一位移圖中的各像素套用一中值濾波器及一預定閥值，以產生一第二位移圖；對該第二位移圖中的各像素套用該中值濾波器，以產生一第三位移圖；由該第三位移圖中找出至少一輪廓線，並據以產生一輪廓圖；填滿該輪廓圖中之該至少一輪廓線以產生一遮罩圖；以及依據所產生的該遮罩圖由該左眼視角影像及該右眼視角影像取出相應的複數宏塊，並利用該等宏塊產生已分離前景之一輸出左眼視角影像及一輸出右眼視角影像。
如申請專利範圍第11項所述之立體影像前景分離方法，其中產生該第二位移圖之步驟更包括：使用該中值濾波器依序由該第一位移圖中之各像素及其相鄰的8個像素所組成之序列中計算一第一中間值。
如申請專利範圍第12項所述之立體影像前景分離方法，其中產生該第二位移圖之步驟更包括：由濾波所得的該中間值中決定出現次數最多的一數值；設定該數值與該預定閥值之和為一上限值，及設定該數值與該預定閥值之差值為一下限值；以及保留在該上限值及該下限值之間的該第一中間值以產生該第二位移圖。
如申請專利範圍第13項所述之立體影像前景分離方法，其中產生該第三位移圖之步驟更包括：使用該中值濾波器依序由該第二位移圖中之各像素及其相鄰的8個像素所組成之序列中計算一第二中間值，並依據計算所得的該第二中間值以產生該第三位移圖。
如申請專利範圍第11項所述之立體影像前景分離方法，其中產生該輪廓圖之步驟更包括：在該第三位移圖中由外向內決定一起始點；設定一目前檢查點及其相鄰8個像素的編號及相對位置，並設定相應的複數個檢查序列；將該目前檢查點初始化為該起始點且初始化一前次檢查點編號為0，並依據一第一預定程序檢查該目前檢查點相鄰的該等像素，並選擇相應的該等檢查序列；依據一第二預定程序檢查該目前檢查點的下一位置；當該第二預定程序無法決定該目前檢查點的下一位置，再依據一第三預定程序以決定該目前檢查點的下一位置；以及重複執行該第一預定程序、該第二預定程序及該第三預定程序直到該目前檢查點為該起始點，並輸出該輪廓圖。
如申請專利範圍第15項所述之立體影像前景分離方法，其中該第一預定程序係包括：判斷該目前檢查點之相鄰像素是否為輪廓線的候選像素；以及依據該前次檢查點編號之數值設定相應的該等檢查序列。
如申請專利範圍第15項所述之立體影像前景分離方法，其中該第二預定程序係包括：判斷該目前檢查點的該等相鄰像素是否為空位置及該輪廓線的候選像素；以及其中若該目前檢查點僅有1個相鄰像素為該輪廓線的候選像素且為空位置，將該輪廓圖中在該候選像素之位置的相應像素的數值設定為該候選像素的數值並對應調整該前次檢查點編號之數值。
如申請專利範圍第17項所述之立體影像前景分離方法，其中該第三預定程序係包括：當該目前檢查點之該等相鄰像素均不為空位置，依據該前次檢查點編號以決定該目前檢查點之下一位置。
如申請專利範圍第11項所述之立體影像前景分離方法，其中產生該遮罩圖之步驟更包括：判斷在該輪廓圖中之各像素的位置是否落在該至少一輪廓線之內部或邊緣；若是，將該像素所相應的一遮罩值設定為1；若否，將該像素所相應的該遮罩值設定為0；以及將該輪廓圖中之各像素所相應的該遮罩值組合以產生該遮罩圖。
如申請專利範圍第11項所述之立體影像前景分離方法，其中該等視角間移動向量之任一者在該左眼視角影像及該右眼視角影像中均有相應之一4x4宏塊。