TW201328314A - 深度估測方法及其裝置 - Google Patents

Abstract

一種深度估測方法，針對多視角輸入影像資料進行深度估測，其中包括目標圖框資料及次視角目標圖框資料。深度估測方法包括下列步驟：將目標圖框資料劃分為多個物件分區；針對各物件分區於次視角目標圖框資料中進行物件比對，以針對比對成功之物件分區決定初始深度值；參考與比對失敗之物件分區相鄰之相鄰物件分區的初始深度值，決定比對失敗之各物件分區的初始深度值；針對各物件分區決定同群資訊；及根據各物件分區之初始深度值及同群物件分區內各初始深度值進行調整，產生精煉深度值。

Description

深度估測方法及其裝置

本發明是有關於一種深度估測方法及應用其之裝置，且特別是有關於一種經由物件為基礎的深度估測來找出初始深度值的深度估測方法及應用其之裝置。

在科技發展日新月異的現今時代中，立體影像多媒體系統逐漸被業界所重視。一般來說，在立體影像/視訊的應用中，雙視域影像比對(Stereo Matching)影像處理技術，是目前業界急需開發的立體影像核心技術。在現有技術中，雙視域影像比對技術係先根據雙視域影像計算出影像深度分佈圖。

一般來說，深度分佈圖對於立體影像的品質是至關重要的，據此，如何設計出具有計算複雜度較低之雙視域影像比對深度估計方法為業界不斷致力的方向之一。

本發明有關於一種深度估測方法及其裝置，其係用以：將目標圖框資料劃分為多個物件分區，並經由物件比對操作來針對各物件分區找出一筆初始深度值；針對各個物件分區決定同群資訊，其係將各物件分區對應至一個或多個同群物件分區；及根據各物件分區之初始深度值及同一同群物件分區之內部之其他初始深度值，產生精煉深度值。據此，相較於傳統深度估測方法，本發明相關之深度估測方法及裝置具有可經由物件比對操作來找出初始深度值及參考同群資訊來產生精煉深度值的優點。

根據本發明之第一方面，提出一種深度估測方法，用以針對動態多視角影像資料進行深度估測。深度估測方法包括下列步驟。首先對動態多視角影像資料進行解壓縮，以找出目標圖框資料及次視角目標圖框資料。接著將目標圖框資料劃分為多個物件分區，並產生物件分割資訊。然後判斷目標圖框資料為I類圖框還是P類/B類圖框。當目標圖框資料為I類圖框時，參考物件分割資訊對目標圖框資料進行深度估測，以找出目標圖框資料對應之深度分佈資料。當目標圖框資料為P類/B類圖框時，參考目標圖框資料對應之移動向量資訊及前一筆目標圖框資料之深度分佈資料，來找出目標圖框資料對應之深度分佈資料。

根據本發明之第二方面，提出再一種深度估測方法，用以針對多視角輸入影像資料進行深度估測，多視角輸入影像資料包括目標圖框資料及次視角目標圖框資料。深度估測方法包括下列步驟。首先將目標圖框資料劃分為多個物件分區。接著針對各物件分區於次視角目標圖框資料中進行物件比對，以對應至物件分區中比對成功之各物件分區，並決定比對成功之各物件分區的初始深度值。然後針對比對失敗之物件分區，參考與比對失敗之物件分區相鄰之多個相鄰物件分區的初始深度值，決定比對失敗之各物件分區的初始深度值。接著針對各物件分區決定同群資訊，其用以將各物件分區對應至至少一同群物件分區。之後針對各物件分區，根據各物件分區之初始深度值及同一同群物件分區內之其他初始深度值，產生精煉深度值。

根據本發明之第三及第四方面，提出一種深度估測裝置，其用以執行本發明第一及第二方面所述之深度估測方法。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：

請參照第1圖，其繪示依照本發明實施例之深度估測裝置的方塊圖。深度估測裝置1例如包括處理器10、記憶體20及匯流排路徑30。舉例來說，本實施例之深度估測方法可以程式碼的方式來實現，並儲存於記憶體20；處理器10經由匯流排路徑30存取記憶體20中之程式碼，藉此實現本實施例之深度估測方法。

接下來，係列舉不同實施例，來針對本實施例之深度估測裝置1所執行之深度估測方法做進一步的說明。

第一實施例

本實施例之深度估測方法及裝置係用以針對靜態之輸入影像資料進行深度估測。舉例來說，輸入影像資料為雙視域影像資料，其中包括目標圖框資料F1及對應之次視角目標圖框資料F2。

請參照第2圖，其繪示依照本發明第一實施例之深度估測方法的流程圖。深度估測方法包括下列步驟。首先如步驟(a)，處理器10進行影像分割操作，以將目標圖框資料F1劃分為多個物件分區A_1、A_2、...、A_n，其中n為自然數。舉例來說，處理器10係以參考目標圖框資料F1中各個畫素對應之顏色資訊，來判斷其與相鄰之其他畫素是否具有相近的顏色，藉此判斷其是否屬於相同的物件分區。在一個操作實例中，目標圖框資料F1的示意圖可如第3圖所示，其中n等於9，而物件分區A_1及A_9。

接著如步驟(b)，處理器10針對各物件分區A_1-A_n於次視角目標圖框資料F2中進行物件比對，以針對物件分區A_1-A_n中比對成功之各物件分區找出視差值Dis，並據以決定比對成功之各物件分區的初始深度值Di。舉例來說，處理器10係應用標準化相關係數法(Normalized Cross-Correlation，NCC)來實現步驟(b)中的比對操作，其中相關係數r例如可以下列方程式表示(1)：

其中G_s(i,j)為來源樣本資訊，例如是目標圖框資料F1中對應至畫素位置(i,j)的畫素資料；G_t(i,j)為目標樣本資訊，即是次視角目標圖框資料F2中對應至畫素位置(i,j)的畫素資料；及分別代表來源樣本內部資訊的平均值及目標內部資訊的平均值。

步驟(b)中的物件比對操作例如在一個橫向搜索範圍中進行，藉此對應至各物件A_1-A_n，參考相關係數r來找出最佳的視差值。舉例來說，此橫向搜索範圍為x方向畫素位置介於-60至+60之間的範圍；以物件A_1的比對操作來說，處理器10係將目標圖框資料F1中之物件分區A_1依序地與次視角目標圖框資料F2中橫向平移-60至+60畫素座標值的目標物件進行比對，藉此對應地找出121筆相關係數值r(-60)、r(-59)、...、r(-1)、r(0)、r(1)、...、r(60)。

處理器10更找出此些相關係數值r(-60)-r(60)中的最大相關係數值r_max，並判斷最大相關係數值r_max是否實質上大於門檻值；若是，則處理器10以最大相關係數值r_max對應之視差值來做為物件分區A_1的初始深度值Di。當最大相關係數r_max小於門檻值時，處理器10係判斷物件分區A_1的比對操作為失敗。另，該門檻值係可為內設值，然亦可由使用者進行調整。

然後如步驟(c)，針對比對失敗之物件分區，處理器10使用與比對失敗之物件分區相鄰之一個或多個相鄰物件分區的初始深度值Di，來決定比對失敗之各物件分區的初始深度值。

以第3圖所示的目標圖框資料F1的例子來說，物件分區A_1例如為比對失敗之物件分區，物件分區A_2-A_6為與物件分區A_1相鄰的物件分區，而物件分區A_7-A_9為未與物件分區A_1相鄰的物件分區。在步驟(c)的操作中，處理器10係找出物件分區A_1與相鄰物件分區A_2-A_6的相關係數，並將物件分區A_1的初始深度值設定為其中相關係數最高的相鄰物件分區(例如是物件分區A_2)的初始深度值Di。

據此，經由步驟(b)及(c)的操作，處理器10可針對各物件分區A_1-A_n給定一個初始深度值Di。

接著如步驟(d)，處理器10針對各物件分區A_1-A_n決定同群資訊Ig_1、Ig_2、...、Ig_n，同群資訊Ig_1-Ig_n分別用以將物件分區A_1-A_n對應至至少一個同群物件分區。舉例來說，處理器10係參考各物件分區A_1-A_n的顏色資訊，來判斷其是否屬於相同的分群，藉此產生同群資訊Ig_1-Ig_n，其中物件分區A_1-A_n的顏色資訊例如以CIELUV色空間表示之顏色資訊。

由於處理器10針對目標圖框資料F1中之各物件分區產生對應之同群資訊的操作為實質上相同，接下來係僅以處理器10找出目標圖框資料F(f)中之物件分區A_1的同群資訊Ig_1的情形為例做說明。

在步驟(d)中，處理器10先找出目標圖框資料F1中與物件分區A_1相鄰的分區，例如是物件分區A_2-A_6。接著處理器10參考物件分區A_2-A_6及A_1的顏色資訊，並經由下列方程式(2)來判斷各物件分區A_2-A_6與物件分區A_1是否屬於相同之分群：

|L_s-L_t|+|U_s-U_t|+|V_s-V_t|<Threshold　(2)

L_s、U_s、V_s係為對應至物件分區A_1的顏色資訊，其係以CIELUV色空間座標來表示；L_t、U_t、V_t係為對應至物件分區A_2-A_6其中之一的顏色資訊，其亦以CIELUV色空間來表示。

當方程式(2)成立時，表示此物件分區(例如是物件分區A_2)與物件分區A_1具有相近的顏色，而處理器10係認為其屬於相同的分群。經由相似的操作，處理器10係依序地將對應至各物件分區A_2-A_6的顏色資訊依序地代入方程式(2)中，以找出與物件分區A_1屬於相同分群的同群物件分區。例如包括物件分區A_2、A_3及A_4。

之後如步驟(e)，處理器10針對同一同群物件分區內各個物件分區之初始深度值，來對同一同群物件分區內之各初始深度值進行調整，以對各物件分區產生精煉深度值。換言之，針對各物件分區，處理器10根據各物件分區之初始深度值Di及其之同群物件分區內各物件分區對應之初始深度值，產生精煉深度值D_ref。舉例來說，物件分區A_1-A_4屬於相同的同群物件分區A；而以針對物件分區A_1的操作來說，處理器10係根據物件分區A_1-A_4的初始深度值來產生精煉深度值D_ref。舉例來說，處理器10係計算物件分區A_1之初始深度值Di與各物件分區A_2-A_45之初始深度值的絕對差值和(Sum of Absolute Differences，SAD)。換言之，處理器10針對物件分區A_1找出多筆(例如是3筆)SAD中之最小值，並以其對應之初始深度值來取代物件分區A_1的初始深度值Di。進一步的說，處理器10的SAD計算操作例如可以下列方程式(3)-(7)表示：

SAD_{A_1}=|Di_{A_1}-Di_{A_2}|+|Di_{A_1}-Di_{A_3}|+|Di_{A_1}-Di_{A_4}|　(3)

SAD_{A_2}=|Di_{A_2}-Di_{A_1}|+|Di_{A_2}-Di_{A_3}|+|Di_{A_2}-Di_{A_4}|　(4)

SAD_{A_3}=|Di_{A_3}-Di_{A_1}|+|Di_{A_3}-Di_{A_2}|+|Di_{A_3}-Di_{A_4}|　(5)

SAD_{A_4}=|Di_{A_4}-Di_{A_1}|+|Di_{A_4}-Di_{A_2}|+|Di_{A_4}-Di_{A_3}|　(6)

SAD=Min(SAD_{A_1},SAD_{A_2},SAD_{A_3},SAD_{A_4})　(7)

據此，經由前述步驟(a)-(e)的操作，本實施例之深度估測裝置1可有效地針對物件分區A_1找出對應之精煉深度值D_ref。基於相似之步驟，本實施例之深度估測裝置1亦可針對目標圖框資料F1中之其他物件分區A_2-A_n找出對應之精煉深度值D_ref，藉此完成針對目標圖框資料F1進行深度估測之操作。

本實施例之深度估測方法及其裝置係：將目標圖框資料F1劃分為多個物件分區，並經由物件比對操作，來針對各物件分區找出一筆初始深度值；針對各個物件分區決定同群資訊，其係將各物件分區對應至一個或多個同群物件分區；及根據各物件分區之初始深度值及同一同群物件分區之其他初始深度值，產生精煉深度值。據此，相較於傳統深度估測方法，本實施例之深度估測方法及裝置具有可經由物件比對操作來找出初始深度值及參考同群資訊來產生精煉深度值的優點。

第二實施例

本實施例之深度估測方法與第一實施例對應之方法不同之處在於其更包括對精煉深度值進行畫素為基礎之進一步處理。請參照第4圖，其繪示依照本發明第二實施例之深度估測方法的流程圖。舉例來說，本實施例之深度估測方法於步驟(e)之後，更包括步驟(f)及(g)。

於步驟(f)中，處理器10係參考精煉深度值D_ref，針對目標圖框資料F1進行以畫素為基礎之影像深度估測，以對應至目標圖框資料F1中之各筆畫素找出一筆畫素深度值D_pixel。之後如步驟(g)，處理器10係對目標圖框資料F1對應之畫素深度值D_pixel進行平滑化操作，以決定深度分佈資料D(t)。

請參照第5圖，其繪示依照本發明第二實施例之深度估測方法的部份流程圖。進一步的說，步驟(f)中更例如包括子步驟(f1)-(f3)。首先如步驟(f1)，處理器10以精煉深度值D_ref決定搜尋範圍R，並據以針對目標圖框資料F1中各些筆畫素計算多筆配對成本(Matching Cost)值C，其中各筆配對成本值分別對應至多個不同之視差值。

請參照第6圖，其繪示目標圖框資料F1及次視角目標圖框資料F2的示意圖。舉例來說，目標圖框資料F1中之畫素資料P(i,j)係對應至座標位置(i,j)，且其對應地具有精煉深度值D_ref(i,j)，其中目標圖框資料F1例如具有M×N之畫素陣列，而i及j為分別小於或等於M及N的自然數。次視角目標圖框資料F2中的畫素資料P'(i,j)亦對應至座標位置(i,j)，搜尋範圍R為以座標位置(i+d_ref(i,j),j)為中心，左右寬度為r的搜尋範圍。處理器10係將畫素資料P(i,j)與搜尋範圍R中之各2r-1筆畫素資料進行比對操作，以對應至2r-1筆視差值得到2r-1筆配對成本值C(d(i,j),-r+1)、C(d(i,j),-r+2)、...、C(d(i,j),0)、...、C(d(i,j),r-1)，其中處理器10找出各筆代價值的操作可以下列方程式(8)表示：

C(d(i,j),z)=|P(i,j)-P'(i+d-ref(i,j)+z,j)|,-r<z<r　(8)

舉例來說，寬度r係等於精煉深度值D_ref(i,j)，而處理器10係對應至畫素資料P(i,j)找出2r-1筆配對成本值C(d(i,j),-r+1)至C(d(i,j),r-1)。據此，基於相似之操作，處理器10可針對目標圖框資料F1中之各M×N筆畫素資料，找出2r-1筆配對成本值；舉例來說，此M×N×(2r-1)筆配對成本值可以第7圖之三維資料結構表示。

接著如步驟(f2)，處理器10應用濾波器，來針對配對成本值中對應至相同視差值的複數筆配對成本值進行濾波操作。舉例來說，以對應至配對成本值C(d(i,j),r-1)的M×N筆代價值C(d(1,1),r-1)-C(d(M,N),r-1)來說，處理器10係應用箱型濾波器(Box Filter)來對此M×N筆代價值C(d(1,1),r-1)-C(d(M,N),r-1)進行濾波操作。

之後如步驟(f3)，於此實施例中，處理器10應用動態規劃(Dynamic Programming)演算法，來針對目標圖框資料F1中之各筆畫素找出對應之畫素深度值D_pixel。舉例來說，動態規劃演算法針對第7圖所示之三維資料結構中對應至相同Y座標值的配對成本值平面上，找出一條對應至最小比對疊代值累加值的路徑，藉此針對各個X座標值找出一筆對應的視差值。以第8圖所示的例子來說，其例如為Y座標值等於1的配對成本值平面，而其中對應至X座標值X1-X5的視差值例如分別為d2、d3、d3、d2、d3及d1。

據此，經由前述步驟(a)-(g)的操作，本實施例之深度估測裝置1可有效地針對各筆畫素資料找出對應之視差值，並對應地決定其之畫素深度值D_pixel。

對於本實施例之深度估測方法來說，其中之步驟(f)及(g)之操作需要耗損處理器10極大的運算資源。據此，本實施例之深度估測方法更例如在步驟(e)及(f)之間提供判斷步驟，以在找出精煉深度值D_ref後，對應地判斷是否執行需佔用較高運算能力的步驟(f)及(g)。在一個例子中，此判斷步驟的判斷條件可為使用者提供之指令。

本實施例之深度估測方法及其裝置係用以：將目標圖框資料F1劃分為多個物件分區，並經由物件比對操作，來針對各物件分區找出一筆初始深度值；針對各個物件分區決定同群資訊，其係將各物件分區對應至一個或多個同群物件分區；根據各物件分區之初始深度值及同一同群物件分區內各物件區塊之初始深度值，產生精煉深度值；及以畫素為基礎對精煉深度值進行處理，以決定深度分布資料。據此，相較於傳統深度估測方法，本實施例之深度估測方法及裝置具有可經由物件比對操作來找出初始深度值及參考同群資訊來產生精煉深度值的優點。

第三實施例

本實施例之深度估測方法與第一及第二實施例對應之方法不同之處在於其係針對動態多視角影像資料來進行深度估測。

請參照第9圖，其繪示依照本發明第三實施例之動態估測方法的流程圖。本實施例之深度估測方法包括下列步驟。首先如步驟(A)，處理器10針對動態多視角影像資料MD進行解壓縮，以找出對應至時間t之目標圖框資料F1(t)及次視角目標圖框資料F2(t)，其中參數t為整數。舉例來說，處理器10在步驟(A)中更根據動態多視角影像資料MD解壓縮，得到目標圖框資料F1(t)的移動向量資訊I_mv；處理器10更針對移動向量資訊I_mv進行前處理操作，以進行雜訊濾除，並得到更理想的移動向量資訊I_mv。

接著如步驟(B)，處理器10將目標圖框資料F1(t)劃分為多物件分區A_1-A_n，並對應地產生物件分割資訊I_partition，其中物件分割資訊I_partition用以指示目標圖框資料F1(t)中之畫素資料與各物件分區A_1-A_n的對應關係。舉例來說，本實施例之步驟(B)之相關操作與第一實施例中之步驟(a)為實質上相同，於此不再對其進行贅述。

然後如步驟(C)，處理器10判斷目標圖框資料F1(t)為I類圖框還是P類/B類圖框。一般來說，當目標圖框資料F1(t)為I類圖框時，處理器10將解壓縮得到完整的影像內容。據此，當目標圖框資料F1(t)為I類圖框時，本實施例之動態估測方法係執行步驟(D)，處理器10參考物件分割資訊I_partition對目標圖框資料F1(t)進行深度估測，以找出目標圖框資料F1(t)對應之深度分佈資料D(t)。

請參照第10圖，其繪示依照本發明第三實施例之深度估測方法的部份流程圖。舉例來說，動態估測方法的步驟(D)例如包括子步驟(D1)-(D5)，其中步驟(D1)更包括子步驟(D11)、(D12)，而步驟(D4)更包括子步驟(D41)-(D43)。在一個例子中，子步驟(D11)、(D12)、(D2)、(D3)、(D4)及(D5)係分別執行與第二實施例中之步驟(b)、(c)、(d)、(e)、(f)及(g)實質上相同的操作；步驟(D41)-(D43)係分別執行與第二實施例中之步驟(f1)-(f3)實質上相同的操作。

換言之，在判斷目標圖框資料F1(t)為具有完整的影像內容的I圖框時，處理器10係執行與第二實施例之深度估測方法中之流程步驟(b)-(g)實質上相同的步驟，來針對各筆畫素資料找出對應之視差值，並對應地決定其之畫素深度值D_pixel。且如第二實施例之步驟(e)、(g)，於此實施例中，步驟(D4)、(D5)亦可經判斷後再執行。

在步驟(C)之中，當目標圖框資料F1(t)為P類/B類圖框時，本實施例之動態估測方法係執行步驟(E)，處理器10參考該目標圖框資料F1(t)對應之移動向量資訊I_mv及前一筆目標圖框資料F1(t-1)的深度分佈資料D(t-1)，來找出目標圖框資料F1(t)對應之深度分佈資料D(t)。

請參照第11圖，其繪示依照本發明第三實施例之深度估測方法的部份流程圖。步驟(E)例如包括子步驟(E1)-(E5)。首先如步驟(E1)，處理器10參考物件分割資訊I_partition，於目標圖框資料F1(t)找出第i個物件分區A_i，其中物件分區A_i對應至多個目前物件巨集區塊(Macroblock)，其中i為自然數，而i之起始值為1。請參照第12圖，其繪示目標圖框資料F1(t)及前一筆目標圖框資料F1(t-1)的示意圖。舉例來說，物件分區A_i例如對應地包括巨集區塊BK1-BK6。

接著如步驟(E2)，處理器10參考移動向量資訊I_MV，找出目前物件巨集區塊對應之移動向量，其中此些移動向量將目前物件巨集區塊分別對應至前一筆目標圖框資料F1(t-1)中之多個移動對應巨集區塊。以第12圖的例子來說，物件分區A_i中之巨集區塊BK1-BK6分別對應至移動向量MV1-MV6，而移動向量MV1-MV6分別指向前一筆目標圖框資料F1(t-1)中之移動對應巨集區塊BKM1-BKM6。

然後如步驟(E3)，處理器10參考各個移動向量，找出與各移動對應巨集區塊對應之先前深度值。以第12圖的例子來說，處理器10例如於前一次之深度估測操作中完成針對前一筆目標圖框資料F1(t-1)的深度估測操作，而移動對應巨集區塊BKM1-BKM6例如分別對應之先前深度值D_M1-D_M6。

接著如步驟(E4)，處理器10根據與目標物件巨集區塊對應之多筆該先前深度值，找出物件分區A_i之深度值。以第12圖的例子來說，處理器10例如對先前深度值D_M1-D_M6求平均值，並以此平均值做為物件分區A_i的深度值。

之後如步驟(E5)，處理器10係將該參數i遞增1，並重複步驟(E1)-(E4)，來針對目標圖框資料F1(t)中所有之物件分區進行相關之深度估測操作。

本實施例之深度估測方法及其裝置係用以針對動態多視角影像資料進行深度估測，其中本實施例之深度估測方法及裝置係對動態多視角影像資料進行解壓縮，以找出目標圖框資料F1(t)。本實施例之深度估測方法及裝置更判斷目標圖框資料F1(t)為I類圖框還是P類/B類圖框；當目標圖框資料F1(t)為I類圖框時，其係參考物件分割資訊對目標圖框資料F1(t)進行深度估測，以找出目標圖框資料F1(t)對應之深度分佈資料D(t)。當目標圖框資料F1(t)為P類/B類圖框時，其係參考目標圖框資料F1(t)對應之移動向量資訊及前一筆目標圖框資料F1(t-1)的深度分佈資料D(t-1)，來找出目標圖框資料F1(t)對應之深度分佈資料D(t)。據此，相較於傳統深度估測方法，本實施例之深度估測方法及裝置具有可參考解壓縮得到之移動向量資訊來針對動態多視角影像資料進行深度估測的優點。

綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

1．．．深度估測裝置

10．．．處理器

20．．．記憶體

30．．．匯流排路徑

F1、F1(t)．．．目標圖框資料

F2．．．次視角目標圖框資料

A_1-A_9．．．物件分區

P(i,j)、P'(i,j)．．．畫素資料

BK1-BK6．．．巨集區塊

BKM1-BKM6．．．移動對應巨集區塊

第1圖繪示依照本發明實施例之深度估測裝置的方塊圖。

第2圖繪示依照本發明第一實施例之深度估測方法的流程圖。

第3圖繪示目標圖框資料F1的示意圖。

第4圖繪示依照本發明第二實施例之深度估測方法的流程圖。

第5圖繪示依照本發明第二實施例之深度估測方法的部份流程圖。

第6圖繪示目標圖框資料F1及次視角目標圖框資料F2的示意圖。

第7圖繪示乃配對成本值之三維資料結構的示意圖。

第8圖繪示乃動態規劃演算法的示意圖。

第9圖繪示依照本發明第三實施例之動態估測方法的流程圖。

第10圖繪示依照本發明第三實施例之深度估測方法的部份流程圖。

第11圖繪示依照本發明第三實施例之深度估測方法的部份流程圖。

第12圖繪示目標圖框資料F1(t)及前一筆目標圖框資料F1(t-1)的示意圖。

(A)-(E)．．．流程步驟

Claims (17)

1. 一種深度估測方法，用以針對一動態多視角影像資料進行深度估測，該深度估測方法包括：(a)　對該動態多視角影像資料進行解壓縮，以找出一目標圖框資料；(b)　將該目標圖框資料劃分為複數個物件分區，並對應地產生一物件分割資訊；(c)　判斷該目標圖框資料為一I類圖框或為一P類/B類圖框；(d)　當該目標圖框資料為該I類圖框時，參考該物件分割資訊對該目標圖框資料進行深度估測，以找出該目標圖框資料對應之一深度分佈資料；以及(e)　當該目標圖框資料為該P類/B類圖框時，參考該目標圖框資料對應之一移動向量資訊及前一筆該目標圖框資料的深度分佈資料，來找出該目標圖框資料之該深度分佈資料。
2. 如申請專利範圍第1項所述之深度估測方法，其中步驟(e)更包括：(e1)　參考該物件分割資訊，於該目標圖框資料區分出複數個物件分區，其中該些物件分區對應至複數個目前物件巨集區塊(Macroblock)；(e2)　參考該移動向量資訊，找出該些目前物件巨集區塊對應之複數個移動向量，其中該些移動向量用以將該些目前物件巨集區塊分別對應至前一筆該目標圖框資料中之複數個移動對應巨集區塊；(e3)　參考各該些移動向量，找出複數筆先前深度值，該複數筆先前深度值係與各該些移動對應巨集區塊相對應；(e4)　根據與該些目標物件巨集區塊對應之複數筆該先前深度值，找出該複數個物件分區之深度值。
3. 如申請專利範圍第1項所述之深度估測方法，其中步驟(b)係參考該目標圖框資料中各筆畫素的顏色資訊，來產生該物件分割資訊。
4. 如申請專利範圍第1項所述之深度估測方法，其中步驟(d)更包括：(d1)　針對該目標圖框資料進行以物件分區為基礎之影像深度估測，以針對該目標圖框資料中之各該些物件分區估計得到一初始深度值；(d2)　針對各該些物件分區決定一同群資訊，該同群資訊用以將各該些物件分區對應至複數同群物件分區；及(d3)　針對同一同群物件分區內之各該些物件分區之各該初始深度值，對同一同群物件分區內之各該初始深度值進行調整，以對各物件分區產生一精煉深度值。
5. 如申請專利範圍第4項所述之深度估測方法，其中於步驟(a)中，更經由對該動態多視角影像資料進行解壓縮以找出一次視角目標圖框資料，其中步驟(d1)更包括：(d11)　針對各該些物件分區於該次視角目標圖框資料中進行物件比對，以利用比對成功之物件分區找出一視差值，並據以決定該初始深度值；及(d12)　針對該些物件分區中比對失敗之物件分區，參考與比對失敗之物件分區相鄰之複數個相鄰物件分區的初始深度值，來決定比對失敗之物件分區的該初始深度值。
6. 如申請專利範圍第4項或第5項所述之深度估測方法，其中於步驟(d3)之後更包括：(d4)　參考該精煉深度值，針對該目標圖框資料及該次視角目標圖框資料進行以畫素為基礎之影像深度估測，以對該目標圖框資料中之各筆畫素找出與其相對應之畫素深度值；及(d5)　對該目標圖框資料之各筆畫素相對應之該些畫素深度值進行平滑化操作，以決定該深度分佈資料。
7. 如申請專利範圍第6項所述之深度估測方法，其中步驟(d4)之操作更包括：(d41)　以該精煉深度值決定一搜尋範圍，並據以針對該目標圖框資料中各該些筆畫素計算複數筆配對成本(Matching Cost)值，其中該些配對成本值係與複數視差值具有對應關係；(d42)　應用濾波器，來針對該些配對成本值中對應至相同視差值的配對成本值進行濾波操作；及(d43)　利用經濾波器處理後之配對成本值得出與各該些筆畫素對應之該畫素深度值。
8. 一種深度估測裝置，用以執行依照申請專利範圍第1-7項其中之一的深度估測方法。
9. 一種深度估測方法，用以針對一多視角輸入影像資料進行深度估測，該多視角輸入影像資料包括一目標圖框資料及一次視角目標圖框資料，該深度估測方法包括：(a)　將該目標圖框資料劃分為複數個物件分區；(b)　針對各該些物件分區於該次視角目標圖框資料中進行物件比對，以於該次視角目標圖框資料中比對出相對應之各物件分區，並據以對比對成功之各物件分區產生各自之一初始深度值；(c)　針對該些物件分區中比對失敗之物件分區，參考與其相鄰之比對成功之各物件分區的初始深度值，決定比對失敗之各物件分區的該初始深度值；(d)　針對各該些物件分區決定一同群資訊，該同群資訊用以將各該些物件分區對應至複數同群物件分區；以及(e)　針對同一同群物件分區內之各該些物件分區之各該初始深度值，對同一同群物件分區內之各該初始深度值進行調整，以對各物件分區產生一精煉深度值。
10. 如申請專利範圍第9項所述之深度估測方法，其中於步驟(e)之後更包括：(f)　參考該精煉深度值，針對該目標圖框資料及該次視角目標圖框資料進行以畫素為基礎之影像深度估測，以對該目標圖框資料中之各筆畫素找出一畫素深度值；及(g)　對該目標圖框資料對應之該些畫素深度值進行平滑化操作，以決定該目標圖框資料之一深度分佈資料。
11. 如申請專利範圍第10項所述之深度估測方法，其中步驟(f)之操作更包括：(f1)　以該精煉深度值決定於次視角目標圖框資料之一搜尋範圍，並據以針對該目標圖框資料中各該些筆畫素計算複數筆配對成本(Matching Cost)值，其中該些配對成本值係與複數個視差值具有對應關係；(f2)　應用濾波器，來針對該些配對成本值中對應至相同視差值的配對成本值進行濾波操作；及(f3)　利用經濾波器處理後之配對成本值得出與各該些筆畫素對應之該畫素深度值。
12. 如申請專利範圍第9項所述之深度估測方法，其中步驟(g)之操作更包括：參考該些物件分區資訊來對該目標圖框資料對應之該些畫素深度值進行平滑化操作，以決定該目標圖框資料之一深度分佈資料。
13. 如申請專利範圍第9項所述之深度估測方法，其中步驟(a)係參考該目標圖框資料中各筆畫素的顏色資訊，來產生該些物件分區。
14. 如申請專利範圍第9項所述之深度估測方法，其中於步驟(b)中更包括：針對各該些物件分區於該次視角目標圖框資料中進行物件比對，以對比對成功之各物件分區找出一視差值，並據以決定比對成功之各物件分區的該初始深度值。
15. 如申請專利範圍第9項所述之深度估測方法，其中於步驟(c)中更包括：針對該些物件分區中比對失敗之物件分區，參考與比對失敗之物件分區相鄰之複數個相鄰物件分區的初始深度值，決定比對失敗之各物件分區的該初始深度值。
16. 如申請專利範圍第9項所述之深度估測方法，其中於步驟(d)中更包括：參考各該些物件分區之色彩、亮度、紋理、邊緣資訊其中之一或全部，來決定該同群資訊。
17. 一種深度估測裝置，用以執行依照申請專利範圍第9-16項其中之一的深度估測方法。