TWI595771B

TWI595771B - 影像深度資訊的優化方法與影像處理裝置

Info

Publication number: TWI595771B
Application number: TW105133841A
Authority: TW
Inventors: 洪碩澤; 李運錦; 張文彥
Original assignee: 聚晶半導體股份有限公司
Priority date: 2016-10-20
Filing date: 2016-10-20
Publication date: 2017-08-11
Also published as: TW201817225A; US20180115763A1; US10165248B2

Description

影像深度資訊的優化方法與影像處理裝置

本發明是有關於一種處理影像的方法及裝置，且特別是有關於一種優化深度資訊的方法與裝置。

隨著影像處理技術的蓬勃發展，立體視覺技術（Stereo Vision）以逐漸且廣泛地應用於各種領域。立體視覺廣義來說可包括兩個階段，前期階段包括利用深度攝影機、立體攝影機或是利用相關之三維立體影像演算法等方式來產生深度資訊，而後其階段為利用深度資訊來產生不同視角的影像。由此可知，為了產生視覺體驗較佳的立體影像，準確的深度資訊是非常重要的。

然而，雖然現今的技術可對深度圖進行初步的平滑處理來改善深度圖的準確度，但受限於有限的可參考資訊與演算法複雜度不足，單純利用相鄰區塊對深度資訊進行調整會有較大的誤差。尤其是，在大區域的無紋理區域能夠參考的深度值資訊差異性過大，可能導致背景區域與物體區域的深度值區分不出來。此外，在背景前景類似的情況中，物體區域的深度值會因為鄰近背景的深度渲染所影響，產生準確度不佳的深度圖。也就是說，不同的深度資訊產生演算法會具備不同的精確度與計算量。因此，如何在可允許的計算量與複雜度下產生精確的深度資訊，並提高根據此深度資訊所產生之三維影像之品質，實乃本領域技術人員所努力的方向之一。

有鑑於此，本發明提供一種影像深度資訊的優化方法與影像處理裝置，可改善影像深度資訊因為無紋理區域的特性而產生錯誤偏差的現象，從而提高深度資訊的精準度。

本發明提供一種影像深度資訊的優化方法，適用於一影像處理裝置，所述方法包括下列步驟。首先，獲取基於一左影像與一右影像而產生的一待修復深度圖。此待修復深度圖紀錄多個第一有效深度值，且對應至多個無效深度值的多個破洞分佈於此待修復深度圖上。將左影像與右影像其中之一進行超像素切割處理，而獲取左影像與右影像其中之一的多個超像素（superpixels）。依據這些超像素內的像素資訊，聚集這些超像素而獲取多個影像分割（image segments）。對待修復深度圖內的破洞進行一破洞填補處理，而獲取包括多個第二有效深度值的一已補洞深度圖。接著，利用這些影像分割所劃分之範圍、這些超像素所劃分之範圍、待修復深度圖以及已補洞深度圖，對待修復深度圖的第一有效深度值以及已補洞深度圖的第二有效深度值進行統計分析而獲取多個優化深度值。最後，依據這些優化深度值獲取一優化深度圖。

從另一觀點來看，本發明提供一種影像處理裝置，其包括紀錄多個模組的儲存單元，以及一或多個處理單元。上述處理單元耦接儲存單元，存取並執行儲存單元中記錄的所述模組，而所述模組包括待修復深度圖獲取模組、超像素切割模組、影像分割模組、補洞模組、深度優化模組，以及深度圖產生模組。待修復深度圖獲取模組獲取基於一左影像與一右影像而產生的一待修復深度圖。此待修復深度圖紀錄多個第一有效深度值，且對應至多個無效深度值的多個破洞分佈於此待修復深度圖上。超像素切割模組將左影像與右影像其中之一進行一超像素切割處理，而獲取左影像與右影像其中之一的多個超像素。影像分割模組依據這些超像素內的像素資訊，聚集這些超像素而獲取多個影像分割。補洞模組對待修復深度圖內的破洞進行一破洞填補處理，而獲取包括多個第二有效深度值的已補洞深度圖。深度優化模組利用影像分割所劃分之範圍、超像素所劃分之範圍、待修復深度圖以及已補洞深度圖，對待修復深度圖的第一有效深度值以及已補洞深度圖的第二有效深度值進行統計分析而獲取多個優化深度值。深度圖產生模組依據這些優化深度值獲取一優化深度圖。

基於上述，在本發明的實施例中，先依據左影像與右影像其中之一進行超像素分割而獲取多個超像素，並依據各個超像素內的像素資訊而聚合彼此鄰近的超像素而獲取多個影像分割。基於這些影像分割所劃分之範圍，本發明可將待修復深度圖劃分為多個待修復分割區塊。基於這些影像分割所劃分之範圍以及這些超像素所劃分的範圍，本發明可將已補洞深度圖分別劃分為多個已補洞分割區塊與多個超像素區塊。如此，本發明可依據待修復分割區塊內之深度資訊的統計資訊來識別出深度值不可靠的不可靠區域。此外，藉由使用待修復分割區塊內之深度資訊的統計資訊、已補洞分割區塊內之深度資訊的統計資訊，以及超像素區塊內之深度資訊的統計資訊，本發明可針對不可靠區域產生優化深度值。基此，本發明可將這些優化深度值填入不可靠區域內的破洞而產生優化深度圖，從而提昇深度資訊的準確度。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。

圖1是依照本發明一實施例所繪示之影像處理裝置的方塊圖。請參照圖1，本實施例的影像處理裝置10為具有影像處理能力的計算機裝置，例如是數位相機、行動電話、平板電腦、桌上型電腦、筆記型電腦或包含立體成像系統（未繪示）的立體像機，在此不設限。也就是說，影像處理裝置10可以是包括立體成像系統的影像擷取裝置。另外，影像處理裝置10也可以是與具有立體成像系統的影像擷取裝置相互耦接的其他電子裝置，本發明對此不設限。影像處理裝置10包括儲存單元14以及一個或多個處理單元（本實施例僅以處理單元16為例做說明，但不限於此），其功能分述如下。

儲存單元14例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash Memory）、硬碟或其他類似裝置或這些裝置的組合，用以儲存資料與多個模組。上述模組包括深度估測模組142、區塊分佈圖獲取模組144、無效深度移除模組146以及補洞模組148，這些模組例如是電腦程式，其可載入處理單元16，從而執行產生深度資訊的功能。換言之，處理單元16耦接儲存單元14並用以執行這些模組，從而控制影像處理裝置10執行產生與優化深度資訊的功能。處理單元16可以例如是中央處理單元（Central Processing Unit，CPU）、微處理器（Microprocessor）、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他具備運算能力的硬體裝置。

圖2是依照本發明一實施例所繪示之影像深度資訊的優化方法的流程圖。圖2的方法適用於圖1的影像處理裝置10，以下即搭配影像處理裝置10中的各項元件說明本實施例之產生深度資訊的方法的詳細步驟。請同時參照圖1以及圖2。

須先說明的是，於一實施例中，立體成像系統可包括兩個影像感測模組，此兩個影像感測模組依照其鏡頭設置位置可區分為左影像感測模組與右影像感測模組。基此，左影像感測模組與右影像感測模組可同時針對同一場景拍攝不同角度的影像（左影像與右影像）。藉由計算左影像上的像素與右影像上的像素之間的像差，多個深度值可依據上述像差、鏡頭焦距、以及左影像感測模組與右影像感測模組之間的距離而被估測出來。如此，對應至多個像素座標的多個深度值將構成一原始深度圖。

於步驟S201，待修復深度圖獲取模組141獲取基於左影像與右影像而產生的待修復深度圖。於此，待修復深度圖紀錄多個第一有效深度值，且對應至多個無效深度值的多個破洞分佈於待修復深度圖上。詳細來說，基於各種判斷機制，原始深度圖上的這些深度值可被識別為第一有效深度值或無效深度值。舉例而言，藉由分析各深度值與各深度值周圍的深度資訊，待修復深度圖獲取模組141可決定各個深度值是否為無效深度值。然而，本發明對於上述用以識別無效深度值的方法並不限制。之後，藉由移除初始深度圖上的無效深度值，具有多個破洞的待修復深度圖將據以產生。

於步驟S202，超像素切割模組142將左影像與右影像其中之一進行超像素切割處理，而獲取左影像與右影像其中之一的多個超像素。進一步來說，左影像包括多個左像素，而右影像包括多個右像素。超像素切割模組142可選擇對左影像或右影像進行超像素切割處理，本發明對此不限制。以下將以對左影像進行超像素切割處理為例進行說明。超像素切割模組142可根據左影像的色彩表現、幾何特性以及預設的超像素數量來進行超像素切割處理。換言之，超像素切割模組142可依據各左像素的像素值與像素位置而將左像素區分為多個超像素，即每一超像素為複數個左像素的集合。

在一實施例中，每一超像素具有超過一個左像素。在一實施例中，在同一超像素中的像素具有大致相同的顏色，且在同一超像素中的左像素彼此相鄰。舉例而言，超像素切割模組142可計算左像素的紅、綠、藍（RGB）色度分量，以獲取左像素於不同色度通道上的像素值。相似的，超像素切割模組142也可計算左像素的亮度（Y）及色度分量（Cb、Cr），以獲取左像素於亮度通道或色度通道上的像素值。超像素切割模組142可透過比對相互相鄰的左像素的像素值而產生像素值差，並依據兩相鄰左像素之間的像素值差而決定是否連結兩相鄰左像素。倘若兩相鄰左像素之間的像素值差小於差異門檻值，將被劃分至同一超像素。

舉例而言，圖3A為依照本發明一實施例所繪示的超像素的範例示意圖。請參照圖3A，假設左影像Img_L包括像素P1～P25。於本範例中，像素P1～P12因為像素值類似而被劃分為超像素S_11，而像素P3～P25因為像素值類似而被劃分為超像素S_12。如圖3A所示，由於像素P1與像素P2之間的像素值差小於差異門檻值，因此超像素切割模組142將連結像素P1與像素P2。相似的，由於像素P9與像素P13之間的像素值差不小於差異門檻值，因此超像素切割模組142將不連結像素P9與像素P13。然而，本發明對於超像素切割處理的實際切割方式並不加以限制，本領域具備通常知識者可依據實際需求而決定之。

接著，於步驟S203，影像分割模組143依據超像素內的像素資訊，聚集超像素而獲取多個影像分割。換言之，上述的各影像分割為複數個超像素的集合。詳細來說，藉由比對兩相鄰超像素之間的像素資訊，影像分割模組143可決定是否將兩相鄰超像素連結而產生影像分割。於一實施例中，根據各個超像素的邊緣特性或直方圖資訊，影像分割模組143可合併相鄰的超像素而獲取更大範圍的影像分割。

於一實施例中，影像分割模組143可統計超像素各自的直方圖資訊。上述的直方圖資訊係藉由統計一超像素內之各個像素的像素值資訊而產生，例如是HSV長條圖（HSV Histogram）或對應至各顏色通道的統計色度長條圖，本發明對此並不限制。接著，影像分割模組143依據超像素各自的直方圖資訊，合併相鄰的超像素而形成影像分割。詳細來說，影像分割模組143可判斷兩相鄰的超像素的兩直方圖資訊是否相似而決定是否將兩相鄰的超像素劃分為同一影像分割。

於一實施例中，影像分割模組143可對超像素進行邊緣偵測，而獲取超像素各自的邊緣特性。換言之，藉由對各像素進行邊緣偵測，影像分割模組143可識別出各個超像素內的影像邊緣。接著，影像分割模組143可依據超像素各自的邊緣特性，合併相鄰的超像素而形成影像分割。進一步來說，影像分割模組143可判斷兩相鄰超像素的影像邊緣是否彼此相連而決定是否將兩相鄰超像素劃分為同一影像分割。

圖3B為依照本發明一實施例所繪示的超像素與影像分割的範例示意圖。請參照圖3B，假設左影像Img_L包括超像素S1～S6。於本範例中，各自包括多個像素的超像素S1、S3、S5基於各自的像素資訊而被劃分為影像分割D1，而各自包括多個像素的超像素S2、S4、S6基於各自的像素資訊而被劃分為影像分割D2。如圖3B所示，由於超像素S1的直方圖資訊與超像素S3的直方圖資訊相似，因此超像素切割模組142將連結超像素S1與超像素S3。相似的，由於超像素S1的直方圖資訊與超像素S2的直方圖資訊不相似，因此超像素切割模組142將不連結超像素S1與超像素S2。

接著，於步驟S204，補洞模組144對待修復深度圖內的破洞進行一破洞填補處理，而獲取包括多個第二有效深度值的已補洞深度圖。詳言之，補洞模組144可依據各破洞周圍的深度資訊來產生用以填補至各破洞的補洞深度值，因此已補洞深度圖紀錄有分別對應至左像素的第二有效深度值。於此，已補洞深度圖上分別對應至所有左像素的深度值稱之為第二有效深度值。

於一實施例，補洞模組144利用一預設遮罩而獲取待修復深度圖上鄰近各破洞的第一有效深度值。之後，補洞模組144依據鄰近各破洞的第一有效深度值計算對應至破洞的多個補洞深度值，並將對應至各破洞的補洞深度值填補至待修復深度圖而獲取紀錄有多個第二有效深度值的已補洞深度圖。

於步驟S205，深度優化模組145利用影像分割所劃分之範圍、超像素所劃分之範圍、待修復深度圖以及已補洞深度圖，對待修復深度圖的第一有效深度值以及已補洞深度圖的第二有效深度值進行統計分析而獲取多個優化深度值。也就是說，依據對待修復深度圖的第一有效深度值以及已補洞深度圖的第二有效深度值進行統計分析而獲取的統計資訊，深度優化模組145可針對待修復深度圖上的所有破洞或部份破洞產生對應的優化深度值。值得一提的是，這些影像分割所劃分的範圍可將待修復深度圖或已補洞深度圖分別分割為多個分割區塊。於此，待修復深度圖上的這些分割區塊稱之為待修復度區塊，而已補洞上的這些分割區塊稱之為已補洞分割區塊，待修復度區塊基於區塊位置而一對一對應至已補洞分割區塊。此外，這些超像素所劃分的範圍可將已補洞深度圖分別分割為多個超像素區塊。於是，深度優化模組145可對對於一特定範圍內的第一有效深度值或第二有深度值進行統計與分析，並據以獲取對應至不同像素位置的優化深度值。最後，於步驟S206，深度圖產生模組146依據優化深度值獲取一優化深度圖。

為了進一步清楚說明本發明，圖4為依照本發明一實施例所繪示之影像深度資訊的優化方法的運作示意圖。參照圖4，深度估測模組147接收立體成像系統所拍攝的左影像Img_L以及右影像Img_R。深度估測模組147對左影像Img_L以及右影像Img_R進行三維深度估測而獲取原始深度圖dm_1。接著，待修復深度圖獲取模組141判斷原始深度圖dm_1上的各個原始深度值是否為無效深度值，並將無效深度值從原始深度圖dm_1上移除而獲取待修復深度圖dm_2。待修復深度圖dm_2紀錄多個第一有效深度值，且對應至多個無效深度值的多個破洞分佈於待修復深度圖dm_2上。

補洞模組144分別對待修復深度圖dm_2中的破洞產生多個補洞深度值，並將補洞深度值填補至待修復深度圖dm_2而產生已補洞深度圖dm_3。因此，已補洞深度圖dm_3紀錄有多個第二有效深度值。另一方面，超像素分割模組142對左影像Img_L進行超像素分割處理而獲取包括多個超像素的超像素圖SP_1。依據超像素圖SP_1上各個超像素內的像素資訊，影像分割模組143可將這些超像素聚合成多個影像分割而獲取影像分割圖SP_2。關於超像素分割處理與聚合超像素的詳細內容已經於前述實施例詳細說明，於此不再贅述。

之後，透過利用影像分割圖SP_2上的影像分割、超像素圖SP_1上的超像素、待修復深度圖dm_2，以及已補洞深度圖dm_3，深度優化模組145可對待修復深度圖dm_2的第一有效深度值以及已補洞深度圖dm_3的第二有效深度值進行區域性的統計分析而獲取多個優化深度值d_opm。

於一實施例中，深度優化模組145可依據影像分割所劃分的範圍可將待修復深度圖dm_2或已補洞深度圖dm_3分別分割為多個分割區塊。於此，待修復深度圖dm_2上的這些分割區塊稱之為待修復度區塊，而已補洞深度圖dm_3上的這些分割區塊稱之為已補洞分割區塊。如此，深度優化模組145可對待修復深度圖dm_2上每一待修復分割區塊內的第一有效深度值進行統計分析而獲取第一統計資訊。上述的第一統計資訊可包括待修復深度圖上每一分割區塊內之第一有效深度值的統計平均值、統計標準差，以及統計眾數等等，本發明對此並不限制。

相似的，深度優化模組145可對已補洞深度圖dm_3上每一已補洞分割區塊內的第二有效深度值進行統計分析而獲取第二統計資訊。上述的第二統計資訊可包括已補洞深度圖dm_3上每一已補洞分割區塊內之第二有效深度值的統計平均值、統計標準差，以及統計眾數等，本發明對此並不限制。此外，這些超像素所劃分的範圍可將已補洞深度圖dm_3分別分割為多個超像素區塊。如此，深度優化模組145可對已補洞深度圖dm_3上每一超像素區塊內的第二有效深度值進行統計分析而獲取第三統計資訊。上述的第三統計資訊可包括已補洞深度圖上每一超像素區塊內之第二有效深度值的統計平均值、統計標準差、統計眾數等，本發明對此並不限制。接著，深度優化模組145可依據上述的第一統計資訊、第二統計資訊，以及第三統計資訊來獲取優化深度值d_opm。

之後，深度圖產生模組146可依據優化深度值d_opm獲取優化深度圖dm_4。於本實施例中，深度圖產生模組146可將優化深度值d_opm填補至待修復深度圖dm_2上的破洞而獲取優化深度圖dm_4。於另一實施例中，深度圖產生模組146可將優化深度值d_opm取代已補洞深度圖dm_3上的第二有效深度值而獲取優化深度圖dm_4。

圖5A與圖5B為依照本發明一實施例所繪示的產生優化深度值的流程圖。關於如何獲取待修復深度圖dm_2、已補洞深度圖dm_2、超像素圖SP_1，以及影像分割圖SP_2的詳細內容已於前述實施例說明，於此不在贅述。以下將舉一實施例，以詳細說明深度優化模組145如何依據待修復分割區塊內第一有效深度值的第一統計資訊、已補洞分割區塊內第二有效深度值的第二統計資訊與超像素區塊內第二有效深度值的第三統計資訊來產生優化深度值。請同時參照圖4、圖5A與圖5B。

首先，於步驟S501，深度優化模組145利用影像分割所劃分之範圍將待修復深度圖dm_2分成多個待修復分割區塊。換言之，基於影像分割圖SP_2上各影像分割所劃分的範圍，待修復深度圖dm_2可被區分成多個待修復分割區塊。各待修復分割區塊包括多個第一有效深度值與對應至無效深度值的破洞。舉例而言，圖6為依照本發明一實施例所繪示的產生優化深度值的範例示意圖。請參照圖6，待修復深度圖dm_2紀錄有多個第一有效深度值（例如：第一有效深度值dp_1），且多個破洞（例如：破洞h1）分佈於待修復深度圖dm_2上。待修復深度圖dm_2基於影像分割圖SP_2的影像分割D3與影像分割D4而劃分成對應的待修復分割區塊b1與待修復分割區塊b2。

於步驟S502，依據待修復分割區塊的尺寸以及待修復分割區塊內之第一有效深度值的數量與無效深度值的數量，深度優化模組145判斷待修復分割區塊是否為一需優化區塊。基此，依據待修復分割區塊是否為需優化區塊，深度優化模組145可決定是否對待修復分割區塊內的破洞產生優化深度值。

具體來說，若待修復分割區塊內無效深度值的數量太多，基於鄰近資訊來獲取補洞深度值的方式可能因為可參考資訊不足而產生偏差。因此，深度優化模組145可基於無效深度值的數量來判定待修復分割區塊是否為不可靠區域。或者，若待修復分割區塊的尺寸過大，代表待修復分割區塊對應至左影像中紋理資訊不足的部份（例如：一面白牆），則基於鄰近資訊來獲取補洞深度值的方式可能因為偏差計算的渲染而失真。因此，因深度優化模組145可基於待修復分割區塊的尺寸來判定待修復分割區塊是否為不可靠區域。舉例而言，請參照圖6，深度優化模組145可依據待修復分割區塊b1的尺寸以及待修復分割區塊b1內之第一有效深度值的數量與無效深度值的數量判斷待修復分割區塊b1是否為需優化區塊。

於一實施例中，若待修復分割區塊的尺寸大於區塊臨界值且待修復分割區塊內的無效深度值的數量大於第一有效深度值的數量與一權重因子的乘積，深度值優化模組145判定待修復分割區塊為不可靠區域。其中，待修復分割區塊的尺寸可定義為待修復分割區塊的像素數量，區塊臨界值與權重因子可視實際需求而設計，本發明對此並不限制。

若待修復分割區塊其中之一為需優化區塊（步驟S502判斷為是），於步驟S503，深度優化模組145決定對待修復分割區塊其中之一內的破洞產生優化深度值。於圖6的範例中，假設待修復分割區塊b2的尺寸大於區塊臨界值，且待修復分割區塊b2內的無效深度值的數量大於第一有效深度值的數量與權重因子的乘積，則深度值優化模組145判定待修復分割區塊b2為不可靠區域。並且，深度優化模組145決定對待修復分割區塊b2內的破洞產生優化深度值。

於步驟S504，深度優化模組145利用影像分割所劃分之範圍將已補洞深度圖dm_3分成多個已補洞分割區塊。換言之，基於影像分割圖SP_2上各影像分割所劃分的範圍，已補洞深度圖dm_3可被區分成多個已補洞分割區塊。各已補洞分割區塊包括多個第二有效深度值。舉例而言，請參照圖6，已補洞深度圖dm_3紀錄有多個第二有效深度值（例如：第二有效深度值dp_2）。已補洞深度圖dm_3基於影像分割圖SP_2的影像分割D3與影像分割D4而劃分成對應的已補洞分割區塊b3與已補洞分割區塊b4。須特別說明的是，基於利用相同影像分割圖SP_1進行分割，待修復分割區塊b1對應至已補洞分割區塊b3，且待修復分割區塊b2對應至已補洞分割區塊b4。

於步驟S505，依據已補洞分割區塊其中之一內的第二有效深度值的一統計值，深度優化模組145決定已補洞深度圖dm_3的已補洞分割區塊其中之一內的第二有效深度值是否需檢驗。上述的統計值例如是已補洞分割區塊其中之一內的第二有效深度值的統計偏差或統計變異數。具體而言，被判定為需優化區塊的待修復深度區塊所對應的已補洞分割區塊的統計資訊可用來判別第二有效深度值是否需檢驗。進一步來說，若已補洞分割區塊的第二有效深度值的統計偏差或統計變異數太大，代表此已補洞分割區塊內可能存在前景深度與背景深度摻雜的現象。換言之，若已補洞分割區塊的第二有效深度值的統計偏差或統計變異數太大，代表應該是屬於同一平面深度的已補洞分割區塊內存在不準確的第二有效深度值。因此，若已補洞分割區塊的第二有效深度值的統計偏差或統計變異數太大，代表已補洞分割區塊內的第二有效深度值的準確度是需要被檢驗的。基於已補洞分割區塊其中之一內的第二有效深度值是否需檢驗，深度優化模組145決定是否利用已補洞分割區塊其中之一內的第二有效深度值產生優化深度值。

舉例而言，於圖6的範例中，假設待修復深度區塊b2為需優化區塊且待修復深度區塊b2對應至已補洞分割區塊b4，深度優化模組145將會對已補洞分割區塊b4內的第二有效深度值進行統計運算，而獲取已補洞分割區塊b4內的第二有效深度值統計偏差或統計變異數。於一實施例中，若已補洞分割區塊b4內的第二有效深度值的統計偏差或統計變異數大於臨界值，則已補洞分割區塊b4內的第二有效深度值需檢驗，因此已補洞分割區塊b4內的第二有效深度值可能不適合用以產生優化深度值。相反的，若已補洞分割區塊b4內的第二有效深度值的統計偏差或統計變異數不大於臨界值，則已補洞分割區塊b4內的第二有效深度值並非需檢驗的，因此已補洞分割區塊b4內的第二有效深度值可用以產生優化深度值。

若已補洞分割區塊其中之一內之第二有效深度值需檢驗（步驟S505判斷為是），依據待修復分割區塊其中之一內之第一有效深度值的第一統計資訊以及已補洞分割區塊其中之一內之第二有效深度值的第二統計資訊，深度值優化模組145決定使用第一統計資訊或第二統計資訊來獲取優化深度值。舉例而言，於圖6的範例中，深度值優化模組145可對待修復分割區塊b2內的第一有效深度值進行統計運算，而獲取待修復分割區塊b2內的第一有效深度值的第一統計資訊，例如是待修復分割區塊b2內的第一有效深度值的統計平均、統計眾數、統計偏差或有效值比例等等。另外，深度值優化模組145可對已補洞分割區塊b4內的第二有效深度值進行統計運算，而獲取已補洞分割區塊b4內的第二有效深度值的第二統計資訊，例如是已補洞分割區塊b4內的第二有效深度值的統計平均、統計眾數或統計偏差等等。

於是，於步驟S506，深度優化模組145判斷待修復分割區塊的第一統計資訊與已補洞分割區塊的第二統計資訊是否符合預設條件。當已補洞分割區塊內的第二有效深度值是需檢驗的，所述的預設條件用來判斷是否使用待修復分割區塊的第一統計資訊。舉例而言，於圖6的範例中，深度值優化模組145可判斷待修復分割區塊b2的第一統計資訊與已補洞分割區塊b4的第二統計資訊是否符合預設條件。若第一統計資訊與第二統計資訊符合預設條件（步驟S506判斷為是），於步驟S507，深度值優化模組145使用第一統計資訊來獲取優化深度值。若第一統計資訊與第二統計資訊不符合預設條件（步驟S506判斷為是），於步驟S508，深度值優化模組145使用第二統計資訊來獲取優化深度值。

舉例而言，於圖6的範例中，當深度值優化模組145使用第一統計資訊來獲取優化深度值，深度值優化模組145可將待修復分割區塊b2內的第一有效深度值的統計眾數作為優化深度值。如此一來，深度圖產生模組146可將待修復分割區塊b2內的第一有效深度值的統計眾數填入待修復深度圖dm_2中的破洞h2而獲取優化深度圖，或利用待修復分割區塊b2內的第一有效深度值的統計眾數取代已補洞深度圖dm_3的第二有效深度值dp_3而獲取優化深度圖。當深度值優化模組145使用第二統計資訊來獲取優化深度值，深度值優化模組145可將已補洞分割區塊b4內的第二有效深度值的統計眾數作為優化深度值。如此一來，深度圖產生模組146可將已補洞分割區塊b4內的第二有效深度值的統計眾數填入待修復深度圖dm_2中的破洞h2而獲取優化深度圖，或利用已補洞分割區塊b4內的第二有效深度值的統計眾數取代以補洞深度圖dm_3的第二有效深度值dp_3而獲取優化深度圖。

於一實施例中，步驟S506中的預設條件可包括待修復分割區塊其中之一內之第一有效深度值的有效比例大於有效臨界值，如條件式(1)所示： REF_Valid_ratio ＞ Threshold_valid (1) 其中REF_Valid_ratio代表待修復分割區塊其中之一內之第一有效深度值的有效比例，而Threshold_valid代表有效臨界值。條件式(1)可用以判斷待修復分割區塊內的第一有效深度值是否太少而不具備區域代表性。

於一實施例中，步驟S506中的預設條件可包括待修復分割區塊其中之一內之第一有效深度值的統計眾數小於已補洞分割區塊其中一內之第一有效深度值的統計眾數，如條件式(2)所示： REF_mode ＜ HF_mode (2) 其中REF_mode代表待修復分割區塊其中之一內之第一有效深度值的統計眾數，而HF_mode代表已補洞分割區塊其中一內之第一有效深度值的統計眾數。一般來說，無紋理區域之待修復區塊的眾數統計通常小於已補洞區塊的眾數統計，因此條件式(2)可用以判斷使用第一統計資訊或第二統計資訊進行優化。

於一實施例中，步驟S506中的預設條件可包括待修復分割區塊其中之一內之第一有效深度值的統計標準差小於已補洞分割區塊其中之一內之第二有效深度值的統計標準差，如條件式(3)所示： REF_deviation ＜ HF_deviation (3) 其中REF_deviation代表待修復分割區塊其中之一內之第一有效深度值的統計標準差，而HF_deviation代表已補洞分割區塊其中一內之第二有效深度值的統計標準差。條件式(3)可用以判斷待修復分割區塊內的第一有效深度值存在太多雜訊干擾而導致標準差太大。

另一方面，若已補洞分割區塊其中之一內之第二有效深度值並非需檢驗（步驟S505判斷為否），表示已補洞區塊的第二有效深度值接近一致。然而，由於大範圍的已補洞區塊是小範圍的超像素區塊的合併，因此可能將深度值不同的物件深度與背景深度因為對應像素點的像素值接近而被區分至同一已補洞區塊。此時，決定使用大範圍的已補洞區塊或小範圍的超像素區塊來產生優化深度值是必須的。於是，若步驟S505判斷為是，於步驟S509，優度優化模組145利用超像素所劃分之範圍將已補洞深度圖dm_3分成多個超像素區塊。換言之，基於超像素圖SP_1上各超像素所劃分的範圍，已補洞深度圖dm_3可被區分成多個超像素區塊。各超像素區塊包括多個第二有效深度值。舉例而言，於圖6的範例中，已補洞深度圖dm_3基於超像素圖SP_1的超像素（例如：超像素S7、S8、S9）而劃分成待修復分割區塊劃分成對應的超像素區塊（例如：超像素區塊b5、b6、b7）。

接著，若已補洞分割區塊其中之一內之第二有效深度值並非需檢驗（步驟S505判斷為否），依據已補洞分割區塊其中之一內的超像素區塊其中之一內的第二有效深度值的第三統計資訊，深度值優化模組145判斷使用第二統計資訊或第三統計資訊來獲取優化深度值。舉例而言，於圖6的範例中，深度值優化模組145可對超像素區塊b6內的第二有效深度值進行統計運算，而獲取超像素區塊b6內的第二有效深度值的第三統計資訊，例如是超像素區塊b6內的第二有效深度值的統計平均、統計眾數、統計偏差等等。

於是，於步驟S510，深度優化模組145判斷已補洞分割區塊的第二統計資訊與超像素區塊的第三統計資訊是否符合預設條件。舉例而言，於圖6的範例中，假設已補洞分割區塊b4內之第二有效深度值並非需檢驗，深度值優化模組145將利用已補洞分割區塊b4內之第二有效深度值來產生優化深度值。深度值優化模組145可判斷已補洞分割區塊b4的第二統計資訊與超像素區塊b6的第三統計資訊是否符合預設條件。若第三統計資訊符合預設條件（步驟S510判斷為是），於步驟S512，深度值優化模組145使用第三統計資訊來獲取優化深度值。若第三統計資訊不符合預設條件（步驟S510判斷為否），於步驟S511，深度值優化模組145使用第二統計資訊來獲取優化深度值。

舉例而言，於圖6的範例中，當深度值優化模組145使用第二統計資訊來獲取優化深度值，深度值優化模組145可將已補洞分割區塊b4內的第二有效深度值的統計眾數作為優化深度值。如此一來，深度圖產生模組146可將已補洞分割區塊b4內的第二有效深度值的統計眾數填入待修復深度圖dm_2中的破洞h3而獲取優化深度圖，或利用已補洞分割區塊b4內的第二有效深度值的統計眾數取代以補洞深度圖dm_3的第二有效深度值dp_4而獲取優化深度圖。當深度值優化模組145使用第三統計資訊來獲取優化深度值，深度值優化模組145可將超像素區塊b7內的第二有效深度值的統計眾數作為優化深度值。如此一來，深度圖產生模組146可將超像素區塊b7內的第二有效深度值的統計眾數填入待修復深度圖dm_2中的破洞h3而獲取優化深度圖，或利用超像素區塊b7內的第二有效深度值的統計眾數取代以補洞深度圖dm_3的第二有效深度值dp_4而獲取優化深度圖。

於一實施例中，步驟S510中的預設條件可包括超像素區塊其中之一內的第二有效深度值的統計眾數與超像素區塊其中之一內的第二有效深度值的統計平均之間的差距是否小於第一臨界值，如條件式(4)所示： |HF_Superpixel_mode - HF_Superpixel_mean|＜ Threshold_1 (4) 其中HF_Superpixel_mode代表超像素區塊其中之一內的第二有效深度值的統計眾數，而HF_Superpixel_mean代表超像素區塊其中之一內的第二有效深度值的統計平均值，Threshold_1代表第一臨界值。條件式(4)可用以判斷超像素區塊內的第二有效深度值的分佈是否接近一致，以決定此超像素區塊內的第二有效深度值是否值得信賴。

於一實施例中，步驟S510中的預設條件可包括超像素區塊其中之一內的第二有效深度值的統計標準差是否小於第二臨界值，如條件式(5)所示： HF_Superpixel_deviation ＜ Threshold_2 (5) 其中HF_Superpixel_deviation代表超像素區塊其中之一內的第二有效深度值的統計標準差，而Threshold_2代表第二臨界值。條件式(5)可用以判斷超像素區塊內的第二有效深度值的分佈是否接近一致，以決定此超像素區塊內的第二有效深度值是否值得信賴。

於一實施例中，步驟S510中的預設條件可包括超像素區塊其中之一內的第二有效深度值的統計眾數與已補洞分割區塊其中之一內的第二有效深度值的統計眾數之間的差距是否大於第三臨界值，如條件式(6)所示： |HF_Superpixel_mode - HF_mode| ＞ Threshold_3 (6) 其中HF_Superpixel_mode代表超像素區塊其中之一內的第二有效深度值的統計眾數，HF_mode代表已補洞分割區塊其中之一內之第一有效深度值的統計眾數，而Threshold_3代表第三臨界值。詳細來說，當前景物件的深度值被劃分至代表背景物件的深度區塊時，由於前景物件的深度值與背景的深度值差異大，因此透過比較大範圍之已補洞區塊內的眾數資訊與小範圍之超像素區塊的眾數資訊，可決定對應至前景物件的超像素區塊內的第二有效深度值是否被誤分至對應至背景的已補洞區塊。條件式(6)可用以判斷已補洞區塊內的眾數資訊超像素區塊的眾數資訊之間的差異是否夠大，以決定使用大範圍的已補洞區塊內的第二有效深度值或小範圍的超像素區塊內的第二有效深度值來產生優化深度值。

綜上所述，在本發明的實施例中，可利用待修復深度圖以及已補洞深度圖上的統計資訊來產生準確度更高的優化深度圖。進一步來說，本發明可先依據原圖資訊對左影像或右影像進行像素的分群而獲取多個超像素以及多個影像切割，再利用這些影像切割決定待修復深度圖的待修復分割區塊與已補洞深度圖的已補洞分割區塊。如此，依據各待修復分割區塊內之第一有效深度值的統計資訊，原始左影像的無紋理區域可被識別出來。之後，透過交互分析待修復分割區塊內之深度資訊的統計資訊、已補洞分割區塊內之深度資訊的統計資訊，以及超像素區塊內之深度資訊的統計資訊，本發明可依據針對無紋理區域產生更可靠優化深度值，從而避免僅利用小範圍的鄰近資訊進行破洞填補處理而產生的差偏差。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10‧‧‧影像處理裝置
14‧‧‧儲存單元
16‧‧‧處理單元
141‧‧‧待修復深度圖獲取模組
142‧‧‧超像素切割模組
143‧‧‧影像分割模組
144‧‧‧補洞模組
145‧‧‧深度優化模組
146‧‧‧深度圖產生模組
147‧‧‧深度估測模組
Img_L‧‧‧左影像
Img_R‧‧‧右影像
P1～P25‧‧‧像素
S_11、S_12、S1～S6、S7、S8、S9‧‧‧超像素
D1、D2、D3、D4‧‧‧影像分割
dm_1‧‧‧原始深度圖
dm_2‧‧‧待修復深度圖
dm_3‧‧‧已補洞深度圖
SP_1‧‧‧超像素圖
SP_2‧‧‧影像分割圖
d_opm‧‧‧優化深度值
dm_4‧‧‧優化深度圖
dp_1‧‧‧第一有效深度值
h1、h2、h3‧‧‧破洞
b1、b2‧‧‧待修復分割區塊
dp_2、dp_3、dp_4‧‧‧第二有效深度值
b3、b4‧‧‧已補洞分割區塊
b5、b6、b7‧‧‧超像素區塊
S201～S206、S501～S512‧‧‧步驟

圖1為依照本發明一實施例所繪示的影像處理裝置的方塊圖。圖2為依照本發明一實施例所繪示的影像深度資訊的優化方法的流程圖。圖3A為依照本發明一實施例所繪示的超像素的範例示意圖。圖3B為依照本發明一實施例所繪示的超像素與影像分割的範例示意圖。圖4為依照本發明一實施例所繪示的影像深度資訊的優化方法的運作示意圖。圖5A與圖5B為依照本發明一實施例所繪示的產生優化深度值的流程圖。圖6為依照本發明一實施例所繪示的產生優化深度值的範例示意圖。

S201~S206‧‧‧步驟

Claims

一種影像深度資訊的優化方法，適用於一影像處理裝置，所述方法包括：獲取基於一左影像與一右影像而產生的一待修復深度圖，其中該待修復深度圖紀錄多個第一有效深度值，且對應至多個無效深度值的多個破洞分佈於該待修復深度圖上；將該左影像與該右影像其中之一進行一超像素切割處理，而獲取該左影像與該右影像其中之一的多個超像素（superpixels）；依據該些超像素內的像素資訊，聚集該些超像素而獲取多個影像分割（image segments）；對該待修復深度圖內的該些破洞進行一破洞填補處理，而獲取包括多個第二有效深度值的一已補洞深度圖；利用該些影像分割所劃分之範圍、該些超像素所劃分之範圍、該待修復深度圖以及該已補洞深度圖，對該待修復深度圖的該些第一有效深度值以及該已補洞深度圖的該些第二有效深度值進行統計分析而獲取多個優化深度值；以及依據該些優化深度值獲取一優化深度圖。
如申請專利範圍第1項所述的影像深度資訊的優化方法，其中該左影像與該右影像其中之一包括多個像素，且該些像素依據該些像素的像素值與像素位置而區分為該些超像素。
如申請專利範圍第1項所述的影像深度資訊的優化方法，其中依據該些超像素內的像素資訊，聚集該些超像素而獲取該些影像分割的步驟包括：統計該些超像素各自的一直方圖資訊；以及依據該些超像素各自的該直方圖資訊，合併該些超像素而形成該些影像分割。
如申請專利範圍第1項所述的影像深度資訊的優化方法，其中依據該些超像素內的像素資訊，聚集該些超像素而獲取該些影像分割的步驟包括：對該些超像素進行邊緣偵測，而獲取該些超像素各自的一邊緣特性；以及依據該些超像素各自的該邊緣特性，合併該些超像素而形成該些影像分割。
如申請專利範圍第1項所述的影像深度資訊的優化方法，其中利用該些影像分割所劃分之範圍、該些超像素所劃分之範圍、該待修復深度圖以及該已補洞深度圖，對該待修復深度圖的該些第一有效深度值以及該已補洞深度圖的該些第二有效深度值進行統計分析而獲取該些優化深度值的步驟包括：利用該些影像分割所劃分之範圍將該待修復深度圖分成多個待修復分割區塊；依據該些待修復分割區塊的尺寸以及該些待修復分割區塊內之該些第一有效深度值的數量與該些無效深度值的數量，判斷該些待修復分割區塊是否為一需優化區塊；以及若該些待修復分割區塊其中之一為該需優化區塊，決定對該些待修復分割區塊其中之該一內的該些破洞產生該些優化深度值。
如申請專利範圍第5項所述的影像深度資訊的優化方法，其中依據該些待修復分割區塊的尺寸以及該些待修復分割區塊內之該些第一有效深度值的數量與該些無效深度值的數量，判斷該些待修復分割區塊為該可靠區塊或該需優化區塊的步驟包括：若該些待修復分割區塊的尺寸大於一區塊臨界值且該些待修復分割區塊內的該些無效深度值的數量大於該些第一有效深度值的數量與一權重因子的乘積，判定該些待修復分割區塊為該不可靠區域。
如申請專利範圍第1項所述的影像深度資訊的優化方法，其中利用該些影像分割所劃分之範圍、該些超像素所劃分之範圍、該待修復深度圖以及該已補洞深度圖，對該待修復深度圖的該些第一有效深度值以及該已補洞深度圖的該些第二有效深度值進行統計分析而獲取該些優化深度值的步驟包括：利用該些影像分割所劃分之範圍將該已補洞深度圖分成多個已補洞分割區塊；以及依據該些已補洞分割區塊其中之一內之該些第二有效深度值的一統計值，決定該已補洞深度圖的該些已補洞分割區塊其中之該一內之該些第二有效深度值是否需檢驗。
如申請專利範圍第7項所述的影像深度資訊的優化方法，其中利用該些影像分割所劃分之範圍、該些超像素所劃分之範圍、該待修復深度圖以及該已補洞深度圖，對該待修復深度圖的該些第一有效深度值以及該已補洞深度圖的該些第二有效深度值進行統計分析而獲取該些優化深度值的步驟包括：利用該些影像分割所劃分之範圍將該待修復深度圖分成多個待修復分割區塊；以及若該些已補洞分割區塊其中之該一內之該些第二有效深度值需檢驗，依據該些待修復分割區塊其中之一內之該些第一有效深度值的第一統計資訊以及該些已補洞分割區塊其中之該一內之該些第二有效深度值的第二統計資訊，決定使用該第一統計資訊或該第二統計資訊來獲取該些優化深度值。
如申請專利範圍第8項所述的影像深度資訊的優化方法，其中依據該些待修復分割區塊其中之該一內之該些第一有效深度值的該第一統計資訊以及該些已補洞分割區塊其中之該一內之該些第二有效深度值的該第二統計資訊，決定使用該第一統計資訊或該第二統計資訊來獲取該些優化深度值的步驟包括：若該第一統計資訊與該第二統計資訊符合一預設條件，使用該第一統計資訊來獲取該些優化深度值；以及若該第一統計資訊與該第二統計資訊不符合該預設條件，使用該第二統計資訊來獲取該些優化深度值。
如申請專利範圍第9項所述的影像深度資訊的優化方法，其中該預設條件包括該些待修復分割區塊其中之該一內之該些第一有效深度值的有效比例大於一有效臨界值，該些待修復分割區塊其中之該一內之該些第一有效深度值的統計眾數小於該些已補洞分割區塊其中之該一內之該些第二有效深度值的統計眾數，以及該些待修復分割區塊其中之該一內之該些第一有效深度值的統計標準差小於該些已補洞分割區塊其中之該一內之該些第二有效深度值的統計標準差。
如申請專利範圍第7項所述的影像深度資訊的優化方法，其中利用該些影像分割所劃分之範圍、該些超像素所劃分之範圍、該待修復深度圖以及該已補洞深度圖，對該待修復深度圖的該些第一有效深度值以及該已補洞深度圖的該些第二有效深度值進行統計分析而獲取該些優化深度值的步驟包括：利用該些超像素所劃分之範圍將該已補洞深度圖分成多個超像素區塊；以及若該些已補洞分割區塊其中之該一內之該些第二有效深度值並非為需檢驗，依據該些已補洞分割區塊其中之該一內的該些超像素區塊其中之一內的該些第二有效深度值的一第三統計資訊，判斷使用該第二統計資訊或該第三統計資訊來獲取該些優化深度值。
如申請專利範圍第11項所述的影像深度資訊的優化方法，其中依據該些已補洞分割區塊其中之該一的該些超像素區塊其中之該一內的該些第二有效深度值的該第三統計資訊，判斷使用該第二統計資訊或該第三統計資訊來獲取該些優化深度值的步驟包括：若該第三統計資訊符合一預設條件，使用該第三統計資訊來獲取該些優化深度值；以及若該第三統計資訊不符合該預設條件，使用該第二統計資訊來獲取該些優化深度值。
如申請專利範圍第12項所述的影像深度資訊的優化方法，其中該預設條件包括該些超像素區塊其中之該一內的該些第二有效深度值的統計眾數與該些超像素區塊其中之該一內的該些第二有效深度值的統計平均之間的差距是否小於一第一臨界值；該些超像素區塊其中之該一內的該些第二有效深度值的統計標準差是否小於一第二臨界值；以及該些超像素區塊其中之該一內的該些第二有效深度值的統計眾數與該些已補洞分割區塊其中之該一內的該些第二有效深度值的統計眾數之間的差距是否大於一第三臨界值。
一種影像處理裝置，包括：一儲存單元，記錄多個模組；以及一或多個處理單元，耦接該儲存單元，存取並執行儲存單元中記錄的所述模組，所述模組包括：一待修復深度圖獲取模組，獲取基於一左影像與一右影像而產生的一待修復深度圖，其中該待修復深度圖紀錄多個第一有效深度值，且對應至多個無效深度值的多個破洞分佈於該待修復深度圖上；一超像素切割模組，將該左影像與該右影像其中之一進行一超像素切割處理，而獲取該左影像與該右影像其中之一的多個超像素（superpixels）；一影像分割模組，依據該些超像素內的像素資訊，聚集該些超像素而獲取多個影像分割（image segments）；一補洞模組，對該待修復深度圖內的該些破洞進行一破洞填補處理，而獲取包括多個第二有效深度值的一已補洞深度圖；一深度優化模組，利用該些影像分割所劃分之範圍、該些超像素所劃分之範圍、該待修復深度圖以及該已補洞深度圖，對該待修復深度圖的該些第一有效深度值以及該已補洞深度圖的該些第二有效深度值進行統計分析而獲取多個優化深度值；以及一深度圖產生模組，依據該些優化深度值獲取一優化深度圖。
如申請專利範圍第14項所述的影像處理裝置，其中該左影像與該右影像其中之一包括多個像素，且該些像素依據該些像素的像素值與像素位置而區分為該些超像素。
如申請專利範圍第14項所述的影像處理裝置，其中該影像分割模組統計該些超像素各自的一直方圖資訊，以及依據該些超像素各自的該直方圖資訊，合併該些超像素而形成該些影像分割。
如申請專利範圍第14項所述的影像處理裝置，其中該影像分割模組對該些超像素進行邊緣偵測，而獲取該些超像素各自的一邊緣特性，以及依據該些超像素各自的該邊緣特性，合併該些超像素而形成該些影像分割。
如申請專利範圍第14項所述的影像處理裝置，其中該深度值優化模組利用該些影像分割所劃分之範圍將該待修復深度圖分成多個待修復分割區塊，以及依據該些待修復分割區塊的尺寸以及該些待修復分割區塊內之該些第一有效深度值的數量與該些無效深度值的數量，判斷該些待修復分割區塊是否為一需優化區塊，其中若該些待修復分割區塊其中之一為該需優化區塊，該深度值優化模組決定對該些待修復分割區塊其中之該一內的該些破洞產生該些優化深度值。
如申請專利範圍第18項所述的影像處理裝置，其中若該些待修復分割區塊的尺寸大於一區塊臨界值且該些待修復分割區塊內的該些無效深度值的數量大於該些第一有效深度值的數量與一權重因子的乘積，該深度值優化模組判定該些待修復分割區塊為該不可靠區域。
如申請專利範圍第14項所述的影像處理裝置，其中該深度值優化模組利用該些影像分割所劃分之範圍將該已補洞深度圖分成多個已補洞分割區塊，依據該些已補洞分割區塊其中之一內之該些第二有效深度值的一統計值，決定該已補洞深度圖的該些已補洞分割區塊其中之該一內之該些第二有效深度值是否需檢驗。
如申請專利範圍第20項所述的影像處理裝置，其中該深度值優化模組利用該些影像分割所劃分之範圍將該待修復深度圖分成多個待修復分割區塊，其中若該些已補洞分割區塊其中之該一內之該些第二有效深度值需檢驗，依據該些待修復分割區塊其中之一內之該些第一有效深度值的第一統計資訊以及該些已補洞分割區塊其中之該一內之該些第二有效深度值的第二統計資訊，該深度值優化模組決定使用該第一統計資訊或該第二統計資訊來獲取該些優化深度值。
如申請專利範圍第21項所述的影像處理裝置，其中若該第一統計資訊與該第二統計資訊符合一預設條件，該深度值優化模組使用該第一統計資訊來獲取該些優化深度值；以及若該第一統計資訊與該第二統計資訊不符合該預設條件，該深度值優化模組使用該第二統計資訊來獲取該些優化深度值。
如申請專利範圍第22項所述的影像處理裝置，其中該預設條件包括該些待修復分割區塊其中之該一內之該些第一有效深度值的有效比例大於一有效臨界值，該些待修復分割區塊其中之該一內之該些第一有效深度值的統計眾數小於該些已補洞分割區塊其中之該一內之該些第二有效深度值的統計眾數，以及該些待修復分割區塊其中之該一內之該些第一有效深度值的統計標準差小於該些已補洞分割區塊其中之該一內之該些第二有效深度值的統計標準差。
如申請專利範圍第20項所述的影像處理裝置，其中該深度值優化模組利用該些超像素所劃分之範圍將該已補洞深度圖分成多個超像素區塊，其中若該些已補洞分割區塊其中之該一內之該些第二有效深度值並非需檢驗，依據該些已補洞分割區塊其中之該一內的該些超像素區塊其中之一內的該些第二有效深度值的一第三統計資訊，該深度值優化模組判斷使用該第二統計資訊或該第三統計資訊來獲取該些優化深度值。
如申請專利範圍第24項所述的影像處理裝置，其中若該第三統計資訊符合一預設條件，該深度值優化模組使用該第三統計資訊來獲取該些優化深度值；以及若該第三統計資訊不符合該預設條件，該深度值優化模組使用該第二統計資訊來獲取該些優化深度值。
如申請專利範圍第25項所述的影像處理裝置，其中該預設條件包括該些超像素區塊其中之該一內的該些第二有效深度值的統計眾數與該些超像素區塊其中之該一內的該些第二有效深度值的統計平均之間的差距是否小於一第一臨界值；該些超像素區塊其中之該一內的該些第二有效深度值的統計標準差是否小於一第二臨界值；以及該些超像素區塊其中之該一內的該些第二有效深度值的統計眾數與該些已補洞分割區塊其中之該一內的該些第二有效深度值的統計眾數之間的差距是否大於一第三臨界值。