TWI678681B

TWI678681B - 產生深度圖的方法及其影像處理裝置與系統

Info

Publication number: TWI678681B
Application number: TW107116405A
Authority: TW
Inventors: 陳立人; Li-Jen Chen
Original assignee: 緯創資通股份有限公司; Wistron Corporation
Priority date: 2018-05-15
Filing date: 2018-05-15
Publication date: 2019-12-01
Also published as: TW201947529A; CN110493590B; US20190355141A1; CN110493590A; US10769805B2

Abstract

一種產生深度圖的方法及其影像處理裝置與系統，此方法包括下列步驟。獲得第一原始影像以及第二原始影像，以及獲得對應於第一原始影像的多個第一邊緣區塊和對應於第二原始影像的多個第二邊緣區塊。根據第一邊緣區塊以及第二邊緣區塊，產生多個邊緣區塊的深度資訊。根據邊緣區塊的深度資訊，設定多個非邊緣區塊的深度資訊。利用邊緣區塊的深度資訊以及非邊緣區塊的深度資訊，產生深度圖。

Description

產生深度圖的方法及其影像處理裝置與系統

本發明是有關於一種影像處理的方法及其影像處理裝置與系統，產生深度圖的方法及其影像處理裝置與系統。

隨著影像處理技術的發展，立體視覺的應用領域極為廣泛，舉凡結構光、立體影像、距離偵測、安全監控等皆常見其應用。一般而言，立體視覺可包括兩個階段，第一階段先利用深度攝影機、立體攝影機或是利用相關演算法來產生深度資訊，而第二階段再利用深度資訊來產生立體影像。由此可知，為了產生立體視覺體驗較佳的影像，準確的深度資訊極為重要。

立體視覺的深度計算方法是從左右兩影像中找出相同物體，再根據物體於左右影像中的位置差異，即視差（disparity），計算出物體的距離。然而，若物體的特徵較少以致於相鄰的畫素之間差異不大時，則容易造成錯誤的辨識而得到錯誤的深度資訊。

有鑑於此，本發明提供一種產生深度圖的方法及其影像處理裝置與系統，其可精確地計算拍攝場景的視差圖，以助於提升後續立體視覺應用的效能。

在本發明的一實施例中，上述的方法包括下列步驟。獲得第一原始影像以及第二原始影像，以及獲得對應於第一原始影像的多個第一邊緣區塊和對應於第二原始影像的多個第二邊緣區塊。根據第一邊緣區塊以及第二邊緣區塊，產生多個邊緣區塊的深度資訊。根據邊緣區塊的深度資訊，設定多個非邊緣區塊的深度資訊，其中各個非邊緣區塊的深度資訊關聯於相鄰的邊緣區塊的深度填補方向，各個邊緣區塊的深度填補方向關聯於邊緣區塊相鄰的非邊緣區塊與邊緣區塊的相似度關係。利用邊緣區塊的深度資訊以及非邊緣區塊的深度資訊，產生深度圖。

在本發明的一實施例中，上述的系統包括第一影像感測器、第二影像感測器、記憶體以及處理器，其中處理器連接於第一影像感測器、第二影像感測器以及記憶體。第一影像感測器以及第二影像感測器用以擷取影像，以分別產生第一原始影像以及第二原始影像。記憶體用以儲存影像以及資料。處理器用以執行下列步驟：獲得第一原始影像以及第二原始影像，以及獲得對應於第一原始影像的多個第一邊緣區塊和對應於第二原始影像的多個第二邊緣區塊；根據第一邊緣區塊以及第二邊緣區塊，產生多個邊緣區塊的深度資訊；根據邊緣區塊的深度資訊，設定多個非邊緣區塊的深度資訊，其中各個非邊緣區塊的深度資訊關聯於相鄰的邊緣區塊的深度填補方向，各個邊緣區塊的深度填補方向關聯於邊緣區塊相鄰的非邊緣區塊與邊緣區塊的相似度關係；以及利用邊緣區塊的深度資訊以及非邊緣區塊的深度資訊，產生深度圖。

在本發明的一實施例中，上述的影像處理裝置包括記憶體以及處理器，其中處理器連接於記憶體。記憶體用以儲存影像以及資料。通訊介面用以提供影像處理裝置與第一影像感測器以及第二影像感測器連接。處理器用以執行下列步驟：獲得第一原始影像以及第二原始影像，以及獲得對應於第一原始影像的多個第一邊緣區塊和對應於第二原始影像的多個第二邊緣區塊；根據第一邊緣區塊以及第二邊緣區塊，產生多個邊緣區塊的深度資訊；根據邊緣區塊的深度資訊，設定多個非邊緣區塊的深度資訊，其中各個非邊緣區塊的深度資訊關聯於相鄰的邊緣區塊的深度填補方向，各個邊緣區塊的深度填補方向關聯於邊緣區塊相鄰的非邊緣區塊與邊緣區塊的相似度關係；以及利用邊緣區塊的深度資訊以及非邊緣區塊的深度資訊，產生深度圖。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法、影像處理裝置與系統的範例。

圖1為根據本發明一實施例所繪示的產生深度圖的系統的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹系統中的所有構件以及配置關係，詳細功能將配合圖2一併揭露。

請參照圖1，系統100包括第一影像感測器110、第二影像感測器120、記憶體130以及處理器140。在本實施例中，系統100可以是將第一影像感測器110、第二影像感測器120、記憶體130以及處理器140整合為單一裝置（all-in-one）的影像擷取裝置，例如是具有雙鏡頭的數位相機、單眼相機、數位攝影機、智慧型手機、平板電腦等等。

在本實施例中，第一影像感測器110以及第二影像感測器120為包括透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。感光元件可以例如是電荷耦合元件（charge coupled device，CCD）、互補性氧化金屬半導體（complementary metal-oxide semiconductor，CMOS）元件或其他元件。鏡頭所擷取到的影像將成像於感測元件並且轉換成數位訊號，以輸出至處理器140。

記憶體130用以儲存影像、程式碼等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。

處理器140用以控制系統100的構件之間的作動，其可以例如是中央處理單元（central processing unit，CPU）、圖形處理單元（graphic processing unit，GPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuits，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置或這些裝置的組合。

必須說明的是，在另一實施例中，記憶體130以及處理器140可以是個人電腦、筆記型電腦、智慧型手機、平板電腦等具有影像處理功能的電子裝置，並且經由通訊介面（未繪示）以有線或無線的方式接收第一影像感測器110以及第二影像感測器120以不同角度所拍攝到特定場景的影像來產生深度圖。在此實施例中的第一影像感測器110以及第二影像感測器120可以是設置於同一裝置，亦可以為不同裝置，本發明不在此設限。

以下即列舉實施例說明針對系統100產生深度圖的方法的詳細步驟。在以下的實施例中將以系統100實作成雙鏡頭的影像擷取裝置來進行說明。

圖2為根據本發明之一實施例所繪示的產生深度圖的方法流程圖。

請同時參照圖1以及圖2，首先，處理器140將獲得第一原始影像以及第二原始影像（步驟S202）。詳細來說，處理器140可以是分別利用第一影像感測器110以及第二影像感測器120來擷取特定場景的影像，以產生第一原始影像以及第二原始影像，而第一原始影像以及第二原始影像也就是利用不同視角針對同一場景所擷取的兩張影像。第一影像感測器110以及第二影像感測器120可以是採用相同的攝像參數擷取影像，然而本發明不在此設限。

接著，處理器140將獲得對應於第一原始影像的多個第一邊緣區塊以及對應於第二原始影像的多個第二邊緣區塊（步驟S204）。在此的第一邊緣區塊以及第二邊緣區塊分別為第一原始影像以及第二原始影像之中具有邊緣資訊的區塊。詳細來說，處理器140可針對第一原始影像以及第二原始影像進行邊緣檢測，以分別自第一原始影像以及第二原始影像檢測出第一邊緣區塊以及第二邊緣區塊。邊緣檢測是電腦視覺中的重要步驟，其能藉由不同種類的濾波器來濾出不同特性的邊緣，以區分影像中物體的邊界。由於雙鏡頭的影像擷取裝置並無法在水平方向的邊緣取得到深度資訊，在此可以先移除水平方向的邊緣，以便後續的運算。

在一實施例中，處理器140可以是利用垂直方向的邊緣檢測濾波器來針對第一原始影像以及第二原始影像進行邊緣檢測，以分別自第一原始影像以及第二原始影像檢測出垂直方向的第一邊緣區塊以及第二邊緣區塊。垂直方向的邊緣檢測濾波器可以是垂直方向的索貝爾運算子（Sobel Operator） Sby，以直接自兩張原始影像取得垂直方向的邊緣資訊，其中：

在另一實施例中，處理器140可以是利用全向的邊緣檢測濾波器來針對第一原始影像以及第二原始影像進行邊緣檢測，以分別自第一原始影像以及第二原始影像檢測出第一全向邊緣區塊以及第二全向邊緣區塊，再利用水平方向的邊緣檢測濾波器，針對第一原始影像以及第二原始影像進行邊緣檢測，以分別自第一原始影像以及第二原始影像檢測出第一水平邊緣區塊以及第二水平邊緣區塊。之後，處理器140再針對第一全向邊緣區塊與第一水平邊緣區塊進行相減，以產生第一邊緣區塊，並且針對第二全向邊緣區塊與第二水平邊緣區塊進行相減，以產生第二邊緣區塊。全向的邊緣檢測濾波器可以是拉普拉辛運算子（Laplacian operator） L，其中：水平方向的邊緣檢測濾波器可以是水平方向的索貝爾運算子 Sbx，其中：

接著，處理器140將根據第一邊緣區塊以及第二邊緣區塊，產生多個邊緣區塊的深度資訊（步驟S206）。換句話說，處理器140先利用深度搜尋演算法（depth search algorithm），來根據同時出現在兩張原始影像中的邊緣區塊進行立體匹配（stereo matching），以取得邊緣區塊的深度資訊。若是僅出現在一張原始影像中的邊緣區塊（亦即，在另一張原始影像被遮蔽），則將利用後續的步驟來進行深度資訊的估測。

之後，處理器140將根據邊緣區塊的深度資訊，設定多個非邊緣區塊的深度資訊（步驟S208）。在此，處理器140可根據已取得的邊緣區塊的深度資訊並且參考至少一個原始影像來估測非邊緣區塊的深度資訊。處理器140是根據各個非邊緣區塊所相鄰的邊緣區塊的深度填補方向來對其深度資訊進行估測，其中邊緣區塊的深度填補方向為其與相鄰區塊之間的相似度關係。

具體來說，以圖3根據本發明之一實施例所繪示的邊緣區塊及其深度填補方向的示意圖為例，S1為原始影像中所擷取到的物件。由於邊緣區塊E1屬於物件S1，也就是與右側的區塊R1的顏色較為接近，因此邊緣區塊E1的深度填補方向為「右」。必須說明的是，在本實施例中，在判斷邊緣區塊E1是否屬於物件S1，是以物件S1其中n×m像素大小的區塊（例如9×9像素）來進行比對，而避免使用單一像素點而造成誤判。然而，在其它實施例中，亦可以物件S1其中的單一像素點來進行比對，本發明並無在此設限。同理，由於邊緣區塊E3亦屬於物件S1，也就是與左側的區塊L3的顏色較為接近，因此邊緣區塊E3的深度填補方向為「左」。另一方面，S為原始影像中所擷取到的例如是文字、花紋等單一特徵，在此視為一個邊緣區塊E2，而其深度填補方向為「無」。

基此，處理器140在處理各個非邊緣區塊時，可先取得所有邊緣區塊之中與其最接近的左邊緣區塊以及右邊緣區塊的深度填補方向，再同時根據左邊緣區塊的深度填補方向以及右邊緣區塊的深度填補方向，來設定非邊緣區塊的深度資訊。以圖3為例，區塊R1為非邊緣區塊，處理器140將會根據與區塊R1最鄰近的左邊緣區塊E1以及右邊緣區塊E3兩者的深度填補方向來設定區塊R1的深度資訊。非邊緣區塊的深度資訊的詳細設定方式將於後續實施例中完整敘明。

請再回到圖2，之後，處理器140將利用邊緣區塊的深度資訊以及非邊緣區塊的深度資訊，產生深度圖（步驟S210）。也就是說，處理器140是利用特定場景中特徵較多的物件所計算出較為精確的深度資訊來估測特徵較少的物件所對應的深度資訊，以降低雜訊，從而達到更為精確的深度估測，增加影像處理速度，以提升後續立體視覺應用的效能。

為了更方便明瞭，以下將以圖4根據本發明之一實施例所繪示的非邊緣區塊的深度資訊的設定方法流程圖來具體地說明圖2的步驟S208以及步驟S210的實作方式以及細節，而圖4的方法流程亦可以系統100來實現。

在進入圖4的流程之前，處理器140已取得第一原始影像、第二原始影像以及邊緣區塊的深度資訊，其中處理器140設定第一原始影像以及第二原始影像至少之一者來做為圖4的流程中所欲採用的影像，以下將稱之為「原始影像」。

請參照圖4，處理器140在取得原始影像Img0以及邊緣區塊的深度資訊BD後，將會針對各個非邊緣區塊進行處理（步驟S400），以進行深度估測。在本實施例中，處理器140可以是根據原始影像的左至右並且上至下的順序來依序地對每個非邊緣區塊進行處理，然而本發明不以此為限。在以下的說明當中，處理器140正在處理的非邊緣區塊將定義為「目前非邊緣區塊」。接著，處理器140將取得目前非邊緣區塊的左邊緣區塊以及右邊緣區塊（步驟S402），並且判斷左邊緣區塊的深度填補方向以及右邊緣區塊的深度填補方向（步驟S404）。

具體來說，以圖5A根據本發明之一實施例所繪示的原始影像Img0為例，(0, 0)、(x_bond, 0)、(0, y_bond)以及(x_bond、y_bond)為原始影像Img的四個端點座標。假設處理器140目前正在處理畫素列ycnt=y0，並且將先取得到對應於物件S5的最左邊的邊緣區塊L_edge，以做為左邊緣區塊，而(x0, y0)為左邊緣區塊L_edge的座標。接著，處理器會再往同一畫素列ycnt=y0的右邊尋找到下一個邊緣區塊R_edge，以將做為右邊緣區塊，而(xcnt, y0)為右邊緣區塊R_edge的座標。處理器140接著會將畫素列ycnt=y0之中位於左邊緣區塊L_edge與右邊緣區塊R_edge之間的所有畫素將視為目前非邊緣區塊。

在此，處理器140會先判斷左邊緣區塊L_edge分別與左側區塊以及右側區塊的色彩相似度，而在此將判定出左邊緣區塊L_edge與右側區塊的色彩相似度高，因此會將其的深度填補方向設定為「右」，並且可以記錄成「+1」。接著，處理器140會判斷右邊緣區塊R_edge分別與左側區塊以及右側區塊的色彩相似度，而在此將判定出右邊緣區塊R_edge與左側區塊的色彩相似度高，因此會將其的深度填補方向設定為「左」，並且可以記錄成「-1」。附帶一提的是，假設處理器140判定右邊緣區塊R_edge與左側區塊以及右側區塊的色彩相似度皆不高，或者是判定右邊緣區塊R_edge與左側區塊以及右側區塊的色彩相似度皆高（例如左側區塊與右側區塊的其中一者設定為「+1」並且另一者設定為「-1」），則深度填補方向為「無」，處理器140將會記錄成「0」。在此比對兩個區塊的色彩相似度是以兩者像素值之間的差值是否小於閥值來判斷。當差值小於閥值時，則代表色彩相似度高，反之，則代表色彩相似度低。

接著，處理器140將會根據目前非邊緣區塊的左邊緣區塊以及右邊緣區塊的深度填補方向來設定目前非邊緣區塊的深度資訊。首先，處理器140將會進行切換（switch，SW），以進入四個條件C1～C4的判斷。

當處理器140進入到條件C1判斷左邊緣區塊的深度填補方向為「右」並且右邊緣區塊的深度填補方向為「左」，則代表左邊緣區塊以及右邊緣區塊皆是對應於同一個物件，因此處理器140將基於線性內插法（linear interpolation）設定目前非邊緣區塊的深度資訊，以代表具有連續關係的深度資訊。舉例來說，假設左邊緣區塊的深度值為1，右邊緣區塊的深度值為5，而目前非邊緣區塊佔有3個畫素，則在經過線性內插後，目前非邊緣區塊的像素值將分別為2、3、4。

當處理器140進入到條件C2判斷左邊緣區塊的深度填補方向為「右」並且右邊緣區塊的深度填補方向為「右」或「無」，則代表左邊緣區塊以及右邊緣區塊是對應於不同物件，因此將不具有連續關係的深度資訊。在此，基於左邊緣區塊的深度填補方向為「右」，即代表與目前非邊緣區塊屬於同一物件，處理器140將複製左邊緣區塊的深度資訊，以設定為目前非邊緣區塊的深度資訊。舉例來說，假設左邊緣區塊的深度值為1，右邊緣區塊的深度值為5，而目前非邊緣區塊佔有3個畫素，則在經過複製，目前非邊緣區塊的像素值將分別為1、1、1。

另一方面，當處理器140進入到條件C3判斷左邊緣區塊的深度填補方向為「左」或「無」並且右邊緣區塊的深度填補方向為「左」，則代表左邊緣區塊以及右邊緣區塊是對應於不同物件，因此將不具有連續關係的深度資訊。在此，基於右邊緣區塊的深度填補方向為「左」，即代表與目前非邊緣區塊屬於同一物件，處理器140將複製右邊緣區塊的深度資訊，以設定為目前非邊緣區塊的深度資訊。舉例來說，假設左邊緣區塊的深度值為1，右邊緣區塊的深度值為5，而目前非邊緣區塊佔有3個畫素，則在經過複製，目前非邊緣區塊的像素值將分別為5、5、5。

具體來說，以圖5B根據本發明之一實施例所繪示的深度資訊的設定方法示意圖為例，S51～S57分屬五個不同的物件，邊緣區塊的深度填補方向以左箭頭、右箭頭來分別表示左方向以及右方向，並且將不針對無方向的深度填補方向進行標示。在此，處理器140會將左邊緣區塊的深度填補方向為「右」並且右邊緣區塊的深度填補方向為「左」之間的非邊緣區塊以線性內插LI的方式來設定深度資訊。另外，處理器140會將左邊緣區塊的深度填補方向為「右」並且右邊緣區塊的深度填補方向為「右」或「無」，或者是左邊緣區塊的深度填補方向為「左」或「無」並且右邊緣區塊的深度填補方向為「左」的非邊緣區塊以複製CP的方式來設定非邊緣區塊的深度資訊。

請再回到圖4，當處理器140進入到條件C4判斷左邊緣區塊的深度填補方向為「左」或「無」並且右邊緣區塊的深度填補方向為「右」或「無」，除了代表左邊緣區塊以及右邊緣區塊是對應於不同物件，亦代表目前非邊緣區塊與左邊緣區塊以及右邊緣區塊是對應於不同物件。在此，處理器140將取得左邊緣區塊、目前非邊緣區塊以及右邊緣區塊的上區塊，其中上區塊則是位於左邊緣區塊、目前非邊緣區塊以及右邊緣區塊的正上方的畫素列。以圖5A為例，上區塊則為可以表示成([x0:xcnt], y0-1)，即代表包括並且介於(x0, y0-1)與(xcnt, y0-1)之間的畫素。處理器140將判斷目前非邊緣區塊與上區塊的色彩是否具有高相似度並且上區塊是否具有深度資訊。若是，則處理器140將複製上區塊的深度資訊，以設定為目前非邊緣區塊的深度資訊。

具體來說，以圖5C根據本發明之一實施例所繪示的深度資訊的設定方法示意圖為例，處理器140會將左邊緣區塊的深度填補方向為「左」或「無」並且右邊緣區塊的深度填補方向為「右」或「無」的非邊緣區塊以複製上區塊CP’的方式來設定非邊緣區塊的深度資訊。

請回到圖4，處理器140在進入條件C1、條件C2或是條件C3而取得目前非邊緣區塊的深度資訊之後，會進入到步驟S406，處理器140將判斷目前非邊緣區塊與上區塊的色彩是否具有高相似度並且上區塊是否具有深度資訊。若上區塊不具有深度資訊，處理器140將根據目前非邊緣區塊的深度資訊，基於底面填充法（floor filling）設定上區塊的深度資訊。以圖5D根據本發明之一實施例所繪示的深度資訊的設定方法示意圖為例，處理器140會在取得非邊緣區塊N1的深度資訊並且判定非邊緣區塊N2缺乏深度資訊後，將會以底面填充FL的方式來將非邊緣區塊N2的深度資訊設定成非邊緣區塊N1的深度資訊。

接著，處理器140將判斷是否所有非邊緣區塊已處理完畢（步驟S408）。若否，則處理器140將會設定下一個待處理的非邊緣區塊為目前非邊緣區塊，並且回到步驟S402。若是，即代表處理器140已處理完所有非邊緣區塊，而完成非邊緣區塊的深度資訊的設定，因此將會輸出邊緣區塊以及非邊緣區塊的深度資訊（步驟S410），以產生特定場景的深度圖。

綜上所述，本發明所提出產生深度圖的方法及其影像處理裝置與系統，其利用特定場景中具有邊緣資訊的區塊所計算出較為精確的深度資訊來估測不具有邊緣資訊的區塊所對應的深度資訊，以降低雜訊而達到更為精確的深度估測，從而助於提升後續例如是結構光、立體影像、距離偵測、安全監控等立體視覺應用的效能。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧系統

110‧‧‧第一影像感測器

120‧‧‧第二影像感測器

130‧‧‧記憶體

140‧‧‧處理器

S202~S210‧‧‧步驟

S、S1‧‧‧物件

L1~L3、E1~E3、R1~R3‧‧‧區塊

Img0‧‧‧原始影像

BD‧‧‧邊緣區塊的深度資訊

S400~S410‧‧‧步驟

SW‧‧‧切換

C1~C4‧‧‧條件

L_edge‧‧‧左邊緣區塊

R_edge‧‧‧右邊緣區塊

S51~S57‧‧‧物件

LI‧‧‧線性內插

CP、CP’‧‧‧複製

FL‧‧‧線性填充

N1、N2‧‧‧非邊緣區塊

圖1為根據本發明一實施例所繪示的產生深度圖的系統的方塊圖。圖2為根據本發明之一實施例所繪示的產生深度圖的方法流程圖。圖3為根據本發明之一實施例所繪示的邊緣區塊及其深度填補方向的示意圖。圖4為根據本發明之一實施例所繪示的非邊緣區塊的深度資訊的設定方法流程圖。圖5A為根據本發明之一實施例所繪示的原始影像的示意圖。圖5B根據本發明之一實施例所繪示的深度資訊的設定方法示意圖。圖5C根據本發明之一實施例所繪示的深度資訊的設定方法示意圖。圖5D根據本發明之一實施例所繪示的深度資訊的設定方法示意圖。

Claims

一種產生深度圖的方法，適用於具有第一影像感測器以及第二影像感測器的系統，該方法包括下列步驟：獲得第一原始影像以及第二原始影像，以及獲得對應於該第一原始影像的多個第一邊緣區塊和對應於該第二原始影像的多個第二邊緣區塊；根據所述第一邊緣區塊以及所述第二邊緣區塊，產生多個邊緣區塊的深度資訊；根據所述邊緣區塊相鄰的多個非邊緣區塊與所述邊緣區塊的相似度關係判斷各所述邊緣區塊的深度填補方向；根據所述邊緣區塊的該深度資訊以及該深度填補方向，設定所述非邊緣區塊的深度資訊，其中各所述非邊緣區塊的該深度資訊關聯於相鄰的所述邊緣區塊的該深度填補方向，各所述邊緣區塊的該深度填補方向關聯於該邊緣區塊相鄰的該非邊緣區塊與該邊緣區塊的該相似度關係；以及利用所述邊緣區塊的該深度資訊以及所述非邊緣區塊的該深度資訊，產生深度圖。
如申請專利範圍第1項所述的方法，其中獲得對應於該第一原始影像的所述第一邊緣區塊和對應於該第二原始影像的所述第二邊緣區塊的步驟包括：利用垂直方向的邊緣檢測濾波器，針對該第一原始影像以及該第二原始影像進行邊緣檢測，以分別自該第一原始影像以及該第二原始影像檢測出所述第一邊緣區塊以及所述第二邊緣區塊。
如申請專利範圍第1項所述的方法，其中獲得對應於該第一原始影像的所述第一邊緣區塊和對應於該第二原始影像的所述第二邊緣區塊的步驟包括：利用全向的邊緣檢測濾波器，針對該第一原始影像以及該第二原始影像進行邊緣檢測，以分別自該第一原始影像以及該第二原始影像檢測出多個第一全向邊緣區塊以及多個第二全向邊緣區塊；利用水平方向的邊緣檢測濾波器，針對該第一原始影像以及該第二原始影像進行邊緣檢測，以分別自該第一原始影像以及該第二原始影像檢測出多個第一水平邊緣區塊以及多個第二水平邊緣區塊；針對所述第一全向邊緣區塊與所述第一水平邊緣區塊進行相減，以產生所述第一邊緣區塊；以及針對所述第二全向邊緣區塊與所述第二水平邊緣區塊進行相減，以產生所述第二邊緣區塊。
如申請專利範圍第1項所述的方法，其中在根據所述邊緣區塊的該深度資訊以及該深度填補方向以及該深度填補方向，設定所述非邊緣區塊的該深度資訊的步驟之前，該方法更包括：根據該第一原始影像與該第二原始影像至少之一者，判斷各所述邊緣區塊的該深度填補方向，其中：當該邊緣區塊與其左側區塊的色彩相似度高時，該邊緣區塊的該深度填補方向為左方向；當該邊緣區塊與其右側區塊的色彩相似度高時，該邊緣區塊的該深度填補方向為該右方向；以及當該邊緣區塊同時與該左側區塊以及右側區塊的色彩相似度高、同時與該左側區塊以及右側區塊的色彩相似度低、或者為單一特徵時，該邊緣區塊的該深度填補方向為無方向。
如申請專利範圍第4項所述的方法，其中根據所述邊緣區塊的該深度資訊，設定所述非邊緣區塊的該深度資訊的步驟包括：針對各所述非邊緣區塊：取得所述邊緣區塊之中最接近該非邊緣區塊的左邊緣區塊以及右邊緣區塊的深度填補方向；以及根據該左邊緣區塊的該深度填補方向以及該右邊緣區塊的該深度填補方向，設定該非邊緣區塊的該深度資訊。
如申請專利範圍第5項所述的方法，其中各所述該非邊緣區塊的該深度資訊關聯於該左邊緣區塊的該深度資訊、該右邊緣區塊的該深度資訊、上方區塊的該深度資訊以及下方區塊的該深度資訊至少一者。
如申請專利範圍第5項所述的方法，其中所述非邊緣區塊包括目前非邊緣區塊，該目前非邊緣區塊的該左邊緣區塊的該深度填補方向為該右方向，該目前非邊緣區塊的該右邊緣區塊的該深度填補方向為該左方向，而設定該目前非邊緣區塊的該深度資訊的步驟包括：根據該左邊緣區塊的深度資訊以及該右邊緣區塊的深度資訊，基於線性內插法設定該目前非邊緣區塊的該深度資訊。
如申請專利範圍第5項所述的方法，其中所述非邊緣區塊包括目前非邊緣區塊，該目前非邊緣區塊的該左邊緣區塊的該深度填補方向為該右方向，該目前非邊緣區塊的該右邊緣區的該深度填補方向為該右方向或該無方向，而設定該目前非邊緣區塊的該深度資訊的步驟包括：複製該左邊緣區塊的該深度資訊，以設定為該目前非邊緣區塊的該深度資訊。
如申請專利範圍第5項所述的方法，其中所述非邊緣區塊包括目前非邊緣區塊，該目前非邊緣區塊的該左邊緣區塊的該深度填補方向為該左方向或該無方向，該目前非邊緣區塊的該右邊緣區塊的該深度填補方向為該左方向，而設定該目前非邊緣區塊的該深度資訊的步驟包括：複製該右邊緣區塊的該深度資訊，以設定為該目前非邊緣區塊的該深度資訊。
如申請專利範圍第5項所述的方法，其中所述非邊緣區塊包括目前非邊緣區塊，該目前非邊緣區塊的該左邊緣區塊的該深度填補方向為該左方向或該無方向，該目前非邊緣區塊的該右邊緣區塊的該深度填補方向為該右方向或該無方向，該目前非邊緣區塊的上方存在上區塊，而判斷該目前非邊緣區塊的該深度資訊的步驟包括：判斷該目前非邊緣區塊與該上區塊是否色彩相似度高並且該上區塊是否具有深度資訊；以及當判定該目前非邊緣區塊與該上區塊的色彩相似度高並且該上區塊具有該深度資訊時，複製該上區塊的該深度資訊，以設定為該目前非邊緣區塊的該深度資訊。
如申請專利範圍第5項所述的方法，其中所述非邊緣區塊包括目前非邊緣區塊，該目前非邊緣區塊的上方存在上區塊，而在取得該目前非邊緣區塊的該深度資訊的步驟之後，該方法更包括：判斷該目前非邊緣區塊與該上區塊是否色彩相似度高並且該上區塊是否具有深度資訊；以及當判定該目前非邊緣區塊與該上區塊的色彩相似度高並且該上區塊不具有該深度資訊時，根據該目前非邊緣區塊的該深度資訊，基於底面填充法設定該上區塊的該深度資訊。
一種產生深度圖的系統，包括：第一影像感測器以及第二影像感測器，用以擷取影像，以分別產生第一原始影像以及第二原始影像；記憶體，用以儲存資料；處理器，連接於該第一影像感測器、該第二影像感測器以及記憶體，用以：獲得該第一原始影像以及該第二原始影像，以及獲得對應於該第一原始影像的多個第一邊緣區塊和對應於該第二原始影像的多個第二邊緣區塊；根據所述第一邊緣區塊以及所述第二邊緣區塊，產生多個邊緣區塊的深度資訊；根據所述邊緣區塊相鄰的多個非邊緣區塊與所述邊緣區塊的相似度關係判斷各所述邊緣區塊的深度填補方向；根據所述邊緣區塊的該深度資訊以及該深度填補方向，設定所述非邊緣區塊的深度資訊，其中各所述非邊緣區塊的該深度資訊關聯於相鄰的所述邊緣區塊的該深度填補方向，各所述邊緣區塊的該深度填補方向關聯於該邊緣區塊相鄰的該非邊緣區塊與該邊緣區塊的該相似度關係；以及利用所述邊緣區塊的該深度資訊以及所述非邊緣區塊的該深度資訊，產生深度圖。
如申請專利範圍第12項所述的系統，其中該處理器根據該第一原始影像與該第二原始影像至少之一者，判斷各所述邊緣區塊的該深度填補方向，其中當該邊緣區塊與其左側區塊的色彩相似度高時，該邊緣區塊的該深度填補方向為左方向，當該邊緣區塊與其右側區塊的色彩相似度高時，該邊緣區塊的該深度填補方向為該右方向，以及當該邊緣區塊同時與該左側區塊以及右側區塊的色彩相似度高、同時與該左側區塊以及右側區塊的色彩相似度低、或者為單一特徵時，該邊緣區塊的該深度填補方向為無方向。
如申請專利範圍第13項所述的系統，其中針對各所述非邊緣區塊，該處理器取得所述邊緣區塊之中最接近該非邊緣區塊的左邊緣區塊以及右邊緣區塊的深度填補方向，以及根據該左邊緣區塊的該深度填補方向以及該右邊緣區塊的該深度填補方向，設定該非邊緣區塊的該深度資訊。
如申請專利範圍第14項所述的系統，其中各所述該非邊緣區塊的該深度資訊關聯於該左邊緣區塊的該深度資訊、該右邊緣區塊的該深度資訊、上方區塊的該深度資訊以及下方區塊的該深度資訊至少一者。
一種影像處理裝置，包括：記憶體，用以儲存資料；以及處理器，連接於記憶體，用以：獲得第一原始影像以及第二原始影像，以及獲得對應於該第一原始影像的多個第一邊緣區塊和對應於該第二原始影像的多個第二邊緣區塊；根據所述第一邊緣區塊以及所述第二邊緣區塊，產生多個邊緣區塊的深度資訊；根據所述邊緣區塊相鄰的多個非邊緣區塊與所述邊緣區塊的相似度關係判斷各所述邊緣區塊的深度填補方向；根據所述邊緣區塊的該深度資訊以及該深度填補方向，設定所述非邊緣區塊的深度資訊，其中各所述非邊緣區塊的該深度資訊關聯於相鄰的所述邊緣區塊的該深度填補方向，各所述邊緣區塊的該深度填補方向關聯於該邊緣區塊相鄰的該非邊緣區塊與該邊緣區塊的該相似度關係；以及利用所述邊緣區塊的該深度資訊以及所述非邊緣區塊的該深度資訊，產生深度圖。
如申請專利範圍第16項所述的影像處理裝置，其中該處理器根據該第一原始影像與該第二原始影像至少之一者，判斷各所述邊緣區塊的該深度填補方向，其中當該邊緣區塊與其左側區塊的色彩相似度高時，該邊緣區塊的該深度填補方向為左方向，當該邊緣區塊與其右側區塊的色彩相似度高時，該邊緣區塊的該深度填補方向為右方向，該邊緣區塊同時與該左側區塊以及右側區塊的色彩相似度高、同時與該左側區塊以及右側區塊的色彩相似度低、或者為所對應的該物件的單一特徵時，該邊緣區塊的該深度填補方向為無方向。
如申請專利範圍第17項所述的影像處理裝置，其中針對各所述非邊緣區塊，該處理器取得所述邊緣區塊之中最接近該非邊緣區塊的左邊緣區塊以及右邊緣區塊的深度填補方向，以及根據該左邊緣區塊的該深度填補方向以及該右邊緣區塊的該深度填補方向，設定該非邊緣區塊的該深度資訊，其中各所述該非邊緣區塊的該深度資訊關聯於該左邊緣區塊的該深度資訊、該右邊緣區塊的該深度資訊、上方區塊的該深度資訊以及下方區塊的該深度資訊至少一者。