TWI844863B - 視差圖像填補方法以及圖像處理裝置 - Google Patents

Abstract

視差圖像填補方法包含下列操作：對一視差圖像資料中的複數個第一無效點進行填補，以產生一第一圖像資料；以及對該第一圖像資料中的複數個第二無效點進行填補，以產生一第二圖像資料，其中，該些第一無效點是基於一第一步長搜索該視差圖像資料中的有效點來進行填補，該些第二無效點是基於一第二步長搜索該第一圖像資料中的有效點來進行填補，且該第一步長小於該第二步長。

Description

視差圖像填補方法以及圖像處理裝置

本案是關於視差圖像填補方法，尤其是關於利用局部遮擋區的資訊來填補視差圖像資料的視差圖像填補方法以及圖像處理裝置。

在一般應用中，視差圖可提供機器來判斷空間中某一點的深度資訊。視差圖是由多個相機從不同角度進行拍攝來產生的圖像資訊。由於多個相機之間的取景角度的差異，視差圖的部分畫素可能會缺少視差資訊。在一些應用中，是直接透過濾波方式來填補該些畫素所缺少的視差資訊。然而，直接使用濾波來進行填補所得到的視差資訊可能會較不準確，進而降低深度資訊的準確性。

於一些實施態樣中，本案的目的之一在於提供一種可利用局部遮擋區的資訊來填補視差圖像資料的視差圖像填補方法以及圖像處理裝置，以改善先前技術的不足。

於一些實施態樣中，視差圖像填補方法包含下列操作：對一視差圖像資料中的複數個第一無效點進行填補，以產生一第一圖像資料；以及對該第一圖像資料中的複數個第二無效點進行填補，以產生一第二圖像資料。其中，該些第一無效點是基於一第一步長搜索該視差圖像資料中的有效點來進行填補，該些第二無效點是基於一第二步長搜索該第一圖像資料中的有效點來進行填補，且該第一步長小於該第二步長。

於一些實施態樣中，圖像處理裝置包含第一圖像填補電路以及第二圖像填補電路。第一圖像填補電路對視差圖像資料中的複數個第一無效點進行填補，以產生第一圖像資料。第二圖像填補電路對第一圖像資料中的複數個第二無效點進行填補，以產生第二圖像資料。其中該些第一無效點是基於第一步長搜索該視差圖像資料中的有效點來進行填補，該些第二無效點是基於第二步長搜索該第一圖像資料中的有效點來進行填補，且該第一步長小於該第二步長。

於一些實施態樣中，視差圖像填補方法包含下列操作：判斷一第一圖像資料中的複數個無效點是否位於一第一遮擋區與一第二遮擋區中的一對應遮擋區；以及根據該第一圖像資料中位於該對應遮擋區所處方向上的複數個第一有效點填補該些無效點中的一對應者，以產生一第二圖像資料。

有關本案的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。

1~9:畫素

100:視差圖像填補方法

300:物體

310:左遮擋區

320:右遮擋區

400:圖像處理裝置

410:視差判斷電路

420:緩衝器

430,440:圖像填補電路

431:有限狀態機

432:處理電路

433,510,610,620,630:記憶體

434:讀取控制電路

450:濾波電路

520:暫存器

D1,D2:圖像資料

DA:無效圖像資料

DA1,DA2:部分資料

DIN:視差圖像資料

DO:輸出圖像資料

L1~L6:虛線

N:空白點

P1,P5:無效點

P2~P4,P6~P9:有效點

S110,S120,S130:操作

〔圖1〕為根據本案一些實施例繪製一種視差圖像填補方法的流程圖；〔圖2〕為根據本案一些實施例繪製對視差圖像資料中的一個第一無效點進行填補的操作示意圖；〔圖3A〕為根據本案一些實施例繪製一種視差圖像資料的圖像示意圖；〔圖3B〕為根據本案一些實施例繪製搜索第一圖像資料中的一個第二無效點周圍的有效點之操作示意圖；〔圖3C〕為根據本案一些實施例繪製對第二圖像資料中的一個第二無效點進行填補的操作示意圖；〔圖4A〕為根據本案一些實施例繪製一種圖像處理裝置的示意圖；〔圖4B〕為根據本案一些實施例繪製圖4A中的圖像填補電路的示意圖；〔圖4C〕為根據本案一些實施例繪製圖4A中的圖像填補電路的示意圖；〔圖5A〕為根據本案一些實施例繪製圖4A中的緩衝器的示意圖；〔圖5B〕為根據本案一些實施例繪製圖5A中的暫存器的資料儲存方式的示意圖；〔圖6A〕為根據本案一些實施例繪製圖4A中的緩衝器的示意圖；以及〔圖6B〕為根據本案一些實施例繪製圖6A中的多個記憶體的資料排列方式的示意圖。

本文所使用的所有詞彙具有其通常的意涵。上述之詞彙在普遍常用之字典中之定義，在本案的內容中包含任一於此討論的詞彙之使用例子僅 為示例，不應限制到本案之範圍與意涵。同樣地，本案亦不僅以於此說明書所示出的各種實施例為限。

關於本文中所使用之『耦接』或『連接』，均可指二或多個元件相互直接作實體或電性接觸，或是相互間接作實體或電性接觸，亦可指二或多個元件相互操作或動作。如本文所用，用語『電路』可為由至少一個電晶體與/或至少一個主被動元件按一定方式連接以處理訊號的裝置。

於一些實施例中，本案的目的之一在於藉由偵測遮擋區來預測視差圖像資料中缺失視差資訊的畫素，並據此填補該畫素的資料值以產生更為準確的視差圖像資料。

圖1為根據本案一些實施例繪製一種視差圖像填補方法100的流程圖。於一些實施例中，視差圖像填補方法100可用來填補視差(disparity)圖像資料中缺失視差資訊的畫素(後稱為無效點)的資料值。在一些應用中，視差圖像資料為藉由兩個攝影機從物體前的不同方向(例如為左前方與右前方)進行拍攝所產生的圖像資料。例如，位於左前方的攝影機可拍攝該物體來產生第一圖像資料，位於右前方的攝影機可拍攝該物體來產生第二圖像資料，並可根據該物體在第一與第二圖像資料中的成像位置的差異來產生視差圖像資料。在一些應用中，視差圖像資料可用來判斷物體與攝影機之間的距離。

於操作S110，對視差圖像資料中的多個第一無效點進行填補，以產生第一圖像資料。於一些實施例中，可利用該些第一無效點中每一者周圍的多個有效點(即在視差圖像資料中具有視差資訊的畫素)的資料值來填補該些第一無效點。藉由上述操作，可填補視差圖像資料中一些面積較小的無效區 域(可能由一或多個無效點形成)，以使在該無效區域中的畫素具有一定的資料值。關於此處的詳細操作將於後參照圖2說明。

於操作S120，判斷第一圖像資料中的多個第二無效點是否位於第一遮擋區與第二遮擋區中的一對應遮擋區。於操作S130，根據第一圖像資料中位於該對應遮擋區所處方向上的多個有效點填補多個第二無效點中之一者，以產生第二圖像資料。在一些實施例中，遮擋區是指因為多個攝影機之間的拍攝角度的差異而在視差圖像資料形成的一特定區域，在該特定區域中的畫素缺失視差資訊(故為由無效點形成的區域)。藉由上述兩個操作，可填補視差圖像資料中一些面積較大的無效區域(即為遮擋區)，以使在該無效區域中的畫素具有有效的資料值。關於操作S120與操作S130將於後參照圖3詳細說明。

於一些實施例中，視差圖像填補方法100可更包含另一操作(未示出)，在此操作中，可對第二圖像資料執行濾波(例如為中值濾波)，以產生輸出圖像資料。例如，可根據位於第二圖像資料中的無效點周圍的多個有效點的數值來計算出該無效點的資料值。於一些實施例中，可將該無效點的上方、下方、左方、左上方、左下方、右方、右上方、右下方的多個有效點的數值進行排序，並取出該些有效點的數值之間的一中間值為該無效點的資料值。如此，藉由重覆執行上述步驟，可填補第二圖像資料中剩餘的無效點，以產生具有完整視差資訊的輸出圖像資料。

上述視差圖像填補方法100的多個操作僅為示例，並非限定需依照此示例中的順序執行。在不違背本案的各實施例的操作方式與範圍下，在視差圖像填補方法100下的各種操作當可適當地增加、替換、省略或以不同順序執行(例如可以是同時執行或是部分同時執行)。

圖2為根據本案一些實施例繪製對視差圖像資料中的一個第一無效點進行填補的操作示意圖。圖2所示的操作對應於圖1的操作S110。在圖2中，具有網點背景的方格表示搜尋範圍內的畫素，具有空白背景的方格表示為缺失視差資訊的畫素(即無效點)，而具有斜線背景的方格表示為具有視差資訊的畫素(即有效點)。

於一些實施例中，操作S110可包含四個步驟。在第一步驟中，找出在視差圖像資料中位於第一無效點(例如為無效點P1)周圍的有效點。詳細而言，可將無效點P1作為中心，沿著左方向、左上方向、上方向、右上方向、右方向、右下方向、下方向以及左下方向以第一步長(或可理解為搜尋半徑)搜尋最近的有效點。在圖2的例子中，第一步長為3個畫素。以無效點P1為中心，可沿著左上方向、右上方向以及右方向依序找到有效點P2、P3以及P4，而在其它方向則找不到有效點。

在第二步驟中，若該些有效點的數量大於或等於預設值，根據該些有效點填補該第一無效點。在第三步驟中，若該些有效點的數量小於預設值，不填補該第一無效點。例如，預設值可為(但不限於)6。在前述的例子中，有效點P2~P4的數量小於6。因此，在此例中，無效點P1未被填補。於一些實施例中，若該些有效點的數量大於或等於6，可將無效點的資料值設置為該些有效點的數值之間的一中間值。在另一些實施例中，若該些有效點的數量大於或等於6，可根據該些有效點的數值進行一統計運算來決定該無效點的資料值。在第四步驟中，重複執行第一至第三步驟，直到處理完視差圖像資料中所有的第一無效點，並將填補後的視差圖像資料輸出為第一圖像資料。

圖3A為根據本案一些實施例繪製一種視差圖像資料的圖像示意圖。如前所述，視差圖像資料為藉由兩個(或兩個以上)攝影機從一物體的左前方與右前方進行拍攝所產生的。例如，在圖3A中，物體300為被拍攝的主體，而左遮擋區310以及右遮擋區320是因為拍攝角度的差異所產生的無效區域。例如，位於物體300右前方的攝影機(未示出)因物體300的遮擋而無法拍到物體左後方的特定區域，使得視差圖像資料在該特定區域缺失視差資訊而形成左遮擋區310。類似地，位於物體300左前方的攝影機(未示出)因物體300的遮擋而無法拍到物體右後方的特定區域，使得視差圖像資料在該特定區域缺失視差資訊而形成右遮擋區320。上述關於遮擋區的形成來源僅用於示例，且本案並不以此為限。

為了可提高在左遮擋區310以及右遮擋區320的視差資訊之預測準確率，於一些實施例中，將以下列多個概念為基礎來分析圖3A的圖像內容。首先，同樣位於前景或位於後景的多個畫素之間的視差資訊的關聯度較高，且若多個畫素之間的位置越接近，關聯度就越高。一般而言，依據景深的差異，圖像可以大致分成前景或後景。例如，物體300本身以及物體300之前的景物(若有)屬於前景，而物體300之後的景物屬於後景。若兩個畫素的位置皆位於前景(例如都位於物體300上)，則可推估這兩個畫素的視差較為接近。若兩個畫素在物體300上的位置越接近，則兩個畫素的視差資訊越有可能相同，故關聯度就越高。再者，若畫素位於遮擋區，則該畫素的視差接近於後景。例如，可將前述的左遮擋區310與右遮擋區320理解為受到前景的景物影響而使得後景的景物沒有同時被左右兩個攝影機拍攝到所形成的無效區域。由於被遮擋的景物 屬於後景，故可合理認為左遮擋區310與右遮擋區320中的畫素的視差與後景較為接近。

一般來說，位於前景的畫素視差較大，而位於後景的畫素視差較小。因此，可進一步推得，若位於無效點左方最近的有效點與位於該無效點右方最近的有效點之間的視差差值大於或等於一臨界值，則可判斷該無效點位於右遮擋區320；反之，若位於無效點右方最近的有效點與該位於無效點左方最近的有效點之間的視差差值大於或等於該臨界值，則可判斷該無效點位於左遮擋區310。若前述的視差差值小於臨界值，則判斷該無效點不位於右遮擋區320或左遮擋區310。基於上述概念，於一些實施例中，可利用位於左遮擋區310的畫素左方的有效點來填補該畫素，並可利用位於右遮擋區320的畫素右方的有效點來填補該畫素。關於此處的詳細操作將於後參照圖3B說明。

圖3B為根據本案一些實施例繪製搜索第一圖像資料中的一個第二無效點周圍的有效點之操作示意圖。圖3B所示的操作對應於圖1的操作S120。類似於圖2，在圖3B，具有網點背景的方格表示搜尋範圍內的畫素，具有空白背景的方格表示為無效點，而具有斜線背景的方格表示為有效點。

於一些實施例中，操作S120可包含下述多個步驟。在第一步驟中，從多個第二無效點中之一對應者沿著朝向第一遮擋區的第一方向找出第一有效點。在第二步驟中，從該對應者沿著朝向第二遮擋區的第二方向找出第二有效點，其中第一方向與第二方向為互相相反的方向。例如，如圖3B所示，可將無效點P5作為中心，沿著左方向(即第一方向，其朝向左遮擋區310)以第二步長(此例中為6個畫素)搜尋最近的有效點並沿著右方向(即第二方向，其朝向右遮擋區320)以第二步長搜尋最近的有效點。藉由上述方式，可在無效點P5 左方找到有效點P6(即第一有效點)，並在無效點P5右方找到有效點P7(即第二有效點)。

在第三步驟，比較第一有效點以及第二有效點，以確認該些第二無效點中的該對應者是位於第一遮檔區或是第二遮擋區。例如，可確認有效點P6的資料值減去有效點P7的資料值所得到的差值是否大於或等於一臨界值。若該差值大於或等於臨界值，代表有效點P6的視差(即資料值)較大而有效點P7的視差較小。於此條件下，可判斷有效點P6的視差接近前景(例如，有效點P6可位於圖3A的物體300上)，並判斷有效點P7的視差接近後景(例如，有效點P7可位於圖3A的物體300左後方的景物上)，進而判斷出無效點P5位於右遮擋區320。類似地，若有效點P7的資料值減去有效點P6的資料值所得到的差值大於或等於臨界值，可判斷有效點P7位於左遮擋區310。或者，若有效點P6的資料值與有效點P7的資料值之間的差值小於臨界值，代表有效點P6與有效點P7兩者的視差很接近，故可判斷出無效點P5不位於左遮擋區310或是右遮擋區320。於一些實施例中，若在第二步驟中，沿著左方向以第二步長無法找到有效點，可判斷無效點P5位於右遮擋區320。類似地，在第二步驟中，沿著右方向以第二步長無法找到有效點，可判斷無效點P5位於左遮擋區310。

圖3C為根據本案一些實施例繪製對第二圖像資料中的一個第二無效點進行填補的操作示意圖。圖3C所示的操作對應於圖1的操作S130。類似於圖3B，具有網點背景的方格表示搜尋範圍內的畫素，具有空白背景的方格表示為無效點，而具有斜線背景的方格表示為有效點。

於一些實施例中，操作S130可包含下述多個步驟。在第一步驟中，從多個第二無效點中的對應者沿著朝向該對應遮檔區的多個方向(即對應 遮擋區所處方向)找出多個有效點。在第二步驟中，根據該些有效點填補該些第二無效點中的對應者。

例如，在圖3B的例子中，確認無效點P5位於圖3A的右遮擋區320(即對應遮擋區)。因此，如圖3C所示，可以無效點P5為中心，沿著朝向右遮擋區320的右方向、右上方向以及右下方向以第二步長找出最近的多個有效點P7、P8以及P9。接著，可排序多個有效點P7~P9的資料值以選出具有中間值的一者，並將無效點P5的資料值設定為該中間值。藉由上述的設置方式，可判斷無效點P5位在的對應遮擋區為何，再利用同樣位於該對應遮檔區的多個有效點P7~P9來填補無效點P5，以提升無效點P5的視差準確度。

於一些實施例中，前述的第二步長可基於第二圖像資料中之一區塊(tile)的資料尺寸設定，其中該區塊為每次處理的資料大小。例如，若區塊的資料尺寸為128×128(即一個區塊內含有128×128個畫素)，則第二步長可設置為127，以確保在每次的搜索過程中可以完整搜索完一個區塊。於一些實施例中，操作S110中所使用的第一步長可設置為小於操作S120與S130中所使用的第二步長。藉由上述設置方式，操作S110可用來填補面積較小的無效區域，而操作S130可用來填補面積較大的無效區域。

為易於理解，圖3B與圖3C是以一個無效點進行填補為例進行說明。應當理解，藉由重複執行圖3B與圖3C的多個操作，可填補第一圖像資料中的大部分無效點，以產生第二圖像資料。接著，可利用中值濾波等操作來填補第二圖像資料中剩餘的零星無效點，以產生更為完整的輸出圖像資料。

圖4A為根據本案一些實施例繪製一種圖像處理裝置400的示意圖。圖像處理裝置400可用來執行圖1的視差圖像填補方法100。

圖像處理裝置400包含視差判斷電路410、緩衝器420、圖像填補電路430、圖像填補電路440以及濾波電路450。視差判斷電路410搜索視差圖像資料DIN的多個無效點，以產生無效圖像資料DA。例如，在視差圖像資料DIN中，有效點的資料值可設定為0至256(依視差而定)，而無效點的資料值可設定為一預設負數。視差判斷電路410可逐一查看視差圖像資料DIN中所有畫素的資料值，以將具有資料值為預設負數的多個畫素的位置進行標記以產生無效圖像資料DA。換言之，無效圖像資料DA可指示視差圖像資料DIN的多個無效點的對應位置。例如，在無效圖像資料DA中，可將對應於有效點的畫素資料值設置為邏輯值1，並將對應於無效點的畫素資料值設置為邏輯值0。如此，可根據多個邏輯值0的位置快速找到視差圖像資料DIN的多個無效點。

緩衝器420儲存視差圖像資料DIN以及無效圖像資料DA。圖像填補電路430耦接至緩衝器420，以讀取視差圖像資料DIN或無效圖像資料DA中的至少一者，以對視差圖像資料DIN的多個無效點進行填補以產生圖像資料D1(即圖1的操作S110)，並儲存圖像資料D1於緩衝器420。例如，圖像填補電路430可根據視差圖像資料DIN中多個畫素的資料值確認多個無效點的位置，並執行操作S110填補多個第一無效點以產生圖像資料D1。或者，圖像填補電路430可根據無效圖像資料DA的資料值確認視差圖像資料DIN中多個無效點的位置，並依據視差圖像資料DIN執行操作S110填補多個無效點以產生圖像資料D1。於一些實施例中，圖像填補電路430可逐塊地讀入視差圖像資料DIN與/或無效圖像資料DA，並依序執行操作S110。

圖像填補電路440耦接至緩衝器420，以讀取無效圖像資料DA以及圖像資料D1。圖像填補電路440可判斷圖像資料D1中的多個無效點是否位於 一對應遮擋區(即圖1的操作S120)，並根據圖像資料D1中位於該對應遮檔區所處方向上的多個有效點填補圖像資料D1中的多個無效點以產生圖像資料D2(即圖1的操作S130)，並儲存該圖像資料D2至緩衝器420。濾波電路450耦接至緩衝器420，以讀取圖像資料D2並對圖像資料D2執行中值濾波以產生輸出圖像資料DO。

圖4B為根據本案一些實施例繪製圖4A中的圖像填補電路430的示意圖。於此例中，圖像填補電路430包含有限狀態機431以及處理電路432。有限狀態機431可用來實現操作S110的多個步驟。於一些實施例中，處理電路432可包含加法器、計數器、比較器等電路，以對資料進行比較與排序。處理電路432可與有限狀態機431協同運作，以根據緩衝器420中的視差圖像資料DIN與/或無效圖像資料DA中至少一者來執行圖1的操作S110。於一些實施例中，圖像填補電路430可依序更新緩衝器420中的視差圖像資料DIN中的多個資料值並根據已填補的多個第一無效點更新緩衝器420中的無效圖像資料DA。例如，可由左到右，並從上到下的順序來依序更新視差圖像資料DIN中的多個資料值，以將視差圖像資料DIN更新為圖像資料D1並對應地更新緩衝器420中的無效圖像資料DA。於一些實施例中，圖像填補電路440的實施方式可類似於圖4B中所示的設置方式，故於此不再重複贅述。

圖4C為根據本案一些實施例繪製圖4A中的圖像填補電路430的示意圖。相較於圖4B，於此例中，圖像填補電路430更包含記憶體433以及讀取控制電路434。讀取控制電路434以區塊(title)為單位從緩衝器420逐塊地讀取視差圖像資料DIN到記憶體433，以供處理電路432與有限狀態機431進行無效點填補的操作。於一些實施例中，記憶體433可由暫存器實施。在圖像填補電路 430處理完一個區塊(相當於圖像資料D1的一部分資料)後，圖像填補電路440可接著對處理完的該區塊進行第二次填補(即操作S120與S130)。藉由上述設置方式，可進一步提高圖像填補的操作速度。

圖5A為根據本案一些實施例繪製圖4A中的緩衝器420的示意圖。於此例中，緩衝器420包含記憶體510與暫存器520。記憶體510儲存視差圖像資料DIN，暫存器520儲存無效圖像資料DA。於一些實施例中，記憶體510可為(但不限於)靜態隨機存取記憶體。圖像填補電路440可自暫存器520讀取無效圖像資料DA以找出視差圖像資料DIN中的多個有效點並執行操作S130。

圖5B為根據本案一些實施例繪製圖5A的暫存器520的資料儲存方式的示意圖。如先前圖3B所示，在確認對應遮擋區後，可沿著無效點P5來朝向對應遮擋區的多個方向來搜索多個有效點，其中該些方向包含水平方向(例如左方向或右方向)、具有正斜率的斜線方向(例如為右上方向或左下方向)與具有負斜率的斜線方向(例如為右下方向或左上方向)。一般而言，圖像資料為依照行列的方式排序儲存於暫存器中，然而，當沿著一斜線方向來搜索有效點時，讀取暫存器中以此種方式儲存的資料需要讀取多條資料讀取線的資料才能得對應該斜線方向上各畫素對應的值，此舉將耗費大量時間。於此例中，無效圖像資料DA中的資料排列方式係旋轉特定角度(此例為45度)後再儲存於暫存器520，使一斜線方向上的所有畫素係位於暫存器520同一資料讀取線上，如此一來，讀取同一條資料讀取線即可得到一斜線方向上的所有畫素所對應值，藉此可提昇斜線方向上的搜索效率。

詳細來說，如圖5B所示，無效圖像資料DA上標記有畫素1~9的對應邏輯值。畫素1~9分別對應於視差圖像資料DIN中前3行與前3列的多個 畫素。多條虛線L1~L5相當於暫存器520的資料讀取線，沿著虛線L1讀取，可讀取到畫素1的對應資料值。沿著虛線L2讀取，可讀取到畫素4與畫素2的對應資料值。沿著虛線L3讀取，可讀取到排列畫素7、畫素5與畫素3的對應邏輯值，以此類推。按照上述的讀取方式，相當於沿著右上方向(若讀取順序相反，為左下方向)來讀取多個畫素的對應資料值。若資料值為邏輯1，代表該畫素在視差圖像資料DIN為有效點。暫存器520可藉由這些資料讀取線來沿著斜線方向搜索斜線方向上的有效點，以快速地獲取該些有效點的對應地址。

圖6A為根據本案一些實施例繪製圖4A中的緩衝器420的示意圖。於此例中，緩衝器420包含記憶體610、620與630。記憶體610儲存視差圖像資料DIN。於一些實施例中，記憶體610、620與630中每一者可為(但不限於)靜態隨機存取記憶體。記憶體620儲存無效圖像資料DA的部分資料DA1，且記憶體630儲存無效圖像資料DA的另一部分資料DA2。於一些實施例中，部分資料DA1及部分資料DA2可分別包含無效圖像資料DA的全部資料，而部分資料DA1的儲存方式不同於部分資料DA2。圖像填補電路440可自記憶體620與記憶體630讀取無效圖像資料DA以獲得視差圖像資料DIN中多個有效點的儲存地址，以找出該些有效點並執行操作S130。

圖6B為根據本案一些實施例繪製圖6A的記憶體610、620與630的資料儲存方式的示意圖。不同於圖5B，在圖6A的例子，記憶體620與記憶體630可為靜態隨機存取記憶體。一般而言，靜態隨機存取記憶體是逐行逐列讀取資料。若圖像資料中的多個畫素的資料值仍是以原有的行列方式儲存於記憶體，將耗費大量時間來讀取記憶體才可得到對應斜線方向上的畫素之資料值。於此例中，部分資料DA1中標記的多個畫素之資料值是將無效圖像資料DA按照 具有正斜率的斜線方向(例如，右上方向或左下方向)重新排列後再儲存於記憶體620。如前所述，畫素1~9分別對應於視差圖像資料DIN中前3行與前3列的多個畫素。在記憶體620中，第一列的資料值依序對應於畫素1、空白點N(相當於無效點)與空白點N，第二列的資料值依序對應於畫素4、畫素2與空白點N，第三列的資料值依序對應於畫素7、畫素5與畫素3。依此類推，應可理解，若逐行逐列讀取記憶體620，相當於按照沿著右上方向(若讀取順序相反，為左下方向)搜索多個有效點。如此，記憶體620可讀取出無效圖像資料DA在具有正斜率的斜線方向上的多個畫素被標記的資料值。

類似地，部分資料DA2中標記的多個畫素之資料值是將無效圖像資料DA按照具有負斜率的斜線方向(例如，左上方向或右下方向)重新排列後再儲存於記憶體630。例如，在記憶體630中，第一列的資料值依序對應於畫素1、空白點N與空白點N，第二列的資料值依序對應於畫素4、畫素2與空白點N，第三列的資料值依序對應於畫素3、畫素5與畫素7。依此類推，應可理解，若逐行逐列讀取記憶體620，可相當於按照沿著左上方向(若讀取順序相反，為右下方向)搜索多個有效點。如此，記憶體630可讀取出無效圖像資料DA在具有負斜率的斜線方向上的多個畫素被標記的資料值。相較於圖5B，藉由圖6A與圖6B的設置方式，在一些應用中可節省一些資料讀取線的數量，進而降低整體電路的整體面積。應當理解，圖6B是用來說明部分資料DA1與DA2的資料排列方式與視差圖像資料DIN中的多個畫素1~9之間的對應位置關係，其中部分資料DA1與DA2載有的資料值是用來標記視差圖像資料DIN中的多個畫素1~9是有效點或無效點，而視差圖像資料DIN所載有的資料值是多個畫素1~9的視差資訊。

綜上所述，本案一些實施例中的視差圖像填補方法與圖像處理裝置可利用局部遮擋區的資訊來填補視差圖像資料中缺失視差資訊的畫素。如此，可提升該畫素的視差資訊的準確性。

雖然本案之實施例如上所述，然而該些實施例並非用來限定本案，本技術領域具有通常知識者可依據本案之明示或隱含之內容對本案之技術特徵施以變化，凡此種種變化均可能屬於本案所尋求之專利保護範疇，換言之，本案之專利保護範圍須視本說明書之申請專利範圍所界定者為準。

100:視差圖像填補方法 S110, S120, S130:操作

Claims (13)

1. 一種視差圖像填補方法，執行於一圖像處理裝置，且該視差圖像填補方法包含：藉由該圖像處理裝置對一視差圖像資料中的複數個第一無效點進行填補，以產生一第一圖像資料；以及藉由該圖像處理裝置對該第一圖像資料中的複數個第二無效點進行填補，以產生一第二圖像資料；其中，該些第一無效點是基於一第一步長搜索該視差圖像資料中的有效點來進行填補，該些第二無效點是基於一第二步長搜索該第一圖像資料中的有效點來進行填補，且該第一步長小於該第二步長，且藉由該圖像處理裝置對該視差圖像資料中的該些第一無效點進行填補，以產生該第一圖像資料包含：藉由該圖像處理裝置找出在該視差圖像資料中位於該些第一無效點中的一第一點周圍的複數個第二有效點；以及若該些第二有效點的數量大於或等於一預設值，藉由該圖像處理裝置根據該些第二有效點填補該第一點；或若該些第二有效點的數量小於該預設值，不填補該第一點。
2. 如請求項1之視差圖像填補方法，更包含：藉由該圖像處理裝置根據該第一圖像資料中鄰近於該些第二無效點的有效點判斷該第一圖像資料中的該些第二無效點是否位於一第一遮擋區與一第二遮擋區中的一對應遮擋區； 其中，藉由該圖像處理裝置對該第一圖像資料中該些第二無效點進行填補的操作包含：藉由該圖像處理裝置根據該第一圖像資料中位於該對應遮擋區所處方向上的複數個第一有效點填補該些第二無效點中的一對應者。
3. 如請求項2之視差圖像填補方法，其中藉由該圖像處理裝置根據該第一圖像資料中鄰近於該些第二無效點的有效點判斷該第一圖像資料中的該些第二無效點是否位於該第一遮擋區與該第二遮擋區中的該對應遮擋區包含：藉由該圖像處理裝置從該些第二無效點中之該對應者沿著朝向該第一遮擋區的一第一方向找出一第三有效點；藉由該圖像處理裝置從該對應者沿著朝向該第二遮擋區的一第二方向搜索一第四有效點；以及藉由該圖像處理裝置比較該第三有效點與該第四有效點，以確認該對應者是位於該第一遮擋區或是該第二遮擋區。
4. 如請求項3之視差圖像填補方法，其中該第一方向與該第二方向互相相反。
5. 如請求項1之視差圖像填補方法，更包含：藉由該圖像處理裝置對該第二圖像資料執行一中值濾波，以產生一輸出圖像資料。
6. 一種圖像處理裝置，包含： 一第一圖像填補電路，對一視差圖像資料中的複數個第一無效點進行填補，以產生一第一圖像資料，其中該第一圖像填補電路找出在該視差圖像資料中位於該些第一無效點中的一第一點周圍的複數個第二有效點，若該些第二有效點的數量大於或等於一預設值，該第一圖像填補電路根據該些第二有效點填補該第一點，或若該些第二有效點的數量小於該預設值，該第一圖像填補電路不填補該第一點；以及一第二圖像填補電路，對該第一圖像資料中的複數個第二無效點進行填補，以產生一第二圖像資料；其中，該些第一無效點是基於一第一步長搜索該視差圖像資料中的有效點來進行填補，該些第二無效點是基於一第二步長搜索該第一圖像資料中的有效點來進行填補，且該第一步長小於該第二步長。
7. 如請求項6之圖像處理裝置，更包含：一視差判斷電路，搜索該視差圖像資料中的該些第一無效點，以產生一無效圖像資料；以及一緩衝器，儲存該視差圖像資料以及該無效圖像資料。
8. 如請求項7之圖像處理裝置，其中該第一圖像填補電路根據該第一圖像資料更新該緩衝器中所儲存的該無效圖像資料。
9. 如請求項7之圖像處理裝置，其中該緩衝器包含：一靜態隨機存取記憶體，儲存該視差圖像資料；以及一暫存器，儲存該無效圖像資料。
10. 如請求項9之圖像處理裝置，其中該暫存器中的一資料讀取線可讀取該無效圖像資料在一斜線方向上複數個畫素的標記值。
11. 如請求項9之圖像處理裝置，其中該第二圖像填補電路依據該緩衝器中的該無效圖像資料搜索該第一圖像資料中的有效點。
12. 如請求項6之圖像處理裝置，更包含：一第一記憶體，儲存該視差圖像資料；一第二記憶體，儲存一第一資料；以及一第三記憶體，儲存一第二資料；其中，該第一資料係一無效圖像資料沿一第一斜率方向排列的資料，而該第二資料係該無效圖像資料沿一第二斜率方向排列的資料，該無效圖像資料係標示該視差圖像資料中的複數無效點。
13. 一種視差圖像填補方法，執行於一圖像處理裝置，且該視差圖像填補方法包含：藉由該圖像處理裝置對一視差圖像資料中的複數個第一無效點進行填補，以產生一第一圖像資料；藉由該圖像處理裝置判斷該第一圖像資料中的複數個第二無效點是否位於一第一遮擋區與一第二遮擋區中的一對應遮擋區；以及藉由該圖像處理裝置根據該第一圖像資料中位於該對應遮擋區所處方向上的複數個第一有效點填補該些第二無效點中的一對應者，以產生一第二圖像資料， 其中藉由該圖像處理裝置判斷該第一圖像資料中的該些第二無效點是否位於該第一遮擋區與該第二遮擋區中的該對應遮擋區包含：從該些第二無效點中之該對應者沿著朝向該第一遮擋區的一第一方向找出一第三有效點；從該對應者沿著朝向該第二遮擋區的一第二方向搜索一第四有效點；以及比較該第三有效點與該第四有效點，以確認該對應者是位於該第一遮擋區或是該第二遮擋區，其中藉由該圖像處理裝置對該視差圖像資料中的該些第一無效點進行填補，以產生該第一圖像資料包含：藉由該圖像處理裝置找出在該視差圖像資料中位於該些第一無效點中的一第一點周圍的複數個第二有效點；以及若該些第二有效點的數量大於或等於一預設值，藉由該圖像處理裝置根據該些第二有效點填補該第一點；或若該些第二有效點的數量小於該預設值，不填補該第一點。