TWI698836B

TWI698836B - 具備雙倍搜索區間的立體匹配方法

Info

Publication number: TWI698836B
Application number: TW108137961A
Authority: TW
Inventors: 陳永緯; 薛樂山
Original assignee: 大陸商南京深視光點科技有限公司
Priority date: 2019-10-21
Filing date: 2019-10-21
Publication date: 2020-07-11
Also published as: TW202117665A

Abstract

本發明揭露一種具備雙倍搜索區間的立體匹配方法，主要透過一匹配代價演算法，獲得一參考影像的一或多個像素在一視差搜索區間內，對應於一目標影像分別在一搜索視差時的多個代價值(第0~第2 ⁿ⁺¹-1代價值)後，再對於第2 ^n-1～第2 ⁿ-1代價值及第2 ⁿ～第2 ⁿ⁺¹-1代價值，依序從兩相鄰與四相鄰的代價值中選擇最大值，再依據掃描順序分別填入一代價陣列的第2 ^n-1～2 ^n-1+2 ^n-2-1陣列元素及第2 ^n-1+2 ^n-2～第

Description

具備雙倍搜索區間的立體匹配方法

本發明涉及立體視覺(Stereo Vision)技術，尤指一種可提供雙倍搜索區間(search range)，但不影響記憶體儲存匹配代價(matching cost)儲存成本的「具備雙倍搜索區間的立體匹配方法」。

一般而言，立體視覺技術廣義來說包括兩個階段。前期階段利用立體匹配(stereo matching)來估算兩張影像之間的視差(視差為兩張影像在同一掃描水平線的像素距離)以生成一視差圖(disparity map)，再根據三角函數原理，便能演算出一深度圖(depth map)；後期階段則是利用深度圖來產生不同視角的影像；於前期階段中，視差估算主要包括四個步驟：匹配代價估算(matching cost computation)、代價聚合(cost aggregation)、視差選擇與最佳化以及視差矯正(refine stage)。

由於影像成像特性的不同，例如不同的相機拍攝、成像比例尺及拍攝場景變化等因素，造成了影像的幾何性差異(Geometric differences)及輻射性差異(Radiometric differences)，計算匹配代價值的目的為量化兩張影像中對應像素間輻射品質(Radiometric quality)相異性(Dissimilarity)的程度，而匹配代價估算是用以找出兩張影像(例如左眼與右眼影像)之間的差異(此可稱為代價值cost)，而於代價聚合階段中，則可利用代價聚合方法依據鄰近像素的代價值來調整(例如累加)代價值，藉以提高像素之間的關聯性(relation)與代價值的可靠度，而在獲得經由累加後的代價值之後，即利用上述代價值來執行視差選擇與最佳化。

又，進行立體匹配時，若要偵測一近物(close object)，通常需要增加左右眼影像在同一掃描線(scan line或epipolar line)的搜索區間，而在匹配代價估算與代價聚合階段中，必須於記憶體儲存各像素與各視差的匹配代價，但搜索區間的最大值受限於記憶體的大小，換言之，若要增加搜索區間的搜索範圍，例如從搜索區間S→搜索區間2S，則必須擴增記憶體以增加儲存空間(即必須使儲存代價值的陣列長度由S→2S)，依此，如何提出一種可增加搜索區間但不會影響記憶體之儲存成本的立體匹配方法，乃有待解決之問題。

為達上述目的，本發明提出一種具備雙倍搜索區間的立體匹配方法，供一處理器讀取一記憶體的多個指令後，可執行以下步驟： (1) 對一參考影像及一目標影像執行一匹配代價演算法，藉以獲得參考影像的一或多個像素在一視差搜索區間內，對應於目標影像分別在一搜索視差時的多個代價值，其中，該等代價值分別被定義為第0代價值至第2 ⁿ⁺¹-1代價值； (2) 對一代價陣列設定為可儲存各代價值，且代價陣列的一陣列長度為以整數2為底數及以整數n+1為指數所得出之2的n+1冪次方； (3) 將第0代價值至第2 ^n-1-1代價值，依據掃描順序儲存至代價陣列的第0至第2 ^n-1-1陣列元素； (4) 對於第2 ^n-1至第2 ⁿ-1代價值，依序從兩相鄰的兩代價值中選擇最大值，再令被選擇出的最大代價值，依據掃描順序儲存至代價陣列的第2 ^n-1至第2 ^n-1+2 ^n-2-1陣列元素；以及 (5) 對於第2 ⁿ至第2 ⁿ⁺¹-1代價值，依據掃描順序從四相鄰的該等代價值中選擇最大值，再令被選擇出的最大代價值，依序儲存至代價陣列的第2 ^n-1+2 ^n-2至第2 ^n-1陣列元素。

藉此，本發明據以實施後，相較於習知用於儲存兩倍視差搜索區間中，各像素所對應之代價值的一原始代價陣列而言，本發明至少可達成讓代價陣列之陣列元素數量不變，但得以儲存在兩倍視差搜索區間中，各像素所對應之代價值，換言之，本發明至少可達成增加搜索區間但不影響記憶體之儲存成本之有利功效。

為使貴審查委員得以清楚了解本發明之目的、技術特徵及其實施後之功效，茲以下列說明搭配圖示進行說明，敬請參閱。

請參閱「第1圖」，其為本發明的立體匹配方法流程圖，並請搭配參閱「第2圖」~「第3圖」，本發明提出一種立體匹配方法S，可儲存於一電子裝置、一電腦可讀取記錄媒體或一電腦程式產品，供一處理器讀取一記憶體的多個指令後，可執行以下步驟： (1)取得匹配代價值(步驟S10)：對一參考影像R及一目標影像T執行一匹配代價演算法(Stereo matching algorithm)，藉以獲得參考影像R的一或多個像素在一視差搜索區間SR內，對應於目標影像T分別在一搜索視差d _max時的多個代價值，即如「第2圖」所示，以期能找出相對於兩張影像(R、T)最匹配的一匹配點，其中，該等代價值分別被定義為第0代價值至第2 ⁿ⁺¹-1代價值，並且，本步驟S10執行完畢後，可生成描述參考影像R與目標影像T之像素對應關係的一視差空間影像(DSI, disparity space image)； (2)代價陣列初始化(步驟S20)：請參閱「第3圖」，處理器可對一代價陣列Array設定為可儲存各代價值，且代價陣列Array的一陣列長度為以整數2為底數及以整數n+1為指數所得出之2的n+1冪次方，若以n=7為例，則此代價陣列Array的陣列長度可被定義為2 ⁷=128； (3)儲存部份代價值至陣列(步驟S30)：請繼續參閱「第3圖」，處理器接著可將第0代價值至第2 ^n-1-1代價值，依據掃描順序儲存至代價陣列Array的第0至第2 ^n-1-1陣列元素，即依序儲存至Array[0]~Array[2 ^n-1-1] ，更具體而言，若以n=7為例，則可將第0至63筆代價值填入依序填入代價陣列Array的第[0]~[63]陣列元素； (4)從兩相鄰搜索視差選擇最大代價值(步驟S40)：請繼續參閱「第3圖」，處理器接著對於第2 ^n-1至第2 ⁿ-1代價值，依序從兩相鄰的兩代價值中選擇最大值，再令被選擇出的最大代價值，依據掃描順序儲存至代價陣列Array的第2 ^n-1至第2 ^n-1+2 ^n-2-1陣列元素，並以此代價值作為參考影像R與目標影像T在同一點的代價值，更具體而言，若以n=7為例，則可對於第64~127筆代價值，依序從搜索區間分別為dv與dv+1的兩相鄰的兩代價值中選擇最大值，再令被選擇出的最大代價值，依序儲存至代價陣列Array的[第

]陣列元素，即儲存至代價陣列Array的第[64]~[95]陣列元素； (5)從四相鄰搜索視差選擇最大代價值(步驟S50)：對於第2 ⁿ至第2 ⁿ⁺¹-1代價值，依據掃描順序從四相鄰的該等代價值中選擇最大值，再令被選擇出的最大代價值，依序儲存至代價陣列Array的第2 ^n-1+2 ^n-2至第

-1陣列元素，並以此代價值作為參考影像R與目標影像T在同一點的代價值，更具體而言，若以n=7為例，則可對於第28~255筆代價值，依序從搜索區間分別為dv~dv+3的四相鄰的四代價值中選擇最大值，再令被選擇出的最大代價值，依序儲存至代價陣列Array的[第

，即儲存至代價陣列Array的第[96]~[127]陣列元素； (6)綜上可知，由原始代價陣列Array’與本實施例的代價陣列Array的陣列長度可知，由於本發明於步驟S40~步驟S50對該等代價值（即第2 ^n-1至第2 ⁿ-1、及第2 ⁿ至第2 ⁿ⁺¹-1代價值）執行了類同融合(merge)的演算，故相較於習知的原始代價陣列Array’需以雙倍陣列長度完整儲存在二倍搜索空間SR中，各個搜索視差(d0~d255)所對應之第0~255代價值的習知作法，本發明據以實施後，可達成以相同陣列長度，儲存在二倍搜索空間SR中，各個搜索視差(d0~d255)所對應之第0~255代價值的習知作法。 (7)另，本發明在一較佳實施例中，匹配代價演算法可為一灰度差值絕對值(Absolute Difference，AD，或稱絕對差)演算法、一灰度差值平方(Square Difference，SD)演算法、一像素異性測量(Pixel Dissimilarity Measure，PDM)演算法、一標準化交叉相關(Normalized Cross Correlation，NCC)演算法、一等級(Rank)演算法或一普查轉換(Census Transform)演算法之其中一種，惟本實施例(即第2圖)係以基於像素點的匹配代價演算法為例，並不以此為限，意即本發明於執行步驟S10時，亦得以例如一絕對差值和(Sum of Absolute Difference，SAD)演算法、一截斷絕對差值和(Sum of Truncated Absolute Differences，STAD)演算法或一差值平方和(Sum of squared Differences，SSD)演算法等基於區域的匹配代價演算法。 (8)另，本發明在一較佳實施例中，參考影像R可被定為左眼影像、目標影像T為定義為右眼影像，或參考影像R為被定義為右眼影像、目標影像T則被定義為左眼影像。 (9)另，本發明在一較佳實施例中，處理器讀取該等指令後，更可執行一代價聚合步驟(圖中未繪示)，該處理器對參考影像R中各像素之鄰近像素的該等代價值來執行代價值累加，由於鄰近像素的代價值可容納更多資訊，故可提高像素之間的關聯性與該等代價值的可靠度。

請繼續參閱「第1圖」~「第3圖」，承步驟S50，當處理器讀取該等指令並在進行一視差精煉(或稱視差優化,Disparity Refinement)前，先執行一視差校正步驟S60：令處理器對於各像素在視差搜索區間SR內所選取的搜索視差(此選取視差的階段可於習知的「視差選擇與最佳化」完成)，分為視為一待校正視差值d，判斷搜索視差係對應於代價陣列Array的哪一個陣列元素，以演算出一校正後視差值d’，其中，若待校正視差值d小於2 ^n-1，則校正後視差值d’仍等於待校正視差值d；若待校正視差值d

，且同時小於

+

，則校正後視差值d’為

+(待校正視差值-

)

2；若待校正視差值d

，且同時小於

，則校正後視差值d’為

+(待校正視差值-

)

4；更具體而言，若以n=7為例，則待校正視差值d與校正後視差值d’的轉換關係式可表示如下：

d

，d’=d；

d

+

，d’=

；

d

。

承上，本發明在執行前述的視差精煉時，係可使用例如內插(Interpolation，亦可稱左右一致性檢測)、投票策略(Voting scheme)、中值濾波(Median filter)等作法進行，但均不以此為限；其中，內插係指可針對每一個異常像素，搜尋左右兩方向的可靠像素(Reliable pixel)，以兩者中較小的視差值取代其視差值；而投票策略指可藉由例如結合十字區塊匹配演算法(Cross-based Matching Local Stereo Matching)所建立每個像素(包含異常像素)的支撐區域(Support region)，並統計其範圍內所有視差值，再取其中出現次數最多的視差值來取代異常像素的視差值；而中值濾波係指可將整張視差影像(視差空間影像，DSI)利用例如4×4大小的遮罩去除影像中的雜訊，並保持所得視差影像的邊緣銳度。

以上所述者，僅為本發明之較佳之實施例而已，並非用以限定本發明實施之範圍；任何熟習此技藝者，在不脫離本發明之精神與範圍下所作之均等變化與修飾，皆應涵蓋於本發明之專利範圍內。

綜上所述，本發明係具有「產業利用性」、「新穎性」與「進步性」等專利要件；申請人爰依專利法之規定，向　鈞局提起發明專利之申請。

S:立體匹配方法 S10:取得匹配代價值 S20:代價陣列初始化 S30:儲存部份代價值至陣列 S40:從兩相鄰搜索視差選擇最大代價值 S50:從四相鄰搜索視差選擇最大代價值 S60:視差校正 R:參考影像 T:目標影像 SR:視差搜索區間 Array:代價陣列 Array’:原始代價陣列

第1圖，為本發明的立體匹配方法流程圖。第2圖，為本發明的匹配代價計算示意圖。第3圖，為本發明的代價陣列與習知代價陣列比較示意圖。

S:立體匹配方法

S10:取得匹配代價值

S20:代價陣列初始化

S30:儲存部份代價值至陣列

S40:從兩相鄰搜索視差選擇最大代價值

S50:從四相鄰搜索視差選擇最大代價值

S60:視差校正步驟

Claims

一種立體匹配方法，供一處理器讀取一記憶體的多個指令後，執行以下步驟：一取得匹配代價值步驟：對一參考影像及一目標影像執行一匹配代價演算法，藉以獲得該參考影像的一或多個像素在一視差搜索區間內，對應於該目標影像分別在一搜索視差時的多個代價值，其中，該等代價值分別被定義為第0代價值至第2 ⁿ⁺¹-1代價值；一代價陣列初始化步驟：對一代價陣列設定為可儲存各該代價值，且該代價陣列的一陣列長度為以整數2為底數及以整數n+1為指數所得出之2的n+1冪次方；一儲存部份代價值至陣列步驟：將第0代價值至第2 ^n-1-1代價值，依據掃描順序儲存至該代價陣列的第0至第2 ^n-1-1陣列元素；一從兩相鄰搜索視差選擇最大代價值步驟：對於第2 ^n-1至第2 ⁿ-1代價值，依序從兩相鄰的兩該代價值中選擇最大值，再令被選擇出的最大代價值，依據掃描順序儲存至該代價陣列的第2 ^n-1至第2 ^n-1+2 ^n-2-1陣列元素；以及一從四相鄰搜索視差選擇最大代價值步驟：對於第2 ⁿ至第2 ⁿ⁺¹-1代價值，依據掃描順序從四相鄰的該等代價值中選擇最大值，再令被選擇出的最大代價值，依序儲存至該代價陣列的第2 ^n-1+2 ^n-2至第
-1陣列元素。
如申請專利範圍第1項的立體匹配方法，其中，該匹配代價演算法為一灰度差值絕對值(AD)演算法、一灰度差值平方(SD)演算法、一像素異性測量(PDM)演算法、一標準化交叉相關(NCC)演算法、一等級(Rank)演算法或一普查轉換(Census)演算法之其中一種。
如申請專利範圍第1項的立體匹配方法，其中，該參考影像被定為左眼影像、該目標影像為定義為右眼影像，或該參考影像為被定義為右眼影像、該目標影像被定義為左眼影像。
如申請專利範圍第1項的立體匹配方法，其中，該處理器讀取該等指令後，更包括執行一代價聚合步驟，該處理器對該參考影像中各像素之鄰近像素的該等代價值來執行代價值累加，藉以提高像素之間的關聯性與該等代價值的可靠度。
如申請專利範圍第1項的立體匹配方法，其中，該取得匹配代價值步驟執行完畢後，生成可描述該參考影像與該目標影像之像素對應關係的一視差空間影像。
如申請專利範圍第1項的立體匹配方法，其中，該處理器讀取該等指令並在進行一視差精煉前，先執行一視差校正步驟：令該處理器對於各該像素在該視差搜索區間內所選取的該搜索視差，分為視為一待校正視差值，判斷該搜索視差係對應於該代價陣列的哪一個陣列元素，以演算出一校正後視差值。
如申請專利範圍第6項的立體匹配方法，其中，若被選取的該搜索視差小於2 ^n-1，則該校正後視差值等於該待校正視差值。
如申請專利範圍第6項的立體匹配方法，其中，若被選取的該搜索視差
，同時小於
+
，則該校正後視差值為
+(該待校正視差值-
)
2。
如申請專利範圍第6項的立體匹配方法，其中，若被選取的該搜索視差
，同時小於
，則該校正後視差值為
+(該待校正視差值-
)
4。