TWI618394B - 利用影像特性之立體匹配裝置 - Google Patents

利用影像特性之立體匹配裝置 Download PDF

Info

Publication number
TWI618394B
TWI618394B TW102134825A TW102134825A TWI618394B TW I618394 B TWI618394 B TW I618394B TW 102134825 A TW102134825 A TW 102134825A TW 102134825 A TW102134825 A TW 102134825A TW I618394 B TWI618394 B TW I618394B
Authority
TW
Taiwan
Prior art keywords
value
class
scan line
path
node
Prior art date
Application number
TW102134825A
Other languages
English (en)
Other versions
TW201419833A (zh
Inventor
李峻瑞
河政穆
Original Assignee
Ｌｇ伊諾特股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｌｇ伊諾特股份有限公司 filed Critical Ｌｇ伊諾特股份有限公司
Publication of TW201419833A publication Critical patent/TW201419833A/zh
Application granted granted Critical
Publication of TWI618394B publication Critical patent/TWI618394B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本發明係提供一種立體匹配裝置，相對於一目前掃描線之一影像在複數階級之節點的價值被決定，其係根據一上掃描線之一相同階級的價值是從一前階級之一相同階層、一上階層、及一下階層中哪一個判斷而決定，或者根據上掃描線之相同階級的價值是從其它視差判斷而決定。

Description

利用影像特性之立體匹配裝置
本發明係有關一種利用影像特性的立體匹配裝置。
一般而言，電腦視覺(computer vision)為一種包含取得、處理、分析及鑑識影像方法的領域，其中使用影像來取得距離資訊的方法稱為立體視覺。
在立體系統中會使用兩部攝影機，而找出左影像及右影像間的互相對應的點是極為重要的程序，此程序又稱為立體匹配(stereo matching)，立體匹配是一種找出同一畫面中兩個偏移影像間相對應的點的方法。也就是說，立體匹配是用來比對左右影像畫素(pixel)並找出兩者之間最接近的相對應的點，而且當找到相對應的點時，可以得知兩者間的距離。
目前已有各種立體匹配方法，其中最具代表性的係利用網格(trellis)演算法進行立體匹配。網格演算法為立體匹配法中透過匹配程序使用立體影像而找出一物體距離的方法。網格演算法比起其它的方法更具有優勢，因為其需要的運算量少，但網格演算法的缺點是準確性較低。網格演算法的缺點來自立體匹配時，逐條比對左右影像畫素而產生的光條紋雜訊(streak noise)。
本發明係提供一種利用影像特性的立體匹配裝置，且在立體匹配系統中逐條比對左右影像畫素時，藉由消除光條紋雜訊而增加距離準確度。
本發明之一目的為提供一立體匹配裝置，包含：一擷取器， 用以擷取一立體影像中對應於一對應點之一掃描線；一第一判斷器用以決定相對於一目前掃描線之一影像在複數階級之節點的價值，係根據一上掃描線之一相同階級(stage)的價值是從一前階級之一相同階層(level)、一上階層、及一下階層中哪一個判斷而決定，或根據上掃描線之相同階級的價值是從其它視差判斷而決定；一指示器，用以指示對應於已決定的價值之一路徑；以及一第二判斷器，用以決定於該指示路徑上最小化能量之一路徑。
本發明之一實施例中，該立體匹配裝置更包含一立體攝影單元，用以取得一立體影像。
本發明之一實施例中，該第一判斷器在匹配該目前掃描線的節點時，藉由加總該前階級之該相同階層的價值到節點本身價值以判斷價值。
本發明之一實施例中，於該目前掃描線的一誤配節點時，當該上掃描線之該相同階級的價值由該前階級之該上階層決定時，該第一判斷器用以判斷一第一誤配參數，及當該上掃描線之該相同階級的價值從該前階級之該下階層決定時，判斷一第二誤配參數，且該第二誤配參數不同於該第一誤配參數。
本發明之一實施例中，該第一判斷器更用以在該上掃描線之該相同階級的價值由其它視差及該前階級之該上階層決定時，減少該第一誤配參數至一預設範圍，並在該上掃描線之該相同階級的價值由該前階級之該下階層決定時，減少該第二誤配參數至一預設範圍。
本發明之一實施例中，該第二判斷器從該前階級之該相同階層的價值、減少的該第一誤配參數加上該上階層的價值、及減少的該第二誤配參數加上該下階層的價值中，判斷在該目前掃描線上的一最小值做為一對應節點的價值。
本發明之一實施例中，當價值由該上階層的價值決定時，該指示器指示對應於1的路徑，當價值由該相同階層的價值決定時，該指示器指示對應於0的路徑，當價值由該下階層的價值決定時，該指示器指示對應於-1的路徑。
本發明之一實施例中，其中該第二判斷器用以判斷一視差以最小化能量。
本發明之一實施例中，更包含一儲存區，用以儲存由該第二判斷器判斷之該路徑
根據本發明之一實施例的立體匹配裝置具備一絕佳優點，其根據一上掃描線之傳輸是否由一上階層或一下階層中利用一影像特性而產生，以在價值判斷過程中分別指示一誤配參數，並當傳輸從該上掃描線產生時，藉由減少一對應誤配參數計算網格，因而增加匹配準確度。
1‧‧‧立體攝影單元
2‧‧‧立體匹配裝置
11‧‧‧第一感測單元
12‧‧‧第二感測單元
21‧‧‧掃描線擷取器
22‧‧‧價值判斷器
23‧‧‧路徑指示器
24‧‧‧最佳路徑判斷器
圖1係根據本發明之一實施例繪示一立體匹配系統方塊圖；圖2係繪示雙眼視差及三維資訊間的關係示意圖；圖3為左右影像的離散組件形成雙眼視差示意圖；圖4係繪示有關匹配節點及遮蔽節點(occlusion node)之每一路徑的價值示意圖，其中黑點為匹配節點，白點為遮蔽節點；圖5係根據本發明之一實施例繪示由一立體攝影單元取得之一立體影像示意圖；圖6A~6D係繪示以圖5之網格方法進行之一立體匹配示意圖；圖7係根據本發明之一實施例繪示之一元件方塊圖。
本發明之優勢及特徵，將配合附圖及以下實施例的詳細解說而易於了解。故本發明不限於以下實施例，亦可以其它形成實現本發明。因此以下描述觀點之所有變更、修改及變化均應落入本發明精神之範疇。
根據本發明之一實施例之立體匹配裝置，適用於一動態規劃(DP，dynamic programming)演算法，包含一網格演算法。然而，即使根據本發明一實施例之立體匹配裝置已說明網格演算法的應用，但為求方便起見，並不排除本領域技術人員對其它動態規劃演算法的應用。
接下來，將配合以下圖式，首先說明一般的網格演算法，進而說明根據本發明之一實施例之立體匹配裝置。
圖1係根據本發明之一實施例所繪示之一立體匹配系統方塊圖。
請參考圖1，根據本發明之一實施例之一立體匹配系統包含一立體攝影單元1及一立體匹配裝置2。
立體攝影單元1包含一第一感測單元11及一第二感測單元12。第一感測單元11及第二感測單元12以一預設距離彼此間隔開以各自取得一立體影像。例如，第一感測單元11取得一左影像而第二感測單元12取得一右影像。相反地，第一感測單元11取得一右影像而第二感測單元12取得一左影像。在本發明之一實施例中，使第一感測單元11取得的影像為左影像，而第二感測單元12取得的影像為右影像以方便解說。
第一感測單元11及第二感測單元12可為一攝影感測器，例如電荷耦合元件(CCD，Charged Coupled Device)感測器或互補金屬氧化半導體(CMOS，Complementary Metal-Oxide Semiconductor)，但本實施例不限於此，亦可使用其它具有同樣功能的裝置。
立體匹配裝置2從立體攝影單元1接收一立體影像，並使用網格演算法進行立體匹配。
接下來，將說明網格演算法及根據本發明之一實施例以改良一般網格演算法的立體匹配裝置。
首先，將說明雙眼視差d及三維距離Z間的關係。立體匹配是由一二維的左影像及一二維的右影像重建一三維空間，並使用相互幾何關係(mutual geometric relationship)從兩個二維影像取得對應點以推算三維資訊。
為了使用相互幾何關係推算三維資訊，找出兩個二維影像的對應點時，從立體影像及另一側的影像(對應影像)中之一點找出對應於一側的一影像(參考影像)之一點極為重要，其中該點位在對應於參考影像該點的一對應影像之一核線(epipolar line)上，若核線被校正後，藉由檢查僅有的兩條水平分佈的單一掃描線以進行立體匹配。
圖2係繪示雙眼視差及三維資訊間的關係示意圖，其中左影像及右影像間的關係由立體攝影單元1取得，並繪示取得的影像中的物體。
對應於各相對畫素的雙眼視差d將視為一單一線上的一對 應點，並表示為以下公式。
(公式1)d=x r -x l
其中，d為雙眼視差，xr為右影像上x軸之長度，而xl為左影像上x軸之長度。請注意以下公式中的關係是由幾何結構建立的，一點P(x,y,z)被拍攝做為左影像及右影像。
(公式2)x r -x l ：f=B：Z
其中，f為焦距，B(基準距離)為兩攝影機間的距離，而Z為一三維距離，若公式2與公式1結合則可獲得以下公式。
也就是說，上述公式3可推算一物體的三維資訊，亦即，找出焦距f及兩攝影機間的距離B，就能找出兩影像間的一相對應的點。
立體攝影機的第一感測單元11及第二感測單元12將三維影像儲存在二維離散組件中，以使一觀察影像以離散點的方式呈現。
圖3說明藉由於左影像及右影像上離散組件形成的雙眼視差示意圖。
請參考圖3，從觀察到的左影像及右影像中的離散組件形成一雙眼視差。從距離一影像最遠時，一個點的雙眼視差為0(d=0，亦即，Z為無限大)，因此，值得注意的是同一線上的所有接觸點具有相同的雙眼視差，而當三維深度(Z，三維距離)增加時，雙眼視差隨之減少。
此外，圖3中的黑點為匹配在三維座標發生時，用以驗證一物體表面感觀的一節點，該節點可為投射線的交會點，而兩個影像的一個畫素係成對交會在該節點上，當適當的匹配發生在一特定節點上時，該特定節點被稱為匹配節點。相反地，雖然一物體的表面可以從兩個影像其中之一看見，但該物體的表面可能無法從另一個影像看見，而這個區域稱為遮蔽節點。
如圖3所示，左側的一投射線與右側的複數條投射線交會，其中一正確匹配僅發生在右側之該些投射線中唯一與匹配節點交會的一投射線上。如前所述，如果將一限制從該些投射線施加到投射影像上，就能減少待搜尋路徑數目以達到增加計算效率及減少計算功效。
立體匹配技術係建立在最大後驗估計(MAP estimation，Maximum A Posteriori estimation)基礎上以找出最小化能量功能的雙眼視差。因此，在動態規劃的基礎上使用維特比演算法(viterbi algorithm)找出最佳路徑。也就是說，立體匹配技術是一種將路徑定義於匹配節點及遮蔽節點上，並加總各路徑的價值及偵測最小化價值路徑的方法。
圖4係繪示有關匹配點及遮蔽節點各路徑的價值示意圖，其中黑點為匹配節點，白點為遮蔽節點。
若目前階級為i，一可最小化路徑(minimumable path)係由一最小值到i-1階級的路徑及從i-1階級至i階級的路徑中，其路徑價值總和的最小值。
於遮蔽節點中，一路徑係由下列方法形成：(a)上階層的價值的誤配參數加上前階級之相同階層的價值，與誤配參數加上前階級之下階層的價值，在兩者之間指示一最小值。同時，於匹配節點中，一路徑係由下列方法形成：(b)由前階級之相同階層的節點加上節點本身的值。同時，於匹配節點中，取得左右影像畫素值以計算價值，並定義為匹配價值。
最佳路徑存在於匹配節點及遮蔽節點之間，例如，最佳路徑是一條匹配價值及遮蔽價值(occlusion cost)分配於其上的路徑。另外，階級與格柵結構中的時間有關，其中階級是由從左至右的縱向線節點路徑定義。
為了應用上述網格演算法，係提供下列限制條件。
首先，存在於左影像的一物體位置無法位於存在於右影像的一物體位置的右邊，其次，介於第一雙眼視差d0及最後雙眼視差d2N間的值為0，而介於di及di-1間的差不超過1。
以下為搜尋一最佳路徑的演算法，其中在0階級(i=0)的所有節點價值δ在下列公式中初始值為0，而順著i=1…,2N往前方向的重複及各別運算乃是為了從分配到的雙眼視差d及各個節點中，取得最佳路徑及最佳價值。
同時，若i+d為偶數，將視為一遮蔽節點，而遮蔽節點的價值及最佳視差Ψ將表示為下列公式。
若i+d為奇數，將視為一匹配節點，而匹配節點的價值及最佳視差Ψ將表示為下列公式。
若i為2N，且j為0，則往前方向重複計算完成，而往後方向的初始值(價值及最佳視差)表示為下列公式。
(公式7)δ=δ(2N,0) Ψ=Ψ(2N,0)
接下來，藉由對階級的往後方向進行往後遞迴的搜尋以取得最佳視差，將表示為下列公式8。
(公式8)Ψ(i-1)=Ψ(i)+Ψ(i,Ψ(i)),i=2N,…,1
其中γ為一誤配參數，並滿足公式5，影像的大小由M×N定義。
上述方法係以實際影像示範說明。圖5係根據本發明之一實施例繪示由立體攝影單元1取得之一立體影像示意圖，而圖6A~6D係繪示由圖5之網格方法進行之一立體匹配示意圖。
圖5中對應於立體影像之一直線(於左影像中y=3，於右影像中y=3的直線)被取出以計算所有畫素的亮度差。
為了便於了解，圖6A的左上方做為(0,0)。第0條水平線及第7條水平線的值皆為99，其中為求方便起見99等效於無窮大(infinite)。
(1,1),(2,2),...,(6,6)中的1,0,0,8,9,4為右影像的第一個值14與左影像(13,14,14,22,23,10)的差值。下一條對角線(1,3),(2,4),...,(6,8)的值8,8,0,1,12為右影像的第二個值22與左影像(14,14,22,23,10)的差值。藉由上述方法並計算畫素差值，並儲存並計算畫素差值如圖6A所示。
使用上述方法由圖6A的結果對照圖4以完成圖6B。也就是說，於遮蔽節點(匹配節點的色調比遮蔽節點的色調更淡)，比較前階級相同階層的價值及誤配參數加上前階級上階層及下階層的價值，並儲存兩者的最小值。另外，於匹配節點時，儲存前階級相同階層的價值與節點本身的值做為價值。
也就是說，於遮蔽節點時，比較三個價值總值(前畫格(frame)相同視差之價值及分別視差的價值)以找出一最小值，並從對應於最小值的目前畫格找出價值，其中，若判定為不同視差時(也就是判定為不同階層的價值)，將加上誤配參數以當做損失(penalty)。
網格演算法與能量最小化有關，當全部加總時且找到最小能量路徑時，即表示為影像深度。
當「能量最小」時，左右影像的亮度差最小，也就是說，最接近的匹配值出現在能量最小的路徑上。
圖6B中最右端的值為29，而位於其左邊的值為29及22。在29及22兩者間選擇較小的值，因而選擇22。
圖6C將說明圖6B路徑上各節點的值如何取得。當儲存於對應節點中的一數值來自於前階級之相同階層時，則存入0；當該數值來自於前階級之下階層時，則存入1；以及當該數值係來自於前階級之上階層時，存入-1。
圖6D係使用圖6C所示路徑找出最小化能量視差過程的示意圖。圖6D中的深灰色部份表示最小化能量的路徑，而其下方的部份表示對應路徑的視差。由0開始加上一對應值，視差可由移動儲存在路徑中的值至左側而得到。
接下來，根據本發明實施例之立體匹配裝置用以改善上述網格的方法說明如下。
首先，以影像特徵說明本發明實施例。
當一物體被拍攝時，立體攝影單元1用以呈現畫素。一畫素周圍則具有接近的畫素值，此概念源自於一物體中顏色接近的事實，而一物體可以具有多種畫素。若將此理論套用於網格演算法中，以一畫素為基準，其四面(左、右、上、及下側)的畫素視差將互相接近。因此本發明實施例係將影像特徵套用到網格演算法中來做說明。
圖7繪示根據本發明實施例之立體匹配裝置，其中詳細說明圖1之立體匹配裝置2。
請參考圖7，根據本發明實施例之立體匹配裝置2包含一掃描線擷取器21、一價值判斷器22、一路徑指示器23及一最佳路徑判斷器 24。
掃描線擷取器21從立體攝影單元1接收到的立體影像中擷取有關相對應點的直線。擷取線之範例並繪示於圖6A、6B中。根據本發明實施例說明，掃描線擷取器21所擷取之目前掃描線稱為「對應掃描線」，而前次擷取的掃描線稱為「上掃描線」。係因為立體匹配通常從最上掃描線開始進行。
價值判斷器22分別判斷匹配節點及遮蔽節點的價值，其對應掃描線擷取器21擷取之線的畫素。於匹配節點中，將節點本身價值加上前階級相同階層的價值來判斷。
根據本發明實施例，於遮蔽節點中，使用不同於一般網格演算法的方法。也就是說，用於遮蔽節點的一般網格演算法係前階級相同階層價值及誤配參數加上上階層及下階層價值兩者間比較，並在兩者間做判斷。
然而，根據本發明實施例，價值判斷器22使用上述影像特徵進行網格演算法，判斷上掃描線相同階層的價值來自於前階級之相同階層、上階層或下階層，以提供一各別的誤配參數，並根據傳輸發生(亦即，相同階層的價值是否來自於上掃描線中不同的視差)而減少對應掃描線誤配參數的大小。當傳輸發生在上掃描線時，傳輸有較高的機率發生在對應掃描線上以增加匹配準確度。
也就是說，當上掃描線之相同階級價值來自前階級相同階層時，不需要再加上誤配參數，而上掃描線相同階級的價值來自前階級上階層或下階層時，分別將第一誤配參數及第二誤配參數視為對應掃描線上的誤配參數。
當上掃描線相同階級的價值來自前階級上階層時，根據本發明實施例之價值判斷器22將降低第一誤配參數，因為傳輸發生在上掃描線相同階層的價值來自不同視差，上掃描線相同階級之價值來自於前階級下階層時，將降低第二誤配參數。同時，第一誤配參數及第二誤配參數降低的幅度將由系統的設定判斷。
接下來，根據本發明實施例之價值判斷器22對前階級相同階層及上階層的價值加上第一誤配參數及前階層下階層加上第二誤配參數 進行比較，並儲存三者中的最小值。
請參考圖6D，路徑指示器23根據已決定的價值指示一路徑。當價值由上階層的價值決定時，將指示一路徑對應於1，當價值由相同階層的價值決定時，將指示一路徑對應於0，當價值由下階層的價值決定時，將指示一路徑對應於-1。根據本發明實施例之立體匹配裝置更包含儲存裝置(未繪示)以儲存已決定的路徑。
最佳路徑判斷器24藉由路徑指示器23指示一最小化能量路徑以判斷一最佳路徑。也就是說，最佳路徑判斷器24將能量最小化以判斷一視差。找出最佳路徑及視差的過程已說明於圖6D中。
雖然已經參考許多示範實例來說明本發明實施例，但熟習本領域人士可以設計出許多落入本領域精神及範圍的其它修改和實施例。更具體地說，本揭露案、圖示及附屬請求項範圍物件組合配置中的元件及/或配置的各種變化及修改都將落入本發明之範疇。

Claims (8)

  1. 一種立體匹配裝置，包含：一掃描線擷取器，用以擷取一立體影像中對應於一對應點之一掃描線，該掃描線包括一目前掃描線及一上掃描線，該立體影像包括該目前掃描線的一影像；一價值判斷器用以判斷相對於該目前掃描線之該影像在複數階級之節點的價值，其中該價值判斷器係根據該上掃描線之一相同階級(stage)的價值是從一前階級之一相同階層(level)、一上階層、及一下階層中哪一層來決定以及根據該上掃描線之該相同階級的價值(cost)是否從其它視差來決定而作判斷；一路徑指示器，用以指示由該上掃描線至該目前掃描線對應於已判斷價值之一指示路徑；及一最佳路徑判斷器，用以判斷該指示路徑上最小化能量之一路徑。
  2. 如申請專利範圍第1項所述之立體匹配裝置，其中該價值判斷器在匹配該目前掃描線的節點時，藉由加總該前階級之該相同階層的價值到節點本身價值上以判斷價值。
  3. 如申請專利範圍第1項所述之立體匹配裝置，其中於該目前掃描線的一誤配節點上時，當該上掃描線之該相同階級的價值由該前階級之該上階層決定時，該價值判斷器判斷一第一誤配參數，且當該上掃描線之該相同階級的價值從該前階級之該下階層決定時，判斷一第二誤配參數，而該第二誤配參數不同於該第一誤配參數。
  4. 如申請專利範圍第3項所述之立體匹配裝置，在該上掃描線之該相同階級的價值由其它視差及該前階級之該上階層決定時，該價值判斷器更用以減少該第一誤配參數至一預設範圍，並在該上掃描線之該相同階級的價值由該前階級之該下階層決定時，減少該第二誤配參數至一預設範圍。
  5. 如申請專利範圍第4項所述之立體匹配裝置，其中該最佳路徑判斷器從 該前階級之該相同階層的價值、減少的該第一誤配參數加上該上階層的價值、及減少的該第二誤配參數加上該下階層的價值之中，判斷在該目前掃描線上的最小值做為一對應節點的價值。
  6. 如申請專利範圍第1項所述之立體匹配裝置，其中當複數階級之節點的該價值由該上階層的價值決定時，該路徑指示器指示對應於1的路徑，當複數階級之節點的該價值由該相同階層的價值決定時，該路徑指示器指示對應於0的路徑，當複數階級之節點的該價值由該下階層的價值決定時，該路徑指示器指示對應於-1的路徑。
  7. 如申請專利範圍第1項所述之立體匹配裝置，其中該最佳路徑判斷器用以判斷一視差以最小化能量。
  8. 如申請專利範圍第1項所述之立體匹配裝置，更包含一儲存區，用以儲存由該最佳路徑判斷器判斷之該路徑。
TW102134825A 2012-09-26 2013-09-26 利用影像特性之立體匹配裝置 TWI618394B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120106997A KR101888969B1 (ko) 2012-09-26 2012-09-26 영상특성을 이용한 스테레오 매칭장치
??10-2012-0106997 2012-09-26

Publications (2)

Publication Number Publication Date
TW201419833A TW201419833A (zh) 2014-05-16
TWI618394B true TWI618394B (zh) 2018-03-11

Family

ID=50388622

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102134825A TWI618394B (zh) 2012-09-26 2013-09-26 利用影像特性之立體匹配裝置

Country Status (4)

Country Link
US (1) US9674503B2 (zh)
KR (1) KR101888969B1 (zh)
TW (1) TWI618394B (zh)
WO (1) WO2014051309A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590777B1 (ko) * 2014-12-16 2016-02-11 경북대학교 산학협력단 스테레오 비젼에서의 시차 보정장치 및 그 방법
TWI578269B (zh) * 2015-12-14 2017-04-11 財團法人工業技術研究院 三維座標縫合方法及應用其之三維座標資訊縫合裝置
KR102442594B1 (ko) * 2016-06-23 2022-09-13 한국전자통신연구원 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법
KR101766149B1 (ko) 2016-07-05 2017-08-07 현대자동차주식회사 저연산 스테레오 영상 매칭 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020025075A1 (en) * 2000-07-19 2002-02-28 Hong Jeong System for matching stereo image in real time
US20060120594A1 (en) * 2004-12-07 2006-06-08 Jae-Chul Kim Apparatus and method for determining stereo disparity based on two-path dynamic programming and GGCP
CN101702056A (zh) * 2009-11-25 2010-05-05 安徽华东光电技术研究所 基于立体图像对的立体图像显示方法
TW201121300A (en) * 2009-12-01 2011-06-16 Ind Tech Res Inst Method for generating the depth of a stereo image
US20120163703A1 (en) * 2010-12-23 2012-06-28 Electronics And Telecommunications Research Institute Stereo matching system using dynamic programming and method thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100503820B1 (ko) * 2003-01-30 2005-07-27 학교법인 포항공과대학교 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법
US7570803B2 (en) * 2003-10-08 2009-08-04 Microsoft Corporation Virtual camera translation
US7809183B2 (en) * 2003-10-08 2010-10-05 Microsoft Corporation Gaze manipulation
KR100772319B1 (ko) 2006-11-03 2007-10-31 포항공과대학교 산학협력단 메시지 전달 기반 스테레오 영상 정합 시스템
NZ567986A (en) 2008-05-02 2010-08-27 Auckland Uniservices Ltd Real-time stereo image matching system
KR20110114250A (ko) * 2010-04-13 2011-10-19 (주) 에투시스템 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020025075A1 (en) * 2000-07-19 2002-02-28 Hong Jeong System for matching stereo image in real time
US20060120594A1 (en) * 2004-12-07 2006-06-08 Jae-Chul Kim Apparatus and method for determining stereo disparity based on two-path dynamic programming and GGCP
CN101702056A (zh) * 2009-11-25 2010-05-05 安徽华东光电技术研究所 基于立体图像对的立体图像显示方法
TW201121300A (en) * 2009-12-01 2011-06-16 Ind Tech Res Inst Method for generating the depth of a stereo image
US20120163703A1 (en) * 2010-12-23 2012-06-28 Electronics And Telecommunications Research Institute Stereo matching system using dynamic programming and method thereof

Also Published As

Publication number Publication date
TW201419833A (zh) 2014-05-16
WO2014051309A1 (en) 2014-04-03
US9674503B2 (en) 2017-06-06
KR101888969B1 (ko) 2018-09-20
US20150281672A1 (en) 2015-10-01
KR20140040407A (ko) 2014-04-03

Similar Documents

Publication Publication Date Title
JP4915859B2 (ja) 物体の距離導出装置
CN107396080B (zh) 产生深度信息的方法及系统
US9361680B2 (en) Image processing apparatus, image processing method, and imaging apparatus
KR101200490B1 (ko) 영상 정합 장치 및 방법
US9025862B2 (en) Range image pixel matching method
US8588516B2 (en) Interpolation image generation apparatus, reconstructed image generation apparatus, method of generating interpolation image, and computer-readable recording medium storing program
CN106875435B (zh) 获取深度图像的方法及系统
US9818199B2 (en) Method and apparatus for estimating depth of focused plenoptic data
TWI618394B (zh) 利用影像特性之立體匹配裝置
TWI576790B (zh) 階層式立體匹配裝置及方法
JP6800650B2 (ja) 信頼度生成装置、信頼度生成方法、および撮像装置
WO2013035457A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
CN111402345B (zh) 基于多目全景图像的模型生成方法及装置
Chen et al. Blur-aware disparity estimation from defocus stereo images
KR101027003B1 (ko) 스테레오 매칭 장치 및 그 방법
KR101896941B1 (ko) 스테레오 매칭 장치 및 그 방법
JP2015019346A (ja) 視差画像生成装置
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN107610070B (zh) 基于三摄像采集的自由立体匹配方法
KR101926498B1 (ko) 스테레오 영상 정합 장치 및 이의 정합 방법
TWI834493B (zh) 基於多組編碼圖案的三維重建系統及方法
TWI806379B (zh) 特徵點位置偵測方法及電子裝置
Kang et al. Generation of multi-view images using stereo and time-of-flight depth cameras
KR102061017B1 (ko) 스테레오 영상 정합 장치 및 그 방법
Zhang et al. Virtual view generation based on multiple images