TWI459308B - 判斷凹區塊以及凸區塊之立體匹配裝置及其方法 - Google Patents

判斷凹區塊以及凸區塊之立體匹配裝置及其方法 Download PDF

Info

Publication number
TWI459308B
TWI459308B TW101108323A TW101108323A TWI459308B TW I459308 B TWI459308 B TW I459308B TW 101108323 A TW101108323 A TW 101108323A TW 101108323 A TW101108323 A TW 101108323A TW I459308 B TWI459308 B TW I459308B
Authority
TW
Taiwan
Prior art keywords
reliability
feature
blocks
values
distribution map
Prior art date
Application number
TW101108323A
Other languages
English (en)
Other versions
TW201337789A (zh
Inventor
Hungmin Hsu
Original Assignee
Himax Tech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Tech Ltd filed Critical Himax Tech Ltd
Priority to TW101108323A priority Critical patent/TWI459308B/zh
Publication of TW201337789A publication Critical patent/TW201337789A/zh
Application granted granted Critical
Publication of TWI459308B publication Critical patent/TWI459308B/zh

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

判斷凹區塊以及凸區塊之立體匹配裝置及其方法
本揭示內容是有關於一種立體顯示技術,且特別是有關於一種立體匹配裝置及其方法。
影像的立體匹配技術是用以產生三維影像資料的技術中被廣為採用的一種。立體匹配的方法是自不同視角拍攝的兩個影像中找到相匹配(意即同樣位置)的畫素點,並利用匹配點間的視差,依據三角函數的原理計算影像中物體的深度及形狀,進而重建三維的影像。
在應用立體匹配技術時,需估測兩個重要的參數,意即凹區塊以及凸區塊。部份現在的技術採用全域搜尋法如圖形分割(graph-cut)演算法或置信傳播(belief propagation)來進行立體匹配。然而,這些演算法不論在計算時間或是硬體資源複雜度上都有相當高的成本。並且,這些演算法所計算出的結果,其可靠度也無法達到可以信賴的水準。
因此,如何設計一個新的立體匹配裝置及其方法以克服上述的缺點,乃為此一業界亟待解決的問題。
因此,本揭示內容之一態樣是在提供一種立體匹配(stereo matching)裝置,應用於立體(stereoscopic)顯示系統中以判斷凹(concave)區塊以及凸(convex)區塊,其中立體匹配裝置至少包含:接收模組、計算模組、特徵擷取模組以及估測模組。接收模組接收第一視角圖框以及第二視角圖框並分割第一視角圖框為複數個區塊。計算模組用以產生視差分佈圖(disparity map),其中視差分佈圖包含複數視差數值,分別對應區塊其中之一之第一視角圖框與第二視角圖框間之視差量。特徵擷取模組對各區塊進行特徵擷取程序,以產生複數特徵分佈圖,其中特徵分佈圖各包含複數特徵數值,以對應各區塊。估測模組包含:可靠度計算單元以及比較單元。可靠度計算單元根據特徵分佈圖計算各區塊之特徵可靠度,其中特徵可靠度為各特徵分佈圖之特徵數值之總和。比較單元根據各區塊之特徵可靠度與至少一可靠度臨界值進行比較以濾除複數不合格區塊,進一步產生複數候選區塊,並根據候選區塊中具有最大視差數值以及最小視差數值者分別判斷凹區塊以及凸區塊。
依據本揭示內容一實施例,其中特徵擷取模組包含:彩度為準色彩分割(hue-based color segment)單元以及邊緣偵測單元。彩度為準色彩分割單元產生色彩分割分佈圖,包含複數色彩特徵數值。邊緣偵測單元產生邊緣分佈圖,包含複數邊緣特徵數值。
依據本揭示內容另一實施例,其中特徵擷取模組更包含位置分析單元,用以產生注意力分佈圖,包含複數注意力特徵數值。
依據本揭示內容又一實施例,其中可靠度計算單元包含:視差相似可靠度計算單元、邊緣可靠度計算單元以及匹配成本(matching-cost)可靠度計算單元。視差相似可靠度計算單元根據色彩分割分佈圖以及視差分佈圖產生相似可靠度分佈圖,其中相似可靠度分佈圖包含複數相似可靠度數值,各對應於區塊其中之一。邊緣可靠度計算單元根據邊緣分佈圖產生邊緣可靠度分佈圖,其中邊緣可靠度分佈圖包含複數邊緣可靠度數值,各對應於區塊其中之一。匹配成本可靠度計算單元根據各區塊之最小絕對值誤差總和(minimal sum of absolute difference)產生匹配成本可靠度分佈圖,其中匹配成本可靠度分佈圖包含複數匹配成本可靠度數值,各對應於區塊其中之一之匹配成本強度。其中特徵可靠度為區塊對應之相似可靠度數值、邊緣可靠度數值以及匹配成本可靠度數值之總合。其中可靠度計算單元包含注意力可靠度計算單元,用以根據注意力分佈圖產生注意力可靠度分佈圖,其中注意力可靠度分佈圖包含複數注意力可靠度數值,各對應於區塊其中之一之注意力強度,特徵可靠度為區塊對應之相似可靠度數值、邊緣可靠度數值、匹配成本可靠度數值以及注意力可靠度數值之總合。
依據本揭示內容再一實施例,其中計算模組根據第一視角圖框之各區塊以及第二視角圖框中之各複數個對應區塊計算最小絕對值誤差總和以產生視差分佈圖。
依據本揭示內容更具有之一實施例,其中凹區塊對應於視差分佈圖中之最大視差數值,以及凸區塊對應於視差分佈圖中之最小視差數值。
依據本揭示內容再具有之一實施例,其中接收模組更包含低通濾波器以及減少取樣器(down sampler),以分別對第一視角圖框以及第二視角圖框進行低通濾波程序以及減少取樣程序。
本揭示內容之另一態樣是在提供一種立體匹配方法,應用於立體顯示系統中之立體匹配裝置,以判斷凹區塊以及凸區塊,其中立體匹配方法至少包含:接收第一視角圖框以及第二視角圖框;分割第一視角圖框為複數個區塊;產生視差分佈圖,其中視差分佈圖包含複數視差數值,分別對應區塊其中之一之第一視角圖框與第二視角圖框間之一視差量;進行特徵擷取程序,以產生複數特徵分佈圖,其中特徵分佈圖各包含複數特徵數值,以對應各區塊;根據特徵分佈圖計算各區塊之特徵可靠度,其中特徵可靠度為各特徵分佈圖之特徵數值之總和。根據各區塊之特徵可靠度與至少一可靠度臨界值進行比較以濾除複數不合格區塊,進一步產生複數候選區塊;以及根據候選區塊中具有最大視差數值以及最小視差數值者分別判斷凹區塊以及凸區塊。
依據本揭示內容一實施例,其中進行特徵擷取程序之步驟更包含:產生色彩分割分佈圖,包含複數色彩特徵數值;以及產生邊緣分佈圖,包含複數邊緣特徵數值。
依據本揭示內容另一實施例,其中進行特徵擷取程序之步驟更包含:產生注意力分佈圖,包含複數注意力特徵數值。
依據本揭示內容又一實施例,其中計算特徵可靠度之步驟更包含:根據色彩分割分佈圖以及視差分佈圖產生相似可靠度分佈圖,其中相似可靠度分佈圖包含複數相似可靠度數值,各對應於區塊其中之一;根據邊緣分佈圖產生邊緣可靠度分佈圖,其中邊緣可靠度分佈圖包含複數邊緣可靠度數值,各對應於區塊其中之一;根據各區塊之最小絕對值誤差總和產生匹配成本可靠度分佈圖,其中匹配成本可靠度分佈圖包含複數匹配成本可靠度數值,各對應於區塊其中之一之匹配成本強度;以及對區塊對應之相似可靠度數值、邊緣可靠度數值以及匹配成本可靠度數值加總以產生特徵可靠度。計算特徵可靠度之步驟更包含:根據注意力分佈圖產生注意力可靠度分佈圖,其中注意力可靠度分佈圖包含複數注意力可靠度數值,各對應於區塊其中之一之注意力強度,特徵可靠度為區塊對應之相似可靠度數值、邊緣可靠度數值、匹配成本可靠度數值以及注意力可靠度數值之總合。
依據本揭示內容再一實施例,其中產生視差分佈圖之步驟更包含:根據第一視角圖框之各區塊以及第二視角圖框中之各複數個對應區塊計算最小絕對值誤差總和。
依據本揭示內容更具有之一實施例,其中凹區塊對應於視差分佈圖中之最大視差數值,以及凸區塊對應於視差分佈圖中之最小視差數值。
依據本揭示內容再具有之一實施例,其中接收第一視角圖框以及第二視角圖框之步驟更包含分別對第一視角圖框以及第二視角圖框進行低通濾波程序以及減少取樣程序。
應用本揭示內容之優點係在於藉由,而輕易地達到上述之目的。
請參照第1圖。第1圖為本揭示內容一實施例中,一種立體匹配裝置1之方塊圖。立體匹配裝置1用於一個立體顯示系統(未繪示)中,以判斷凹區塊以及凸區塊。其中立體匹配裝置1包含:接收模組10、計算模組12、特徵擷取模組14以及估測模組16。
第2圖為本揭示內容一實施例中,接收模組10更詳細之方塊圖。接收模組10接收第一視角圖框11以及第二視角圖框13。於一實施例中,第一視角圖框11以及第二視角圖框13其中一者為左視角圖框而另一者則為右視角圖框,其中左視角圖框是用以為觀察者的左眼所接收,而右視角圖框是用以為觀察者的右眼所接收。於本實施例中,接收模組10進一步包含低通濾波器20以及減少取樣器22,以分別對第一視角圖框11以及第二視角圖框13進行低通濾波程序以及減少取樣程序。接收模組10進一步分割第一視角圖框11(或第二視角圖框13)為複數個區塊。
於一實施例中,這些分割的區塊各具有相同的尺寸,且各包含數個畫素點。舉例來說,第一視角圖框11可為接收模組10分割為數個各具有5x5個畫素點的區塊。而於其他實施例中,第一視角圖框11可為接收模組10分割為其他尺寸的區塊。於其他實施例中,接收模組10可依據第一視角圖框11的顏色或邊緣資訊,藉由影像切割法將第一視角圖框11分割為數個物體。
計算模組12用以產生視差分佈圖。其中視差分佈圖包含複數視差數值,分別對應區塊(或物體)其中之一之第一視角圖框11與第二視角圖框13間之視差量。第3圖為本揭示內容一實施例中,計算模組12更詳細之方塊圖。計算模組12包含匹配成本計算單元30、視差計算單元32以及視差精確化單元34。於一實施例中,計算模組12首先用以計算第一視角圖框11與第二視角圖框13間各對應區塊間的最小絕對值誤差總和,意即如後所用的「匹配成本」一詞。絕對值誤差總和是進行相似度測量中最簡單的一種計算技巧,其作法是將參考影像(第一視角圖框11)及目標影像(第二視角圖框13)中的某一畫素為中心,其周邊緊鄰的方形範圍內的各畫素點進行相減,再取相減結果的絕對值後進行累加得到。
更進一步地,視差計算單元32將選擇絕對值誤差總和中最小者。最小絕對值誤差總和可用來找尋相匹配的區塊(物體)。如果左視角影像及右視角影像為完全相符,則最小絕對值誤差總和將為0。視差精確化單元34進一步提供使最小絕對值誤差總和更精確化的機制來產生視差分佈圖,其中精確化的方法可由各種不同的習知方法來達成。因此,影像的深度資訊將可以在視差分佈圖的計算完成後推導出。
第4圖為本揭示內容一實施例中,特徵擷取模組14更詳細之方塊圖。特徵擷取模組14自接收模組10接收由第一視角圖框11所切割出的區塊,並對各區塊進行特徵擷取程序,以產生複數特徵分佈圖,其中特徵分佈圖各包含複數特徵數值,以對應各區塊。於本實施例中,特徵擷取模組14包含彩度為準色彩分割單元40、邊緣偵測單元42以及位置分析單元44。彩度為準色彩分割單元40產生色彩分割分佈圖,包含複數色彩特徵數值。更詳細地來說,彩度為準色彩分割單元40用以依據彩度資訊來區別各區塊中的畫素並將有相似色彩的畫素區分為同一群組。群組數目表示區塊中的物體數。色彩特徵數值即與區塊中的群組數相關。
邊緣偵測單元42用以產生邊緣分佈圖,包含複數邊緣特徵數值,其中邊緣特徵數值表示區塊中的邊緣畫素數量。邊緣畫素可由高通濾波器判斷出。其中,「邊緣畫素」一詞是指位於邊緣上的畫素。位置分析單元44用以產生注意力分佈圖,包含複數注意力特徵數值。於部份實施例中,可不需設置位置分析單元44。
上述之色彩特徵數值、邊緣特徵數值以及注意力特徵數值分別表示色彩、邊緣及注意力的特徵強度。於一實施例中,當色彩特徵數值其中之一較高時,其對應的區塊中具有與周圍環境不同的物體的機率即較高。此區塊的視差數值之可靠度因此較高。而當邊緣特徵數值其中之一較高時,其對應的區塊中的邊緣數目則較大。此區塊的視差數值之可靠度亦因此較高。而當注意力特徵數值其中之一較高時,其對應的區塊之位置是較容易為觀察者所觀察到的。舉例來說,位於影像中間的區塊由於較容易為觀察者所觀察到,而具有較高的注意力特徵數值。
需注意的是,上述實施例中僅以三種形式的特徵為例進行說明。於其他實施例中,亦可考量其他形式的特徵。
第5圖為本揭示內容一實施例中,估測模組16更詳細之方塊圖。於本實施例中,估測模組16包含:可靠度計算單元50以及比較單元52。其中可靠度計算單元50包含視差相似可靠度計算單元500、邊緣可靠度計算單元502、注意力可靠度計算單元504、匹配成本可靠度計算單元506以及可靠度總和單元508。視差相似可靠度計算單元500、邊緣可靠度計算單元502、注意力可靠度計算單元504及匹配成本可靠度計算單元506分別將前述的色彩分割分佈圖、邊緣分佈圖、注意力分佈圖及區塊的匹配成本轉換為對應的可靠度分佈圖。
視差相似可靠度計算單元500根據第4圖所繪示的彩度為準色彩分割單元40所產生的色彩分割分佈圖,以及第1圖的計算單元12所產生的視差分佈圖,來產生相似可靠度分佈圖。在一個特定區塊的顏色與其周圍區塊的顏色相近或是在一個近似的範圍內時,視差相似可靠度計算單元500將此特定區塊的視差數值與其周邊的區塊的視差數值進行比較,以驗證視差數值的可靠度並進一步對視差數值進行正規化。相似可靠度分佈圖因此包含數個相似可靠度數值,各對應於色彩分割分佈圖中的色彩特徵數值。當特定區塊與其周圍區塊的顏色相近且亦具有相近的視差數值,則此特定區塊的相似可靠度數值亦較高。
邊緣可靠度計算單元502根據第4圖所繪示的邊緣偵測單元42所產生的邊緣分佈圖產生邊緣可靠度分佈圖,其中邊緣可靠度分佈圖包含複數邊緣可靠度數值,各對應於邊緣分佈圖中的一個邊緣數值。更詳細地來說,邊緣可靠度數值正比於邊緣數值。舉例來說,邊緣可靠度數值可由將邊緣數值正規化為0-2的數字來產生。
注意力可靠度計算單元504用以根據第4圖中繪示的位置分析單元44產生的注意力分佈圖,來產生注意力可靠度分佈圖。其中注意力可靠度分佈圖包含複數注意力可靠度數值,各對應於區塊其中之一之注意力強度。
匹配成本可靠度計算單元506根據各區塊之匹配成本(亦即由第1圖繪示之計算模組12所包含的視差計算單元32所計算的最小絕對值誤差總和),來產生匹配成本可靠度分佈圖。其中匹配成本可靠度分佈圖包含複數匹配成本可靠度數值,各對應於區塊其中之一之匹配成本強度。
因此,可靠度總和單元508將根據上述的特徵分佈圖計算可靠度分佈圖。其中可靠度分佈圖包含各區塊的特徵可靠度。換句話說,特徵可靠度為區塊對應之相似可靠度數值、邊緣可靠度數值、匹配成本可靠度數值以及注意力可靠度數值之總合。
比較單元52接收可靠度分佈圖,以根據各區塊之特徵可靠度與至少一可靠度臨界值進行比較,來濾除不合格區塊,進一步產生複數候選區塊。當一個特定區塊的特徵可靠度不夠高時,由於其為凹區塊以及凸區塊之機率較低,而將被視為不合格區塊並捨棄。
因此,比較單元52進一步由視差分佈圖判斷這些候選區塊的視差數值,並根據候選區塊中具有最大視差數值以及最小視差數值者分別判斷凹區塊以及凸區塊。於一實施例中,凹區塊對應於視差分佈圖中之最大視差數值,以及凸區塊對應於視差分佈圖中之最小視差數值。
本揭示內容之立體匹配裝置1為根據可靠度運作的架構,可在不需高複雜度立體匹配技術的情形下偵測出真正的凹區塊以及凸區塊。藉由擷取區塊的特徵資訊,各區塊的特徵可以被迅速計算出,且其計算成本相當低。特徵的可靠度更進一步被推導出,並運用以選擇具有較高特徵可靠度的候選區塊。因此,凹區塊以及凸區塊可迅速地從候選區塊中再被挑選出。
請參照第6圖。第6圖為本揭示內容一實施例中,一種立體匹配方法600之流程圖。立體匹配方法600可應用於如第1圖所繪示的立體匹配裝置1。立體匹配方法600包含下列步驟(應瞭解到,在本實施方式中所提及的步驟,除特別敘明其順序者外,均可依實際需要調整其前後順序,甚至可同時或部分同時執行)。
於步驟601,接收模組10接收第一視角圖框11以及第二視角圖框13。接收模組10進一步於步驟602中分割第一視角圖框11為複數個區塊。於步驟603,計算模組12產生視差分佈圖,其中視差分佈圖包含複數視差數值,分別對應區塊其中之一之第一視角圖框11與第二視角圖框13間之一視差量。
於步驟604,特徵擷取模組14進行特徵擷取程序,以產生複數特徵分佈圖,其中特徵分佈圖各包含複數特徵數值,以對應各區塊。
於步驟605,估測模組16中的可靠度計算單元50根據特徵分佈圖計算各區塊之特徵可靠度,其中特徵可靠度為各特徵分佈圖之特徵數值之總和。
於步驟606,估測模組16中的比較單元52根據各區塊之特徵可靠度與至少一可靠度臨界值進行比較以濾除複數不合格區塊,進一步產生複數候選區塊。比較單元52進一步於步驟607根據候選區塊中具有最大視差數值以及最小視差數值者分別判斷凹區塊以及凸區塊。其中,候選區塊的視差數值可由步驟603所產生的視差分佈圖判斷。
雖然本揭示內容已以實施方式揭露如上,然其並非用以限定本揭示內容,任何熟習此技藝者,在不脫離本揭示內容之精神和範圍內,當可作各種之更動與潤飾,因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。
1...立體匹配裝置
10...接收模組
11...第一視角圖框
12...計算模組
13...第二視角圖框
14...特徵擷取模組
16...估測模組
20...低通濾波器
22...減少取樣器
30...匹配成本計算單元
32...視差計算單元
34...視差精確化單元
40...彩度為準色彩分割單元
42...邊緣偵測單元
44...位置分析單元
50...可靠度計算單元
500...視差相似可靠度計算單元
502...邊緣可靠度計算單元
504...注意力可靠度計算單元
506...匹配成本可靠度計算單元
508...可靠度總和單元
52...比較單元
600...立體匹配方法
601-607...步驟
為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下:
第1圖為本揭示內容一實施例中,一種立體匹配裝置之方塊圖;
第2圖為本揭示內容一實施例中,接收模組更詳細之方塊圖;
第3圖為本揭示內容一實施例中,計算模組更詳細之方塊圖;
第4圖為本揭示內容一實施例中,特徵擷取模組更詳細之方塊圖;
第5圖為本揭示內容一實施例中,估測模組更詳細之方塊圖;以及
第6圖為本揭示內容一實施例中,一種立體匹配方法之流程圖。
1...立體匹配裝置
10...接收模組
11...第一視角圖框
12...計算模組
13...第二視角圖框
14...特徵擷取模組
16...估測模組
50...可靠度計算單元
52...比較單元

Claims (16)

  1. 一種立體匹配(stereo matching)裝置,應用於一立體(stereoscopic)顯示系統中以判斷一凹(concave)區塊以及一凸(convex)區塊,其中該立體匹配裝置至少包含:一接收模組,用以接收一第一視角圖框以及一第二視角圖框並分割該第一視角圖框為複數個區塊;一計算模組,用以產生一視差分佈圖(disparity map),其中該視差分佈圖包含複數視差數值,分別對應該等區塊其中之一之該第一視角圖框與該第二視角圖框間之一視差量;一特徵擷取模組,用以對各該等區塊進行一特徵擷取程序,以產生複數特徵分佈圖,其中該等特徵分佈圖各包含複數特徵數值,以對應各該等區塊;以及一估測模組,包含:一可靠度計算單元,用以根據該等特徵分佈圖計算各該等區塊之一特徵可靠度,其中該特徵可靠度為各該等特徵分佈圖之該等特徵數值之一總和;以及一比較單元,用以根據各該等區塊之該特徵可靠度與至少一可靠度臨界值進行比較以濾除複數不合格區塊,進一步產生複數候選區塊,並根據該等候選區塊中具有一最大視差數值以及一最小視差數值者分別判斷該凹區塊以及該凸區塊。
  2. 如請求項1所述之立體匹配裝置,其中該特徵擷 取模組包含:一彩度為準色彩分割(hue-based color segment)單元,以一產生一色彩分割分佈圖,包含複數色彩特徵數值;以及一邊緣偵測單元,用以產生一邊緣分佈圖,包含複數邊緣特徵數值。
  3. 如請求項2所述之立體匹配裝置,其中該特徵擷取模組更包含一位置分析單元,用以產生一注意力分佈圖,包含複數注意力特徵數值。
  4. 如請求項3所述之立體匹配裝置,其中該可靠度計算單元包含:一視差相似可靠度計算單元,用以根據該色彩分割分佈圖以及該視差分佈圖產生一相似可靠度分佈圖,其中該相似可靠度分佈圖包含複數相似可靠度數值,各對應於該等區塊其中之一;一邊緣可靠度計算單元,用以根據該邊緣分佈圖產生一邊緣可靠度分佈圖,其中該邊緣可靠度分佈圖包含複數邊緣可靠度數值,各對應於該等區塊其中之一;以及匹配成本(matching-cost)可靠度計算單元,用以根據各該等區塊之一最小絕對值誤差總和(minimal sum of absolute difference)產生一匹配成本可靠度分佈圖,其中該匹配成本可靠度分佈圖包含複數匹配成本可靠度數值,各對應於該等區塊其中之一之一匹配成本強度; 其中該特徵可靠度為該等區塊對應之該等相似可靠度數值、該等邊緣可靠度數值以及該等匹配成本可靠度數值之總合。
  5. 如請求項4所述之立體匹配裝置,其中該可靠度計算單元包含一注意力可靠度計算單元,用以根據該注意力分佈圖產生一注意力可靠度分佈圖,其中該注意力可靠度分佈圖包含複數注意力可靠度數值,各對應於該等區塊其中之一之一注意力強度,該特徵可靠度為該等區塊對應之該等相似可靠度數值、該等邊緣可靠度數值、該等匹配成本可靠度數值以及該等注意力可靠度數值之總合。
  6. 如請求項1所述之立體匹配裝置,其中該計算模組根據該第一視角圖框之各該等區塊以及該第二視角圖框中之各複數個對應區塊計算一最小絕對值誤差總和以產生該視差分佈圖。
  7. 如請求項1所述之立體匹配裝置,其中該凹區塊對應於該視差分佈圖中之該最大視差數值,以及該凸區塊對應於該視差分佈圖中之該最小視差數值。
  8. 如請求項1所述之立體匹配裝置,其中該接收模組更包含一低通濾波器以及一減少取樣器(down sampler),以分別對該第一視角圖框以及該第二視角圖框進行一低通濾波程序以及一減少取樣程序。
  9. 一種立體匹配方法,應用於一立體顯示系統中之一立體匹配裝置,以判斷一凹區塊以及一凸區塊,其中該立體匹配方法至少包含:接收一第一視角圖框以及一第二視角圖框;分割該第一視角圖框為複數個區塊;產生一視差分佈圖,其中該視差分佈圖包含複數視差數值,分別對應該等區塊其中之一之該第一視角圖框與該第二視角圖框間之一視差量;進行一特徵擷取程序,以產生複數特徵分佈圖,其中該等特徵分佈圖各包含複數特徵數值,以對應各該等區塊;根據該等特徵分佈圖計算各該等區塊之一特徵可靠度,其中該特徵可靠度為各該等特徵分佈圖之該等特徵數值之一總和;根據各該等區塊之該特徵可靠度與至少一可靠度臨界值進行比較以濾除複數不合格區塊,進一步產生複數候選區塊;以及根據該等候選區塊中具有一最大視差數值以及一最小視差數值者分別判斷該凹區塊以及該凸區塊。
  10. 如請求項9所述之立體匹配方法,其中進行該特徵擷取程序之步驟更包含:產生一色彩分割分佈圖,包含複數色彩特徵數值;以及 產生一邊緣分佈圖,包含複數邊緣特徵數值。
  11. 如請求項10所述之立體匹配方法,其中進行該特徵擷取程序之步驟更包含:產生一注意力分佈圖,包含複數注意力特徵數值。
  12. 如請求項11所述之立體匹配方法,其中計算該特徵可靠度之步驟更包含:根據該色彩分割分佈圖以及該視差分佈圖產生一相似可靠度分佈圖,其中該相似可靠度分佈圖包含複數相似可靠度數值,各對應於該等區塊其中之一;根據該邊緣分佈圖產生一邊緣可靠度分佈圖,其中該邊緣可靠度分佈圖包含複數邊緣可靠度數值,各對應於該等區塊其中之一;根據各該等區塊之一最小絕對值誤差總和產生一匹配成本可靠度分佈圖,其中該匹配成本可靠度分佈圖包含複數匹配成本可靠度數值,各對應於該等區塊其中之一之一匹配成本強度;以及對該等區塊對應之該等相似可靠度數值、該等邊緣可靠度數值以及該等匹配成本可靠度數值加總以產生該特徵可靠度。
  13. 如請求項12所述之立體匹配方法,其中計算該特徵可靠度之步驟更包含: 根據該注意力分佈圖產生一注意力可靠度分佈圖,其中該注意力可靠度分佈圖包含複數注意力可靠度數值,各對應於該等區塊其中之一之一注意力強度,該特徵可靠度為該等區塊對應之該等相似可靠度數值、該等邊緣可靠度數值、該等匹配成本可靠度數值以及該等注意力可靠度數值之總合。
  14. 如請求項9所述之立體匹配方法,其中產生該視差分佈圖之步驟更包含:根據該第一視角圖框之各該等區塊以及該第二視角圖框中之各複數個對應區塊計算一最小絕對值誤差總和。
  15. 如請求項9所述之立體匹配方法,其中該凹區塊對應於該視差分佈圖中之該最大視差數值,以及該凸區塊對應於該視差分佈圖中之該最小視差數值。
  16. 如請求項9所述之立體匹配方法,其中接收一第一視角圖框以及一第二視角圖框之步驟更包含分別對該第一視角圖框以及該第二視角圖框進行一低通濾波程序以及一減少取樣程序。
TW101108323A 2012-03-12 2012-03-12 判斷凹區塊以及凸區塊之立體匹配裝置及其方法 TWI459308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW101108323A TWI459308B (zh) 2012-03-12 2012-03-12 判斷凹區塊以及凸區塊之立體匹配裝置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101108323A TWI459308B (zh) 2012-03-12 2012-03-12 判斷凹區塊以及凸區塊之立體匹配裝置及其方法

Publications (2)

Publication Number Publication Date
TW201337789A TW201337789A (zh) 2013-09-16
TWI459308B true TWI459308B (zh) 2014-11-01

Family

ID=49627918

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101108323A TWI459308B (zh) 2012-03-12 2012-03-12 判斷凹區塊以及凸區塊之立體匹配裝置及其方法

Country Status (1)

Country Link
TW (1) TWI459308B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI223179B (en) * 2003-07-11 2004-11-01 Hon Hai Prec Ind Co Ltd A system and method for managing uniform purchasing of material
US7092015B1 (en) * 1999-09-22 2006-08-15 Fuji Jukogyo Kabushiki Kaisha Apparatus and method for stereo matching and method of calculating an infinite distance corresponding point
TWI278225B (en) * 2003-05-09 2007-04-01 I Art Corp Multiple views of stereoscopic image display scheme
US7272256B2 (en) * 2000-05-04 2007-09-18 Microsoft Corporation System and method for progressive stereo matching of digital images
TWI357987B (en) * 2007-10-24 2012-02-11 Hannstar Display Corp A three-dimension image display device and a displ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092015B1 (en) * 1999-09-22 2006-08-15 Fuji Jukogyo Kabushiki Kaisha Apparatus and method for stereo matching and method of calculating an infinite distance corresponding point
US7272256B2 (en) * 2000-05-04 2007-09-18 Microsoft Corporation System and method for progressive stereo matching of digital images
TWI278225B (en) * 2003-05-09 2007-04-01 I Art Corp Multiple views of stereoscopic image display scheme
TWI223179B (en) * 2003-07-11 2004-11-01 Hon Hai Prec Ind Co Ltd A system and method for managing uniform purchasing of material
TWI357987B (en) * 2007-10-24 2012-02-11 Hannstar Display Corp A three-dimension image display device and a displ

Also Published As

Publication number Publication date
TW201337789A (zh) 2013-09-16

Similar Documents

Publication Publication Date Title
KR101537174B1 (ko) 스테레오스코픽 영상에서의 주요 객체 검출 방법
US8989481B2 (en) Stereo matching device and method for determining concave block and convex block
US9424650B2 (en) Sensor fusion for depth estimation
US8406510B2 (en) Methods for evaluating distances in a scene and apparatus and machine readable medium using the same
US8135211B2 (en) Method and device for three-dimensional reconstruction of a scene
CN111066065A (zh) 用于混合深度正则化的系统和方法
JP6121776B2 (ja) 画像処理装置及び画像処理方法
EP3489898A1 (en) Method and apparatus for estimating disparity
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
US20110176722A1 (en) System and method of processing stereo images
EP1806697A1 (en) Segmenting image elements
EP2983131A1 (en) Method and device for camera calibration
US20150221098A1 (en) Image processing device, image processing method, and program
Satzoda et al. On performance evaluation metrics for lane estimation
KR20150053438A (ko) 스테레오 매칭 시스템과 이를 이용한 시차 맵 생성 방법
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
US10242453B2 (en) Simultaneous localization and mapping initialization
Camplani et al. Accurate depth-color scene modeling for 3D contents generation with low cost depth cameras
CN110800020B (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
US10504235B2 (en) Method for generating three dimensional images
Srikakulapu et al. Depth estimation from single image using defocus and texture cues
KR102171203B1 (ko) 스테레오 영상의 정합 방법 및 이를 수행하는 장치
TWI459308B (zh) 判斷凹區塊以及凸區塊之立體匹配裝置及其方法
Calderon et al. Depth map estimation in light fields using an stereo-like taxonomy
JP2023065296A (ja) 平面検出装置及び方法