TWI474285B - 移動向量估算系統及方法 - Google Patents
移動向量估算系統及方法 Download PDFInfo
- Publication number
- TWI474285B TWI474285B TW98107374A TW98107374A TWI474285B TW I474285 B TWI474285 B TW I474285B TW 98107374 A TW98107374 A TW 98107374A TW 98107374 A TW98107374 A TW 98107374A TW I474285 B TWI474285 B TW I474285B
- Authority
- TW
- Taiwan
- Prior art keywords
- motion vector
- sub
- matching error
- band
- reference image
- Prior art date
Links
Landscapes
- Image Analysis (AREA)
Description
本發明係有關移動向量之估算,特別是有關一種旋轉不變(rotation-invariant)或尺度不變(scale-invariant)之系統及方法,用以估算得到真實(true)移動向量。
於影像處理領域中,移動向量估算(motion estimation)是一種很重要的處理,其可適用於許多的影像處理應用場合中,例如移動向量補償之去交錯(motion-compensated deinterlacing)、移動向量補償之掃描率轉換(motion-compensated scan rate conversion)、移動向量補償之雜訊降低(motion-compensated noise reduction)及影像內容分析等。區塊比對(block matching)是傳統移動向量補償經常被使用到的演算法之一,然而,如果前、後圖像(例如,參考圖像及目前圖像)中的物件有旋轉(rotation)或者尺度比例(scale)的變化,則傳統的區塊比對演算法往往無法獲得好的結果。
因此,亟需提出一種旋轉不變(rotation-invariant)之演算法,或者提出一種尺度不變(scale-invariant)之演算法,用以估算得到真實移動向量。
本發明的目的之一在於提出一種移動向量估算系統及方法,其於特徵萃取時不會受到旋轉或尺度比例的影響,因而得以估算得到真實移動向量。
根據本發明實施例,以加柏(Gabor)濾波器組輸入目前圖像及參考圖像,用以產生目前圖像濾波輸出及參考圖像濾波輸出,該加柏(Gabor)濾波器組根據其基底(bases)以提供多個旋轉不變(rotation-invariant)/尺度不變(scale-invariant)之特徵值(features)。匹配誤差計算單元根據目前圖像濾波輸出、參考圖像濾波輸出及多個移動向量預估值,以產生多個匹配誤差值。移動向量搜尋單元提供該移動向量預估值至匹配誤差計算單元,且自匹配誤差計算單元輸入多個匹配誤差值,並就其中最小者所對應之移動向量預估值作為真實(true)移動向量。
以下所述的本發明實施例使用加柏(Gabor)濾波器組(filter bank)來萃取不受旋轉(rotation)或尺度比例(scale)影響的特徵(feature),以利移動向量之估算,主要係考量到加柏(Gabor)濾波器組具有旋轉不變(rotation-invariant)及尺度不變(scale-invariant)的特性。加柏(Gabor)濾波器組的基底(base)可以表示為下式(1):
其中,x、y分別代表水平及垂直像素指數(index),fhi
、fvi
分別代表第i個次頻帶(subband)的水平及垂直中心頻率(center frequency),則代表第i個次頻帶的高斯視窗(Gaussian window)之偏差值(variance)。
第一圖例示加柏(Gabor)濾波器組的通帶(passband),於圖式中例示有二十個通帶或次頻帶。圖式中的每一個通帶係由不同的中心頻率(fhi
、fvi
)及偏差值()所決定,其中,愈離開中心之通帶的頻率愈大,而偏差值()則相關於通帶的大小。
在本發明第一實施例中,藉由萃取加柏(Gabor)濾波器組之旋轉不變(rotation-invariant)特徵(feature),用以估算得到真實移動向量。第二圖顯示加柏(Gabor)濾波器組的各個通帶,其中(頻率相關)次頻帶指數p代表對應至不同的頻率,例如,於圖式中,由中心往外依次為0、1、2、3、4;而另一(角度相關)次頻帶指數q則代表對應至不同的旋轉角度。鑑於影像中的物件如果經過旋轉後,其頻譜也會有旋轉之現象(但頻率大小則不變)。因此,在本發明第一實施例中,使用下式(2)將各種角度(亦即,所有q值)的加柏(Gabor)基底gp,q
(x,y)予以加總後,所得到的特徵值gp
(x,y)即不具有角度q的變數,因而可作為旋轉不變(rotation-invariant)基底,其可用於後續移動向量的估算。於圖式中,對於不同頻率(p=0-4),總共可以得到五個特徵值。
第三圖顯示本發明第一實施例之移動向量估算系統及其處理流程。首先,輸入目前圖像IC
及參考圖像IR
(例如前一圖像)至加柏(Gabor)濾波器組10。藉由前述加柏(Gabor)濾波器組10之旋轉不變(rotation-invariant)基底gp
(x,y),因而分別得到(目前/參考圖像之)濾波輸出Gp
(IC
)、Gp
(IR
)。詳言之,目前圖像IC
之濾波輸出Gp
(IC
)係由目前圖像IC
與特徵值gp
(x,y)進行摺積運算(convolution)而得,亦即Gp
(IC
)=gp
(x,y)*IC
(x,y);而參考圖像IR
之濾波輸出Gp
(IR
)係由參考圖像IR
與特徵值gp
(x,y)進行摺積運算(convolution)而得,亦即Gp
(IR
)=gp
(x,y)*IR
(x,y)。
接下來,以方塊12進行匹配成本(matching cost)或匹配誤差(matching error)的計算,用以得到位於(x,y)像素的移動向量(u,v)的誤差。詳言之,首先,將目前圖像IC
位於像素(x,y)的濾波輸出Gp
(IC
,x,y)與參考圖像IR
位於移動後像素(x+u,y+v)的濾波輸出Gp
(IR
,x+u,y+v)進行相減,以得到一差值;再對所有頻率值(亦即,頻率相關次頻帶指數p)的差值予以加總,因而得到匹配誤差值。上述匹配誤差值C的計算可以表示如下式(3):
上述方塊12或式(3)的移動向量預估值(u,v)可以由一移動向量搜尋(search)單元14來提供。移動向量搜尋單元14可以使用各種傳統搜尋演算法之一,例如全域搜尋(full search)演算法。移動向量搜尋單元14所提供的不同移動向量值(u,v)可得到不同大小的匹配誤差值C;而移動向量搜尋單元14即根據這些匹配誤差值C當中的最小者,據以判定相對應的移動向量值(u,v)作為最適當的移動向量,或者真實(true)移動向量。
在本發明第二實施例中,藉由萃取加柏(Gabor)濾波器組之尺度不變(scale-invariant)特徵(feature),用以估算得到真實移動向量,此時的加柏(Gabor)濾波器組需符合下式(4):
其中,ηh
、ηv
為(水平/垂直)尺度常數,用以控制視窗大小。
在式(4)的條件下,下式(5)所示尺度比例不同的二信號s1
、s2
可具有下式(6)的關係:
其中,a代表尺度比例係數(factor),而g代表加柏(Gabor)濾波器組之基底。上式(6)僅適用於當二圖像的尺度比例係數為整數倍時。底下所示之第二實施例將提出一種可適用於任意尺度比例的圖像。
在本實施例中,代表加柏(Gabor)濾波器組之特徵值g定義如下式(7):
其中,n代表各種尺度比例的次頻帶指數,θ代表次頻帶之中心頻率的角度,α代表次頻帶中的最小頻率。
由式(7)可以看出,任何二相鄰次頻帶的尺度比例為。在本發明較佳實施例中,α=0.08837,η=1.183,θ=0°,45°,90°,135°。
第四圖顯示本發明第二實施例之移動向量估算系統及其處理流程。首先,輸入目前圖像IC
及參考圖像IR
(例如前一圖像)至加柏(Gabor)濾波器組20。藉由加柏(Gabor)濾波器組20之尺度不變(scale-invariant)基底g(x,y,n,θ),因而分別得到(目前/參考圖像之)濾波輸出G(IC
)、G(IR
)。詳言之,目前圖像之濾波輸出G(IC
)係由目前圖像IC
與特徵值g(x,y,n,θ)進行摺積運算(convolution)而得,亦即G(IC
)=g(x,y,n,θ)*IC
(x,y);而參考圖像之濾波輸出G(IR
)係由參考圖像IR
與特徵值g(x,y,n,θ)進行摺積運算(convolution)而得,亦即G(IR
)=g(x,y,n,θ)*IR
(x,y)。
接下來,以方塊22進行匹配成本(matching cost)或匹配誤差(matching error)的計算,用以得到放大之匹配誤差值Cr
及縮小之匹配誤差值Cc
,如下式(8)所示:
其中,由於式(7)所定義的尺度比例僅有1x、及2x,因此,使用尺度比例次頻帶偏差值(offset)k來代表經內插(interpolation)後的尺度比例。詳言之,當k=0.5時,G(x,y,n+0.5,θ,I)=[G(x,y,n,θ,I)+G(x,y,n+1,θ,I)]/2,代表於尺度比例1x、間作內插;當k=1.5時,G(x,y,n+1.5,θ,I)=[G(x,y,n+1,θ,I)+G(x,y,n+2,θ,I)]/2,代表於尺度比例、2x間作內插。經內插後,將得到下列尺度比例:1x、1.189x、1.414x、1.682x、2x。
關於(放大/縮小)匹配誤差值Cr
或Cc
的計算,類似於前述的式(3),亦即,首先,將目前圖像IC
位於像素(x,y)的濾波輸出G(Ic,x,y)與參考圖像IR
位於移動像素(x+u,y+v)的濾波輸出G(IR
,x+u,y+v)進行相減,以得到一差值;再對所有次頻帶指數n、中心頻率角度θ的差值予以加總,因而得到(放大/縮小)匹配誤差值Cr
或Cc
。和式(3)不同的是,式(8)需針對不同的尺度比例(亦即,不同的k值)逐一得到誤差值並作比對,並以最小的誤差值所對應的尺度比例(或k值)作為實際的尺度比例。最終的匹配誤差值C則是取Cr
與Cc
之較小者。
上述方塊22或式(8)的移動向量預估值(u,v)可以由一移動向量搜尋(search)單元24來提供。移動向量搜尋單元24可以使用各種傳統搜尋演算法之一,例如全域搜尋(full search)演算法。移動向量搜尋單元24所提供的不同移動向量值(u,v)可得到不同大小的匹配誤差值C;而移動向量搜尋單元24即根據這些匹配誤差值C當中的最小者,據以判定相對應的移動向量值(u,v)作為最適當的移動向量,或者真實(true)移動向量。
以上第一、第二實施例分別說明了根據旋轉不變(rotation-invariant)及尺度不變(scale-invariant)之特徵以進行移動向量之估算。如果所處理的圖像既具有旋轉及尺度比例的改變,則可以合併上述二實施例的作法,並就旋轉不變匹配誤差值C、尺度不變匹配誤差值Cr
、Cc
三者中最小者,據以判定相對應的移動向量值(u,v)作為最適當的移動向量,或者真實(true)移動向量。
以上所述僅為本發明之較佳實施例而已,並非用以限定本發明之申請專利範圍;凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾,均應包含在下述之申請專利範圍內。
10...具旋轉不變基底之加柏(Gabor)濾波器組
12...匹配誤差計算
14...移動向量搜尋
20...具尺度不變基底之加柏(Gabor)濾波器組
22...匹配誤差計算
24...移動向量搜尋
p...(頻率相關)次頻帶指數
q...(角度相關)次頻帶指數
IC
...目前畫像
IR
...參考畫像
G(IC
)...目前畫像之濾波輸出
G(IR
)...參考畫像之濾波輸出
u,v...移動向量
C...匹配誤差值
Cr
、Cc
...匹配誤差值
第一圖例示加柏(Gabor)濾波器組的通帶(passband)。
第二圖顯示加柏(Gabor)濾波器組的通帶(passband),其中次頻帶指數p代表不同的頻率,而另一次頻帶指數q則代表旋轉角度。
第三圖顯示本發明第一實施例之移動向量估算系統及其處理流程。
第四圖顯示本發明第二實施例之移動向量估算系統及其處理流程。
10...具旋轉不變基底之加柏(Gabor)濾波器組
12...匹配誤差計算
14...移動向量搜尋
IC
...目前畫像
IR
...參考畫像
G(IC
)...目前畫像之濾波輸出
G(IR
)...參考畫像之濾波輸出
u,v...移動向量
C...匹配誤差值
Claims (14)
- 一種移動向量估算系統,包含:一加柏(Gabor)濾波器組,其輸入目前圖像IC 及參考圖像IR ,用以產生目前圖像IC 濾波輸出及參考圖像IR 濾波輸出,該加柏(Gabor)濾波器組具有複數個旋轉不變(rotation-invariant)之基底(bases)及複數個尺度不變(scale-invariant)之基底,該加柏濾波器係根據該些基底以提供複數個特徵值(features);一匹配誤差計算單元,其將目前圖像IC 位於像素(x,y)的濾波輸出Gp (IC ,x,y)與參考圖像IR 位於移動後像素(x+u,y+v)的濾波輸出Gp (IR ,x+u,y+v)進行相減,並對所有頻率相關次頻帶指數p的差值予以加總,用以得到該複數個匹配誤差值,其中包含複數個旋轉不變匹配誤差值C及複數個尺度不變匹配誤差值Cr 、Cc ,其中(u,v)為移動向量預估值;及一移動向量搜尋單元,其提供該移動向量預估值至該匹配誤差計算單元,且自該匹配誤差計算單元輸入該複數個匹配誤差值,並就其中最小者所對應之移動向量預估值作為真實(true)移動向量。
- 如申請專利範圍第1項所述之移動向量估算系統,其中上述之複數個特徵值gp (x,y)係由下式得到:
- 如申請專利範圍第2項所述之移動向量估算系統,其中上述之加柏(Gabor)濾波器組執行下列步驟:將目前圖像IC 與特徵值gp (x,y)進行摺積運算(convolution)而得到該濾波輸出Gp (IC )=gp (x,y)*IC (x,y);及將參考圖像IR 與特徵值gp (x,y)進行摺積運算(convolution)而得到該參考圖像IR 之濾波輸出Gp (IR )=gp (x,y)*IR (x,y)。
- 如申請專利範圍第1項所述之移動向量估算系統,其中上述匹配誤差計算單元所執行步驟可以下式表示:
- 如申請專利範圍第1項所述之移動向量估算系統,其中上述之複數個特徵值g(x,y,n,θ)定義如下:
- 如申請專利範圍第5項所述之移動向量估算系統,其中上述之加柏(Gabor)濾波器組執行下列步驟: 將目前圖像IC 與特徵值g(x,y,n,θ)進行摺積運算(convolution)而得到該濾波輸出G(IC )=g(x,y,n,θ)*IC (x,y);及將參考圖像IR 與特徵值g(x,y,n,θ)進行摺積運算(convolution)而得到該參考圖像IR 之濾波輸出G(IR )=g(x,y,n,θ)*IR (x,y)。
- 如申請專利範圍第6項所述之移動向量估算系統,其中上述之匹配誤差計算單元執行下式計算,以得到該尺度不變匹配誤差值之放大之匹配誤差值Cr 及縮小之匹配誤差值Cc :C (x ,y ,u ,v )=min(C r (x ,y ,u ,v ),C c (x ,y ,u ,v))
- 一種移動向量估算方法,包含:輸入目前圖像IC 及參考圖像IR 至一加柏(Gabor)濾波器組,用以產生目前圖像IC 濾波輸出及參考圖像IR 濾波輸出,該加柏(Gabor)濾波器組具有複數個旋轉不變(rotation-invariant)之基底(bases)及複數個尺度不變(scale-invariant)之基底,該加柏濾波器係根據該些基底以提供複數個特徵值(features);將目前圖像IC 位於像素(x,y)的濾波輸出Gp (IC ,x,y)與參考圖像IR 位於移動後像素(x+u,y+v)的濾波輸出Gp (IR ,x+u,y+v)進行相減,並對所有頻率相關次頻帶指數p的差值予以加總,用以得到複數個匹配誤差值,其中包含複數個旋轉不變匹配誤差值C及複數個尺度不變匹配誤差值Cr 、Cc ,其中(u,v)為移動向量預估值;及接收該複數個匹配誤差值C,並就其中最小者所對應之移動向量預估值作為真實(true)移動向量。
- 如申請專利範圍第8項所述之移動向量估算方法,其中上述之複數個特徵值gp (x,y)係由下式得到:
- 如申請專利範圍第9項所述之移動向量估算方法,其中上述之加柏(Gabor)濾波器組執行下列步驟:將目前圖像IC 與特徵值gp (x,y)進行摺積運算(convolution)而得到該濾波輸出Gp (IC )=gp (x,y)*IC (x,y);及將參考圖像IR 與特徵值gp (x,y)進行摺積運算(convolution)而得到該參考圖像IR 之濾波輸出Gp (IR )=gp (x,y)*IR (x,y)。
- 如申請專利範圍第8項所述之移動向量估算方法,其中上述複數個匹配誤差值之產生可以下式表示:
- 如申請專利範圍第8項所述之移動向量估算方法,其中上述之複數個特徵值g(x,y,n,θ)定義如下:
- 如申請專利範圍第12項所述之移動向量估算方法,其中上述之加柏(Gabor)濾波器組執行下列步驟:將目前圖像IC 與特徵值g(x,y,n,θ)進行摺積運算(convolution)而得到該濾波輸出G(IC )=g(x,y,n,θ)*IC (x,y);及 將參考圖像IR 與特徵值g(x,y,n,θ)進行摺積運算(convolution)而得到該參考圖像IR 之濾波輸出G(IR )=g(x,y,n,θ)*IR (x,y)。
- 如申請專利範圍第13項所述之移動向量估算方法,其中上述複數個匹配誤差值之產生係執行下式計算,以得到放大之匹配誤差值Cr 及縮小之匹配誤差值Cc :C (x ,y ,u ,v )=min(C r (x ,y ,u ,v ),C c (x ,y ,u ,v ))
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW98107374A TWI474285B (zh) | 2009-03-06 | 2009-03-06 | 移動向量估算系統及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW98107374A TWI474285B (zh) | 2009-03-06 | 2009-03-06 | 移動向量估算系統及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201033940A TW201033940A (en) | 2010-09-16 |
TWI474285B true TWI474285B (zh) | 2015-02-21 |
Family
ID=44855353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW98107374A TWI474285B (zh) | 2009-03-06 | 2009-03-06 | 移動向量估算系統及方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI474285B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090052743A1 (en) * | 2004-10-12 | 2009-02-26 | Axel Techmer | Motion estimation in a plurality of temporally successive digital images |
-
2009
- 2009-03-06 TW TW98107374A patent/TWI474285B/zh active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090052743A1 (en) * | 2004-10-12 | 2009-02-26 | Axel Techmer | Motion estimation in a plurality of temporally successive digital images |
Non-Patent Citations (1)
Title |
---|
Ju Han , Kai-Kuang MA, "Rotation-invariant and scale-invariant Gabor features for texture image retrieval" , 2007. 林明秀 , 董學志 , 宋建中 ," Gabor小波目標特徵提取和跟蹤方法的研究" , 2004.12 . David G . Lowe , " Distinctive Image Features from Scale-Invariant Keypoints " International Journal of Computer Vision , Vol:60 , Issue:2, November 2004 , pp.91 - 110 * |
Also Published As
Publication number | Publication date |
---|---|
TW201033940A (en) | 2010-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Vishwakarma et al. | Image fusion using adjustable non-subsampled shearlet transform | |
JP2776294B2 (ja) | 皮膚紋様画像の画像特徴抽出装置および画像処理装置 | |
Cooper | Improved photo response non-uniformity (PRNU) based source camera identification | |
US9619755B2 (en) | Method for estimating parameters of a graph spectral filter using training data | |
Mustafa et al. | Image enhancement based on discrete cosine transforms (DCT) and discrete wavelet transform (DWT): a review | |
WO2016169244A1 (zh) | 基于随机喷射retinex的视频图像去噪与增强方法及装置 | |
Thaipanich et al. | An adaptive nonlocal means scheme for medical image denoising | |
CN104182941A (zh) | 高光谱图像条带噪声去噪方法 | |
CN104036461B (zh) | 一种基于联合滤波的红外复杂背景抑制方法 | |
Karnaukhov et al. | Restoration of multispectral images by the gradient reconstruction method and estimation of the blur parameters on the basis of the multipurpose matching model | |
Wang et al. | Image enhancement | |
CN102314675B (zh) | 基于小波高频的贝叶斯去噪方法 | |
TWI474285B (zh) | 移動向量估算系統及方法 | |
Habeeb | Performance Enhancement of Medical Image Fusion Based on DWT and Sharpening Wiener Filter | |
RU2630744C2 (ru) | Способ обнаружения периодических текстур | |
CN110490819A (zh) | 基于nsst和nlm滤波及硬阈值技术的图像去噪方法 | |
Luong et al. | A primal-dual algorithm for joint demosaicking and deconvolution | |
CN107480593A (zh) | Beltrami流和递归滤波的高光谱图像分类方法 | |
Sugamya et al. | Image enhancement using singular value decomposition | |
Pedone et al. | Quaternion wiener deconvolution for noise robust color image registration | |
Shi et al. | Learning Frequency-Aware Dynamic Transformers for All-In-One Image Restoration | |
CN106327440B (zh) | 含有非局域数据保真项的图像分解滤波方法 | |
Yun et al. | Color interpolation by expanding a gradient method | |
Seetharaman et al. | Swift Fingerprint Enhancement Technique with Parabolic Mask Filtering Algorithm | |
Lukin et al. | Denoising of multichannel images with references |