TWI451753B - 影像雜訊消除模組、影像訊號處理裝置及影像雜訊消除方法 - Google Patents
影像雜訊消除模組、影像訊號處理裝置及影像雜訊消除方法 Download PDFInfo
- Publication number
- TWI451753B TWI451753B TW098118602A TW98118602A TWI451753B TW I451753 B TWI451753 B TW I451753B TW 098118602 A TW098118602 A TW 098118602A TW 98118602 A TW98118602 A TW 98118602A TW I451753 B TWI451753 B TW I451753B
- Authority
- TW
- Taiwan
- Prior art keywords
- pixel
- similarity
- pixel array
- value
- pixel value
- Prior art date
Links
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
本發明關於一種影像雜訊消除模組、影像訊號處理裝置及影像雜訊消除方法,特別是指一種影像雜訊消除模組用於消除影像資料中的影像雜訊。
如第1A圖所示,一般影像擷取裝置10如數位攝影機或數位相機的影像感應器(Sensor)12每次感應可以擷取到具有特定影像尺寸(R x L)的像素(Pixel)資料,其中”L”代表掃瞄線的總橫行數和”R”代表縱列數或是每一橫行的像素數量(如第1A圖所繪的每一圓點即代表像素)。例如1.3百萬像素(Megapixel,Mp)的影像感應器代表該影像感應器每次感應可以擷取一張具有1280像素x 1024行的影像尺寸,其中每一像素需要使用一個位元組(Byte)或10個位元(bits)的記憶容量。接著,該影像擷取裝置10會將擷取到的每一張特定影像尺寸的像素資料逐行經由通訊介面如通用串接匯流排(USB)介面傳送至位於後端的電子裝置20如電腦來處理。
惟,影像感應器12擷取的影像資料中可能也摻雜了若干影像雜訊(Noise)。雖然已有一些習知的低階影像感應器內即設有影像雜訊消除裝置,但其處理影像雜訊的效果仍然不是很好,或另有一些影像雜訊消除裝置是設於後端的電子裝置20中,但無法即時處理影像雜訊而導致影像輸出延遲或影響到電子裝置20之正常運行效能,或者如第1B圖所示,在影像擷取裝置10內額外設置一影像雜訊消除裝置14來處理影像感應器12擷取到的影像資料再傳予電子裝置20。該習知影像雜訊消除裝置14如第2圖所示可能包括一雜訊處理單元142設有基於影像雜訊消除技術的軟體及相關硬體用於運算處理、唯讀記憶體(ROM)144、以及隨機存取記憶體(RAM)146包括數個行緩衝器(Line buffer)用於儲存從影像感應器12依行序輸入的二維”m x R”矩形像素陣列(Array)需以供雜訊處理單元142運算處理,其中其中”m”代表預先圈選的橫行數和”R”代表縱列數量或是每一橫行的像素數量。
常見的習知影像雜訊消除技術像是二維高斯濾波器(2D Gaussian filter)、非局部平均濾波器(Non-Local means)或雙向濾波器(Bilateral filter)的演算多是圈選呈正方形陣列的像素集合來處理處理影像雜訊,但這類的影像雜訊消除技術大多是以軟體來實現,較不考慮隨機存取記憶體的容量問題。這是因為該等影像雜訊消除技術為了有效消除雜訊,其圈選的像素集合範圍就必需要很大,連帶導致所需要的隨機存取記憶體容量也要很大。例如第2圖所示的習知影像雜訊消除裝置14之雜訊處理單元142在執行每一次運算處理時,皆是圈選每一二維“m x m”正方形像素陣列(亦即所圈選的列數m等同於圈選的行數m)來對影像目標K進行雜訊處理。當圈選的像素數量範圍愈大(即圈選的像素列數(m)愈多),要儲存於該隨機存取記憶體146中之圈選像素行數(m)就要相對增多,但該隨機存取記憶體146必須先從影像感應器12逐行載入由二維”m x R”(R>m)矩形像素陣列集合的像素範圍,因此所需的隨機存取記憶體146的容量大小至少要等於或大於:圈選的像素行數(m)x每一像素行上的總像素數(R)x每一像素使用容量(bits/pixel)x通道個數(如三基色(RGB)或各顏色空間(YUV)分量等)。舉例而言,當使用1.3Mp的影像感應器處理1280像素x 1024行的影像尺寸並具有YUV422格式資料時,假設原本欲圈選二維”5 x 5”正方形像素陣列(即m=5),則所需的隨機存取記憶體容量=5 x 1280 x 1(byte/pixel)x 2=12,800bytes,其中每一像素行的總像素數(R)=1280個像素,且每一像素使用容量(bits/pixel)=1,以及通道個數包括1個Y亮度信號分量及1個由UV兩色度信號分量組成;此時,若為了增加消除雜訊的處理效果而加大圈選範圍至二維”7 x 7”正方形像素陣列(即m=7),則所需的隨機存取記憶體容量=7 x 1280 x 1 x 2=17,920bytes,使前述兩者的隨機存取記憶體容量相差達到5Kbyte之多,而此對隨機存取記憶體而言,不管是在任何情況下都必須提供夠大的記憶容量存在,但隨機存取記憶體的尺寸愈大,影像雜訊消除裝置的成本就愈高。
回到前述影像處理雜訊技術的介紹,無論是高斯濾波器(Gaussian filter)、非局部平均濾波器(Non-Local means(NL-means))或雙向濾波器(Bilateral filter)演算法皆是運用高斯濾波器(Gaussian filter)的特性來消除影像中的雜訊效應,需該等演算法的特性是將每一需處理的像素i為中心以圈選出二維“m x m”正方形像素陣列來進行消除雜訊的演算,且該等演算法大致包括以下步驟:
(a)執行中心像素i與該“m x m”正方形像素陣列中被選取的每一個像素j之間的相似度計算。
(b)明顯化(如開平方)中心像素i與像素j之間的相似度。
(c)根據中心像素i與被選取的每一個像素j之間的相似度決定一對應的像素權重值,因此被選取的每一個像素j皆要做像素權重的計算。
(d)利用該二維”m x m”正方形像素陣列內每一像素j乘上對應權重值後的加總再加以平均的平均(或稱相關性)像素權重值來代表中心像素i的值。綜合上述步驟可得到下列數學表示式(1):
其中v
={v
(i
)|i
∈I
}表示前述“m x m”的正方形像素陣列圈選的每一像素j的值,w
(i
,j
)則代表根據中心像素i與像素j之間相似度計算決定對應的像素權重值,NL
[v
](i
)則為中心像素i根據正方形像素陣列內每一像素j乘上其對應權重(在數學表示式(1)中各像素的權重值假設為1)後的加總再加以平均的平均(或稱相關性)像素權重值。
但不同的影像處理雜訊演算法會有不同的相似度及權重數學表示式,例如包括:
(a)以非局部平均濾波器(Non-local means(NL-means)algorithm)執行像素i與像素j之間的相似度計算,是以像素i為中心的二維“p x p”正方形陣列像素值與以像素j為中心的二維“p x p”正方形陣列像素值做歐氏距離(Euclidean distance)的計算(其中p<m),其數學表示式(2)為
其中v
(N i
)表示以像素i為中心的二維正方形陣列像素值,a表示雜訊的標準差(standard deviation)。當歐氏距離愈小時,則表示像素i與像素j相似度愈大;反之,當歐氏距離愈大,則代表像素i與像素j相似度愈小。
當像素i與像素j之間的相似度愈大,則會給予愈大的權重值w(i,j)
來作計算,權重值w(i,j)
的計算則利用高斯分佈函數(Gaussian distribution)來作決定,並以下列兩數學表示式(3)及(4)表示:
上述Z(i)為正規化(normalization)參數,而h為過濾度參數,可由雜訊的情況作適度的選擇。
(b)以高斯濾波器(Gaussian filter algorithm)計算像素i與像素j之間的相似度,是以像素i與像素j之間的歐氏距離來決定,且其數學表示式(5)表示為:
基於類似原理,當像素i與像素j之間的相似度愈大,則會給予愈大的權重值來作計算,權重值的計算則利用高斯分佈函數(Gaussian distribution)來作決定,且以下列兩數學表示式(6)及(7)表示:
由前述的介紹可知,無論是在高斯濾波器(Gaussian filter)、非局部平均濾波器(Non-Local means(NL-means))或雙向濾波器(Bilateral filter)的演算法中,有關像素i與像素j之間的權重值計算皆需採用自然對數指數((exp(x))或ex
)運算,但此自然對數指數運算很難用硬體實現,因此自然對數指數的計算都是必須透過查表法來處理。舉例而言,如第2圖所示的習知影像雜訊消除裝置14必須設有一唯讀記憶體(ROM)144來內建一自然對數指數表1442(如下列表一所示,其中ex
值僅用整數表示)以供雜訊處理單元142查表來進行運算。
此外,如第2圖所示,前述雜訊處理單元142設有基於影像雜訊消除技術的軟體及相關硬體用於實現前述各項平行運算的步驟,包括:
(1)同時計算該中心像素值pi及其”m x m”正方形像素陣列所選取的每一像素值p(1)~p(j)之間的相似度運算(X(1)~X(j));
(2)以相似度運算結果(x(1)~x(j))訪查自然對數指數表1442並經由唯讀記憶體144傳回對應自然對數冪次方(ex(1)
~ex(j)
)予前述雜訊處理單元142;
(3)前述雜訊處理單元142利用其內建的”m x m”個乘法器1462將被選取的每一像素值p(1)~p(j)乘上其對應自然對數冪次方(ex(1)
~ex(j)
)以分別獲得每一像素值p(1)~p(j)與自然對數的對應乘積(如”p(1)x ex(1)
”,”p(2)x ex(2)
”......,”p(j)x ex(j)
”);
(4)前述雜訊處理單元142利用一加法器1466將每一像素值p(1)~p(j)與自然對數的對應乘積(如”p(1)x ex(1)
”,”p(2)x ex(2)
”......,”p(j)x ex(j)
”)加總以獲得Σ(p(j)x ex(j)
)=(p(1)x ex(1)
)+(p(2)x ex(2)
)......+(p(j)x ex(j)
);以及
(4)前述雜訊處理單元142利用一除法器1468將每一像素值p(1)~p(j)與自然對數的對應乘積加總值Σ(p(j)x ex(j)
)除以正規化參數Z(i)以獲得(Σ(p(j)x ex(j)
)/Z(i)),其中因為依據前述數學表示式(3)及(4),(ex(j)
/Z(i))是等同於每一像素值p(1)~p(j)的對應權重值w(i,j)
,故Σ(p(j)x ex(j)
)/Z(i)=Σ(p(j)xw
(i,j
))即取得前述數學表示式(1)以該中心像素i的平均權重值NL[v](i)輸出。但對製造商而言,多使用一顆唯讀記憶體(ROM)及數個運算單元如乘法器就多增加硬體成本,因此如何簡化硬體設計以節省硬體成本但是同時又能維持高效能的影像雜訊處理能力實為一重點的課題。
為解決前述習知技術的問題,本發明之一主要目的在於提供一種影像雜訊消除模組、影像訊號處理裝置及影像雜訊消除方法,可以簡化硬體設計以節省硬體成本且同時能維持高效能影像雜訊處理能力。
為達上述發明目的,依據本發明之一較佳實施例提供一種影像訊號處理裝置,用於處理由複數個像素的值組成的影像資料,其主要包括:一主記憶體及一影像雜訊消除模組,其中該主記憶體用於儲存該影像資料之其中一部份像素值以構成一第一像素陣列。該影像雜訊消除模組包括:一存取控制單元、至少一相似度計算單元、至少一相似度放大單元、至少一像素權重計算單元及一平均像素權重計算單元,其中該存取控制單元用於控制該至少一相似度計算單元、該至少一相似度放大單元、該至少一像素權重計算單元及該平均像素權重計算單元的運算。
該存取控制單元,依據一等同於m乘以n的預設像素數量,控制該主記憶體儲存的第一像素陣列大小為m行像素乘以R列像素,並每次自該主記憶體之第一像素陣列中選取單一且不同的像素值以及一個m行像素乘以n列像素的第二像素陣列,其中m、n與R皆為整數,m與n皆小於R且n不同於m。該至少一相似度計算單元,用於計算該選取像素值及該第二像素陣列中每一個像素值之間的相似度。該至少一相似度放大單元,用於明顯化前述的相似度。該至少一像素權重計算單元,僅以前述每一明顯化相似度與該像素陣列中的對應像素值進行位元運算,以獲得一對應的位元乘積。該平均像素權重計算單元,依據該第二像素陣列中的每一像素值的對應位元乘積,產生該選取像素值的一平均像素權重值。
此外,依據本發明之一較佳實施例的影像雜訊消除方法,用於處理由複數個像素的值組成的影像資料,該方法包括下列步驟:使用一存取控制單元,依據一等同於m乘以n的預設像素數量,自該影像資料中擷取一個m行像素乘以R列像素的第一像素陣列,並將該m行像素乘以R列像素的第一像素陣列存入一主記憶體中;該存取控制單元依據該等同於m乘以n的預設像素數量,自主記憶體的第一像素陣列中選取至少一像素值以及一個m行像素乘以n列像素的第二像素陣列,其中m、n與R皆為整數,m與n皆小於R且n不同於m;產生該選取像素值與該第二像素陣列中的每一個像素值之間的相似度;明顯化該第二像素陣列的每一個像素值對應的相似度;根據前述每一明顯化相似度與該第二像素陣列中對應的像素值進行位元運算,以獲得每一對應的位元乘積;以及依據該第二像素陣列的每一像素值的對應位元乘積,產生該選取像素值的一平均像素權重值。
以下將參照所附圖式詳細說明本發明之技術內容。
請先參考第3圖所示,為一種依據本發明較佳實施例之影像訊號處理裝置34,可設於一影像擷取裝置如數位相機或攝影機中,用於處理由影像感應器32感應到的L行像素乘以R行像素的影像資料(其中R與L為整數)的雜訊,且該影像資料顯示一影像標的K。經雜訊消除處理的影像資料可傳與電子裝置60。於其他應用案例中,該影像訊號處理裝置34,可設於其他位置如電子裝置60內。
該影像訊號處理裝置34主要包括:一主記憶體342(如靜能隨機存記憶體(SRAM))及一影像消除雜訊模組346,其中該影像消除雜訊模組346每次依序自影像感應器32感應到的L行(L為整數如1024行)像素乘以R行像素(R為整數如1280列)的影像資料中擷取不同部位的像素值(如包含影像標的K)以構成一第一像素陣列(待後詳述),並將該第一像素陣列存放於該主記憶體342中以供影像消除雜訊模組346進行雜訊處理。
如第3及4圖所示,於本實施例中,該影像消除雜訊模組346進一步具有一存取控制單元350、一暫存器352、一相似度計算單元354、一相似度放大單元356、一像素權重計算單元358及一平均像素權重計算單元360,其中該存取控制單元350,依據一等同於m乘以n(如m=5,n=13)的預設像素數量(如5 x 13=65個像素),每次依序自影像感應器32感應到的影像資料中擷取並儲存陣列大小為m行像素乘以R列像素的第一像素陣列至該主記憶體342中(如第3圖所示)。
在進行雜訊處理時,依據該等同於m乘以n的預設像素數量(如65個像素),該存取控制單元350每次自該主記憶體342之第一像素陣列中依序選取單一且不同的像素值pi以及一個第二像素陣列(可選擇以該像素值pi為中心或不以該像素值pi為中心選取該第二像素陣列),將該第二像素陣列存入暫存器352中,且該第二像素陣列大小為m行像素乘以n列像素(如第4圖所示),其中m與n皆為整數並小於R,但n必小於或大於m,使該第二像素陣列呈現一個二維的長方形像素陣列,而非習知的正方形像素陣列。於本實施例中,該影像訊號處理裝置進一步具有一處理範圍決定單元380,用於產生該等同於m乘以n的預設像素數量。於其他應用上,該處理範圍決定單元380可為一軟體或硬體基於使用者或電子裝置60的要求適當變更或最佳化m值及/或n值以產生其他預設像素數量,而使影像更為清晰。於其他應用中,該預設像素數量也可內建於存取控制單元350或由存取控制單元350產生。
與習知技術相較,當同樣使用1.3Mp的影像感應器32來處理1280像素x 1024行的影像尺寸並具有YUV422格式資料時,為了增加消除雜訊的處理效果,本發明之影像消除雜訊模組346的存取控制單元350可以依據該等同於5乘以13(即m=5,n=13或也可以調升n值)的預設像素數量(如65),自影像感應器32感應的影像資料中圈選一二維的”5 x 1280”大小的第一長方形像素陣列,使主記憶體342的容量維持”5 x 1280”(亦即5 x 1280 x 1(byte/pixel)x 2=12,800bytes)不變,進而自該主記憶體342的二維”5 x 1280”的第一長方形像素陣列中選取一二維的”5 x 13”第二長方形像素陣列(即m=5,n=13)作為影像處理即可,如果還需要增加像素處理量來使影像清晰,則只要再調升n值來即可,而m值可以維持不變,故不會影像主記憶體342的容量大小;反之,因為習知影像消除雜訊裝置必須加大圈選範圍至二維”7 x 7”正方形像素陣列(即”m x m”且m加大至7),所以需要的隨機存取記憶體的容量增加至7 x 1280 x 1 x 2=17,920bytes,使前述兩者的隨機存取記憶體容量相差達到5Kbyte之多。因此相較習知技術,本發明的長正方陣列利用減少或不變更影像的像素行數m大小(即5<7)來使所需的隨機存取憶體的容量變很小,但同時又利用像素列數n的增加(如13>7),使圈選的像素範圍擴大來保持高效能的影像雜訊消除能力。
此外,該存取控制單元350進一步具有一計數器(Counter)3502,依據該等同於m乘以n的預設像素數量,自主記憶體342的第一像素陣列中選取其中一像素值pi(如第3圖所示)並進行計數,當計數到m行像素乘以n列像素的指定像素量時,即作為第二像素陣列存入該暫存器352中。在其他應用上,該存取控制單元亦可利用一定址器(addressing)自該主記憶體342的第一像素陣列中以定址法逐一選取選取像素值及第二像素陣列的每一像素值以存入該暫存器352中。
如第4圖所示,該存取控制單元350可基於高斯濾波器(Gaussian filter)、非局部平均濾波器(Non-Local means(NL-means))或雙向濾波器(Bilateral filter)或其他演算法來統籌該相似度計算單元354、該相似度放大單元356、該像素權重計算單元358及該平均像素權重計算單元360對該第二像素陣列中每一個像素值的平行運算與協調前述各單元之間的資料傳送。
該相似度計算單元354如為一減法器,用於計算前述選取像素值pi及該第二像素陣列中每一個像素值之間的相似度。該相似度放大單元356如為一乘法器,可以採用如同數學表示式(2)或(5)所示的開平方方式明顯化該第二像素陣列的每一個像素值的對應相似度。
該像素權重計算單元358包括至少一移位暫存器3582,其僅依據該第二像素陣列的每一個像素值的明顯化相似度,對該二像素陣列中的對應像素值進行位元移位運算,以直接獲得該對應的位元乘積,或者直接對前述每一明顯化相似度進行位元移位運算,並將該位元移位運算結果與該像素陣列中的對應像素值相乘以獲得該對應的位元乘積(待後舉例詳述)。
該平均像素權重計算單元360包括一加法器3586及一除法器3588(如第5A圖所示),係依據該第二像素陣列的每一像素值的對應位元乘積,以產生該中心像素值的平均像素權重值。
不同於習知技術是採用前述數學表示式(3),(4)或(6),(7)中的自然對數指數(ex
)運算,本發明的像素權重計算單元358的位元移位運算是使用以特定整數(如2)為基底的冪次方來執行整數指數運算(2x
)。利用2的指數運算(2x
)來取代習知自然對數指數(ex
)的權重值計算,不僅硬體設計容易實現,可以簡化電路設計,而且影像雜訊消除的品質也不會因此減弱,更不需要如同習知技術要多花費一顆唯讀記憶體(ROM)的成本來執行自然對數指數(ex
)的查表運算(如表一所示)。為了達到2的指數運算的硬體實現,僅需直接執行二進位的位元移位運算即可,而無需查表。關於2的指數運算與二進位的位元移位運算關係如表二所示:
舉例而言,可用2的指數運算執行下列演算法:
(1)以NL-means演算法執行權重值運算的數學表示式(8):
(2)以Gaussian filter演算法執行權重值運算的數學表示式(9):
關於2的指數運算的硬體實現,如第4及5A圖所示之本發明之第一較佳實施例,該影像消除雜訊模組346之像素權重計算單元358的移位暫存器3582依據該相似度運算3580(包含了該相似度計算單元354及該相似度放大單元356)提供的該第二像素陣列的每一像素值p(j)之對應明顯化相似度(如x(j)),對該第二像素陣列的每一像素值p(j)作二進位的位元移位計算,以直接獲得如同每一像素值p(j)與其2x(j)
指數相乘的位元乘積(p(j)x 2x(j)
),藉此可省去如習知技術的每一每一像素值p(j)對應的乘法器電路。例如其中一像素值p(j)=5(以二位進表示為101),其對應明顯化相似度x(j)=3,若要得到(p(j)x 2x(j)
)=5 x 8=40(若以二進位表示為101000)的位元乘積結果,透過移位暫存器3582的位元移位即可直接將”101”位移成”101000”。如第5B圖所示,為本發明之第二較佳實施例,其中該影像消除雜訊模組346之像素權重計算單元358具有移位暫存器3582係直接對該第二像素陣列的每一像素值p(j)之對應明顯化相似度(如x(j))作位元移位運算,以獲得2x(j)
的指數運算結果;再經由像素權重計算單元358之一乘法器3584將此2x(j)
的指數運算結果乘上該第二像素陣列的每一像素值p(j)以產生(p(j)x 2x(j)
)的位元乘積。例如其中一像素值p(j)=5(以二位進表示為101),其對應明顯化相似度x(j)=3,先透過移位暫存器3582將對應明顯化相似度x(j=3)作位元移位運算,即可直接獲得2x(j)
=23
=8指數運算結果,再經由一乘法器3584將此指數運算結果8乘上該第二像素陣列的對應像素值5以產生(p(j)x 2x(j)
)=5 x 8=40的位元乘積,但其結果仍相同於第5A圖的該像素權重計算單元358之運算。
在第5A圖及第5圖之各影像消除雜訊模組346中,該平均像素權重計算單元360之加法器3586係依據該第二像素陣列的每一像素值的對應位元乘積(p(j)x 2x(j)
),計算出前述該第二像素陣列的每一像素值的對應位元乘積的總和(即Σ(p(j)x ex(j)
)),以及該除法器3588將該對應位元乘積總和(即Σ(p(j)x ex(j)
))除以一正規化參數Z(i),即可直接產生該選取像素值的平均像素權重值(即Σ(p(j)x ex(j)
)/Z(i))。需注意的是,在此該平均像素權重運算過程中已同時包含了對該第二像素陣列的每一像素值的一對應權重(weight)值的運算及對該第二像素陣列中的每一像素值與其對應的權重值之間的一對應的像素權重乘積(如同前述數學表示式(1)所示)的運算。
如第5C圖所示,為了對一第二像素陣列的每一像素值p(1),p(2),p(3)…p(j)及被選取的像素值pi同時執行平行運算,因此在該第二像素陣列的每一像素值p(1),p(2),p(3)…p(j)的輸出皆配置移位暫存器3582及相似度運算3580,被選取的像素值pi輸出至每一相似度運算3580。其中該移位暫存器3582依據相似度運算3580產生的該第二像素陣列的對應像素值p(1),p(2),p(3)…p(j)之對應明顯化相似度(如x(1),x(2),x(3)…x(j)),對該第二像素陣列的對應像素值p(1),p(2),p(3)…p(j)作二進位的位元移位運算以產生該第二像素陣列中每一像素值p(1),p(2),p(3)…p(j)的對應位元乘積(即”p(1)x ex(1)
”,”p(2)x ex(2)
”......,”p(j)x ex(j)
”)。之後,藉由該加法器3586對該第二像素陣列中的每一像素值p(1),p(2),p(3)…p(j)的對應位元乘積(即”p(1)x ex(1)
”,”p(2)x ex(2)
”......,”p(j)x ex(j)
”)進行加總計算,即Σ(p(j)x ex(j)
)=((p(1)x ex(1)
)+(p(2)x ex(2)
)......+(p(j)x ex(j)
)。接著利用除法器3588將每一像素值p(1)~p(j)的對應位元乘積加總值Σ(p(j)x ex(j)
)除以正規化參數Z(i)以獲得(Σ(p(j)x ex(j)
)/Z(i)),其中因為依據前述數學表示式(3)及(4),(ex(j)
/Z(i))是等同於每一像素值p(1)~p(j)的對應權重值w
(i,j
),故Σ(p(j)x ex(j)
)/Z(i)=Σ(p(j)xw
(i,j
))即取得前述數學表示式(1)以該中心像素i的平均權重值NL[v](i)輸出。
此外,依據本發明之一種影像雜訊消除方法,係與第3及4圖所示之該影像訊號處理裝置34及其各單元配合,用於處理由影像感應器擷取到的複數個像素值(L像素行x R像素列)組成的影像資料,該方法包括下列步驟:利用一處理範圍決定單元產生一等同於m乘以n的預設像素數量以通知一存取控制單元,或由該存取控制單元產生該預設像素數量,其中該預設像素數量的m值及/或n值皆可調整或固定;使用該存取控制單元,依據該等同於m乘以n的預設像素數量,自該(L像素行x R像素列)影像資料中擷取一個m行像素乘以R列像素的第一像素陣列,並將該m行像素乘以R列像素的第一像素陣列存入一主記憶體中;該存取控制單元利用一計數器或一定址器,依據該等同於m乘以n的預設像素數量,自主記憶體的第一像素陣列中選取至少一像素值以及一個m行像素乘以n列像素的第二像素陣列,其中m、n與R皆為整數,m與n皆小於R且n不同於m;該存取控制單元將該m行像素乘以n列像素的第二像素陣列存入一資料暫存器中;使用至少一相似度計算單元計算該選取像素值與該第二像素陣列的每一個像素值之間的相似度;使用至少一相似度放大單元以開平方方式明顯化該第二像素陣列的每一個像素值對應的相似度;使用至少一像素權重計算單元,其中以至少一移位暫存器依據該第二像素陣列的每一個像素值的明顯化相似度,對該第二像素陣列的對應像素值作位元移位計算,以直接產生該第二像素陣列中的每一像素值的對應位元乘積,或者以一移位暫存器,直接對該第二像素陣列的每一個像素值的明顯化相似度作位元移位運算,再將對應的位元移位運算結果乘上該第二像素陣列的對應像素值以獲得對應的位元乘積,其中前述各位元移位運算係以特定整數(如2)為基底的冪次方運算;以及使用該平均像素權重計算單元,依據該第二像素陣列的每一像素值的對應位元乘積,計算前述該第二像素陣列的每一像素值的對應位元乘積的總和,並將該對應像素權重乘積總和除以正規化參數以產生該選取像素值的平均像素權重值。
綜上所述,可知依據本發明之一種影像雜訊消除模組、影像訊號處理裝置及影像雜訊消除方法,相較於習知技術,無需配置唯讀記憶體來查表,減少運算單元如數個乘法器的使用,以及減小所需的隨機存取記憶體的尺寸,故能簡化硬體設計以節省硬體成本,但同時能維持高效能影像雜訊處理能力。
綜上所述,本發明符合發明專利要件,爰依法提出專利申請。惟以上所述者僅為本發明之較佳實施例,舉凡熟悉此項技藝之人士,在爰依本發明精神架構下所做之等效修飾或變化,皆應包含於以下之申請專利範圍內。
30...影像擷取裝置
32...影像感應器
34...影像訊號處理裝置
60...電子裝置
342...主記憶體
346...影像雜訊消除單元
350...控制存取單元
352...暫存器
354...相似度計算單元
356...相似度放大單元
358...像素權重計算單元
360...平均像素權重計算單元
380...處理範圍決定單元
3502...計數器
3582...移位暫存器
L,m...像素行數
R,n...像素列數
k...影像標的
pi...選取像素值
p(j),p(1),p(2),p(3)...像素值
x(j),x(1),x(2),x(3)...明顯化相似度
第1A圖係顯示一種習知影像擷取裝置與電子裝置之架構簡圖。
第1B圖係顯示另一種習知影像擷取裝置與電子裝置之架構簡圖。
第2圖係顯示第1B圖之習知影像擷取裝置的影像雜訊消除裝置之架構簡圖。
第3圖係一種依據本發明之一第一較佳實施例之影像擷取裝置與電子裝置之架構簡圖,其中顯示一影像訊號處理裝置。
第4圖係顯示依據第3圖之影像訊號處理裝置之架構簡圖。
第5A圖係顯示依據第3圖之影像訊號處理裝置之像素權重計算單元之架構簡圖。
第5B圖係顯示依據本發明之一第二較佳實施例之像素權重計算單元之架構簡圖。
第5C圖係顯示依據本發明之第一較佳實施例之像素權重計算單元之架構簡圖。
34...影像訊號處理裝置
342...主記憶體
346...影像雜訊消除單元
350...控制存取單元
352...暫存器
354...相似度計算單元
356...相似度放大單元
358...像素權重計算單元
360...平均像素權重計算單元
380...處理範圍決定單元
3502...計數器
3582...移位暫存器
m...像素行數
n...像素列數
k...影像標的
pi...選取像素值
Claims (36)
- 一種影像雜訊消除模組,用於處理由複數個像素值組成的影像資料,且該影像雜訊消除模組包括:一存取控制單元,自該影像資料之中選取至少一像素值與一組像素陣列;至少一相似度計算單元,用於計算該選取像素值及該像素陣列中每一個像素值之間的一對應相似度;至少一相似度放大單元,用於明顯化前述每一對應相似度;至少一像素權重計算單元,僅以前述每一明顯化相似度與該像素陣列中的對應像素值進行位元運算,以獲得一對應的位元乘積;以及一平均像素權重計算單元,依據該像素陣列中的每一像素值的對應位元乘積,產生該選取像素值的一平均像素權重值;其中該至少一像素權重計算單元,依據前述每一明顯化相似度,對該像素陣列中的對應像素值進行位元移位運算,以直接獲得該對應的位元乘積,或者直接對前述每一明顯化相似度進行位元移位運算,並將該位元移位運算結果與該像素陣列中的對應像素值相乘以獲得該對應的位元乘積。
- 如申請專利範圍第1項所述之影像雜訊消除模組,其中該像素陣列集合特定數量且呈横行與縱列排列之像素值,其中該横行數不同於縱列數。
- 如申請專利範圍第2項所述之影像雜訊消除模組,其中該像素陣列集合的像素值的横行數小於其縱列數。
- 如申請專利範圍第1項所述之影像雜訊消除模組,進一步具有一資料暫存器,用於暫存由該存取控制單元輸入的該選取像素值與該像素陣列。
- 如申請專利範圍第1項所述之影像雜訊消除模組,其中該存取控制單元用於控制該至少一相似度計算單元、該至少一相似度放大單元、該至少一像素權重計算單元及該平均像素權重計算單元的運算。
- 如申請專利範圍第1項所述之影像雜訊消除模組,其中該相似度計算單元為一減法器,以及該至少一相似度放大單元為一乘法器。
- 如申請專利範圍第1項所述之影像雜訊消除模組,其中該至少一像素權重計算單元,是以特定整數為基底的冪次方進行位元移位運算。
- 如申請專利範圍第7項所述之影像雜訊消除模組,其中該特定整數為2。
- 如申請專利範圍第1項所述之影像雜訊消除模組,其中該至少一像素權重計算單元包括至少一移位暫存器依據前述明顯化相似度,對該像素陣列的對應像素值作位元移位運算以直接產生該對應的位元乘積。
- 如申請專利範圍第1項所述之影像雜訊消除模組,其中該至少一像素權重計算單元包括至少一移位暫存器對前述明顯化相似度作位元移位運算,以及一乘法器用於將位元移位運算結果與該像素陣列之中對應的像素值相乘以直接產生該對應的位元乘積。
- 如申請專利範圍第1項所述之影像雜訊消除模組,其中該平均像素權重計算單元包括一加法器用於計算前述該像素陣列中的每一像素值的對應位元乘積的總和,以及一除法器用於將該對應位元乘積總和除以一正規化參數以產生該選取像素值的平均像素權重值。
- 一種影像訊號處理裝置,用於處理由複數個像素值組成的影像資料,包括:一主記憶體,儲存該影像資料之其中一部份像素值以構成一第一像素陣列;一存取控制單元,依據一等同於m乘以n的預設像素數量,控制該主記憶體儲存的第一像素陣列大小為m行像素乘以R列像素,並自該主記憶體之第一像素陣列中選取至少一像素值以及一個m行像素乘以n列像素的第二像素陣列,其中m、n與R皆為整數,m與n皆小於R且n不同於m;至少一相似度計算單元,用於計算該選取像素值及該第二像素陣列中每一個像素值之間的相似度;至少一相似度放大單元,用於明顯化前述的相似度;至少一像素權重計算單元,僅以前述每一明顯化相似度與該像素陣列中的對應像素值以特定整數為基底的冪次方進行位元運算,以獲得一對應的位元乘積;以及一平均像素權重計算單元,依據該第二像素陣列的每一像素值的對應位元乘積,產生該選取像素值的一平均像素權重值。
- 如申請專利範圍第12項所述之影像訊號處理裝置,進一步具有一處理範圍決定單元用於產生該等同於m乘以n的預設像素數量。
- 如申請專利範圍第12項所述之影像訊號處理裝置,其中該存取控制單元,依據該等同於m乘以n的預設像素數量,自影像資料中擷取並儲存該m行像素乘以R列像素的第一像素陣列至該主記憶體。
- 如申請專利範圍第12項所述之影像訊號處理裝置,其中該存取控制單元進一步具有一計數器或定址器,依據該等同於m 乘以n的預設像素數量,自第一像素陣列中選取m行像素乘以n列像素的第二像素陣列。
- 如申請專利範圍第12項所述之影像訊號處理裝置,其中n小於m。
- 如申請專利範圍第12項所述之影像訊號處理裝置,進一步具有一資料暫存器,用於暫存由該存取控制單元輸入的該第二像素陣列。
- 如申請專利範圍第12項所述之影像訊號處理裝置,其中該存取控制單元用於控制該至少一相似度計算單元、該至少一相似度放大單元、該至少一像素權重計算單元及該平均像素權重計算單元的運算。
- 如申請專利範圍第18項所述之影像訊號處理裝置,其中該相似度計算單元為一減法器,以及該至少一相似度放大單元為一乘法器。
- 如申請專利範圍第12項所述之影像訊號處理裝置,其中該特定整數為2。
- 如申請專利範圍第12項所述之影像訊號處理裝置,其中該至少一像素權重計算單元包括至少一移位暫存器依據前述明顯化相似度,對該像素陣列的對應像素值作位元移位運算以直接產生該對應的位元乘積。
- 如申請專利範圍第12項所述之影像訊號處理裝置,其中該至少一像素權重計算單元包括至少一移位暫存器對前述明顯化相似度作位元移位運算,以及一乘法器用於將位元移位運算結果與該像素陣列之中對應像素值相乘以直接產生該對應的位元乘積。
- 如申請專利範圍第19項所述之影像訊號處理裝置,其中 該平均像素權重計算單元包括一加法器用於計算前述該像素陣列中的每一像素值的對應位元乘積的總和,以及一除法器用於將該對應位元乘積總和除以一正規化參數以產生該選取像素值的平均像素權重值。
- 一種影像雜訊消除方法,用於處理由複數個像素的值組成的影像資料,該方法包括下列步驟:使用一存取控制單元,依據一等同於m乘以n的預設像素數量,自該影像資料中擷取一個m行像素乘以R列像素的第一像素陣列,並將該m行像素乘以R列像素的第一像素陣列存入一主記憶體中;該存取控制單元依據該等同於m乘以n的預設像素數量,自主記憶體的第一像素陣列中選取至少一像素值以及一個m行像素乘以n列像素的第二像素陣列,其中m、n與R皆為整數,m與n皆小於R且n不同於m;產生該選取像素值與該第二像素陣列中的每一個像素值之間的對應相似度;明顯化該第二像素陣列的每一個像素值的對應相似度;使用至少一像素權重計算單元,僅根據選取像素值與該第二像素陣列的每一個像素值之間的對應明顯化相似度以及第二像素陣列的每一個像素值進行位元運算,以獲得每一對應的位元乘積;依據該第二像素陣列的每一像素值的對應位元乘積,產生該選取像素值的一平均像素權重值;以及其中該至少一像素權重計算單元包括至少一移位暫存器依據前述明顯化相似度,對該像素陣列的對應像素值作位元移位運算以直接產生該對應的位元乘積,或者包括至少一移位暫存器對前述明顯化相似度作位元移位運算以及一乘法器用於將位元移位運 算結果與該像素陣列中之對應像素值相乘以直接產生該對應的位元乘積。
- 如申請專利範圍第24項所述之影像雜訊消除方法,進一步包括:該存取控制單元將該m行像素乘以n列像素的第二像素陣列存入一資料暫存器中。
- 如申請專利範圍第24項所述之影像雜訊消除方法,進一步包括:該存取控制單元利用一計數器或一定址器,依據該等同於m乘以n的預設像素數量,自第一像素陣列中選取m行像素乘以n列像素的第二像素陣列。
- 如申請專利範圍第24項所述之影像雜訊消除方法,進一步包括:利用一處理範圍決定單元產生該等同於m乘以n的預設像素數量以通知該存取控制單元。
- 如申請專利範圍第24項所述之影像雜訊消除方法,進一步包括:使用至少一相似度計算單元計算該選取像素值與該第二像素陣列的每一個像素值之間的相似度;使用至少一相似度放大單元以明顯化該第二像素陣列的每一個像素值對應的相似度;使用一平均像素權重計算單元,依據該第二像素陣列的每一像素值的對應位元乘積,產生該選取像素值的一平均像素權重值。
- 如申請專利範圍第24項所述之影像雜訊消除方法,其中該至少一像素權重計算單元的位元運算,係以特定整數為基底的冪次方進行位元移位的運算。
- 如申請專利範圍第29項所述之影像雜訊消除方法,其中該特定整數為2。
- 如申請專利範圍第28項所述之影像雜訊消除方法,進一 步包括:使用該平均像素權重計算單元,計算前述該像素陣列中的每一像素值的對應位元乘積的總和,並將該對應位元乘積總和除以一正規化參數以產生該選取像素值的平均像素權重值。
- 一種影像雜訊消除方法,用於處理由複數個像素值組成的影像資料,該方法包括下列步驟:利用一存取控制單元自該影像資料之中選取至少一像素值與一組像素陣列;利用至少一相似度計算單元,計算該選取像素值及該像素陣列中的每一個像素值之間的相似度;利用至少一相似度放大單元明顯化該像素陣列的每一個像素值的對應相似度;藉由至少一像素權重計算單元僅對前述明顯化相似度及該像素陣列中之對應像素值兩者至少其中之一進行位元運算,以獲得每一對應的位元乘積;以及利用一平均像素權重計算單元,依據該像素陣列中的每一像素值的對應位元乘積,產生該選取像素值的一平均像素權重值;其中藉由該至少一像素權重計算單元進行位元運算之步驟進一步包括:依據前述每一明顯化相似度,對該像素陣列中的對應像素值進行位元移位運算,以直接獲得該對應的位元乘積,或者直接對前述每一明顯化相似度進行位元移位運算,並將該位元移位運算結果與該像素陣列中的對應像素值相乘以獲得該對應的位元乘積,其中該位元移位運算是執行以特定整數為基底的冪次方。
- 如申請專利範圍第32項所述之影像雜訊消除方法,其中該特定整數為2。
- 如申請專利範圍第32項所述之影像雜訊消除方法,其中藉由該至少一像素權重計算單元進行位元運算之步驟進一步包 括:利用至少一移位暫存器依據前述明顯化相似度,對該像素陣列的對應像素值作位元移位運算以直接產生該對應的位元乘積。
- 如申請專利範圍第32項所述之影像雜訊消除方法,其中藉由該至少一像素權重計算單元進行位元運算之步驟進一步包括:利用一移位暫存器對前述明顯化相似度作位元移位運算,以及利用一乘法器將前述位元移位運算結果與該像素陣列之中對應像素值相乘以直接產生該對應的位元乘積。
- 如申請專利範圍第32項所述之影像雜訊消除方法,其中進一步包括:利用該平均像素權重計算單元,計算前述該像素陣列中的每一像素值的對應位元乘積的總和,並將該對應位元乘積總和除以一正規化參數以產生該選取像素值的對應平均像素權重值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW098118602A TWI451753B (zh) | 2009-06-04 | 2009-06-04 | 影像雜訊消除模組、影像訊號處理裝置及影像雜訊消除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW098118602A TWI451753B (zh) | 2009-06-04 | 2009-06-04 | 影像雜訊消除模組、影像訊號處理裝置及影像雜訊消除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201044861A TW201044861A (en) | 2010-12-16 |
TWI451753B true TWI451753B (zh) | 2014-09-01 |
Family
ID=45001472
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW098118602A TWI451753B (zh) | 2009-06-04 | 2009-06-04 | 影像雜訊消除模組、影像訊號處理裝置及影像雜訊消除方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI451753B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI471848B (zh) * | 2012-03-27 | 2015-02-01 | Altek Corp | 顏色校正方法與影像處理裝置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI220360B (en) * | 2003-04-23 | 2004-08-11 | Pixart Imaging Inc | Defect compensating method and device of color image |
US20060215925A1 (en) * | 2003-12-03 | 2006-09-28 | Nikon Corporation | Image processing device, image processing program, image processing method, and electronic camera for controlling degree of noise reduction in image data |
CN1989525A (zh) * | 2004-06-28 | 2007-06-27 | 高通股份有限公司 | 自适应滤波器和用于图像处理的设备、方法与系统 |
WO2008018771A1 (en) * | 2006-08-11 | 2008-02-14 | Mtekvision Co., Ltd. | Image noise reduction apparatus and method, recorded medium recorded the program performing it |
-
2009
- 2009-06-04 TW TW098118602A patent/TWI451753B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI220360B (en) * | 2003-04-23 | 2004-08-11 | Pixart Imaging Inc | Defect compensating method and device of color image |
US20060215925A1 (en) * | 2003-12-03 | 2006-09-28 | Nikon Corporation | Image processing device, image processing program, image processing method, and electronic camera for controlling degree of noise reduction in image data |
CN1989525A (zh) * | 2004-06-28 | 2007-06-27 | 高通股份有限公司 | 自适应滤波器和用于图像处理的设备、方法与系统 |
WO2008018771A1 (en) * | 2006-08-11 | 2008-02-14 | Mtekvision Co., Ltd. | Image noise reduction apparatus and method, recorded medium recorded the program performing it |
Also Published As
Publication number | Publication date |
---|---|
TW201044861A (en) | 2010-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2164040B1 (en) | System and method for high quality image and video upscaling | |
CN101868966A (zh) | 图像处理装置和图像处理方法 | |
US10186022B2 (en) | System and method for adaptive pixel filtering | |
CN100356405C (zh) | 一种改变数字图像尺寸的方法及装置 | |
EP3723006A1 (en) | Signal processing method and device | |
WO2023005818A1 (zh) | 噪声图像生成方法、装置、电子设备及存储介质 | |
CN111476718A (zh) | 一种图像放大方法、装置、存储介质及终端设备 | |
JP6567381B2 (ja) | 演算装置、方法及びプログラム | |
CN103067671A (zh) | 一种显示图像的方法及装置 | |
US20100061650A1 (en) | Method And Apparatus For Providing A Variable Filter Size For Providing Image Effects | |
JP2009188963A (ja) | 画像処理回路、画像処理方法およびカメラ | |
TWI451753B (zh) | 影像雜訊消除模組、影像訊號處理裝置及影像雜訊消除方法 | |
Ali et al. | Comparametric hdr (high dynamic range) imaging for digital eye glass, wearable cameras, and sousveillance | |
WO2019113791A1 (zh) | 显示面板Mura补偿方法、计算机可读存储介质及显示装置 | |
Li et al. | A multi-scale retinex implementation on FPGA for an outdoor application | |
JP5397511B2 (ja) | 画像処理装置、画像処理方法および撮像装置 | |
US8280181B2 (en) | Efficient filtering of image data | |
CN109215001B (zh) | 基于fpga的高温差自适应平台直方图均衡实现方法 | |
CN115439386A (zh) | 图像融合方法、装置、电子设备和存储介质 | |
KR101688435B1 (ko) | 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법 | |
CN110264488B (zh) | 一种二值图像边缘提取装置 | |
JP5178933B1 (ja) | 画像処理装置 | |
US8666172B2 (en) | Providing multiple symmetrical filters | |
US20190074860A1 (en) | Touch screen controller for increasing data processing speed and touch system including the same | |
Tai et al. | VLSI architecture design of layer-based bilateral and median filtering for 4k2k videos at 30fps |