TWI632525B - 影像去雜訊方法及其裝置 - Google Patents

影像去雜訊方法及其裝置 Download PDF

Info

Publication number
TWI632525B
TWI632525B TW105106108A TW105106108A TWI632525B TW I632525 B TWI632525 B TW I632525B TW 105106108 A TW105106108 A TW 105106108A TW 105106108 A TW105106108 A TW 105106108A TW I632525 B TWI632525 B TW I632525B
Authority
TW
Taiwan
Prior art keywords
pixel
low frequency
weight
high frequency
difference
Prior art date
Application number
TW105106108A
Other languages
English (en)
Other versions
TW201732737A (zh
Inventor
李宗軒
姜昊天
陳世澤
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW105106108A priority Critical patent/TWI632525B/zh
Priority to US15/439,357 priority patent/US10055820B2/en
Publication of TW201732737A publication Critical patent/TW201732737A/zh
Application granted granted Critical
Publication of TWI632525B publication Critical patent/TWI632525B/zh

Links

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

本發明提供一種影像去雜訊方法及其裝置，包括有將一目前圖框中的一像素分成具有一第一權重的一第一低頻像素與具有一第二權重的一第一高頻像素；將前一圖框中對應於像素之位置的前一像素分成具有一第三權重的一第二低頻像素與具有一第四權重的一第二高頻像素；調整第一權重與第三權重，並計算第一低頻像素與第二低頻像素的加權總和以產生一低頻像素資料；調整第二權重與第四權重，並計算第一高頻像素與第二高頻像素的加權總和以產生一高頻像素資料；以及計算低頻像素資料與高頻像素資料的總和以輸出去除雜訊後的像素。

Description

影像去雜訊方法及其裝置
本發明提供一種影像去雜訊方法及其裝置，於時間域(time domain)進行影像去雜訊方法及其裝置。
在即時數位影像處理中，有一類的影像去雜訊(de-noising)是在時間域(time domain)進行，即同時考慮前一個圖框(frame)和目前圖框的相似性，來進行一個適當的加權平均以達到去雜訊的效果。此種方式最大的優點是幾乎不會造成影像的模湖或是細節的損失。
然而，在時間域進行去雜訊容易因為場景變化過大(即前一個圖框和目前圖框的差異過大)而造成殘影，或是影像不自然的現象。若要避免上述狀況發生，勢必要針對光源變化與場景變化來調整去雜訊方法。
本發明提供了一種影像去雜訊方法及其裝置，其在時間域根據場景變化來適應性地調整加權平均，以依序去除目前圖框中每個像素的雜訊，並輸出去雜訊後的像素，據此達到更好的去雜訊效果。
本發明實施例提供一種影像去雜訊方法，適用於一影像去雜訊裝置，用以去除一目前圖框中的一像素的雜訊以輸出一輸出像 素。影像去雜訊方法包括如下步驟：接收目前圖框，並將目前圖框中的像素分成一第一低頻像素與一第一高頻像素，第一低頻像素具有一第一權重，且第一高頻像素具有一第二權重；將一前一圖框中對應於像素之位置的一前一像素分成一第二低頻像素與一第二高頻像素，第二低頻像素具有一第三權重，且第二高頻像素具有一第四權重；調整第一權重與第三權重，並計算第一低頻像素與第二低頻像素的加權總和，以產生一低頻像素資料，且第一權重與第三權重之總和為一；調整第二權重與第四權重，並計算第一高頻像素與第二高頻像素的加權總和，以產生一高頻像素資料，且第二權重與第四權重之總和為一；以及計算低頻像素資料與高頻像素資料的總和，以產生輸出像素。
為使能更進一步瞭解本發明之特徵及技術內容，請參閱以下有關本發明之詳細說明與附圖，但是此等說明與所附圖式僅係用來說明本發明，而非對本發明的權利範圍作任何的限制。
100‧‧‧影像去雜訊裝置
110‧‧‧影像擷取裝置
120‧‧‧影像處理器
130‧‧‧去雜訊裝置
C0‧‧‧下限參數
C1‧‧‧上限參數
D0‧‧‧差異下限值
D1‧‧‧差異上限值
DIF‧‧‧差異程度
Iin‧‧‧影像
Is‧‧‧影像訊號
Fr‧‧‧目前圖框
Fr-1‧‧‧前一圖框
f(t)‧‧‧像素
fL(t)‧‧‧第一低頻像素
fH(t)‧‧‧第一高頻像素
favg(t)‧‧‧輸出像素
favg(t-1)‧‧‧前一像素
fLavg(t-1)‧‧‧第二低頻像素
fHavg(t-1)‧‧‧第二高頻像素
fLavg(t)‧‧‧低頻像素資料
fHavg(t)‧‧‧高頻像素資料
RL(t)‧‧‧低頻更新率
RLmax(t)‧‧‧低頻上限值
RLmin(t)‧‧‧低頻下限值
RH(t)‧‧‧高頻更新率
RHmax(t)‧‧‧高頻上限值
RHmin(t)‧‧‧高頻下限值
S310、S320、S330、S340、S350‧‧‧步驟
S410、S420、S430、S440‧‧‧步驟
S610、S620、S630、S640‧‧‧步驟
S710、S720、S730、S740‧‧‧步驟
圖1是本發明一實施例之影像去雜訊裝置的示意圖。
圖2是本發明一實施例之像素與對應於像素之位置的一前一像素進行去雜訊運算而產生輸出像素的示意圖。
圖3是本發明一實施例之影像去雜訊方法的流程圖。
圖4是本發明一實施例之調整第一權重與第三權重的流程圖。
圖5A是本發明一實施例之一低頻線性關係的關係圖。
圖5B是本發明另一實施例之一低頻線性關係的關係圖。
圖6是本發明一實施例之設定差異上限值與差異下限值的流程圖。
圖7是本發明一實施例之調整第二權重與第四權重的流程圖。
圖8A是本發明一實施例之一高頻線性關係的關係圖。
圖8B是本發明另一實施例之一高頻線性關係的關係圖。
在下文中，將藉由圖式說明本發明之各種例示實施例來詳細描述本發明。然而，本發明概念可能以許多不同形式來體現，且不應解釋為限於本文中所闡述之例示性實施例。此外，圖式中相同參考數字可用以表示類似的元件。
本發明實施例所提供的影像去雜訊方法及其裝置，其將像素分成低頻像素與高頻像素，以及將對應於像素之位置的前一像素分成另一低頻像素與另一高頻像素，並根據場景變化來適應性地調整像素與前一像素中的低頻像素的權重，以及調整像素與前一像素中的高頻像素的權重。若場景變化不大，則將前一像素的低頻像素與高頻像素的權重調高；若場景變化較大，則將像素的低頻像素與高頻像素的權重調高。接著再計算前一像素與像素的低頻像素的加權總和(即低頻像素資料)以及前一像素與像素的高頻像素的加權總和(即高頻像素資料)，並加總低頻像素資料與高頻像素資料以產生去雜訊後的輸出像素。更進一步來說，場景變化係為受到光影變化、物體移動與像素本身雜訊的影響。故本發明之影像去雜訊方法及其裝置將根據上述影響來計算場景變化，以適應性地調整每個權重，以據此達到更好的去雜訊效果。以下將進一步介紹本發明揭露之影像去雜訊方法及其裝置。
首先，請參考圖1，其顯示本發明一實施例之影像去雜訊裝置的示意圖。如圖1所示，影像去雜訊裝置100為用來依序去除目前圖框中每個像素的雜訊，並輸出去雜訊後的像素。在本實施例中，影像去雜訊裝置100可為智慧型手機、錄影機、平板電腦、筆記型電腦或其他需要去除影像雜訊的影像去雜訊裝置100，本發明對此不作限制。
影像去雜訊裝置100包括一影像擷取裝置110、一影像處理器120與一去雜訊裝置130。影像擷取裝置110用以擷取一影像Iin，並將影像Iin轉換為一特定影像格式的一影像訊號Is。更進一步來說，影像擷取裝置110為擷取連續影像，且影像Iin為連續影像中的其中一張。而特定影像格式例如為RGB影像格式、YUV影像格式、或其他影像格式，本發明對此不作限制。
影像處理器120耦接影像擷取裝置110，且接收影像訊號Is並將影像訊號Is轉換為目前圖框Fr。而所屬領域具有通常知識者應知影像擷取裝置110將影像Iin轉換為特定影像格式的影像訊號Is，以及影像處理器120將影像訊號Is轉換為目前圖框Fr之實施方式，故在此不再贅述。而為了方便說明，以下例子皆以YUV影像格式作為特定影像格式。
去雜訊裝置130耦接影像處理器120且執行以下步驟，以依序去除目前圖框Fr中每個像素的雜訊，並輸出去雜訊後的像素。為了方便說明，以下以去除目前圖框Fr中的一像素f(t)的雜訊，以輸出去雜訊後的一輸出像素favg(t)來作說明。請同時參考圖1-2。值得注意的是，場景變化(即前一個圖框和目前圖框的差異)會影響去雜訊的效果，且場景變化會受到光影變化(像素之低頻部分)、物體移動(像素之高頻部分)與像素本身雜訊(像素之高頻部分)的影響。因此，去雜訊裝置130將對像素f(t)分成低頻部分與高頻部分，且對前一圖框Fr-1中對應於像素f(t)之位置的前一像素favg(t-1)分成低頻部分與高頻部分，以根據場景變化來適應性地調整像素f(t)與前一像素favg(t-1)中的低頻部分的權重，以及高頻部分的權重，進而去除像素f(t)的雜訊。詳細說明如下所示。
圖3顯示本發明一實施例之影像去雜訊方法的流程圖。首先，去雜訊裝置130接收由影像處理器120傳來的目前圖框Fr，並將目前圖框Fr中的像素f(t)分成一第一低頻像素fL(t)與一第一 高頻像素fH(t)。其中第一低頻像素fL(t)具有一第一權重，且第一高頻像素fH(t)具有一第二權重(步驟S310)。
在本實施例中，第一低頻像素fL(t)是在目前圖框Fr中，平均像素f(t)與位於像素f(t)周圍的複數個鄰近像素而產生。而第一高頻像素fH(t)則是將像素f(t)減去第一低頻像素fL(t)而產生。舉例來說，如圖2所示，像素f(t)為155，且像素f(t)周圍的鄰近像素皆為101。故第一低頻像素fL(t)=(155+8*101)/9=107，而第一高頻像素fH(t)=155-107=48。而第一低頻像素fL(t)與第一高頻像素fH(t)亦可以其他計算方式得到，本發明對此不作限制。
接著，去雜訊裝置130將前一圖框Fr-1中對應於像素f(t)之位置的前一像素favg(t-1)分成一第二低頻像素fLavg(t-1)與一第二高頻像素fHavg(t-1)。其中第二低頻像素fLavg(t-1)具有一第三權重，且第二高頻像素fHavg(t-1)具有一第四權重(步驟S320)。
在本實施例中，第二低頻像素fLavg(t-1)是在前一圖框Fr-1中，平均前一像素favg(t-1)與位於前一像素favg(t-1)周圍的複數個鄰近像素而產生。而第二高頻像素fHavg(t-1)則是將前一像素favg(t-1)減去第二低頻像素fLavg(t-1)而產生。舉例來說，如圖2所示，前一像素favg(t-1)為136，且前一像素favg(t-1)周圍的鄰近像素皆為100。故第二低頻像素fLavg(t-1)=(136+8*100)/9=104,而第二高頻像素fHavg(t-1)=136-104=32。同樣地，第二低頻像素fLavg(t-1)與第二高頻像素fHavg(t-1)亦可以其他計算方式得到，本發明對此不作限制。
接下來，去雜訊裝置130將調整第一權重與第三權重，並計算第一低頻像素fL(t)與第二低頻像素fLavg(t-1)的加權總和，以產生低頻像素資料tLavg(t)，而第一權重與第三權重之總和為一(步驟S330)。根據上述低頻像素資料fLavg(t)說明可整理為下式(1)，如下所示： 其中，WL為第一低頻像素fL(t)的第一權重，且(1-WL)為第二低頻像素fLavg(t-1)的第三權重。
進一步來說，去雜訊裝置130將根據場景變化(即前一個圖框和目前圖框的差異)來調整第一權重與第三權重。若場景變化較大，表示此變化受到物體移動的影響較大。去雜訊裝置130將升高第一低頻像素fL(t)的第一權重WL且降低第二低頻像素fLavg(t-1)的第三權重(1-WL)，以取得較多的第一低頻像素fL(t)。反之，若場景變化較小，表示此變化受到其他雜訊的影響較大。去雜訊裝置130將降低第一低頻像素fL(t)的第一權重WL且升高第二低頻像素fLavg(t-1)的第三權重(1-WL)，以取得較多的第二低頻像素fLavg(t-1)。詳細的調整第一權重與第三權重說明如下。
請同時參考圖4、5A與5B，圖4顯示本發明一實施例之調整第一權重與第三權重的流程圖。首先，去雜訊裝置130建立第一低頻像素fL(t)與第二低頻像素fLavg(t-1)之一差異程度DIF與一低頻更新率(Learning rate)RL(t)之一低頻線性關係，如圖5A所示(步驟S410)。差異程度DIF具有一差異上限值D1與一差異下限值D0。差異上限值D1對應到低頻更新率RL(t)之一低頻上限值RLmax(t)，差異下限值D0對應到低頻更新率RL(t)之一低頻下限值RLmin(t)。在本實施例中，低頻上限值RLmax(t)與低頻下限值RLmin(t)係設定為常數，分別為1.0與0.4(如圖5B所示)，且亦可根據實際狀況作設定，本發明對此不作限制。
而差異上限值D1與差異下限值D0係關聯於像素f(t)對應到目前圖框Fr的一像素亮度以及像素f(t)位於目前圖框Fr中的一像素位置。更進一步來說，請同時參考圖6，其顯示本發明一實施例之設定差異上限值與差異下限值的流程圖。如圖6所示，首先，去雜訊裝置130根據像素f(t)之像素亮度，計算像素亮度佔一最高亮度之一亮度比例。而基於光源越弱雜訊越多之因素，若像素亮度越高，雜訊越小。亮度比例將被去雜訊裝置130設定為 較低，以模擬光源與雜訊之關係(步驟S610)。
在本實施例中，像素亮度係擷取例如YUV影像格式之像素f(t)中的Y值(即亮度值)，且最高亮度為255。故亮度比例可表示為下式(2)，如下所示：亮度比例=(最高亮度-像素亮度)/最高亮度 式(2)舉例來說，若像素f(t)的Y值為125，亮度比例=(255-125)/255=0.51。而像素亮度亦可根據實際影像格式計算而得，以及亮度比例亦可由其他方式計算而得，在此不作限制。
在取得亮度比例(即步驟S610)後，去雜訊裝置130將根據像素f(t)之像素位置與亮度比例，計算一距離比例。而基於像素位置距離目前圖框Fr之畫面中心越遠雜訊越多之因素，若像素位置距離目前圖框之畫面中心越遠，距離比例將被去雜訊裝置130設定為越高，以模擬像素位置與雜訊之關係(步驟S620)。
在本實施例中，距離比例可由下式(3)-式(5)計算而得，如下所示：距離比例=(1-β)*innerDistRate+β *outerDistRate 式(3)
β=(dist-innerDist)/(outerDist-innerDist) 式(4)
outerDistRate=innerDistRate+(亮度比例*maxRateAdjust) 式(5)
其中，innerDistRate、innerDist、outerDist與maxRateAdjust皆為外部參數，dist為像素位置到畫面中心的距離。據此，距離比例將隨著dist增加而增加，以達到去除在畫面角落因增益量而被放大的雜訊。至於outerDistRate與innerDistRate的差異會隨著亮度比例變大而遞減，以避免在亮度比例較高時，容易在畫面角落發生殘影。
承接上述例子，像素f(t)的亮度比例為0.51。像素f(t)的座標為(389,209)且畫面中心的座標為(639,359)。innerDistRate、innerDist、outerDist與maxRateAdjust之外部參數分別設定為1.0、359、639、1.14。因此，outerDistRate=1.0+0.51*1.14=1.58； dist=| 389-639 |+| 209-359 |=400；β=(400-359)/(639-359)=0.15；以及距離比例=(1-0.15)*1.0+0.15*1.58=1.087。而距離比例亦可由其他方式計算而得，在此不作限制。
在取得距離比例(即步驟S620)後，去雜訊裝置130將根據亮度比例、距離比例與雜訊參數產生雜訊估測值(步驟S630)。在本實施例中，雜訊估測值可由下式(6)計算而得，如下所示：
承接上述例子，雜訊參數為常數且設定為5.0。因此，雜訊估測值=5.0*0.51*1.087=2.77。而雜訊估測值亦可由其他方式計算而得，在此不作限制。
接下來，去雜訊裝置130將根據雜訊估測值與一上限參數計算差異上限值D1，以及根據雜訊估測值與一下限參數計算差異下限值D0(步驟S640)。此外，上限參數大於該下限參數，以確保差異下限值D0到差異上限值D1為遞增。
在本實施例中，差異上限值D1可由下式(7)計算而得，且差異下限值D0可由下式(8)計算而得，其中C1為上限參數，且C0為下限參數。如下所示：D1=C1*雜訊估測值 式(7)
D0=C0*雜訊估測值 式(8)
承接上述例子，上限參數C1與下限參數C0皆為常數且分別設定為3.04與1.04。因此，差異上限值D1=3.04*2.77=8.42。差異下限值D0=1.04*2.77=2.88，如圖5B所示。而差異上限值D1與差異下限值亦可由其他方式計算而得，在此不作限制。
設定完差異上限值D1、差異下限值D0、低頻上限值RLmax(t)與低頻下限值RLmin(t)之後，去雜訊裝置130將建立差異程度DIF與低頻更新率RL(t)之低頻線性關係，如圖5A與5B所示。而低頻線性關係可由下式(9)計算而得，如下所示：
其中，a與b為根據差異上限值D1、差異下限值D0、低頻上限值RLmax(t)與低頻下限值RLmin(t)透過直線方程式所計算出的常數值，故在此不再贅述。
在建立出低頻線性關係(即步驟S410)後，去雜訊裝置130將進一步計算第一低頻像素fL(t)與第二低頻像素fLavg(t-1)之差異程度DIF(步驟S420)。接下來，去雜訊裝置130根據低頻線性關係將差異程度DIF對應到某個低頻更新率RL(t)，並將對應到的低頻更新率RL(t)作為第一權重(步驟S430)。再來，去雜訊裝置130將一減去第一權重，以產生第三權重(步驟S440)。
在計算出調整後的第一權重與第三權重之後，去雜訊裝置130將可透過式(1)而計算出低頻像素資料fLavg(t)。承接上述例子，第一低頻像素fL(t)為107，且第二低頻像素fLavg(t-1)為104。因此，差異程度DIF=| fL(t)-fLavg(t-1)|=107-104=3。如圖5B所示，差異程度DIF將對應到低頻更新率RL(t)為0.41，並作為第一權重。而去雜訊裝置130計算第三權重為1-0.41。此時，去雜訊裝置130將根據式(1)而計算出低頻像素資料fLavg(t)=0.41*107+(1-0.41)*104=105.23，即完成步驟S330之計算。
請重新回到圖2-3，在完成步驟S330後，去雜訊裝置130將調整第二權重與第四權重，並計算第一高頻像素fH(t)與第二高頻像素fHavg(t-1)的加權總和，以產生高頻像素資料fHavg(t)，而第二權重與第四權重之總和為一(步驟S340)。根據上述高頻像素資料fHavg(t)說明可整理為下式(10)，如下所示： 其中，WH為第一高頻像素fH(t)的第二權重，且(1-WH)為第二 高頻像素fHavg(t-1)的第四權重。
更進一步來說去雜訊裝置130將根據場景變化(即前一個圖框和目前圖框的差異)來調整第二權重與第四權重。而有關調整第二權重與第四權重之方法相似於調整第一權重與第三權重(即圖4之步驟S410-S440)之方法，故大致上可由步驟S410-S440來推得步驟S710-S740，故在此不再詳述。因此，如圖7、8A與8B所示，首先，去雜訊裝置130建立第一高頻像素fH(t)與第二高頻像素fHavg(t-1)之差異程度DIF與高頻更新率RH(t)之一高頻線性關係，如圖8A所示(步驟S710)。差異上限值D1對應到高頻更新率RH(t)之高頻上限值RHmax(t)，差異下限值D0對應到高頻更新率RH(t)之高低頻下限值RHmin(t)。
在本實施例中，高頻上限值RHmax(t)與高頻下限值RHmin(t)係為常數且分別設定為1.0與0.2。而設定差異上限值與差異下限值之方法可透過圖6之步驟S610-S640而推得，故在此不再贅述。故根據圖6中的例子，將可計算出差異上限值D1為8.42且差異下限值D0為2.88，如圖8B所示。
設定完差異上限值D1、差異下限值D0、高頻上限值RHmax(t)與高頻下限值RHmin(t)之後，去雜訊裝置130將建立差異程度DIF與高頻更新率RH(t)之高頻線性關係，如圖8A與8B所示。而高頻線性關係可由下式(11)計算而得，如下所示：
其中，a與b為根據差異上限值D1、差異下限值D0、高頻上限值RHmax(t)與高頻下限值RHmin(t)透過直線方程式所計算出的常數值，故在此不再贅述。
在建立出高頻線性關係(即步驟S710)後，去雜訊裝置130將進一步計算第一高頻像素fH(t)與第二高頻像素fHavg(t-1)之差 異程度DIF(步驟S720)。接下來，去雜訊裝置130根據高頻線性關係將差異程度DIF對應到某個高頻更新率RH(t)，並將對應到的高頻更新率RH(t)作為第二權重(步驟S730)。再來，去雜訊裝置130將一減去第二權重，以產生第四權重(步驟S740)。
在計算出調整後的第二權重與第四權重之後，去雜訊裝置130將可透過式(10)而計算出高頻像素資料fHavg(t)。承接上述例子，第一高頻像素fH(t)為48，且第二高頻像素fHavg(t-1)為32。因此，差異程度DIF=｜fH(t)-fHavg(t-1)｜=48-32=16。如圖8B所示，差異程度DIF將對應到高頻更新率RH(t)為1，並作為第二權重。而去雜訊裝置130計算第四權重為1-1。此時，去雜訊裝置130將根據式(1)而計算出高頻像素資料fHavg(t)=1*48+(1-1)*32=48，即完成步驟S730之計算。
在取得低頻像素資料fLavg(t)與高頻像素資料fHavg(t)後，去雜訊裝置130將計算低頻像素資料fLavg(t)與高頻像素資料fHavg(t)的總和，以產生輸出像素favg(t)。輸出像素favg(t)可由下式(12)計算而得，如下所示：favg(t)=fLavg(t)+fHavg(t) 式(12)
承接上述例子，低頻像素資料fLavg(t)計算出105.23，高頻像素資料fHavg(t)計算出48。因此，輸出像素favg(t)=105.23+48=153.23。據此，去雜訊裝置130將可根據場景變化而調整低頻像素資料fLavg(t)與高頻像素資料fHavg(t)，以去除目前圖框Fr中的像素f(t)的雜訊，進而輸出去雜訊後的輸出像素favg(t)。
綜上所述，本發明實施例所提供的影像去雜訊方法及其裝置，其將像素分成低頻像素與高頻像素，以及將對應於像素之位置的前一像素分成另一低頻像素與另一高頻像素，並根據場景變化來適應性地調整像素與對應於像素之位置的前一像素中的低頻像素的權重與高頻像素的權重，並依序去除目前圖框中每個像素的雜訊，而輸出去雜訊後的像素，據此達到更好的去雜訊效果。
以上所述僅為本發明之實施例，其並非用以侷限本發明之專利範圍。

Claims (10)

  1. 一種影像去雜訊方法，適用於一影像去雜訊裝置，用以去除一目前圖框中的一像素的雜訊以輸出一輸出像素，該方法包括：接收該目前圖框，並將該目前圖框中的該像素分成一第一低頻像素與一第一高頻像素，其中該第一低頻像素具有一第一權重，且該第一高頻像素具有一第二權重；將一前一圖框中對應於該像素之位置的一前一像素分成一第二低頻像素與一第二高頻像素，其中該第二低頻像素具有一第三權重，且該第二高頻像素具有一第四權重；根據該第一低頻像素與該第二低頻像素之一低頻差異程度調整該第一權重與該第三權重，並計算該第一低頻像素與該第二低頻像素的加權總和，以產生一低頻像素資料，其中該第一權重與該第三權重之總和為一；根據該第一高頻像素與該第二高頻像素之一高頻差異程度調整該第二權重與該第四權重，並計算該第一高頻像素與該第二高頻像素的加權總和，以產生一高頻像素資料，其中該第二權重與該第四權重之總和為一；以及計算該低頻像素資料與該高頻像素資料的總和，以產生該輸出像素。
  2. 如請求項1之影像去雜訊方法，其中，於將該像素分成該第一低頻像素與該第一高頻像素的步驟中，更包括：平均該像素與位於該像素周圍的複數個鄰近像素，以產生該第一低頻像素；以及將該像素減去該第一低頻像素，以產生該第一高頻像素。
  3. 如請求項1之影像去雜訊方法，其中，於將該前一像素分成該第二低頻像素與該第二高頻像素的步驟中，更包括： 平均該前一像素與位於該前一像素周圍的複數個鄰近像素，以產生該第二低頻像素；以及將該前一像素減去該第二低頻像素，以產生該第二高頻像素。
  4. 如請求項1之影像去雜訊方法，其中，於調整該第一權重與該第三權重的步驟中，更包括：建立該第一低頻像素與該第二低頻像素之該低頻差異程度與一低頻更新率(learning rate)之一低頻線性關係，該低頻差異程度具有一差異上限值與一差異下限值，該差異上限值對應到該低頻更新率之一低頻上限值，該差異下限值對應到該低頻更新率之一低頻下限值，且該差異上限值與該差異下限值關聯於該像素對應到該目前圖框的一像素亮度以及該像素位於該目前圖框中的一像素位置；計算該第一低頻像素與該第二低頻像素之該低頻差異程度；根據該低頻線性關係將該低頻差異程度對應到某一該低頻更新率，並將對應到的該低頻更新率作為該第一權重；以及將一減去該第一權重，以產生該第三權重。
  5. 如請求項1之影像去雜訊方法，其中，於調整該第二權重與該第四權重的步驟中，更包括：建立該第一高頻像素與該第二高頻像素之該高頻差異程度與一高頻更新率(learning rate)之一高頻線性關係，該高頻差異程度具有一差異上限值與一差異下限值，該差異上限值對應到該高頻更新率之一高頻上限值，該差異下限值對應到該高頻更新率之一高頻下限值，且該差異上限值與該差異下限值關聯於該像素對應到該目前圖框的一像素亮度以及該像素位於該目前圖框中的一像素位置；計算該第一高頻像素與該第二高頻像素之該高頻差異程度； 根據該高頻線性關係將該高頻差異程度對應到某一該高頻更新率，並將對應到的該高頻更新率作為該第二權重；以及將一減去該第二權重，以產生該第四權重。
  6. 如請求項4或5之影像去雜訊方法，其中，於設定該差異上限值與該差異-下限值的步驟中，更包括：根據該像素之該像素亮度，計算該像素亮度佔一最高亮度之一亮度比例，且該像素亮度越高該亮度比例越低；根據該像素之該像素位置與該亮度比例，計算一距離比例，且該像素位置距離該目前圖框之一畫面中心越遠，該距離比例越高；根據該亮度比例、該距離比例與一雜訊參數產生一雜訊估測值；以及根據該雜訊估測值與一上限參數計算該差異上限值，且根據該雜訊估測值與一下限參數計算該差異下限值，其中該上限參數大於該下限參數。
  7. 一種影像去雜訊裝置，包括：一影像擷取裝置，用以擷取一影像，並將該影像轉換為一特定影像格式的一影像訊號；一影像處理器，耦接該影像擷取裝置，接收該影像訊號並將該影像訊號轉換為一目前圖框；以及一去雜訊裝置，耦接該影像處理器，且用以執行下列步驟：接收該目前圖框，並將該目前圖框中的該像素分成一第一低頻像素與一第一高頻像素，其中該第一低頻像素具有一第一權重，且該第一高頻像素具有一第二權重；將一前一圖框中對應於該像素之位置的一前一像素分成一第二低頻像素與一第二高頻像素，其中該第二低頻像素具有一第三權重，且該第二高頻像素具有一第四權重； 根據該第一低頻像素與該第二低頻像素之一低頻差異程度調整該第一權重與該第三權重，並計算該第一低頻像素與該第二低頻像素的加權總和，以產生一低頻像素資料，其中該第一權重與該第三權重之總和為一；根據該第一高頻像素與該第二高頻像素之一高頻差異程度調整該第二權重與該第四權重，並計算該第一高頻像素與該第二高頻像素的加權總和，以產生一高頻像素資料，其中該第二權重與該第四權重之總和為一；以及計算該低頻像素資料與該高頻像素資料的總和，以產生一輸出像素。
  8. 如請求項7之影像去雜訊裝置，其中，該去雜訊裝置平均該像素與位於該像素周圍的複數個鄰近像素以產生該第一低頻像素，並將該像素減去該第一低頻像素以產生該第一高頻像素。
  9. 如請求項7之影像去雜訊裝置，其中，該去雜訊裝置平均該前一像素與位於該前一像素周圍的複數個鄰近像素以產生該第二低頻像素，並將該前一像素減去該第二低頻像素以產生該第二高頻像素。
  10. 如請求項7之影像去雜訊裝置，其中，於調整該第一權重與該第三權重時，該去雜訊裝置建立該第一低頻像素與該第二低頻像素之該低頻差異程度與一低頻更新率(learning rate)之一低頻線性關係，計算該第一低頻像素與該第二低頻像素之該低頻差異程度，根據一低頻線性關係將該低頻差異程度對應到某一該低頻更新率以作為該第一權重，並將一減去該第一權重以產生該第三權重，其中該低頻差異程度具有一差異上限值與一差異下限值，該差異上限值對應到該低頻更新率之一低頻上限值，該差異下限值 對應到該低頻更新率之一低頻下限值，且該差異上限值與該差異下限值關聯於該像素對應到該目前圖框的一像素亮度以及該像素位於該目前圖框中的一像素位置。
TW105106108A 2016-03-01 2016-03-01 影像去雜訊方法及其裝置 TWI632525B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW105106108A TWI632525B (zh) 2016-03-01 2016-03-01 影像去雜訊方法及其裝置
US15/439,357 US10055820B2 (en) 2016-03-01 2017-02-22 Image de-noising method and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105106108A TWI632525B (zh) 2016-03-01 2016-03-01 影像去雜訊方法及其裝置

Publications (2)

Publication Number Publication Date
TW201732737A TW201732737A (zh) 2017-09-16
TWI632525B true TWI632525B (zh) 2018-08-11

Family

ID=59724174

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105106108A TWI632525B (zh) 2016-03-01 2016-03-01 影像去雜訊方法及其裝置

Country Status (2)

Country Link
US (1) US10055820B2 (zh)
TW (1) TWI632525B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10475215B2 (en) * 2016-09-23 2019-11-12 Carestream Health, Inc. CBCT image processing method
TWI656507B (zh) 2017-08-21 2019-04-11 瑞昱半導體股份有限公司 電子裝置
CN109274949A (zh) * 2018-10-30 2019-01-25 京东方科技集团股份有限公司 一种视频图像处理方法及其装置、显示设备
CN111311499B (zh) * 2018-12-12 2022-08-23 展讯通信（上海）有限公司 图像增强方法及装置、存储介质、终端
CN111383196B (zh) * 2020-03-13 2023-07-28 浙江大华技术股份有限公司 红外图像条纹消除方法、红外探测器及存储装置
CN113781357A (zh) * 2021-09-24 2021-12-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201601117A (zh) * 2014-06-24 2016-01-01 瑞昱半導體股份有限公司 去雜訊方法以及影像系統
CN103428514B (zh) * 2012-05-24 2016-01-20 矽统科技股份有限公司 深度图产生装置及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001035636A1 (en) 1999-11-11 2001-05-17 Stmicroelectronics Asia Pacific Pte Ltd. Spatio-temporal video noise reduction system
CN1856990A (zh) 2003-09-23 2006-11-01 皇家飞利浦电子股份有限公司 使用频带内运动补偿时间滤波的视频去噪声算法
US8447130B2 (en) 2007-12-31 2013-05-21 Intel Corporation History-based spatio-temporal noise reduction
CN101355649A (zh) 2008-09-11 2009-01-28 松翰科技股份有限公司 去噪声的影像处理方法及其装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103428514B (zh) * 2012-05-24 2016-01-20 矽统科技股份有限公司 深度图产生装置及方法
TW201601117A (zh) * 2014-06-24 2016-01-01 瑞昱半導體股份有限公司 去雜訊方法以及影像系統

Also Published As

Publication number Publication date
US20170256037A1 (en) 2017-09-07
US10055820B2 (en) 2018-08-21
TW201732737A (zh) 2017-09-16

Similar Documents

Publication Publication Date Title
TWI632525B (zh) 影像去雜訊方法及其裝置
CN110930301B (zh) 图像处理方法、装置、存储介质及电子设备
JP4169188B2 (ja) 画像処理方法
JPH0944654A (ja) 画像処理装置、画像処理方法、ノイズ除去装置及びノイズ除去方法
JP5887303B2 (ja) 画像信号処理装置，撮像装置および画像処理プログラム
KR20090078583A (ko) 저조도 영상 처리 방법 및 시스템
TWI536319B (zh) 去雜訊方法以及影像系統
JP2013218487A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN103873836B (zh) 图像处理设备和图像处理方法
KR102445762B1 (ko) 이미지 프로세싱 방법 및 디바이스
JP2012256168A (ja) 画像処理装置及び撮像装置
JP2014068172A (ja) 画像処理装置
TW201737205A (zh) 影像對比增強方法及其裝置
JP2014027403A (ja) 画像処理装置
CN110958363A (zh) 图像处理方法及装置、计算机可读介质和电子设备
JP4872508B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP5439210B2 (ja) 画像処理装置
US8693798B2 (en) Image sharpness processing apparatus and image sharpness processing method
JP2012235465A (ja) デジタルカメラ装置における画像処理装置及び方法
CN107169931B (zh) 图像去噪声方法及其装置
CN110136085B (zh) 一种图像的降噪方法及装置
JP6652301B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2015094991A (ja) 画像処理装置、撮像装置および画像処理プログラム
TWI556643B (zh) Image adjustment method
TWI392379B (zh) Television image adjustment method and device