TW201742001A - 影像雜訊估測方法及裝置與影像擷取裝置 - Google Patents

影像雜訊估測方法及裝置與影像擷取裝置 Download PDF

Info

Publication number
TW201742001A
TW201742001A TW105116806A TW105116806A TW201742001A TW 201742001 A TW201742001 A TW 201742001A TW 105116806 A TW105116806 A TW 105116806A TW 105116806 A TW105116806 A TW 105116806A TW 201742001 A TW201742001 A TW 201742001A
Authority
TW
Taiwan
Prior art keywords
noise
block
blocks
current sampling
image
Prior art date
Application number
TW105116806A
Other languages
English (en)
Inventor
吳適達
Original Assignee
聯詠科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯詠科技股份有限公司 filed Critical 聯詠科技股份有限公司
Priority to TW105116806A priority Critical patent/TW201742001A/zh
Priority to CN201610535196.3A priority patent/CN107454285A/zh
Priority to US15/224,674 priority patent/US10127635B2/en
Publication of TW201742001A publication Critical patent/TW201742001A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種影像雜訊估測方法，包括下列步驟：決定當前影像幀的多個當前取樣區塊以及先前影像幀的多個先前取樣區塊；計算每一當前取樣區塊的區塊特徵，以及計算每一當前取樣區塊及其對應的一個先前取樣區塊之間的區塊絕對差值和；依據區塊特徵將這些當前取樣區塊分群為多個區間；依據區塊特徵以及區塊絕對差值和為這些區間分別建立雜訊模型；以及依據雜訊模型計算當前影像幀的局部影像區塊的雜訊強度資訊。一種影像雜訊估測裝置與影像擷取裝置同樣被提出。

Description

影像雜訊估測方法及裝置與影像擷取裝置
本發明是有關於一種影像處理技術，且特別是有關於一種影像雜訊估測方法及裝置與影像擷取裝置。
在周圍的光線不足時，數位相機和數位攝影機等電子影像擷取裝置所拍攝的影像通常會有嚴重的雜訊干擾。在習知的影像雜訊消除方法中，可以使用空間域雜訊濾波器來消除空間域雜訊，以及使用時間域雜訊濾波器來消除時間域雜訊。時空雜訊濾波器則融合了時間域雜訊濾波器和空間域雜訊濾波器，在影像中屬於靜態的區域使用時間域雜訊濾波器，而在屬於動態的區域使用空間域雜訊濾波器；如此可以避免在動態的區域中使用時間域雜訊濾波器而產生運動物體殘影的問題，也可以讓動態區域有消除雜訊的效果，不至於和靜態區域在畫質上有太大的差異。然而要透過雜訊濾波器有效消除雜訊，必須先估測影像中的雜訊強度(noise level)，才能正確分辨影像中的動態區域和靜態區域，也才能讓雜訊濾波器依據雜訊大小調整濾波強度。習知的雜訊估測方法通常以局部估測模型的方式建立雜訊模型，雖然採用局部估測的模型較為簡單，但是參數儲存的空間需求較大；此外習知的雜訊估測方法在建立雜訊模型的過程中，通常未考慮雜訊的訊號相依性(signal-dependent characteristic)和雜訊的邊緣強度相依性(edge-dependent characteristic)，也就是雜訊強度會依影像中像素亮度(pixel Y intensity)和像素邊緣強度(pixels edge strength)而改變的特性，因此如何提升影像雜訊估測的正確性依然是一個重要的課題。
本發明提供一種影像雜訊估測方法、影像雜訊估測裝置與影像擷取裝置，其可以提升影像雜訊估測的正確性。
本發明提供一種影像雜訊估測方法，包括下列步驟：決定當前影像幀中的多個當前取樣區塊以及先前影像幀中的多個先前取樣區塊；計算每一當前取樣區塊的區塊特徵，以及計算每一當前取樣區塊及其對應的先前取樣區塊之間在至少一色彩空間分量上的區塊絕對差值和；依據這些區塊特徵將這些當前取樣區塊分群為多個區間；依據這些區塊特徵以及這些區塊絕對差值和為這些區間的每一個來建立雜訊模型；以及依據雜訊模型和當前局部影像區塊特徵計算當前影像幀的局部影像區塊的雜訊強度資訊。
本發明提供一種影像雜訊估測裝置。影像雜訊估測裝置包括全域雜訊估測單元與局部雜訊計算單元。全域雜訊估測單元用以決定當前影像幀中的多個當前取樣區塊以及先前影像幀中的多個先前取樣區塊。全域雜訊估測單元更用以計算每一當前取樣區塊的區塊特徵，以及計算每一當前取樣區塊及其對應的先前取樣區塊之間在至少一色彩空間分量上的區塊絕對差值和。全域雜訊估測單元更用以依據這些區塊特徵將這些當前取樣區塊分為多個區間，以及依據這些區塊特徵以及這些區塊絕對差值和為每一區間建立雜訊模型。局部雜訊計算單元連接全域雜訊估測單元。局部雜訊計算單元用以依據雜訊模型和當前局部影像區塊特徵計算當前影像幀的局部影像區塊的雜訊強度資訊。
本發明提供一種影像擷取裝置。影像擷取裝置包括影像擷取器、記憶體、非臨時性媒體以及處理器。影像擷取器用以擷取當前影像幀。記憶體用以儲存當前影像幀與先前影像幀。非臨時性媒體用以儲存程式。處理器連接非臨時性媒體、影像擷取器與記憶體。處理器可以存取記憶體，以及執行非臨時性媒體的程式。所述程式包括全域雜訊估測單元以及局部雜訊計算單元。全域雜訊估測單元可以決定當前影像幀中的多個當前取樣區塊以及先前影像幀中的多個先前取樣區塊。全域雜訊估測單元可以計算這些當前取樣區塊的每一個的區塊特徵。全域雜訊估測單元可以計算這些當前取樣區塊的每一個與這些先前取樣區塊的對應一個之間在至少一色彩空間分量上的區塊絕對差值和。全域雜訊估測單元可以依據這些區塊特徵將這些當前取樣區塊分群為多個區間。全域雜訊估測單元可以依據這些區塊特徵以及這些區塊絕對差值和而為這些區間的每一個來建立雜訊模型。局部雜訊計算單元可以依據雜訊模型計算當前影像幀的局部影像區塊的雜訊強度資訊。
基於上述，本發明實施例所述的影像雜訊估測方法、影像雜訊估測裝置與影像擷取裝置可以針對當前影像幀以及先前影像幀進行時間域的全域雜訊估測並且考慮畫素亮度以及邊緣強度等資訊以建立雜訊模型。雜訊模型可以用於當前影像幀的局部影像區塊，依據局部影像區塊的特徵求得該局部影像區塊的雜訊強度資訊。本發明實施例所述的影像雜訊估測方法、影像雜訊估測裝置與影像擷取裝置可以提升整體影像雜訊估測的正確性。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
在本案說明書全文(包括申請專利範圍)中所使用的「耦接（或連接）」一詞可指任何直接或間接的連接手段。舉例而言，若文中描述第一裝置耦接（或連接）於第二裝置，則應該被解釋成該第一裝置可以直接連接於該第二裝置，或者該第一裝置可以透過其他裝置或某種連接手段而間接地連接至該第二裝置。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟代表相同或類似部分。不同實施例中使用相同標號或使用相同用語的元件/構件/步驟可以相互參照相關說明。
圖1是依據本發明一實施例所繪示的一種影像雜訊估測裝置100的電路方塊示意圖。請參照圖1，在本實施例中，影像雜訊估測裝置100可以設置在具有影像擷取功能的電子裝置中，其中電子裝置例如是數位攝影機、數位攝錄機、智慧型手機、數位個人助理（PDA）、平板電腦、筆記型電腦、智慧型眼鏡、智慧型手錶或其他固定式或可攜式裝置。另外，影像擷取功能可以是透過例如是攝影機或攝錄機，並且可包括光學定焦鏡頭或光學變焦鏡頭，以及諸如電荷耦合裝置（charge coupled device, CCD）或互補式金屬氧化物半導體（complementary metal-oxide semiconductor, CMOS）等影像感測裝置來實現，但本發明並不限於此。
在本實施例中，影像雜訊估測裝置100用以針對電子裝置所擷取的影像，進行雜訊估測以及雜訊計算。影像雜訊估測裝置100例如是中央處理單元（central processing unit, CPU）、可編程的通用或專用微處理器、數位訊號處理器（digital signal processor, DSP）、可編程控制器、特殊應用積體電路（application specific integrated circuit, ASIC）、可編程邏輯裝置（programmable logic device, PLD）或任何其他類似的裝置或其組合等，因此影像雜訊估測裝置100可以藉由軟體或韌體的方式來實現影像雜訊估測裝置100的各項功能，或藉由硬體（電路）的方式實現影像雜訊估測裝置100的各項功能，或藉由軟體與硬體相互組合的方式實現影像雜訊估測裝置100的各項功能。在另一些實施例中，影像雜訊估測裝置100可以是包含了多個積體電路及其他元件的系統電路。
影像雜訊估測裝置100包括全域雜訊估測單元110以及局部雜訊計算單元120。在藉由硬體實現影像雜訊估測裝置100的應用例中，全域雜訊估測單元110可以是全域雜訊估測電路，而局部雜訊計算單元120可以是局部雜訊計算電路。全域雜訊估測單元110接收當前影像幀I(t)以及先前影像幀I(t-1)。全域雜訊估測單元110用以分析當前影像幀I(t)以及先前影像幀I(t-1)以建立雜訊模型。局部雜訊計算單元120連接全域雜訊估測單元110。依據全域雜訊估測單元110建立的雜訊模型，局部雜訊計算單元120可以針對當前影像幀I(t)當中的局部影像區塊進行特徵擷取，配合雜訊模型參數以取得局部影像區塊的雜訊強度資訊。換句話說，影像雜訊估測裝置100屬於一種時間域的雜訊估測裝置。影像雜訊估測裝置100是藉由分析時間上相鄰兩幀影像的方式來建立雜訊模型。
圖2是依據本發明一實施例所繪示的一種影像雜訊估測方法的流程示意圖，請同時參考圖1、圖2。在步驟S210中，全域雜訊估測單元110決定當前影像幀I(t)當中的多個當前取樣區塊以及先前影像幀I(t-1)的多個先前取樣區塊。在一些實施例中，全域雜訊估測單元110在步驟S210中可以依據取樣數量sampleNum計算取樣步進值sampleStep，以決定所述當前取樣區塊在當前影像幀I(t)中的取樣位置，亦即決定所述先前取樣區塊在先前影像幀I(t-1)中的取樣位置。所述取樣數量sampleNum表示於一個影像幀中的欲取樣的區塊數量。取樣數量sampleNum可以依照設計需求或應用需求來決定。例如，全域雜訊估測單元110可以依據以下公式(1)來決定取樣步進值。……………………………………(1)
對於上述公式(1)，blkNum表示於一個影像幀中的區塊總數，round( )是一個四捨五入函數，而max( )是一個「取最大值」函數。取樣步進值sampleStep決定於影像幀的區塊總數blkNum除以取樣數量sampleNum後四捨五入的值，並且取樣步進值sampleStep不小於1。舉例來說，圖3繪示本發明一實施例的取樣區塊的取樣示意圖。全域雜訊估測單元110以移動至少一格區塊的方式對於當前影像幀I(t)以及先前影像幀I(t-1)進行取樣，其中取樣數量sampleNum可依據使用需求設定之。全域雜訊估測單元110在步驟S210中可以依據取樣步進值sampleStep來決定當前取樣區塊CurBlk在當前影像幀I(t)中的取樣位置，亦即決定所述先前取樣區塊PreBlk在先前影像幀I(t-1)中的取樣位置。每一當前取樣區塊CurBlk在當前影像幀I(t)中的位置相同於每一先前取樣區塊PreBlk在先前影像幀I(t-1)中的取樣位置。舉例來說，區塊總數blkNum假設為35，若取樣數量sampleNum被設定為17，則取樣步進值sampleStep為2。取樣步進值sampleStep為2，其意味著全域雜訊估測單元110在當前影像幀I(t)中以「每移動二個區塊取樣一個區塊」的方式對於當前影像幀I(t)進行取樣，先前影像幀I(t-1)的取樣方式相同於當前影像幀I(t)的取樣方式。
在步驟S220中，全域雜訊估測單元110計算每一當前取樣區塊的區塊特徵，以及計算每一當前取樣區塊及其對應的先前取樣區塊之間在至少一色彩空間分量上的區塊絕對差值和。依照設計需求，影像雜訊估測裝置100可以應用於各種不同的色彩空間。例如，在本實施例中，影像雜訊估測裝置100可以應用於YUV色彩空間，其中色彩空間分量Y為亮度分量(Luminance)，色彩空間分量U和V為色度分量(Chrominance)但本發明的應用不限於此。在本發明另一實施例中，影像雜訊估測裝置100可以應用於RGB色彩空間或是其他色彩空間。
以YUV色彩空間為例，全域雜訊估測單元110可以計算每一當前取樣區塊的多個像素在亮度分量Y上的亮度平均值作為區塊特徵。在本實施例中，全域雜訊估測單元110可依據以下公式(2)、(3)來計算每一當前取樣區塊的亮度平均值blkMean_Y。一個當前取樣區塊curBlk具有多個像素，而curBlk_Y(m,n)表示在一個當前取樣區塊curBlk中位置為(m,n)的像素的亮度值。在本實施例中，亮度平均值blkMean_Y等於此當前取樣區塊curBlk當中的所有像素的亮度值curBlk_Y(m,n)的總和除以區塊面積blkVol的結果，其中區塊面積blkVol為當前取樣區塊curBlk的高blkSize與當前取樣區塊curBlk的寬blkSize的相乘結果。………………………………………(2)……………………………………………(3)
全域雜訊估測單元110還可以計算每一當前取樣區塊及其對應的先前取樣區塊之間在亮度分量Y上的區塊絕對差值和blkSAD_Y，計算每一當前取樣區塊及其對應的先前取樣區塊之間在色度分量U和V上的區塊絕對差值和blkSAD_U與blkSAD_V。以下將以區塊絕對差值和blkSAD_Y作為說明範例，而區塊絕對差值和blkSAD_U與blkSAD_V的計算方式可以參照區塊絕對差值和blkSAD_Y的相關說明而類推。
舉例來說，全域雜訊估測單元110可依據以下公式(4)計算當前取樣區塊及其對應的先前取樣區塊在亮度分量Y上的區塊絕對差值和blkSAD_Y。全域雜訊估測單元110可以計算在一個當前取樣區塊curBlk中位置在(m,n)處像素的亮度值curBlk_Y(m,n)與先前取樣區塊preBlk中位置在(m,n)處像素的亮度值preBlk_Y(m,n)的絕對差值。全域雜訊估測單元110可以將當前取樣區塊curBlk與先前取樣區塊preBlk之間所有像素的絕對差值累加起來，作為當前取樣區塊curBlk的區塊絕對差值和blkSAD_Y。……………………………(4)
在本實施例中，全域雜訊估測單元110還可以在步驟S220中計算每一個當前取樣區塊中的每一個像素的像素邊緣強度值，以及依據這些像素的像素邊緣強度值計算每一個當前取樣區塊的區塊邊緣強度值。舉例來說（但不限於此），全域雜訊估測單元110可依據以下公式(5)、(6)、(7)來決定每一當前取樣區塊的區塊邊緣強度值。……………………………………(5)………………………………………(6)…………………………(7)
圖4是依據本發明一實施例繪示在一個取樣區塊中，一個目前像素及其多個鄰接像素的示意圖。舉例來說，假設一個當前取樣區塊curBlk當中具有多個像素，例如圖4所示像素C、P0、P1、P2、P3、P4、P5、P6、P7。對於當前取樣區塊curBlk的這些像素的一個目前像素C而言，全域雜訊估測單元110可以計算所述目前像素C與多個鄰接像素P0～P7的加權平均值LP。舉例來說，全域雜訊估測單元110可以使用公式(7)來計算此目前像素C的加權平均值LP。於公式(7)中，C表示目前像素C的亮度值，P0 表示鄰接像素P0的亮度值，P1 表示鄰接像素P1的亮度值，P2 表示鄰接像素P2的亮度值，P3 表示鄰接像素P3的亮度值，P4 表示鄰接像素P4的亮度值，P5 表示鄰接像素P5的亮度值，P6 表示鄰接像素P6的亮度值，而P7 表示鄰接像素P7的亮度值。公式(7)中的權重可以依照設計需求或應用需求來改變。
全域雜訊估測單元110可以計算目前像素C與加權平均值LP的第一絕對差值|C-LP|，以及分別計算鄰接像素P0～P7與所述加權平均值LP的多個第二絕對差值|P0 -LP|、|P1 -LP|、|P2 -LP|、|P3 -LP|、|P4 -LP|、|P5 -LP|、|P6 -LP|與|P7 -LP|，以及計算所述第一絕對差值與所述多個第二絕對差值的總和作為目前像素C的像素邊緣強度值pixelEdgVar_Y。舉例來說，全域雜訊估測單元110還可以使用公式(6)來計算目前像素C的像素邊緣強度值pixelEdgVar_Y。以此類推，全域雜訊估測單元110可以使用公式(6)與公式(7)而獲得當前取樣區塊curBlk的所有像素的像素邊緣強度值pixelEdgVar_Y。
於一個當前取樣區塊curBlk中，全域雜訊估測單元110可以計算多個像素的像素邊緣強度值pixelEdgVar_Y的總和，作為當前取樣區塊curBlk的區塊邊緣強度值blkEdgVar_Y。舉例來說，全域雜訊估測單元110還可以使用公式(5)來計算此當前取樣區塊curBlk的區塊邊緣強度值blkEdgVar_Y，其中pixelEdgVar_Y(m,n)表示在一個當前取樣區塊curBlk中位置在(m,n)處像素的像素邊緣強度值pixelEdgVar_Y。區塊邊緣強度值blkEdgVar_Y為此當前取樣區塊curBlk的所有像素的像素邊緣強度值pixelEdgVar_Y總和的結果。
請參照圖2，在步驟S230中，全域雜訊估測單元110可以依據每一當前取樣區塊的區塊亮度平均值blkMean_Y，將步驟S210所決定的這些當前取樣區塊分群為多個區間。這些區間的數量可以依照設計需求來決定。舉例來說（但不限於此），請參考圖5，圖5繪示本發明一實施例將取樣區塊分群為多個區間的示意圖。圖5所示橫軸表示當前取樣區塊的亮度平均值blkMean_Y，而縱軸表示當前取樣區塊的區塊絕對差值和blkSAD_Y。圖5所示一個記號「+」表示一個當前取樣區塊在區塊亮度平均值blkMean_Y與區塊絕對差值和blkSAD_Y所構成的座標平面中的位置。由於不同亮度往往具有不同的雜訊強度資訊，因此全域雜訊估測單元110可以依據上述步驟S220所取得的每一當前取樣區塊的區塊亮度平均值blkMean_Y，來將這些當前取樣區塊分群為多個區間seg0、seg1、seg2、seg3、seg4、seg5、seg6與seg7。
舉例來說（但不限於此），全域雜訊估測單元110還可依據以下公式(8)過濾每一當前取樣區塊。在本實施例中，全域雜訊估測單元110可以在步驟S230中依據每一個當前取樣區塊的區塊亮度平均值blkMean_Y以及區塊邊緣強度值blkEdgVar_Y來過濾這些當前取樣區塊，進而獲得多個經過濾的當前取樣區塊。這些經過濾的當前取樣區塊的亮度平均值blkMean_Y介於預設的最小平均亮度門檻NE_blkMeanY_minTh以及預設的最大平均亮度門檻NE_blkMeanY_maxTh之間，並且這些經過濾的當前取樣區塊的區塊邊緣強度值blkEdgVar_Y小於預設的邊緣強度值門檻NE_blkEdgVar_maxTh。也就是說，全域雜訊估測單元110可以將這些將當前取樣區塊當中在亮度分量上過暗、過亮的區塊以及邊緣強度過強的區塊進行濾除；原因是過暗、過亮的區塊屬於亮度飽和的區塊，其雜訊值可能會過低而影響估測估，而邊緣強度過強的區塊則因為亮度變化大，其亮度平均值較沒有代表性，可能會被分類到不適當的區間而影響估測值。依據這些經過濾的當前取樣區塊的亮度平均值blkMean_Y，全域雜訊估測單元110可以在步驟S230中將這些經過濾當前取樣區塊分群為多個區間seg0～seg7。……………………………(8)
在步驟S240中，全域雜訊估測單元110依據每一當前取樣區塊的區塊特徵以及區塊絕對差值和分別為區間seg0～seg7的每一個來建立雜訊模型。舉例來說（但不限於此），全域雜訊估測單元110可以分別計算每一區間在色彩空間分量（例如亮度分量Y）上的雜訊平均值noiseSAD_Mean以及雜訊標準差noiseSAD_STD，作為所述雜訊模型。具體來說，全域雜訊估測單元110可以依據上述步驟S220計算取得的每一個當前取樣區塊的亮度平均值blkMean_Y、區塊邊緣強度值blkEdgVar_Y、在亮度分量Y上的區塊絕對差值和blkSAD_Y、在色度分量U與V上的區塊絕對差值和blkSAD_U與blkSAD_V來建立雜訊模型。
圖6至圖8繪示在區塊絕對差值和與區塊邊緣強度值所構成的座標空間中，計算亮度分量的雜訊模型的一個實施範例示意圖。由於亮度分量上的雜訊強度具有隨像素邊緣強度增強而變大的特性，亮度分量上的雜訊模型為一雜訊強度和邊緣強度之間的線性模型。全域雜訊估測單元110可以在步驟S240選擇圖5所示區間seg0～seg7的其中一個作為目標區間（其餘區間的操作可以參照所述目標區間的相關說明而類推）。關於亮度分量的雜訊模型，以下說明計算基準點的詳細步驟。在步驟S240中，全域雜訊估測單元110可以在所述目標區間內的所有當前取樣區塊中選擇一個或多個當前取樣區塊，作為所述目標區間的第一區塊集合S1。其中，在第一區塊集合S1中的當前取樣區塊在亮度分量Y上的區塊絕對差值和blkSAD_Y小於或等於雜訊基準值門檻noiseSAD_base_Th。雜訊基準值門檻noiseSAD_base_Th可以依照設計需求或應用需求來決定。
圖6繪示本發明一實施例計算亮度分量的雜訊模型的基準點的示意圖，基準點可以代表影像中平坦且靜態區的雜訊和邊緣強度特性。圖6所示橫軸表示當前取樣區塊的區塊邊緣強度值blkEdgVar_Y，而縱軸表示當前取樣區塊的區塊絕對差值和blkSAD_Y。圖6所示一個記號「+」表示一個當前取樣區塊在區塊邊緣強度值blkEdgVar_Y與區塊絕對差值和blkSAD_Y所構成的座標平面中的位置。在本實施例中，全域雜訊估測單元110可以使用下列公式(9)來過濾所述目標區間中的當前取樣區塊，而獲得第一區塊集合S1。公式(9)所示blkSADi 表示在所述目標區間中的第i個當前取樣區塊的區塊絕對差值和blkSAD_Y。在本實施例中，第一區塊集合S1包含屬於平坦區且為靜態區的當前取樣區塊，其篩選條件為當前取樣區塊在亮度分量Y上的區塊絕對差值和blkSAD小於或等於雜訊基準值門檻noiseSAD_base_Th。全域雜訊估測單元110可以使用下列公式(10)來決定雜訊基準值門檻noiseSAD_base_Th。公式(10)所示blkSAD_Min表示在所述目標區間中，所有當前取樣區塊的區塊絕對差值和blkSAD_Y當中的最小者。於公式(10)所示實施例中，雜訊基準值門檻noiseSAD_base_Th為區塊絕對差值和最小者blkSAD_Min乘上參數值k1的結果。參數值k1可以依照設計需求或應用需求來決定。舉例來說，參數值k1可以是大於0且小於等於4的實數。…………………………………………(9)，…………………………(10)
接著，全域雜訊估測單元110可以在步驟S240中依據第一區塊集合S1當中的多個當前取樣區塊的區塊邊緣強度值blkEdgVar_Y來計算所述目標區間的邊緣強度基準值edgVar_base，以及依據第一區塊集合S1當中的多個當前取樣區塊在亮度分量Y上的區塊絕對差值和blkSAD_Y來計算所述目標區間的雜訊基準值noiseSAD_base。舉例來說，全域雜訊估測單元110可使用下列公式(11)、(12)來分別計算邊緣強度基準值edgVar_base以及雜訊基準值noiseSAD_base。在公式(11)中，blkEdgVari 表示在第一區塊集合S1中的第i個當前取樣區塊的區塊邊緣強度值blkEdgVar_Y，而M1表示第一區塊集合S1中的當前取樣區塊的數量。在公式(12)中，blkSADi 表示在第一區塊集合S1中的第i個當前取樣區塊的區塊絕對差值和blkSAD_Y。在本實施例中，全域雜訊估測單元110依據第一區塊集合S1當中的所有當前取樣區塊的邊緣強度值blkEdgVari 的總和除以第一區塊集合S1的區塊數量M1的結果，來作為邊緣強度基準值edgVar_base。全域雜訊估測單元110依據第一區塊集合S1當中的所有當前取樣區塊在亮度分量上的區塊絕對差值和blkSADi 的總和除以區塊數量M1的結果，來作為雜訊基準值noiseSAD_base。據此，全域雜訊估測單元110可取得關於亮度分量Y的雜訊模型的基準點座標(edgVar_base，noiseSAD_base)。…………………………………………(11)…………………………………………(12)
於步驟S240中，全域雜訊估測單元110還可以在所述目標區間內的當前取樣區塊中選擇一個或多個當前取樣區塊，作為所述目標區間的第二區塊集合S2。其中，在第二區塊集合S2內的當前取樣區塊在所述亮度分量Y上的區塊絕對差值和blkSAD_Y小於或等於雜訊平均值門檻noiseSAD_mean_Th。雜訊平均值門檻noiseSAD_mean_Th可以依照設計需求或應用需求來決定。
圖7繪示本發明一實施例計算亮度分量的雜訊模型的係數值的示意圖，此係數描述了雜訊強度隨邊緣強度變化的趨勢。圖7所示橫軸表示當前取樣區塊的區塊邊緣強度值blkEdgVar_Y，而縱軸表示當前取樣區塊的區塊絕對差值和blkSAD_Y。圖7所示一個記號「+」表示一個當前取樣區塊在區塊邊緣強度值blkEdgVar_Y與區塊絕對差值和blkSAD_Y所構成的座標平面中的位置。在本實施例中，全域雜訊估測單元110可以使用下列公式(13)來過濾所述目標區間中的當前取樣區塊，而獲得第二區塊集合S2。公式(13)所示blkSADi 表示在所述目標區間中的第i個當前取樣區塊的區塊絕對差值和blkSAD_Y。在本實施例中，第二區塊集合S2包含用來計算線性模型(linear model)參數的第一係數值coef_a以及第二係數值coef_b的當前取樣區塊，其篩選條件為當前取樣區塊在亮度分量Y上的區塊絕對差值和blkSADi 小於或等於雜訊平均值門檻noiseSAD_mean_Th，其中篩選目的在於排除運動的區塊。全域雜訊估測單元110可以使用下列公式(14)來決定雜訊平均值門檻noiseSAD_mean_Th。於公式(14)所示實施例中，雜訊平均值門檻noiseSAD_mean_Th為雜訊基準值noiseSAD_base乘上參數值k2的結果。參數值k2可以依照設計需求或應用需求來決定。舉例來說，參數值k2可以是大於0且小於等於4的實數。………………………………………(13)，………………………(14)
接著，全域雜訊估測單元110可以在步驟S240中依據邊緣強度基準值edgVar_base與雜訊基準值noiseSAD_base，以及依據在第二區塊集合S2當中的當前取樣區塊在亮度分量Y上的區塊絕對差值和blkSAD_Y以及區塊邊緣強度值blkEdgVar_Y，來計算所述目標區間的第一係數值coef_a以及第二係數值coef_b。舉例來說，全域雜訊估測單元110可使用下列公式(15)、(16)、(17)、(18)來分別計算線性模型(linear model)的第一係數值coef_a以及第二係數值coef_b。在公式(15)中，blkEdgVari 表示在第二區塊集合S2中的第i個當前取樣區塊的區塊邊緣強度值blkEdgVar_Y。在公式(16)中，blkSADi 表示在第二區塊集合S2中的第i個當前取樣區塊的區塊絕對差值和blkSAD_Y。在本實施例中，線性模型需經過基準點座標(edgVar_base，noiseSAD_base)，以避免平坦區的雜訊值被高估。因此，全域雜訊估測單元110依據邊緣強度基準值edgeVar_base以及第二區塊集合S2當中的當前取樣區塊在亮度分量Y上的邊緣強度值blkEdgVari 來計算變數值data_x(i)，以及依據雜訊基準值noiseSAD_base以及第二區塊集合S2當中的當前取樣區塊在亮度分量Y上的區塊絕對差值和blkSADi 來計算變數值data_y(i)。全域雜訊估測單元110再依據變數值data_x(i)、data_y(i) 來計算第一係數值coef_a，並且依據邊緣強度基準值edgeVar_base、雜訊基準值noiseSAD_base以及第一係數值coef_a來計算第二係數值coef_b。據此，全域雜訊估測單元110可取得通過基準點座標(edgVar_base，noiseSAD_base)的線性模型noiseSAD=coef_a*blkEdgVar+coef_b。……………………………………(15)………………………………………(16)………………………………………(17)……………………………(18)
於步驟S240中，全域雜訊估測單元110還可以在所述目標區間內的當前取樣區塊中選擇一個或多個當前取樣區塊，作為所述目標區間的第三區塊集合S3。其中，在第三區塊集合S3內的當前取樣區塊在亮度分量Y上的區塊絕對差值和blkSAD_Y小於或等於雜訊標準差門檻noiseSAD_STD_Th。雜訊標準差門檻noiseSAD_STD_Th可以依照設計需求或應用需求來決定。
圖8繪示本發明一實施例計算亮度分量的雜訊模型的雜訊標準差的示意圖。圖8所示橫軸表示當前取樣區塊的區塊邊緣強度值blkEdgVar_Y，而縱軸表示當前取樣區塊的區塊絕對差值和blkSAD_Y。圖8所示一個記號「+」表示一個當前取樣區塊在區塊邊緣強度值blkEdgVar_Y與區塊絕對差值和blkSAD_Y所構成的座標平面中的位置。在本實施例中，全域雜訊估測單元110可以使用下列公式(19)、(20)、(21)、(22)來過濾所述目標區間中的當前取樣區塊，而獲得第三區塊集合S3。公式(19)所示blkSADi 表示在所述目標區間中的第i個當前取樣區塊的區塊絕對差值和blkSAD_Y。在本實施例中，第三區塊集合S3包含用來計算雜訊標準差noiseSAD_STD的當前取樣區塊，其篩選條件為各當前取樣區塊在亮度分量Y上的區塊絕對差值和blkSADi 小於或等於雜訊標準差門檻noiseSAD_STD_Th，其中篩選目的在於排除變異範圍過大的區塊。全域雜訊估測單元110可以使用下列公式(20)來決定雜訊標準差門檻noiseSAD_STD_Th。公式(20)所示noiseSAD_Meani 表示在所述目標區間中的第i個當前取樣區塊的雜訊平均值noiseSAD_Mean。於公式(20)所示實施例中，雜訊標準差門檻noiseSAD_STD_Th依據所述目標區間內的各當前取樣區塊的雜訊平均值noiseSAD_Meani 以及一粗估雜訊變異範圍noiseSAD_STD_rough來決定。………………………………………(19)………………(20)……………………………(21)，………………………(22)
全域雜訊估測單元110可以在步驟S240中依據所述目標區間的第一係數值coef_a與第二係數值coef_b，以及依據在第三區塊集合S3當中的當前取樣區塊的邊緣強度值blkEdgVari ，來計算所述目標區間的雜訊平均值noiseSAD_Meani 。據此，全域雜訊估測單元110可取得關於亮度分量Y的雜訊模型當中的雜訊平均值noiseSAD_Meani 。全域雜訊估測單元110還可以在步驟S240中依據所述目標區間的雜訊基準值noiseSAD_base以及參數值k3來決定一個粗估雜訊變異範圍noiseSAD_STD_rough。參數值k3可以依照設計需求或應用需求來決定。舉例來說，參數值k3可以是大於等於2且小於等於8的實數。
接著，全域雜訊估測單元110可以在步驟S240中依據在第三區塊集合S3當中的當前取樣區塊在亮度分量Y上的區塊絕對差值和blkSAD_Y以及雜訊平均值noiseSAD_Meani ，來計算所述目標區間的雜訊標準差noiseSAD_STD。舉例來說，全域雜訊估測單元110可使用下列公式(23)計算雜訊標準差noiseSAD_STD。在公式(23)中，blkSADi 表示在第三區塊集合S3中的第i個當前取樣區塊的區塊絕對差值和blkSAD_Y，而noiseSAD_Meani 表示在第三區塊集合S3中的第i個當前取樣區塊的雜訊平均值noiseSAD_Mean，而M3表示第三區塊集合S3中的當前取樣區塊的數量。在本實施例中，全域雜訊估測單元110總和了第三區塊集合S3當中的各當前取樣區塊的區塊絕對差值和blkSADi 與雜訊平均值noiseSAD_Meani 相減的絕對值，並除以第三區塊集合S3的區塊數量M3，來取得雜訊標準差noiseSAD_STD。據此，全域雜訊估測單元110可取得關於亮度分量Y的雜訊模型當中的雜訊標準差noiseSAD_STD。…………………………(23)
於步驟S240中，全域雜訊估測單元110可以分別計算每一個區間在色度分量U和V上的雜訊平均值noiseSAD_Mean以及雜訊標準差noiseSAD_STD，作為雜訊模型。以下說明色度分量U的雜訊模型的詳細步驟。色度分量V的雜訊模型可以參照色度分量U的相關說明而類推。
舉例來說，圖9繪示本發明一實施例計算色度分量U的雜訊模型的示意圖。由於色度分量上的雜訊強度隨像素邊緣強度增強而變大的特性不明顯，色度分量上的雜訊模型不考慮雜訊強度和邊緣強度之間的關係。圖9所示橫軸表示當前取樣區塊的亮度平均值blkMean_Y，而縱軸表示當前取樣區塊在色度分量U上的區塊絕對差值和blkSAD_U。圖9所示一個記號「+」表示一個當前取樣區塊在亮度平均值blkMean_Y與區塊絕對差值和blkSAD_U所構成的座標平面中的位置。全域雜訊估測單元110可以在步驟S240選擇圖9所示區間seg0～seg7的其中一個作為目標區間（其餘區間的操作可以參照所述目標區間的相關說明而類推）。在步驟S240中，全域雜訊估測單元110可以在所述目標區間內的所有當前取樣區塊中選擇一個或多個當前取樣區塊，作為所述目標區間的第四區塊集合S4。其中，在第四區塊集合S4中的當前取樣區塊在色度分量U上的區塊絕對差值和blkSAD_U小於或等於雜訊平均值門檻noiseSAD_mean_Th。雜訊平均值門檻noiseSAD_mean_Th可以依照設計需求或應用需求來決定。
在本實施例中，全域雜訊估測單元110可以使用下列公式(24)、(25)來過濾所述目標區間中的當前取樣區塊，而獲得第四區塊集合S4。公式(24)所示blkSADi 表示在所述目標區間中的第i個當前取樣區塊的區塊絕對差值和blkSAD_U。在本實施例中，第四區塊集合S4包含用來計算雜訊平均值的當前取樣區塊，其篩選條件為當前取樣區塊在色度分量U上的區塊絕對差值和blkSADi 小於或等於雜訊平均值門檻noiseSAD_mean_Th，其中篩選目的在於排除運動的當前取樣區塊。公式(25)所示blkSAD_Min表示在所述目標區間中，所有當前取樣區塊的區塊絕對差值和blkSAD_U當中的最小者。於公式(25)所示實施例中，雜訊平均值門檻noiseSAD_mean_Th為區塊絕對差值和最小值blkSAD_Min乘上參數值k4的結果。參數值k4可以依照設計需求或應用需求來決定。舉例來說，參數值k4可以是大於0且小於等於8的實數。………………………………………(24)，…………………………(25)
接著，全域雜訊估測單元110可以在步驟S240中依據在第四區塊集合S4當中的當前取樣區塊在色度分量U的區塊絕對差值和blkSAD_U來計算所述目標區間的雜訊平均值noiseSAD_Mean。舉例來說，全域雜訊估測單元110可依據下列公式(26)計算雜訊平均值。在公式(26)中，blkSADi 表示在第四區塊集合S4中的第i個當前取樣區塊的區塊絕對差值和blkSAD_U，而M4表示第四區塊集合S4中的當前取樣區塊的數量。在本實施例中，全域雜訊估測單元110總和了第四區塊集合S4當中的各當前取樣區塊的區塊絕對差值和blkSADi ，並除以第四區塊集合S4的區塊數量M4，來取得雜訊平均值noiseSAD_Mean。據此，全域雜訊估測單元110可取得關於色度分量U的雜訊模型當中的雜訊平均值noiseSAD_Mean。…………………………………………(26)
於步驟S240中，全域雜訊估測單元110還可以選擇在所述目標區間中的一個或多個當前取樣區塊，作為所述目標區間的第五區塊集合S5。其中，在第五區塊集合S5中的當前取樣區塊在色度分量U上的區塊絕對差值和blkSAD_U小於或等於雜訊標準差門檻noiseSAD_STD_Th。請再參考圖9，在本實施例中，全域雜訊估測單元110可以使用下列公式(27)、(28)、(29)來過濾所述目標區間中的當前取樣區塊，而獲得第五區塊集合S5。公式(27)所示blkSADi 表示在所述目標區間中的第i個當前取樣區塊的區塊絕對差值和blkSAD_U。在本實施例中，第五區塊集合S5包含用來計算雜訊標準差noiseSAD_STD的當前取樣區塊，其篩選條件為各當前取樣區塊在色度分量U上的區塊絕對差值和blkSADi 小於或等於雜訊標準差門檻noiseSAD_STD_Th，其中篩選目的在於排除變異範圍過大的區塊。全域雜訊估測單元110可以使用下列公式(28)、(29)來決定雜訊標準差門檻noiseSAD_STD_Th。公式(28)所示noiseSAD_Mean表示所述目標區間的雜訊平均值，noiseSAD_STD_rough表示所述目標區間的一粗估雜訊變異範圍。於公式(28)、(29)所示實施例中，雜訊標準差門檻noiseSAD_STD_Th依據所述目標區間的雜訊平均值noiseSAD_Mean以及粗估雜訊變異範圍noiseSAD_STD_rough來決定，其中粗估雜訊變異範圍noiseSAD_STD_rough是依據所述目標區間的雜訊平均值noiseSAD_Mean以及參數值k5來決定。參數值k5可以依照設計需求或應用需求來決定。舉例來說，參數值k5可以是大於等於2且小於等於8的實數。………………………………………(27)………………(28)，………………………(29)
接著，全域雜訊估測單元110可以在步驟S240中依據在第五區塊集合S5當中的當前取樣區塊的區塊絕對差值和blkSAD_U以及雜訊平均值noiseSAD_Mean，去計算所述目標區間的雜訊標準差noiseSAD_STD。舉例來說，全域雜訊估測單元110可使用下列公式(30)計算雜訊標準差noiseSAD_STD。在公式(30)中，blkSADi 表示在第五區塊集合S5中的第i個當前取樣區塊的區塊絕對差值和blkSAD_U，而noiseSAD_Mean表示所述目標區間的雜訊平均值，而M5表示第五區塊集合S5中的當前取樣區塊的數量。在本實施例中，全域雜訊估測單元110總和了第五區塊集合S5當中的各當前取樣區塊的區塊絕對差值和blkSADi 與雜訊平均值noiseSAD_Mean相減的絕對值，並除以第五區塊集合S5的區塊數量M5，來取得雜訊標準差noiseSAD_STD。據此，全域雜訊估測單元110可取得關於色度分量U的雜訊模型當中的雜訊標準差noiseSAD_STD。…………………………(30)
此外，關於色度分量V的雜訊模型的雜訊平均值noiseSAD_Mean以及雜訊標準差noiseSAD_STD可如同上述色度分量U的雜訊模型的計算方式類推之，在此不再加以贅述。
請參照圖2，在步驟S250中，局部雜訊計算單元120依據雜訊模型計算當前影像幀的局部影像區塊的雜訊強度資訊。具體來說，局部雜訊計算單元120可以依據上述步驟S240當中全域雜訊估測單元110分別在亮度分量Y、色度分量U和V上建立的雜訊模型來計算當前影像幀的局部影像區塊的雜訊強度資訊。
圖10是依據本發明一實施例說明圖2所示步驟S250的細部流程示意圖，請同時參考圖1、圖10。在步驟S1010中，局部雜訊計算單元120用以接收當前影像幀I(t)，並且計算當前影像幀I(t)的局部影像區塊的亮度平均值blkMean_Y以及邊緣強度值blkEdgVar_Y。在步驟S1020中，局部雜訊計算單元120依據局部影像區塊的亮度平均值blkMean_Y以及邊緣強度值blkEdgVar_Y，藉由使用全域雜訊估測單元110所提供的雜訊模型去計算局部影像區塊在各色彩空間分量上的雜訊平均值、雜訊標準差以及雜訊基準值。
舉例來說，如圖11所示，圖11繪示本發明一實施例計算局部影像區塊在亮度分量上的雜訊平均值的示意圖。圖11所示橫軸表示區塊的亮度平均值，而縱軸表示雜訊平均值noiseSAD_Mean，「X」表示一局部區塊的亮度平均值。在本實施例中，局部雜訊計算單元120依據當前影像幀I(t)的局部影像區塊的亮度平均值blkMean_Y決定此局部影像區塊的相鄰左側區間（例如區間Seg2）以及相鄰右側區間（例如區間Seg3），並且使用以下公式(31)、(32)去計算左右兩側區間的雜訊平均值noiseSAD_Mean_L與noiseSAD_Mean_R。於公式(31)、(32)中，coef_a_L表示相鄰左側區間Seg2的第一係數值coef_a，coef_b_L表示相鄰左側區間Seg2的第二係數值coef_b，coef_a_R表示相鄰右側區間Seg3的第一係數值coef_a，coef_b_R表示相鄰右側區間Seg3的第二係數值coef_b。左右兩側區間的雜訊平均值依據此局部影像區塊的邊緣強度值blkEdgVar_Y以及左右兩側區間的第一係數值coef_a_L、coef_a_R以及第二係數值coef_b_L、coef_b_R來決定。…………………(31)………………...(32)
接著，局部雜訊計算單元120使用以下公式(33)以線性內插的方式得到此局部影像區塊的雜訊平均值noiseSAD_Mean_Interp。於公式(33)中，blkMean_Y表示當前影像幀I(t)的局部影像區塊的亮度平均值，inten_L表示相鄰左側區間Seg2的亮度中間值，inten_R表示相鄰右側區間Seg3的亮度中間值。 …………(33)
在本實施例中，當前影像幀I(t)的局部影像區塊在各色彩空間分量上的雜訊平均值、雜訊標準差以及雜訊基準值可參照上述計算局部影像區塊在亮度分量Y上的雜訊平均值noiseSAD_Mean_Interp的方式類推之，因此不再贅述。
圖12是依據本發明另一實施例繪示的一種影像雜訊估測裝置的電路方塊示意圖。請參考圖12，影像擷取裝置1200包括影像雜訊估測裝置100、運動偵測單元1230、時空雜訊濾波單元1240、切換單元1250以及影像暫存單元1260。影像擷取裝置1200例如是數位攝影機、數位攝錄機、智慧型手機、數位個人助理（PDA）、平板電腦、筆記型電腦、智慧型眼鏡、智慧型手錶或其他固定式或可攜式裝置。影像雜訊估測裝置100包括全域雜訊估測單元110以及局部雜訊計算單元120。在本實施例中，全域雜訊估測單元110接收當前影像幀I(t)以及先前影像幀I(t-1)。全域雜訊估測單元110用以分析當前影像幀I(t)以及先前影像幀I(t-1)以建立雜訊模型。局部雜訊計算單元120連接全域雜訊估測單元110。依據全域雜訊估測單元110建立的雜訊模型，局部雜訊計算單元120可以針對當前影像幀I(t)當中的局部影像區塊進行特徵擷取，並透過雜訊模型取得局部影像區塊的雜訊強度資訊。局部雜訊計算單元120可以將局部影像區塊的雜訊強度資訊提供給運動偵測單元1230與時空雜訊濾波單元1240。在本實施例的影像雜訊估測裝置100、全域雜訊估測單元110以及局部雜訊計算單元120可以參照圖1至圖11的相關說明，因此不再贅述。
運動偵測單元1230、時空雜訊濾波單元1240、切換單元1250與影像暫存單元1260可以藉由軟體或韌體的方式來實現，或藉由硬體（電路）的方式實現，或藉由軟體與硬體相互組合的方式實現。在藉由硬體實現影像雜訊估測裝置100的應用例中，運動偵測單元1230可以是運動偵測電路，時空雜訊濾波單元1240可以是時空雜訊濾波電路，切換單元1250可以是切換電路，而影像暫存單元1260可以是影像暫存電路。本實施例並不限制運動偵測單元1230、時空雜訊濾波單元1240、切換單元1250與影像暫存單元1260的實施方式與演算細節。在一些實施例中，運動偵測單元1230、時空雜訊濾波單元1240、切換單元1250與影像暫存單元1260可以是習知的演算法、元件與/或電路。
在本實施例中，運動偵測單元1230連接局部雜訊計算單元120。運動偵測單元1230用以進行局部影像區塊的運動偵測。運動偵測單元1230可以依據所述局部影像區塊在色彩空間分量上（路如亮度分量Y）的雜訊平均值以及雜訊標準差來決定運動偵測閥值。依據所述運動偵測閥值，運動偵測單元1230可以判斷所述局部影像區塊為靜止狀態或運動狀態。依據當前影像幀I(t)以及先前影像幀I(t-1)，時空雜訊濾波單元1240可以計算並提供時間域雜訊濾波結果Itemporal (t)或空間域雜訊濾波結果Ispatial (t)。切換單元1250連接時空雜訊濾波單元1240。切換單元1250用以依據運動偵測單元1230的運動偵測的結果來決定選擇時間域雜訊濾波結果Itemporal (t)或空間域雜訊濾波結果Ispatial (t)。當所述局部影像區塊為靜止狀態時，切換單元1250可以選擇輸出時間域雜訊濾波結果Itemporal (t)給影像暫存單元1260。當所述局部影像區塊為運動狀態時，切換單元1250可以選擇輸出空間域雜訊濾波結果Ispatial (t) 給影像暫存單元1260。影像暫存單元1260連接切換單元1250，用以暫存切換單元1250所輸出的時間域雜訊濾波結果Itemporal (t)或空間域雜訊濾波結果Ispatial (t)。以下針對亮度分量Y、色度分量U和V的運動偵測分別說明。
關於亮度分量Y的運動偵測。運動偵測單元1230可以依據以下公式(34)、(35)判斷局部影像區塊的狀態為靜止(Static)或運動(Motion)。舉例來說，運動偵測單元1230依據局部雜訊計算單元1220所計算此局部影像區塊在亮度分量上的雜訊平均值noiseSAD_Mean_Y以及雜訊標準差noiseSAD_STD_Y來決定運動偵測閥值motionTh_Y。運動偵測單元1230依據此局部影像區塊的區塊絕對差值和blkSAD_Y是否小於等於運動偵測閥值motionTh_Y判斷局部影像區塊為靜止狀態，若否則判斷局部影像區塊為運動狀態。，…………(34)……………………(35)
其中，時空雜訊濾波單元1240用以分別輸出局部影像區塊的時間域雜訊濾波結果以及空間域雜訊濾波結果。具體來說，時空雜訊濾波單元1240依據全域雜訊估測單元1210以及局部雜訊計算單元1220所計算的雜訊平均值noiseSAD_Mean_Y決定時間域雜訊濾波結果的濾波強度。並且，時空雜訊濾波單元1240依據全域雜訊估測單元1210以及局部雜訊計算單元1220所計算的雜訊基準值noiseSAD_base_Y決定空間域雜訊濾波結果的濾波強度。
在本實施例中，切換單元1250可依據以下公式(36)決定其當局部影像區塊的雜訊濾波結果，其中當局部影像區塊為靜止狀態時，切換單元1250輸出局部影像區塊的時間域雜訊濾波結果至影像暫存單元1260，而當局部影像區塊為運動狀態時，切換單元1250輸出局部影像區塊的空間域雜訊濾波結果至影像暫存單元1260。……………(36)
關於色度分量U的運動偵測。運動偵測單元1230可以依據以下公式(37)、(38)判斷局部影像區塊的狀態為靜止(Static)或運動(Motion)。舉例來說，運動偵測單元1230依據局部雜訊計算單元1220所計算此局部影像區塊在色度分量U上的雜訊平均值noiseSAD_Mean_U以及雜訊標準差noiseSAD_STD_U來決定運動偵測閥值motionTh_U。運動偵測單元1230依據此局部影像區塊的區塊絕對差值和blkSAD_U是否小於等於運動偵測閥值motionTh_U判斷局部影像區塊為靜止狀態，若否則判斷局部影像區塊為運動狀態。，…………(37)…………………(38)
其中，時空雜訊濾波單元1240用以分別輸出局部影像區塊的時間域雜訊濾波結果以及空間域雜訊濾波結果。具體來說，時空雜訊濾波單元1240依據全域雜訊估測單元1210以及局部雜訊計算單元1220所計算的雜訊平均值noiseSAD_Mean_U決定時間域雜訊濾波結果的濾波強度以及空間域雜訊濾波結果的濾波強度。
在本實施例中，切換單元1250可依據以下公式(39)決定其當局部影像區塊的雜訊濾波結果，其中當局部影像區塊為靜止狀態時，切換單元1250輸出局部影像區塊的時間域雜訊濾波結果Itemporal (t)至影像暫存單元1260，而當局部影像區塊為運動狀態時，切換單元1250輸出局部影像區塊的空間域雜訊濾波結果Ispatial (t)至影像暫存單元1260。…………(39)
此外，關於色度分量V的運動偵測以及決定局部影像區塊的雜訊濾波結果可如同上述色度分量U的運動偵測以及決定局部影像區塊的雜訊濾波結果的方式獲得，在此不再加以贅述。
圖13是依據本發明又一實施例繪示的一種影像擷取裝置1300的電路方塊示意圖，請參考圖13。影像擷取裝置1300包括影像擷取器1310、記憶體1320、處理器1330以及非臨時性媒體（non-transitory medium）1340。影像擷取器1310用以擷取當前影像幀。依照設計需求，影像擷取器1310可以是攝影機或攝錄機。在一些實施例中，影像擷取器1310可以包括光學定焦鏡頭或光學變焦鏡頭，以及諸如電荷耦合裝置（charge coupled device, CCD）或互補式金屬氧化物半導體（complementary metal-oxide semiconductor, CMOS）等影像感測元件，但本揭露並不限於此。
記憶體1320用以儲存當前影像幀以及先前影像幀，以提供至處理器1330。記憶體1320例如是任何類型的固定或可移動的隨機存取記憶體（random access memory, RAM）、唯讀記憶體（read-only memory, ROM）、快閃記憶體或類似的裝置或是上述各裝置的組合。非臨時性媒體1340用以儲存程式。非臨時性媒體1340例如是任何類型的固定或可移動的硬碟或非依電性記憶體（Non-volatile memory），例如唯讀記憶體（read-only memory, ROM）、快閃記憶體或類似的裝置，或是上述各裝置的組合。
處理器1330例如是中央處理單元（central processing unit, CPU）、可編程的通用或專用微處理器、數位訊號處理器（digital signal processor, DSP）、可編程控制器、特殊應用積體電路（application specific integrated circuit, ASIC）、可編程邏輯裝置（programmable logic device, PLD）或任何其他類似的裝置或其組合等。處理器1330連接非臨時性媒體1340、影像擷取器1310以及記憶體1320。處理器1330可以存取記憶體1320，以便將影像擷取器1310所擷取的當前影像幀存放在記憶體1320，或是從記憶體1320讀取先前影像幀。處理器1330還可以執行非臨時性媒體1340的程式。所述程式至少包括全域雜訊估測單元1321與局部雜訊計算單元1322。
全域雜訊估測單元1321用以決定當前影像幀當中的多個當前取樣區塊以及先前影像幀的多個先前取樣區塊。全域雜訊估測單元1321用以計算每一個當前取樣區塊的區塊特徵。全域雜訊估測單元1321用以計算每一個當前取樣區塊以及對應的一個先前取樣區塊之間在色彩空間分量上的區塊絕對差值和。全域雜訊估測單元1321用以依據這些區塊特徵將這些當前取樣區塊分群為多個區間。全域雜訊估測單元1321用以依據這些區塊特徵以及這些區塊絕對差值和，而為每一個區間建立雜訊模型。局部雜訊計算單元1322用以依據這些雜訊模型計算當前影像幀的局部影像區塊的雜訊強度資訊。圖13所述全域雜訊估測單元1321的操作細節可以參照圖1與12所述全域雜訊估測單元110的相關說明而類推，圖13所述局部雜訊計算單元1322的操作細節可以參照圖1與12所述局部雜訊計算單元120的相關說明而類推，因此不再贅述。
綜上所述，本發明上述諸實施例所述影像雜訊估測裝置與影像擷取裝置是以時間域的雜訊估測方式針對兩張影像幀進行雜訊估測。上述諸實施例考量了區塊特徵(包含亮度和邊緣強度)和雜訊強度之間的關係以及排除了運動狀態以及變異範圍過大的取樣區塊等條件，來建立雜訊模型。因此，上述諸實施例可以提升影像雜訊估測的正確性。此外，此雜訊模型可用於針對影像幀當中的局部影像區塊進行計算，以取得局部影像區塊的相關雜訊強度資訊。在一些應用範例中，這些局部影像區塊的相關雜訊強度資訊可進一步被應用於運動偵測以及時空雜訊濾波。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧影像雜訊估測裝置
110、1321‧‧‧全域雜訊估測單元
120、1322‧‧‧局部雜訊計算單元
1200、1300‧‧‧影像擷取裝置
1230‧‧‧運動偵測單元
1240‧‧‧時空雜訊濾波單元
1250‧‧‧切換單元
1260‧‧‧影像暫存單元
1310‧‧‧影像擷取器
1320‧‧‧記憶體
1330‧‧‧處理器
1340‧‧‧非臨時性媒體
blkEdgVar_Y‧‧‧區塊邊緣強度值
blkMean_Y‧‧‧區塊亮度平均值
blkSAD_Y‧‧‧區塊亮度分量Y上的絕對差值和
blkSAD_U‧‧‧區塊色度分量U上的絕對差值和
blkSAD_V‧‧‧區塊色度分量V上的絕對差值和
C‧‧‧目前像素
curBlk‧‧‧當前取樣區塊
edgVar_base‧‧‧邊緣強度基準值
I(t)‧‧‧當前影像幀
I(t-1)‧‧‧先前影像幀
Ispatial(t)‧‧‧空間域雜訊濾波結果
Itemporal(t)‧‧‧時間域雜訊濾波結果
inten_L‧‧‧相鄰左側區間的亮度中間值
inten_R‧‧‧相鄰右側區間的亮度中間值
noise_Mean‧‧‧雜訊平均值
noiseSAD_base_Th‧‧‧雜訊基準值門檻
noiseSAD=coef_a*blkEdgVar+coef_b‧‧‧雜訊線性模型
noiseSAD_mean_Th‧‧‧雜訊平均值門檻
noiseSAD_STD‧‧‧雜訊標準差
noiseSAD_STD_Th‧‧‧雜訊標準差門檻
P0、P1、P2、P3、P4、P5、P6、P7‧‧‧鄰接像素
preBlk‧‧‧先前取樣區塊
S210、S220、S230、S240、S250、S1010、S1020‧‧‧步驟
圖1是依據本發明一實施例所繪示的一種影像雜訊估測裝置的電路方塊示意圖。 圖2是依據本發明一實施例所繪示的一種影像雜訊估測方法的流程示意圖。 圖3繪示本發明一實施例的取樣區塊的取樣示意圖。 圖4是依據本發明一實施例繪示在一個取樣區塊中，一個目前像素及其多個鄰接像素的示意圖。 圖5繪示本發明一實施例將取樣區塊分群為多個區間的示意圖。 圖6至圖8繪示在區塊絕對差值和與區塊邊緣強度值所構成的座標空間中，計算亮度分量Y在某一個亮度區間的雜訊模型的一個實施範例示意圖。 圖9繪示本發明一實施例計算色度分量U的雜訊模型的示意圖。 圖10是依據本發明一實施例說明圖2所示步驟S250的細部流程示意圖。 圖11繪示本發明一實施例計算局部影像區塊在亮度分量上的雜訊平均值的示意圖。 圖12是依據本發明另一實施例繪示的一種影像雜訊估測裝置的電路方塊示意圖。 圖13是依據本發明又一實施例繪示的一種影像擷取裝置的電路方塊示意圖。
100‧‧‧影像雜訊估測裝置
110‧‧‧全域雜訊估測單元
120‧‧‧局部雜訊計算單元
I(t)‧‧‧當前影像幀
I(t-1)‧‧‧先前影像幀

Claims (45)

  1. 一種影像雜訊估測方法，包括： 決定一當前影像幀中的多個當前取樣區塊以及一先前影像幀中的多個先前取樣區塊； 計算所述多個當前取樣區塊的每一個的一區塊特徵，以及計算所述多個當前取樣區塊的每一個以及所述多個先前取樣區塊的對應的一個之間在至少一色彩空間分量上的一區塊絕對差值和； 依據所述多個區塊特徵將所述多個當前取樣區塊分群為多個區間； 依據所述多個區塊特徵以及所述多個區塊絕對差值和，而為所述多個區間的每一個來建立一雜訊模型；以及 依據所述雜訊模型計算所述當前影像幀的一局部影像區塊的一雜訊強度資訊。
  2. 如申請專利範圍第1項所述的影像雜訊估測方法，其中決定所述當前影像幀中的所述多個當前取樣區塊以及所述先前影像幀中的所述多個先前取樣區塊的步驟包括： 依據一取樣數量計算一取樣步進值以決定所述多個當前取樣區塊以及所述多個先前取樣區塊的取樣位置。
  3. 如申請專利範圍第1項所述的影像雜訊估測方法，其中計算所述多個當前取樣區塊的每一個的所述區塊特徵的步驟包括： 分別計算所述多個當前取樣區塊的每一個的多個像素的一亮度平均值作為所述區塊特徵。
  4. 如申請專利範圍第3項所述的影像雜訊估測方法，其中計算所述多個當前取樣區塊的每一個的所述區塊特徵的步驟更包括： 計算所述多個當前取樣區塊的每一個當中的所述多個像素的每一個的一像素邊緣強度值；以及 依據所述多個像素的所述像素邊緣強度值，分別計算所述多個當前取樣區塊的每一個的一區塊邊緣強度值。
  5. 如申請專利範圍第4項所述的影像雜訊估測方法，其中計算所述多個當前取樣區塊的每一個當中的所述多個像素的每一個的所述像素邊緣強度值的步驟包括： 對於所述多個像素的一個目前像素而言，計算所述目前像素與多個鄰接像素的一加權平均值； 計算所述目前像素與所述加權平均值的一第一絕對差值； 分別計算所述多個鄰接像素與所述加權平均值的多個第二絕對差值；以及 計算所述第一絕對差值與所述多個第二絕對差值的總和，作為所述目前像素的所述像素邊緣強度值。
  6. 如申請專利範圍第4項所述的影像雜訊估測方法，其中計算所述多個當前取樣區塊的每一個的所述區塊邊緣強度值的步驟包括： 於所述多個當前取樣區塊的一個取樣區塊中，計算所述多個像素的所述像素邊緣強度值的總和，作為所述取樣區塊的所述區塊邊緣強度值。
  7. 如申請專利範圍第4項所述的影像雜訊估測方法，其中依據所述多個區塊特徵將所述多個當前取樣區塊分群為所述多個區間的步驟包括： 依據所述多個當前取樣區塊的每一個的所述亮度平均值以及所述區塊邊緣強度值來過濾所述多個當前取樣區塊，而獲得多個經過濾當前取樣區塊，其中所述多個經過濾當前取樣區塊的所述亮度平均值介於一預設的最小平均亮度門檻以及一預設的最大平均亮度門檻之間，並且所述多個經過濾當前取樣區塊的所述區塊邊緣強度值小於一預設的邊緣強度值門檻；以及 依據所述多個經過濾當前取樣區塊的所述亮度平均值，將所述多個經過濾當前取樣區塊分群為所述多個區間。
  8. 如申請專利範圍第4項所述的影像雜訊估測方法，其中所述色彩空間分量為一亮度分量，並且建立所述雜訊模型的步驟包括： 分別計算所述多個區間的每一個在所述亮度分量上的一雜訊平均值以及一雜訊標準差，作為所述雜訊模型。
  9. 如申請專利範圍第8項所述的影像雜訊估測方法，其中計算所述一雜訊平均值以及所述一雜訊標準差的步驟包括： 選擇所述多個區間的其中一個作為一目標區間； 選擇在所述目標區間中的所述多個當前取樣區塊的至少其中一個作為所述目標區間的一第一區塊集合，其中在所述第一區塊集合中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和小於或等於一雜訊基準值門檻； 依據所述第一區塊集合當中的所述多個當前取樣區塊的所述多個區塊邊緣強度值來計算所述目標區間的一邊緣強度基準值；以及 依據所述第一區塊集合當中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和來計算所述目標區間的一雜訊基準值。
  10. 如申請專利範圍第9項所述的影像雜訊估測方法，其中計算所述一雜訊平均值以及所述一雜訊標準差的步驟更包括： 選擇在所述目標區間中的所述多個當前取樣區塊的至少其中一個作為所述目標區間的一第二區塊集合，其中在所述第二區塊集合中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和小於或等於一雜訊平均值門檻；以及 依據所述邊緣強度基準值與所述雜訊基準值，以及依據在所述第二區塊集合當中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和以及所述多個區塊邊緣強度值，來計算所述目標區間的一第一係數值以及一第二係數值。
  11. 如申請專利範圍第10項所述的影像雜訊估測方法，其中計算所述一雜訊平均值以及所述一雜訊標準差的步驟更包括： 選擇在所述目標區間中的所述多個當前取樣區塊的至少其中一個作為所述目標區間的一第三區塊集合，其中在所述第三區塊集合中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和小於或等於一雜訊標準差門檻； 依據所述第一係數值與所述第二係數值，以及依據在所述第三區塊集合當中的所述多個當前取樣區塊的所述邊緣強度值，來計算所述目標區間的所述一雜訊平均值；以及 依據在所述第三區塊集合當中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和以及所述一雜訊平均值計算所述目標區間的所述雜訊標準差。
  12. 如申請專利範圍第4項所述的影像雜訊估測方法，其中所述色彩空間分量為一色度分量，並且建立所述雜訊模型的步驟包括： 分別計算所述多個區間的每一個在所述色度分量上的一雜訊平均值以及一雜訊標準差，作為所述雜訊模型。
  13. 如申請專利範圍第12項所述的影像雜訊估測方法，其中計算所述雜訊平均值以及所述雜訊標準差的步驟包括： 選擇所述多個區間的其中一個作為一目標區間； 選擇在所述目標區間中的所述多個當前取樣區塊的至少其中一個作為所述目標區間的一第四區塊集合，其中在所述第四區塊集合中的所述多個當前取樣區塊的所述多個區塊絕對差值和小於或等於一雜訊平均值門檻；以及 依據在所述第四區塊集合當中的所述多個當前取樣區塊在所述色度分量的所述多個區塊絕對差值和來計算所述目標區間的所述雜訊平均值。
  14. 如申請專利範圍第13項所述的影像雜訊估測方法，其中計算所述雜訊平均值以及該雜訊標準差的步驟包括： 選擇在所述目標區間中的所述多個當前取樣區塊的至少其中一個作為所述目標區間的一第五區塊集合，其中在所述第五區塊集合中的所述多個當前取樣區塊在所述色度分量的所述多個區塊絕對差值和小於或等於一雜訊標準差門檻；以及 依據在所述第五區塊集合當中的所述多個當前取樣區塊的所述多個區塊絕對差值和以及所述雜訊平均值計算所述目標區間的所述雜訊標準差。
  15. 如申請專利範圍第1項所述的影像雜訊估測方法，其中依據所述雜訊模型計算所述當前影像幀的所述局部影像區塊的所述雜訊強度資訊的步驟包括： 計算所述當前影像幀的所述局部影像區塊的一亮度平均值以及一邊緣強度值；以及 依據所述局部影像區塊的所述亮度平均值以及所述邊緣強度值，藉由使用所述雜訊模型計算所述局部影像區塊在所述色彩空間分量上的一雜訊平均值、一雜訊標準差以及一雜訊基準值。
  16. 一種影像雜訊估測裝置，包括： 一全域雜訊估測單元，用以決定一當前影像幀當中的多個當前取樣區塊以及一先前影像幀的多個先前取樣區塊，計算所述多個當前取樣區塊的每一個的一區塊特徵，計算所述多個當前取樣區塊的每一個以及所述多個先前取樣區塊的對應的一個之間在至少一色彩空間分量上的一區塊絕對差值和，依據所述多個區塊特徵將所述多個當前取樣區塊分群為多個區間，以及依據所述多個區塊特徵以及所述多個區塊絕對差值和而為所述多個區間的每一個來建立一雜訊模型；以及 一局部雜訊計算單元，連接所述全域雜訊估測單元，用以依據所述雜訊模型計算所述當前影像幀的一局部影像區塊的一雜訊強度資訊。
  17. 如申請專利範圍第16項所述的影像雜訊估測裝置，其中所述全域雜訊估測單元更用以依據一取樣數量計算一取樣步進值以決定所述多個當前取樣區塊以及所述多個先前區塊的取樣位置。
  18. 如申請專利範圍第16項所述的影像雜訊估測裝置，其中所述全域雜訊估測單元更用以分別計算所述多個當前取樣區塊的每一個的多個像素的一亮度平均值作為所述區塊特徵。
  19. 如申請專利範圍第18項所述的影像雜訊估測裝置，其中所述全域雜訊估測單元更用以計算所述多個當前取樣區塊的每一個當中的所述多個像素的每一個的一像素邊緣強度值，以及依據所述多個像素的所述像素邊緣強度值，分別計算所述多個當前取樣區塊的每一個的一區塊邊緣強度值。
  20. 如申請專利範圍第19項所述的影像雜訊估測裝置，其中對於所述多個像素的一目前像素而言，所述全域雜訊估測單元更用以計算所述目前像素與多個鄰接像素的一加權平均值，計算所述目前像素與所述加權平均值的一第一絕對差值，分別計算所述多個鄰接像素與所述加權平均值的多個第二絕對差值，以及計算所述第一絕對差值與所述多個第二絕對差值的總和來作為所述目前像素的所述像素邊緣強度值。
  21. 如申請專利範圍第19項所述的影像雜訊估測裝置，其中於所述多個當前取樣區塊的一個取樣區塊中，所述全域雜訊估測單元更用以計算所述多個像素的所述像素邊緣強度值的總和，作為所述取樣區塊的所述區塊邊緣強度值。
  22. 如申請專利範圍第19項所述的影像雜訊估測裝置，其中所述全域雜訊估測單元更用以依據所述多個當前取樣區塊的每一個的所述亮度平均值以及所述區塊邊緣強度值來過濾所述多個當前取樣區塊，而獲得多個經過濾當前取樣區塊，其中所述多個經過濾當前取樣區塊的所述亮度平均值介於一預設的最小平均亮度門檻以及一預設的最大平均亮度門檻之間，並且所述多個經過濾當前取樣區塊的所述區塊邊緣強度值小於一預設的邊緣強度值門檻；以及所述全域雜訊估測單元更用以依據所述多個經過濾當前取樣區塊的所述亮度平均值，將所述多個經過濾當前取樣區塊分群為所述多個區間。
  23. 如申請專利範圍第19項所述的影像雜訊估測裝置，其中所述色彩空間分量為一亮度分量，並且所述全域雜訊估測單元更用以分別計算所述多個區間的每一個在所述亮度分量上的一雜訊平均值以及一雜訊標準差，作為所述雜訊模型。
  24. 如申請專利範圍第23項所述的影像雜訊估測裝置，其中所述全域雜訊估測單元更用以選擇所述多個區間的其中一個作為一目標區間，選擇在所述目標區間中的所述多個當前取樣區塊的至少其中一個作為所述目標區間的一第一區塊集合，其中在所述第一區塊集合中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和小於或等於一雜訊基準值門檻；所述全域雜訊估測單元更用以依據所述第一區塊集合當中的所述多個當前取樣區塊的所述多個區塊邊緣強度值來計算所述目標區間的一邊緣強度基準值，以及依據所述第一區塊集合當中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和來計算所述目標區間的一雜訊基準值。
  25. 如申請專利範圍第24項所述的影像雜訊估測裝置，其中所述全域雜訊估測單元更用以選擇在所述目標區間中的所述多個當前取樣區塊的至少其中一個作為所述目標區間的一第二區塊集合，其中在所述第二區塊集合中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和小於或等於一雜訊平均值門檻；以及所述全域雜訊估測單元更用以依據所述邊緣強度基準值與所述雜訊基準值，以及依據在所述第二區塊集合當中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和以及所述多個區塊邊緣強度值，來計算一第一係數值以及一第二係數值。
  26. 如申請專利範圍第25項所述的影像雜訊估測裝置，其中所述全域雜訊估測單元更用以選擇在所述目標區間中的所述多個當前取樣區塊的至少其中一個作為所述目標區間的一第三區塊集合，其中在所述第三區塊集合中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和小於或等於一雜訊標準差門檻；所述全域雜訊估測單元更用以依據所述第一係數值與所述第二係數值，以及依據在所述第三區塊集合當中的所述多個當前取樣區塊的所述邊緣強度值，來計算所述目標區間的所述一雜訊平均值；以及所述全域雜訊估測單元更用以依據在所述第三區塊集合當中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和以及所述一雜訊平均值計算所述目標區間的所述雜訊標準差。
  27. 如申請專利範圍第19項所述的影像雜訊估測裝置，其中所述色彩空間分量為一色度分量，並且所述全域雜訊估測單元更用以分別計算所述多個區間的每一個在所述色度分量上的一雜訊平均值以及一雜訊標準差，作為所述雜訊模型。
  28. 如申請專利範圍第27項所述的影像雜訊估測裝置，其中所述全域雜訊估測單元更用以選擇所述多個區間的其中一個作為一目標區間，選擇在所述目標區間中的所述多個當前取樣區塊的至少其中一個作為所述目標區間的一第四區塊集合，其中在所述第四區塊集合中的所述多個當前取樣區塊的所述多個區塊絕對差值和小於或等於一雜訊平均值門檻；以及所述全域雜訊估測單元更用以依據在所述第四區塊集合當中的所述多個當前取樣區塊在所述色度分量的所述多個區塊絕對差值和來計算所述目標區間的所述雜訊平均值。
  29. 如申請專利範圍第28項所述的影像雜訊估測裝置，其中所述全域雜訊估測單元更用以選擇在所述目標區間中的所述多個當前取樣區塊的至少其中一個作為所述目標區間的一第五區塊集合，其中在所述第五區塊集合中的所述多個當前取樣區塊在所述色度分量的所述多個區塊絕對差值和小於或等於一雜訊標準差門檻；以及所述全域雜訊估測單元更用以依據在所述第五區塊集合當中的所述多個當前取樣區塊的所述多個區塊絕對差值和以及所述雜訊平均值計算所述目標區間的所述雜訊標準差。
  30. 如申請專利範圍第16項所述的影像雜訊估測裝置，其中所述局部雜訊計算單元更用以計算所述局部影像區塊的一亮度平均值以及一邊緣強度值；以及所述局部雜訊計算單元更用以依據所述局部影像區塊的所述亮度平均值以及所述邊緣強度值，藉由使用所述雜訊模型計算所述局部影像區塊在所述色彩空間分量上的一雜訊平均值、一雜訊標準差以及一雜訊基準值。
  31. 一種影像擷取裝置，包括： 一影像擷取器，用以擷取一當前影像； 一記憶體，用以儲存所述當前影像幀以及一先前影像幀； 一非臨時性媒體，用以儲存一程式；以及 一處理器，連接所述非臨時性媒體、所述影像擷取器以及所述記憶體，用以存取所述記憶體，以及執行所述非臨時性媒體的所述程式，其中所述程式包括一全域雜訊估測單元與一局部雜訊計算單元，所述全域雜訊估測單元用以決定所述當前影像幀當中的多個當前取樣區塊以及所述先前影像幀的多個先前取樣區塊，所述全域雜訊估測單元用以計算所述多個當前取樣區塊的每一個的一區塊特徵，所述全域雜訊估測單元用以計算所述多個當前取樣區塊的每一個以及所述多個先前取樣區塊的對應的一個之間在至少一色彩空間分量上的一區塊絕對差值和，所述全域雜訊估測單元用以依據所述多個區塊特徵將所述多個當前取樣區塊分群為多個區間，所述全域雜訊估測單元用以依據所述多個區塊特徵以及所述多個區塊絕對差值和而為所述多個區間的每一個來建立一雜訊模型，以及所述局部雜訊計算單元用以依據所述雜訊模型計算所述當前影像幀的一局部影像區塊的一雜訊強度資訊。
  32. 如申請專利範圍第31項所述的影像擷取裝置，其中所述全域雜訊估測單元更用以依據一取樣數量計算一取樣步進值以決定所述多個當前取樣區塊以及所述多個先前區塊的取樣位置。
  33. 如申請專利範圍第31項所述的影像擷取裝置，其中所述全域雜訊估測單元更用以分別計算所述多個當前取樣區塊的每一個的多個像素的一亮度平均值作為所述區塊特徵。
  34. 如申請專利範圍第33項所述的影像擷取裝置，其中所述全域雜訊估測單元更用以計算所述多個當前取樣區塊的每一個當中的所述多個像素的每一個的一像素邊緣強度值，以及依據所述多個像素的所述像素邊緣強度值，分別計算所述多個當前取樣區塊的每一個的一區塊邊緣強度值。
  35. 如申請專利範圍第34項所述的影像擷取裝置，其中對於所述多個像素的一個目前像素而言，所述全域雜訊估測單元更用以計算所述目前像素與多個鄰接像素的一加權平均值，計算所述目前像素與所述加權平均值的一第一絕對差值，分別計算所述多個鄰接像素與所述加權平均值的多個第二絕對差值，以及計算所述第一絕對差值與所述多個第二絕對差值的總和來作為所述目前像素的所述像素邊緣強度值。
  36. 如申請專利範圍第34項所述的影像擷取裝置，其中於所述多個當前取樣區塊的一個取樣區塊中，所述全域雜訊估測單元更用以計算所述多個像素的所述像素邊緣強度值的總和，作為所述取樣區塊的所述區塊邊緣強度值。
  37. 如申請專利範圍第34項所述的影像擷取裝置，其中所述全域雜訊估測單元更用以依據所述多個當前取樣區塊的每一個的所述亮度平均值以及所述區塊邊緣強度值來過濾所述多個當前取樣區塊，而獲得多個經過濾當前取樣區塊，其中所述多個經過濾當前取樣區塊的所述亮度平均值介於一預設的最小平均亮度門檻以及一預設的最大平均亮度門檻之間，並且所述多個經過濾當前取樣區塊的所述區塊邊緣強度值小於一預設的邊緣強度值門檻；以及所述全域雜訊估測單元更用以依據所述多個經過濾當前取樣區塊的所述亮度平均值，將所述多個經過濾當前取樣區塊分群為所述多個區間。
  38. 如申請專利範圍第34項所述的影像擷取裝置，其中所述色彩空間分量為一亮度分量，並且所述全域雜訊估測單元更用以分別計算所述多個區間的每一個在所述亮度分量上的一雜訊平均值以及一雜訊標準差，作為所述雜訊模型。
  39. 如申請專利範圍第38項所述的影像擷取裝置，其中所述全域雜訊估測單元更用以選擇所述多個區間的其中一個作為一目標區間，選擇在所述目標區間中的所述多個當前取樣區塊的至少其中一個作為所述目標區間的一第一區塊集合，其中在所述第一區塊集合中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和小於或等於一雜訊基準值門檻；所述全域雜訊估測單元更用以依據所述第一區塊集合當中的所述多個當前取樣區塊的所述多個區塊邊緣強度值來計算所述目標區間的一邊緣強度基準值，以及依據所述第一區塊集合當中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和來計算所述目標區間的一雜訊基準值。
  40. 如申請專利範圍第39項所述的影像擷取裝置，其中所述全域雜訊估測單元更用以選擇在所述目標區間中的所述多個當前取樣區塊的至少其中一個作為所述目標區間的一第二區塊集合，其中在所述第二區塊集合中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和小於或等於一雜訊平均值門檻；以及所述全域雜訊估測單元更用以依據所述邊緣強度基準值與所述雜訊基準值，以及依據在所述第二區塊集合當中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和以及所述多個區塊邊緣強度值，來計算一第一係數值以及一第二係數值。
  41. 如申請專利範圍第40項所述的影像擷取裝置，其中所述全域雜訊估測單元更用以選擇在所述目標區間中的所述多個當前取樣區塊的至少其中一個作為所述目標區間的一第三區塊集合，其中在所述第三區塊集合中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和小於或等於一雜訊標準差門檻；所述全域雜訊估測單元更用以依據所述第一係數值與所述第二係數值，以及依據在所述第三區塊集合當中的所述多個當前取樣區塊的所述邊緣強度值，來計算所述目標區間的所述一雜訊平均值；以及所述全域雜訊估測單元更用以依據在所述第三區塊集合當中的所述多個當前取樣區塊在所述亮度分量上的所述多個區塊絕對差值和以及所述一雜訊平均值計算所述目標區間的所述雜訊標準差。
  42. 如申請專利範圍第34項所述的影像擷取裝置，其中所述色彩空間分量為一色度分量或一濃度分量，並且所述全域雜訊估測單元更用以分別計算所述多個區間的每一個在所述色度分量或所述濃度分量上的一雜訊平均值以及一雜訊標準差，作為所述雜訊模型。
  43. 如申請專利範圍第42項所述的影像擷取裝置，其中所述全域雜訊估測單元更用以選擇所述多個區間的其中一個作為一目標區間，選擇在所述目標區間中的所述多個當前取樣區塊的至少其中一個作為所述目標區間的一第四區塊集合，其中在所述第四區塊集合中的所述多個當前取樣區塊的所述多個區塊絕對差值和小於或等於一雜訊平均值門檻；以及所述全域雜訊估測單元更用以依據在所述第四區塊集合當中的所述多個當前取樣區塊在所述色度分量或所述濃度分量的所述多個區塊絕對差值和來計算所述目標區間的所述雜訊平均值。
  44. 如申請專利範圍第43項所述的影像擷取裝置，其中所述全域雜訊估測單元更用以選擇在所述目標區間中的所述多個當前取樣區塊的至少其中一個作為所述目標區間的一第五區塊集合，其中在所述第五區塊集合中的所述多個當前取樣區塊在所述色度分量或所述濃度分量的所述多個區塊絕對差值和小於或等於一雜訊標準差門檻；以及所述全域雜訊估測單元更用以依據在所述第五區塊集合當中的所述多個當前取樣區塊的所述多個區塊絕對差值和以及所述雜訊平均值計算所述目標區間的所述雜訊標準差。
  45. 如申請專利範圍第31項所述的影像擷取裝置，其中所述局部雜訊計算單元更用以計算所述局部影像區塊的一亮度平均值以及一邊緣強度值；以及所述局部雜訊計算單元更用以依據所述局部影像區塊的所述亮度平均值以及所述邊緣強度值，藉由使用所述雜訊模型計算所述局部影像區塊在所述色彩空間分量上的一雜訊平均值以及一雜訊標準差。
TW105116806A 2016-05-30 2016-05-30 影像雜訊估測方法及裝置與影像擷取裝置 TW201742001A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW105116806A TW201742001A (zh) 2016-05-30 2016-05-30 影像雜訊估測方法及裝置與影像擷取裝置
CN201610535196.3A CN107454285A (zh) 2016-05-30 2016-07-08 图像噪声估计方法及装置与图像提取装置
US15/224,674 US10127635B2 (en) 2016-05-30 2016-08-01 Method and device for image noise estimation and image capture apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105116806A TW201742001A (zh) 2016-05-30 2016-05-30 影像雜訊估測方法及裝置與影像擷取裝置

Publications (1)

Publication Number Publication Date
TW201742001A true TW201742001A (zh) 2017-12-01

Family

ID=60420587

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105116806A TW201742001A (zh) 2016-05-30 2016-05-30 影像雜訊估測方法及裝置與影像擷取裝置

Country Status (3)

Country Link
US (1) US10127635B2 (zh)
CN (1) CN107454285A (zh)
TW (1) TW201742001A (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6832224B2 (ja) * 2017-04-28 2021-02-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
TWI695345B (zh) * 2018-04-13 2020-06-01 財團法人石材暨資源產業研究發展中心 色彩量化方法
CN110443858A (zh) * 2018-05-04 2019-11-12 财团法人石材暨资源产业研究发展中心 用于石材色纹分析的色彩量化方法
US11836597B2 (en) * 2018-08-09 2023-12-05 Nvidia Corporation Detecting visual artifacts in image sequences using a neural network model
CN109741363B (zh) * 2019-01-11 2023-07-14 湖南国科微电子股份有限公司 基于区块差值的运动判断方法、装置及电子设备
CN111556227B (zh) * 2020-05-19 2022-04-15 广州市百果园信息技术有限公司 一种视频去噪方法、装置、移动终端和存储介质
CN112085682B (zh) * 2020-09-11 2023-08-22 成都国科微电子有限公司 图像降噪方法、装置、电子设备及存储介质
CN112862753B (zh) * 2020-12-31 2024-05-24 百果园技术(新加坡)有限公司 噪声强度估计方法、装置及电子设备
CN114155161B (zh) * 2021-11-01 2023-05-09 富瀚微电子(成都)有限公司 图像去噪方法、装置、电子设备与存储介质
CN114998136A (zh) * 2022-01-29 2022-09-02 杭州微影软件有限公司 一种热成像图像校正方法和装置

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606406B1 (en) * 2000-05-04 2003-08-12 Microsoft Corporation System and method for progressive stereo matching of digital images
KR100503820B1 (ko) * 2003-01-30 2005-07-27 학교법인 포항공과대학교 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법
US20040223640A1 (en) * 2003-05-09 2004-11-11 Bovyrin Alexander V. Stereo matching using segmentation of image columns
US7486820B2 (en) * 2005-01-06 2009-02-03 Siemens Medical Solutions Usa, Inc. System and method for multilabel random walker segmentation using prior models
US7561732B1 (en) 2005-02-04 2009-07-14 Hrl Laboratories, Llc Method and apparatus for three-dimensional shape estimation using constrained disparity propagation
KR100735561B1 (ko) * 2005-11-02 2007-07-04 삼성전자주식회사 이미지 센서로부터 발생되는 잡음을 저감하는 방법 및 장치
KR100762670B1 (ko) * 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
US20080002878A1 (en) * 2006-06-28 2008-01-03 Somasundaram Meiyappan Method For Fast Stereo Matching Of Images
KR100813100B1 (ko) * 2006-06-29 2008-03-17 성균관대학교산학협력단 실시간 확장 가능한 스테레오 매칭 시스템 및 방법
WO2008156450A1 (en) * 2007-06-20 2008-12-24 Thomson Licensing System and method for stereo matching of images
KR100899422B1 (ko) * 2007-08-06 2009-05-27 삼성모바일디스플레이주식회사 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법
US8149336B2 (en) 2008-05-07 2012-04-03 Honeywell International Inc. Method for digital noise reduction in low light video
WO2010016823A1 (en) * 2008-08-08 2010-02-11 Thomson Licensing Method and apparatus for detecting dark noise artifacts
US8571303B2 (en) * 2008-11-25 2013-10-29 Nec System Technologies, Ltd. Stereo matching processing system, stereo matching processing method and recording medium
US8761491B2 (en) * 2009-02-06 2014-06-24 Himax Technologies Limited Stereo-matching processor using belief propagation
US8401280B2 (en) * 2009-12-21 2013-03-19 Electronics And Telecommunications Research Institute Device for improving stereo matching results, method of improving stereo matching results using the device, and system for receiving stereo matching results
US8885890B2 (en) * 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US9111342B2 (en) * 2010-07-07 2015-08-18 Electronics And Telecommunications Research Institute Method of time-efficient stereo matching
US8447098B1 (en) * 2010-08-20 2013-05-21 Adobe Systems Incorporated Model-based stereo matching
KR20120089921A (ko) * 2010-12-23 2012-08-16 한국전자통신연구원 다이나믹 프로그래밍 방식을 이용하는 스테레오 매칭 시스템 및 그 방법
KR20120072245A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 스테레오 영상 정합 장치 및 방법
TWI434225B (zh) * 2011-01-28 2014-04-11 Nat Univ Chung Cheng Stereo Matching Method Using Quantitative Operation of Image Intensity Value
KR101792501B1 (ko) * 2011-03-16 2017-11-21 한국전자통신연구원 특징기반의 스테레오 매칭 방법 및 장치
US8818125B2 (en) * 2011-10-07 2014-08-26 Texas Instruments Incorporated Scene adaptive filter design for improved stereo matching
KR20130057327A (ko) * 2011-11-23 2013-05-31 엘지이노텍 주식회사 스테레오 매칭 시스템의 전처리 장치
US9014463B2 (en) * 2011-11-25 2015-04-21 Kyungpook National University Industry-Academic Cooperation Foundation System for real-time stereo matching
CN104025153B (zh) * 2011-12-30 2017-09-15 英特尔公司 粗到细多个视差候选立体匹配
EP2615579A1 (en) * 2012-01-12 2013-07-17 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
US8989481B2 (en) * 2012-02-13 2015-03-24 Himax Technologies Limited Stereo matching device and method for determining concave block and convex block
KR20130094626A (ko) * 2012-02-16 2013-08-26 한국전자통신연구원 스테레오 매칭 방법 및 장치
JP5567235B2 (ja) * 2012-03-30 2014-08-06 富士フイルム株式会社 画像処理装置、撮影装置、プログラム及び画像処理方法
US9225962B2 (en) * 2012-07-16 2015-12-29 Cisco Technology, Inc. Stereo matching for 3D encoding and quality assessment
US9280806B2 (en) * 2013-01-10 2016-03-08 Broadcom Corporation Edge smoothing block filtering and blending
CN103945090B (zh) * 2013-01-17 2017-06-30 联咏科技股份有限公司 噪声估测装置及其方法
US8995784B2 (en) * 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
TWI528815B (zh) 2013-02-04 2016-04-01 鈺立微電子股份有限公司 可降低影像雜訊之影像處理方法
US9262808B2 (en) * 2013-02-07 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Denoising of images with nonstationary noise
EP2959684A4 (en) * 2013-02-20 2016-11-09 Intel Corp REAL-TIME AUTOMATIC CONVERSION OF IMAGES OR TWO-DIMENSIONAL VIDEO TO OBTAIN STEREO IMAGES OR VIDEO IN THREE DIMENSIONS
JP2014187610A (ja) * 2013-03-25 2014-10-02 Sony Corp 画像処理装置、画像処理方法、プログラムおよび撮像装置
TWI573096B (zh) 2013-12-31 2017-03-01 智原科技股份有限公司 影像雜訊估測的方法與裝置
US20150371420A1 (en) * 2014-06-19 2015-12-24 Samsung Electronics Co., Ltd. Systems and methods for extending a field of view of medical images
US9973694B1 (en) * 2014-08-21 2018-05-15 Jaunt Inc. Image stitching to form a three dimensional panoramic image
CN104486618B (zh) * 2014-12-30 2017-07-14 浙江宇视科技有限公司 视频图像的噪声检测方法及装置
US20160321523A1 (en) * 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
CN105005973B (zh) * 2015-06-30 2018-04-03 广东欧珀移动通信有限公司 一种图像快速去噪的方法及装置
US10462445B2 (en) * 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps

Also Published As

Publication number Publication date
US20170345131A1 (en) 2017-11-30
US10127635B2 (en) 2018-11-13
CN107454285A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
TW201742001A (zh) 影像雜訊估測方法及裝置與影像擷取裝置
US9883125B2 (en) Imaging systems and methods for generating motion-compensated high-dynamic-range images
US8149336B2 (en) Method for digital noise reduction in low light video
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
RU2537038C2 (ru) Автоматическая обработка баланса белого с гибким выбором цветового пространства
TWI424377B (zh) 多畫面中物體的移動分析方法
US9129188B2 (en) Image processing apparatus and control method thereof
US9413951B2 (en) Dynamic motion estimation and compensation for temporal filtering
US20120081553A1 (en) Spatial filtering for image signal processing
JP5236085B2 (ja) ビデオ用の強度補正を提供するための回路を有する集積回路、およびビデオ用の強度補正を提供する方法
JP6172935B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN111784605A (zh) 一种基于区域指导的图像降噪方法、计算机装置及计算机可读存储介质
US20150365612A1 (en) Image capture apparatus and image compensating method thereof
CN103856720A (zh) 图像处理设备和方法
KR20070078463A (ko) 이미지 센서 노이즈 저감 장치 및 방법
TWI528815B (zh) 可降低影像雜訊之影像處理方法
CN114584700A (zh) 对焦标记方法、标记装置以及电子设备
TWI741305B (zh) 圖像處理方法和裝置
TWI524782B (zh) 影像處理裝置與影像處理方法
US8184721B2 (en) Recursive filtering of a video image
US20140355872A1 (en) Method for determining interpolating direction for color demosaicking
KR100869134B1 (ko) 이미지 처리장치 및 방법
CN110689565A (zh) 一种深度图确定的方法、装置及电子设备
CN113240607A (zh) 图像去噪方法、装置、电子设备及存储介质
CN111147693B (zh) 一种全尺寸拍照图像的降噪方法及装置