TWI596573B - 影像處理裝置及其影像雜訊抑制方法 - Google Patents
影像處理裝置及其影像雜訊抑制方法 Download PDFInfo
- Publication number
- TWI596573B TWI596573B TW102114831A TW102114831A TWI596573B TW I596573 B TWI596573 B TW I596573B TW 102114831 A TW102114831 A TW 102114831A TW 102114831 A TW102114831 A TW 102114831A TW I596573 B TWI596573 B TW I596573B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- pass
- low
- pixel
- mask
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 49
- 238000000034 method Methods 0.000 title claims description 34
- 238000001914 filtration Methods 0.000 claims description 58
- 230000001629 suppression Effects 0.000 claims description 53
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims 1
- 238000007906 compression Methods 0.000 claims 1
- 238000002360 preparation method Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Description
本發明是有關於一種影像處理技術，且特別是有關於一種影像處理裝置及其影像雜訊抑制方法。
多媒體技術的日益精進使得高畫質影像的需求逐漸增加。影像品質的好壞與在擷取影像、訊號轉換以及傳輸過程中所伴隨產生的雜訊量有相當大的關連。為了有效地去除雜訊以提高影像品質，在影像處理領域中關於雜訊消除的研究也越來越受到重視。雜訊形成的原因例如是，環境光源的變化而對影像擷取單元造成隨機雜訊的產生，電路本身產生的雜訊，或是在影像處理過程(如，白平衡、影像內插)中所產生的雜訊。因此，在夜間擷取的影像通常伴隨著強烈雜訊。
濾波處理通常是採用濾波器來調整影像的像素值，以消除雜訊。然而，如果過度調整以消除雜訊，則影像的細節也會被減弱，例如導致影像不清晰。因此，在影像的細節清晰度與雜訊
消除之間希望能取得平衡。
目前的影像雜訊抑制技術中，可動態調整濾波器的權重值來進行影像的過濾處理可獲得良好的雜訊抑制效果，但卻有運算複雜度較高、需要額外參照影像以致耗費記憶體…等問題，導致這些雜訊抑制技術不易整合至視訊編碼器或數位訊號處理器中。
本發明提供一種影像處理裝置及其影像雜訊抑制方法，其利用預設的高通濾波器及兩組低通濾波來產生可濾除雜訊並且同時保留影像細節的遮罩，並利用此遮罩來調整輸入影像，以在濾除雜訊的同時可以大幅度地保留影像細節。藉此，影像處理裝置便可降低運算複雜度，並且不需要額外參照其他影像以致耗費記憶體。
本發明提供一種影像雜訊抑制方法，包括以下步驟。依據預設高通遮罩對第一影像的多個像素值進行高通濾波，以獲得高通影像。分別依據第一預設遮罩以及第二預設遮罩對第一影像的多個像素值進行低通濾波，以獲得第一低通影像及第二低通影像，其中第一預設遮罩不同於第二預設遮罩。將第一低通影像以及第二低通影像進行差值運算以獲得低通差值影像。依據高通影像以及低通差值影像進行像素權重運算，以獲得對應至第一影像的像素權重遮罩。依據第一低通影像及第二低通影像的其中之一
以及像素權重遮罩對所述第一影像進行運算，以獲得雜訊抑制影像。
以另一觀點而言，本發明提供一種影像處理裝置，其包括影像獲得單元以及處理器。影像獲得單元用以獲得第一影像。處理器用以執行下列步驟。依據預設高通遮罩對第一影像的多個像素值進行高通濾波，以產生高通影像。分別依據第一預設遮罩以及第二預設遮罩對第一影像的多個像素值進行低通濾波，以分別獲得第一低通影像及第二低通影像，其中第一預設遮罩不同於第二預設遮罩。將第一低通影像以及第二低通影像進行差值運算以獲得低通差值影像。依據高通影像以及低通差值影像進行像素權重運算，以產生對應至第一影像的像素權重遮罩。依據第一低通影像及第二低通影像的其中之一以及像素權重遮罩對所述第一影像進行運算，以獲得雜訊抑制影像。
以再一觀點而言，本發明提供一種影像處理裝置，其包括高通濾波器、第一低通濾波器、第二低通濾波器、差值運算模組、像素權重運算模組以及影像融合模組。高通濾波器依據預設高通遮罩對第一影像的多個像素值進行高通濾波，產生高通影像。第一低通濾波器依據第一預設遮罩對第一影像的多個像素值進行低通濾波，產生第一低通影像。第二低通濾波器依據第二預設遮罩對第一影像的多個像素值進行低通濾波，產生第二低通影像，其中，第一預設濾波器不同於第二預設濾波器。差值運算模組對第一低通影像以及第二低通影像進行差值運算以產生低通差
值影像。像素權重運算模組依據高通影像以及低通差值影像進行像素權重運算，以產生對應該第一影像的像素權重遮罩。影像融合模組依據第一低通影像及第二低通影像的其中之一以及所述像素權重遮罩對所述第一影像進行運算，以產生雜訊抑制影像。
基於上述，本發明實施例利用高通濾波產生的高通影像以及通過兩個低通濾波所產生的兩個低通影像之間的差值影像，來產生可濾除雜訊並且同時保留影像細節的遮罩，例如，此遮罩可保留輸入影像中的色塊邊緣及色塊交錯部分的原始影像資訊，並利用此遮罩對輸入影像進行運算以及調整，以在濾除雜訊的同時可以大幅度地保留影像細節而使畫面清晰。此外，由於處理過程中只需要一個預設的高通濾波器及兩個低通濾波器，並藉由固定的演算法來獲得所需的像素遮罩，因此可以降低運算複雜度，並且不需要額外參照其他影像以致耗費記憶體。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧影像處理裝置
110‧‧‧影像獲得單元
120‧‧‧雜訊抑制單元
130‧‧‧高通濾波器
140‧‧‧第一低通濾波器
150‧‧‧第二低通濾波器
160‧‧‧差值運算模組
170‧‧‧像素權重運算模組
180‧‧‧影像融合模組
IM1‧‧‧第一影像
HPM‧‧‧高通影像
LPM1、LPM2‧‧‧低通影像
LDM‧‧‧低通差值影像
MK‧‧‧像素權重遮罩
NM‧‧‧雜訊抑制影像
S210~S360‧‧‧步驟
1010、1020‧‧‧預設高通遮罩
1110、1120‧‧‧預設遮罩
圖1是根據本發明一實施例所示之影像處理裝置的方塊圖。
圖2是根據本發明一實施例所示之影像雜訊抑制方法的流程圖。
圖3至圖8則為本發明一實施例作為舉例的各個影像。
圖9是根據本發明一實施例所示之影像雜訊抑制方法的細節流程圖。
圖10是本實施例所採用的兩種預設高通遮罩。
圖11是本實施例所採用的第一預設遮罩及第二預設遮罩。
圖12為輸入影像的舉例。
圖13為採用結合高頻濾波以及低頻濾波，但並未使用兩個低頻濾波的結果進行差值處理來濾除雜訊的影像。
圖14為符合本揭露實施例所產生已濾除雜訊的影像。
在影像處理技術中，對影像中的雜訊抑制大多採用濾波器對各像素進行旋積(Convolution)運算，因此濾波器內所使用遮罩的權重值便是影響畫質的關鍵因素。濾波器可分為定值濾波器以及非定值濾波器。定值濾波器是對各像素採用相同之低通濾波遮罩進行處理，其作法簡單但易使影像產生模糊現象，如均值濾波器及高斯濾波器。非定值濾波器則依各像素之區域特徵來動態調整濾波器內遮罩的權重值，若像素為邊界(高頻)則權重值較高，像素為平滑(低頻)則權重值較低，以達到抑制雜訊且畫面清晰效果，習知作法如雙向濾波器及導向濾波器。然而，高斯濾波器以及雙向濾波器在計算遮罩的權重值時皆需包含大量的指數運算，導致具備較高的運算負載。導向濾波器則需參考另一張影像來作為計算遮罩權重值的參考，導致額外耗費記憶體以增加實現
成本。
為改善雜訊濾除的運算效能，並在未增加記憶體需求下以獲得良好的雜訊濾除效果，本揭露的影像處理裝置利用一組預設的定值高通濾波器來獲得具備輸入影像的邊緣特徵，再結合兩組定值低通濾波器以取得輸入影像的紋理特徵並且抑制雜訊。藉此，本揭露的影像處理裝置無需額外參照影像且使硬體能夠易於平行化處理。以下提出符合本揭露精神的實施例以供應用本實施例者參考，但並不僅受限於下述揭示。
圖1是根據本發明一實施例所示之影像處理裝置100的方塊圖。本揭露的影像處理裝置100應用於抑制輸入影像中的雜訊，尤其是針對夜間輸入影像的強烈雜訊，因此可適用於照相機、攝影機、行動裝置…等電子設備，或是符合本揭露實施例的影像處理程序。
影像處理裝置100主要包括影像獲得單元110以及雜訊控制單元120。影像獲得單元110用以獲得第一影像IM1(或稱為輸入影像)。影像獲得單元110可以是照相機、攝影機、影像擷取晶片甚至是用來儲存影像的硬碟…等。於部分實施例中，影像處理裝置100也可以不需要影像獲得單元110，而是直接從外部設備中直接獲得第一影像IM1。
雜訊控制單元120用以接收第一影像IM1，並抑制第一影像的雜訊而產生雜訊抑制影像NM。雜訊控制單元120可以是用來執行符合本揭露實施例之影像處理程序的處理器，也可以將本
揭露所述的功能分別以電路模組的方式來實現硬體。本揭露實施例所稱的「模組」可以是利用處理器執行的的軟體模組，也可以是利用電路來實現的硬體或韌體模組。在產生雜訊抑制影像NM之後，影像處理裝置100可以將雜訊抑制影像NM儲存至電腦存取裝置(例如，輸出至網路、硬碟…等)、輸出至影像視訊編碼器或顯示於螢幕上，本揭露並不限制雜訊抑制影像NM的應用。
雜訊抑制單元120包括高通濾波器130、第一低通濾波器140、第二低通濾波器150、差值運算模組160、像素權重運算模組170以及影像融合模組180。雜訊抑制單元120中各個元件的功能將與圖2的雜訊抑制方法相互配合說明。圖2是根據本發明一實施例所示之影像雜訊抑制方法的流程圖，圖3至圖8則為本發明一實施例作為舉例的各個影像。請同時參照圖1及圖2，並配合圖3至圖8的影像做為適例。於步驟S210中，高通濾波器130在接收第一影像IM1後，例如圖3的第一影像IM1，便依據預設高通遮罩對第一影像IM1的多個像素值進行高通濾波，以獲得高通影像HPM，例如圖4的高通影像HPM。高通影像HPM會凸顯出第一影像IM1的邊緣特徵。本揭露的高通濾波器130屬於定值高通濾波器，換句話說，高通濾波器130所採用的高通遮罩為定值，而不是動態調整權重值的高通遮罩。符合本揭露的部分實施例中，高通濾波也可由多個高通濾波器來共同實現，因此並不受限於以單個高通濾波器來實現上述高通濾波程序。
於步驟S220中，第一低通濾波器140以及第二低通濾波
器150分別依據第一預設遮罩以及第二預設遮罩對第一影像IM1的多個像素值進行低通濾波，以分別獲得第一低通影像LPM1及第二低通影像LPM2。圖5揭示符合本發明實施例及圖3的第一低通影像LPM1及第二低通影像LPM2。本揭露的兩個低通濾波器140、150也是屬於低運算量的定值低通濾波器，低通濾波器140、150所採用的低通遮罩為定值，而不是動態調整權重值的低通遮罩。並且，第一低通濾波器140使用的第一預設遮罩將不同於第二低通濾波器150使用的第二預設遮罩。
於此說明的是，本實施例是以兩個不同的低通濾波器140、150作為實現方式，藉由上述的硬體架構可以讓這兩個低通濾波器140、150以及高通濾波器130同時執行步驟S210、S220的動作。也就是，步驟S220由分別具備第一預設遮罩以及第二預設遮罩的兩個低通濾波器140、150對第一影像IM1來執行。若此影像處理裝置100使用於靜態影像處理時，也就是對於影像處理的速度要求不高時，低通濾波器140、150也可以整合為相同的硬體或是同一個處理程序，並對第一影像IM1利用兩個不同的定值低通遮罩來執行兩次低通濾波，以產生兩個低通影像LPM1、LPM2。也就是，步驟S220由一個低通濾波器以不同的預設遮罩對該第一影像IM1來分別執行。
請繼續參照圖1、圖2，於步驟S230中，差值運算模組160接收到第一以及第二低通影像LPM1、LPM2後，將第一低通影像LPM1以及第二低通影像LPM2進行差值運算以獲得低通差
值影像LDM(如圖6所示)。低通差值影像LDM可以保留第一影像IM1中的邊緣特徵並且抑制第一影像IM1中的雜訊。於其他實施例中，應用本揭露者也可利用兩個以上的低通濾波器來獲得兩個以上低通影像，並利用這些低通影像進行差值運算或是相減而獲得低通差值影像LDM，而不受限於僅利用兩個低通濾波器140、150來實現低通差值影像LDM的獲得。
於步驟S240中，像素權重運算模組170便依據高通影像HPM(圖4)以及低通差值影像LDM(圖6)進行像素權重運算，以計算第一影像IM1中每個像素的權重值，並將這些權重值設置於對應位置的遮罩中，以獲得對應至第一影像IM1的像素權重遮罩MK。像素權重遮罩MK可以如圖7所示。
於步驟S250中，影像融合模組180便可依據第一低通影像LPM1及第二低通影像LPM2的其中之一以及像素權重遮罩MK對第一影像IM1進行運算，以獲得雜訊抑制影像NM。雜訊抑制影像NM可以如圖8所示。
圖2是以整個影像作為舉例來進行本揭露所述的雜訊抑制方法，而下述將說明如何影像中的每個像素來進行本揭露所述的雜訊抑制方法，並列舉本揭露所採用的各種參數。圖9是根據本發明一實施例所示之影像雜訊抑制方法的細節流程圖。
請同時參照圖1及圖9，影像獲得單元110於步驟S310獲得第一影像IM1。之後，於步驟S315，影像獲得單元110從第一影像IM1獲得目標像素以及相鄰於目標像素的多個接鄰像素。
於步驟S320中，高通濾波器130從第一影像IM1獲得目標像素以及相鄰於目標像素的多個接鄰像素之後，便利用圖10中所繪示的預設高通遮罩來對這些目標像素以及接鄰像素進行高通濾波，以獲得高通影像HPM中對應目標像素的高通像素值Hp。圖10揭露本實施例所採用的兩種預設高通遮罩1010、1020。預設高通遮罩1010、1020中的權重值皆為實數，預設高通遮罩1010適用於Y軸方向(也就是，垂直方向)的高通濾波，而預設高通遮罩1020則適用於X軸方向(也就是，水平方向)的高通濾波，應用本實施例者可依其需求來調整預設的定值高通遮罩中的權重值。
在此假設，高通濾波函數為fh，而此高通濾波函數fh將隨著高通濾波遮罩而變動。Ip表示第一影像IM1中目標影像的像素值(如，色彩值)，Hp表示高通影像HPM中對應目標像素的高通像素值，則高通濾波器130所輸出的高通像素值Hp為目標影像的像素值Ip與高通濾波遮罩1010或1020內權重值W以及遮罩內每一點像素點q的旋積，如方程式(1)所示：
其中，kh(p)為正規化函數。本揭露所述的正規化函數是用以限制各個遮罩與像素進行相乘後的乘積不會過大，而是限制在一定程度內。因此，本揭露所述的正規化函數的數值大小皆位於預設值(例如，”1”)與零之間。例如，正規化函數kh(p)可以方程式(2)來表示：
本揭露也可以將第一影像IM1經過兩次高通濾波：一次垂直方向的高通濾波，另一次則為水平方向的高通濾波，並將計算得出的、高通影像HPM中對應目標像素的高通像素值Hp相加除以2，以獲得更為良好的高通影像HPM。
於步驟S325中，低通濾波器140依據第一預設遮罩對第一影像IM1的目標像素及接鄰像素進行低通濾波，以獲得第一低通影像LPM1中對應目標像素的第一低通像素值。第一預設遮罩如圖11的遮罩1110所示。圖11是本實施例所採用的第一預設遮罩1110及第二預設遮罩1120。相應地，於步驟S330，低通濾波器150依據第二預設遮罩對第一影像IM1的目標像素及接鄰像素進行低通濾波，以獲得第二低通影像LPM2中對應目標像素的第二低通像素值。第二預設遮罩如圖11的遮罩1120所示。於本實施例中，第一及第二預設遮罩1110、1120為定值且互不相同，而皆適用於低通濾波。
於此，第一低通濾波器140以及第二低通濾波器150皆採用相同的低通濾波技術，因此下述列舉一種低通濾波函數來做為實現方式。假設低通濾波函數為fl，而此低通濾波函數fl將隨著第一預設遮罩1110或第二預設遮罩1120而變動。Lp表示低通影像LPM1或LPM2中對應目標像素的第一低通像素值或第二低通像素值。因此，低通濾波器140、150所輸出的低通像素值Lp為目標影像的像素值Ip與第一或第二預設遮罩1110或1120內權重
值W以及遮罩內每一點像素點q的旋積，如方程式(3)所示：
其中，kl(p)為正規化函數。正規化函數kl(p)可以方程式(4)來表示：
於步驟S335中，差值運算模組160將對應目標像素的第一低通像素值Lp1與對應目標像素的第二低通像素值Lp2相減，以獲得低通差值影像LDM中對應目標像素的低通差值像素值IDoG。當使用兩張不同預設遮罩的低通影像LPM1、LPM2進行差值運算模組160的差值運算時，可找出低通影像LPM1、LPM2在不同尺度空間的極值或關鍵結構，此一步驟稱為高斯差異(Difference of Gaussian；DoG)。
假設差值運算模組160採用高斯濾波器G並給定變異數σi、σj進行低通濾波值計算，則低通差值像素值IDoG便是給定變異數σi、σj後的兩個高斯濾波器Gσi、Gσj相減後再與第一影像IM1中目標影像的像素值Ip相乘後的數值，如利用方程式(5)所示：IDoG=(Gσi-Gσj)×I p …………………(5)
於步驟S340中，像素權重運算模組170依據高通影像HPM中對應目標像素的高通像素值Hp以及低通差值影像LDM中對應目標像素的低通差值像素值IDoG進行像素權重運算，以獲得對應目標像素的像素權重遮罩的權重值。換句話說，方程式(1)所
得之高通影像HPM具有第一影像IM1的重要邊緣及紋理特徵，方程式(5)所得之低通差值影像LDM則包含第一影像IM1的影像交界處與極值邊緣，但兩者同時皆包含雜訊。因此，本揭露實施例便結合兩者以進行運算，藉以取得穩定邊緣並抑制雜訊的遮罩MK來對第一影像IM1進行處理，得到較精細完整的影像結構。
假設像素權重遮罩MK中對應目標像素的像素權重值為Bp，則像素權重遮罩MK中的像素權重值Bp可以方程式(6)來計算得到：
Bp為正規化函數，可用方程式(7)表示：
藉此，像素權重遮罩MK中對應每個目標像素的像素權重值Bp便可利用方程式(6)及(7)來獲得。
於步驟S345中，影像融合模組180依據第一低通影像LPM1及第二低通影像LPM2的其中之一以及像素權重遮罩MK對該第一影像進行運算，以產生雜訊抑制影像NM。詳言之，影像融合模組180將第一影像IM1、像素權重遮罩MK以及任一個低通影像(如，第一低通影像LPM12及第二低通影像LPM2其中之一)結合進行運算，便可產生濾除雜訊後雜訊抑制影像NM中的抑制像素值Jp。抑制像素值Jp可以方程式(8)來計算得到：J p =B p ×I p +(RN-B p )×L p1…………………………(8)
其中，Bp為對應目標像素的像素權重值，Lp1為對應目標像素的、位於第一低通影像LPM1中的第一低通像素值。RN為正規化參數中提及的預設值。於本實施例中，此預設值RN為”1”。於部分實施例中，Lp1也可以利用對應目標像素的、位於第二低通影像LPM2中的第二低通像素值Lp2來取代。換句話說，影像融合模組180會將目標像素的像素值Ip乘以對應目標像素的像素權重值Bp，並與預設值(“1”)減去像素權重值Bp後再乘以對應目標像素的第一低通濾波像素值Lp1及第二低通濾波像素值Lp2的其中之一的乘積相加，以獲得雜訊抑制影像NM中對應目標像素的抑制像素值Jp。
於步驟S350中，影像處理裝置100便會判斷第一影像IM1中的所有像素值是否已獲得與這些像素值對應的抑制像素值Jp。如果第一影像IM1中尚有像素未經處理，則進入步驟S355，影像處理裝置100將未經處理的像素作為所述目標像素，並再次經由步驟S315~S345以計算獲得對應目標像素的抑制像素值。若第一影像IM1中的像素皆以完全處理，則影像處理裝置100便已經處理完雜訊抑制影像NM中的每個抑制像素值Jp，並進入步驟S360以輸出雜訊抑制影像NM。
相較於前案，部分的雜訊抑制技術雖然有結合高頻濾波以及低頻濾波來濾除雜訊，雖然保留了影像的紋理，但也提高了雜訊的產生。相對而言，本揭露除了利用高頻及低頻的濾波搭配以外，還額外將兩個低頻濾波的結果進行差值處理，藉此便可有
效地濾除雜訊。
舉例而言，圖12的左右兩圖皆為輸入影像的舉例，圖13為採用結合高頻濾波以及低頻濾波，但並未使用兩個低頻濾波的結果進行差值處理來濾除雜訊(也稱為方法1)的影像。圖14為符合本揭露實施例所產生已濾除雜訊(也稱為本揭露方法)的影像。透過圖13及圖14的比較可以明顯看出，圖13所採用的方法雖可保留邊緣，但也會同時強化雜訊。本揭露實施例所產生的圖14影像則可適度地保留邊緣，並有效抑制雜訊。
此外，本揭露利用影像處理常用的兩個指標，峰值信噪比PSNR以及結構相似性品質指標SSIM，來判斷圖13及圖14的雜訊程度，如下表(1)所示。
本揭露所採用的指標PSNR以及SSIM皆是數值越大越好，因此由表(1)可知，本揭露方法相較於方法一為佳。
綜上所述，本發明實施例利用高通濾波產生的高通影像以及通過兩個低通濾波所產生的兩個低通影像之間的差值影像，來產生可濾除雜訊並且同時保留影像細節的遮罩，例如，此遮罩
可保留輸入影像中的色塊邊緣及色塊交錯部分的原始影像資訊，並利用此遮罩來調整輸入影像，以在濾除雜訊的同時可以大幅度地保留影像細節而使畫面清晰。此外，由於處理過程中只需要一個預設的高通濾波器及兩個低通濾波器，並藉由固定的演算法來獲得所需的像素遮罩，因此可以降低運算複雜度，並且不需要額外參照其他影像以致耗費記憶體。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S210~S250‧‧‧步驟
Claims (23)
- 一種影像雜訊抑制方法，包括：依據一預設高通遮罩，對一第一影像的多個像素進行高通濾波，以獲得一高通影像；分別依據一第一預設遮罩以及一第二預設遮罩對該第一影像的該些像素進行低通濾波，以獲得一第一低通影像及一第二低通影像，其中該第一預設遮罩不同於該第二預設遮罩；將該第一低通影像及該第二低通影像進行一差值運算以獲得一低通差值影像；依據該高通影像以及該低通差值影像對該些像素進行一像素權重運算，以獲得對應至該第一影像的一像素權重遮罩；以及依據該第一低通影像及該第二低通影像的其中之一，以及該像素權重遮罩對該第一影像進行運算，以獲得一雜訊抑制影像。
- 如申請專利範圍第1項所述的影像雜訊抑制方法，依據該預設高通遮罩對第一影像的該些像素進行高通濾波的步驟包括：從該第一影像獲得目標像素及其多個接鄰像素；以及依據該預設高通遮罩對該目標像素及其該些接鄰像素進行高通濾波，以獲得該高通影像中對應該目標像素的一高通像素值。
- 如申請專利範圍第1項所述的影像雜訊抑制方法，分別依據該第一預設遮罩以及該第二預設遮罩對該第一影像的該些像素值進行低通濾波的步驟包括：依據一第一預設遮罩對該第一影像的目標像素及其多個接鄰 像素值進行低通濾波，以獲得該第一低通影像中對應該目標像素的一第一低通像素值；以及依據一第二預設遮罩對該第一影像的目標像素及該些接鄰像素進行低通濾波，以獲得該第二低通影像中對應該目標像素的第二低通像素值。
- 如申請專利範圍第3項所述的影像雜訊抑制方法，分別依據該第一預設遮罩以及該第二預設遮罩對該第一影像的該些像素值進行低通濾波的步驟由分別具備該第一預設遮罩以及該第二預設遮罩的兩個低通濾波器對該第一影像來執行。
- 如申請專利範圍第3項所述的影像雜訊抑制方法，分別依據該第一預設遮罩以及該第二預設遮罩對該第一影像的該些像素值進行低通濾波的步驟由低通濾波器以不同的預設遮罩對該第一影像來分別執行。
- 如申請專利範圍第1項所述的影像雜訊抑制方法，將該第一低通影像以及該第二低通影像進行差值運算的步驟包括：將對應該目標像素的第一低通像素值與對應該目標像素的第二低通像素值相減，以獲得該低通差值影像中對應該目標像素的一低通差值像素值。
- 如申請專利範圍第1項所述的影像雜訊抑制方法，依據該高通影像以及該低通差值影像進行像素權重運算，以獲得對應至該第一影像的該像素權重遮罩的步驟包括：將對應該目標像素的一高通像素值乘以對應該目標像素的一 低通差值像素值，並除以正規化常數，以獲得該像素權重遮罩中對應該目標像素的一像素權重值。
- 如申請專利範圍第1項所述的影像雜訊抑制方法，依據該第一低通影像及該第二低通影像的其中之一以及該像素權重遮罩對該第一影像進行運算的步驟包括：將該目標像素的像素值乘以對應該目標像素的一像素權重值，並與一預設值減去該像素權重值後再乘以對應該目標像素的一第一低通濾波像素值及一第二低通濾波像素值的其中之一的乘積相加，以獲得該雜訊抑制影像中對應該目標像素的一抑制像素值。
- 如申請專利範圍第8項所述的影像雜訊抑制方法，更包括：判斷該第一影像中的所有像素值是否已獲得與該些像素值對應的該抑制像素值；以及若該第一影像中尚有像素未經處理，將未經處理的該像素作為該目標像素以計算獲得對應該目標像素的該抑制像素值。
- 如申請專利範圍第1項所述的影像雜訊抑制方法，其中該雜訊抑制影像適用於影像壓縮。
- 一種影像處理裝置，包括：影像獲得單元，用以獲得一第一影像；以及處理器，用以執行下列步驟：依據一預設高通遮罩對第一影像的多個像素進行高通濾波，以獲得高通影像； 分別依據一第一預設遮罩以及一第二預設遮罩對該第一影像的該些像素進行低通濾波，以獲得一第一低通影像及一第二低通影像，其中該第一預設遮罩不同於該第二預設遮罩；將該第一低通影像及該第二低通影像進行差值運算以獲得一低通差值影像；依據該高通影像以及該低通差值影像對該些像素進行像素權重運算，以獲得對應至該第一影像的一像素權重遮罩；以及依據該第一低通影像及該第二低通影像的其中之一以及該像素權重遮罩對該第一影像進行運算，以獲得一雜訊抑制影像。
- 如申請專利範圍第11項所述的影像處理裝置，其中該處理器從該第一影像中獲得目標像素及其多個接鄰像素，依據該預設高通遮罩對該目標像素及其該些接鄰像素進行高通濾波，以獲得該高通影像中對應該目標像素的一高通像素值。
- 如申請專利範圍第11項所述的影像處理裝置，其中該處理器依據一第一預設遮罩對該第一影像的目標像素及其多個接鄰像素值進行低通濾波，以獲得該第一低通影像中對應該目標像素的一第一低通像素值，且依據一第二預設遮罩對該第一影像的目標像素及該些接鄰像素進行低通濾波，以獲得該第二低通影像中對應該目標像素的一第二低通像素值。
- 如申請專利範圍第11項所述的影像處理裝置，其中該處理器將對應該目標像素的一第一低通像素值與對應該目標像素的一第二低通像素值相減，以獲得該低通差值影像中對應該目標像 素的一低通差值像素值。
- 如申請專利範圍第11項所述的影像處理裝置，其中該處理器將對應該目標像素的一高通像素值乘以對應該目標像素的一低通差值像素值，並除以一正規化常數，以獲得該像素權重遮罩中對應該目標像素的一像素權重值。
- 如申請專利範圍第11項所述的影像處理裝置，其中該處理器將該目標像素的像素值乘以對應該目標像素的一像素權重值，並與預設值減去該像素權重值後再乘以對應該目標像素的一第一低通濾波像素值及一第二低通濾波像素值的其中之一的乘積相加，以獲得該雜訊抑制影像中對應該目標像素的一抑制像素值。
- 一種影像處理裝置，包括：高通濾波器，接收第一影像，並依據一預設高通遮罩對該第一影像的多個像素值進行高通濾波以產生一高通影像；第一低通濾波器，依據第一預設遮罩對該第一影像的該些像素值進行低通濾波，產生一第一低通影像；第二低通濾波器，依據第二預設遮罩對該第一影像的該些像素值進行低通濾波，產生一第二低通影像，其中，該第一預設遮罩不同於該第二預設遮罩；差值運算模組，對該第一低通影像以及該第二低通影像進行差值運算以產生一低通差值影像；像素權重運算模組，依據該高通影像以及該低通差值影像進行像素權重運算，以產生對應該第一影像的一像素權重遮罩；以 及影像融合模組，依據該第一低通影像及該第二低通影像的其中之一以及該像素權重遮罩對該第一影像進行運算，以產生一雜訊抑制影像。
- 如申請專利範圍第17項所述的影像處理裝置，其中該高通濾波器從該第一影像獲得一目標像素及其多個接鄰像素，並依據該預設高通遮罩對該目標像素及其該些接鄰像素進行高通濾波，以獲得該高通影像中對應該目標像素的一高通像素值。
- 如申請專利範圍第17項所述的影像處理裝置，其中該第一低通濾波器依據一第一預設遮罩對該第一影像的目標像素及其多個接鄰像素值進行低通濾波，以獲得該第一低通影像中對應該目標像素的一第一低通像素值，該第二低通濾波器依據一第二預設遮罩對該第一影像的目標像素及其該些接鄰像素進行低通濾波，以獲得該第二低通影像中對應該目標像素的一第二低通像素值。
- 如申請專利範圍第17項所述的影像處理裝置，其中該差值運算模組將對應該目標像素的一第一低通像素值與對應該目標像素的一第二低通像素值相減，以獲得該低通差值影像中對應該目標像素的一低通差值像素值。
- 如申請專利範圍第17項所述的影像處理裝置，其中該像素權重運算模組將對應該目標像素的一高通像素值乘以對應該目標像素的一低通差值像素值，並除以正規化常數，以獲得該像素 權重遮罩中對應該目標像素的一像素權重值。
- 如申請專利範圍第17項所述的影像處理裝置，其中該影像融合模組將該目標像素的像素值乘以對應該目標像素的一像素權重值，並與預設值減去該像素權重值後再乘以對應該目標像素的一第一低通濾波像素值及一第二低通濾波像素值的其中之一的乘積相加，以獲得該雜訊抑制影像中對應該目標像素的一抑制像素值。
- 一種影像處理裝置，包括：至少一高通濾波器，接收第一影像，並依據一預設高通遮罩對該第一影像的多個像素值進行高通濾波以產生一高通影像；至少兩個低通濾波器，依據不同的預設遮罩以對該第一影像的該些像素值進行低通濾波，以分別產生至少兩個低通影像；差值運算模組，對該至少兩個低通影像進行差值運算以產生一低通差值影像；像素權重運算模組，依據該高通影像以及該低通差值影像進行像素權重運算，以產生對應該第一影像的一像素權重遮罩；以及影像融合模組，依據該第一低通影像及該第二低通影像的其中之一以及該像素權重遮罩對該第一影像進行運算，以產生一雜訊抑制影像。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102114831A TWI596573B (zh) | 2013-04-25 | 2013-04-25 | 影像處理裝置及其影像雜訊抑制方法 |
| CN201310230932.0A CN104125374B (zh) | 2013-04-25 | 2013-06-09 | 图像处理装置及其影像噪声抑制方法 |
| US13/936,224 US9082171B2 (en) | 2013-04-25 | 2013-07-08 | Image processing device for reducing image noise and the method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102114831A TWI596573B (zh) | 2013-04-25 | 2013-04-25 | 影像處理裝置及其影像雜訊抑制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201441973A TW201441973A (zh) | 2014-11-01 |
| TWI596573B true TWI596573B (zh) | 2017-08-21 |
Family
ID=51770631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW102114831A TWI596573B (zh) | 2013-04-25 | 2013-04-25 | 影像處理裝置及其影像雜訊抑制方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9082171B2 (zh) |
| CN (1) | CN104125374B (zh) |
| TW (1) | TWI596573B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI752496B (zh) * | 2020-05-14 | 2022-01-11 | 芯鼎科技股份有限公司 | 影像處理方法及影像處理系統 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9305338B1 (en) * | 2013-12-13 | 2016-04-05 | Pixelworks, Inc. | Image detail enhancement and edge sharpening without overshooting |
| KR20160039497A (ko) * | 2014-10-01 | 2016-04-11 | 삼성전자주식회사 | 영상 처리 장치, 디스플레이 장치 및 그 영상 처리 방법 |
| JP6816018B2 (ja) * | 2015-04-14 | 2021-01-20 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 医用画像品質を改善するための装置及び方法 |
| CN107190621B (zh) * | 2016-03-15 | 2023-01-10 | 南京理工技术转移中心有限公司 | 一种路面裂缝病害检测系统和方法 |
| CN109690614A (zh) * | 2016-09-14 | 2019-04-26 | 皇家飞利浦有限公司 | 边缘降噪 |
| US10475215B2 (en) * | 2016-09-23 | 2019-11-12 | Carestream Health, Inc. | CBCT image processing method |
| CN106791284B (zh) * | 2017-01-17 | 2019-11-12 | 深圳市维海德技术股份有限公司 | 一种去除脉冲噪声的方法及装置 |
| US10284785B2 (en) * | 2017-08-30 | 2019-05-07 | Gopro, Inc. | Local tone mapping |
| CN110062150B (zh) * | 2018-01-19 | 2020-12-04 | 上海富瀚微电子股份有限公司 | 一种自动对焦方法及装置 |
| EP3582182B1 (en) * | 2018-06-12 | 2020-07-29 | Axis AB | A method, a device, and a system for estimating a sub-pixel position of an extreme point in an image |
| CN110490817A (zh) * | 2019-07-22 | 2019-11-22 | 武汉大学 | 一种基于掩模学习的图像噪声抑制方法 |
| CN113645420B (zh) * | 2020-05-11 | 2024-06-28 | 瑞昱半导体股份有限公司 | 图像噪声抑制装置及其方法 |
| EP4274207A4 (en) * | 2021-04-13 | 2024-07-10 | Samsung Electronics Co Ltd | ELECTRONIC DEVICE AND ITS CONTROL METHOD |
| CN116051386B (zh) * | 2022-05-30 | 2023-10-20 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200733720A (en) * | 2006-02-24 | 2007-09-01 | Pixart Imaging Inc | Digital image processing method and the device thereof |
| US7840088B2 (en) * | 2006-12-27 | 2010-11-23 | Altek Corporation | Method of reducing image noise |
| TWM403069U (en) * | 2010-06-24 | 2011-05-01 | Univ Lunghwa Sci & Technology | A noise-insensitive contrast enhancement system for the display of high-dynamic-range images |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4503461A (en) | 1983-02-22 | 1985-03-05 | The Board Of Trustees Of The Leland, Stanford Junior University | Multiple measurement noise reducing system using space-variant filters |
| EP0531904A3 (en) * | 1991-09-10 | 1993-10-06 | Eastman Kodak Company | Method and apparatus for spatially variant filtering |
| JP3249605B2 (ja) * | 1992-11-25 | 2002-01-21 | イーストマン・コダックジャパン株式会社 | 書類辺縁検出装置 |
| US6731806B1 (en) | 1999-10-08 | 2004-05-04 | Eastman Kodak Company | Region growing based noise reduction method for digital images |
| US6681054B1 (en) | 2000-05-01 | 2004-01-20 | Eastman Kodak Company | Noise reduction method utilizing probabilistic weighting, apparatus, and program for digital image processing |
| US6973219B2 (en) | 2001-11-21 | 2005-12-06 | Ge Medical Systems Global Technology Company, Llc | Segmentation driven image noise reduction filter |
| US7437013B2 (en) * | 2003-12-23 | 2008-10-14 | General Instrument Corporation | Directional spatial video noise reduction |
| WO2006040960A1 (ja) * | 2004-10-08 | 2006-04-20 | Matsushita Electric Industrial Co., Ltd. | 画像処理装置および画像処理プログラム |
| TWI286032B (en) | 2005-07-05 | 2007-08-21 | Ali Corp | Image enhancement system |
| EP1980109B1 (en) | 2006-01-31 | 2018-07-11 | Thomson Licensing DTV | Methods and apparatus for edge-based spatio-temporal filtering |
| KR101298642B1 (ko) | 2006-11-21 | 2013-08-21 | 삼성전자주식회사 | 영상 잡음 제거 방법 및 장치 |
| CN101569199B (zh) * | 2007-10-03 | 2012-06-27 | 松下电器产业株式会社 | 减少块状噪声的方法及装置 |
| TW200929075A (en) | 2007-12-31 | 2009-07-01 | Altek Corp | Method of inhibiting image noises based on the best primary color signal |
| TWI349475B (en) | 2008-01-14 | 2011-09-21 | Wintek Corp | Image processing apparatus and image processing method |
| CN101505361B (zh) * | 2008-02-04 | 2012-12-12 | 胜华科技股份有限公司 | 影像处理装置及影像处理方法 |
| US8139883B2 (en) | 2008-07-29 | 2012-03-20 | Sony Corporation | System and method for image and video encoding artifacts reduction and quality improvement |
| CN102098422A (zh) | 2009-12-15 | 2011-06-15 | 佳能企业股份有限公司 | 影像边缘的处理系统及方法 |
| US9082180B2 (en) * | 2012-12-28 | 2015-07-14 | Nvidia Corporation | System, method, and computer program product for implementing a spatially varying unsharp mask noise reduction filter |
-
2013
- 2013-04-25 TW TW102114831A patent/TWI596573B/zh active
- 2013-06-09 CN CN201310230932.0A patent/CN104125374B/zh active Active
- 2013-07-08 US US13/936,224 patent/US9082171B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200733720A (en) * | 2006-02-24 | 2007-09-01 | Pixart Imaging Inc | Digital image processing method and the device thereof |
| US7840088B2 (en) * | 2006-12-27 | 2010-11-23 | Altek Corporation | Method of reducing image noise |
| TWM403069U (en) * | 2010-06-24 | 2011-05-01 | Univ Lunghwa Sci & Technology | A noise-insensitive contrast enhancement system for the display of high-dynamic-range images |
Non-Patent Citations (1)
| Title |
|---|
| Avijit Dasgupta, Ashish Bakshi, Kuntal Ghosh，＂Lateral Inhibition based Holistic Approach to Adaptive Image Enhancement＂，2013 IEEE 3rd International Advance Computing Conference (IACC)，Pp. 1143 – 1148，22-23 Feb. 2013 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI752496B (zh) * | 2020-05-14 | 2022-01-11 | 芯鼎科技股份有限公司 | 影像處理方法及影像處理系統 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140321768A1 (en) | 2014-10-30 |
| CN104125374A (zh) | 2014-10-29 |
| CN104125374B (zh) | 2017-09-15 |
| US9082171B2 (en) | 2015-07-14 |
| TW201441973A (zh) | 2014-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI596573B (zh) | 影像處理裝置及其影像雜訊抑制方法 | |
| US10719918B2 (en) | Dynamically determining filtering strength for noise filtering in image processing | |
| US7570832B2 (en) | Image clean-up and pre-coding | |
| US9479695B2 (en) | Generating a high dynamic range image using a temporal filter | |
| US9514525B2 (en) | Temporal filtering for image data using spatial filtering and noise history | |
| US9413951B2 (en) | Dynamic motion estimation and compensation for temporal filtering | |
| CN109978774B (zh) | 多帧连续等曝光图像的去噪融合方法及装置 | |
| WO2021114868A1 (zh) | 降噪方法、终端及存储介质 | |
| WO2017101489A1 (zh) | 图像滤波方法及装置 | |
| TWI463861B (zh) | 消除蚊狀雜訊裝置及方法 | |
| JP2007188493A (ja) | 動きボケ画像中の動きボケを減らす方法、それぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する方法、動きボケ画像中の動きボケを減らす装置、およびそれぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する装置 | |
| WO2014169579A1 (zh) | 一种色彩增强方法及装置 | |
| WO2017113917A1 (zh) | 成像方法、成像装置和终端 | |
| US20110142351A1 (en) | System and method for processing an image edge | |
| US9014503B2 (en) | Noise-reduction method and apparatus | |
| CN105631854A (zh) | 一种基于fpga平台的自适应图像清晰度评价算法 | |
| CN112233053A (zh) | 图像的融合方法、装置、设备及计算机可读存储介质 | |
| WO2020186848A1 (zh) | 一种图像增强方法及装置 | |
| JPWO2014133010A1 (ja) | 画像処理方法、及び画像処理装置 | |
| CN111383299B (zh) | 图像的处理方法、装置及计算机可读存储介质 | |
| US9374526B2 (en) | Providing frame delay using a temporal filter | |
| CN111416937A (zh) | 图像处理方法、装置、存储介质及移动设备 | |
| JP2018128764A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN116523765B (zh) | 一种实时视频图像降噪方法、装置及存储器 | |
| JP2017021467A (ja) | 画像処理装置、その制御方法、および制御プログラム |