TWI528815B - 可降低影像雜訊之影像處理方法 - Google Patents

可降低影像雜訊之影像處理方法 Download PDF

Info

Publication number
TWI528815B
TWI528815B TW102104234A TW102104234A TWI528815B TW I528815 B TWI528815 B TW I528815B TW 102104234 A TW102104234 A TW 102104234A TW 102104234 A TW102104234 A TW 102104234A TW I528815 B TWI528815 B TW I528815B
Authority
TW
Taiwan
Prior art keywords
image
brightness value
block
pixel
image block
Prior art date
Application number
TW102104234A
Other languages
English (en)
Other versions
TW201433167A (zh
Inventor
程心璿
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Priority to TW102104234A priority Critical patent/TWI528815B/zh
Priority to CN201310112263.7A priority patent/CN103237158B/zh
Priority to US14/160,507 priority patent/US20140218571A1/en
Publication of TW201433167A publication Critical patent/TW201433167A/zh
Application granted granted Critical
Publication of TWI528815B publication Critical patent/TWI528815B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

可降低影像雜訊之影像處理方法
本發明係相關於一種影像處理方法，尤指一種可降低影像雜訊之影像處理方法。
隨著相關科技的進步，數位影像技術逐漸地被廣泛應用於各種電子裝置上，例如數位相機或數位攝影機。數位影像技術係藉由光感應元件感應外界光線以產生影像資料。每張數位影像係由複數個紅色、綠色及藍色像素所排列而成，且每一像素之亮度值大小係對應於光感應元件感應到之光線之強弱。由於影像資料係根據光感應元件之電子訊號所產生，因此影像中之每一像素之亮度值係為原始亮度值和影像雜訊加總之結果。影像雜訊是隨機且無法預測的，因此很難把影像雜訊從影像資料中完全移除。然而，當影像雜訊很大時，影像雜訊會嚴重影響數位影像之品質，甚至使影像模糊不清。如何把影像雜訊降低以提高數位影像之品質是現有數位影像技術中相當重要之課題。
本發明之目的在於提供一種可降低影像雜訊之影像處理方法，以解決先前技術的問題。本發明可降低影像雜訊之影像處理方法包含於一影像資料中根據一主影像區塊之像素排列方式尋找複數個具相同像素排列方式之參考影像區塊；根據該主影像區塊之各個像素之亮度值及該複數個參考影像區塊之各個像素之亮度值產生複數個權重；加總該 複數個權重和相對應的該主影像區塊及該複數個參考影像區塊之中心像素之亮度值的乘積以產生一加總結果；根據該加總結果及一正規化因子產生一第一亮度值；及根據該第一亮度值更新該主影像區塊之中心像素之亮度值。
本發明另提供一種可降低影像雜訊之影像擷取系統，該影像擷取系統包含一彩色濾光陣列，一影像感測器，及一影像處理器。該彩色濾光陣列係用以過濾光線。該影像感測器係用以感測通過該彩色濾光陣列之光線以產生一影像資料。該影像處理器係耦接於該影像感測器，用以接收該影像資料，於該影像資料中根據一主影像區塊之像素排列方式尋找複數個具相同像素排列方式之參考影像區塊，根據該主影像區塊之各個像素之亮度值及該複數個參考影像區塊之各個像素之亮度值產生複數個權重，加總該複數個權重和相對應的該主影像區塊及該複數個參考影像區塊之中心像素之亮度值的乘積以產生一加總結果，根據該加總結果及一正規化因子產生一第一亮度值，及根據該第一亮度值更新該主影像區塊之中心像素之亮度值。
本發明另提供一種可降低影像雜訊之影像處理器，該影像處理器包含一輸出入介面，及一處理單元。該輸出入介面係用以接收一影像資料。該處理單元係用以於該影像資料中根據一主影像區塊之像素排列方式尋找複數個具相同像素排列方式之參考影像區塊，根據該主影像區塊之各個像素之亮度值及該複數個參考影像區塊之各個像素之亮度值產生複數個權重，加總該複數個權重和相對應的該主影像區塊及該複數個參考影像區塊之中心像素之亮度值的乘積以產生一加總結果，根據該加總結果及一正規化因子產生一第一亮度值，及根據該第一亮度值更新該主影像區塊之中心像素之亮度值。
相較於先前技術，本發明提供一種可降低影像雜訊之影像處理方法，本發明影像處理方法係根據主影像區塊和參考影像區塊之相似度計算出相對應之權重，並進一步根據權重求得主影像區塊之中心像素之新的亮度值，使中心像素之新的亮度值係為原始亮度值加上平均後之影像雜訊之結果，因此可大幅降低影像擷取系統擷取之原始影像資料之影像雜訊。
100‧‧‧影像擷取系統
110‧‧‧彩色濾光陣列
120‧‧‧影像感測器
130‧‧‧影像處理器
132‧‧‧輸出入介面
134‧‧‧處理單元
200‧‧‧影像資料
A1‧‧‧主影像區塊
Ar1,Ar2‧‧‧參考影像區塊
P1,P2,Pr1,Pr2‧‧‧中心像素
A2‧‧‧影像區塊
R‧‧‧紅色
G‧‧‧綠色
B‧‧‧藍色
300‧‧‧流程圖
310至350‧‧‧步驟
第1圖為本發明影像擷取系統的示意圖。
第2圖為影像資料之像素配置的示意圖。
第3圖為本發明影像處理方法的流程圖。
請參考第1圖，第1圖為本發明影像擷取系統100的示意圖。如第1圖所示，本發明影像擷取系統100包含一彩色濾光陣列110，一影像感測器120，及一影像處理器130。彩色濾光陣列110係用以過濾光線。影像感測器120係用以感測通過彩色濾光陣列110之光線以產生一影像資料。而影像處理器130包含一輸出入介面132及一處理單元134。輸出入介面132係耦接於影像感測器120，用以接收影像感測器120產生之影像資料。一處理單元134係用以對影像資料進行影像處理。
請參考第2圖，並一併參考第1圖。第2圖為影像資料200之像素配置的示意圖。如第2圖所示，影像資料200係由複數個紅色(R)像素、綠色(G)像素及藍色(B)像素所排列而成，進而形成一彩色之數位影像。第2圖之像素配置方式僅係用以說明本發明之影像處理方法，本發 明影像處理方法亦可應用於具其他像素配置方式之影像資料。在本發明影像處理方法中，為了降低一像素P1之影像雜訊，首先影像處理器130根據以像素P1為中心之主影像區塊A1之像素排列方式尋找複數個具相同像素排列方式之參考影像區塊Ar1、Ar2(標示之參考影像區塊Ar1、Ar2只是用以舉例，影像資料200包含有更多之參考影像區塊)，且參考影像區塊Ar1、Ar2之中心像素Pr1、Pr2之顏色係相同於主影像區塊A1之中心像素P1之顏色。在其他影像區塊A2中，即使中心像素P2之顏色相同於主影像區塊A1之中心像素P1之顏色，但若影像區塊A2之像素排列方式相異於主影像區塊A1之像素排列方式，則影像區塊A2不能成為參考影像區塊。之後影像處理器130將主影像區塊A1之各個像素之亮度值和參考影像區塊Ar1、Ar2之各個像素之亮度值進行比較以產生權重，舉例來說，將主影像區塊A1之各個像素之亮度值和參考影像區塊Ar1、Ar2之相對應像素之亮度值相減(例如將主影像區塊A1之左上角之像素之亮度值和參考影像區塊Ar1、Ar2之左上角之像素之亮度值相減)，並根據高斯函數產生一權重。產生權重之方式可如以下算式表示：
其中Ga係高斯函數，u(x+.)係主影像區塊A1之各個像素之亮度值，u(y+.)係參考影像區塊Ar1、Ar2之相對應像素之亮度值，而h係過濾參數。
依據算式(1)，當主影像區塊A1之各個像素之亮度值和參考影像區塊Ar1、Ar2之相對應像素之亮度值很接近時，則權重越接近1。而當主影像區塊A1之各個像素之亮度值和參考影像區塊Ar1、Ar2之相 對應像素之亮度值差異很大時，則權重越小，甚至趨近於0。另外，主影像區塊A1本身之權重係為1。權重越大之參考影像區塊代表該參考影像區塊所呈現之影像越接近於主影像區塊所呈現之影像，因此權重越大之參考影像區塊Ar1、Ar2之中心像素Pr1、Pr2之原始亮度值越接近主影像區塊A1之中心像素P1之原始亮度值。
在計算出權重之後，影像處理器130將主影像區塊A1之中心像素P1之亮度值和參考影像區塊Ar1、Ar2之中心像素Pr1、Pr2之亮度值乘以相對應之權重並加總起來以產生一加總結果。產生加總結果之方式可如以下算式表示：
其中u(y)係主影像區塊A1之中心像素P1之亮度值或參考影像區塊Ar1、Ar2之中心像素Pr1、Pr2之亮度值，Ω代表影像資料中被選定之範圍。
在產生加總結果之後，影像處理器130將加總結果除以一正規化因子以產生一第一亮度值。產生第一亮度值之方式可如以下算式表示：
其中C(x)係正規化因子，NL[u](x)係第一亮度值。將加總結果除以正規化因子係近似於將加總結果平均之概念，因此算式(3)產生之第一亮度值係近似於將主影像區塊A1之中心像素P1之亮度值及參考影像區塊Ar1、Ar2之中心像素Pr1、Pr2之亮度值乘以相對應權重後再加總及平均之結果，亦即第一亮度值係接近於主影像區塊A1之中心像素P1之原始亮度值加上平均後之影像雜訊之結果，而影像雜訊是隨機分布的，因此平均後之影像雜訊會遠小於原始影像雜訊。如此，影像處理器130可將第一亮度值取代原本主影像區塊A1之中心像素P1之亮度值，以降低中心像素P1之影像雜訊。
另外，影像處理器130可進一步將第一亮度值及主影像區塊A1之中心像素P1附近具和中心像素P1相同顏色之像素之亮度值進行平均以產生一第二亮度值，再將第二亮度值取代主影像區塊A1之中心像素P1之亮度值，如此中心像素P1之影像雜訊可進一步減少。
本發明影像處理方法可將上述流程應用於影像資料之全部(或大部分)像素上，以使影像資料之整體影像雜訊大幅地減少。另外，上述算式只是用以說明本發明影像處理方法之其中一實施例，在本發明其他實施例中，本發明影像處理方法可利用其他算式來計算權重和第一亮度值。
請參考第3圖，第3圖為本發明影像處理方法的流程圖300。本發明影像處理方法的流程如下列步驟：步驟310：於一影像資料中根據一主影像區塊之像素排列方式尋找複數個具相同像素排列方式之參考影像區塊；步驟320：根據該主影像區塊之各個像素之亮度值及該複數個 參考影像區塊之各個像素之亮度值產生複數個權重；步驟330：加總該複數個權重和相對應的該主影像區塊及該複數個參考影像區塊之中心像素之亮度值的乘積以產生一加總結果；步驟340：根據該加總結果及一正規化因子產生一第一亮度值；及步驟350：根據該第一亮度值更新該主影像區塊之中心像素之亮度值。
在步驟310中，根據主影像區塊之像素排列方式尋找其他具相同像素排列方式之參考影像區塊之方式可確保不會找到錯誤之參考影像區塊，以避免計算出來之第一亮度值不準確。
相較於先前技術，本發明提供一種可降低影像雜訊之影像處理方法，本發明影像處理方法係根據主影像區塊和參考影像區塊之相似度計算出相對應之權重，並進一步根據權重求得主影像區塊之中心像素之新的亮度值，使中心像素之新的亮度值係為原始亮度值加上平均後之影像雜訊之結果，因此可大幅降低影像擷取系統擷取之原始影像資料之影像雜訊。
300‧‧‧流程圖
310至350‧‧‧步驟

Claims (10)

  1. 一種可降低影像雜訊之影像處理方法，包含：於一影像資料中尋找複數個參考影像區塊，其中該複數個參考影像區塊中的每一參考影像區塊的像素排列方式和該影像資料中一主影像區塊之像素排列方式相同；根據該主影像區塊之各個像素之亮度值及該複數個參考影像區塊之各個像素之亮度值產生複數個權重，其中該複數個權重和該複數個參考影像區塊與該主影像區塊之間的距離無關；加總該複數個權重和相對應的該主影像區塊及該複數個參考影像區塊之中心像素之亮度值的乘積以產生一加總結果；根據該加總結果及一正規化因子產生一第一亮度值；及根據該第一亮度值更新該主影像區塊之中心像素之亮度值。
  2. 如請求項1所述之影像處理方法，其中根據該加總結果及該正規化因子產生該第一亮度值係為將該加總結果除以該正規化因子以產生該第一亮度值。
  3. 如請求項1所述之影像處理方法，其中根據該第一亮度值更新該主影像區塊之中心像素之亮度值係為將該第一亮度值取代該主影像區塊之中心像素之亮度值。
  4. 如請求項1所述之影像處理方法，其中根據該第一亮度值更新該主影像區塊之中心像素之亮度值包含；平均該第一亮度值及該主影像區塊之中心像素附近具和該主影像區塊之中心像素相同顏色之像素之亮度值以產生一第二亮度值；及將該第二亮度值取代該主影像區塊之中心像素之亮度值。
  5. 如請求項1所述之影像處理方法，其中該複數個參考影像區塊之中心像素之顏色係相同於該主影像區塊之中心像素之顏色。
  6. 如請求項1所述之影像處理方法，其中根據該主影像區塊之各個像素之亮度值及該複數個參考影像區塊之各個像素之亮度值產生複數個權重，係為根據該主影像區塊之各個像素之亮度值及該複數個參考影像區塊之各個像素之亮度值之比較結果及一高斯函數產生該複數個權重。
  7. 一種可降低影像雜訊之影像擷取系統，包含：一彩色濾光陣列，用以過濾光線；一影像感測器，用以感測通過該彩色濾光陣列之光線以產生一影像資料；及一影像處理器，耦接於該影像感測器，用以接收該影像資料，於該影像資料中尋找複數個參考影像區塊，其中該複數個參考影像區塊中的每一參考影像區塊的像素排列方式和該影像資料中一主影像區塊之像素排列方式相同，根據該主影像區塊之各個像素之亮度值及該複數個參考影像區塊之各個像素之亮度值產生複數個權重，其中該複數個權重和該複數個參考影像區塊與該主影像區塊之間的距離無關，加總該複數個權重和相對應的該主影像區塊及該複數個參考影像區塊之中心像素之亮度值的乘積以產生一加總結果，根據該加總結果及一正規化因子產生一第一亮度值，及根據該第一亮度值更新該主影像區塊之中心像素之亮度值。
  8. 如請求項7所述之影像擷取系統，其中該複數個參考影像區塊之中心像素之顏色係相同於該主影像區塊之中心像素之顏色。
  9. 一種可降低影像雜訊之影像處理器，包含：一輸出入介面，用以接收一影像資料；及一處理單元，用以於該影像資料中尋找複數個參考影像區塊，其中該複數個參考影像區塊中的每一參考影像區塊的像素排列方式和該影像資料中一主影像區塊之像素排列方式相同，根據該主影像區塊之各個像素之亮度值及該複數個參考影像區塊之各個像素之亮度值產生複數個權重，其中該複數個權重和該複數個參考影像區塊與該主影像區塊之間的距離無關，加總該複數個權重和相對應的該主影像區塊及該複數個參考影像區塊之中心像素之亮度值的乘積以產生一加總結果，根據該加總結果及一正規化因子產生一第一亮度值，及根據該第一亮度值更新該主影像區塊之中心像素之亮度值。
  10. 如請求項9所述之影像處理器，其中該複數個參考影像區塊之中心像素之顏色係相同於該主影像區塊之中心像素之顏色。
TW102104234A 2013-02-04 2013-02-04 可降低影像雜訊之影像處理方法 TWI528815B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW102104234A TWI528815B (zh) 2013-02-04 2013-02-04 可降低影像雜訊之影像處理方法
CN201310112263.7A CN103237158B (zh) 2013-02-04 2013-04-02 影像处理方法、影像撷取系统及影像处理器
US14/160,507 US20140218571A1 (en) 2013-02-04 2014-01-21 Image processing method capable of reducing image noise

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102104234A TWI528815B (zh) 2013-02-04 2013-02-04 可降低影像雜訊之影像處理方法

Publications (2)

Publication Number Publication Date
TW201433167A TW201433167A (zh) 2014-08-16
TWI528815B true TWI528815B (zh) 2016-04-01

Family

ID=48885172

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102104234A TWI528815B (zh) 2013-02-04 2013-02-04 可降低影像雜訊之影像處理方法

Country Status (3)

Country Link
US (1) US20140218571A1 (zh)
CN (1) CN103237158B (zh)
TW (1) TWI528815B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127635B2 (en) 2016-05-30 2018-11-13 Novatek Microelectronics Corp. Method and device for image noise estimation and image capture apparatus

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102144994B1 (ko) * 2013-09-30 2020-08-14 삼성전자주식회사 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
CN105376505B (zh) * 2015-11-04 2018-10-09 上海兆芯集成电路有限公司 相似块融合方法以及使用该方法的装置
US10282831B2 (en) * 2015-12-28 2019-05-07 Novatek Microelectronics Corp. Method and apparatus for motion compensated noise reduction
CN109905690B (zh) * 2017-12-11 2021-06-22 瑞昱半导体股份有限公司 影像调整装置与方法
CN113469531A (zh) * 2021-07-02 2021-10-01 国网北京市电力公司 电力客户状态监控方法、装置、电子设备及可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625325B2 (en) * 1998-12-16 2003-09-23 Eastman Kodak Company Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel
US6885775B2 (en) * 2000-01-21 2005-04-26 Matsushita Electric Industrial Co., Ltd. Image processing method and image processing apparatus
JP2004266369A (ja) * 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
FR2870071B1 (fr) * 2004-05-05 2006-12-08 Centre Nat Rech Scient Cnrse Procede de traitement de donnees d'images, par reduction de bruit d'image, et camera integrant des moyens de mise en oeuvre de ce procede
FR2919943B1 (fr) * 2007-08-07 2010-02-26 Dxo Labs Procede de traitement d'objet numerique et systeme associe
FR2930360B1 (fr) * 2008-04-21 2010-10-08 Inst Nat Rech Inf Automat Dispositif de traitement d'images ameliore.
US8139650B2 (en) * 2008-08-07 2012-03-20 California Institute Of Technology Fast noise reduction in digital images and video
CN101854468B (zh) * 2009-04-02 2011-10-19 华晶科技股份有限公司 去除影像噪声的修补方法
CN101883210B (zh) * 2009-05-06 2012-10-31 晨星软件研发(深圳)有限公司 影像处理装置以及影像处理方法
US8417047B2 (en) * 2011-03-01 2013-04-09 Microsoft Corporation Noise suppression in low light images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127635B2 (en) 2016-05-30 2018-11-13 Novatek Microelectronics Corp. Method and device for image noise estimation and image capture apparatus

Also Published As

Publication number Publication date
TW201433167A (zh) 2014-08-16
CN103237158B (zh) 2016-09-07
CN103237158A (zh) 2013-08-07
US20140218571A1 (en) 2014-08-07

Similar Documents

Publication Publication Date Title
TWI528815B (zh) 可降低影像雜訊之影像處理方法
TWI425445B (zh) 用於判斷一移動平台之自我運動量的方法以及偵測系統
JP2015197745A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US20140133774A1 (en) Image processor and image dead pixel detection method thereof
KR20140033414A (ko) 고해상도 멀티스펙트럼 이미지 캡처 기법
CN110730336A (zh) 一种去马赛克方法及装置
JP5414691B2 (ja) 画像処理装置及び画像処理方法
JP2014086932A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN103997592B (zh) 视频降噪方法和系统
JP2023058558A (ja) ユーザデバイスに適用される自然の手持ち式の動きを用いた超解像
JP2021043874A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2015062270A (ja) 画像処理装置
JPWO2017154293A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US8693798B2 (en) Image sharpness processing apparatus and image sharpness processing method
JP2010276469A (ja) 画像処理装置及び測距装置の画像処理方法
TWI693577B (zh) 影像產生方法與電子裝置
US10848726B2 (en) Color-shift calibration method and device
TW201445506A (zh) 決定解馬賽克內插方向的方法與裝置以及非暫時性機器可讀取儲存媒介
TWI479455B (zh) 全對焦影像之建立方法
TWI556643B (zh) Image adjustment method
TWI723729B (zh) 白平衡調整方法、影像處理裝置與影像處理系統
CN107517367B (zh) 拜尔域图像插值方法、装置、图像处理芯片及存储装置
CN115115566A (zh) 一种热成像图像的处理方法及装置
US20150146064A1 (en) Image processing apparatus, image processing method, solid-state imaging device, and electronic apparatus
US9298319B2 (en) Multi-touch recognition apparatus using filtering and a difference image and control method thereof

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees