TW201214334A - Denoising CFA images using weighted pixel differences - Google Patents

Denoising CFA images using weighted pixel differences Download PDF

Info

Publication number
TW201214334A
TW201214334A TW100103498A TW100103498A TW201214334A TW 201214334 A TW201214334 A TW 201214334A TW 100103498 A TW100103498 A TW 100103498A TW 100103498 A TW100103498 A TW 100103498A TW 201214334 A TW201214334 A TW 201214334A
Authority
TW
Taiwan
Prior art keywords
pixel
weighted
image
value
difference
Prior art date
Application number
TW100103498A
Other languages
English (en)
Inventor
James E Adams Jr
Mrityunjay Kumar
Efrain O Morales
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of TW201214334A publication Critical patent/TW201214334A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

201214334 六、發明說明: 【發明所屬之技術領域】 本發明係關於使用偏微分方程式技術自一彩色濾光器陣 列影像產生一雜訊降低彩色濾光器陣列影像。 【先前技術】 一單一感測器數位相機通常採用一彩色濾光器陣列 (CFA)以自一單一二維光敏像素陣列擷取全彩色資訊。 CFA包括一彩色濾光器陣列(其過濾每一像素所偵測之 光)。因此,每一像素自僅一色彩接收光,或在一全色或
透明」濾光器之情形下自所有色彩接收光。為了自CFA 影像再現一全彩色影像,必須在每一像素位置產生三種色 彩值。此係藉由内插來自鄰近像素值之丟失色彩值加以完 成。此内插程序通常被稱為CFA内插或去馬赛克。 在CFA内插之前,影像資料存在於一稀疏資料集表示 中’亦即,每像素僅一色彩值。冑每一待處理像素存在三 個或三個以上色彩值時,此在計算上有利於在此表示中之 影像資料(而非CFA内插之後的影像資料)之雜訊清潔或降 雜訊。在先前技術中可找到使CFA影像資料降雜訊之許多 方法。 亦可在適當調整下,剌於使全彩色影像降料之若干 熟知方法應用於CFA影像。-此類方法係各向異性擴散, 其係-種類型之偏微分方程式_)降雜訊,如二由
Per0na等人在《IEEE圖案分析及 「 白葸會刊》,文章
Scale-space and edge detection u.i, using anisotropic 151978.doc 201214334 diffusion」,第12卷,1990年,第629至639頁中首先描述 般。Perona等人僅論述使全解析度灰階(照度)影像降雜訊 且未教示全彩色影像或CFA影像之降雜訊。
TschumperlS等人在《IEEE信號處理雜f志》,文章 「Diffusion PDEs on vector-valued images」,第 19卷,第 5 期,2002年9月,第16至25頁中詳述Perona等人之方法以 包含全彩色影像之降雜訊,但未提及CFA影像。 許多方法個別地簡單處理CFA影像中之每一色彩,導致 獨立灰階(照度)降雜訊操作。在Acharya等人之名為 「Edge-detection based noise removal algorithm」之美國 專利第 6,229,578號、Gindele等人之名為「Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel」之美國專利第 6,625,325 號、Bosco 等人之名為「Noise filter for Bayer pattern image data」之美國專利第 7,369,165號、Keshet等 人之名為「Edge-sensitive denoising and color interpolation of digital images j 之美國專利第 7,418,130 號及 Tsuruokam 等人之名為「Image capturing system and computer readable recording medium for recording image processing program」之美國專利申請案第2009/0219417號中可找到若 干實例。所有此等方法皆遭受無法直接降低CFA影像中之 色度雜訊之苦。 其他方法提出明確地降低CFA影像中之照度雜訊及色度 雜訊兩者。存在於相同位置處之不同通道組合亦被稱為通 151978.doc 201214334 道。色度通道(明確地或隱含地)具有紅色減綠色(R_G)及藍 色減綠色(B-G)或紅色減照度(R-Υ)及藍色減照度(B-Y)之形 式。在 Adams Jr.等人之名為「Noise cleaning sparsely populated color digital images」之美國專利申請案第 2006/0152596 號及 Matsushita 等人之名為「Imaging device, image processing device, image processing method, program for image processing method, and recording medium having program for image processing method recorded thereon」之 美國專利申請案第2009/0052797號中給出此方法之若干實 例。此等方法的問題在於當色度值(諸如r_G)係容易計算 時’該等色度值通常不缺乏照度資訊(諸如邊緣及文字細 節)。此繼而降低使色度資訊降雜訊而不使影像中之照度 資訊降級之能力。在Miyano等人之名為rAutomatic white balance adjusting device」之美國專利第5 644 358號中描 述一更佳照度-色度變換。此變換提供一種在仍容易計算 色度資訊之情況下之照度資訊與色度資訊之經改良分離。 因此,需要-種使CFA影像中之照度及色度資訊降雜訊 而無需明確或隱含馬赛克操作之方法。 【發明内容】 根據本發明,提供一種降低藉由包括一個二維光敏 陣列之一數位影像感測器擷取之一 影像中之雜訊之方法 該二維光敏像素陣列包含至少=個相 y —個相異通道之像素,該 像素係以一矩形最小重複單元 直該方法包括使用一 訊降低程序,使用一處理器來判定一 J ^ 第一通道之每一偉 151978.doc
S 201214334 之雜訊降低像素值,該雜訊降低程序包含: aj針對該第-通道之—中,讀素周圍之複數個方向, 計算一局部邊緣回應加權值集合; b)計算該中心像素之像素值與該複數個方向上之該第 一通道之附近像素之像素值之間的像素差; Ο藉由組合該等第一像素差與該局部邊緣回應加權值 集合來計算第一加權像素差; d) 计算該中心像素附近之至少一不同通道之像素之像 素值與該複數個方向上之該至少1同通道之附近像素之 像素值之間之第二像素差; e) 藉由組合該等第二像素差與該局部邊緣回應加權值 集合來計算第二加權像素差;及 〇藉由組合該第一加權像素差及該第二加權像素差與 s中像素之像素值來計算該中心像素之一雜訊降低像素 值。 ’、 本發明之一優點在於降低CFA影像之照度雜訊及色度雜 讯兩者而無需在降雜訊程序之前執行去馬賽克(cfa内插) 或執行去馬赛克作為降雜訊程序之部分。 。。本發明之一進一步優點係藉由在每一像素位置處僅使一 單通道降雜訊而非使一般多個通道降雜訊來降低使CFA 影像降雜訊所需的計算努力。 本發月之額外優點在於使用一單一程序而非兩個單獨 程序來降低CFA影像之照度雜訊及色度雜訊兩者。 透過檢視較佳實施例及隨附申請專利範圍之下文詳細描 151978.doc 201214334 述’並參考隨附圖式,將更清晰地瞭解及意識到本發明之 此及其他態樣、目的、特徵及優點。 【實施方式】 在下文描述中,將就一般會被實施為一軟體程式而描述 本發明之一較佳實施例。熟習此項技術者將容易地認知亦 可在硬體中建構此軟體之等效物。因為影像操縱演算法及 系統為熟知,當前描述將尤其關於形成根據本發明之系統 及方法之一部分或與該系統及方法更直接協作之演算法及 系統。可自在此項技術中已知的此等系統、演算法、組件 及元件_選擇未在本文中特定展示及描述之此等演算法及 系統之其他態樣及隨之涉及的用於產生並另外處理影像信 號之硬體或軟體。在下列材料中如根據本發明所述之系統 的情況τ,對於實施本發明有用之本文未特定展示、暗示 或描述的軟體係習知的且係在此等技術之一般技術内。 又此外,如本文中所用,可將用於執行本發明之方法之 電腦程式儲存於—電腦可讀取儲存媒財,該電腦可讀取 儲存媒體可包含(舉例而言)諸如一磁碟(諸如一硬碟或一軟 碟)或磁帶之磁性儲存媒體;諸如一光碟、光學磁帶或機 器可讀取條碼之光學儲存媒體;諸如隨機存取記憶體 (Ram)或唯讀記憶體(R〇M)之固態冑子儲存裝f ;或用以 儲存一電腦程式之任何其他實體裝置或媒體。 因為採用成像裝置及用於信號榻取及校正以及用於曝光 控制之相關電路係熟知的,所以當前描述將尤其關於形成 根據本發明之方法及設備之部分或與該方法及設備更直接 151978.doc 201214334 協作之元件。本文中未特定展示或描述之元件係自此項技 術中已知之該等者選擇。在軟體中提供待描述之實施例之 特定態樣。在下列材料中如根據本發明所示及描述之系統 的情況下,對於實施本發明有用之本文中未特定展示、描 述或暗示的軟體係習知的且係在此等技術之一般技術内。 現參考圖1 ,展示具體實施本發明之一影像擷取裝置之 一方塊圖。在此實例中,將該影像擷取裝置展示為一數位 相機》然而,儘管現將說明一數位相機,但本發明明顯亦 可應用於其他類型的影像擷取裝置。在所揭示的相機中, 將來自主場景之光10輸入至一成像台丨丨中,其中藉由透鏡 12聚焦該光以在一固態彩色濾光器陣列影像感測器2〇上形 成一影像。彩色濾光器陣列影像感測器2〇將入射光轉換成 每一圖像元素(像素)之一電信號。較佳實施例之彩色濾光 器陣列影像感測器20係一電荷耦合裝置(CCD)類型或一主 動像素感測器(APS)類型。(因為APS裝置可在一互補金屬 氧化物半導體製程中製造,所以Aps裝置通常被稱為 CMOS感測器。)亦可使用具有二維像素陣列之其他類型的 影像感測器,前提係該等影像感測器採用本發明之圖案。 於本發明中使用的彩色濾光器陣列影像感測器20包括一個 二維彩色像素陣列,如描述圖i之後在本說明書中將變得 清楚般。 到達該彩色濾光器陣列影像感測器2〇之光量係藉由改變 孔徑之一光圈區塊14及包含穿插於光學路徑中之一或多個 中性密度(ND)濾光器之一 ND濾光器區塊13加以調節。在 151978.doc 201214334 ^門職_亦㈣總光㈣…以㈣㈣回應於 了用於·%景中、如一袁声;=^;g丨丨取广 ; 栌制此IV 一感初器區塊16所量測之光量並且 控制此二個調卽功能之所有者。
熟習此項技術者將熟悉-特定相機組態之此描述,且將 明顯的是存在許多變動及額外特徵。例如,可添加一J 聚焦系統,或透鏡可為可却離及可互換。將瞭解,可將本 發明應用於任何類型的數位相機,其中藉由替代性組件提 供類似功能性。例如’數位相機可為一相對簡單傻瓜 (point-and-shoot)數位相機,其中該快門18係一相對簡單 可移動葉片快門或類似物’而非更複雜焦平面配置。亦可 使用包含於非相機裝置(諸如行動電話及汽車)中之成像組 件實行本發明。 來自該彩色濾光器陣列影像感測器2 〇之類比信號係藉由 類比七號處理器22處理且係施加至類比轉數位(A/D)轉換 器24。一時序產生器26產生各種時脈信號以選擇列及像 素,且同步化類比信號處理器22與八/;〇轉換器24之操作。 一影像感測器台28包含彩色濾光器陣列影像感測器2〇、類 比信號處理器22、A/D轉換器24及時序產生器26。影像感 測器台28之組件可為經個別製造之積體電路,或可如由 CMOS影像感測器通常所做般將影像感測器台28之組件製 造為一單一積體電路。將來自該A/D轉換器24之數位像素 值之所得串流儲存於與一數位信號處理器(DSp)36相關聯 之一數位信號處理器(DSP)記憶體32中。 在此實施例中,DSP 36係除了 一系統控制器50及曝光控 15197B.doc
S •10. 201214334 · 制器40外的三個處理器或控制器之-者。儘管在多個控制 器與處理器之間劃分相機功能控制係典型的,然可以各種 方式組合此等控制器或處理器,而不影響相機之功能操作 及=發明之應用。此等控制器或處理器可包含一或多個數 位L號處理器裝置、微控制器、可程式化邏輯農置或其他 數位邏輯電路。儘管已描述此等控制器或處理器之叫旦 合,然而應明白,可指定一控制器或處理器以執行所有所 需功能》所有此等變動可執行相同功能並且落於本發明之 範相’且將視需要使用術語「處理台」以將所有此功能 性涵蓋一個片語中(舉例而言,如在圖1中之處理台38中 ,在㈣示的實施例中,Dsp 36根據—軟體程式操縱咖 記憶體32中之數位影像資料,該軟體程式永久儲存於一程 式記憶體54中且在影像擷取期間被複製至Dsp記憶體以以 用於執行。DSP 36執行實行下文描述之影像處理所需之軟 體》DSP記憶體32可為任何類型之隨機存取記憶體(諸如 SDRAM)。包含用於位址信號及資料信號之一路徑的匯流 排30將DSP 36連接至其相關的Dsp記憶體32、a/d轉換器 24及其他相關組件。 系統控制器50基於儲存在程式記憶體54中之一軟體程式 而控制相機的總體操作,該程式記憶體54可包含快^ EEPROM或其他非揮發性記憶體。亦可將此記憶體用以儲 存影像感測器校準資料、使用者設定選擇及在相機關閉時 必須留存之其他資料。系統控制器50藉由以下步驟來控制 影像掏取序列:引導曝光控制器4〇以操作如前所述之透鏡 151978.doc •11· 201214334 12、ND濾光器區塊13、光圈區塊14及快門i8 ;引導時序 產生器2 6以操作彩色濾光器陣列影像感測器2 G及相關聯元 件;及引導DSP 36以處理所摘取之影像資料4操取並處 理-影像之後’儲存於Dsp記憶體32中之最終影像檔案經 由主機介面57而傳遞至—主機電腦,儲存在—可抽換式記 憶體卡64或其㈣存裝置上,並且於—影像顯示㈣上顯 不給使用者。 資料信號及 一系統控制器匯流排52包含用於位址信號、 控制信號之-路徑,且將系統控制器5〇連接至Dsp 36、程 式記憶體54、-系統記憶體%、主機介面57、—記憶體卡 介面6〇及其他相關組件。主機介面57將一高速連接提供至 -個人電腦(PC)或其他主機電腦以傳遞用於顯示、儲存、 操縱或列印之影像資料。此介面可為一 ieee 1394或 USB2.0串列介面或任何其他適當的數位介面。記憶體卡μ 通常係插入於一記憶體卡插口62中且經由記憶體卡介面⑽ 連接至系統控制器5〇之一小型快閃記憶體㈣卡。可利用 的其他類型之儲存器包含(但不限於)pc卡、多媒體卡 (MMC)或安全數位(SD)卡。 經處理之影像被複製至系統記憶體%中的一顯示器緩衝 器且經由視訊編碼器8〇連續讀出以產生一視訊信號。此信 號係自相機直接輸出以在—外部監視器上顯示或藉由顯示 器控制器82處理並呈現於影像顯示器⑽上。此顯示器通常 係一主動矩陣彩色液晶顯示但亦可使用其他類 型之顯示器。 151978.doc
S -12· 201214334 藉由在曝光控制器40及系統控制器50上執行的軟體程式 之一組合控制一使用者介面68,該使用者介面68包含—取 景器顯示器70、一曝光顯示器72、一狀態顯示器%、影像 顯示器88及使用者輸入74之所有者或任何組合。使用者輪 入74通常包含以下之某種組合:按鈕、搖臂開關、操縱 桿、旋轉式撥號盤或觸控螢幕。曝光控制器4〇操作光量 測、曝光模式、自動聚焦及其他曝光功能。系統控制器5〇 官理呈現於該等顯示器之一或多者上(例如,呈現於影像 顯示器88上)之一圖形使用者介面(Gm)。該〇1;1通常包含 用於作出各種選項選擇之選單及用於檢查所擷取之影像之 檢視模式。 曝光控制器40接受選擇曝光模式、透鏡孔徑、曝光時間 (快門速度)及曝光指數或ISO速度評比之使用者輸入且相 應地引導透鏡12及快門18以用於後續擷取。亮度感測器區 塊16經採用以量測場景之亮度,且對使用者提供一曝光量 測功能以在手動設定ISO速度評比、孔徑及快門速度時供 使用者參考。在此情形中,隨著使用者改變一或多個設 定,呈現於取景器顯示器70上之測光表指示器告知使用者 該影像將曝光過度或是曝光不足至何種程度。在自動曝光 模式中,使用者改變一設定且曝光控制器4〇自動改變另一 设定以维持正確曝光,例如,針對一給定IS〇速度評比, 當使用者減小透鏡孔徑時,曝光控制器4〇自動增加曝光時 間以維持相同的總體曝光。 ISO速度評比係數位靜態相機之一重要屬性。曝光時 151978.doc •13· 201214334 間、透鏡孔徑、透鏡透射度、場景照明之位準及光譜分佈 以及場景反射度決定一數位靜態相機之曝光位準。當使用 一不足曝光獲得來自一數位靜態相機之一影像時,通常可 藉由增加電子增益或數位增益來維持適當的色調再現,但 所得影像通常將含有一不可接受之雜訊量。隨著曝光增 加’增益減少,且因此影像雜訊通常可減少至一可接受位 準。若曝光增加過度’則在影像之明亮區域内的所得信號 可超出影像感測器或相機信號處理之最大信號位準容量。 此可引起影像突顯被修剪以形成一均勻明亮區域或「輝散 (bloom)」至該影像的周圍區域中。因此,導引使用者設 定適當曝光係重要的《意欲將一 ISO速度評比用作為此一 導引。為使攝影者易於理解’用於一數位靜態相機之is〇 速度評比應與用於照相軟片相機之ISO速度評比直接相 關。例如’若一數位靜態相機具有IS〇 2〇〇之一IS〇速度評 比’則相同的曝光時間及孔徑應適用於一經IS〇 2〇〇評比 之軟片/處理系統》 意欲將ISO速度評比與軟片iso速度評比進行協調。然 而在電子成像系統與基於軟片之成像系統之間存在差 異,该·#差異排除精確的等效。數位靜態相機可包含可變 增益’且可在已擷取影像資料之後提供數位處理,使得在 相機曝光範圍内可達成色調再現。因此,對於數位靜態相 機而言具有速度評比之一範圍係可能的。此範圍被定義為 ISO速度寬容度(speed latitude)。為防止混淆,將一單一值 指定為固有的ISO速度評比,其中〖so速度寬容度上限及下 151978.doc
S 201214334 限指示速度範圍(即,包含不同於固有IS〇速度評比之有效 速度評比之L至此,㈣_速錢自—數位靜離 相機之焦平面處提供的曝光計算之用於產生指定相機輸出“ 信號特性之-數值。該固有速度通常係針對用於_普通場 景之-給定相機系統產生最高影像品質之曝光指數值,其 中該曝光指數係與提供至影㈣測器之曝光成反比例之二 數值。 熟習此項技術者將熟悉一數位相機之以上描述。顯然的 是,存在此實施例之許多變動,且該等變動係可能的且經 選擇以減少成本、增加特徵或改良相機之效能。以下描述 將詳細揭示根據本發明之用於擷取影像之此相機之操作。 儘官此描述係參考—數位相機,職瞭解本發明適用於與 具有一影像感測器(其具有複數個色彩通道之像素)之任^ 類型的影像擷取裝置一起使用。 圖1中展示的彩色濾光器陣列影像感測器2〇通常包含製 造於-石夕基板上之-個二維光敏像素陣列,該二維光敏像 素陣列提供-種將每—像素處之射人光轉換成所測量之一 電信號之方法。隨著彩色遽光器陣列影像感測器20被曝露 於光,自由電子產生,且被擷取於每一像素處之電子結構 内。掏取此等自由電子達一段時期且接著量測所掏取的電 數目或者里測該等自由電子的產生速率可測量在每一 像素處之光位準。在前—情形中,如在_電荷耗合裝置 (D)中所累積之電荷被轉移出該像素陣列至一電荷至 電壓量測電路,或如在—主動像素感測器(APS或CMOS感 151978.doc 15· 201214334 測器)中,接近每一像素之區域可含有一電荷至電壓量測 電路之元件。 在下列描述中每當一般引用一影像感測器時皆應將其 理解為表示來自圖i之彩色濾光器陣列影像感測器2〇。声 進一步瞭解的是,本說明書中所揭示之本發明之影像感測 器架構及像素圖案之所有實例及其等之等效物係用於彩色 溏光器陣列影像感測器2〇。 在一影像感測器之背景内容中,一像素(「圖像元素」 之一縮寫)係指一離散光感測區域及與該光感測區域相關 聯之電%轉移或電街測量電路。在一數位彩色影像之背景 内容中,術語「像素」通常係指具有相關聯色彩值之影像 中的一特定位置》 圖2係本發明之較佳實施例之一高階視圖之一流程圖。 藉由影像感測器2〇(圖1)產生一原始彩色濾光器陣列(CFA) 影像1〇〇。降雜訊區塊102藉由處理該原始CFA影像1〇〇產 生一降雜訊(雜訊降低)之CFA影像104。 圖3係根據本發明之一較佳實施例之降雜訊區塊I 〇2(圖 2)之一詳細描述。一單一色彩降雜訊區塊1〇6自該原始cFa 影像100產生一第一降雜訊之CFA影像1〇8。接著,一cfA 色度降雜訊區塊11〇藉由對該第一降雜訊之CFA影像1 〇8施 加進一步處理來產生一第二降雜訊之CFA影像112。該第 一降雜訊之CFA影像112變成降雜訊之CFA影像104。 圖4展示單一色彩降雜訊區塊106(圖3)之一詳細描述。 计算像素差區塊114自原始CFA影像100產生像素差116。計 151978.doc 201214334 算局部邊緣回應加權值區塊118自該等像素差116產生局部 邊緣回應加權值12〇。計算加權像素差區塊122自該等局部 邊緣回應加權值120產生加權像素差124。最後,計算第一 降雜訊之像素值區塊⑶自該等加權像素差124產生該第一 降雜訊之CFA影像108。 圖4中的計算像素差區塊114係以下列方式進行計算。圖 7展示來自該原始CFA影像100之一像素區域。在以下論述 中,假定將像素值GE降雜訊。如下列方程式中所示般,藉 由計算像素差區塊114計算四個像素差116(心、心、心及 δψ): 5]sj =ί G2 Gg Ο) =Gr -Ge (2) = 〇G -Gg (3) = Gq —Gg (4) 該等像素差δΝ、δ5、δΕ及係經降雜訊之像素值(Ge)與 在上(N-北」)、下(S=「南」)、右(E=「東」)及左(w= 「西」)方向上之相同色彩之四個最接近像素值(g2、gr、 Gg、Gc)。一旦計算此等像素差,即藉由計算局部邊緣回 應加權值區塊118計算局部邊緣回應加權值。該等值係使 用下列方程式進行計算: Λυ> 其中C係該局部邊緣回應加權值12〇,5係像素差116,ky係 151978.doc •17· 201214334 一常數且H係一向量範數運算子。在較佳實施例中,該向 量範數運算子係該像素差11 6之絕對值。此外,設定一使 得對應於原始CFA影像100中之強烈可見邊緣之較大絕對 像素差產生較小局部邊緣回應加權值且對應於原始CFA影 像100中之平坦(平滑)區域之較小絕對像素差產生較大局部 邊緣回應加權值。繼續以上給定之先前四個像素差,如下 舨計算下列四個局部邊緣回應加權值: 1 + f|G2-GE|f 1 kv 1 ⑹ l kY J 1 ⑺ ! Π°〇 -°εΠ2 l kY J 1 (8) 1+(1Gc-GEn2 l kY J (9) 接著使用下列方程式,使用該等像素差及該等局部邊緣 回應加權值來計算加權像素差丨24 : w = 8c (10) 在此方程式中,w係加權像素差124,5係像素差116且C 係局部邊緣回應加權值丨2 〇 ^繼續以上給定之四個值之集 合’計算下列四個加權像素差: 151978.doc •18- (11)201214334 WN =δΝ ·〇Ν
WS =8S*CS = ~—^ ~°P ι+(Ί2^£§1)2I kY J wE =δΕ .cE,— Qfi-Gc |G〇 -Gf|n2 (12) (13) 1 +
kY (14) ww =5W -cw ---9_C~Gr 1+ l_GC-GEr|2
、kY 值 使用下列方程式什算第—降雜訊之CFA影像⑽之像素 X, =χ+λΣ^ί (15) 在此方程式t ’ X’係該第—降雜訊之CFA影像⑽(圖3) 之像素值’ X係原始CFA影像⑽(圖2)之初始像素值,入係 -速率控制常數且Wi係第i方向(N、S、MW)上之加權像 素差124。對複數個方向i執行加總。通常將該速率控制常 數設定成小於1之-值,使得該方程式之結果在如下述般 反覆重複降雜訊計算時仍保持穩定且有效。繼續以上四個 值之集合’針對輸人像素&計算第—降雜狀CF 108之像素值。
Gg = Gp 丨 WN +WS + WE +ww 16 其中在此表達式中,已將λ設定為1/16 151978.doc •19- (16) 201214334 在先刖-述中’假定將像素值GE(圖7)降雜訊。應用類 似估算以計篡兮笛政灿 Μ用類 十算該第—降雜訊之CFA影像108之每一像 針對每一像音,#用力姑老袖 ’、 f使用在被處理之“像素周圍之複數個方 向上之相同色彩之附近像素 4 1豕茉at算像素差116及局部邊 應加權值120。例如,計|禮备p —故 冲异像素Rf之降雜訊像素值將採用 冢I R3、RD、1^及Rs,而計算傻音 T异像常Βκ之降雜訊像素值將 使用像素B8、Bl、B]^BX。 在本發明之-替代實施例中’計算局部邊緣回應加權值 區塊118中所使用的向量範數將使用兩個或兩個以上色 彩。作為—實例,下列表達式將鄰近像素差之絕對值的總 和用作為向量範數: 1 (17) 1.(1R_3-RFHG2-GEHBS-Bd、
l kY
CS 1 1 +
|rs -Rf|+|gr -ge|+|bx -b^i"!2 kY (18) c
E 1十
"|rh -Rf|+|Gg -QeI+IBm-bk I)2 kY 09) cw 1 + ’|Rt> -RfMgC _Ge|+|Bi -BK|)2 (20) 熟習此項技術者將熟知使用兩個或兩個以上色彩之其他 向量範數。 在本發明之一實施例中’以反覆方式執行單一色彩降雜 151978.doc -20- 201214334 訊區塊106達一次以上。作為一實例,可反覆執行單一色 彩降雜訊區塊106三次以產生第一降雜訊之CFA影像108 » 基於待執行的反覆次數調整速率控制常數λ,使得所得第 一降雜訊之CFA影像經適當降雜訊。 圖5係CFA色度降雜訊區塊11 〇(圖3)之一詳細描述。一計 算色度值區塊128自該第一降雜訊之CFA影像108產生色度 值130。一計算色度差區塊132自該等色度值130產生色度 差134。一計算局部色度邊緣回應加權值區塊136自該等色 度差134產生局部色度邊緣回應加權值138。一計算加權色 度差區塊140自該等局部色度邊緣回應加權值138產生加權 色度差142。最終,一計算第二降雜訊之像素值區塊144自 該等加權色度差142產生第二降雜訊之CFA影像U2。 在圖5中,該計算色度值區塊128以下列方式執行計算。 參考圖6,組成原始CFA影像1〇〇中之一最小重複單元之每 一2x2像素區塊146被視為處理2χ2像素區塊146中之每一像 素值之中心、148中之-單—像素。將此想法應用於圖7 ,使 用下列表達式計算與GE相關聯之色度值: (21) 〜係綠色像素及紅色像素之一列上之一綠色像素值。將 一類似表達式用於綠色像素及藍色像素之__列上的綠色像 素值。例如,將下列表達式用於計算&之色度值:
Cl=2Gl-Rs_bm f22、 151978.doc ·21· 201214334 針對與藍色像素值(諸如Βκ)相關聯之色度值,使用下列 表達式: ~Rf (23) 最終’針對與紅色像素值(諸如rf)相關聯之色度值,亦 使用先前表達式,其中將紅色值與藍色值顛倒:
Cp =Rp (24) 計算色度差區塊132以下列方式產生色度差134 ^再次參 考圖7 ’針對GE計算下列色度差: δΝ =c2 -CE =(2G2 -R3 -B8)-(2Ge -Rp -BK) (25) 5S =CR -CE =(2Gr -Rs -Bx)-(2Ge -Rf -Bk) (26) δΕ =CG -CE =(2Gg -Rh -Bm)-(2Ge -Rf -Bk) (27) 5W =Cc-CE =(2Gc-Rd-B,)-(2Ge-Rf-Bk) (28) 針對BK,計算下列色度差: δΝ =c8 _CK =(Bg -R3)-(Bk -Rf) (29) 6S =CX -CK =(BX -Rs)-(Bk -Rf) (3〇) =CM _CK =(Bm -Rh)_(bk -Rp) (31) 6W =C,-CK=(B,-RD)-(BK-RF) (32) 如前般,針對RF使用BK之表達式,其中將紅色像素值與 藍色像素值互換。 計算局部色度邊緣回應加權值區塊136以下列方式產生 局部色度邊緣回應加權值138 : J51978.doc •22- 201214334 。瑜 (33) 在此方程式中,C係局部色度邊緣回應加權值138,§係 色度差134,kc係一常數,且|«|係一向量範數運算子。在 較佳實施例中,該向量範數運算子係色度差i 34的絕對 值。此外,kc經設定使得對應於第一降雜訊之CFA影像ι〇8 中之強烈可見邊緣的較大絕對色度差產生較小局部色度邊 緣回應加權值,且對應於第一降雜訊之CFA影像丨〇8中之 平坦(平滑)區域的較小絕冑色度差產生較大局冑色度邊緣 回應加權值。 繼續以上給定之仏之先前四個色度差,計算下列四個局 部色度邊緣回應加權值: (34) (35) (36) (37) 】Ί (1c2 - CE|) l k〇 J l , f|CR. ~CEn2 ’|CG - Ce|"|2 、kC , ],ilCC -CeH2 l kc > 列方式計算BK之局部色度邊緣回應加權值: 151978.doc -23- — 1 _ 201214334
CN ΐι_ι£ϋ!2 ,kc (38) cs 1 +
1CX _Ck|)2 l kC J (39)
CE |CM -〇κΓ ‘ kc (40) cw 1 + |Cj -cK|)2 .kc > (41) 以類似於針對BK實行般之一方式計算RF之局部色度邊緣 回應加權值。 計算加權色度差區塊140使用下列方程式產生加權色度 差 142 : :δ·< (42) 在此方程式中,w係加權色度差142,δ係色度差134且c 係局部色度邊緣回應加權值138。 繼續以上給;t之GK四個值之集合,計算下列四個加權 色度差 WN 。2-丨個2 WS =δ8.〇8 = 一《~CF. (43) 1 + -cE|)2 (44) 151978.doc s -24- 201214334
we =δΕ -cE ι+ wW =6W -cw 1 + CG ~CEricG-cEn2 kC > Cc ~CE1cc-cE|、2 、kc (45) (46) 以下列方式計算BK之加權色度差 w N *C]sj
C8 ~CK 1 + |C8 - Ck|、2 l kc (47) w S aSs cs
CX ~CK 1 + ficx-cKn2 (48) V/
E =½,cE 1 + 1 + ,kc J Cm _Ck 1CM ~CkP kC ) CI ~CK |Ct -Ck| .kc . (49) (50) 以類似於BK之一方式計算RF之加權色度差。 針對綠色值’計算第二降雜訊之像素值區塊144使用下 列方程式自第一降雜訊之CFA影像108及加權色度差142產 生第二降雜訊之CFA影像112 : X, :X + λ^.' (51) 在此方程式中,X,係第二降雜訊之CFA影像112之像素 值’ X係第一降雜訊之CFA影像108之像素值,人係一速率 15I978.doc •25· 201214334 控制常數且Wi係第i方向(N、S、£或W)上之加權色度差 142。對複數個方向i執行加總。通常將速率控制常數入設 定為小於1之一值,使得在如下述般反覆重複降雜訊計算 時該方程式之結果保持穩定且有效。 繼續自上述之ge之四個值之集合,如以下般計算像素Ge 之第一降雜訊之CFA影像112之像素值: (52)
Gr = Gp I WN +WS+WE +WW 32 在以上表達式中’已將人設定為1/32。如以下般計算像 素BKi第二降雜訊之cFa影像112之像素值: B'K = Βκ
WN + WS + WE + wW 16 (53) 在以上表達式中,已將λ設定為1 /1 6。以類似於針對bk 貫行般之一方式計算像素rf之第二降雜訊之Cfa影像112 之像素值。 在本發明之一替代實施例中,計算局部色度邊緣回應加 權值區塊13 6中所使用的向量範數使用兩個或兩個以上色 度差。作為一實例,下列表達式將鄰近色度差之絕對值之 總和用作為向量範數:
1^2 ~^ε| + 1^8 ~^κΓ kC Λ 1 CN = —:-— (54) 1 + cs 1 +
lCR ~Ce1 + |CX ~CkP kC (55) 151978.doc ^ -2o - s 201214334 (56) (57) CE ~~· 1 1+ jpo ~ceI + |Cm -Ck)"" 、 kC j CW ------1 _ i4.iicc -cE|+|Ci -cKn2
l kc J 可將此等相同局部色度邊緣回應加權值用以計算一個以 上色彩通道(例如,Ge及Βκ)之第二降雜訊之CFA像素值。 使用兩個或兩個以上色度差之其他向量範數將為熟習此項 技術者所熟知。 在先前論述中,描述CFA色度降雜訊區塊11〇之一單— 應用在本發明之—替代實施例中,以反覆方式執行CFA 色度降雜訊區塊110達一次以上。作為一實例,可將CFA 色度降雜訊區塊110反覆執行三次以產生第二降雜訊之 CFA影像112。基於待執行的反覆次數調整速率控制常數 λ,使得所得第二降雜訊之CFA影像經適當降雜訊。 圖8展不根據本發明之降雜訊區塊1〇2(圖2)之一替代實 施例。相較於圖3中展示的較佳實施例,已互換CFA色度 降雜訊區塊150與單一色彩降雜訊區塊154之順序。該 色度降雜訊區塊150自原始CFA影像1〇〇產生一第一降雜訊 之CFA影像152。該單一色彩降雜訊區塊154自該第一降雜 訊之CFA影像152產生一第二降雜訊之€17八影像156。該第 二降雜訊之CFA影像156變成降雜訊之CFA影像1〇〇該 CFA色度降雜訊區塊150執行相同於CFA色度降雜訊區塊 110(圖3)之計算。該單一色彩降雜訊區塊154執行相同於單 151978.doc -27- 201214334 一色彩降雜訊區塊1〇6(圖3)之計算。 圖9展不根據本發明之降雜訊區塊ι〇2(圖2)之另一替代 實施例。相較於圖3及圖8中展示的實施例,降雜訊區塊 102不含有兩個單獨雜訊降低程序但含有使用第一像素差 及第二像素差之一單一降雜訊區塊158,該單-降雜訊區 塊158同時降低單一通道雜訊及色度雜訊兩者。 圖1〇係展示使用第一像素差及第二像素差之降雜訊區塊 158(圖9)之—詳細視圖之一流程圖。針對一第一色彩通道 之每一像素,一計算第一像素差區塊160自原始CFA影像 1 〇〇產生第-像素差162…計算局部邊緣回應加權值區塊 164自該等第一像素差162產生局部邊緣回應加權值! 66。 十算第加權像素差區塊168自該等局部邊緣回應加權 值166及該等第一像素差丨62產生第一加權像素差丨。 針對-第二色彩通道之每—像素,—計算第:像素差區 塊172自原始CFA影像1〇〇產生第二像素差卩“ 一計算第 二加權像素差區塊176自該等局部邊緣回應加權值166及該 等第二像素差174產生第二加權像素差178 ^最終,一計算 降雜訊之像素值區塊18G自該等第—加權像素差⑺及該等 第二加權像素差178產生第一降雜訊之CFA影像1〇8。 ^在圖中,該計算第一像素差區塊160係以下列方式進 行計算。圖7展示來自原始CFA影像1〇〇(圖2)之一像素區 域。在下列論述中,假定像素值Ge正被降雜訊。如下列方 程式令所示般’藉由計算第一像素差區塊16〇計算四個第 一像素差: 151978.doc
S -28- 201214334 (58) (59) (60) (61) δΝ =g2 -ge 8s =gr ~ge δΕ =gg-ge 5w =Gc-Ge 該 通it之伽像素差係正被降雜訊之像素值(Ge)與相同色彩 通道之四個最接近像素值⑼、GR、Gg、Gc)之差。 一旦計算此等第一像音墓B — 權值區塊脉十算P猎由計算局部邊緣回應加 式計算該等值 緣回應加權值166m列方程 、ΛΥ y 在此方程式十,c係局部邊緣回應加權值i66,§係第一 像素差162 ’ kY係一常數,且μ係一向量範數運算子。在 一實施例中’該向量範數運算子係該第—像素差162之絕 對值。此外,kY經設定使得對應於原始cFA影像1〇〇中之 強烈可見邊緣的較大絕對第—像素差產生較小局部邊緣回 應加權值,且對應於原始CFA影像1 〇〇中之平坦(平滑)區域 的較小絕對第一像素差產生較大局部邊緣回應加權值。 繼續以上給定之先前四個第一像素差,計算下列四個局 部邊緣回應加權值: 151978.doc •29· 1201214334 CN- 1 + (|G2 -ge|、 2 (63) l kY J 1 1 + |〇r _geI 2 (64) 、kY J 1 1 + ’|Gg _Ge|、 2 (65) 、kY J 1 CW - 一 Ί°〇 _geI 、2 (66) 接著,使用下列方程式’使用該等第一像素差162及該 等局部邊緣回應加權值166計算第一加權像素差17〇.: 一像素 —加權 在此方程式中,w係第一加權像素差170,δ係 差162且c係局部邊緣回應加權值166。 繼續以上給定的四個值之集合,計算下列四個 像素差:
ws =8s.cs 1 + 校2 ~Ge|)2 l kY ,, (68) —Qr ~Gp i 丄(1gr ~ge|)2 (69) kY J l+flGG -GeII2 (70) \ kY J
WN ‘cN
WE 151978.doc • 30 · (77)201214334 UN =DN *Cn --^ ~BK^
l ky J
us =Ds.cs =«~^K (78)
i+ !£^~°εΠ2 、kY
(79) (80) 計算降雜訊之像素值區塊丨8〇執行下列計算. X’ = X + X2i[wi+(w u )] J (81) :此方程式中’x,係降雜訊之CFA影像 像素值,X係原始CFA影像100之初始像素值,1係2 控制常數’ Wi係第i方向(N、s、MW)上之第—加: 差170且〜係第i方向(N、s、E或w)上之第二加權像素 178。跨複數個方向_行加總。在總和中的第—項你實j 單-通道雜訊降低且因為不存在來自任何其他通道之] 訊,所以藉由自身無法降低色度雜訊。項Wi_ui之加上等岁 於約束解X’使得降雜訊之CFA影像104之第一像素差與身 二像素差相等。當一CFA影像之第一像素差及第二像素^ 近似相等時,該CFA影像含有經降低之色度雜訊。因此, 力上項Wl U*實現單—色彩分量及色度分量兩者之同時降雜 訊。 151978.doc -32· 201214334
如下列方程式中所示般, 計算四個第二像素差174 : 藉由計算第二像素差區塊172 (72) (73) (74) (75)
Djg = - Βκ = Βχ —Β|ς De =Rh-rf Dw =Rj5 —Rp 第一像素差係最接近正被降雜訊之像素之像素(該 等像素,、有不同於正被降雜訊之像素之一色彩通道(例 如’對於組成CFA最小重複單元(圖6)之2χ2像素區塊146内 之非綠色像素’ BkARf最接近Ge))的像素值與相同於該等 最接近像素之色彩通道之四個最接近像素值(例如,對於 藍色像素,β8λΒχ最接近Βκ且對於紅色像素,心及^最 接近rf)之間的差。接著,使用下列方程式,使用該等第 二像素差174及該等局部邊緣回應加權值166計算第二加權 像素差178 : 在此方程式中,u係第二加權像素差178, d係第二像素 差174且c係局部邊緣回應加權值丨66。 計算下列四個第二加權 繼續以上給定之四個值之集合 像素差: 15l978.doc •31· 201214334 在前述例示性計算 訊。無關於色彩通道 值0 假疋像素值GE(圖7)正被降雜 ’將以相同方式處理所有其他像素 在本發明之一替代實施例 ψ 计算局部邊緣回應加權值 區塊164中所使用的向量範 里耗數將使用兩個或兩個以上色彩 通道。 在先刖論述中’描述使用楚^ 4便用第一像素差及第二像素差之降 雜訊區塊15 8之一單一虛田 . 早應用。在本發明之一替代實施例 中,以反覆方式執行使用第一像素差及第二像素差之降雜 讯區塊158達-次以上。基於待執行的反覆次數調整速率 控制常數λ’使得所得的第—降雜訊之cfa影像經適當降 雜訊。 一可在多種使用者内容背景及環境中採用如本發明之較佳 貫施例中所揭7^於計算降雜訊之CFA影像之演算法。例 =性内容背景及環境包含(不限於):相機内處理(讀取感測 益影像、數位處理、保存數位媒體上之經處理影像)' 批 量數位相片洗印(其涉及例示性的處理步驟或階段,諸如 提交用於批量履行、數位處理、數位列印之數位影像)、 小量數位相片洗印(提交用於小量履行、數位處理、數位 列印之數位影像)、家庭列印(輸入家庭數位影像、數位處 理、在—家庭印表機上列印)、桌上型軟體(將演算法應用 於數位影像以使其等變得更佳一或乃至改變該等數位影像 之軟體)、數位履行(來自媒體或網頁上的數位影像輸入、 數位處理、在媒體上經由網際網路以數位形式的數位影像 151978.doc -33· 201214334 輸出)、資訊站(輸入數位影像、數位處理、數位列印或輪 出數位媒體)、行動裝置(例如,可用作為一處理單元、一 顯不單元、或賦予處理指令之一單元之pDA或蜂巢式電 話)及作為經由全球資訊網而提供之一服務。 在各種情形下1於計算降雜訊之咖影像之演算法可 保持獨立或可為一較大系統解決方案之—部分。此外,與 該演算法之介接(例如,輸入、數位處理、對一使用者之 顯不(若需要)、使用者請求或處理指令之輸入(若需要)及 輸出)各者可處於相同或不同裝置及實體位置上,且裝置 /、位置之間的通信可經由公共或私人網路連接或基於媒體 之通k »在與本發明之先前揭示内容一致的條件下,該等 决算法本身可為全自動,可具有使用者輸入(亦即,其等 可完全或部分手動),可具有用以接受/拒絕結果之使用者 或操作者檢視或可藉由元資料得到幫助(元資料可由使用 者提供,藉由一量測裝置(例如,一相機中)加以提供或藉 由一演算法加以判定)。此外,該等演算法可與多種工作 流程使用者介面方案介接。 以上論述已基於具有圖6中展示之最小重複單元之例示 性CFA圖案。在此情形下,最小重複單元含有2個綠色 像素、1個紅色(R)像素及1個藍色(B)像素。熟習此項技術 者將明白該方法亦可與任何其他類型的CFA圖案一起使 用。例如,該方法可與其中RGB像素係配置成不同圖案之 CFA圖案一起使用。類似地,該方法可與利用其他類型的 像素(諸如青色(C)、洋紅色(M)或黃色(γ)像素或全色(p)像 I5197S.doc -34- 201214334 素)之CFA圖案一起使用。全色像素係對光之所有波長敏 感,且通常係在感測元件上使用一透明濾光器或不使用濾 光器加以製成。熟習此項技術者將熟知具有不同光譜敏感 度及不同空間配置之許多此等CFA圖案之實例。例如, Kijhna等人之名為「Image sens〇r whh impr〇ved sensitivity」之美國專利申請公開案第2〇〇7/〇268533號描述 包含全色像素之多種不同CFA圆案。本發明之方法亦可與 利用對不可見輻射(諸如紅外線(IR)或紫外線(uv)輻射)敏 感之像素之CFA圖案一起使用。 在本文中根據本發明揭示之降雜訊之CFA影像演算法之 計异可具有内部組件,該等組件利用各種資料偵測及降低 技術(諸如,臉部偵測、眼部偵測、皮膚偵測、閃光燈偵 測)。 ' 【圖式簡單說明】 圖1係用於實施本發明之一典型數位相機之一方塊圖; 圖2係展示本發明之較佳實施例之一方塊圖; 圖3係展示本發明之—較佳實施例之單一色彩降雜訊區 塊之一詳細視圖之一方塊圖; 圖4係展不本發明之—較佳實施例之cfa照度降雜訊區 塊之一詳細視圖之一方塊圖; 圖5係展示本發明之—較佳實施例之CFA色度降雜訊區 塊之一詳細視圖之一方塊圖; 圖6係來自原始CFA影像之一 2x2像素區塊; 圖7係用於使CFA影像降雜訊之—像素鄰區; 151978.doc -35· 201214334 圖8係展示本發明之一替代實施例之一方塊圖; 圖9係展示本發明之一第三實施例之一方塊圖;及 圖10係展示圖9實施例中之使用第一像素差及第二像素 差之降雜訊區塊之一詳細視圖之一方塊圖。 【主要元件符號說明】
S 10 光 11 成像台 12 透鏡 13 中性密度濾光器區塊 14 光圈區塊 16 亮度感測器區塊 18 快門 20 彩色濾光器陣列影像感測器 22 類比信號處理器 24 類比轉數位(A/D)轉換器 26 時序產生器 28 影像感測器台 30 匯流排 32 數位信號處理器(DSP)記憶體 36 數位信號處理器(DSP) 38 處理台 40 曝光控制器 50 系統控制器 52 系統控制器匯流排 151978.doc -36- 201214334 54 56 57 60 62 64 68 70 72 74 76 80 82 88 100 102 104 106 108 110 112 114 116 118 程式記憶體 系統記憶體 主機介面 記憶體卡介面 記憶體卡插口 記憶體卡 使用者介面 取景器顯示器 曝光顯示器 使用者輸入 狀態顯示器 視訊編碼器 顯示器控制器 影像顯示器 原始彩色濾光器陣列(CFA)影像 降雜訊區塊 降雜訊之彩色濾光器陣列(CFA)影像 單一色彩降雜訊區塊 第一降雜訊之彩色濾光器陣列(CFA)影像 彩色濾光器陣列(CFA)色度降雜訊區塊 第二降雜訊之彩色濾光器陣列(CFA)影像 計算像素差區塊 像素差 計算局部邊緣回應加權值區塊 151978.doc •37· 201214334 120 局部邊緣回應加權值 122 計算加權像素差區塊 124 加權像素差 126 計算第一降雜訊之像素值區塊 128 計算色度值區塊 130 色度值 132 計算色度差區塊 134 色度差 136 計算局部色度邊緣回應加權值區塊 138 局部色度邊緣回應加權值 140 計算加權色度差區塊 142 加權色度差 144 計算第二降雜訊之像素值區塊 146 2x2像素值區塊 148 2 X 2像素值區塊之中心 150 彩色濾光器陣列(CFA)色度降雜訊區塊 152 第一降雜訊之彩色濾光器陣列(CFA)影像 154 單一色彩降雜訊區塊 156 第二降雜訊之彩色濾光器陣列(CFA)影像 158 使用第一像素差及第二像素差之降雜訊區塊 160 計算第一像素差區塊 162 第一像素差 164 計算局部邊緣回應加權值區塊 166 局部邊緣回應加權值 151978.doc •38· 201214334 168 計算第一加權像素差區塊 170 第一加權像素差 172 計算第二像素差區塊 174 第二像素差 176 計算第二加權像素差區塊 178 第二加權像素差 180 計算降雜訊之像素值區塊 151978.doc -39-

Claims (1)

  1. 201214334 七、申請專利範圍: 一種用於降低藉由包括一個二維光敏像素陣列之一數位 影像感測器棟取之一影像中之雜訊之方法,該二維光敏 像素陣列包含至少三個相異通道之像素,該等像素係以 一矩形最小重複單元配置,該方法包括使用—雜訊降低 程序,使用一處理器來判定一第一通道之每一像素之雜 訊降低像素值,該雜訊降低程序包含: a) 針對該第一通道之一中心像素周圍之複數個方 向,計算一局部邊緣回應加權值集合; b) 計算該中心像素之像素值與該複數個方向上之該 第一通道之附近像素之像素值之間之第一像素差; 0藉由組合該等第一像素差與該局部邊緣回應加權 值集合計算第一加權像素差; 不同通道之像素之 不同通道之附近像 d)計算該中心像素附近之至少一 像素值與該複數個方向·上之該至少一 素之像素值之間之第二像素差; :)藉由組合該等第二像素差與該局部邊緣回應加權 集合計算第二加權像素差;及 f)藉由組合該第一加權像素差及該第二加權像素差 與該中心像素之像素值來計算—雜訊降低像素值。 二求項1之方法’其中多次執行該雜訊降低程序。 叶算令項1之方法’其中使用僅該第—通道之像素值來 。异該局部邊緣回應加權值集合。 月求項1之方法’其中使用至少兩個通道之像素值來 151978. doc 201214334 計算該局部邊緣回應加權值集合。 5·如請求項丨之方法,其中使用下列方程式計算該等局部 邊緣回應加權值: 1 + 像 其中c係該局部邊緣回應加權值,、係一常數,^係 素差’且丨卜丨丨係一向量範數運算子。 6.如明求項1之方法,其中如下般計算該等第一加權像素 差: ’'
    其中w係該第-加權像素差,、該局部邊緣回應加 值,且δ係該第一像素差。
    :清求項1之方法’其中如下般計算該等第二加權像素 8. u =: D *c 其中U係該第二加權像素差 值,且係該第二像素差。 如請求項1之方法,其中如 值: ,C係該局部邊緣回應加權 下般計算該雜訊降低像素 〜1 ‘ 1 1 ^1/J 係該雜訊降低像素值,χ係該中心像素值 迷率控制常數,w.#坌 u.# -. … 向上之該等第一加權像素差 向i執行加總。第-加權像素差,且對該複數個 151978.doc 201214334 9·如請求項1之方法’其中該中心像素附近之該至少^ 同通道之該等像素係、該複數個方向上 之鄰近於該中心像 素之像素。 1 〇· U項1之方法,其中該中心像素附近之該至少一不 同通道之該等像素包含至少兩個不同通道之像素。 偾1、項1之方法’其中該複數個方向包含相對於哕中 心像素之上方向、下方向、左方向及右方向。該令 12.如請求項丨之方法, 中該至夕二個相異通道包含红色 通道、綠色通道及藍色通道。 3、·色 13·如請求項1之方法, 一全色通道。…至“個相異通道包含至少 151978.doc
TW100103498A 2010-01-29 2011-01-28 Denoising CFA images using weighted pixel differences TW201214334A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/696,081 US8345130B2 (en) 2010-01-29 2010-01-29 Denoising CFA images using weighted pixel differences

Publications (1)

Publication Number Publication Date
TW201214334A true TW201214334A (en) 2012-04-01

Family

ID=43805649

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100103498A TW201214334A (en) 2010-01-29 2011-01-28 Denoising CFA images using weighted pixel differences

Country Status (6)

Country Link
US (1) US8345130B2 (zh)
EP (1) EP2529555B1 (zh)
JP (1) JP5749741B2 (zh)
CN (1) CN102742280A (zh)
TW (1) TW201214334A (zh)
WO (1) WO2011094241A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI394429B (zh) * 2009-07-27 2013-04-21 Altek Corp 消除圖像雜訊之方法,以及使用該方法之裝置
US8730318B2 (en) * 2010-07-29 2014-05-20 Hitachi-Ge Nuclear Energy, Ltd. Inspection apparatus and method for producing image for inspection
JP5761988B2 (ja) * 2010-12-20 2015-08-12 キヤノン株式会社 画像処理装置、画像処理方法
DE202012013411U1 (de) 2011-04-25 2016-11-15 Terra Bella Technologies Inc. Systeme für Overhead-Bild- und Videoanzeige
US9191635B2 (en) 2012-03-19 2015-11-17 Semiconductor Components Industries, Llc Imaging systems with clear filter pixels
CN105723416B (zh) * 2013-11-18 2019-01-08 爱克发医疗保健公司 图像降噪方法
US10230925B2 (en) 2014-06-13 2019-03-12 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
CN104539919B (zh) * 2014-12-31 2017-01-25 上海富瀚微电子股份有限公司 图像传感器的去马赛克方法及装置
US9727947B2 (en) * 2015-03-23 2017-08-08 Microsoft Technology Licensing, Llc Downscaling a digital raw image frame
WO2016153914A1 (en) 2015-03-25 2016-09-29 King Abdulaziz City Of Science And Technology Apparatus and methods for synthetic aperture radar with digital beamforming
JP6349614B2 (ja) 2015-05-15 2018-07-04 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 画像処理方法及び画像処理システム
CN108432049B (zh) 2015-06-16 2020-12-29 阿卜杜拉阿齐兹国王科技城 有效平面相控阵列天线组件
WO2017091747A1 (en) 2015-11-25 2017-06-01 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
US10417749B2 (en) * 2016-03-22 2019-09-17 Algolux Inc. Method and system for edge denoising of a digital image
KR102357513B1 (ko) * 2017-03-21 2022-02-04 에스케이하이닉스 주식회사 이미지 센서
CA3064586A1 (en) 2017-05-23 2018-11-29 King Abdullah City Of Science And Technology Synthetic aperture radar imaging apparatus and methods for moving targets
CA3064735C (en) 2017-05-23 2022-06-21 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
CA3083033A1 (en) 2017-11-22 2019-11-28 Urthecast Corp. Synthetic aperture radar apparatus and methods
US10616536B2 (en) 2018-01-12 2020-04-07 Semiconductor Components Industries, Llc Imaging systems having broadband monochromatic and chromatic image sensors
US10719916B2 (en) * 2018-08-02 2020-07-21 Apple Inc. Statistical noise estimation systems and methods
EP3859656A1 (en) * 2020-01-31 2021-08-04 Leica Instruments (Singapore) Pte. Ltd. System, method and computer program for processing raw image data of a microscope
CN111510692B (zh) * 2020-04-23 2022-01-18 Oppo广东移动通信有限公司 图像处理方法、终端及计算机可读存储介质
CN117094909B (zh) * 2023-08-31 2024-04-02 青岛天仁微纳科技有限责任公司 一种纳米压印晶圆图像采集处理方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251620A (ja) * 1995-03-07 1996-09-27 Eastman Kodak Japan Kk オートホワイトバランス装置
US6041145A (en) * 1995-11-02 2000-03-21 Matsushita Electric Industrial Co., Ltd. Device and method for smoothing picture signal, device and method for encoding picture and device and method for decoding picture
JP3392307B2 (ja) * 1995-11-02 2003-03-31 松下電器産業株式会社 画像信号平滑化装置および画像信号平滑化方法
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
US6625325B2 (en) * 1998-12-16 2003-09-23 Eastman Kodak Company Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel
JP4626007B2 (ja) * 1999-06-14 2011-02-02 株式会社ニコン 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置
DE60141901D1 (de) * 2001-08-31 2010-06-02 St Microelectronics Srl Störschutzfilter für Bayermusterbilddaten
US7110612B1 (en) * 2001-10-11 2006-09-19 Pixelworks, Inc. Weighted absolute difference based noise reduction method and apparatus
JP2004363853A (ja) 2003-06-04 2004-12-24 Casio Comput Co Ltd 画像信号のノイズ低減方法及びノイズ低減装置
US7352911B2 (en) * 2003-07-31 2008-04-01 Hewlett-Packard Development Company, L.P. Method for bilateral filtering of digital images
KR100564592B1 (ko) * 2003-12-11 2006-03-28 삼성전자주식회사 동영상 데이터 잡음제거방법
US7359576B1 (en) * 2004-02-27 2008-04-15 Adobe Systems Incorporated Using difference kernels for image filtering
JP4624054B2 (ja) * 2004-03-29 2011-02-02 三洋電機株式会社 ノイズ低減装置及びノイズ低減方法及び撮像装置
US7542082B2 (en) * 2004-03-30 2009-06-02 Canon Kabushiki Kaisha Method and apparatus for correcting a defective pixel
US7418130B2 (en) * 2004-04-29 2008-08-26 Hewlett-Packard Development Company, L.P. Edge-sensitive denoising and color interpolation of digital images
WO2005124664A2 (en) * 2004-06-14 2005-12-29 Precoad, Inc. Image clean-up and pre-coding
US20060152596A1 (en) * 2005-01-11 2006-07-13 Eastman Kodak Company Noise cleaning sparsely populated color digital images
KR100782812B1 (ko) * 2005-06-15 2007-12-06 삼성전자주식회사 에지 적응적 컬러 보간 방법 및 장치
KR101225056B1 (ko) * 2006-01-27 2013-01-23 삼성전자주식회사 이미지 센서 노이즈 저감 장치 및 방법
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
KR100809346B1 (ko) * 2006-07-03 2008-03-05 삼성전자주식회사 엣지 보정 장치 및 방법
JP4653059B2 (ja) * 2006-11-10 2011-03-16 オリンパス株式会社 撮像システム、画像処理プログラム
JP4284628B2 (ja) * 2006-12-15 2009-06-24 ソニー株式会社 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US7889921B2 (en) * 2007-05-23 2011-02-15 Eastman Kodak Company Noise reduced color image using panchromatic image
JP5144202B2 (ja) * 2007-10-05 2013-02-13 オリンパス株式会社 画像処理装置およびプログラム
WO2009147535A1 (en) * 2008-06-06 2009-12-10 Tessera Technologies Hungary Kft. Techniques for reducing noise while preserving contrast in an image
CN101360247A (zh) * 2008-09-18 2009-02-04 北京中星微电子有限公司 一种图像插值的方法

Also Published As

Publication number Publication date
CN102742280A (zh) 2012-10-17
JP5749741B2 (ja) 2015-07-15
EP2529555B1 (en) 2014-11-12
JP2013518527A (ja) 2013-05-20
US8345130B2 (en) 2013-01-01
US20110187902A1 (en) 2011-08-04
WO2011094241A1 (en) 2011-08-04
EP2529555A1 (en) 2012-12-05

Similar Documents

Publication Publication Date Title
TW201214334A (en) Denoising CFA images using weighted pixel differences
US8295631B2 (en) Iteratively denoising color filter array images
USRE47458E1 (en) Pattern conversion for interpolation
US8203633B2 (en) Four-channel color filter array pattern
US8237831B2 (en) Four-channel color filter array interpolation
US8125546B2 (en) Color filter array pattern having four-channels
US8253832B2 (en) Interpolation for four-channel color filter array
US8045024B2 (en) Producing full-color image with reduced motion blur
WO2010104551A1 (en) Cfa image with synthetic panchromatic image