TWI425831B - 偵測及校正影像感測器中之缺陷像素之系統及方法 - Google Patents

Description

偵測及校正影像感測器中之缺陷像素之系統及方法

本發明大體上係關於數位成像器件，且更特定而言，係關於用於處理使用數位成像器件之影像感測器獲得之影像資料的系統及方法。

本部分意欲向讀者介紹此項技術之各種態樣，該等態樣可係關於本發明之技術之在下文描述及/或主張之各種態樣。咸信此論述有助於向讀者提供背景資訊以促進對本發明之各種態樣的更佳理解。因而，應理解，應如此而並非作為對先前技術之認可來研讀此等陳述。

近年來，數位成像器件至少部分歸因於此等器件對於一般消費者變得愈來愈負擔得起而已變得日益風行。另外，除當前市售之多種獨立數位相機外，將數位成像器件整合為諸如桌上型或筆記型電腦、蜂巢式電話或攜帶型媒體播放器之另一電子器件的部分為常見的。

為了獲取影像資料，多數數位成像器件包括提供多個光偵測元件(例如，光偵測器)之影像感測器，該等光偵測元件經組態以將由影像感測器偵測到之光轉換為電信號。影像感測器亦可包括一濾色器陣列，其對由影像感測器捕獲之光進行濾波以捕獲色彩資訊。由影像感測器捕獲之影像資料可接著由影像處理管線處理，影像處理管線可將多種影像處理操作應用至影像資料以產生可顯示以供在諸如監視器之顯示器件上閱覽的全色影像。

雖然習知影像處理技術大體上旨在產生對於閱覽者客觀且主觀地合意之可閱覽影像，但此等習知技術可能並未充分地解決影像資料中之由成像器件及/或影像感測器引入之錯誤及/或失真。例如，影像感測器上之可係歸因於製造缺陷或操作故障之缺陷像素可能未能正確地感測到光位準，且若未經校正則可能表現為顯現於所得經處理影像中之假影。另外，影像感測器之邊緣處之可係歸因於透鏡製造中之瑕疵的光強度減小可不利地影響特徵化量測，且可能導致總體光強度不均勻的影像。影像處理管線亦可執行一或多個程序以使影像清晰化。然而，習知清晰化技術可能未充分考量影像信號中之現有雜訊，或可能不能區分雜訊與影像中之邊緣及有紋理區域。在此等個例中，習知清晰化技術實際上可能增大雜訊在影像中之顯現，其通常為非所要的。

可應用至由影像感測器捕獲之影像資料的另一影像處理操作為去馬賽克操作。因為濾色器陣列通常每感測器像素提供一波長下之色彩資料，所以通常為每一色彩通道內插色彩資料全集以便再現全色影像(例如，RGB影像)。通常取決於某一類型之固定臨限值，習知去馬賽克技術通常在水平或垂直方向上內插用於缺失之色彩資料的值。然而，此等習知去馬賽克技術可能未充分考量影像內之邊緣的位置及方向，其可能導致將特別是沿影像內之對角邊緣之邊緣假影(諸如，頻疊、棋盤形假影或彩虹假影)引入至全色影像中。

因而，在處理藉由數位相機或其他成像器件獲得之數位影像時應解決各種考慮事項，以便改良所得影像之外觀。詳言之，本發明之以下特定態樣可解決上文簡要提及之缺點中的一或多者。

下文闡述本文中所揭示之特定實施例的概述。應理解，呈現此等態樣僅為向讀者提供此等特定實施例之簡要概述，且此等態樣並不意欲限制本發明之範疇。實際上，本發明可涵蓋下文可能並未闡述之多種態樣。

本發明提供用於處理使用一數位影像感測器獲取之影像資料的各種技術。根據本發明之態樣，此技術可係關於對影像感測器之缺陷像素之偵測及校正。根據一實施例，提供儲存已知靜態缺陷之位置的靜態缺陷表。在此等實施例中，缺陷像素校正及偵測可以兩個階段發生。在一第一階段中，比較一影像處理圖框內之一當前像素之位置與儲存於該靜態缺陷表中之資訊。若在該靜態缺陷表中找到該當前像素之該位置，則將該當前像素識別為一靜態缺陷，且使用替換值予以校正，該替換值可選擇為具有同一色彩之前一像素的值。若該當前像素並未識別為一靜態缺陷，則該第二階段可藉由比較介於該當前像素與鄰近像素之一集合之間的像素至像素梯度與一動態缺陷臨限值來判定該當前像素是否為一動態缺陷。可藉由在展現最小梯度之一方向上在該當前像素之相反側上內插兩個鄰近像素之值來判定用於校正一動態缺陷的一替換值。

根據本發明之態樣，另一種影像處理技術可係關於應用一多尺度反清晰化遮罩(multi-scale unsharp mask)以提供影像清晰化。根據一實施例，首先獲得由數位影像感測器獲取之影像資料的一照度影像。可將可包括具有不同半徑之至少兩個高斯濾波器之多尺度反清晰化遮罩應用至該照度影像以判定複數個反清晰化值。可比較該等反清晰化值中之每一者與一相應臨限值，且對於超出其各別臨限值之反清晰化值，應用一相應增益，且將經應用增益之反清晰化值添加至一基本影像，該基本影像可選擇為該照度影像或該等高斯濾波器中之一者的輸出。可對每一經應用增益之反清晰化值與該基本影像求和以產生一最終清晰化輸出。在另一實施例中，可將一經衰減之增益應用至並未超出其各別臨限值的反清晰化值。其他實施例亦可提供對該經清晰化影像之額外處理以達成邊緣增強及色度抑制。

根據本發明之另一態樣，另一種影像處理技術可係關於使由該數位影像感測器獲取之影像資料去馬賽克以產生一全色影像。在一實施例中，該影像感測器可包括一拜耳(Bayer)濾色器陣列，且可將去馬賽克應用至一所得拜耳影像圖案。在此等實施例中，藉由使用一適應性邊緣偵測濾波器來判定垂直能量及水平能量而為每一非綠色像素內插缺失之綠色色值。根據所揭示實施例，在判定該垂直能量及該水平能量時，綠色分量、紅色分量及藍色分量可能貢獻於邊緣偵測。使用該垂直能量及該水平能量對該當前非綠色像素之該經內插綠色值之垂直分量及水平分量進行加權，且對該等經加權之值求和以判定該經內插綠色值。根據此等實施例，可使用該等經內插綠色值來內插缺失之紅色色彩樣本及藍色色彩樣本。

根據本發明之又一態樣，提供一種用於校正透鏡陰影不規則性的技術。在一實施例中，相對於一增益柵格判定一當前像素之位置，該增益柵格具有在水平方向及垂直方向上分佈之複數個柵格點。若該當前像素之該位置對應於一柵格點，則將與該柵格點相關聯之一透鏡陰影增益應用至該當前像素。若該當前像素之該位置係在四個柵格點之間，則將雙線性內插應用至該四個柵格點以判定一經內插透鏡陰影增益。在另一實施例中，藉由以下操作來判定一徑向透鏡陰影增益：判定自該影像之中心至當前像素之一徑向距離，及使該徑向距離乘以基於該當前像素之一色彩的一全域增益參數。接著將該徑向透鏡陰影增益連同所判定之透鏡陰影柵格增益或透鏡陰影經內插增益應用至該當前像素。

上文所指出之該等特徵之各種改進可相對於本發明之各種態樣而存在。其他特徵亦可併入至此等各種態樣中。此等改進及額外特徵可個別地或以任何組合而存在。例如，下文關於該等所說明實施例中之一或多者而論述的各種特徵可單獨地或以任何組合併入至本發明之上述態樣中的任何者中。再次，上文所呈現之該簡要概述僅意欲使讀者熟悉本發明之實施例之某些態樣及上下文，而非限制所主張標的物。

在研讀以下詳細描述之後且在參看圖式之後可更佳地理解本發明之各種態樣。

下文將描述本發明之一或多個特定實施例。此等所描述實施例僅為當前揭示之技術的實例。另外，在提供此等實施例之簡明描述之努力中，在說明書中可能並未描述實際實施之所有特徵。應瞭解，在任何此實際實施之開發中，如在任何工程化或設計計劃中，必須做出眾多實施特定決策以達成開發者之特定目標，諸如與系統相關約束及商務相關約束的順應性，該等特定目標可自一實施至另一實施而改變。此外，應瞭解，此開發努力可能為複雜且耗時的，但對於受益於本發明之一般熟習此項技術者而言仍將為設計、加工及製造之常規任務。

當介紹本發明之各種實施例之元件時，量詞「一」及「該」意欲意謂存在一或多個元件。術語「包含」、「包括」及「具有」意欲為包括性的，且意謂可存在除所列元件外的額外元件。另外，應理解，對本發明之「一實施例」之提及並不意欲解釋為排除亦併有所敍述特徵之額外實施例的存在。

如下文將論述，本發明大體上係關於用於處理經由一或多個影像感測器件獲取之影像資料的技術。詳言之，本發明之某些態樣可係關於用於偵測並校正缺陷像素之技術、用於使原始影像圖案去馬賽克之技術、用於使用多尺度反清晰化遮罩清晰化照度影像之技術，及用於應用透鏡陰影增益以校正透鏡陰影不規則性的技術。另外，應理解，當前所揭示之技術可應用至靜態影像及移動影像(例如，視訊)兩者，且可用於任何合適類型之成像應用(諸如數位相機、具有整合式數位相機之電子器件、安全或視訊監視系統、醫療成像系統等)中。

有鑒於以上各要點，圖1為說明電子器件10之一實例的方塊圖，該電子器件10可提供使用上文簡要提及之影像處理技術中之一或多者進行之對影像資料的處理。電子器件10可為經組態以接收並處理諸如使用一或多個影像感測組件獲取之資料的影像資料之任何類型電子器件，諸如膝上型或桌上型電腦、行動電話、數位媒體播放器或其類似者。僅作為實例，電子器件10可為攜帶型電子器件，諸如可購自加利福尼亞Cupertino的蘋果公司的某型號的iPod或iPhone。另外，電子器件10可為桌上型或膝上型電腦，諸如可購自蘋果公司之某型號的MacBook、MacBookPro、MacBook Air、iMac、MacMini或Mac Pro。在其他實施例中，電子器件10亦可為來自另一製造商之能夠獲取並處理影像資料之某信號的電子器件。

無關於其形式(例如，攜帶型或非攜帶型)，應理解，電子器件10可提供使用上文簡要論述之影像處理技術中之一或多者進行之對影像資料的處理，該等影像處理技術可包括缺陷像素校正及/或偵測技術、透鏡陰影校正技術、去馬賽克技術或影像清晰化技術，及其他技術。在一些實施例中，電子器件10可將此等影像處理技術應用至儲存於電子器件10之記憶體中的影像資料。在其他實施例中，電子器件10可包括諸如整合式或外部數位相機之經組態以獲取影像資料之一或多個成像器件，該影像資料接著可由電子器件10使用上文所提之影像處理技術中的一或多者來處理。下文中將在圖3至圖6中進一步論述展示電子器件10之攜帶型實施例及非攜帶型實施例兩者的實施例。

如圖1中所示，電子器件10可包括有助於器件10之功能的各種內部及/或外部組件。一般熟習此項技術者將瞭解，展示於圖1中之各種功能區塊可包含硬體元件(包括電路)、軟體元件(包括儲存於電腦可讀媒體上之電腦程式碼)，或硬體元件與軟體元件兩者的組合。舉例而言，在當前所說明實施例中，電子器件10可包括輸入/輸出(I/O)埠12、輸入結構14、一或多個處理器16、記憶體器件18、非揮發性儲存器20、擴充卡22、網路連接器件24、電源26及顯示器28。另外，電子器件10可包括諸如數位相機之一或多個成像器件30，及影像處理電路32。如下文將進一步論述，影像處理電路32可經組態以在處理影像資料時實施上文所論述之影像處理技術中的一或多者。如可瞭解，由影像處理電路32處理之影像資料可自記憶體18及/或非揮發性儲存器件20進行擷取，或可使用成像器件30來獲取。

在繼續之前，應理解，展示於圖1中之器件10之系統方塊圖意欲為描繪可包括於此器件10中之各種組件的高階控制圖。亦即，展示於圖1中之每一個別組件之間的連接線可能未必表示資料在器件10之各種組件之間流動或進行傳輸所經由的路徑或方向。實際上，如下文所論述，所描繪處理器16在一些實施例中可包括多個處理器，諸如主要處理器(例如，CPU)及專用影像及/或視訊處理器。在此等實施例中，影像資料之處理可主要由此等專用處理器來處置，因此有效地使此等任務不由主要處理器(CPU)承載。

關於圖1中之所說明組件中的每一者，I/O埠12可包括經組態以連接至諸如以下各者之多種外部器件的埠：電源、音訊輸出器件(例如，耳機或頭戴式耳機)，或其他電子器件(諸如，手持式器件及/或電腦、印表機、投影儀、外部顯示器、數據機、銜接台等)。在一實施例中，I/O埠12可經組態以連接至用於獲取影像資料之外部成像器件(諸如，數位相機)，可使用影像處理電路32來處理該影像資料。I/O埠12可支援任何合適介面類型，諸如通用串列匯流排(USB)埠、串列連接埠、IEEE-1394(FireWire)埠、乙太網路或數據機埠，及/或AC/DC電源連接埠。

在一些實施例中，某些I/O埠12可經組態以提供一個以上功能。例如，在一實施例中，I/O埠12可包括來自蘋果公司之專屬埠，其不僅可用以促進資料在電子器件10與外部源之間的傳送，而且可將器件10耦接至諸如以下兩者之充電介面從而對電源26(其可包括一或多個可再充電電池)充電：經設計以自壁式電氣插座提供電力之電源配接器，或經組態以自另一電氣器件(諸如，桌上型或膝上型電腦)汲取電力的介面線纜。因此，取決於(例如)經由I/O埠12耦接至器件10之外部組件，I/O埠12可經組態以雙重地充當資料傳送埠及AC/DC電源連接埠兩者。

輸入結構14可將使用者輸入或回饋提供至處理器16。例如，輸入結構14可經組態以控制電子器件10之一或多個功能，諸如在電子器件10上執行之應用程式。僅作為實例，輸入結構14可包括按鈕、滑桿、開關、控制板、鍵、旋鈕、滾輪、鍵盤、滑鼠、觸控板等，或其某一組合。在一實施例中，輸入結構14可允許使用者巡覽顯示於器件10上的圖形使用者介面(GUI)。另外，輸入結構14可包括結合顯示器28提供之觸摸感應機構。在此等實施例中，使用者可經由觸摸感應機構選擇所顯示之介面元件，或與所顯示之介面元件互動。

輸入結構14可包括藉以將使用者輸入或回饋提供至一或多個處理器16之各種器件、電路及通路。此等輸入結構14可經組態以控制器件10之功能、在器件10上執行之應用程式，及/或連接至電子器件10或由電子器件10使用的任何介面或器件。舉例而言，輸入結構14可允許使用者巡覽所顯示之使用者介面或應用程式介面。輸入結構14之實例可包括按鈕、滑桿、開關、控制板、鍵、旋鈕、滾輪、鍵盤、滑鼠、觸控板等。

在特定實施例中，輸入結構14及顯示器件28諸如在「觸控式螢幕」之狀況下可一起提供，藉此結合顯示器28來提供觸摸感應機構。在此等實施例中，使用者可經由觸摸感應機構選擇所顯示之介面元件，或與所顯示之介面元件互動。以此方式，所顯示之介面可提供互動功能性，從而允許使用者藉由觸摸顯示器28來巡覽所顯示之介面。舉例而言，使用者與輸入結構14之互動(諸如，以與顯示於顯示器28上之使用者或應用程式介面互動)可產生指示使用者輸入的電信號。此等輸入信號可經由合適通路(諸如，輸入集線器或資料匯流排)投送至一或多個處理器16以供進一步處理。

除處理經由輸入結構14接收到之各種輸入信號外，處理器16可控制器件10之常規操作。例如，處理器16可提供處理能力以執行電子器件10之作業系統、程式、使用者與應用程式介面以及任何其他功能。處理器16可包括一或多個微處理器，諸如一或多個「通用」微處理器、一或多個專用微處理器及/或特殊應用微處理器(ASIC)，或此等處理組件之一組合。舉例而言，處理器16可包括一或多個指令集(例如，RISC)處理器，以及圖形處理器(GPU)、視訊處理器、音訊處理器及/或相關晶片集。如將瞭解，處理器16可耦接至一或多個資料匯流排以用於在器件10之各種組件之間傳送資料及指令。在特定實施例中，處理器16可提供處理能力以執行電子器件10上之成像應用程式，諸如可購自蘋果公司之Photo Booth、Aperture、iPhoto或Preview，或由蘋果公司提供且在各型號的iPhone上可用之「相機」及/或「照相」應用程式。

待由處理器16處理之指令或資料可儲存於諸如記憶體器件18之電腦可讀媒體中。記憶體器件18可提供為諸如隨機存取記憶體(RAM)之揮發性記憶體，或提供為諸如唯讀記憶體(ROM)之非揮發性記憶體，或提供為一或多個RAM器件與ROM器件的組合。記憶體18可儲存多種資訊，且可用於各種用途。舉例而言，記憶體18可儲存電子器件10之包括使用者介面功能、處理器功能等的韌體，諸如基本輸入/輸出系統(BIOS)、作業系統、各種程式、應用程式，或可在電子器件10上執行之任何其他常式。此外，記憶體18在電子器件10之操作期間可用於緩衝或快取。例如，在一實施例中，記憶體18包括一或多個圖框緩衝器以用於在將視訊資料輸出至顯示器28時對視訊資料進行緩衝。

除記憶體器件18外，電子器件10可進一步包括用於永久儲存資料及/或指令之非揮發性儲存器20。非揮發性儲存器20可包括快閃記憶體、硬碟機，或任何其他光學、磁性及/或固態儲存媒體，或其某一組合。因此，雖然出於清晰性目的在圖1中描繪為單一器件，但應理解，非揮發性儲存器件20可包括結合處理器16操作的以上列出之儲存器件中之一或多者的一組合。非揮發性儲存器20可用以儲存韌體、資料檔案、影像資料、軟體程式及應用程式、無線連接資訊、個人資訊、使用者偏好及任何其他合適資料。根據本發明之態樣，儲存於非揮發性儲存器20及/或記憶體器件18中之影像資料在輸出於顯示器上之前可由影像處理電路32進行處理。

說明於圖1中之實施例亦可包括一或多個卡槽或擴充槽。卡槽可經組態以收納擴充卡22，該擴充卡22可用以向電子器件10添加諸如額外記憶體、I/O功能性或網路連接能力的功能性。此擴充卡22可經由任何類型合適連接器連接至器件，且可相對於電子器件10之外殼在內部或外部存取。舉例而言，在一實施例中，擴充卡22可為快閃記憶體卡，諸如安全數位(SD)卡、迷你或微SD、CompactFlash卡或其類似者，或可為PCMCIA器件。另外，擴充卡22可為與電子器件10之提供行動電話能力之一實施例一起使用的用戶識別模組(SIM)卡。

電子器件10亦包括網路器件24，網路器件24可為可經由無線802.11標準或任何其他合適網路連接標準(諸如，區域網路(LAN)，諸如增強型資料速率GSM演進(EDGE)網路、3G資料網路或網際網路之廣域網路(WAN))提供網路連接性之網路控制器或網路介面卡(NIC)。在特定實施例中，網路器件24可提供至線上數位媒體內容提供者(諸如，可購自蘋果公司之iTunes音樂服務)之連接。

器件10之電源26可包括在非攜帶型設定及攜帶型設定兩者中向器件10供電的能力。舉例而言，在攜帶型設定中，器件10可包括用於向器件10供電之諸如鋰離子電池之一或多個電池。電池可藉由將器件10連接至外部電源(諸如，連接至壁式電氣插座)進行再充電。在非攜帶型設定中，電源26可包括電力供應單元(PSU)，該電力供應單元(PSU)經組態以自壁式電氣插座汲取電力並將電力分配給諸如桌上型計算系統之非攜帶型電子器件的各種組件。

如下文將進一步論述，顯示器28可用以顯示由器件10(諸如，作業系統之GUI)產生之各種影像或由影像處理電路32處理的影像資料(包括靜態影像及視訊資料)。如上文所提及，影像資料可包括使用成像器件30獲取之影像資料，或自記憶體18及/或非揮發性儲存器20擷取之影像資料。舉例而言，顯示器28可為任何合適類型之顯示器，諸如液晶顯示器(LCD)、電漿顯示器，或有機發光二極體(OLED)顯示器。另外，如上文所論述，顯示器28可結合可充當電子器件10之控制介面之部分的上文所論述之觸摸感應機構(例如，觸控式螢幕)來提供。

所說明之成像器件30可提供為經組態以獲取靜態影像及移動影像(例如，視訊)兩者的數位相機。相機30可包括透鏡及一或多個影像感測器，該一或多個影像感測器經組態以捕獲光並將光轉換為電信號。僅作為實例，影像感測器可包括CMOS影像感測器(例如，CMOS主動像素感測器(APS))或CCD(電荷耦合器件)感測器。通常，相機30中之影像感測器包括具有像素陣列之積體電路，其中每一像素包括用於感測光之一光偵測器。如一般熟習此項技術者將瞭解，成像像素中之光偵測器通常偵測經由相機透鏡捕獲之光的強度。然而，光偵測器自身通常不能偵測出所捕獲之光的波長，且因此不能判定色彩資訊。

因而，影像感測器可進一步包括一濾色器陣列(CFA)，該濾色器陣列(CFA)可上覆或安置於影像感測器之像素陣列上方以捕獲色彩資訊。濾色器陣列可包括小濾色器之陣列，該等小濾色器中之每一者可與影像感測器之各別像素重疊，並根據波長對所捕獲之光進行濾波。因此，當結合使用時，濾色器陣列及光偵測器可提供關於經由相機捕獲之光的波長資訊及強度資訊兩者，其可表示所捕獲之影像。

在一實施例中，濾色器陣列可包括一拜耳濾色器陣列，該陣列提供係50%綠色要素、25%紅色要素及25%藍色要素的濾波圖案。例如，圖2展示，拜耳CFA之2×2像素區塊包括2個綠色要素(Gr及Gb)、1個紅色要素(R)及1個藍色要素(B)。因此，利用拜耳濾色器陣列之影像感測器可提供關於由相機30接收之綠色、紅色及藍色波長下之光之強度的資訊，藉此每一影像像素僅記錄三種色彩(RGB)中的一者。可稱為「原始影像資料」或「原始域」中之資料的此資訊可接著使用一或多種去馬賽克技術進行處理，以通常藉由為每一像素內插紅色、綠色及藍色值集合而將原始影像資料轉換為全色影像。如下文將進一步論述，此等去馬賽克技術可由影像處理電路32來執行。

如上所提及，影像處理電路32可提供各種影像處理步驟，諸如缺陷像素偵測/校正、透鏡陰影校正、去馬賽克及影像清晰化、雜訊減少、伽瑪校正、影像增強、色空間轉換、影像壓縮、色度子取樣，及影像按比例縮放操作等。在一些實施例中，影像處理電路32可包括各種子組件及/或離散邏輯單元，該等子組件及/或離散邏輯單元共同形成用於執行各種影像處理步驟中之每一者的影像處理「管線」。此等子組件可使用硬體(例如，數位信號處理器或ASIC)或軟體或經由硬體組件與軟體組件之組合來實施。下文將更詳細地論述影像處理電路32可提供之各種影像處理操作，且特別是關於缺陷像素偵測/校正、透鏡陰影校正、去馬賽克及影像清晰化之彼等處理操作。

在繼續之前，應注意，雖然下文所論述之各種影像處理技術之各種實施例可利用拜耳CFA，但當前所揭示之技術在此點上並不意欲受限。實際上，熟習此項技術者將瞭解，本文中提供之影像處理技術可適用於包括RGBW濾波器、CYGM濾波器等之任何合適類型濾色器陣列。

再次參看電子器件10，圖3至圖6說明電子器件10可採用之各種形式。如上文所提及，電子器件10可採用以下形式：電腦，其包括通常為攜帶型之電腦(諸如，膝上型、筆記型及平板電腦)以及通常為非攜帶型之電腦(諸如，桌上型電腦、工作站及/或伺服器)；或其他類型電子器件，諸如手持式攜帶型電子器件(例如，數位媒體播放器或行動電話)。詳言之，圖3及圖4分別描繪呈膝上型電腦40及桌上型電腦50之形式的電子器件10。圖5及圖6分別展示呈手持式攜帶型器件60之形式之電子器件10的正視圖及後視圖。

如圖3中所示，所描繪之膝上型電腦40包括外殼42、顯示器28、I/O埠12及輸入結構14。輸入結構14可包括與外殼42整合之鍵盤及觸控板滑鼠。另外，輸入結構14可包括各種其他按鈕及/或開關，該等按鈕及/或開關可用以與電腦40互動，諸如使電腦通電或啟動電腦、操作GUI或在電腦40上執行之應用程式以及調整關於電腦40之操作的各種其他態樣(例如，音量、顯示器亮度等)。電腦40亦可包括如上文所論述之提供至額外器件之連接性的各種I/O埠12，諸如FireWire或USB埠、高清晰度多媒體介面(HDMI)埠，或適合於連接至外部器件的任何其他類型之埠。另外，如上文關於圖1所描述，電腦40可包括網路連接性(例如，網路器件26)、記憶體(例如，記憶體20)及儲存能力(例如，儲存器件22)。

另外，在所說明實施例中，膝上型電腦40可包括一整合式成像器件30(例如，相機)。在其他實施例中，膝上型電腦40替代整合式相機30或除整合式相機30外可利用連接至I/O埠12中之一或多者的外部相機(例如，外部USB相機或「網路攝影機」)。例如，外部相機可為可購自蘋果公司之iSight相機。相機30(不管是整合式相機或是外部相機)可提供對影像之捕獲及記錄。此等影像可接著由使用者使用影像閱覽應用程式來閱覽，或可由包括以下各者之其他應用程式利用：諸如iChat之視訊會議應用程式，及諸如Photo Booth、Aperture、iPhoto或Preview之影像編輯/閱覽應用程式，該等應用程式可購自蘋果公司。在特定實施例中，所描繪之膝上型電腦40可為可購自蘋果公司之某型號的MacBook、MacBookPro、MacBook Air或PowerBook。

圖4進一步說明電子器件10提供為桌上型電腦50之一實施例。如將瞭解，桌上型電腦50可包括可大體上類似於由展示於圖4中之膝上型電腦40提供之彼等特徵的多個特徵，但可具有大體上較大之總體外形尺寸。如圖所示，桌上型電腦50可收容於機殼42中，該機殼42包括顯示器28以及上文關於展示於圖1中之方塊圖所論述的各種其他組件。另外，桌上型電腦50可包括外部鍵盤及滑鼠(輸入結構14)，該外部鍵盤及滑鼠(輸入結構14)可經由一或多個I/O埠12(例如，USB)耦接至電腦50，或與電腦50無線地通信(例如，RF、藍芽等)。桌上型電腦50亦包括如上文所論述之一成像器件30，成像器件30可為整合式相機或外部相機。在特定實施例中，所描繪之桌上型電腦50可為可購自蘋果公司之某型號的iMac、Macmini或Mac Pro。

如圖進一步所示，顯示器28可經組態以產生可由使用者閱覽之各種影像。舉例而言，在電腦50之操作期間，顯示器28可顯示圖形使用者介面(「GUI」)52，圖形使用者介面(「GUI」)52允許使用者與在電腦50上執行之作業系統及/或應用程式互動。GUI 52可包括各種圖層、視窗、螢幕、樣板，或可顯示於顯示器件28之全部或一部分中的其他圖形元件。例如，在所描繪實施例中，作業系統GUI 52可包括各種圖形圖示54，該等圖形圖示54中之每一者可對應於在偵測到使用者選擇(例如，經由鍵盤/滑鼠或觸控式螢幕輸入)之後可開啟或執行的各種應用程式。圖示54可顯示於停駐區(dock)56中或顯示於螢幕上之一或多個圖形視窗元件58內。在一些實施例中，圖示54之選擇可導致階層式巡覽程序，使得圖示54之選擇通向螢幕，或開啟包括一或多個額外圖示或其他GUI元件的另一圖形視窗。僅作為實例，顯示於圖4中之作業系統GUI 52可係來自可購自蘋果公司之Mac OS作業系統之一版本。

繼續圖5及圖6，進一步說明呈攜帶型手持式電子器件60之形式的電子器件10，該攜帶型手持式電子器件60可為可購自蘋果公司之某型號的iPod或iPhone。在所描繪實施例中，手持式器件60包括機殼42，機殼42可用以保護內部組件不受實體損害並防護內部組件不受電磁干擾。如圖5中所示，機殼42可由諸如塑膠、金屬或複合材料的任何合適材料或材料之組合形成，且可允許諸如無線網路連接信號之某些頻率電磁輻射通過而到達無線通信電路(例如，網路器件24)，該無線通信電路可安置於機殼42內。

機殼42亦包括使用者可藉以與手持式器件60互動的各種使用者輸入結構14。例如，每一輸入結構14可經組態以在被按下或致動時控制一或多個各別器件功能。作為實例，輸入結構14中之一或多者可經組態以調用待顯示之「首頁」螢幕42或選單、在休眠模式、喚醒模式或通電模式/斷電模式之間切換、使蜂巢式電話應用程式之振鈴器靜默、增大或降低音量輸出等。應理解，所說明之輸入結構14僅為例示性的，且手持式器件60可包括以包括按鈕、開關、鍵、旋鈕、滾輪等之各種形式存在的任何數目個合適之使用者輸入結構。

如圖5中所示，手持式器件60可包括各種I/O埠12。例如，所描繪之I/O埠12可包括用於傳輸並接收資料檔案或用於對電源26充電之專屬連接埠12a，及用於將器件60連接至音訊輸出器件(例如，頭戴式耳機或揚聲器)之音訊連接埠12b。另外，在手持式器件60提供行動電話功能性之實施例中，器件60可包括用於收納用戶識別模組(SIM)卡(例如，擴充卡22)的I/O埠12c。

可為LCD、OLED或任何合適類型之顯示器之顯示器件28可顯示由手持式器件60產生之各種影像。舉例而言，顯示器28可顯示向使用者提供關於手持式器件60之一或多個狀態(諸如，電力狀態、信號強度、外部器件連接等)之回饋的各種系統指示符64。如上文參看圖4所論述，顯示器亦可顯示允許使用者與器件60互動之GUI 52。GUI 52可包括圖形元件，諸如可對應於各種應用程式之圖示54，在偵測到各別圖示54之使用者選擇之後可開啟或執行該等應用程式。作為實例，圖示54中之一者可表示相機應用程式66，相機應用程式66可結合相機30(在圖5中以幻象線展示)使用以獲取影像。簡要地參看圖6，說明描繪於圖5中之手持式電子器件60之後視圖，其將相機30展示為與外殼42整合且定位於手持式器件60之後部。

如上文所提及，使用相機30獲取之影像資料可使用影像處理電路32處理，該影像處理電路32可包括硬體(例如，安置於機殼42內)及/或儲存於器件60之一或多個儲存器件(例如，記憶體18或非揮發性儲存器20)上的軟體。使用相機應用程式66及相機30獲取之影像可儲存於器件60上(例如，儲存於儲存器件20中)，且在稍後時間可使用照片閱覽應用程式68閱覽。

手持式器件60亦可包括各種音訊輸入及輸出元件。舉例而言，通常由參考數字70描繪之音訊輸入/輸出元件可包括諸如一或多個麥克風之輸入接收器。例如，在手持式器件60包括蜂巢式電話功能性之情況下，輸入接收器可經組態以接收諸如使用者語音之使用者音訊輸入。另外，音訊輸入/輸出元件70可包括一或多個輸出傳輸器。此等輸出傳輸器可包括一或多個揚聲器，該一或多個揚聲器可用以(諸如)在使用媒體播放器應用程式72播放音樂資料期間將音訊信號傳輸至使用者。另外，如圖5中所示，在手持式器件60包括蜂巢式電話應用程式之實施例中，可提供額外音訊輸出傳輸器74。類似於音訊輸入/輸出元件70之輸出傳輸器，輸出傳輸器74亦可包括一或多個揚聲器，該一或多個揚聲器經組態以將音訊信號(諸如，在電話呼叫期間接收到之語音資料)傳輸至使用者。因此，音訊輸入/輸出元件70及74可聯合操作，以充當電話之音訊接收及傳輸元件。

現已提供了關於電子器件10可採用之各種形式的某一情形，本論述現將集中於圖1中所描繪之影像處理電路32。如上文所提及，影像處理電路32可使用硬體及/或軟體組件來實施，且可包括界定影像信號處理(ISP)管線之各種處理單元。詳言之，以下論述可集中於本發明中闡述之影像處理技術之態樣，特別是關於缺陷像素偵測/校正技術、透鏡陰影校正技術、去馬賽克技術及影像清晰化技術的彼等態樣。

現參看圖7，根據當前所揭示技術之一實施例，說明描繪可作為影像處理電路32之部分實施之若干功能組件的簡化最高階方塊圖。特定而言，根據至少一實施例，圖7意欲說明影像資料可如何流過影像處理電路32。為了提供影像處理電路32之一般綜述，此處參看圖7提供此等功能組件如何操作以處理影像資料之一般描述，同時下文中將進一步提供所說明功能組件中之每一者的更特定描述以及其各別子組件。

參看所說明實施例，影像處理電路32可包括影像信號處理(ISP)前端處理邏輯80、ISP管處理邏輯82及控制邏輯84。由成像器件30捕獲之影像資料可首先由ISP前端邏輯80處理，並經分析以捕獲影像統計量，該等影像統計量可用以判定ISP管邏輯82及/或成像器件30之一或多個控制參數。ISP前端邏輯80可經組態以自影像感測器輸入信號捕獲影像資料。例如，如圖7中所示，成像器件30可包括具有一或多個透鏡88及影像感測器90的相機。如上文所論述，影像感測器90可包括濾色器陣列(例如，拜耳濾波器)，且可因此提供由影像感測器90之每一成像像素捕獲之光強度及波長資訊兩者，從而提供可由ISP前端邏輯80處理之原始影像資料集合。例如，來自成像器件30之輸出92可由感測器介面94接收到，該感測器介面94可接著基於(例如)感測器介面類型將原始影像資料96提供至ISP前端邏輯80。作為實例，感測器介面94可利用標準行動成像架構(SMIA)介面或行動產業處理器介面(MIPI)或其某一組合。在特定實施例中，ISP前端邏輯80可在其自身之時脈域內操作，且可提供與感測器介面94非同步之介面，以支援具有不同大小及時序要求的影像感測器。

原始影像資料96可提供至ISP前端邏輯80，並以多種格式逐個像素地進行處理。例如，每一影像像素可具有8、10、12或14位元之位元深度。ISP前端邏輯80可對原始影像資料96執行一或多個影像處理操作，以及收集關於影像資料96的統計量。可以相同位元深度精度或以不同位元深度精度來執行影像處理操作以及統計資料之收集。舉例而言，在一實施例中，可以14位元之精度來執行對原始影像像素資料96之處理。在此等實施例中，由ISP前端邏輯80接收到之具有小於14位元(例如，8位元、10位元、12位元)之位元深度的原始像素資料為了影像處理目的可經增加取樣至14位元。在另一實施例中，統計量處理可以8位元之精度發生，且因此具有較高位元深度之原始像素資料為了統計目的可經減小取樣至8位元格式。如將瞭解，減小取樣至8位元可減小硬體大小(例如，區域)，且亦減小統計資料之處理/計算複雜度。另外，原始影像資料在空間上可經平均化以允許統計資料對於雜訊為更強健的。

另外，如圖7中所示，ISP前端邏輯80亦可自記憶體108接收像素資料。例如，如由參考數字98所示，原始像素資料可自感測器介面94發送至記憶體108。駐留於記憶體108中之原始像素資料如由參考數字100所示可接著提供至ISP前端邏輯80以供處理。記憶體108可為記憶體器件18、儲存器件20之部分，或可為電子器件10內之獨立專用記憶體並可包括直接記憶體存取(DMA)特徵。另外，在特定實施例中，ISP前端邏輯80可在其自身之時脈域內操作，且提供與感測器介面94非同步之介面，以支援具有不同大小且具有不同時序要求的感測器。

在接收到原始影像資料96(來自感測器介面94)或100(來自記憶體108)之後，ISP前端邏輯80即可執行一或多個影像處理操作，諸如時間濾波及/或併像補償濾波。經處理之影像資料可接著提供至ISP管邏輯82(輸出信號109)以在顯示(例如，顯示於顯示器件28上)之前進行額外處理，或可發送至記憶體(輸出信號110)。ISP管邏輯82接收直接來自ISP前端邏輯80之「前端」經處理資料或來自記憶體108之「前端」經處理資料(輸入信號112)，且可提供影像資料在原始域以及在RGB及YCbCr色空間中的額外處理。由ISP管邏輯82處理之影像資料可接著輸出(信號114)至顯示器28以供使用者閱覽，及/或可由圖形引擎或GPU進行進一步處理。另外，來自ISP管邏輯82之輸出可發送至記憶體108(信號115)，且顯示器28可讀取來自記憶體108之影像資料(信號116)，記憶體108在特定實施例中可經組態以實施一或多個圖框緩衝器。另外，在一些實施中，ISP管邏輯82之輸出亦可提供至壓縮引擎118(信號117)以在由顯示器28讀取之前對影像資料進行編碼(信號119)。作為實例，壓縮引擎或「編碼器」118可為用於編碼靜態影像之JPEG壓縮引擎，或用於編碼視訊影像之H.264壓縮引擎，或其某一組合。下文關於圖27至圖57將更詳細地論述可提供於ISP管邏輯82中之關於影像處理操作的額外資訊。又，應注意，ISP管邏輯82亦可接收如由輸入信號112所描繪之來自記憶體108的原始影像資料。

由ISP前端邏輯80判定之統計資料102可提供至控制邏輯單元84。統計資料102可包括(例如)關於以下各者之影像感測器統計量：自動曝光、自動白平衡、自動聚焦、閃光偵測、黑階補償(BLC)、透鏡陰影校正等。控制邏輯84可包括經組態以執行一或多個常式(例如，韌體)之處理器及/或微控制器，該一或多個常式可經組態以基於接收到之統計資料102來判定成像器件30之控制參數104以及ISP管處理邏輯82的控制參數106。僅作為實例，控制參數104可包括感測器控制參數(例如，增益、曝光控制之積分時間)、閃光燈控制參數、透鏡控制參數(例如，用於聚焦或變焦之焦距)，或此等參數之組合。ISP控制參數106可包括用於自動白平衡及色彩調整之增益位準及色彩校正矩陣(CCM)係數(例如，在RGB處理期間)，以及如下文所論述可基於白點平衡參數判定的透鏡陰影校正參數。在一些實施例中，控制邏輯84除分析統計資料102外亦可分析可儲存於電子器件10上(例如，記憶體18或儲存器20中)之歷史統計量。

歸因於本文中所展示之影像處理電路32通常複雜之設計，如下文所示將ISP前端邏輯80及ISP管處理邏輯82之論述分為獨立部分可為有益的。特定而言，本申請案之圖8至圖26可係關於ISP前端邏輯80之各種實施例及態樣的論述，而本申請案之圖27至圖57可係關於ISP管處理邏輯82之各種實施例及態樣的論述。

ISP前端處理邏輯

圖8為根據一實施例之展示可實施於ISP前端邏輯80中之功能邏輯區塊的更詳細方塊圖。取決於成像器件30及/或感測器介面94之組態，如上文在圖7中所論述，原始影像資料可藉由一或多個影像感測器90提供至ISP前端邏輯80。在所描繪實施例中，原始影像資料可藉由第一影像感測器90a(感測器0)及第二影像感測器90b(感測器1)提供至ISP前端邏輯80。如圖中所示，影像感測器90a及90b可分別提供原始影像資料作為信號Sif0及Sif1。影像感測器90a及90b中之每一者可與各別統計量處理單元120及122相關聯。

另外，應注意，原始影像資料Sif0及Sif1可直接提供至其各別處理單元120及122，或可儲存於記憶體108中或寫入至記憶體108且隨後分別作為信號SifIn0及SifIn1經擷取。因此，ISP前端邏輯80可包括選擇邏輯124，選擇邏輯124可將表示由感測器0(90a)捕獲之原始影像資料的Sif0或SifIn0信號提供至統計量處理單元120；且亦可包括選擇邏輯126，其可將表示由感測器1(90b)捕獲之原始影像資料的Sif1或SifIn1信號提供至統計量處理單元122。統計量處理單元120及122中之每一者可判定經由對原始影像感測器資料之分析而獲得之各種統計資料，且可判定如由輸出信號Stats0及Stats1指示的統計量之各別集合。如上文所提及，統計資料(Stats0及Stats1)可提供至控制邏輯84，以用於判定可用以操作成像器件30及/或ISP管處理邏輯82之各種控制參數。

除統計量處理單元120及122外，ISP前端邏輯80可進一步包括一像素處理單元130。像素處理單元130可逐個像素地對原始影像資料執行各種影像處理操作。如圖所示，像素處理單元130可藉由選擇邏輯132接收原始影像信號Sif0(來自感測器0)或Sif1(來自感測器1)，或可接收來自記憶體108之原始影像資料FEProcIn。如可瞭解，展示於圖8中之選擇邏輯區塊(120、122及132)可由任何合適類型邏輯來提供，諸如由回應於控制信號而選擇多個輸入信號中之一者的多工器來提供。如下文將進一步論述，像素處理單元130在執行像素處理操作時亦可接收並輸出各種信號(例如，Rin、Hin、Hout及Yout，其可表示在時間濾波期間使用之運動歷史及明度資料)。像素處理單元130之輸出109(FEProcOut)可接著諸如經由一或多個先進先出(FIFO)佇列轉遞至ISP管邏輯82，或可發送至記憶體108。

在繼續描繪於圖8之ISP前端邏輯80中之統計量處理及像素處理操作的更詳細描述之前，咸信關於各種ISP圖框區之界定的簡要介紹將有助於促進對本發明之標的物之更佳理解。有鑒於此，在圖9中說明可在影像源圖框內界定之各種圖框區。如可利用採用8、10、12或14位元精度的像素格式，提供至影像處理電路32之源圖框之格式可使用上文所論述之平鋪或線性定址模式。如圖9中所示，影像源圖框150可包括感測器圖框區152、原始圖框區154及作用區156。感測器圖框152通常為影像感測器90可提供至影像處理電路32之最大圖框大小。原始圖框區154可界定為感測器圖框152之發送至ISP前端處理邏輯80之區。作用區156可界定為源圖框150之通常在原始圖框區154內的一部分，在該部分上執行特定影像處理操作之處理。根據本發明之技術之實施例，作用區156對於不同影像處理操作可為相同的或可為不同的。

根據本發明之技術之態樣，ISP前端邏輯80僅接收原始圖框154。因此，出於本論述之目的，ISP前端處理邏輯80之整體圖框大小可採納為如由寬度158及高度160判定之原始圖框大小。在一些實施例中，可由控制邏輯84來判定及/或維持自感測器圖框152之邊界至原始圖框154之偏移。例如，控制邏輯84可包括韌體，該韌體可基於相對於感測器圖框152指定之輸入參數(諸如，x偏移162及y偏移164)來判定原始圖框區154。另外，在一些狀況下，ISP前端邏輯80或ISP管邏輯82內之處理單元可具有一所界定之作用區，使得在原始圖框中但在作用區156外之像素將不經處理(亦即，保持不變)。例如，可基於相對於原始圖框154之x偏移170及y偏移172來界定特定處理單元之具有寬度166及高度168之作用區156。另外，在未具體界定作用區之情況下，影像處理電路32之一實施例可假設，作用區156與原始圖框154相同(例如，x偏移170及y偏移172皆等於0)。因此，出於對影像資料執行影像處理操作之目的，可相對於原始圖框154或作用區156之邊界來界定邊界條件。

有鑒於此等要點且參看圖10，說明根據本發明之技術之實施例的ISP前端像素處理邏輯130(先前在圖8中進行論述)的更詳細視圖。如圖所示，ISP前端像素處理邏輯130包括時間濾波器180及併像補償濾波器182。時間濾波器180可接收輸入影像信號Sif0、Sif1或FEProcIn中之一者，且在執行任何額外處理之前對原始像素資料進行操作。舉例而言，時間濾波器180最初可藉由在時間方向上對影像圖框進行平均化而處理影像資料以減少雜訊。

時間濾波器180可基於運動及亮度特性而為像素適應性的。例如，當像素運動為高時，可減小濾波強度以便在所得經處理影像中避免「拖尾」或「重像假影」之出現，而當偵測到小量運動或無運動時，可增大濾波強度。另外，亦可基於亮度資料(例如，「明度」)來調整濾波強度。例如，隨著影像亮度增大，濾波假影對於人眼可變得更加顯著。因此，當像素具有高位準亮度時，可進一步減小濾波強度。

在應用時間濾波時，時間濾波器180可接收參考像素資料(Rin)及運動歷史輸入資料(Hin)，該等資料可係來自先前經濾波之圖框或初始圖框。使用此等參數，時間濾波器180可提供運動歷史輸出資料(Hout)及經濾波之像素輸出(Yout)。經濾波之像素輸出Yout接著傳遞至併像補償濾波器182，併像補償濾波器182可經組態以對經濾波之像素輸出資料Yout執行一或多個按比例縮放操作以產生輸出信號FEProcOut。如上文所論述，經處理之像素資料FEProcOut可接著轉遞至ISP管處理邏輯82。

參看圖11，說明根據一實施例之描繪可由展示於圖10中之時間濾波器執行之時間濾波程序190的程序圖。時間濾波器180可包括2分接頭濾波器，其中至少部分基於運動及亮度資料逐個像素地適應性地調整濾波係數。例如，可比較具有指示時間值之變數「t」的輸入像素x(t)與先前經濾波之圖框或先前初始圖框中的參考像素r(t-1)，以產生可含有濾波係數之運動歷史表(M)192中之運動查詢索引。另外，基於運動歷史輸入資料h(t-1)，可判定對應於當前輸入像素x(t)的運動歷史輸出h(t)。

可基於運動差量d(j,i,t)來判定運動歷史輸出h(t)及濾波係數K，其中(j,i)表示當前像素x(j,i,t)之空間位置的座標。可藉由判定具有同一色彩之三個水平地共置之像素的初始像素與參考像素之間的三個絕對差量之最大值來計算運動差量d(j,i,t)。例如，簡要地參考圖12，說明對應於初始輸入像素206、208及210之三個共置的參考像素200、202及204的空間位置。在一實施例中，可使用下式基於此等初始像素及參考像素來計算運動差量：

返回參看圖11，一旦運動差量值經判定，即可藉由對當前像素(例如，在空間位置(j,i)處)之運動差量d(t)與運動歷史輸入h(t-1)求和來計算可用以自運動表(M)192選擇濾波係數K的運動查詢索引。例如，可如下判定濾波係數K：

K =M [d (j ,i ,t )+h (j ,i ,t -1)]　(2)

另外，可使用下式判定運動歷史輸出h(t)：

h (j ,i ,t )=d (j ,i ,t )+(1-K )×h (j ,i ,t -1)　(3)

接著，可使用當前輸入像素x(t)之亮度來產生明度表(L)194中的明度查詢索引。在一實施例中，明度表可含有可在0與1之間的衰減因數，且可基於明度索引進行選擇。如在以下等式中所示，可藉由使第一濾波係數K乘以明度衰減因數來計算第二濾波係數K'：

K '=K ×L [x (j ,i ,t )]　(4)

K'之判定值可接著用作時間濾波器180之濾波係數。如上文所論述，時間濾波器180可為2分接頭濾波器。另外，時間濾波器180可使用先前經濾波之圖框組態為無限脈衝回應(IIR)濾波器，或可使用先前初始圖框組態為有限脈衝回應(FIR)濾波器。時間濾波器180可使用下式使用當前輸入像素x(t)、參考像素r(t-1)及濾波係數K'來計算經濾波之輸出像素y(t)(Yout)：

y (j ,i ,t )=r (j ,i ,t -1)+K '(x (j ,i ,t )-r (j ,i ,t -1))　(5)

如上文所論述，可逐個像素地執行展示於圖11中之時間濾波程序190。在一實施例中，相同之運動表M及明度表L可用於所有色彩分量(例如，R、G及B)。另外，一些實施例可提供一略過機構，在該略過機構中，可諸如回應於來自控制邏輯84之控制信號而略過時間濾波。

時間濾波器180之輸出隨後可發送至併像補償濾波器(BCF)182，併像補償濾波器(BCF)182可處理影像像素以補償色彩樣本之非線性置放，使得ISP管邏輯82中之取決於色彩樣本之線性置放的後續影像處理操作(例如，去馬賽克等)可正確操作。另外，BCF 182亦可藉由應用一或多個按比例縮放操作(諸如，垂直及/或水平按比例縮放)來處理像素資料。圖13展示根據一所揭示實施例之可包括按比例縮放邏輯214及差動分析器216之併像補償濾波器182的方塊圖，且圖14展示可用於進行按比例縮放操作的程序220。

如圖13中所示，按比例縮放邏輯214可產生輸出FEProcOut(109)，該輸出如上文所論述可轉遞至ISP管邏輯82以進行如下文將進一步論述的額外處理。在一實施例中，由BCF 182執行之按比例縮放操作可使用一或多個多分接頭多相濾波器來執行，該一或多個多分接頭多相濾波器可自源影像選擇像素，使每一像素乘以加權因數，且接著對像素值進行總計以形成目標像素。如將瞭解，在按比例縮放操作中使用之像素之選擇可至少部分取決於當前像素位置及由濾波器提供之分接頭的數目。另外，可使用相同之著色像素按色彩分量進行濾波操作，且加權因數(或係數)可自查詢表獲得，並基於當前之像素間分率位置(between-pixel fractional position)來判定加權因數(或係數)。

在所描繪實施例中，差動分析器216可為數位差動分析器(DDA)，且可經組態以在按比例縮放操作期間控制當前像素位置。僅作為實例，DDA 216可提供為32位元資料暫存器，其含有二之補數的固定點數字，該數字之整數部分為12個位元且分數部分為20個位元。12位元整數部分可用以判定當前像素位置。分數部分用作至係數表中之索引。在一實施例中，垂直及水平按比例縮放組件可利用8位元深之係數表，使得20位元分數部分之3個高位位元用於索引。

為了提供一基於32位元DDA暫存器(DDA[31:0])之實例，當前中心源像素位置(currPixel)可藉由12位元整數部分DDA[31:20]來界定，且在下一位元DDA[19]為1之情況下可上捨入為(+1)。可接著取決於由濾波器提供之分接頭之數目來獲得鄰近currPixel之像素的源像素值。例如，在一實施例中，垂直按比例縮放可使用3分接頭多相濾波器來執行，使得currPixel之每一側上具有同一色彩之一像素經選擇(例如，-1、0、+1)，且水平按比例縮放可使用5分接頭多相濾波器來執行，其中currPixel之每一側上具有同一色彩之兩個像素經選擇(例如，-2、-1、0、+1、+2)。另外，每一分接頭可具有其自身之各別係數表。因此，可提供三個8位元深之表用於3分接頭垂直按比例縮放濾波器，且可提供五個8位元深之表用於5分接頭水平按比例縮放濾波器。當前係數索引(currIndex)可藉由DDA[19:16](分數部分DDA[19:0]之3個高位位元)來界定，且在下一位元DDA[15]為1之情況下上捨入為(+1)。

因而，在BCF 182中發生之濾波程序可包括獲得中心像素(currPixel)周圍之源像素值，及使該等源像素值乘以來自表之使用currIndex存取的適當係數。一旦針對給定像素完成濾波程序，步長值(DDAStep)即可添加至DDA 216以判定下一像素之位置，且可針對後續像素重複濾波/按比例縮放操作。此情形由說明於圖14中之程序220來進一步展示。例如，於步驟222開始，初始化DDA 216，並識別當前像素位置。如上文所論述，在DDA 216包括32位元暫存器以用於儲存二之補數之固定點數字時，當前像素位置可藉由暫存器資料之高位12位元(整數部分)來指定。

在步驟224處，針對垂直按比例縮放及水平按比例縮放兩者來執行多分接頭濾波。作為實例，假設3分接頭多相濾波器及5分接頭多相濾波器分別用於垂直按比例縮放及水平按比例縮放，且假設影像感測器90使用拜耳濾色器圖案(圖2)，則垂直按比例縮放組件可包括四個獨立之3分接頭多相濾波器，每一色彩分量(Gr、R、B及Gb)一個3分接頭多相濾波器。3分接頭濾波器中之每一者可使用DDA來控制當前中心像素之步進及係數之索引。類似地，水平按比例縮放組件可包括四個獨立之5分接頭多相濾波器，每一色彩分量(Gr、R、B及Gb)一個5分接頭多相濾波器。5分接頭濾波器中之每一者可使用DDA來控制當前中心像素之步進及係數之索引。對於邊界狀態而言，在水平濾波程序及垂直濾波程序中使用之像素可取決於當前像素之如藉由DDA建立的位置。例如，若DDA值指示當前像素(currPixel)接近於圖框邊沿，從而使得濾波器所需要之源像素中的一或多者位於邊沿外，則可重複邊沿像素。

最後，如步驟226處所示，一旦針對給定當前像素(currPixel)已完成了垂直按比例縮放操作及水平按比例縮放操作，則DDA 216可步進至下一像素之位置，且程序220可返回至步驟224以對下一像素執行垂直按比例縮放及水平按比例縮放。如上文所論述，BCF 182之可為輸出FEProcOut(109)之輸出可轉遞至ISP管處理邏輯82以進行額外處理。然而，在將此論述之焦點轉移至ISP管處理邏輯82之前，將首先提供可由可實施於ISP前端邏輯80中之統計量處理單元(例如，122及124)提供之各種功能性的更詳細描述。

返回參看統計量處理單元120及122之一般描述，此等單元可經組態以收集關於捕獲並提供原始影像信號(Sif0及Sif1)之影像感測器的各種統計量，諸如關於自動曝光、自動白平衡、自動聚焦、閃光偵測、黑階補償及透鏡陰影校正等的統計量。在進行此操作時，統計量處理單元120及122可首先將一或多個影像處理操作應用至其各別輸入信號Sif0(來自感測器0)及Sif1(來自感測器1)。

舉例而言，參看圖15，說明根據一實施例之與感測器0(90a)相關聯之統計量處理單元120的更詳細方塊圖。如圖所示，統計量處理單元120可包括以下功能區塊：缺陷像素偵測及校正邏輯230、黑階補償(BLC)邏輯232、透鏡陰影校正邏輯234、反向BLC邏輯236及統計量收集邏輯238。下文將論述此等功能區塊中之每一者。另外，應理解，可以類似方式來實施與感測器1(90b)相關聯之統計量處理單元122。

最初，前端缺陷像素校正邏輯230接收選擇邏輯124之輸出(例如，Sif0或SifIn0)。如將瞭解，「缺陷像素」可理解為指代影像感測器90內之未能準確地感測到光位準之成像像素。缺陷像素可歸因於多種因素，且可包括「熱」(或漏溢(leaky))像素、「卡色像素(stuck pixel)」及「無作用像素(dead pixel)」。在同一空間位置處給定相同光量之情況下，「熱」像素通常顯現為亮於非缺陷像素。熱像素係歸因於重設故障及/或高漏溢而導致。舉例而言，熱像素相對於非缺陷像素可展現高於正常電荷漏溢的電荷漏溢，且因此可顯現為亮於非缺陷像素。另外，「無作用像素」及「卡色像素」可為在加工及/或組裝程序中污染影像感測器之雜質(諸如，灰塵或其他痕量材料)之結果，其可使得某些缺陷像素相較於非缺陷像素為較黑或較亮的，或可使得缺陷像素無關於缺陷像素實際上曝光至之光的量而固定於特定值。另外，無作用像素及卡色像素亦可由在影像感測器之操作期間發生之電路故障導致。作為實例，卡色像素可顯現為始終接通(例如，完全充電)且因此顯現為較亮的，而無作用像素顯現為始終斷開。

在於統計量收集(例如，238)中考慮缺陷像素之前，ISP前端邏輯80中之缺陷像素偵測及校正(DPDC)邏輯230可校正缺陷像素(例如，替換缺陷像素值)。在一實施例中，獨立於每一色彩分量(例如，拜耳圖案之R、B、Gr及Gb)來執行缺陷像素校正。通常，前端DPDC邏輯230可提供動態缺陷校正，其中自動基於使用具有同一色彩之鄰近像素計算之方向梯度來判定缺陷像素的位置。如將理解，在像素於給定時間特徵化為有缺陷像素可能取決於鄰近像素中之影像資料的意義上，缺陷可為「動態的」。作為實例，若卡色像素之位置係在當前影像之由較亮或白色色彩佔優勢之區域中，則可能並不將始終在最大亮度上之卡色像素視為缺陷像素。相反，若卡色像素係在當前影像之由黑色或較暗色彩佔優勢之區中，則卡色像素在DPDC邏輯230進行之處理期間可識別為缺陷像素，且相應地經校正。

DPDC邏輯230可利用當前像素之每一側上的具有同一色彩之一或多個水平鄰近像素，來使用像素至像素之方向梯度判定當前像素是否為有缺陷的。若當前像素識別為有缺陷的，則可由水平鄰近像素之值來替換缺陷像素的值。例如，在一實施例中，使用在原始圖框154(圖9)邊界內之具有同一色彩的五個水平鄰近像素，其中五個水平鄰近像素包括當前像素及任一側上的兩個鄰近像素。因此，如圖16中所說明，對於給定色彩分量c且對於當前像素P，DPDC邏輯230可考慮水平鄰近像素P0、P1、P2及P3。然而，應注意，取決於當前像素P之位置，在計算像素至像素梯度時並不考慮原始圖框154外之像素。

例如，如圖16中所示，在「左側邊緣」狀況240下，當前像素P係在原始圖框154之最左側邊緣處，且因此並不考慮原始圖框154外之鄰近像素P0及P1，從而僅留下像素P、P2及P3(N=3)。在「左側邊緣+1」狀況242下，當前像素P離原始圖框154之最左側邊緣一單位像素，且因此不考慮像素P0。此情形僅留下像素P1、P、P2及P3(N=4)。另外，在「居中」狀況244下，當前像素P左側之像素P0及P1以及當前像素P右側之像素P2及P3係在原始圖框154內，且因此在計算像素至像素梯度中考慮所有鄰近像素P0、P1、P2及P3(N=5)。另外，隨著逼近原始圖框154之最右側邊緣，可遭遇類似狀況246及248。例如，給定「右側邊緣-1」狀況246，當前像素P離原始圖框154之最右側邊緣一單位像素，且因此不考慮像素P3(N=4)。類似地，在「右側邊緣」狀況248下，當前像素P係在原始圖框154之最右側邊緣處，且因此不考慮兩個鄰近像素P2及P3(N=3)。

在所說明實施例中，對於圖片邊界(例如，原始圖框154)內之每一鄰近像素(k=0至3)，可如下計算像素至像素梯度：

G _k =abs (P -P _k )，其中0 k 3(僅針對原始圖框內之k )　(6)

一旦已判定了像素至像素梯度，即可由DPDC邏輯230如下執行缺陷像素偵測。首先，假設在一像素之某數目個梯度G_k 處於或低於由變數dprTh指示之特定臨限值之情況下，該像素為有缺陷的。因此，對於每一像素，對圖片邊界內之鄰近像素的處於或低於臨限值dprTh之梯度之數目的計數(C)進行累積。作為實例，對於原始圖框154內之每一鄰近像素，可如下計算處於或低於臨限值dprTh之梯度G_k 的經累積之計數C：

其中0 k 3(僅針對原始圖框內之k )

如將瞭解，取決於色彩分量，臨限值dprTh可能改變。接著，若判定經累積之計數C小於或等於由變數dprMaxC指示之最大計數，則可將像素視為有缺陷的。此邏輯表達如下：

若(C dprMaxC)，則像素為有缺陷的。　(8)

使用多個替換慣例來替換缺陷像素。例如，在一實施例中，一缺陷像素可由緊接其左側之像素P1來替換。在邊界條件(例如，P1係在原始圖框154外)下，缺陷像素可由緊接其右側之像素P2來替換。另外，應理解，替換值可經保留或傳播以用於後續缺陷像素偵測操作。例如，參看展示於圖16中之水平像素之集合，若P0或P1先前由DPDC邏輯230識別為缺陷像素，則其相應替換值可用於當前像素P的缺陷像素偵測及替換。

為了概述上文論述之缺陷像素偵測及校正技術，描繪此程序之流程圖提供於圖17中，並由參考數字250提及。如圖所示，程序250於步驟252開始，在步驟252處，接收當前像素(P)，且識別鄰近像素之集合。根據上文所描述之實施例，鄰近像素可包括來自當前像素之相反側之具有同一色彩分量的兩個水平像素(例如，P0、P1、P2及P3)。接著，在步驟254處，如上文在等式6中所描述，相對於原始圖框154內之每一鄰近像素來計算水平之像素至像素梯度。其後，在步驟256處，判定小於或等於特定臨限值dprTh之梯度之數目的計數C。如圖所示，在決策邏輯258處，若C小於或等於dprMaxC，則程序250繼續至步驟260，且將當前像素識別為有缺陷的。接著，在步驟262處，使用替換值來校正缺陷像素。另外，返回參看決策邏輯258，若C大於dprMaxC，則程序繼續至步驟264，且不將當前像素識別為有缺陷的，且其值不變。

應注意，在ISP前端統計量處理期間應用之缺陷像素偵測/校正技術相較於在ISP管邏輯82中執行之缺陷像素偵測/校正可為較不強健的。例如，如下文將進一步詳細論述，在ISP管邏輯82中執行之缺陷像素偵測/校正除動態缺陷校正外可進一步提供固定缺陷校正，其中缺陷像素之位置為先驗已知的並載入至一或多個缺陷表中。另外，ISP管邏輯82中之動態缺陷校正亦可考慮水平方向及垂直方向兩者上之像素梯度，且亦可提供如下文將論述的光斑之偵測/校正。

返回圖15，接著將DPDC邏輯230之輸出傳遞至黑階補償(BLC)邏輯232。BLC邏輯232可針對用於統計量收集之像素上之每一色彩分量「c」(例如，拜耳之R、B、Gr及Gb)獨立地提供數位增益、偏移及截割。例如，如由以下操作所表達，當前像素之輸入值首先經偏移一帶正負號之值，且接著乘以一增益。

Y =(X +O [c ])×G [c ]，　(9)

其中X表示給定色彩分量c(例如，R、B、Gr或Gb)之輸入像素值，O[c]表示當前色彩分量c之帶正負號之16位元偏移，且G[c]表示色彩分量c的增益值。在一實施例中，增益G[c]可為具有2個整數位元及14個分數位元之16位元無正負號之數字(例如，以浮點表示之2.14)，且可在捨入情況下應用增益G[c]。僅作為實例，增益G[c]可具有0至4X(例如，4乘以輸入像素值)之間的範圍。

接著，如由以下等式10所示，帶正負號之所計算值Y可接著經截割至最小值與最大值之範圍：

Y =(Y <min[c])？min[c]:(Y >max[c])？max[c]:Y (10)

變數min[c]及max[c]可分別表示最小輸出值及最大輸出值之帶正負號的16位元「截割值」。在一實施例中，BLC邏輯232亦可經組態以按色彩分量維持分別高於最大值且低於最小值的經截割之像素之數目的計數。

隨後，將BLC邏輯232之輸出轉遞至透鏡陰影校正(LSC)邏輯234。LSC邏輯234可經組態以逐個像素地應用適當增益以補償強度之下降，強度之下降大體上與距成像器件30之透鏡88之光學中心的距離粗略地成比例。如可瞭解，此等下降可為透鏡之幾何光學的結果。作為實例，具有理想光學性質之透鏡可模型化為稱為cos⁴ 定律的入射角之餘弦之四次冪cos⁴ (θ)。然而，因為透鏡製造並非為完美的，所以透鏡中之各種不規則性可使得光學性質偏離假設之cos⁴ 模型。例如，透鏡之較薄邊緣通常展現最大不規則性。另外，透鏡陰影圖案中之不規則性亦可為影像感測器內之微透鏡陣列未與彩色陣列濾波器完全對準的結果。另外，一些透鏡中之紅外線(IR)濾波器可使得下降取決於發光體，且因此透鏡陰影增益可取決於偵測到之光源而加以調適。

參看圖18，說明描繪典型透鏡之光強度對像素位置的三維概況。如圖所示，接近透鏡之中心272之光強度朝向透鏡之角落或邊緣274逐漸下降。描繪於圖18中之透鏡陰影不規則性可藉由圖19來更佳地說明，圖19展示展現光強度朝向角落及邊緣之下降的照片276。特定而言，應注意，影像之大致中心處的光強度顯現為亮於影像之角落及/或邊緣處的光強度。

根據本發明之技術之實施例，可將透鏡陰影校正增益按色彩通道(例如，拜耳濾波器之Gr、R、B、Gb)指定為二維增益柵格。增益柵格點可以固定之水平間隔及垂直間隔分佈於原始圖框154內(圖9)。如圖9中所論述，原始圖框154可包括一作用區156，該作用區156界定在上面可執行特定影像處理操作之處理的區域。關於透鏡陰影校正操作，可稱為LSC區之作用處理區界定於原始圖框區154內。如下文將論述，LSC區必須完全在增益柵格邊界內或增益柵格邊界處，否則結果可為不定的。

例如，參看圖20，展示可界定於原始圖框154內之LSC區280及增益柵格282。LSC區280可具有寬度284及高度286，且可藉由相對於原始圖框154之邊界的x偏移288及y偏移290來界定。亦提供自柵格增益282之基點296至LSC區280中之第一像素298的柵格偏移(例如，柵格x偏移292及柵格y偏移294)。此等偏移對於給定色彩分量可係在第一柵格間隔內。水平(x方向)柵格點間隔300及垂直(y方向)柵格點間隔302對於每一色彩通道分別可經獨立指定。

如上文所論述，假設使用拜耳濾色器陣列，則可界定柵格增益之4個色彩通道(R、B、Gr及Gb)。在一實施例中，總計4K(4096)個柵格點可為可用的，且對於每一色彩通道，可諸如藉由使用指標來提供柵格增益之起始位置的基本位址。另外，水平(300)柵格點間隔及垂直(302)柵格點間隔可以一色彩平面之解析度依據像素來界定，且在特定實施例中可提供在水平及垂直方向上藉由2之冪(諸如，藉由8、16、32、64或128等)進行分離的柵格點間隔。如可瞭解，藉由利用2之冪，可達成使用移位(例如，除法)及加法運算之增益內插的有效實施。使用此等參數，即使當影像感測器之裁切區改變時，仍可使用相同增益值。例如，僅需要更新少數參數以使柵格點對準至經裁切區(例如，更新柵格偏移300及302)，而非更新所有柵格增益值。僅作為實例，當在數位變焦操作期間使用裁切時，此情形可為有用的。另外，雖然展示於圖20之實施例中之增益柵格282描繪為具有大體上相等地隔開之柵格點，但應理解，在其他實施例中，柵格點可能不必相等地隔開。例如，在一些實施例中，柵格點可不均勻地(例如，對數地)分佈，使得柵格點在LSC區280之中心中較不集中，但朝向LSC區280之通常透鏡陰影失真更顯著之角落更集中。

根據當前所揭示之透鏡陰影校正技術，在當前像素位置定位於LSC區280外時，不應用增益(例如，像素保持不變)。在當前像素位置係處於增益柵格位置時，可使用該特定柵格點處之增益值。然而，在當前像素位置係在柵格點之間時，可使用雙線性內插對增益進行內插。下文提供對圖21上之像素位置「G」內插增益的實例。

如圖21中所示，像素G係在柵格點G0、G1、G2及G3之間，該等柵格點G0、G1、G2及G3可分別對應於相對於當前像素位置G之左上增益、右上增益、左下增益及右下增益。柵格間隔之水平大小及垂直大小分別由X及Y來表示。另外，ii及jj分別表示相對於左上增益G0之位置的水平像素偏移及垂直像素偏移。基於此等因數，對應於位置G之增益可因此如下經內插：

以上等式11a中之項可接著經組合以獲得以下表達式：

在一實施例中，可遞增地而非在每一像素處使用一乘數來執行內插方法，因此減小計算複雜度。例如，可使用加法器來實現項(ii)(jj)，該加法器在增益柵格282之位置(0,0)處可初始化為0，且每當當前行數增大一像素時使該加法器遞增當前列數。如上文所論述，由於X及Y之值可選擇為二的冪，因此可使用簡單之移位運算來實現增益內插。因此，僅在柵格點G0(而非每一像素)處需要乘數，且僅需要加法運算來判定剩餘像素之內插增益。

在特定實施例中，柵格點之間的增益之內插可使用14位元精度，且柵格增益可為具有2個整數位元及8個分數位元之無正負號的10位元值(例如，2.8浮點表示)。使用此慣例，增益可具有在0與4X之間的範圍，且柵格點之間的增益解析度可為1/256。

可藉由展示於圖22中之程序310來進一步說明透鏡陰影校正技術。如圖所示，程序310於步驟312開始，在該步驟312處，相對於圖20之LSC區280之邊界來判定當前像素的位置。接著，決策邏輯314判定當前像素位置是否在LSC區280內。若當前像素位置在LSC區280外，則程序310繼續至步驟316，且無增益應用至當前像素(例如，像素保持不變)。

若當前像素位置在LSC區280內，則程序310繼續至決策邏輯318，在該決策邏輯318處，進一步判定當前像素位置是否對應於增益柵格280內之柵格點。若當前像素位置對應於柵格點，則如步驟320所示，選擇該柵格點處之增益值，並將該增益值應用至當前像素。若當前像素位置並不對應於柵格點，則程序310繼續至步驟322，且基於邊沿柵格點(例如，圖21之G0、G1、G2及G3)對增益進行內插。例如，可根據如上文所論述之等式11a及11b來計算內插增益。其後，程序310於步驟324處結束，在該步驟324處，將來自步驟322之內插增益應用至當前像素。

如將瞭解，對於影像資料之每一像素可重複程序310。例如，如圖23中所示，說明描繪可應用至LSC區(例如，280)內之每一像素位置之增益的三維概況。如圖所示，歸因於角落處之如圖18及圖19中所示的較大之光強度下降，應用於影像之角落328處之增益通常可大於應用至影像之中心的增益。使用當前所描述之透鏡陰影校正技術，可減小或實質上消除影像中之光強度下降之出現。例如，圖24提供來自圖19之照片276在應用透鏡陰影校正之後可如何顯現的實例。如圖所示，相較於來自圖19之初始影像，總體光強度跨越影像大體上更均勻。特定而言，影像之大致中心處之光強度可實質上等於影像之角落及/或邊緣處的光強度值。另外，如上文所提及，內插增益計算(等式11a及11b)在一些實施例中可藉由利用連續行及列遞增結構由柵格點之間的相加性「差量」來替換。如將瞭解，此情形降低計算複雜度。

在其他實施例中，除使用柵格增益外，使用每色彩分量之依據距影像中心之距離按比例縮放的全域增益。影像之中心可提供為輸入參數，且可藉由分析均勻照明之影像中之每一像素的光強度幅度來估計。如下文所示，經識別之中心像素與當前像素之間的徑向距離可接著用以獲得經線性按比例縮放之徑向增益G_r ：

G _r =G _p [c ]×R ’　(12)

其中G_p [c]表示每一色彩分量c(例如，拜耳圖案之R、B、Gr及Gb分量)之全域增益參數，且其中R表示中心像素與當前像素之間的徑向距離。

參看展示上文所論述之LSC區280的圖25，可使用若干種技術來計算或估計距離R。如圖所示，對應於影像中心之像素C可具有座標(x₀ ,y₀ )，且當前像素G可具有座標(x_G ,y_G )。在一實施例中，LSC邏輯234可使用以下等式計算距離R：

在另一實施例中，可利用下文所示之更簡單之估計式來獲得R之估計值：

R =α×max(abs (x _G -x ₀ ),abs (y _G -y ₀ ))+β×min(abs (x _G -x ₀ ),abs (y _G -y ₀ ))　(14)

在等式14中，估計係數α及β可按比例縮放為8位元值。僅作為實例，在一實施例中，α可等於約123/128，且β可等於約51/128以提供R之估計值。使用此等係數值，最大錯誤可為約4%，其中中位數錯誤為約1.3%。因此，即使估計技術相較於在判定R中利用計算技術(等式13)可為稍不準確的，但錯誤之容限足夠低，從而R之估計值適用於判定本透鏡陰影校正技術的徑向增益分量。

徑向增益G_r 可接著乘以當前像素之經內插柵格增益值G(等式11a及11b)以判定可應用至當前像素之總增益。如下式所示，藉由使輸入像素值X與總增益相乘來獲得輸出像素Y：

Y =(G ×G _r ×X )　(15)

因此，根據本發明之技術，可使用僅內插增益、內插增益及徑向增益分量兩者來執行透鏡陰影校正。或者，亦可結合補償徑向近似錯誤之徑向柵格表來僅使用徑向增益來實現透鏡陰影校正。舉例而言，替代如圖20中所示之矩形增益柵格282，可提供具有界定徑向方向及角方向上之增益的複數個柵格點之徑向增益柵格。因此，當判定應用至並未與LSC區280內之徑向柵格點中之一者對準之像素的增益時，可使用封閉像素之四個柵格點來應用內插，以判定適當之內插透鏡陰影增益。

參看圖26，藉由程序340來說明內插增益分量及徑向增益分量在透鏡陰影校正中的使用。應注意，程序340可包括類似於如上文在圖22中所描述之程序310的步驟。因而，已由相同參考數字對此等步驟編號。於步驟312開始，接收當前像素，並判定當前像素相對於LSC區280之位置。接著，決策邏輯314判定當前像素位置是否在LSC區280內。若當前像素位置在LSC區280外，則程序340繼續至步驟316，且無增益應用至當前像素(例如，像素保持不變)。若當前像素位置在LSC區280內，則程序340可同時繼續至步驟342及決策邏輯318。首先參看步驟342，擷取識別影像之中心的資料。如上文所論述，判定影像之中心可包括分析均勻照明下之像素的光強度幅度。例如，此情形可在校準期間發生。因此，應理解，步驟342不必涵蓋為了處理每一像素而重複地計算影像之中心，但可涉及擷取先前判定之影像中心的資料(例如，座標)。一旦識別出影像之中心，程序340即可繼續至步驟344，在步驟344中，判定影像中心與當前像素位置之間的距離(R)。如上文所論述，可計算(等式13)或估計(等式14)R值。接著，在步驟346處，可使用距離R及對應於當前像素之色彩分量之全域增益參數來計算徑向增益分量G_r (等式12)。如下文在步驟350中將論述，可使用徑向增益分量G_r 來判定總增益。

返回參看決策邏輯318，判定當前像素位置是否對應於增益柵格280內之柵格點。若當前像素位置對應於柵格點，則如步驟348處所示，判定該柵格點處之增益值。若當前像素位置並不對應於柵格點，則程序340繼續至步驟322，且基於邊沿柵格點(例如，圖21之G0、G1、G2及G3)計算內插增益。例如，可根據如上文所論述之等式11a及11b來計算內插增益。接著，在步驟350處，基於在步驟346處判定之徑向增益以及柵格增益(步驟348)或內插增益(322)中的一者來判定總增益。如可瞭解，此情形可取決於在程序340期間採用哪一分支決策邏輯318。如步驟352處所示，總增益接著應用至當前像素。再次，應注意，類似於程序310，亦可針對影像資料之每一像素重複程序340。

結合柵格增益使用徑向增益可提供各種優點。例如，使用徑向增益允許將單一共同增益柵格用於所有色彩分量。此情形可大大減小儲存每一色彩分量之獨立增益柵格所需要的總儲存空間。例如，在拜耳影像感測器中，將單一增益柵格用於R、B、Gr及Gb分量中之每一者可使增益柵格資料減小約75%。如將瞭解，由於柵格增益資料表可佔用影像處理硬體中之記憶體或晶片面積之顯著部分，因此柵格增益資料之此減少可降低實施成本。另外，取決於硬體實施，使用增益柵格值之單一集合可提供其他優點，諸如減小總體晶片面積(例如，在增益柵格值儲存於晶載記憶體中時)及減小記憶體頻寬要求(例如，在增益柵格值儲存於晶片外外部記憶體中時)。

已透徹描述了展示於圖15中之透鏡陰影校正邏輯234之功能性，LSC邏輯234之輸出隨後轉遞至反向黑階補償(IBLC)邏輯236。IBLC邏輯236對於每一色彩分量(例如，R、B、Gr及Gb)獨立地提供增益、偏移及截割，且大體上執行BLC邏輯232之反向功能。例如，如由以下運算所示，輸入像素之值首先乘以增益，且接著經偏移一帶正負號之值。

Y =(X ×G [c ])+O [c ]，　(16)

其中X表示給定色彩分量c(例如，R、B、Gr或Gb)之輸入像素值，O[c]表示當前色彩分量c之帶正負號之16位元偏移，且G[c]表示色彩分量c的增益值。在一實施例中，增益G[c]可具有在約0至4X(例如，4乘以輸入像素值X)之間的範圍。應注意，此等變數可為上文在等式9中論述之相同變數。計算出之值Y可使用(例如)等式10截割至最小值與最大值之範圍。在一實施例中，IBLC邏輯236可經組態以按色彩分量維持分別高於最大值且低於最小值的經截割之像素之數目的計數。

其後，IBLC邏輯236之輸出由統計量收集區塊238接收到，統計量收集區塊238可提供關於影像感測器90之各種統計資料點(諸如，關於自動曝光(AE)、自動白平衡(AWB)、自動聚焦(AF)、閃光偵測等之彼等資料點)的收集。下文提供論述AWB、AE及AF統計量之顯著性的簡要綜述。

關於白平衡，每一像素處之影像感測器回應可取決於照明源，此係由於光源由影像場景中之物體反射。因此，記錄於影像場景中之每一像素值係關於光源之色溫。當在低色溫下照明白色物體時，白色物體在所捕獲影像中顯現為帶紅色。相反，在高色溫下照明之白色物體在所捕獲影像中顯現為帶藍色。因此，白平衡之目標為調整RGB值，使得影像對於人眼顯現為如同在標準光下獲取之影像一般。因此，在關於白平衡之成像統計量之情形下，關於白色物體之色彩資訊經收集以判定光源之色溫。一般而言，白平衡演算法可包括兩個主要步驟。首先，估計光源之色溫。第二，使用所估計之色溫來調整色彩增益值及/或判定/調整色彩校正矩陣的係數。此等增益可為類比及數位影像感測器增益以及ISP數位增益之組合。

接著，自動曝光通常指代調整像素積分時間及增益以控制所捕獲之影像之照度的程序。例如，自動曝光可藉由設定積分時間來控制來自場景之由影像感測器捕獲之光的量。另外，自動聚焦可指代判定透鏡之最佳焦距以便實質上使影像之焦點最佳化。因此，可經由統計量收集區塊238來判定並收集此等各種類型統計量及其他統計量。如圖所示，統計量收集區塊238之輸出STATS0可發送至記憶體108並投送至控制邏輯84，或者可直接發送至控制邏輯84。

如上文所論述，控制邏輯84可處理收集到之統計資料以判定用於控制成像器件30及/或影像處理電路32的一或多個控制參數。例如，此等控制參數可包括用於操作影像感測器90之透鏡之參數(例如，焦距調整參數)、影像感測器參數(例如，類比及或數位增益、積分時間)，以及ISP管處理時間(例如，數位增益值、色彩校正矩陣(CCM)係數)。另外，如上文所提及，在特定實施例中，統計量處理可以8位元之精度發生，且因此具有較高位元深度之原始像素資料為了統計目的可減小取樣至8位元格式。如上文所論述，減小取樣至8位元(或任何其他較低位元解析度)可減小硬體大小(例如，面積)，且亦減小處理複雜度，並且允許統計資料對於雜訊為更強健的(例如，使用影像資料之空間平均化)。

在繼續進行ISP前端邏輯80下游之ISP管邏輯82的詳細論述之前，應理解，統計量處理單元120及122中之各種功能邏輯區塊(例如，邏輯區塊230、232、234、236及238)及ISP前端像素處理單元130中之各種功能邏輯區塊(例如，邏輯區塊180及182)的配置僅意欲說明本發明之技術之一實施例。實際上，在其他實施例中，本文中所說明之邏輯區塊可以不同次序配置，或可包括可執行本文中未具體描述之額外影像處理功能的額外邏輯區塊。另外，應理解，統計量處理單元(例如，120及122)中執行之影像處理操作(諸如，透鏡陰影校正、缺陷像素偵測/校正及黑階補償)出於收集統計資料之目的而在統計量處理單元內執行。因此，對由統計量處理單元接收到之影像資料執行之處理操作實際上並未反映於自ISP前端像素處理邏輯130輸出且轉遞至ISP管處理邏輯82的影像信號109(FEProcOut)中。

在繼續之前，亦應注意，給定足夠處理時間及本文中所描述之各種操作之許多處理要求之間的類似性，有可能重新組態本文中所展示之功能區塊從而以順序方式而非以管線性質來執行影像處理操作。如將理解，此情形可進一步減小總體硬體實施成本，但亦可能增大至外部記憶體(例如，以快取/儲存中間結果/資料)的頻寬。

ISP管線(「管」)處理邏輯

上文已詳細描述了ISP前端邏輯80，本論述現將焦點轉移至ISP管處理邏輯82。大體而言，ISP管邏輯82之功能為接收可自ISP前端邏輯80提供或自記憶體108擷取之原始影像資料，及(亦即)在將影像資料輸出至顯示器件28之前執行額外影像處理操作。

在圖27中描繪展示ISP管邏輯82之一實施例的方塊圖。如所說明，ISP管邏輯82可包括原始處理邏輯360、RGB處理邏輯362及YCbCr處理邏輯364。如下文將進一步論述，原始處理邏輯360可執行各種影像處理操作，諸如缺陷像素偵測及校正、透鏡陰影校正、去馬賽克，以及應用自動白平衡之增益及/或設定黑階。如本實施例中所示，取決於選擇邏輯368之當前組態，至原始處理邏輯360之輸入信號370可為來自ISP前端邏輯80之原始像素輸出109(信號FEProcOut)或來自記憶體108之原始像素資料112。

作為在原始處理邏輯360內執行之去馬賽克操作之結果，影像信號輸出372可係在RGB域中，且可隨後轉遞至RGB處理邏輯362。例如，如圖27中所示，取決於選擇邏輯376之當前組態，RGB處理邏輯362接收信號378，該信號378可為輸出信號372或來自記憶體108之RGB影像信號374。如下文將進一步論述，RGB處理邏輯362可提供各種RGB色彩調整操作，該等操作包括色彩校正(例如，使用色彩校正矩陣)、用於自動白平衡之色彩增益的應用，以及全域色調映射。RGB處理邏輯364亦可提供RGB影像資料至YCbCr(明度/色度)色空間的色空間轉換。因此，影像信號輸出380可係在YCbCr域內，且可隨後轉遞至YCbCr處理邏輯364。

例如，如圖27中所示，取決於選擇邏輯384之當前組態，YCbCr處理邏輯364接收信號386，該信號386可為來自RGB處理邏輯362之輸出信號380或來自記憶體108之YCbCr信號382。如下文將進一步詳細論述，YCbCr處理邏輯364可提供YCbCr色空間中之影像處理操作，該等操作包括按比例縮放，色度抑制，明度清晰化，亮度、對比度及色彩(BCC)調整，YCbCr伽瑪映射、色度整數倍降低取樣(chroma decimation)等。YCbCr處理邏輯364之影像信號輸出390可發送至記憶體108，或可自ISP管處理邏輯82輸出而作為影像信號114(圖7)。影像信號114可發送至顯示器件28(直接地或經由記憶體108)以供使用者閱覽，或可使用壓縮引擎(例如，編碼器118)、CPU/GPU、圖形引擎或其類似者加以進一步處理。

根據本發明之技術之實施例，ISP管邏輯82可支援呈8位元、10位元、12位元或14位元格式之原始像素資料的處理。例如，在一實施例中，8位元、10位元或12位元輸入資料可在原始處理邏輯360之輸入處轉換為14位元，且原始處理及RGB處理操作可以14位元精度來執行。在後者實施例中，14位元影像資料在將RGB資料轉換至YCbCr色空間之前可經減小取樣至10位元，且YCbCr處理(邏輯364)可以10位元精度來執行。

為了提供由ISP管處理邏輯82提供之各種功能之綜合描述，以原始處理邏輯360開始，下文將順序論述原始處理邏輯360、RGB處理邏輯362及YCbCr處理邏輯364中之每一者以及用於執行可在邏輯360、362及364之每一各別單元中實施之各種影像處理操作的內部邏輯。例如，現參看圖28，說明根據本發明之技術之一實施例的展示原始處理邏輯360之一實施例之更詳細視圖的方塊圖。如圖所示，原始處理邏輯360包括增益、偏移及箝位(GOC)邏輯394、缺陷像素偵測/校正(DPDC)邏輯396、雜訊減少邏輯398、透鏡陰影校正邏輯400、GOC邏輯402，及去馬賽克邏輯404。另外，雖然下文所論述之實例假設使用拜耳濾色器陣列與影像感測器90，但應理解，本發明之技術之其他實施亦可利用不同類型之濾色器。

可為原始影像信號之輸入信號370首先由增益、偏移及箝位(GOC)邏輯394接收到。相對於如上文在圖15中所論述之ISP前端邏輯80之統計量處理單元120的BLC邏輯232，GOC邏輯394可提供類似功能，且可以類似方式來實施。例如，GOC邏輯394針對拜耳影像感測器之每一色彩分量R、B、Gr及Gb可獨立地提供數位增益、偏移及箝位(截割)。特定而言，GOC邏輯394可執行自動白平衡或設定原始影像資料之黑階。另外，在一些實施例中，GOC邏輯394亦可用以校正或補償Gr色彩分量與Gb色彩分量之間的偏移。

在運算中，首先將當前像素之輸入值偏移一帶正負號之值，且乘以一增益。此運算可使用上文展示於等式9中之式子來執行，其中X表示給定色彩分量R、B、Gr或Gb之輸入像素值，O[c]表示當前色彩分量c之帶正負號之16位元偏移，且G[c]表示色彩分量c的增益值。可在先前於統計量處理期間(例如，在ISP前端區塊80中)判定G[c]之值。在一實施例中，增益G[c]可為具有2個整數位元及14個分數位元之16位元無正負號之數字(例如，2.14浮點表示)，且可在捨入情況下應用增益G[c]。僅作為實例，增益G[c]可具有在0至4X之間的範圍。

自等式9計算出之像素值Y(其包括增益G[c]及偏移O[c])接著根據等式10截割為最小值與最大值範圍。如上文所論述，變數min[c]及max[c]可分別表示最小輸出值及最大輸出值之帶正負號的16位元「截割值」。在一實施例中，GOC邏輯394亦可經組態以針對每一色彩分量維持分別高於最大值範圍且低於最小值範圍的經截割之像素之數目的計數。

隨後，將GOC邏輯394之輸出轉遞至缺陷像素偵測及校正邏輯396。如上文參看圖15(DPDC邏輯230)所論述，缺陷像素可係歸因於多種因素，且可包括「熱」(或漏溢)像素、「卡色像素」及「無作用像素」，其中熱像素相對於非缺陷像素展現高於正常電荷漏溢的電荷漏溢，且因此可顯現為亮於非缺陷像素，且其中卡色像素顯現為始終接通(例如，完全充電)且因此顯現為較亮的，而無作用像素顯現為始終斷開。因而，可能需要具有一足夠強健以識別並解決不同類型故障情境之像素偵測方案。特定而言，在與僅可提供動態缺陷偵測/校正之前端DPDC邏輯230相比較時，管DPDC邏輯396可提供固定或靜態缺陷偵測/校正、動態缺陷偵測/校正以及光斑移除。

根據當前所揭示之技術之實施例，由DPDC邏輯396執行之缺陷像素校正/偵測針對每一色彩分量(例如，R、B、Gr及Gb)可獨立發生，且可包括用於偵測缺陷像素以及用於校正偵測到之缺陷像素的各種操作。例如，在一實施例中，缺陷像素偵測操作可提供靜態缺陷、動態缺陷之偵測以及光斑之偵測，光斑可指代可存在於成像感測器中之電干擾或雜訊(例如，光子雜訊)。照此類推，類似於靜電可顯現於顯示器(諸如，電視顯示器)上之方式，光斑在影像上可顯現為看起來隨機之雜訊假影。另外，如上文所指出，在像素於給定時間特徵化為有缺陷像素可取決於鄰近像素中之影像資料的意義上，動態缺陷校正視為動態的。舉例而言，若卡色像素之位置係在當前影像之由明亮白色色彩佔優勢之區域中，則可能並不將始終在最大亮度上之卡色像素視為缺陷像素。相反，若卡色像素係在當前影像之由黑色或較暗色彩佔優勢之區中，則卡色像素在DPDC邏輯396進行之處理期間可識別為缺陷像素，且相應地經校正。

關於靜態缺陷偵測，比較每一像素之位置與靜態缺陷表，該靜態缺陷表可儲存對應於已知有缺陷的像素之位置之資料。例如，在一實施例中，DPDC邏輯396可監視缺陷像素之偵測(例如，使用計數器機構或暫存器)，且若將特定像素觀察為重複地出故障，則將該像素之位置儲存於靜態缺陷表中。因此，在靜態缺陷偵測期間，若判定當前像素之位置係在靜態缺陷表中，則將當前像素識別為缺陷像素，且替換值經判定並暫時儲存。在一實施例中，替換值可為同一色彩分量之前一像素(基於掃描次序)的值。如下文將論述，替換值可用以在動態/光斑缺陷偵測及校正期間校正靜態缺陷。另外，若該前一像素在原始圖框154(圖9)外，則不使用其值，且可在動態缺陷校正程序期間校正靜態缺陷。另外，歸因於記憶體考慮，靜態缺陷表可能儲存有限數目個位置項。例如，在一實施例中，靜態缺陷表可實施為FIFO佇列，其經組態以儲存每兩列影像資料之總計16個位置。界定於靜態缺陷表中之位置仍將使用前一像素替換值(而非經由下文所論述之動態缺陷偵測程序)來校正。如上文所提及，本發明之技術之實施例亦可提供隨時間間歇性地更新靜態缺陷表。

實施例可提供待實施於晶載記憶體或晶片外記憶體中之靜態缺陷表。如將瞭解，使用晶載實施可增大總體晶片面積/大小，而使用晶片外實施可減小晶片面積/大小，但增大記憶體頻寬要求。因此，應理解，取決於特定實施要求(亦即，將儲存於靜態缺陷表內之像素之總數)，靜態缺陷表可實施於晶片上或晶片外。

動態缺陷及光斑偵測程序相對於上文所論述之靜態缺陷偵測程序可經時間移位。例如，在一實施例中，動態缺陷及光斑偵測程序可在靜態缺陷偵測程序已分析兩掃描列像素之後開始。如可瞭解，此情形允許在動態/光斑偵測發生之前識別靜態缺陷及其待判定之各別替換值。舉例而言，在動態/光斑偵測程序期間，若當前像素先前被標記為靜態缺陷，則使用先前存取之替換值而非應用動態/光斑偵測操作來簡單地校正該靜態缺陷。

關於動態缺陷及光斑偵測，此等程序可順序或並行地發生。由DPDC邏輯396執行之動態缺陷及光斑偵測及校正可依賴於使用像素至像素方向梯度之適應性邊緣偵測。在一實施例中，DPDC邏輯396可選擇使用具有同一色彩分量之當前像素的係在原始圖框154(圖9)內之八個直接鄰近像素。換言之，當前像素及其八個直接鄰近像素P0、P1、P2、P3、P4、P5、P6及P7可形成一如下文在圖29中所示之3×3區域。

然而，應注意，取決於當前像素P之位置，在計算像素至像素梯度時並不考慮原始圖框154外之像素。舉例而言，關於展示於圖29中所示之「左上」狀況410，當前像素P係在原始圖框154之左上角處，且因此不考慮原始圖框154外之鄰近像素P0、P1、P2、P3及P5，從而僅留下像素P4、P6及P7(N=3)。在「頂部」狀況412下，當前像素P係在原始圖框154之最頂部邊緣處，且因此不考慮原始圖框154外之鄰近像素P0、P1及P2，從而僅留下像素P3、P4、P5、P6及P7(N=5)。接著，在「右上」狀況414下，當前像素P係在原始圖框154之右上角處，且因此不考慮原始圖框154外之鄰近像素P0、P1、P2、P4及P7，從而僅留下像素P3、P5及P6(N=3)。在「左側」狀況416下，當前像素P係在原始圖框154之最左側邊緣處，且因此不考慮原始圖框154外之鄰近像素P0、P3及P5，從而僅留下像素P1、P2、P4、P6及P7(N=5)。

在「中心」狀況418下，所有像素P0至P7位於原始圖框154內，且因此用於判定像素至像素梯度中(N=8)。在「右側」狀況420下，當前像素P係在原始圖框154之最右側邊緣處，且因此不考慮原始圖框154外之鄰近像素P2、P4及P7，從而僅留下像素P0、P1、P3、P5及P6(N=5)。另外，在「左下」狀況422下，當前像素P係在原始圖框154之左下角處，且因此不考慮原始圖框154外之鄰近像素P0、P3、P5、P6及P7，從而僅留下像素P1、P2及P4(N=3)。在「底部」狀況424下，當前像素P係在原始圖框154之最底部邊緣處，且因此不考慮原始圖框154外之鄰近像素P5、P6及P7，從而僅留下像素P0、P1、P2、P3及P4(N=5)。最後，在「右下」狀況426下，當前像素P係在原始圖框154之右下角處，且因此不考慮原始圖框154外之鄰近像素P2、P4、P5、P6及P7，從而僅留下像素P0、P1及P3(N=3)。

因此，取決於當前像素P之位置，用於判定像素至像素梯度中之像素的數目可為3、5或8。在所說明實施例中，對於圖片邊界(例如，原始圖框154)內之每一鄰近像素(k=0至7)，可如下計算像素至像素梯度：

G _k =abs (P -P _k )，對於0 k 7(僅對於原始圖框內之k )　(17)

另外，如由以下等式所示，平均梯度G_av 可計算為當前像素與其周圍像素之平均值P_av 之間的差：

，其中N=3、5或8(取決於像素位置)　(18)

G _av =abs (P -P _av )　(19)

如下文進一步論述，像素至像素梯度值(等式17)可用於判定動態缺陷狀況，且鄰近像素之平均值(等式18及19)可用於識別光斑狀況。

在一實施例中，動態缺陷偵測可由DPDC邏輯396如下執行。首先，假設在某數目個梯度G_k 係處於或低於由變數dynTh指示之特定臨限值(動態缺陷臨限值)之情況下，一像素為有缺陷的。因此，對於每一像素，對圖片邊界內之鄰近像素的處於或低於臨限值dynTh之梯度之數目的計數(C)進行累積。臨限值dynTh可為固定臨限分量與動態臨限分量之組合，該動態臨限分量可取決於周圍像素存在之「活動性」。例如，在一實施例中，如下文所說明，可藉由基於對平均像素值P_av (等式18)與每一鄰近像素之間的絕對差求和計算高頻分量值P_hf 來判定dynTh之動態臨限分量：

其中N=3、5或8　(20)

在像素位於影像角落(N=3)或影像邊緣(N=5)處之個例中，可使P_hf 分別乘以8/3或8/5。如可瞭解，此情形確保基於八個鄰近像素(N=8)來正規化高頻分量P_hf 。

一旦判定出P_hf ，即可如下文所示計算動態缺陷偵測臨限值dynTh：

dynTh=dynTh₁ +(dynTh₂ ×P_hf )，　(21)

其中dynTh₁ 表示固定臨限分量，且其中dynTh₂ 表示動態臨限分量，且在等式21中為P_hf 之乘數。對於每一色彩分量可提供不同之固定臨限分量dynTh₁ ，但對於具有同一色彩之每一像素，dynTh₁ 為相同的。僅作為實例，dynTh₁ 可經設定使得其至少高於影像中之雜訊的變異。

可基於影像之一些特性來判定動態臨限分量dynTh₂ 。例如，在一實施例中，可使用關於曝光及/或感測器積分時間之所儲存經驗資料來判定dynTh₂ 。可在影像感測器(例如，90)之校準期間判定經驗資料，且可使可經選擇以用於dynTh₂ 之動態臨限分量值與多個資料點中之每一者相關聯。因此，基於在ISP前端邏輯80中之統計量處理期間可判定之當前曝光及/或感測器積分時間值，可藉由自對應於當前曝光及/或感測器積分時間值之所儲存經驗資料選擇動態臨限分量值來判定dynTh₂ 。另外，若當前曝光及/或感測器積分時間值並不直接對應於經驗資料點中之一者，則可藉由對與當前曝光及/或感測器積分時間值落於其間的資料點相關聯之動態臨限分量值進行內插來判定dynTh₂ 。另外，類似於固定臨限分量dynTh₁ ，動態臨限分量dynTh₂ 對於每一色彩分量可具有不同值。因此，複合臨限值dynTh對於每一色彩分量(例如，R、B、Gr、Gb)可變化。

如上文所提及，對於每一像素，判定圖片邊界內之鄰近像素的處於或低於臨限值dynTh之梯度之數目的計數C。例如，對於原始圖框154內之每一鄰近像素，可如下計算處於或低於臨限值dynTh之梯度G_k 的經累積之計數C：

其中0 k 7(僅針對原始圖框內之k )

接著，若判定經累積之計數C小於或等於由變數dynMaxC指示之最大計數，則可將像素視為動態缺陷。在一實施例中，對於N=3(角落)、N=5(邊緣)及N=8之條件可提供不同之dynMaxC值。此邏輯表達如下：

若(C dynMaxC)，則當前像素P為有缺陷的。　(23)

如上文所提及，可將缺陷像素之位置儲存至靜態缺陷表中。在一些實施例中，在當前像素之動態缺陷偵測期間計算出之最小梯度值(min(G_k ))可經儲存，且可用以對缺陷像素進行分類，使得較大之最小梯度值指示缺陷之較大「嚴重性」，且應在像素校正期間在校正較不嚴重之缺陷之前予以校正。在一實施例中，一像素可能需要(諸如)藉由對缺陷像素隨時間推移之位置進行濾波而在儲存至靜態缺陷表中之前於多個成像圖框上進行處理。在後者實施例中，僅在缺陷顯現於同一位置處之特定數目個連續影像中的情況下，缺陷像素之位置可儲存於靜態缺陷表中。另外，在一些實施例中，靜態缺陷表可經組態以基於最小梯度值對所儲存缺陷像素位置進行分類。例如，最高之最小梯度值可指示具有較大「嚴重性」之缺陷。藉由以此方式對位置排序，可設定靜態缺陷校正之優先權，使得首先校正最嚴重或最重要之缺陷。另外，可隨時間推移更新靜態缺陷表以使其包括新偵測到之靜態缺陷，且相應地基於新偵測到之靜態缺陷的各別最小梯度值對其進行排序。

可與上文所描述之動態缺陷偵測程序並行地發生之光斑偵測可藉由判定值G_av (等式19)是否高於光斑偵測臨限值spkTh來執行。類似於動態缺陷臨限值dynTh，光斑臨限值spkTh亦可包括分別由spkTh₁ 及spkTh₂ 指代之固定分量及動態分量。一般而言，相較於dynTh₁ 及dynTh₂ 值，可經更「積極地」設定固定分量spkTh₁ 及動態分量spkTh₂ ，以便避免在影像之可經更濃密紋理化之區域及其他區域(諸如，文字、樹葉、某些織物圖案等)中錯誤地偵測到光斑。因而，在一實施例中，動態光斑臨限分量spkTh₂ 對於影像之高紋理區域可增大，且對於「較平坦」或更均勻區域可降低。可如下文所示計算光斑偵測臨限值spkTh：

spkTh=spkTh₁ +(spkTh₂ ×P_hf )，　(24)

其中spkTh₁ 表示固定臨限分量，且其中spkTh₂ 表示動態臨限分量。可接著根據以下表達判定光斑偵測：

若(G _av >spkTh)，則當前像素P有光斑。　(25)

一旦已識別出缺陷像素，DPDC邏輯396即可取決於偵測到之缺陷類型而應用像素校正操作。例如，若將缺陷像素識別為靜態缺陷，則由如上文所論述之所儲存替換值(例如，具有同一色彩分量之前一像素的值)替換像素。若像素識別為動態缺陷或光斑，則可如下執行像素校正。首先，如下文所示，計算梯度作為中心像素與第一鄰近像素及第二鄰近像素之間在四個方向(水平(h)方向、垂直(v)方向，對角正方向(dp)及對角負方向(dn))上之絕對差的總和(例如，等式17之G _k 的計算)：

G _h =G ₃ +G ₄ 　(26)

G _v =G ₁ +G ₆ 　(27)

G _dp =G ₂ +G ₅ 　(28)

G _dn =G ₀ +G ₇ 　(29)

接著，可經由與具有最小值之方向梯度G_h 、G_v 、G_dp 及G_dn 相關聯之兩個鄰近像素之線性內插來判定校正像素值P_C 。例如，在一實施例中，以下邏輯陳述可表達P_C 之計算：

由DPDC邏輯396實施之像素校正技術亦可提供邊界條件下之異常情況。例如，若與所選擇內插方向相關聯之兩個鄰近像素中的一者係在原始圖框外，則替代地代替在原始圖框內之鄰近像素的值。因此，使用此技術，校正像素值將等於原始圖框內之鄰近像素的值。

應注意，在ISP管處理期間由DPDC邏輯396應用之缺陷像素偵測/校正技術相較於ISP前端邏輯80中之DPDC邏輯230更為強健。如在以上實施例中所論述，DPDC邏輯230使用僅水平方向上之鄰近像素而僅執行動態缺陷偵測及校正，而DPDC邏輯396使用水平方向及垂直方向兩者上之鄰近像素提供靜態缺陷、動態缺陷以及光斑的偵測及校正。

如將瞭解，使用靜態缺陷表儲存缺陷像素之位置可在較低記憶體要求下提供缺陷像素之時間濾波。例如，相較於儲存整個影像且應用時間濾波以隨時間推移而識別靜態缺陷之許多習知技術，本發明之技術之實施例僅儲存缺陷像素之位置，其通常可使用儲存整個影像圖框所需要之記憶體的一小部分來進行。另外，如上文所論述，儲存最小梯度值(min(G_k ))允許靜態缺陷表之有效使用，從而將校正缺陷像素的位置之次序區分優先順序(例如，以將係最明顯之彼等缺陷像素開始)。

另外，使用包括動態分量(例如，dynTh₂ 及spkTh₂ )之臨限值可有助於減小錯誤缺陷偵測(在處理影像之高紋理區域(例如，文字、樹葉、某些織物圖案等)時通常在習知影像處理系統中遭遇的問題)。另外，將方向梯度(例如，h、v、dp、dn)用於像素校正在錯誤缺陷偵測發生之情況下可減小視覺假影之顯現。例如，在最小梯度方向上進行濾波可導致在多數狀況下，甚至在錯誤偵測之狀況下仍產生可接受結果之校正。另外，在梯度計算中包括當前像素P可改良梯度偵測之準確度，特別是在熱像素之狀況下。

上文所論述之由DPDC邏輯396實施之缺陷像素偵測及校正技術可藉由提供於圖30至圖32中之一系列流程圖來概述。例如，首先參看圖30，說明用於偵測靜態缺陷之程序430。最初於步驟432開始，在第一時間T₀ 接收輸入像素P。接著，在步驟434處，比較像素P之位置與儲存於靜態缺陷表中之值。決策邏輯436判定在靜態缺陷表中是否找到像素P之位置。若P之位置係在靜態缺陷表中，則程序430繼續至步驟438，其中將像素P標記為靜態缺陷並判定替換值。如上文所論述，可基於同一色彩分量之前一像素(以掃描次序)的值來判定替換值。程序430接著繼續至步驟440，在該步驟440處，程序430進行至說明於圖31中之動態及光斑偵測程序444。另外，在決策邏輯436處，若判定像素P之位置不在靜態缺陷表中，則程序430不執行步驟438而進行至步驟440。

繼續至圖31，如由步驟446所示，在時間T1接收輸入像素P，從而進行處理以判定動態缺陷或光斑是否存在。時間T1可表示相對於圖30之靜態缺陷偵測程序430之時間移位。如上文所論述，動態缺陷及光斑偵測程序可在靜態缺陷偵測程序已分析兩掃描列像素之後開始，因此留出在動態/光斑偵測發生之前識別靜態缺陷並判定其各別替換值的時間。

決策邏輯448判定，輸入像素P先前是否被標記為靜態缺陷(例如，藉由程序430之步驟438)。若P被標記為靜態缺陷，則程序444可繼續至展示於圖32中之像素校正程序，且可略過展示於圖31中之剩餘步驟。若決策邏輯448判定輸入像素P並非靜態缺陷，則程序繼續至步驟450，且識別可用於動態缺陷及光斑程序中的鄰近像素。例如，根據上文所論述並說明於圖29中之實施例，鄰近像素可包括像素P之緊鄰的8個鄰近像素(例如，P0至P7)，因此形成3×3像素區域。接著，在步驟452處，如上文在等式17中所描述，相對於原始圖框154內之每一鄰近像素來計算像素至像素梯度。另外，如在等式18及19中所示，平均梯度(G_av )可計算為當前像素與其周圍像素之平均值之間的差。

程序444接著分支至用於動態缺陷偵測之步驟454及用於光斑偵測之決策邏輯464。如上文所指出，動態缺陷偵測及光斑偵測在一些實施例中可並行發生。在步驟454處，判定小於或等於臨限值dynTh之梯度之數目的計數C。如上文所描述，臨限值dynTh可包括固定分量及動態分量，且在一實施例中可根據上文之等式21來判定臨限值dynTh。若C小於或等於最大計數dynMaxC，則程序444繼續至步驟460，且將當前像素標記為動態缺陷。其後，程序444可繼續至下文將論述之展示於圖32中的像素校正程序。

返回步驟452之後的分支，對於光斑偵測，決策邏輯464判定平均梯度G_av 是否大於亦可包括固定分量及動態分量之光斑偵測臨限值spkTh。若G_av 大於臨限值spkTh，則在步驟466處將像素P標記為含有光斑，且其後，程序444繼續至圖32從而校正有光斑之像素。另外，若決策邏輯區塊456及464兩者之輸出為「否」，則此情形指示像素P並不含有動態缺陷、光斑或甚至靜態缺陷(決策邏輯448)。因此，當決策邏輯456及464之輸出皆為「否」時，程序444可於步驟458處終止，藉此由於未偵測到缺陷(例如，靜態缺陷、動態缺陷或光斑)而將像素P保持不變。

繼續至圖32，提供根據上文所描述之技術的像素校正程序470。在步驟472處，自圖31之程序444接收輸入像素P。應注意，像素P可由程序470自步驟448(靜態缺陷)或自步驟460(動態缺陷)及466(光斑缺陷)接收。決策邏輯474接著判定像素P是否被標記為靜態缺陷。若像素P為靜態缺陷，則程序470繼續且於步驟476處結束，藉此使用在步驟438(圖30)處判定之替換值來校正靜態缺陷。

若並未將像素P識別為靜態缺陷，則程序470自決策邏輯474繼續至步驟478，且計算方向梯度。例如，如上文參看等式26至29所論述，可將梯度計算為中心像素與第一及第二鄰近像素之間在四個方向(h、v、dp及dn)上之絕對差的總和。接著，在步驟480處，識別具有最小值之方向梯度，且其後，決策邏輯482評估與最小梯度相關聯之兩個鄰近像素中的一者是否位於影像圖框(例如，原始圖框154)外。若兩個鄰近像素係在影像圖框內，則程序470繼續至步驟484，且如由等式30所說明，藉由將線性內插應用至兩個鄰近像素之值來判定像素校正值(P_C )。其後，如步驟492處所示，可使用內插像素校正值P_C 來校正輸入像素P。

返回至決策邏輯482，若判定兩個鄰近像素中之一者位於影像圖框(例如，原始圖框165)外，則如步驟488處所示，DPDC邏輯396可由在影像圖框內之另一鄰近像素之值(Pin)代替外部像素之值(Pout)而非使用Pout的值。其後，在步驟490處，藉由對Pin之值及經代替之Pout的值進行內插來判定像素校正值P_C 。換言之，在此狀況下，P_C 可等於Pin之值。在步驟492處終止，使用值P_C 來校正像素P。在繼續之前，應理解，本文中參看DPDC邏輯396論述之特定缺陷像素偵測及校正程序意欲反映本發明之技術之僅一可能實施例。實際上，取決於設計及/或成本約束，多個變化為可能的，且可添加或移除多個特徵，使得缺陷偵測/校正邏輯之總體複雜度及強健性係在實施於ISP前端區塊80中之較簡單之缺陷偵測/校正邏輯230與此處參看DPDC邏輯396所論述的缺陷偵測/校正邏輯之間。

返回參看圖28，經校正像素資料自DPDC邏輯396輸出，且接著由雜訊減少邏輯398接收到以供進一步處理。在一實施例中，雜訊減少邏輯398可經組態以實施二維邊緣適應性低通濾波以減小影像資料中之雜訊，同時維持細節及紋理。邊緣適應性臨限值可基於當前照明度來設定(例如，藉由控制邏輯84)，使得濾波在低光條件下可經加強。另外，如上文關於dynTh及spkTh值之判定所簡要提及，對於給定感測器可提前判定雜訊變異，使得雜訊減少臨限值可設定為恰高於雜訊變異，從而使得在雜訊減少處理期間，雜訊經減小而不顯著影響場景之紋理及細節(例如，避免/減小錯誤偵測)。採納拜耳濾色器實施，雜訊減少邏輯398可使用可分離之7分接頭水平濾波器及5分接頭垂直濾波器來獨立地處理每一色彩分量Gr、R、B及Gb。在一實施例中，可藉由校正綠色色彩分量(Gb及Gr)之非均勻性且接著執行水平濾波及垂直濾波來進行雜訊減少程序。

綠色非均勻性(GNU)之特性大體上在於在給定經均勻照明之平坦表面情況下Gr像素與Gb像素之間的微小亮度差。在不校正或補償此非均勻性之情況下，諸如「迷宮(maze)」假影之某些假影在去馬賽克之後可能顯現於全色影像中。若當前綠色像素(G1)與當前像素之右下綠色像素(G2)之間的絕對差小於GNU校正臨限值(gnuTh)，則綠色非均勻性程序可包括針對原始拜耳影像資料中之每一綠色像素進行判定。圖33說明拜耳圖案之2×2區域中之G1像素及G2像素的位置。如圖所示，像素邊沿G1之色彩可取決於當前綠色像素為Gb像素或是Gr像素。例如，若G1為Gr，則G2為Gb，G1右側之像素為R(紅色)，且G1下方之像素為B(藍色)。或者，若G1為Gb，則G2為Gr，且G1右側之像素為B，而G1下方之像素為R。若G1與G2之間的絕對差小於GNU校正臨限值，則如由以下邏輯所示，當前綠色像素G1由G1與G2之平均值替換：

若(abs(G1-G2)gnuTh)；則

如可瞭解，以此方式應用綠色非均勻性校正可有助於防止G1像素及G2像素跨越邊緣進行平均，因此改良及/或保持清晰度。

水平濾波隨後應用至綠色非均勻性校正，且在一實施例中可提供7分接頭水平濾波器。計算跨越每一濾波器分接頭之邊緣的梯度，且若該梯度高於水平邊緣臨限值(horzTh)，則如下文將說明，將濾波器分接頭摺疊至中心像素。水平濾波器可針對每一色彩分量(R、B、Gr、Gb)獨立地處理影像資料，且可使用未經濾波之值作為輸入值。

作為實例，圖34展示水平像素P0至P6之一集合的圖形描繪，其中中心分接頭定位於P3處。基於展示於圖34中之像素，可計算如下每一濾波器分接頭之邊緣梯度：

Eh0=abs(P0-P1)　(32)

Eh1=abs(P1-P2)　(33)

Eh2=abs(P2-P3)　(34)

Eh3=abs(P3-P4)　(35)

Eh4=abs(P4-P5)　(36)

Eh5=abs(P5-P6)　(37)

邊緣梯度Eh0至Eh5可接著由水平濾波器組件利用以使用展示於以下等式38中之式子來判定水平濾波輸出P_horz ：

其中horzTh[c]為每一色彩分量c(例如，R、B、Gr及Gb)之水平邊緣臨限值，且其中C0至C6為分別對應於像素P0至P6之濾波器分接頭係數。水平濾波器輸出P_horz 可應用於中心像素P3位置處。在一實施例中，濾波器分接頭係數C0至C6可為具有3個整數位元及13個分數位元的16位元二之補數的值(以浮點表示為3.13)。另外，應注意，濾波器分接頭係數C0至C6不必相對於中心像素P3對稱。

在綠色非均勻性校正及水平濾波程序之後，雜訊減少邏輯398亦應用垂直濾波。在一實施例中，垂直濾波操作可提供如圖35中所示之5分接頭濾波器，其中垂直濾波器之中心分接頭位於P2處。垂直濾波程序可以類似於如上文所描述之水平濾波程序之方式的方式發生。例如，計算跨越每一濾波器分接頭之邊緣的梯度，且若該梯度高於垂直邊緣臨限值(vertTh)，則將濾波器分接頭摺疊至中心像素P2。垂直濾波器可針對每一色彩分量(R、B、Gr、Gb)獨立地處理影像資料，且可使用未經濾波之值作為輸入值。

基於展示於圖35中之像素，可如下計算每一濾波器分接頭之垂直邊緣梯度：

Ev0=abs(P0-P1)　(39)

Ev1=abs(P1-P2)　(40)

Ev2=abs(P2-P3)　(41)

Ev3=abs(P3-P4)　(42)

邊緣梯度Ev0至Ev5可接著由垂直濾波器利用以使用展示於以下等式43中之式子來判定垂直濾波輸出P_vert ：

其中vertTh[c]為每一色彩分量c(例如，R、B、Gr及Gb)之垂直邊緣臨限值，且其中C0至C4為分別對應於圖35之像素P0至P4之濾波器分接頭係數。垂直濾波器輸出P_vert 可應用於中心像素P2位置處。在一實施例中，濾波器分接頭係數C0至C4可為具有3個整數位元及13個分數位元的16位元二之補數的值(以浮點表示為3.13)。另外，應注意，濾波器分接頭係數C0至C4不必相對於中心像素P2對稱。

另外，關於邊界條件，當鄰近像素在原始圖框154(圖9)外時，限界外像素之值由原始圖框之邊緣處的同一色彩像素之值來複製。對於水平濾波操作及垂直濾波操作兩者可實施此慣例。作為實例，再次參看圖34，在水平濾波之狀況下，若像素P2為原始圖框之最左側邊緣處的邊緣像素，且像素P0及P1在原始圖框外，則像素P0及P1之值由像素P2之值代替以用於水平濾波。

再次返回參看展示於圖28中之原始處理邏輯360之方塊圖，雜訊減少邏輯398之輸出隨後發送至透鏡陰影校正(LSC)邏輯400以供處理。如上文所論述，透鏡陰影校正技術可包括逐個像素地應用適當增益以補償光強度之下降，光強度之下降可為透鏡之幾何光學、製造中之瑕疵、微透鏡陣列與彩色陣列濾波器之對齊不良等的結果。另外，一些透鏡中之紅外線(IR)濾波器可使得下降依發光體，且因此透鏡陰影增益可取決於偵測到之光源而加以調適。

在所描繪實施例中，ISP管82之LSC邏輯400可以類似方式實施，且因此提供與ISP前端區塊80之如上文參看圖18至圖26論述之LSC邏輯234之功能大體上相同的功能。因而，為了避免冗餘，應理解，當前所說明實施例之LSC邏輯400經組態而以與LSC邏輯230大體上相同之方式操作，且因而此處將不重複上文提供之透鏡陰影校正技術的描述。然而，為了大體上進行概述，應理解，LSC邏輯400可獨立地處理原始像素資料流之每一色彩分量，以判定要應用至當前像素之增益。根據上文所論述之實施例，可基於跨越成像圖框分佈之增益柵格點之所界定集合來判定透鏡陰影校正增益，其中每一柵格點之間的間隔由多個像素(例如，8個像素、16個像素等)來界定。若當前像素之位置對應於柵格點，則將與該柵格點相關聯之增益值應用至當前像素。然而，若當前像素之位置係在柵格點(例如，圖21之G0、G1、G2及G3)之間，則可藉由當前像素位於其間的柵格點之內插(等式11a及11b)來計算LSC增益值。此程序由圖22之程序310來描繪。另外，如上文關於圖20所提及，在一些實施例中，柵格點可不均勻地(例如，對數地)分佈，使得柵格點在LSC區280之中心中較不集中，但朝向LSC區280之通常透鏡陰影失真更顯著之角落更為集中。

另外，如上文參看圖25及圖26所論述，LSC邏輯400亦可應用徑向增益分量與柵格增益值。可基於當前像素距影像中心之距離(等式12至14)來判定徑向增益分量。如所提及，使用徑向增益允許將單一共同增益柵格用於所有色彩分量，其可大大減小儲存每一色彩分量之獨立增益柵格所需要的總儲存空間。由於柵格增益資料表可佔用影像處理硬體中之記憶體或晶片區域之顯著部分，因此柵格增益資料之此減少可降低實施成本。

接著，再次參看圖28之原始處理邏輯方塊圖360，LSC邏輯400之輸出接著傳遞至第二增益、偏移及箝位(GOC)區塊402。GOC邏輯402在去馬賽克(藉由邏輯區塊404)之前可經應用，且可用以對LSC邏輯400之輸出執行自動白平衡。在所描繪實施例中，GOC邏輯402可以與GOC邏輯394(及BLC邏輯232)相同之方式來實施。因此，根據上文之等式9，由GOC邏輯402接收到之輸入首先經偏移一帶正負號之值，且接著乘以一增益。接著將所得值根據等式10截割為最小值與最大值範圍。

其後，將GOC邏輯402之輸出轉遞至去馬賽克邏輯404以供處理，從而基於原始拜耳輸入資料產生全色(RGB)影像。如將瞭解，使用濾色器陣列(諸如，拜耳濾波器)之影像感測器之原始輸出在每一像素經濾波以獲取僅單一色彩分量之意義上為「不完整的」。因此，個別像素之單獨收集之資料不足以判定色彩。因而，可使用去馬賽克技術來藉由為每一像素內插缺失之色彩資料來自原始拜耳資料產生全色影像。

現參看圖36，說明圖形程序流程500，其提供關於去馬賽克可如何應用至原始拜耳影像圖案502以產生全色RGB的一般綜述。如圖所示，原始拜耳影像502之4×4部分504可包括每一色彩分量之獨立通道，該等通道包括綠色通道506、紅色通道508及藍色通道510。因為拜耳感測器中之每一成像像素僅獲取一色彩之資料，所以每一色彩通道506、508及510之色彩資料如由「？」符號所指示可為不完整的。藉由應用去馬賽克技術512，可對來自每一通道之缺失之色彩樣本進行內插。例如，如由參考數字514所展示，內插資料G'可用以填充綠色色彩通道上的缺失之樣本。類似地，內插資料R'可(結合內插資料G' 514)用以填充紅色色彩通道516上之缺失之樣本，且內插資料B'可(結合內插資料G' 514)用以填充藍色色彩通道518上的缺失之樣本。因此，作為去馬賽克程序之結果，每一色彩通道(R、G、B)將具有色彩資料全集，其可接著用以重建全色RGB影像520。

現將根據一實施例來描述可由去馬賽克邏輯404實施之去馬賽克技術。在綠色色彩通道上，可對已知綠色樣本使用低通方向濾波器且對相鄰色彩通道(例如，紅色及藍色)使用高通(或梯度)濾波器來對缺失之色彩樣本進行內插。對於紅色及藍色色彩通道，可以類似方式但藉由對已知紅色或綠色值使用低通濾波且對共置之內插綠色值使用高通濾波而對缺失的色彩樣本進行內插。另外，在一實施例中，綠色色彩通道上之去馬賽克可基於初始拜耳色彩資料而利用5×5像素區塊邊緣適應性濾波器。如下文將進一步論述，使用邊緣適應性濾波器可基於經水平及垂直濾波之值的梯度來提供連續加權，其減小在習知去馬賽克技術中常見之某些假影(諸如，頻疊、「棋盤形」或「彩虹」假影)的顯現。

在綠色通道上之去馬賽克期間，使用拜耳影像圖案之綠色像素(Gr及Gb像素)之初始值。然而，為了獲得綠色通道之資料全集，在拜耳影像圖案之紅色及藍色像素處可內插綠色像素值。根據本發明之技術，首先基於上文所提及之5×5像素區塊在紅色及藍色像素處計算分別稱為Eh及Ev之水平能量分量及垂直能量分量。Eh及Ev之值可用以自如下文進一步論述之水平及垂直濾波步驟來獲得邊緣經加權之經濾波值。

作為實例，圖37說明位置(j,i)處之居於5×5像素區塊中心之紅色像素的Eh及Ev值之計算，其中j對應於列，且i對應於行。如圖所示，Eh之計算考慮5×5像素區塊之中間三列(j-1、j、j+1)，且Ev之計算考慮5×5像素區塊之中間三行(i-1、i、i+1)。為了計算Eh，對紅色行(i-2、i、i+2)中之像素中之每一者的總和乘以相應係數(例如，對於行i-2及i+2為-1；且對於行i為2)之絕對值與藍色行(i-1、i+1)中之像素中之每一者的總和乘以相應係數(例如，對於行i-1為1；且對於行i+1為-1)之絕對值求和。為了計算Ev，對紅色列(j-2、j、j+2)中之像素中之每一者的總和乘以相應係數(例如，對於列j-2及j+2為-1；且對於列j為2)之絕對值與藍色列(j-1、j+1)中之像素中之每一者的總和乘以相應係數(例如，對於列j-1為1；且對於列j+1為-1)之絕對值求和。此等計算藉由以下等式44及45予以說明：

因此，總能量總和可表達為：Eh+Ev。另外，雖然展示於圖37中之實例說明(j,i)處之紅色中心像素之Eh及Ev的計算，但應理解，對於藍色中心像素可以類似方式判定Eh及Ev值。

接著，可將水平及垂直濾波應用至拜耳圖案以獲得經水平濾波之值Gh及經垂直濾波的值Gv，其可分別表示在水平方向及垂直方向上內插之綠色值。除使用相鄰色彩(R或B)之方向梯度外，亦可在已知鄰近綠色樣本上使用低通濾波器來判定經濾波之值Gh及Gv，以在缺失之綠色樣本之位置處獲得高頻信號。例如，參看圖38，現將說明用於判定Gh之水平內插的實例。

如圖38中所示，在判定Gh時可考慮拜耳影像之紅色列530的五個水平像素(R0、G1、R2、G3及R4)，其中假設R2為(j,i)處之中心像素。與此等五個像素中之每一者相關聯之濾波係數藉由參考數字532來指示。因而，可如下判定中心像素R2之稱為G2'之綠色值的內插：

可接著利用各種數學運算來產生G2'之展示於以下等式47及48中的表達式：

因此，參看圖38及以上等式46至48，(j,i)處之綠色值之水平內插的通用表達式可導出為：

可以類似於Gh之方式來判定垂直濾波分量Gv。舉例而言，參看圖39，在判定Gv時可考慮拜耳影像之紅色行534的五個垂直像素(R0、G1、R2、G3及R4)及其各別濾波係數536，其中假設R2為(j,i)處之中心像素。在已知綠色樣本上使用低通濾波且在垂直方向上之紅色通道上使用高通濾波，可導出Gv之以下表達式：

雖然本文中所論述之實例已展示了紅色像素上內插綠色值，但應理解，在等式49及50中所闡述之表達式亦可用於針對藍色像素之綠色值的水平及垂直內插。

可藉由以上文所論述之能量分量(Eh及Ev)對水平濾波輸出及垂直濾波輸出(Gh及Gv)進行加權以產生以下等式來判定中心像素(j,i)之最終內插綠色值G'：

如上文所論述，能量分量Eh及Ev可提供水平濾波輸出Gh及垂直濾波輸出Gv之邊緣適應性加權，其可有助於減少重建之RGB影像中的影像假影(諸如，彩虹、頻疊或棋盤形假影)。另外，去馬賽克邏輯404可藉由將Eh及Ev值各自設定為1，使得Gh及Gv經同等地加權而提供略過邊緣適應性加權特徵之選項。

在一實施例中，展示於以上等式51中之水平及垂直加權係數可經量化以將加權係數之精度減小為「粗略」值集合。例如，在一實施例中，可將加權係數量化為八個可能之權重比率：1/8、2/8、3/8、4/8、5/8、6/8、7/8及8/8。其他實施例可將加權係數量化為16個值(例如，1/16至16/16)、32個值(1/32至32/32)等。如可瞭解，在與使用全精度值(例如，32位元浮點值)相比較時，加權係數之量化可減小判定加權係數並將加權係數應用至水平及垂直濾波輸出時的實施複雜度。

在其他實施例中，除判定並使用水平及垂直能量分量以將加權係數應用至水平經濾波值(Gh)及垂直經濾波值(Gv)外，當前所揭示之技術亦可判定並利用對角正方向及對角負方向上的能量分量。例如，在此等實施例中，亦可在對角正方向及對角負方向上應用濾波。濾波輸出之加權可包括選擇兩個最高能量分量，及使用所選擇之能量分量來對其各別濾波輸出進行加權。舉例而言，假設兩個最高能量分量對應於垂直方向及對角正方向，則使用垂直能量分量及對角正能量分量對垂直濾波輸出及對角正濾波輸出進行加權，以判定內插綠色值(例如，拜耳圖案之紅色像素位置或藍色像素位置處)。

接著，可藉由以下操作來執行紅色色彩通道及藍色色彩通道上之去馬賽克：在拜耳影像圖案之綠色像素處內插紅色值及藍色值，在拜耳影像圖案之藍色像素處內插紅色值，及在拜耳影像圖案之紅色像素處內插藍色值。根據本發明所論述之技術，缺失之紅色及藍色像素值可使用基於已知鄰近紅色及藍色像素之低通濾波及基於共置之綠色像素值的高通濾波進行內插，共置之綠色像素值取決於當前像素之位置而可為初始值或內插值(來自上文所論述之綠色通道去馬賽克程序)。因此，關於此等實施例，應理解，可首先執行對缺失之綠色值的內插，使得綠色值之完整集合(初始值及內插值兩者)在內插缺失之紅色及藍色樣本時為可用的。

可參看圖40來描述紅色像素值及藍色像素值之內插，圖40說明紅色及藍色去馬賽克可應用至之拜耳影像圖案之各種3×3區塊以及在綠色通道上之去馬賽克期間可能已獲得的內插綠色值(由G'所指定)。首先參看區塊540，可如下判定Gr像素(G₁₁ )之內插紅色值R'₁₁ ：

其中如由參考數字548所展示，G'₁₀ 及G'₁₂ 表示內插綠色值。類似地，可如下判定Gr像素(G₁₁ )之內插藍色值B'₁₁ ：

其中G'₀₁ 及G'₂₁ 表示內插綠色值(548)。

接著，參看其中中心像素為Gb像素(G₁₁ )之像素區塊542，可如以下等式54及55中所示判定內插紅色值R'₁₁ 及內插藍色值B'₁₁ ：

另外，參看像素區塊544，可如下判定藍色像素B₁₁ 上之紅色值之內插：

其中如由參考數字550所示，G'₀₀ 、G'₀₂ 、G'₁₁ 、G'₂₀ 及G'₂₂ 表示內插綠色值。最終，如由像素區塊546所示，可如下計算紅色像素上之藍色值的內插：

雖然上文所論述之實施例依賴於色差(例如，梯度)用於判定紅色內插值及藍色內插值，但另一實施例可使用色比來提供內插紅色值及藍色值。例如，可使用內插綠色值(區塊548及550)來獲得拜耳影像圖案之紅色像素位置及藍色像素位置處的色比，且可使用比率之線性內插來判定缺失之色彩樣本的內插色比。可為內插值或初始值之綠色值可乘以內插色比以獲得最終內插色值。例如，紅色像素值及藍色像素值之使用色比的內插可根據下式來執行，其中等式58及59展示Gr像素之紅色值及藍色值之內插，等式60及61展示Gb像素之紅色值及藍色值的內插，等式62展示藍色像素上之紅色值之內插，且等式63展示紅色像素上之藍色值的內插：

一旦已對來自拜耳影像圖案之每一影像像素的缺失之色彩樣本進行了內插，即可組合紅色色彩通道、藍色色彩通道及綠色色彩通道(例如，圖36之514、516及518)中之每一者的色值之完整樣本以產生全色RGB影像。例如，返回參看圖27及圖28，原始像素處理邏輯360之輸出372可為呈8、10、12或14位元格式之RGB影像信號。

現參看圖41至圖44，說明根據所揭示實施例之各種流程圖，該等流程圖說明用於使原始拜耳影像圖案去馬賽克之程序。具體而言，圖41之程序560描繪針對給定輸入像素P將對哪一色彩分量進行內插之判定。基於由程序560進行之判定，可執行(例如，藉由去馬賽克邏輯404)以下各程序中之一或多者：用於內插綠色值之程序572(圖42)、用於內插紅色值之程序584(圖43)，或用於內插藍色值之程序598(圖44)。

以圖41開始，程序560於步驟562處接收輸入像素P時開始。決策邏輯564判定輸入像素之色彩。例如，此可取決於像素在拜耳影像圖案內之位置。因而，若將P識別為綠色像素(例如，Gr或Gb)，則程序560進行至步驟566以獲得P之經內插紅色值及藍色值。此可包括(例如)分別繼續至圖43及圖44之程序584及598。若將P識別為紅色像素，則程序560進行至步驟568以獲得P之內插綠色值及藍色值。此可包括進一步分別執行圖42及圖44之程序572及598。另外，若將P識別為藍色像素，則程序560進行至步驟570以獲得P之內插綠色值及紅色值。此可包括進一步分別執行圖42及圖43之程序572及584。下文進一步描述程序572、584及598中之每一者。

用於判定輸入像素P之內插綠色值之程序572在圖42中予以說明，且包括步驟574至582。在步驟574處，接收輸入像素P(例如，來自程序560)。接著，在步驟576處，識別形成5×5像素區塊之鄰近像素集合，其中P為5×5區塊的中心。其後，在步驟578處，分析像素區塊以判定水平能量分量及垂直能量分量。例如，可分別根據用於計算Eh及Ev之等式44及45來判定水平能量分量及垂直能量分量。如所論述，能量分量Eh及Ev可用作加權係數以提供邊緣適應性濾波，且因此減小最終影像中某些去馬賽克假影的顯現。在步驟580處，在水平方向及垂直方向上應用低通濾波及高通濾波以判定水平濾波輸出及垂直濾波輸出。舉例而言，可根據等式49及50計算水平濾波輸出Gh及垂直濾波輸出Gv。接著，程序560繼續至步驟582，在步驟582處，如等式51中所示，基於由能量分量Eh及Ev加權之Gh值及Gv值對內插綠色值G'進行內插。

接著，關於圖43之程序584，紅色值之內插可於步驟586開始，在步驟586處，接收輸入像素P(例如，自程序560)。在步驟588處，識別形成3×3像素區塊之鄰近像素集合，其中P為3×3區塊的中心。其後，在步驟590處，對3×3區塊內之鄰近紅色像素應用低通濾波，且對共置之綠色鄰近值應用高通濾波，該等綠色鄰近值可為由拜耳影像感測器捕獲之初始綠色值或內插值(例如，經由圖42之程序572判定)。如步驟594處所示，可基於低通濾波輸出及高通濾波輸出來判定P之內插紅色值R'。取決於P之色彩，可根據等式52、54或56中之一者來判定R'。

關於藍色值之內插，可應用圖44之程序598。步驟600及602大體上等同於程序584(圖43)之步驟586及588。在步驟604處，對3×3區塊內之鄰近藍色像素應用低通濾波，且在步驟606處，對共置之綠色鄰近值應用高通濾波，該等綠色鄰近值可為由拜耳影像感測器捕獲之初始綠色值或內插值(例如，經由圖42之程序572判定)。如步驟608處所示，可基於低通濾波輸出及高通濾波輸出來判定P之內插藍色值B'。取決於P之色彩，可根據等式53、55或57中之一者來判定B'。另外，如上文所提及，可使用色差(等式52至57)或色比(等式58至63)來判定紅色值及藍色值之內插。再次，應理解，可首先執行缺失之綠色值的內插，使得綠色值完整集合(初始值及內插值兩者)在內插缺失之紅色及藍色樣本時為可用的。舉例而言，圖42之程序572在分別執行圖43及圖44之程序584及598之前可經應用以內插所有缺失之綠色色彩樣本。

參看圖45至圖48，提供由ISP管82中之原始像素處理邏輯360處理之照片影像的實例。圖45描繪可由成像器件30之影像感測器90捕獲的初始影像場景620。圖46展示可表示由影像感測器90捕獲之原始像素資料的原始拜耳影像622。如上文所提及，習知去馬賽克技術可能不提供基於影像資料中之邊緣(例如，兩種或兩種以上色彩之區域之間的邊沿)偵測之適應性濾波，其在所得經重建全色RGB影像中可能不良地產生假影。例如，圖47展示使用習知去馬賽克技術重建之RGB影像624，且在邊緣628處可包括諸如「棋盤形」假影626的假影。然而，比較影像624與圖48之可為使用上文所描述之去馬賽克技術重建之影像之實例的RGB影像630，可見存在於圖47中之棋盤形假影626不存在，或在邊緣628處至少實質上減小了棋盤形假影626之顯現。因此，展示於圖45至圖48中之影像意欲說明本文中所揭示之去馬賽克技術具有之優於習知方法的至少一優點。

返回參看圖27，現已透徹描述了可輸出RGB影像信號372之原始像素處理邏輯360的操作，本論述現將集中於描述由RGB處理邏輯362對RGB影像信號372進行之處理。如圖所示，RGB影像信號372可發送至選擇邏輯376及/或記憶體108。RGB處理邏輯362可接收輸入信號378，該輸入信號378取決於選擇邏輯376之組態可為來自信號372之RGB影像資料或如由信號374所示來自記憶體108的RGB影像資料。RGB影像資料378可由RGB處理邏輯362處理以執行色彩調整操作，該等操作包括色彩校正(例如，使用色彩校正矩陣)、用於自動白平衡之色彩增益的應用，以及全域色調映射等。

在圖49中說明描繪RGB處理邏輯362之實施例之更詳細視圖的方塊圖。如圖所示，RGB處理邏輯362包括增益、偏移及箝位(GOC)邏輯640、RGB色彩校正邏輯642、GOC邏輯644、RGB伽瑪調整邏輯，及色空間轉換邏輯648。輸入信號378首先由增益、偏移及箝位(GOC)邏輯640接收到。在所說明實施例中，GOC邏輯640可在由色彩校正邏輯642處理之前應用增益以對R、G或B色彩通道中之一或多者執行自動白平衡。

除了處理RGB域之色彩分量，而非拜耳影像資料之R、B、Gr及Gb分量外，GOC邏輯640可類似於原始像素處理邏輯360之GOC邏輯394。在操作中，如在以上等式9中所示，當前像素之輸入值首先經偏移一帶正負號之值O[c]並乘以增益G[c]，其中c表示R、G及B。如上文所論述，增益G[c]可為具有2個整數位元及14個分數位元之16位元無正負號之數字(例如，2.14浮點表示)，且可在先前於統計量處理期間(例如，在ISP前端區塊80中)已判定增益G[c]之值。計算出之像素值Y(基於等式9)接著根據等式10截割為最小值及與最大值範圍。如上文所論述，變數min[c]及max[c]可分別表示最小輸出值及最大輸出值之帶正負號的16位元「截割值」。在一實施例中，GOC邏輯640亦可經組態以針對每一色彩分量R、G及B維持分別高於最大值及低於最小值的經截割像素之數目的計數。

GOC邏輯640之輸出接著轉遞至色彩校正邏輯642。根據當前揭示之技術，色彩校正邏輯642可經組態以使用色彩校正矩陣(CCM)將色彩校正應用至RGB影像資料。在一實施例中，CCM可為3×3 RGB變換矩陣，但在其他實施例中，亦可利用其他維度之矩陣(例如，4×3等)。因而，可如下表達對具有R、G及B分量之輸入像素執行色彩校正之程序：

其中R、G及B表示輸入像素之當前紅色值、綠色值及藍色值，CCM00至CCM22表示色彩校正矩陣之係數，且R'、G'及B'表示輸入像素之經校正的紅色值、綠色值及藍色值。因而，可根據以下等式65至67計算校正色彩值：

R '=(CCM 00×R )+(CCM 01×G )+(CCM 02×B )　(65)

G '=(CCM 10×R)+(CCM 11×G )+(CCM 12×B )　(66)

B '=(CCM 20×R )+(CCM 21×G )+(CCM 22×B )　(67)

可在如上文所論述之ISP前端區塊80中之統計量處理期間判定CCM之係數(CCM00至CCM22)。在一實施例中，給定色彩通道之係數可經選擇，使得彼等係數(例如，用於紅色色彩校正之CCM00、CCM01及CCM02)之總和等於1，其可有助於維持亮度與色彩平衡。另外，係數通常經選擇使得將正增益應用至所校正之色彩。例如，在紅色色彩校正之情況下，係數CCM00可大於1，而係數CCM01及CCM02中之一者或兩者可小於1。以此方式設定係數可增強所得經校正R'值中之紅色(R)分量，同時減除一些藍色(B)分量及綠色(G)分量。如將瞭解，由於特定著色像素之經濾波之光的一部分可能「漏入」具有不同色彩之鄰近像素中，因此此情形可解決在獲取初始拜耳影像期間可能發生的色彩重疊問題。在一實施例中，CCM之係數可提供為具有4個整數位元及12個分數位元之16位元二之補數的數字(以浮點表達為4.12)。另外，若計算出之經校正色彩值超出最大值或低於最小值，則色彩校正邏輯642可提供對該等值之截割。

RGB色彩校正邏輯642之輸出接著傳遞至另一GOC邏輯區塊644。GOC邏輯644可以與GOC邏輯640等同之方式實施，且因此此處將不重複所提供之增益、偏移及箝位功能的詳細描述。在一實施例中，GOC邏輯644在色彩校正之後的應用可提供影像資料之基於經校正色彩值之自動白平衡，且亦可調整紅色對綠色比率及藍色對綠色比率的感測器變化。

接著，GOC邏輯644之輸出發送至RGB伽瑪調整邏輯646以供進一步處理。例如，RGB伽瑪調整邏輯646可提供伽瑪校正、色調映射、直方圖匹配等。根據所揭示實施例，伽瑪調整邏輯646可提供輸入RGB值至相應輸出RGB值之映射。例如，伽瑪調整邏輯可提供三個查詢表之集合，R、G及B分量中的每一者一個表。作為實例，每一查詢表可經組態以儲存256項10位元值，每一值表示一輸出位準。表項在輸入像素值之範圍內可均勻分佈，使得當輸入值落於兩項之間時，輸出值可進行線性內插。在一實施例中，用於R、G及B之三個查詢表中之每一者可經複製，使得查詢表在記憶體中經「雙重緩衝」，因此允許在處理期間使用一表，同時對其複本進行更新。基於上文所論述之10位元輸出值，應注意，14位元RGB影像信號由於本實施例中之伽瑪校正程序經有效地減小取樣至10位元。

伽瑪調整邏輯646之輸出可發送至記憶體108及/或色空間轉換邏輯648。色空間轉換(CSC)邏輯648可經組態以將來自伽瑪調整邏輯646之RGB輸出轉換為YCbCr格式，其中Y表示明度分量，Cb表示藍色色度差分量，且Cr表示紅色色度差分量，該等分量中之每一者由於RGB資料在伽瑪調整操作期間自14位元至10位元之位元深度轉換而可呈10位元格式。如上文所論述，在一實施例中，伽瑪調整邏輯646之RGB輸出可藉由CSC邏輯648而減小取樣至10位元且因此轉換為10位元YCbCr值，該等10位元YCbCr值可接著轉遞至下文將進一步論述之YCbCr處理邏輯364。

自RGB域至YCbCr色空間之轉換可使用色空間轉換矩陣(CSCM)執行。例如，在一實施例中，CSCM可為3×3變換矩陣。可根據已知轉換等式(諸如，BT.601及BT.709標準)來設定CSCM係數。另外，CSCM係數基於輸入及輸出之所要範圍而可為靈活的。因此，在一些實施例中，CSCM係數可基於在ISP前端區塊80中之統計量處理期間收集的資料來判定並程式化。

對RGB輸入像素執行YCbCr色空間轉換之程序可表達如下：

其中R、G及B表示輸入像素之呈10位元形式之當前紅色值、綠色值及藍色值(例如，如由伽瑪調整邏輯646所處理)，CSCM00至CSCM22表示色空間轉換矩陣之係數，且Y、Cb及Cr表示輸入像素之所得明度分量及色度分量。因而，可根據以下等式69至71計算Y、Cb及Cr之值：

Y =(CSCM 00×R )+(CSCM 01×G )+(CSCM 02×B )　(69)

Cb =(CSCM 10×R )+(CSCM 11×G )+(CSCM 12×B )　(70)

Cr =(CSCM 20×R )+(CSCM 21×G )+(CSCM 22×B )　(71)

在色空間轉換操作之後，所得YCbCr值可作為信號380自CSC邏輯648輸出，該信號380可由如下文將論述之YCbCr處理邏輯364處理。

在一實施例中，CSCM之係數可為具有4個整數位元及12個分數位元之16位元二之補數的數字(4.12)。在另一實施例中，CSC邏輯648可經進一步組態以將偏移應用至Y、Cb及Cr值中之每一者並將所得值截割至最小值與最大值。僅作為實例，假設YCbCr值呈10位元形式，則偏移可在-512至512之範圍內，且最小值與最大值可分別為0與1023。

再次返回參看圖27中之ISP管邏輯82之方塊圖，YCbCr信號380可發送至選擇邏輯384及/或記憶體108。YCbCr處理邏輯364可接收輸入信號386，該輸入信號386取決於選擇邏輯384之組態而可為來自信號380之YCbCr影像資料或如由信號382所示來自記憶體108的YCbCr影像資料。YCbCr影像資料386可接著由YCbCr處理邏輯364處理以用於明度清晰化、色度抑制、色度雜訊減少以及亮度、對比度及色彩調整等。另外，YCbCr處理邏輯364可提供伽瑪映射及經處理影像資料在水平及垂直方向上的按比例縮放。

在圖50中說明描繪YCbCr處理邏輯364之實施例之更詳細視圖的方塊圖。如圖所示，YCbCr處理邏輯364包括影像清晰化邏輯660、用於調整亮度、對比度及/或色彩之邏輯662、YCbCr伽瑪調整邏輯664、色度整數倍降低取樣邏輯668，及按比例縮放邏輯670。YCbCr處理邏輯364可經組態以使用1平面、2平面或3平面記憶體組態來處理呈4:4:4、4:2:2或4:2:0格式之像素資料。另外，在一實施例中，YCbCr輸入信號386可提供作為10位元值之明度及色度資訊。

如將瞭解，對1平面、2平面或3平面之參考指代在圖片記憶體中利用之成像平面的數目。例如，在3平面格式中，Y分量、Cb分量及Cr分量中之每一者可利用獨立之各別記憶體平面。在2平面格式中，可為明度分量(Y)提供第一平面，且可為色度分量(Cb及Cr)提供使Cb樣本與Cr樣本交錯的第二平面。在1平面格式中，記憶體中之單一平面與明度樣本及色度樣本交錯。另外，關於4:4:4、4:2:2及4:2:0格式，可瞭解，4:4:4格式指代其中三個YCbCr分量中之每一者以同一比率進行取樣的取樣格式。在4:2:2格式中，色度分量Cb及Cr以明度分量Y之取樣率之一半經子取樣，因此使色度分量Cb及Cr之解析度在水平方向上減小一半。類似地，4:2:0格式在垂直方向及水平方向兩者上對色度分量Cb及Cr進行子取樣。

YCbCr資訊之處理可發生於界定於源緩衝器內之作用源區內，其中作用源區含有「有效」像素資料。舉例而言，參看圖51，說明一源緩衝器676，該源緩衝器676具有界定於其中之作用源區678。在所說明實例中，源緩衝器可表示一提供10位元值之源像素的4:4:4 1平面格式。可對於明度(Y)樣本及色度樣本(Cb及Cr)個別地指定作用源區678。因此，應理解，作用源區678可實際上包括用於明度樣本及色度樣本的多個作用源區。可基於自源緩衝器之基本位址(0,0)680之偏移來判定明度及色度之作用源區678之起點。例如，明度作用源區之起始位置(Lm_X,Lm_Y)682可藉由相對於基本位址680之x偏移686及y偏移690來界定。類似地，色度作用源區之起始位置(Ch_X,Ch_Y)684可藉由相對於基本位址680之x偏移688及y偏移692來界定。應注意，在本實例中，分別用於明度及色度之y偏移688及692可相等。基於起始位置682，可藉由寬度694及高度696來界定明度作用源區，寬度694及高度696中之每一者可分別表示x方向及y方向上之明度樣本的數目。另外，基於起始位置684，可藉由寬度698及高度700來界定色度作用源區，寬度698及高度700中之每一者可分別表示x方向及y方向上之色度樣本的數目。

圖52進一步提供展示在二平面格式中可如何判定明度樣本及色度樣本之作用源區的實例。例如，如圖所示，明度作用源區678可藉由由相對於起點位置682之寬度694及高度696指定之區域而界定於第一源緩衝器676(具有基本位址680)中。色度作用源區704可於第二源緩衝器702(具有基本位址706)中界定為由相對於起點位置684之寬度698及高度700指定的區域。

有鑒於以上各要點且返回參看圖50，YCbCr信號386首先由影像清晰化邏輯660接收到。影像清晰化邏輯660可經組態以執行圖片清晰化及邊緣增強處理，從而增加影像中之紋理及邊緣細節。如將瞭解，影像清晰化可改良感知到之影線解析度。然而，通常需要將影像中之現有雜訊並不偵測為紋理及/或邊緣，且因此在清晰化程序期間並不將其放大。

根據本發明之技術，影像清晰化邏輯660可在YCbCr信號之明度(Y)分量上使用多尺度反清晰化遮罩濾波器來執行圖片清晰化。在一實施例中，可提供具有不同尺度大小之兩個或兩個以上低通高斯濾波器。舉例而言，在提供兩個高斯濾波器之實施例中，自具有第二半徑(y)之第二高斯濾波器之輸出減去具有第一半徑(x)的第一高斯濾波器之輸出(例如，高斯模糊)以產生反清晰化遮罩，其中x大於y。亦可藉由自Y輸入減去高斯濾波器之輸出來獲得額外反清晰化遮罩。在特定實施例中，技術亦可提供適應性核化(coring)臨限值比較操作，其可使用反清晰化遮罩執行，使得基於比較之結果，可將增益量添加至基本影像以產生最終輸出，該基本影像可選擇為初始Y輸入影像或高斯濾波器中之一者的輸出。

參看圖53，說明根據當前所揭示技術之實施例的描繪用於執行影像清晰化之例示性邏輯710的方塊圖。邏輯710表示可應用至輸入明度影像Yin之多尺度反清晰化濾波遮罩。例如，如圖所示，Yin由兩個低通高斯濾波器712(G1)及714(G2)接收並處理。在本實例中，濾波器712可為3×3濾波器，且濾波器714可為5×5濾波器。然而，應瞭解，在額外實施例中，亦可使用包括具有不同尺度之濾波器的兩個以上高斯濾波器(例如，7×7、9×9等)。如將瞭解，歸因於低通濾波程序，可自G1及G2之輸出移除大體上對應於雜訊之高頻分量，以產生「反清晰化」影像(G1out及G2out)。如下文將論述，使用反清晰化輸入影像作為基本影像允許雜訊減少(作為清晰化濾波器之部分)。

可如下文所示界定3×3高斯濾波器712及5×5高斯濾波器714：

僅作為實例，在一實施例中，可如下選擇高斯濾波器G1及G2之值：

基於Yin、G1out及G2out，可產生三個反清晰化遮罩Sharp1、Sharp2及Sharp3。Sharp1可判定為自高斯濾波器712之反清晰化影像G1out減去高斯濾波器714的反清晰化影像G2out。因為Sharp1本質上為兩個低通濾波器之間的差，所以其可稱為「中間頻帶」遮罩，此係由於較高頻雜訊分量在G1out及G2out反清晰化影像中已經濾除。另外，可藉由自輸入明度影像Yin減去G2out來計算Sharp2，且可藉由自輸入明度影像Yin減去G1out來計算Sharp3。如下文將論述，可使用反清晰化遮罩Sharp1、Sharp2及Sharp3來應用適應性臨限值核化方案。

參看選擇邏輯716，可基於控制信號UnsharpSel來選擇基本影像。在所說明實施例中，基本影像可為輸入影像Yin或經濾波之輸出G1out或G2out。如將瞭解，當初始影像具有高雜訊變異(例如，幾乎與信號變異一樣高)時，在清晰化中使用初始影像Yin作為基本影像在清晰化期間可能不能充分提供雜訊分量之減小。因而，當在輸入影像中偵測到雜訊含量之特定臨限值時，選擇邏輯716可經調適以選擇經低通濾波之輸出G1out或G2out中的一者，自經低通濾波之輸出G1out或G2out中之該一者已減小了可能包括雜訊之高頻含量。在一實施例中，可藉由分析在ISP前端區塊80中之統計量處理期間獲取之統計資料來判定控制信號UnsharpSel之值，以判定影像的雜訊含量。作為實例，若輸入影像Yin具有低雜訊含量，使得表觀雜訊將很可能不會由於清晰化程序而增大，則可選擇輸入影像Yin作為基本影像(例如，UnsharpSel=0)。若判定輸入影像Yin含有顯著位準之雜訊，使得清晰化程序可能放大雜訊，則可選擇經濾波之影像G1out或G2out中的一者(例如，UnsharpSel分別等於1或2)。因此，藉由應用用於選擇基本影像之適應性技術，邏輯710本質上提供雜訊減少功能。

接著，可根據如下文描述之適應性核化臨限值方案將增益應用至Sharp1、Sharp2及Sharp3遮罩中的一或多者。接著，可藉由比較器區塊718、720及722來比較反清晰化值Sharp1、Sharp2及Sharp3與各種臨限值SharpThd1、SharpThd2及SharpThd3(無必要分別進行比較)。例如，在比較器區塊718處始終比較Sharp1值與SharpThd1。關於比較器區塊720，取決於選擇邏輯726，可比較臨限值SharpThd2與Sharp1或Sharp2。例如，選擇邏輯726取決於控制信號SharpCmp2之狀態而可選擇Sharp1或Sharp2(例如，SharpCmp2=1選擇Sharp1；SharpCmp2=0選擇Sharp2)。舉例而言，在一實施例中，可取決於輸入影像(Yin)之雜訊變異/含量來判定SharpCmp2之狀態。

在所說明實施例中，設定SharpCmp2及SharpCmp3值以選擇Sharp1通常係較佳的，除非偵測到影像資料具有相對低之雜訊量。此係因為係高斯低通濾波器G1及G2之輸出之間的差之Sharp1對於雜訊通常較不敏感，且因此可有助於減小SharpAmt1、SharpAmt2及SharpAmt3值歸因於「有雜訊」影像資料中之雜訊位準波動而改變的量。例如，若初始影像具有高雜訊變異，則高頻分量中之一些在使用固定臨限值時可能不被捕捉到，且因此在清晰化程序期間可能被放大。因而，若輸入影像之雜訊含量高，則一些雜訊含量可能存在於Sharp2中。在此等個例中，SharpCmp2可設定為1以選擇中間頻帶遮罩Sharp1，其如上文所論述歸因於係兩個低通濾波器輸出之間的差而具有減小之高頻含量，且因此對於雜訊較不敏感。

如將瞭解，類似程序在SharpCmp3之控制下可應用至由選擇邏輯724進行之對Sharp1或Sharp3的選擇。在一實施例中，SharpCmp2及SharpCmp3可藉由預設而設定為1(例如，使用Sharp1)，且僅針對識別為具有通常低之雜訊變異的彼等輸入影像設定為0。此情形本質上提供適應性核化臨限值方案，在該適應性核化臨限值方案中，比較值(Sharp1、Sharp2或Sharp3)之選擇基於輸入影像之雜訊變異而為適應性的。

基於比較器區塊718、720及722之輸出，可藉由將經應用增益之反清晰化遮罩應用至基本影像(例如，經由邏輯716所選擇)來判定經清晰化輸出影像Ysharp。例如，首先參看比較器區塊722，比較SharpThd3與由選擇邏輯724提供之本文中應稱為「SharpAbs」的B輸入，且取決於SharpCmp3之狀態而可等於Sharp1或Sharp3。若SharpAbs大於臨限值SharpThd3，則增益SharpAmt3應用至Sharp3，且將所得值添加至基本影像。若SharpAbs小於臨限值SharpThd3，則可應用經衰減之增益Att3。在一實施例中，可如下判定經衰減之增益Att3：

其中，如由選擇邏輯724所判定，SharpAbs為Sharp1或Sharp3。與全增益(SharpAmt3)或經衰減之增益(Att3)求和之基本影像的選擇由選擇邏輯728基於比較器區塊722之輸出來執行。如將瞭解，經衰減之增益之使用可解決如下情形：SharpAbs不大於臨限值(例如，SharpThd3)，但影像之雜訊變異仍接近於給定臨限值。此情形可有助於減小清晰化像素與反清晰化像素之間的顯著轉變。例如，若在此境況下在不用經衰減之增益之情況下傳遞影像資料，則所得像素可能顯現為缺陷像素(例如，卡色像素)。

接著，關於比較器區塊720可應用類似程序。例如，取決於SharpCmp2之狀態，選擇邏輯726可提供Sharp1或Sharp2作為至比較器區塊720之與臨限值SharpThd2進行比較的輸入。取決於比較器區塊720之輸出，增益SharpAmt2或基於SharpAmt2之經衰減之增益Att2應用至Sharp2，且添加至上文所論述之選擇邏輯728的輸出。如將瞭解，除關於可選擇為Sharp1或Sharp2之SharpAbs應用增益SharpAmt2及臨限值SharpThd2外，可以類似於以上等式72之方式計算經衰減之增益Att2。

其後，將增益SharpAmt1或經衰減之增益Att1應用至Sharp1，且對所得值與選擇邏輯730之輸出求和以產生經清晰化像素輸出Ysharp。可基於比較器區塊718之輸出來判定應用增益SharpAmt1或經衰減之增益Att1之選擇，比較器區塊718比較Sharp1與臨限值SharpThd1。再次，除關於Sharp1應用增益SharpAmt1及臨限值SharpThd1外，可以類似於以上等式72之方式來判定經衰減之增益Att1。將使用三個遮罩中之每一者按比例縮放的所得經清晰化像素值添加至輸入像素Yin，以產生經清晰化輸出Ysharp，該經清晰化輸出Ysharp在一實施例中可截割為10位元(假設YCbCr處理以10位元精度發生)。

如將瞭解，在與習知反清晰化遮蔽技術相比較時，本發明中所闡述之影像清晰化技術可提供改良對紋理及邊緣之增強，同時亦減小輸出影像中的雜訊。詳言之，本發明之技術可良好地適用於如下應用：使用(例如)CMOS影像感測器捕獲之影像(諸如使用整合至攜帶型器件(例如，行動電話)中之較低解析度相機在低照明條件下獲取的影像)展現不良信雜比。例如，當雜訊變異與信號變異相當時，難以使用固定臨限值用於清晰化，此係由於雜訊分量中之一些將連同紋理及邊緣一起經清晰化。因而，本文中所提供之如上文所論述之技術可使用多尺度高斯濾波器自輸入影像濾除雜訊從而自反清晰化影像(例如，G1out及G2out)提取特徵，以便提供亦展現減小之雜訊含量的經清晰化影像。

在繼續之前，應理解，所說明邏輯710僅意欲提供本發明之技術之一例示性實施例。在其他實施例中，影像清晰化邏輯660可提供額外或較少特徵。例如，在一些實施例中，邏輯710可僅傳遞基本值而非應用經衰減之增益。另外，一些實施例可能不包括選擇邏輯區塊724、726或716。例如，比較器區塊720及722可僅分別接收Sharp2值及Sharp3值而非分別來自選擇邏輯區塊724及726之選擇輸出。雖然此等實施例可能不提供與展示於圖53中之實施一樣強健的清晰化及/或雜訊減少特徵，但應瞭解，此等設計選擇可為成本及/或商務相關之約束的結果。

在本實施例中，一旦獲得經清晰化影像輸出YSharp，影像清晰化邏輯660即亦可提供邊緣增強及色度抑制特徵。現將在下文中論述此等額外特徵中之每一者。首先參看圖54，說明根據一實施例之用於執行邊緣增強的例示性邏輯738，該邏輯738可實施於圖53之清晰化邏輯710下游。如圖所示，由索貝爾(Sobel)濾波器740處理初始輸入值Yin以用於邊緣偵測。索貝爾濾波器740可基於初始影像之3×3像素區塊(下文稱為「A」)來判定梯度值YEdge，其中Yin為3×3區塊之中心像素。在一實施例中，索貝爾濾波器740可藉由使初始影像資料旋繞以偵測水平方向及垂直方向之改變來計算YEdge。此程序以等式73至75展示如下：

G _x =S _x ×A ，　(73)

G _y =S _y ×A ，　(74)

YEdge =G _x ×G _y ，　(75)

其中S_x 及S_y 分別表示水平方向及垂直方向上之梯度邊緣強度偵測的矩陣算子，且其中G_x 及G_y 分別表示含有水平改變導數及垂直改變導數的梯度影像。因而，將輸出YEdge判定為G_x 與G_y 之乘積。

YEdge連同如上文在圖53中所論述之中間頻帶Sharp1遮罩接著由選擇邏輯744接收到。基於控制信號EdgeCmp，在比較器區塊742處比較Sharp1或YEdge與臨限值EdgeThd。可(例如)基於影像之雜訊含量來判定EdgeCmp之狀態，因此提供用於邊緣偵測及增強之適應性核化臨限值方案。接著，可將比較器區塊742之輸出提供至選擇邏輯746，且可應用全增益或經衰減之增益。例如，當至比較器區塊742之所選擇B輸入(Sharp1或YEdge)高於EdgeThd時，YEdge乘以邊緣增益EdgeAmt以判定待應用之邊緣增強的量。若比較器區塊742處之B輸入小於EdgeThd，則經衰減之增益AttEdge可經應用以避免經邊緣增強之像素與初始像素之間的顯著轉變。如將瞭解，可以類似於在以上等式72中所示之方式計算AttEdge，但其中EdgeAmt及EdgeThd應用至「SharpAbs」，SharpAbs取決於選擇邏輯744之輸出可為Sharp1或YEdge。因此，使用增益(EdgeAmt)或經衰減之增益(AttEdge)增強之邊緣像素可添加至YSharp(圖53之邏輯710的輸出)以獲得經邊緣增強之輸出像素Yout，該輸出像素Yout在一實施例中可經截割為10位元(假設YCbCr處理以10位元精度發生)。

關於由影像清晰化邏輯660提供之色度抑制特徵，此等特徵可使明度邊緣處之色度衰減。通常，取決於自上文所論述之明度清晰化及/或邊緣增強步驟獲得之值(YSharp、Yout)，色度抑制可藉由應用小於1之色度增益(衰減因數)來執行。作為實例，圖55展示包括一曲線752之曲線圖750，曲線752表示可經選擇以用於相應經清晰化明度值(YSharp)的色度增益。由曲線圖750表示之資料可實施為YSharp值與0與1之間的相應色度增益(衰減因數)之查詢表。查詢表用以近似曲線752。對於共置於查詢表中之兩個衰減因數之間的YSharp值，可將線性內插應用至對應於高於當前YSharp值之YSharp值及低於當前YSharp值之YSharp值的兩個衰減因數。另外，在其他實施例中，輸入明度值亦可選擇為由如上文在圖53中論述之邏輯710判定之Sharp1、Sharp2或Sharp3值或由如在圖54中論述之邏輯738判定之YEdge值中的一者。

接著，由亮度、對比度及色彩(BCC)調整邏輯662處理影像清晰化邏輯660(圖50)之輸出。在圖56中說明描繪BCC調整邏輯662之實施例的功能方塊圖。如圖所示，邏輯662包括亮度及對比度處理區塊760、整體色相控制區塊762及飽總和度控制區塊764。當前說明之實施例提供採用10位元精度對YCbCr資料的處理，但其他實施例可利用不同位元深度。下文論述區塊760、762及764中之每一者的功能。

首先參看亮度及對比度處理區塊760，首先自明度(Y)資料減去偏移YOffset以將黑階設定為零。進行此操作以確保對比度調整並不變更黑階。接著，使明度值乘以對比度增益值以應用對比度控制。作為實例，對比度增益值可為具有2個整數位元及10個分數位元之12位元無正負號值，因此提供高達像素值之4倍的對比度增益範圍。其後，可藉由添加亮度偏移值(或自明度資料減去亮度偏移值)來實施亮度調整。作為實例，本實施例中之亮度偏移可為具有-512與+512之間的範圍之10位元二之補數值。另外，應注意，在對比度調整之後執行亮度調整，以便避免在改變對比度時使DC偏移發生變化。其後，將初始YOffset添加回至經調整之明度資料以使黑階復位。

區塊762及764基於Cb及Cr資料之色相特性來提供色彩調整。如圖所示，首先自Cb及Cr資料減去為512之偏移(假設10位元處理)以將範圍定位為約零。接著根據以下等式來調整色相：

Cb_adj =Cb cos(θ)+Cr sin(θ)，　(76)

Cr_adj =Cr cos(θ)-Cb sin(θ)，　(77)

其中Cb_adj 及Cr_adj 表示經調整之Cb值及Cr值，且其中θ表示可如下進行計算的色相角：

以上運算藉由全域色相控制區塊762內之邏輯來描繪，且可由以下矩陣運算來表示：

其中Ka=cos(θ)，Kb=sin(θ)，且θ在上文於等式78中予以界定。

接著，如由飽總和度控制區塊764所示，可將飽總和度控制應用至Cb_adj 值及Cr_adj 值。在所說明實施例中，藉由針對Cb值及Cr值中之每一者應用全域飽總和度乘數及基於色相之飽總和度乘數來執行飽總和度控制。基於色相之飽總和度控制可改良色彩之再現。如由圖57中之色輪圖形770所示，可在YCbCr色空間中表示色彩之色相。如將瞭解，可藉由使HSV色空間(色相、飽總和度及強度)中之等同色輪移位約109度來導出YCbCr色相及飽總和度色輪770。如圖所示，圖形770包括表示在0至1範圍內之飽總和度乘數(S)之圓周值，以及表示在0至360°範圍內之如上文所界定之θ的角度值。每一θ可表示不同色彩(例如，49°=洋紅色，109°=紅色，229°=綠色等)。可藉由選擇適當飽總和度乘數S來調整特定色相角θ處之色彩的色相。

返回參看圖56，色相角θ(在全域色相控制區塊762中所計算)可用作Cb飽總和度查詢表766及Cr飽總和度查詢表768之索引。在一實施例中，飽總和度查詢表766及768可含有在自0°至360°之色相範圍內均勻分佈之256個飽總和度值(例如，第一查詢表項係在0°處，且最後項係在360°處)，且可經由查詢表中之恰低於當前色相角θ之飽總和度值與恰高於當前色相角θ之飽總和度值之間的線性內插來判定給定像素處之飽總和度值S。藉由使全域飽總和度值(其對於Cb及Cr中之每一者可為全域常數)與所判定之基於色相的飽總和度值相乘來獲得Cb分量及Cr分量中之每一者的最終飽總和度值。因此，如在基於色相之飽總和度控制區塊764中所示，可藉由使Cb_adj 及Cr_adj 與其各別最終飽總和度值相乘來判定最終經校正之Cb'值及Cr'值。

其後，如圖50中所示，將BCC邏輯662之輸出傳遞至YCbCr伽瑪調整邏輯664。在一實施例中，伽瑪調整邏輯664可為Y、Cb及Cr通道提供非線性映射功能。例如，將輸入之Y值、Cb值及Cr值映射至相應輸出值。再次，假設YCbCr資料以10位元進行處理，則可利用經內插之10位元256項查詢表。可提供三個此等查詢表，其中Y通道、Cb通道及Cr通道中的每一者一個查詢表。256個輸入項中之每一者可經均勻分佈，且可藉由線性內插映射至恰高於當前輸入索引之索引及恰低於當前輸入索引之索引的輸出值來判定一輸出。在一些實施例中，具有1024個項(對於10位元資料)之非經內插查詢表亦可使用，但可具有顯著較大之記憶體要求。如將瞭解，藉由調整查詢表之輸出值，YCbCr伽瑪調整功能亦可用以執行某些影像濾波效應，諸如黑白、棕色色調、負影像、負感作用等。

接著，可藉由色度整數倍降低取樣邏輯668將色度整數倍降低取樣應用至伽瑪調整邏輯664之輸出。在一實施例中，色度整數倍降低取樣邏輯668可經組態以執行水平整數倍降低取樣以將YCbCr資料自4:4:4格式轉換至4:2:2格式，在4:2:2格式中，色度(Cr及Cr)資訊以明度資料之比率的一半進行子取樣。僅作為實例，如下式所示，可藉由將7分接頭低通濾波器(諸如，半帶lanczos濾波器)應用至具有7個水平像素之集合來執行整數倍降低取樣：

其中in(i)表示輸入像素(Cb或Cr)，且C0至C6表示7分接頭濾波器之濾波係數。每一輸入像素具有獨立之濾波器係數(C0至C6)以允許經色度濾波之樣本的靈活的相位偏移。

另外，色度整數倍降低取樣在一些個例中亦可在無濾波之情況下執行。當源影像最初以4:2:2格式接收到但經增加取樣至4:4:4格式以進行YCbCr處理時，此情形可為有用的。在此狀況下，所得經整數倍降低取樣之4:2:2影像等同於初始影像。

隨後，來自色度整數倍降低取樣邏輯668之YCbCr資料輸出在自YCbCr處理區塊364輸出之前可使用按比例縮放邏輯670進行按比例縮放。按比例縮放邏輯670之功能可類似於前端像素處理單元130之併像補償濾波器182中之如上文參看圖13所論述的按比例縮放邏輯214之功能性。例如，按比例縮放邏輯670可作為兩個步驟執行水平按比例縮放及垂直按比例縮放。在一實施例中，5分接頭多相濾波器可用於垂直按比例縮放，且9分接頭多相濾波器可用於水平按比例縮放。多分接頭多相濾波器可使選自源影像之像素乘以加權係數(例如，濾波器係數)，且接著對輸出求和以形成目標像素。可取決於當前像素之位置及濾波器分接頭之數目來選定所選像素。例如，在垂直5分接頭濾波器情況下，可選擇當前像素之每一垂直側上的兩個鄰近像素，且在水平9分接頭濾波器情況下，可選擇當前像素之每一水平側上的四個鄰近像素。可自查詢表提供濾波係數，且可藉由當前之像素間分率位置來判定濾波係數。接著自YCbCr處理區塊364輸出按比例縮放邏輯670之輸出390。

返回參看圖27，經處理之輸出信號390可發送至記憶體108，或可自ISP管處理邏輯82輸出而作為至顯示硬體(例如，顯示器28)以供使用者閱覽或至壓縮引擎(例如，編碼器118)的影像信號114。在一些實施例中，影像信號114在投送至顯示器之前可進一步由圖形處理單元及/或壓縮引擎處理。另外，一或多個圖框緩衝器亦可經提供以控制輸出至顯示器之影像資料的緩衝，特別是關於視訊影像資料。

如將理解，本文中僅作為實例提供上文所描述且關於缺陷像素偵測及校正、透鏡陰影校正、去馬賽克及影像清晰化(及其他)之各種影像處理技術。因而，應理解，不應將本發明解釋為僅限於上文所提供之實例。實際上，本文中所描繪之例示性邏輯在其他實施例中可具有多種變化及/或額外特徵。另外，應瞭解，上文所論述之技術可以任何合適方式來實施。例如，影像處理電路32之組件且特別是ISP前端區塊80及ISP管區塊82可使用硬體(例如，經合適組態之電路)、軟體(例如，經由包括儲存於一或多個有形電腦可讀媒體上之可執行碼的電腦程式)或經由使用硬體元件與軟體元件兩者之組合來實施。

已作為實例展示了上文所描述之特定實施例，但應理解，此等實施例可容許各種修改及替代形式。應進一步理解，申請專利範圍並不意欲限於所揭示之特定形式，而是涵蓋屬於本發明之精神及範疇內的所有修改、等效物及替代物。

10．．．電子器件

12．．．輸入/輸出(I/O)埠

12a．．．專屬連接埠

12b．．．音訊連接埠

12c．．．I/O埠

14．．．輸入結構

16．．．處理器

18．．．記憶體器件

20．．．非揮發性儲存器

22．．．擴充卡

24．．．網路連接器件

26．．．電源

28．．．顯示器

30．．．成像器件

32．．．影像處理電路

40．．．膝上型電腦

42．．．外殼/機殼

50．．．桌上型電腦

52．．．圖形使用者介面

54．．．圖形圖示

56．．．停駐區

58．．．圖形視窗元件

60．．．手持式攜帶型器件

64．．．系統指示符

66．．．相機應用程式

68．．．照片閱覽應用程式

70．．．音訊輸入/輸出元件

72．．．媒體播放器應用程式

74．．．額外音訊輸出傳輸器

80．．．影像信號處理(ISP)前端處理邏輯

82．．．影像信號處理(ISP)管處理邏輯

84．．．控制邏輯

88．．．透鏡

90．．．影像感測器

90a．．．第一影像感測器

90b．．．第二影像感測器

92．．．輸出

94．．．感測器介面

96．．．原始影像資料

98．．．原始像素資料

100．．．原始像素資料

102．．．統計資料

104．．．控制參數

106．．．控制參數

108．．．記憶體

109．．．輸出信號

110．．．輸出信號

112．．．輸入信號

114．．．信號

115．．．信號

116．．．信號

117．．．信號

118．．．壓縮引擎

119．．．信號

120．．．統計量處理單元

122．．．統計量處理單元

124．．．選擇邏輯

126．．．選擇邏輯

130．．．像素處理單元

132．．．選擇邏輯

150．．．影像源圖框

152．．．感測器圖框區

154．．．原始圖框區

156．．．作用區

158．．．寬度

160．．．高度

162．．．x偏移

164．．．y偏移

166．．．寬度

168．．．高度

170．．．x偏移

172．．．y偏移

180．．．時間濾波器

182．．．併像補償濾波器

190．．．時間濾波程序

192．．．運動歷史表

194．．．明度表

200．．．參考像素

202．．．參考像素

204．．．參考像素

206．．．初始輸入像素

208．．．初始輸入像素

210．．．初始輸入像素

214．．．按比例縮放邏輯

216．．．差動分析器

220．．．程序

230．．．缺陷像素偵測及校正邏輯

232．．．黑階補償(BLC)邏輯

234．．．透鏡陰影校正邏輯

236．．．反向BLC邏輯

238．．．統計量收集邏輯

240．．．「左側邊緣」狀況

242．．．「左側邊緣+1」狀況

244．．．「居中」狀況

246．．．「右側邊緣-1」狀況

248．．．「右側邊緣」狀況

272．．．中心

274．．．角落/邊緣

276．．．照片

280．．．LSC區

282．．．增益柵格/柵格增益

284．．．寬度

286．．．高度

288．．．x偏移

290．．．y偏移

292．．．柵格x偏移

294．．．柵格y偏移

296．．．基點

298．．．第一像素

300．．．水平(x方向)柵格點間隔

302．．．垂直(y方向)柵格點間隔

310．．．程序

314．．．決策邏輯

318．．．決策邏輯

328．．．角落

360．．．原始處理邏輯

362．．．RGB處理邏輯

364．．．YCbCr處理邏輯

368．．．選擇邏輯

370．．．輸入信號

372．．．影像信號輸出

374．．．RGB影像信號

376．．．選擇邏輯

378．．．信號

380．．．影像信號輸出

382．．．YCbCr信號

384．．．選擇邏輯

386．．．信號

390．．．影像信號輸出

394．．．增益、偏移及箝位(GOC)邏輯

396．．．缺陷像素偵測/校正(DPDC)邏輯

398．．．雜訊減少邏輯

400．．．透鏡陰影校正邏輯

402．．．增益、偏移及箝位(GOC)邏輯

404．．．去馬賽克邏輯

410．．．「左上」狀況

412．．．「頂部」狀況

414．．．「右上」狀況

416．．．「左側」狀況

418．．．「中心」狀況

420．．．「右側」狀況

422．．．「左下」狀況

424．．．「底部」狀況

426．．．「右下」狀況

430．．．程序

436．．．決策邏輯

444．．．動態及光斑偵測程序

448．．．決策邏輯

456．．．決策邏輯區塊

464．．．決策邏輯區塊

470．．．像素校正程序

474．．．決策邏輯

482．．．決策邏輯

500．．．圖形程序流程

502．．．原始拜耳影像圖案

504．．．4×4部分

506．．．綠色通道

508．．．紅色通道

510．．．藍色通道

512．．．去馬賽克技術

514．．．內插資料

516．．．紅色色彩通道

518．．．藍色色彩通道

520．．．全色RGB影像

530．．．紅色列

532．．．濾波係數

534．．．紅色行

536．．．濾波係數

540．．．區塊

542．．．像素區塊

544．．．像素區塊

546．．．像素區塊

548．．．內插綠色值

550．．．內插綠色值

560．．．程序

564．．．決策邏輯

572．．．程序

584．．．程序

598．．．程序

620．．．原始影像場景

622．．．原始拜耳影像

624．．．RGB影像

626．．．「棋盤形」假影

628．．．邊緣

630．．．RGB影像

640．．．增益、偏移及箝位(GOC)邏輯

642．．．RGB色彩校正邏輯

644．．．增益、偏移及箝位(GOC)邏輯

646．．．RGB伽瑪調整邏輯

648．．．色空間轉換邏輯

660．．．影像清晰化邏輯

662．．．用於調整亮度、對比度及/或色彩之邏輯

664．．．YCbCr伽瑪調整邏輯

668．．．色度整數倍降低取樣邏輯

670．．．按比例縮放邏輯

676．．．源緩衝器

678．．．明度作用源區

680．．．基本位址

682．．．起始位置

684．．．起始位置

686．．．x偏移

688．．．x偏移

690．．．y偏移

692．．．y偏移

694．．．寬度

696．．．高度

698．．．寬度

700．．．高度

702．．．第二源緩衝器

704．．．色度作用源區

706．．．基本位址

710．．．用於執行影像清晰化之邏輯

712．．．低通高斯濾波器

714．．．低通高斯濾波器

716．．．選擇邏輯

718．．．比較器區塊

720．．．比較器區塊

722．．．比較器區塊

724．．．選擇邏輯

726．．．選擇邏輯

728．．．選擇邏輯

730．．．選擇邏輯

738．．．用於執行邊緣增強的邏輯

740．．．索貝爾濾波器

742．．．比較器區塊

744．．．選擇邏輯

746．．．選擇邏輯

750．．．曲線圖

752．．．曲線

760．．．亮度及對比度處理區塊

762．．．全域色相控制區塊

764．．．飽總和度控制區塊

766．．．Cb飽總和度查詢表

768．．．Cr飽總和度查詢表

770．．．色輪圖形

C．．．像素

G．．．像素

G0．．．柵格點

G1．．．柵格點/當前綠色像素

G2．．．柵格點/右下綠色像素

G3．．．柵格點

P．．．當前像素

P0．．．像素

P1．．．像素

P2．．．像素

P3．．．像素

P4．．．像素

P5．．．像素

P6．．．像素

P7．．．像素

P8．．．像素

圖1為描繪一包括一成像器件及影像處理電路之電子器件之實例的組件之簡化方塊圖，該影像處理電路經組態以實施本發明中闡述之影像處理技術中的一或多者；

圖2展示可在圖1之成像器件中實施之拜耳濾色器陣列之2×2像素區塊的圖形表示；

圖3為根據本發明之態樣之圖1的呈膝上型計算器件形式之電子器件的透視圖；

圖4為根據本發明之態樣之圖1的呈桌上型計算器件形式之電子器件的正視圖；

圖5為根據本發明之態樣之圖1的呈手持式攜帶型電子器件形式之電子器件的正視圖；

圖6為展示於圖5中之電子器件之後視圖；

圖7為根據本發明之態樣之說明前端影像信號處理(ISP)邏輯及ISP管處理邏輯之方塊圖，該前端影像信號處理(ISP)邏輯及ISP管處理邏輯可實施於圖1之影像處理電路中；

圖8為根據本發明之態樣的展示圖7之ISP前端邏輯之實施例之更詳細方塊圖；

圖9為根據本發明之態樣的可界定於由影像感測器捕獲之源影像圖框內之各種成像區的圖形描繪；

圖10為根據本發明之態樣的提供如展示於圖8之ISP前端邏輯中之ISP前端像素處理單元之一實施例的更詳細視圖之方塊圖；

圖11為根據一實施例之說明可如何將時間濾波應用至由展示於圖10中之ISP前端像素處理單元接收到之影像像素資料的程序圖；

圖12說明可用以判定用於展示於圖11中之時間濾波程序之一或多個參數的參考影像像素集合及相應當前影像像素集合；

圖13為根據本發明之態樣的展示可實施於圖10之ISP前端像素處理單元中之併像補償濾波器之一實施例的更詳細視圖；

圖14說明根據一實施例之使用圖13之併像補償濾波器按比例縮放影像資料的程序；

圖15為根據本發明之態樣的展示可實施於如圖8中所示之ISP前端處理邏輯中之統計量處理單元之一實施例的更詳細方塊圖；

圖16展示根據本發明之態樣的當在由圖15之統計量處理單元進行之統計量處理期間應用偵測並校正缺陷像素之技術時可考慮的各種影像圖框邊界狀況；

圖17為根據一實施例之說明用於在統計量處理期間執行缺陷像素偵測及校正之程序的流程圖；

圖18展示描繪成像器件之習知透鏡的光強度對像素位置之三維概況；

圖19為展現跨越影像之可係透鏡陰影不規則性之結果的不均勻光強度的照片；

圖20為根據本發明之態樣的包括透鏡陰影校正區及增益柵格之原始成像圖框的圖形說明；

圖21說明根據本發明之態樣的由四個邊沿柵格增益點封閉之影像像素之增益值的內插；

圖22為根據本發明之技術之一實施例的說明用於判定在透鏡陰影校正操作期間可應用至成像像素之經內插增益值之程序的流程圖；

圖23為根據本發明之態樣的描繪經內插增益值之三維概況，該等經內插增益值在執行透鏡陰影校正時可應用至展現展示於圖18中之光強度特性的影像；

圖24展示根據本發明之態樣的來自圖19之展現光強度在應用透鏡陰影校正操作之後的改良之均勻性之照片；

圖25根據一實施例以圖形地說明可如何計算影像之當前像素與中心之間的徑向距離並將其用以判定用於透鏡陰影校正之徑向增益分量；

圖26為根據本發明之技術之一實施例的說明藉以使用徑向增益及來自增益柵格之經內插增益來判定在透鏡陰影校正操作期間可應用至成像像素之總增益之程序的流程圖；

圖27為根據本發明之態樣的展示圖7之ISP管處理邏輯之實施例的方塊圖；

圖28為根據本發明之態樣的展示可實施於圖27之ISP管處理邏輯中之原始像素處理區塊之一實施例的更詳細視圖；

圖29展示根據本發明之態樣的當在由展示於圖28中之原始像素處理區塊進行之處理期間應用用於偵測並校正缺陷像素之技術時可考慮的各種影像圖框邊界狀況；

圖30至圖32為根據一實施例之描繪可在圖28之原始像素處理區塊中執行的用於偵測並校正缺陷像素之各種程序之流程圖；

圖33展示根據本發明之態樣之拜耳影像感測器之2×2像素區塊中的兩個綠色像素之位置，該兩個綠色像素可係在由圖28之原始像素處理邏輯進行之處理期間應用綠色非均勻性校正技術時內插；

圖34說明根據本發明之態樣的包括中心像素及可用作用於雜訊減少之水平濾波程序之部分之相關聯水平鄰近像素的像素集合；

圖35說明根據本發明之態樣的包括中心像素及可用作用於雜訊減少之垂直濾波程序之部分之相關聯垂直鄰近像素的像素集合；

圖36為描繪可如何將去馬賽克應用至原始拜耳影像圖案以產生全色RGB影像的簡化流程圖；

圖37描繪根據一實施例之拜耳影像圖案之像素集合，在該拜耳影像圖案之去馬賽克期間可自該像素集合導出水平及垂直能量分量以用於內插綠色色值；

圖38展示根據本發明之技術之態樣的水平像素集合，在拜耳影像圖案之去馬賽克期間可將濾波應用至該水平像素集合以判定經內插綠色色值之水平分量；

圖39展示根據本發明之技術之態樣的垂直像素集合，在拜耳影像圖案之去馬賽克期間可將濾波應用至該垂直像素集合以判定經內插綠色色值之垂直分量；

圖40展示根據本發明之技術之態樣的各種3×3像素區塊，在拜耳影像圖案之去馬賽克期間可將濾波應用至該等像素區塊以判定經內插紅色值及藍色值；

圖41至圖44提供根據一實施例之描繪用於在拜耳影像圖案之去馬賽克期間內插綠色色值、紅色色值及藍色色值之各種程序的流程圖；

圖45展示可由影像感測器捕獲並根據本文中所揭示之去馬賽克技術之態樣處理的初始影像場景；

圖46展示在圖45中展示之影像場景之拜耳影像圖案；

圖47展示基於圖46之拜耳影像圖案使用習知去馬賽克技術重建的RGB影像；

圖48展示根據本文中所揭示之去馬賽克技術之態樣自圖46之拜耳影像圖案重建的RGB影像；

圖49為根據本發明之態樣的展示可實施於圖27之ISP管處理邏輯中之RGB處理區塊之一實施例的更詳細視圖；

圖50為根據本發明之態樣的展示可實施於圖27之ISP管處理邏輯中之YCbCr處理區塊之一實施例的更詳細視圖；

圖51為根據本發明之態樣的明度及色度之如使用1平面格式在源緩衝器內界定之作用源區的圖形描繪；

圖52為根據本發明之態樣的明度及色度之如使用2平面格式在源緩衝器內界定之作用源區的圖形描繪；

圖53為根據一實施例之說明可實施於如展示於圖50中之YCbCr處理區塊中之影像清晰化邏輯的方塊圖；

圖54為根據一實施例之說明可實施於如展示於圖50中之YCbCr處理區塊中之邊緣增強邏輯的方塊圖；

圖55為根據本發明之態樣的展示色度衰減因數與經清晰化明度值之間的關係之曲線圖；

圖56為根據一實施例之說明可實施於如展示於圖50中之YCbCr處理區塊中之影像亮度、對比度及色彩(BCC)調整邏輯的方塊圖；及

圖57展示YCbCr色空間中之色相及飽總和度色輪，其界定在展示於圖56中之BCC調整邏輯中之色彩調整期間可應用之各種色相角及飽總和度值。

430．．．程序

436．．．決策邏輯

Claims (20)

1. 一種用於在影像處理期間偵測並校正缺陷影像像素之方法，其包含：使用一影像處理器：接收使用一影像感測器獲取之影像資料的一輸入像素；比較該輸入像素在該影像感測器之一成像圖框之一處理區內的位置與儲存於一靜態缺陷表中之一位置項集合；若該輸入像素之該位置對應於該位置項集合中之一者，則將該輸入像素標記為一靜態缺陷並判定該輸入像素之一第一替換值；若該輸入像素之該位置並不對應於該位置項集合中之一者，則識別具有與該輸入像素相同之色彩分量之一鄰近像素集合，至少部分基於介於該輸入像素及該等鄰近像素之間所計算之梯度與一適應性動態缺陷臨限值之一比較或一平均梯度值與一適應性光斑臨限值之一比較來判定該輸入像素相對於該鄰近像素集合是否為一動態缺陷或有光斑，且若將該輸入像素判定為一動態缺陷或有光斑，則判定該輸入像素之一第二替換值；及校正該輸入像素，其中校正該輸入像素包含：若將該輸入像素標記為一靜態缺陷，則用該第一替換值替換該輸入像素之一當前值；及若將該輸入像素判定為一動態缺陷或有光斑，則用 該第二替換值替換該輸入像素之該當前值；其中該適應性動態缺陷臨限值包含：該影像感測器之每一色彩分量之一第一固定分量；一第一動態分量，其係至少部分基於該影像感測器在捕獲該輸入像素時的一曝光設定或一積分時間設定中的一者來判定；及一第一高頻分量，其係基於該處理區內之該等鄰近像素之值的一平均值與該處理區內之每一鄰近像素之該值之間的絕對差之總和來計算；其中該適應性動態臨限值係藉由對下列兩項進行求和來計算：對應於該輸入像素之該色彩之該第一固定分量；及該第一動態分量與該第一高頻分量之乘積；或其中該適應性光斑臨限值包含：該影像感測器之每一色彩分量之一第二固定分量；一第二動態分量，其係至少部分基於該輸入像素及該等鄰近像素中之一紋理程度來判定；及一第二高頻分量，其係基於該處理區內之該等鄰近像素之該等值的一平均值與該處理區內之每一鄰近像素之該值之間的該絕對差之該總和來計算；其中該適應性光斑臨限值係藉由對下列兩項進行求和來計算：對應於該輸入像素之該色彩之該第二固定分量；及該第二動態分量與該第二高頻分量之該乘積。
2. 如請求項1之方法，其包含在該輸入像素未經標記為一靜態缺陷且並未判定為一動態缺陷或有光斑的情況下，不校正該輸入像素。
3. 如請求項1之方法，其中該第一替換值判定為在掃描次序上具有同一色彩之前一像素的值。
4. 如請求項1之方法，其中識別該鄰近像素集合包含判定該輸入像素之色彩及識別該成像圖框中具有同一色彩的八個最靠近鄰近像素，其中該八個鄰近像素形成一3×3像素區塊；且其中該輸入像素相對於該鄰近像素集合是否為一動態缺陷或有光斑之該判定係基於位於該處理區內之該等鄰近像素中之每一者的相對於該輸入像素所計算之像素至像素之方向梯度的一集合。
5. 如請求項4之方法，其中判定該輸入像素是否為一動態缺陷包含：比較該等梯度中之每一者與該適應性動態缺陷臨限值；基於該比較，對小於或等於該適應性動態缺陷臨限值之該等梯度之數目進行計數；比較該計數與一最大值，其中至少部分基於位於該處理區內之鄰近像素的該數目來選擇該最大值；及若該計數小於或等於該最大值，則將該輸入像素識別為一動態缺陷。
6. 如請求項4之方法，其中判定該輸入像素是否有光斑包 含：藉由計算該輸入像素之該值與該處理區內之該等鄰近像素之該等值的一平均值之間的差來判定該平均梯度值；比較該平均梯度值與該適應性光斑臨限值；及若該平均梯度值大於該適應性光斑臨限值，則將該輸入像素識別為有光斑。
7. 如請求項4之方法，其中判定該輸入像素之該第二替換值包含：將一水平方向上之一第一方向梯度判定為該輸入像素與來自該鄰近像素集合之第一水平鄰近像素及第二水平鄰近像素中之每一者之間的絕對差之總和；將一垂直方向上之一第二方向梯度判定為該輸入像素與來自該鄰近像素集合之第一垂直鄰近像素及第二垂直鄰近像素中之每一者之間的絕對差之總和；將一對角正方向上之一第三方向梯度判定為該輸入像素與來自該鄰近像素集合之第一對角正鄰近像素及第二對角正鄰近像素中之每一者之間的絕對差之總和；將一對角負方向上之一第四方向梯度判定為該輸入像素與來自該鄰近像素集合之第一對角負鄰近像素及第二對角負鄰近像素中之每一者之間的絕對差之總和；判定該第一方向梯度、該第二方向梯度、該第三方向梯度及該第四方向梯度中之最小值；及藉由該最小梯度之方向上之該第一鄰近像素及該第二 鄰近像素的該等值之線性內插來判定該第二替換值。
8. 如請求項7之方法，其中若該最小梯度之該方向上的該第一鄰近像素及該第二鄰近像素中之一者位於處理圖框外，則在線性內插期間用位於該處理圖框內之另一像素的值來代替位於該處理圖框外之該像素的值。
9. 一種影像信號處理電路，其包含：一介面，其經組態以接收使用一成像器件之一影像感測器獲取的影像資料；及一影像處理管線，其經組態以對該影像資料執行一組處理操作，其中該組處理操作中之一者偵測並校正該影像資料中之缺陷像素，且其中該影像處理管線包含經組態以進行以下操作的缺陷像素偵測及校正邏輯：接收該影像資料之一輸入像素；判定該輸入像素之位置是否對應於一靜態缺陷表中之一位置項；若在該靜態缺陷表中找到該輸入像素之位置，則將該輸入像素識別為一靜態缺陷；及判定用於校正該輸入像素之一第一替換值；若該輸入像素並未識別為一靜態缺陷，則判定該輸入像素是否為一動態缺陷或有光斑；且若判定該輸入像素為一動態缺陷或有光斑，則判定該輸入像素之一第二替換值；及基於該輸入像素是否被判定為一靜態缺陷、一動態缺陷或是有光斑，使用該第一替換值或該第二替換值來校正該輸入像素； 其中該缺陷像素偵測及校正邏輯經組態以藉由以下步驟來判定該輸入像素是否為一動態缺陷：識別具有與該輸入像素相同之色彩的八個鄰近像素；計算位於一界定於該影像感測器之一成像圖框內的處理區內之該八個鄰近像素中的每一者相對於該輸入像素之像素至像素梯度；判定小於或等於一動態缺陷臨限值之該等梯度之數目的一計數；及若該所判定之計數小於一最大計數值，則將該輸入像素識別為一動態缺陷，且其中該缺陷像素偵測及校正邏輯經組態以藉由以下步驟來判定該輸入像素是否有光斑：將一平均梯度值計算為該輸入像素之值與該處理區內之該等鄰近像素之值的一平均值之間的差；及若該平均梯度值大於一光斑臨限值，則將該輸入像素識別為有光斑。
10. 如請求項9之影像信號處理電路，其中可基於位於該處理區內之該等鄰近像素之一高頻分量來調整該動態缺陷臨限值及該光斑臨限值。
11. 如請求項10之影像信號處理電路，其中相對於該動態缺陷臨限值，更積極地設定該光斑臨限值，以便減小該影像資料之具有增大之紋理特性的區域中之光斑的錯誤偵測。
12. 如請求項9之影像信號處理電路，其中藉由以下步驟來判定該第二替換值：將方向梯度計算為該輸入像素與該八個鄰近像素中在一水平方向、一垂直方向、一對角正方向及一對角負方向中之每一者上之兩個鄰近像素之間 的差之總和；判定對應於最小梯度之方向；及內插與該最小梯度方向相關聯之該兩個鄰近像素之該等值。
13. 如請求項9之影像信號處理電路，其中基於在掃描次序上緊先於該輸入像素之具有同一色彩之一先前像素的值來判定該第一替換值。
14. 一種影像信號處理電路，其包含：一介面，其經組態以接收使用一成像器件之一影像感測器獲取的影像資料；一影像處理管線，其經組態以對該影像資料執行一組處理操作，其中該組處理操作中之一者偵測並校正該影像資料中之缺陷像素，且其中該影像處理管線包含經組態以進行以下操作的缺陷像素偵測及校正邏輯：接收該影像資料之一輸入像素；判定該輸入像素之位置是否對應於一靜態缺陷表中之一位置項；若在該靜態缺陷表中找到該輸入像素之位置，則將該輸入像素識別為一靜態缺陷；及判定用於校正該輸入像素之一第一替換值；若該輸入像素並未識別為一靜態缺陷，則判定該輸入像素是否為一動態缺陷或有光斑；且若判定該輸入像素為一動態缺陷或有光斑，則判定該輸入像素之一第二替換值；及基於該輸入像素判定為一靜態缺陷、一動態缺陷或是有光斑，使用該第一替換值或該第二替換值來校正該輸入像素；及 前端處理邏輯，該前端處理邏輯經組態以對該影像資料執行一組初始操作，其中該前端處理邏輯經組態以接收該影像資料之該輸入像素；識別具有與該輸入像素相同之色彩的四個水平鄰近像素，該四個水平鄰近像素包括位於該輸入像素之一第一側上之兩個水平鄰近像素及位於該輸入像素的一第二側上之兩個水平鄰近像素；判定位於界定於該影像感測器之一成像圖框內的一處理區內之該四個水平鄰近像素中的每一者相對於該輸入像素之像素至像素梯度值；判定小於或等於一前端缺陷像素臨限值之梯度值之數目的一計數；將該輸入像素識別為一前端缺陷；校正該前端缺陷；及在校正該前端缺陷之後收集關於該影像資料的成像統計量；其中在由該影像處理管線執行之該組操作之前執行藉由該前端處理邏輯該組初始操作；其中校正該前端缺陷包含：判定一第一鄰近像素之值，該第一鄰近像素具有與該輸入像素相同之色彩且在該成像圖框中緊位於該輸入像素之右側；判定該第一鄰近像素是否在該處理區內；若該第一鄰近像素在該處理區內，則用該第一鄰近像素之該值替換該輸入像素之該值；若該第一鄰近像素不在該處理區內，則判定一第二鄰近像素之值，該第二鄰近像素具有與該輸入像素相同之色彩且在該成像圖框中緊位於該輸入像素之左側；及 用該第二鄰近像素之該值替換該輸入像素之該值。
15. 一種影像處理系統，其包含：包含一影像感測器之一成像器件；及影像處理電路，其經組態以處理使用該影像感測器獲取之影像資料，其中該影像處理電路包含：缺陷像素偵測及校正邏輯，其經組態以：對於該影像資料之一當前影像圖框，判定一輸入像素之位置是否對應於一靜態缺陷表中之一位置項；若在該靜態缺陷表中找到該輸入像素之位置，則將該輸入像素識別為一靜態缺陷；及使用一靜態缺陷替換值來校正該輸入像素；及若該輸入像素並未識別為一靜態缺陷，則判定該輸入像素是否為一動態缺陷或有光斑；且若判定該輸入像素為一動態缺陷或有光斑，則使用一非靜態缺陷替換值來校正該輸入像素；及一記憶體器件，其經組態以儲存該靜態缺陷表及該靜態缺陷替換值，其中該靜態缺陷表經組態以在影像處理期間間歇性地更新，從而儲存對應於新偵測到之靜態缺陷的位置。
16. 如請求項15之系統，其中若在特定數目個連續影像圖框上該影像資料之一輸入像素經重複地識別為一動態缺陷，則該輸入像素之位置作為一新偵測到之靜態缺陷儲存於該靜態缺陷表中。
17. 如請求項15之系統，其中該靜態缺陷表經組態以儲存複 數個靜態缺陷像素，且其中該靜態缺陷表經組態以至少部分基於與該所儲存之複數個靜態缺陷像素相關聯之最小梯度值進行分類。
18. 如請求項15之系統，其包含一電子器件，且其中該成像器件包含與該電子器件整合之一相機、經組態以耦接至該電子器件之一輸入/輸出埠的一外部相機，或其某一組合。
19. 如請求項15之系統，其中該影像感測器包含一拜耳(Bayer)濾色器陣列、一RGBW濾色器陣列或一CYGM濾色器陣列。
20. 如請求項15之系統，其中一靜態缺陷、一動態缺陷或光斑為該輸入像素之對應於該影像感測器上之一無作用像素、一卡色像素或一漏溢像素的結果。