TWI430654B - 用於影像信號處理之時間濾波技術 - Google Patents

用於影像信號處理之時間濾波技術 Download PDF

Info

Publication number
TWI430654B
TWI430654B TW099135789A TW99135789A TWI430654B TW I430654 B TWI430654 B TW I430654B TW 099135789 A TW099135789 A TW 099135789A TW 99135789 A TW99135789 A TW 99135789A TW I430654 B TWI430654 B TW I430654B
Authority
TW
Taiwan
Prior art keywords
pixel
value
image
logic
current pixel
Prior art date
Application number
TW099135789A
Other languages
English (en)
Other versions
TW201143378A (en
Inventor
Guy Cote
Jeffrey E Frederiksen
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/582,414 external-priority patent/US8638342B2/en
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201143378A publication Critical patent/TW201143378A/zh
Application granted granted Critical
Publication of TWI430654B publication Critical patent/TWI430654B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

用於影像信號處理之時間濾波技術
本發明大體上係關於數位成像器件，且更特定而言，係關於用於處理使用數位成像器件之影像感測器獲得之影像資料的系統及方法。
相關申請案之交叉參考
本申請案為2009年10月20日申請之美國專利申請案第12/582,414號之部分接續案。
本部分意欲向讀者介紹此項技術之各種態樣，該等態樣可係關於本發明之技術之在下文描述及/或主張之各種態樣。咸信此論述有助於向讀者提供背景資訊以促進對本發明之各種態樣的更佳理解。因而，應理解，應如此而並非作為對先前技術之認可來研讀此等陳述。
近年來，數位成像器件至少部分歸因於此等器件對於一般消費者變得愈來愈負擔得起而已變得日益風行。另外，除當前市售之多種獨立數位相機外，將數位成像器件整合為諸如桌上型或筆記型電腦、蜂巢式電話或攜帶型媒體播放器之另一電子器件的部分為常見的。
為了獲取影像資料，多數數位成像器件包括提供多個光偵測元件(例如，光偵測器)之影像感測器，該等光偵測元件經組態以將由影像感測器偵測到之光轉換為電信號。影像感測器亦可包括一濾色器陣列，其對由影像感測器捕獲之光進行濾波以捕獲色彩資訊。由影像感測器捕獲之影像資料可接著由影像處理管線處理，影像處理管線可將多種影像處理操作應用至影像資料以產生可顯示以供在諸如監視器之顯示器件上閱覽的全色影像。
雖然習知影像處理技術大體上旨在產生對於閱覽者客觀且主觀地合意之可閱覽影像，但此等習知技術可能並未充分地解決影像資料中之由成像器件及/或影像感測器引入之錯誤及/或失真。例如，影像感測器上之可係歸因於製造缺陷或操作故障之缺陷像素可能未能正確地感測到光位準，且若未經校正則可能表現為顯現於所得經處理影像中之假影。另外，影像感測器之邊緣處之可係歸因於透鏡製造中之瑕疵的光強度減小可不利地影響特徵化量測，且可能導致總體光強度不均勻的影像。影像處理管線亦可執行一或多個程序以使影像清晰化。然而，習知清晰化技術可能未充分考量影像信號中之現有雜訊，或可能不能區分雜訊與影像中之邊緣及有紋理區域。在此等個例中，習知清晰化技術實際上可能增大雜訊在影像中之顯現，其通常為非所要的。
可應用至由影像感測器捕獲之影像資料的另一影像處理操作為去馬賽克操作。因為濾色器陣列通常每感測器像素提供一波長下之色彩資料，所以通常為每一色彩通道內插色彩資料全集以便再現全色影像(例如，RGB影像)。通常取決於某一類型之固定臨限值，習知去馬賽克技術通常在水平或垂直方向上內插用於缺失之色彩資料的值。然而，此等習知去馬賽克技術可能未充分考量影像內之邊緣的位置及方向，其可能導致將特別是沿影像內之對角邊緣之邊緣假影(諸如，頻疊、棋盤形假影或彩虹假影)引入至全色影像中。
因而，在處理藉由數位相機或其他成像器件獲得之數位影像時應解決各種考慮事項，以便改良所得影像之外觀。詳言之，本發明之以下特定態樣可解決上文簡要提及之缺點中的一或多者。
下文闡述本文中所揭示之特定實施例的概述。應理解，呈現此等態樣僅為向讀者提供此等特定實施例之簡要概述，且此等態樣並不意欲限制本發明之範疇。實際上，本發明可涵蓋下文可能並未闡述之多種態樣。
本發明提供用於處理使用一數位影像感測器獲取之影像資料的各種技術。根據本發明之態樣，一種此技術可係關於對原始影像資料之時間濾波以(例如)減小歸因於運動假影之雜訊。在一實施例中，一時間濾波器可接收使用一影像感測器獲取之原始影像資料。對於每一像素，該時間濾波器可判定一當前像素之空間位置，並識別來自一先前圖框之至少一共置之參考像素(例如，在同一空間位置處)。可至少部分基於該當前像素及其共置之參考像素來判定一運動差量值。接著，可基於該運動差量值及對應於該當前像素之該空間位置但來自該先前圖框的一運動歷史值來判定一第一索引值。使用該第一索引，可自一運動表選擇一第一濾波係數。在選定該第一濾波係數之後，可基於該當前像素之值(例如，作為一索引)自一明度表選擇一衰減因數，且可隨後基於該所選衰減因數及該第一濾波係數來判定一第二濾波係數。可接著基於該第二濾波係數、該當前像素及該共置之參考像素計算對應於該當前像素的經時間濾波之輸出值。
在一實施例中，當該原始影像資料包括多個色彩分量時，可使用色彩相依增益來減小每一色彩通道之間的信雜比。例如，取決於該當前像素之色彩，在判定該運動表之該索引及該明度表之該索引之前可將一適當增益應用至該當前像素。在另一實施例中，可為該原始影像資料之每一各別色彩提供獨立色彩相依運動表及明度表，且基於該當前像素之該色彩，可自對應於該當前色彩之運動表及明度表選擇該第一濾波係數及該衰減因數。
上文所指出之該等特徵之各種改進可相對於本發明之各種態樣而存在。其他特徵亦可併入至此等各種態樣中。此等改進及額外特徵可個別地或以任何組合而存在。例如，下文關於該等所說明實施例中之一或多者而論述的各種特徵可單獨地或以任何組合併入至本發明之上述態樣中的任何者中。再次，上文所呈現之該簡要概述僅意欲使讀者熟悉本發明之實施例之某些態樣及上下文，而非限制所主張標的物。
本專利或申請案檔案含有以彩色執行之至少一圖式。本專利或專利申請公開案之具有彩色圖式之複本在請求並支付必要費用後由官方提供。
在研讀以下詳細描述之後且在參看圖式之後可更佳地理解本發明之各種態樣。
下文將描述本發明之一或多個特定實施例。此等所描述實施例僅為當前揭示之技術的實例。另外，在提供此等實施例之簡明描述之努力中，在說明書中可能並未描述實際實施之所有特徵。應瞭解，在任何此實際實施之開發中，如在任何工程化或設計計劃中，必須做出眾多實施特定決策以達成開發者之特定目標，諸如與系統相關約束及商務相關約束的順應性，該等特定目標可自一實施至另一實施而改變。此外，應瞭解，此開發努力可能為複雜且耗時的，但對於受益於本發明之一般熟習此項技術者而言仍將為設計、加工及製造之常規任務。
當介紹本發明之各種實施例之元件時，量詞「一」及「該」意欲意謂存在一或多個元件。術語「包含」、「包括」及「具有」意欲為包括性的，且意謂可存在除所列元件外的額外元件。另外，應理解，對本發明之「一實施例」之提及並不意欲解釋為排除亦併有所敍述特徵之額外實施例的存在。
如下文將論述，本發明大體上係關於用於處理經由一或多個影像感測器件獲取之影像資料的技術。詳言之，本發明之某些態樣可係關於用於偵測並校正缺陷像素之技術、用於使原始影像圖案去馬賽克之技術、用於使用多尺度反清晰化遮罩清晰化照度影像之技術，及用於應用透鏡陰影增益以校正透鏡陰影不規則性的技術。另外，應理解，當前所揭示之技術可應用至靜態影像及移動影像(例如，視訊)兩者，且可用於任何合適類型之成像應用(諸如數位相機、具有整合式數位相機之電子器件、安全或視訊監視系統、醫療成像系統等)中。
有鑒於以上各要點，圖1為說明電子器件10之一實例的方塊圖，該電子器件10可提供使用上文簡要提及之影像處理技術中之一或多者進行之對影像資料的處理。電子器件10可為經組態以接收並處理諸如使用一或多個影像感測組件獲取之資料的影像資料之任何類型電子器件，諸如膝上型或桌上型電腦、行動電話、數位媒體播放器或其類似者。僅作為實例，電子器件10可為攜帶型電子器件，諸如可購自加利福尼亞Cupertino的蘋果公司的某型號的iPod或iPhone。另外，電子器件10可為桌上型或膝上型電腦，諸如可購自蘋果公司之某型號的MacBook、MacBookPro、MacBook Air、iMac、MacMini或Mac Pro。在其他實施例中，電子器件10亦可為來自另一製造商之能夠獲取並處理影像資料之某信號的電子器件。
無關於其形式(例如，攜帶型或非攜帶型)，應理解，電子器件10可提供使用上文簡要論述之影像處理技術中之一或多者進行之對影像資料的處理，該等影像處理技術可包括缺陷像素校正及/或偵測技術、透鏡陰影校正技術、去馬賽克技術或影像清晰化技術，及其他技術。在一些實施例中，電子器件10可將此等影像處理技術應用至儲存於電子器件10之記憶體中的影像資料。在其他實施例中，電子器件10可包括諸如整合式或外部數位相機之經組態以獲取影像資料之一或多個成像器件，該影像資料接著可由電子器件10使用上文所提之影像處理技術中的一或多者來處理。下文中將在圖3至圖6中進一步論述展示電子器件10之攜帶型實施例及非攜帶型實施例兩者的實施例。
如圖1中所示，電子器件10可包括有助於器件10之功能的各種內部及/或外部組件。一般熟習此項技術者將瞭解，展示於圖1中之各種功能區塊可包含硬體元件(包括電路)、軟體元件(包括儲存於電腦可讀媒體上之電腦程式碼)，或硬體元件與軟體元件兩者的組合。舉例而言，在當前所說明實施例中，電子器件10可包括輸入/輸出(I/O)埠12、輸入結構14、一或多個處理器16、記憶體器件18、非揮發性儲存器20、擴充卡22、網路連接器件24、電源26及顯示器28。另外，電子器件10可包括諸如數位相機之一或多個成像器件30，及影像處理電路32。如下文將進一步論述，影像處理電路32可經組態以在處理影像資料時實施上文所論述之影像處理技術中的一或多者。如可瞭解，由影像處理電路32處理之影像資料可自記憶體18及/或非揮發性儲存器件20進行擷取，或可使用成像器件30來獲取。
在繼續之前，應理解，展示於圖1中之器件10之系統方塊圖意欲為描繪可包括於此器件10中之各種組件的高階控制圖。亦即，展示於圖1中之每一個別組件之間的連接線可能未必表示資料在器件10之各種組件之間流動或進行傳輸所經由的路徑或方向。實際上，如下文所論述，所描繪處理器16在一些實施例中可包括多個處理器，諸如主要處理器(例如，CPU)及專用影像及/或視訊處理器。在此等實施例中，影像資料之處理可主要由此等專用處理器來處置，因此有效地使此等任務不由主要處理器(CPU)承載。
關於圖1中之所說明組件中的每一者，I/O埠12可包括經組態以連接至諸如以下各者之多種外部器件的埠：電源、音訊輸出器件(例如，耳機或頭戴式耳機)，或其他電子器件(諸如，手持式器件及/或電腦、印表機、投影儀、外部顯示器、數據機、銜接台等)。在一實施例中，I/O埠12可經組態以連接至用於獲取影像資料之外部成像器件(諸如，數位相機)，可使用影像處理電路32來處理該影像資料。I/O埠12可支援任何合適介面類型，諸如通用串列匯流排(USB)埠、串列連接埠、IEEE-1394(Fire Wire)埠、乙太網路或數據機埠，及/或AC/DC電源連接埠。
在一些實施例中，某些I/O埠12可經組態以提供一個以上功能。例如，在一實施例中，I/O埠12可包括來自蘋果公司之專屬埠，其不僅可用以促進資料在電子器件10與外部源之間的傳送，而且可將器件10耦接至諸如以下兩者之充電介面從而對電源26(其可包括一或多個可再充電電池)充電：經設計以自壁式電氣插座提供電力之電源配接器，或經組態以自另一電氣器件(諸如，桌上型或膝上型電腦)汲取電力的介面線纜。因此，取決於(例如)經由I/O埠12耦接至器件10之外部組件，I/O埠12可經組態以雙重地充當資料傳送埠及AC/DC電源連接埠兩者。
輸入結構14可將使用者輸入或回饋提供至處理器16。例如，輸入結構14可經組態以控制電子器件10之一或多個功能，諸如在電子器件10上執行之應用程式。僅作為實例，輸入結構14可包括按鈕、滑桿、開關、控制板、鍵、旋鈕、滾輪、鍵盤、滑鼠、觸控板等，或其某一組合。在一實施例中，輸入結構14可允許使用者巡覽顯示於器件10上的圖形使用者介面(GUI)。另外，輸入結構14可包括結合顯示器28提供之觸摸感應機構。在此等實施例中，使用者可經由觸摸感應機構選擇所顯示之介面元件，或與所顯示之介面元件互動。
輸入結構14可包括藉以將使用者輸入或回饋提供至一或多個處理器16之各種器件、電路及通路。此等輸入結構14可經組態以控制器件10之功能、在器件10上執行之應用程式，及/或連接至電子器件10或由電子器件10使用的任何介面或器件。舉例而言，輸入結構14可允許使用者巡覽所顯示之使用者介面或應用程式介面。輸入結構14之實例可包括按鈕、滑桿、開關、控制板、鍵、旋鈕、滾輪、鍵盤、滑鼠、觸控板等。
在特定實施例中，輸入結構14及顯示器件28諸如在「觸控式螢幕」之狀況下可一起提供，藉此結合顯示器28來提供觸摸感應機構。在此等實施例中，使用者可經由觸摸感應機構選擇所顯示之介面元件，或與所顯示之介面元件互動。以此方式，所顯示之介面可提供互動功能性，從而允許使用者藉由觸摸顯示器28來巡覽所顯示之介面。舉例而言，使用者與輸入結構14之互動(諸如，以與顯示於顯示器28上之使用者或應用程式介面互動)可產生指示使用者輸入的電信號。此等輸入信號可經由合適通路(諸如，輸入集線器或資料匯流排)投送至一或多個處理器16以供進一步處理。
除處理經由輸入結構14接收到之各種輸入信號外，處理器16可控制器件10之常規操作。例如，處理器16可提供處理能力以執行電子器件10之作業系統、程式、使用者與應用程式介面以及任何其他功能。處理器16可包括一或多個微處理器，諸如一或多個「通用」微處理器、一或多個專用微處理器及/或特殊應用微處理器(ASIC)，或此等處理組件之一組合。舉例而言，處理器16可包括一或多個指令集(例如，RISC)處理器，以及圖形處理器(GPU)、視訊處理器、音訊處理器及/或相關晶片集。如將瞭解，處理器16可耦接至一或多個資料匯流排以用於在器件10之各種組件之間傳送資料及指令。在特定實施例中，處理器16可提供處理能力以執行電子器件10上之成像應用程式，諸如可購自蘋果公司之Photo Booth、Aperture、iPhoto或Preview，或由蘋果公司提供且在各型號的iPhone上可用之「相機」及/或「照相」應用程式。
待由處理器16處理之指令或資料可儲存於諸如記憶體器件18之電腦可讀媒體中。記憶體器件18可提供為諸如隨機存取記憶體(RAM)之揮發性記憶體，或提供為諸如唯讀記憶體(ROM)之非揮發性記憶體，或提供為一或多個RAM器件與ROM器件的組合。記憶體18可儲存多種資訊，且可用於各種用途。舉例而言，記憶體18可儲存電子器件10之包括使用者介面功能、處理器功能等的韌體，諸如基本輸入/輸出系統(BIOS)、作業系統、各種程式、應用程式，或可在電子器件10上執行之任何其他常式。此外，記憶體18在電子器件10之操作期間可用於緩衝或快取。例如，在一實施例中，記憶體18包括一或多個圖框緩衝器以用於在將視訊資料輸出至顯示器28時對視訊資料進行緩衝。
除記憶體器件18外，電子器件10可進一步包括用於永久儲存資料及/或指令之非揮發性儲存器20。非揮發性儲存器20可包括快閃記憶體、硬碟機，或任何其他光學、磁性及/或固態儲存媒體，或其某一組合。因此，雖然出於清晰性目的在圖1中描繪為單一器件，但應理解，非揮發性儲存器件20可包括結合處理器16操作的以上列出之儲存器件中之一或多者的一組合。非揮發性儲存器20可用以儲存韌體、資料檔案、影像資料、軟體程式及應用程式、無線連接資訊、個人資訊、使用者偏好及任何其他合適資料。根據本發明之態樣，儲存於非揮發性儲存器20及/或記憶體器件18中之影像資料在輸出於顯示器上之前可由影像處理電路32進行處理。
說明於圖1中之實施例亦可包括一或多個卡槽或擴充槽。卡槽可經組態以收納擴充卡22，該擴充卡22可用以向電子器件10添加諸如額外記憶體、I/O功能性或網路連接能力的功能性。此擴充卡22可經由任何類型合適連接器連接至器件，且可相對於電子器件10之外殼在內部或外部存取。舉例而言，在一實施例中，擴充卡22可為快閃記憶體卡，諸如安全數位(SD)卡、迷你或微SD、CompactFlash卡或其類似者，或可為PCMCIA器件。另外，擴充卡22可為與電子器件10之提供行動電話能力之一實施例一起使用的用戶識別模組(SIM)卡。
電子器件10亦包括網路器件24，網路器件24可為可經由無線802.11標準或任何其他合適網路連接標準(諸如，區域網路(LAN)，諸如增強型資料速率GSM演進(EDGE)網路、3G資料網路或網際網路之廣域網路(WAN))提供網路連接性之網路控制器或網路介面卡(NIC)。在特定實施例中，網路器件24可提供至線上數位媒體內容提供者(諸如，可購自蘋果公司之iTunes音樂服務)之連接。
器件10之電源26可包括在非攜帶型設定及攜帶型設定兩者中向器件10供電的能力。舉例而言，在攜帶型設定中，器件10可包括用於向器件10供電之諸如鋰離子電池之一或多個電池。電池可藉由將器件10連接至外部電源(諸如，連接至壁式電氣插座)進行再充電。在非攜帶型設定中，電源26可包括電力供應單元(PSU)，該電力供應單元(PSU)經組態以自壁式電氣插座汲取電力並將電力分配給諸如桌上型計算系統之非攜帶型電子器件的各種組件。
如下文將進一步論述，顯示器28可用以顯示由器件10(諸如，作業系統之GUI)產生之各種影像或由影像處理電路32處理的影像資料(包括靜態影像及視訊資料)。如上文所提及，影像資料可包括使用成像器件30獲取之影像資料，或自記憶體18及/或非揮發性儲存器20擷取之影像資料。舉例而言，顯示器28可為任何合適類型之顯示器，諸如液晶顯示器(LCD)、電漿顯示器，或有機發光二極體(OLED)顯示器。另外，如上文所論述，顯示器28可結合可充當電子器件10之控制介面之部分的上文所論述之觸摸感應機構(例如，觸控式螢幕)來提供。
所說明之成像器件30可提供為經組態以獲取靜態影像及移動影像(例如，視訊)兩者的數位相機。相機30可包括透鏡及一或多個影像感測器，該一或多個影像感測器經組態以捕獲光並將光轉換為電信號。僅作為實例，影像感測器可包括CMOS影像感測器(例如，CMOS主動像素感測器(APS))或CCD(電荷耦合器件)感測器。通常，相機30中之影像感測器包括具有像素陣列之積體電路，其中每一像素包括用於感測光之一光偵測器。如一般熟習此項技術者將瞭解，成像像素中之光偵測器通常偵測經由相機透鏡捕獲之光的強度。然而，光偵測器自身通常不能偵測出所捕獲之光的波長，且因此不能判定色彩資訊。
因而，影像感測器可進一步包括一濾色器陣列(CFA)，該濾色器陣列(CFA)可上覆或安置於影像感測器之像素陣列上方以捕獲色彩資訊。濾色器陣列可包括小濾色器之陣列，該等小濾色器中之每一者可與影像感測器之各別像素重疊，並根據波長對所捕獲之光進行濾波。因此，當結合使用時，濾色器陣列及光偵測器可提供關於經由相機捕獲之光的波長資訊及強度資訊兩者，其可表示所捕獲之影像。
在一實施例中，濾色器陣列可包括一拜耳濾色器陣列，該陣列提供係50%綠色要素、25%紅色要素及25%藍色要素的濾波圖案。例如，圖2展示，拜耳CFA之2×2像素區塊包括2個綠色要素(Gr及Gb)、1個紅色要素(R)及1個藍色要素(B)。因此，利用拜耳濾色器陣列之影像感測器可提供關於由相機30接收之綠色、紅色及藍色波長下之光之強度的資訊，藉此每一影像像素僅記錄三種色彩(RGB)中的一者。可稱為「原始影像資料」或「原始域」中之資料的此資訊可接著使用一或多種去馬賽克技術進行處理，以通常藉由為每一像素內插紅色、綠色及藍色值集合而將原始影像資料轉換為全色影像。如下文將進一步論述，此等去馬賽克技術可由影像處理電路32來執行。
如上所提及，影像處理電路32可提供各種影像處理步驟，諸如缺陷像素偵測/校正、透鏡陰影校正、去馬賽克及影像清晰化、雜訊減少、伽瑪校正、影像增強、色空間轉換、影像壓縮、色度子取樣，及影像按比例縮放操作等。在一些實施例中，影像處理電路32可包括各種子組件及/或離散邏輯單元，該等子組件及/或離散邏輯單元共同形成用於執行各種影像處理步驟中之每一者的影像處理「管線」。此等子組件可使用硬體(例如，數位信號處理器或ASIC)或軟體或經由硬體組件與軟體組件之組合來實施。下文將更詳細地論述影像處理電路32可提供之各種影像處理操作，且特別是關於缺陷像素偵測/校正、透鏡陰影校正、去馬賽克及影像清晰化之彼等處理操作。
在繼續之前，應注意，雖然下文所論述之各種影像處理技術之各種實施例可利用拜耳CFA，但當前所揭示之技術在此點上並不意欲受限。實際上，熟習此項技術者將瞭解，本文中提供之影像處理技術可適用於包括RGBW濾波器、CYGM濾波器等之任何合適類型濾色器陣列。
再次參看電子器件10，圖3至圖6說明電子器件10可採用之各種形式。如上文所提及，電子器件10可採用以下形式：電腦，其包括通常為攜帶型之電腦(諸如，膝上型、筆記型及平板電腦)以及通常為非攜帶型之電腦(諸如，桌上型電腦、工作站及/或伺服器)；或其他類型電子器件，諸如手持式攜帶型電子器件(例如，數位媒體播放器或行動電話)。詳言之，圖3及圖4分別描繪呈膝上型電腦40及桌上型電腦50之形式的電子器件10。圖5及圖6分別展示呈手持式攜帶型器件60之形式之電子器件10的正視圖及後視圖。
如圖3中所示，所描繪之膝上型電腦40包括外殼42、顯示器28、I/O埠12及輸入結構14。輸入結構14可包括與外殼42整合之鍵盤及觸控板滑鼠。另外，輸入結構14可包括各種其他按鈕及/或開關，該等按鈕及/或開關可用以與電腦40互動，諸如使電腦通電或啟動電腦、操作GUI或在電腦40上執行之應用程式以及調整關於電腦40之操作的各種其他態樣(例如，音量、顯示器亮度等)。電腦40亦可包括如上文所論述之提供至額外器件之連接性的各種I/O埠12，諸如Fire Wire或USB埠、高清晰度多媒體介面(HDMI)埠，或適合於連接至外部器件的任何其他類型之埠。另外，如上文關於圖1所描述，電腦40可包括網路連接性(例如，網路器件26)、記憶體(例如，記憶體20)及儲存能力(例如，儲存器件22)。
另外，在所說明實施例中，膝上型電腦40可包括一整合式成像器件30(例如，相機)。在其他實施例中，膝上型電腦40替代整合式相機30或除整合式相機30外可利用連接至I/O埠12中之一或多者的外部相機(例如，外部USB相機或「網路攝影機」)。例如，外部相機可為可購自蘋果公司之iSight相機。相機30(不管是整合式相機或是外部相機)可提供對影像之捕獲及記錄。此等影像可接著由使用者使用影像閱覽應用程式來閱覽，或可由包括以下各者之其他應用程式利用：諸如iChat之視訊會議應用程式，及諸如Photo Booth、Aperture、iPhoto或Preview之影像編輯/閱覽應用程式，該等應用程式可購自蘋果公司。在特定實施例中，所描繪之膝上型電腦40可為可購自蘋果公司之某型號的MacBook、MacBookPro、MacBook Air或PowerBook。另外，電腦40在一實施例中可為攜帶型平板計算器件，諸如亦可購自蘋果公司之某型號之iPad平板電腦。
圖4進一步說明電子器件10提供為桌上型電腦50之一實施例。如將瞭解，桌上型電腦50可包括可大體上類似於由展示於圖4中之膝上型電腦40提供之彼等特徵的多個特徵，但可具有大體上較大之總體外形尺寸。如圖所示，桌上型電腦50可收容於機殼42中，該機殼42包括顯示器28以及上文關於展示於圖1中之方塊圖所論述的各種其他組件。另外，桌上型電腦50可包括外部鍵盤及滑鼠(輸入結構14)，該外部鍵盤及滑鼠(輸入結構14)可經由一或多個I/O埠12(例如，USB)耦接至電腦50，或與電腦50無線地通信(例如，RF、藍芽等)。桌上型電腦50亦包括如上文所論述之一成像器件30，成像器件30可為整合式相機或外部相機。在特定實施例中，所描繪之桌上型電腦50可為可購自蘋果公司之某型號的iMac、Macmini或Mac Pro。
如圖進一步所示，顯示器28可經組態以產生可由使用者閱覽之各種影像。舉例而言，在電腦50之操作期間，顯示器28可顯示圖形使用者介面(「GUI」)52，圖形使用者介面(「GUI」)52允許使用者與在電腦50上執行之作業系統及/或應用程式互動。GUI 52可包括各種圖層、視窗、螢幕、樣板，或可顯示於顯示器件28之全部或一部分中的其他圖形元件。例如，在所描繪實施例中，作業系統GUI 52可包括各種圖形圖示54，該等圖形圖示54中之每一者可對應於在偵測到使用者選擇(例如，經由鍵盤/滑鼠或觸控式螢幕輸入)之後可開啟或執行的各種應用程式。圖示54可顯示於停駐區(dock)56中或顯示於螢幕上之一或多個圖形視窗元件58內。在一些實施例中，圖示54之選擇可導致階層式巡覽程序，使得圖示54之選擇通向螢幕，或開啟包括一或多個額外圖示或其他GUI元件的另一圖形視窗。僅作為實例，顯示於圖4中之作業系統GUI 52可係來自可購自蘋果公司之Mac OS作業系統之一版本。
繼續圖5及圖6，進一步說明呈攜帶型手持式電子器件60之形式的電子器件10，該攜帶型手持式電子器件60可為可購自蘋果公司之某型號的iPod或iPhone。在所描繪實施例中，手持式器件60包括機殼42，機殼42可用以保護內部組件不受實體損害並防護內部組件不受電磁干擾。如圖5中所示，機殼42可由諸如塑膠、金屬或複合材料的任何合適材料或材料之組合形成，且可允許諸如無線網路連接信號之某些頻率電磁輻射通過而到達無線通信電路(例如，網路器件24)，該無線通信電路可安置於機殼42內。
機殼42亦包括使用者可藉以與手持式器件60互動的各種使用者輸入結構14。例如，每一輸入結構14可經組態以在被按下或致動時控制一或多個各別器件功能。作為實例，輸入結構14中之一或多者可經組態以調用待顯示之「首頁」螢幕42或選單、在休眠模式、喚醒模式或通電模式/斷電模式之間切換、使蜂巢式電話應用程式之振鈴器靜默、增大或降低音量輸出等。應理解，所說明之輸入結構14僅為例示性的，且手持式器件60可包括以包括按鈕、開關、鍵、旋鈕、滾輪等之各種形式存在的任何數目個合適之使用者輸入結構。
如圖5中所示，手持式器件60可包括各種I/O埠12。例如，所描繪之I/O埠12可包括用於傳輸並接收資料檔案或用於對電源26充電之專屬連接埠12a，及用於將器件60連接至音訊輸出器件(例如，頭戴式耳機或揚聲器)之音訊連接埠12b。另外，在手持式器件60提供行動電話功能性之實施例中，器件60可包括用於收納用戶識別模組(SIM)卡(例如，擴充卡22)的I/O埠12c。
可為LCD、OLED或任何合適類型之顯示器之顯示器件28可顯示由手持式器件60產生之各種影像。舉例而言，顯示器28可顯示向使用者提供關於手持式器件60之一或多個狀態(諸如，電力狀態、信號強度、外部器件連接等)之回饋的各種系統指示符64。如上文參看圖4所論述，顯示器亦可顯示允許使用者與器件60互動之GUI 52。GUI 52可包括圖形元件，諸如可對應於各種應用程式之圖示54，在偵測到各別圖示54之使用者選擇之後可開啟或執行該等應用程式。作為實例，圖示54中之一者可表示相機應用程式66，相機應用程式66可結合相機30(在圖5中以幻象線展示)使用以獲取影像。簡要地參看圖6，說明描繪於圖5中之手持式電子器件60之後視圖，其將相機30展示為與外殼42整合且定位於手持式器件60之後部。
如上文所提及，使用相機30獲取之影像資料可使用影像處理電路32處理，該影像處理電路32可包括硬體(例如，安置於機殼42內)及/或儲存於器件60之一或多個儲存器件(例如，記憶體18或非揮發性儲存器20)上的軟體。使用相機應用程式66及相機30獲取之影像可儲存於器件60上(例如，儲存於儲存器件20中)，且在稍後時間可使用照片閱覽應用程式68閱覽。
手持式器件60亦可包括各種音訊輸入及輸出元件。舉例而言，通常由參考數字70描繪之音訊輸入/輸出元件可包括諸如一或多個麥克風之輸入接收器。例如，在手持式器件60包括蜂巢式電話功能性之情況下，輸入接收器可經組態以接收諸如使用者語音之使用者音訊輸入。另外，音訊輸入/輸出元件70可包括一或多個輸出傳輸器。此等輸出傳輸器可包括一或多個揚聲器，該一或多個揚聲器可用以(諸如)在使用媒體播放器應用程式72播放音樂資料期間將音訊信號傳輸至使用者。另外，如圖5中所示，在手持式器件60包括蜂巢式電話應用程式之實施例中，可提供額外音訊輸出傳輸器74。類似於音訊輸入/輸出元件70之輸出傳輸器，輸出傳輸器74亦可包括一或多個揚聲器，該一或多個揚聲器經組態以將音訊信號(諸如，在電話呼叫期間接收到之語音資料)傳輸至使用者。因此，音訊輸入/輸出元件70及74可聯合操作，以充當電話之音訊接收及傳輸元件。
現已提供了關於電子器件10可採用之各種形式的某一情形，本論述現將集中於圖1中所描繪之影像處理電路32。如上文所提及，影像處理電路32可使用硬體及/或軟體組件來實施，且可包括界定影像信號處理(ISP)管線之各種處理單元。詳言之，以下論述可集中於本發明中闡述之影像處理技術之態樣，特別是關於缺陷像素偵測/校正技術、透鏡陰影校正技術、去馬賽克技術及影像清晰化技術的彼等態樣。
現參看圖7，根據當前所揭示技術之一實施例，說明描繪可作為影像處理電路32之部分實施之若干功能組件的簡化最高階方塊圖。特定而言，根據至少一實施例，圖7意欲說明影像資料可如何流過影像處理電路32。為了提供影像處理電路32之一般綜述，此處參看圖7提供此等功能組件如何操作以處理影像資料之一般描述，同時下文中將進一步提供所說明功能組件中之每一者的更特定描述以及其各別子組件。
參看所說明實施例，影像處理電路32可包括影像信號處理(ISP)前端處理邏輯80、ISP管處理邏輯82及控制邏輯84。由成像器件30捕獲之影像資料可首先由ISP前端邏輯80處理，並經分析以捕獲影像統計量，該等影像統計量可用以判定ISP管邏輯82及/或成像器件30之一或多個控制參數。ISP前端邏輯80可經組態以自影像感測器輸入信號捕獲影像資料。例如，如圖7中所示，成像器件30可包括具有一或多個透鏡88及影像感測器90的相機。如上文所論述，影像感測器90可包括濾色器陣列(例如，拜耳濾波器)，且可因此提供由影像感測器90之每一成像像素捕獲之光強度及波長資訊兩者，從而提供可由ISP前端邏輯80處理之原始影像資料集合。例如，來自成像器件30之輸出92可由感測器介面94接收到，該感測器介面94可接著基於(例如)感測器介面類型將原始影像資料96提供至ISP前端邏輯80。作為實例，感測器介面94可利用標準行動成像架構(SMIA)介面或行動產業處理器介面(MIPI)或其某一組合。在特定實施例中，ISP前端邏輯80可在其自身之時脈域內操作，且可提供與感測器介面94非同步之介面，以支援具有不同大小及時序要求的影像感測器。
原始影像資料96可提供至ISP前端邏輯80，並以多種格式逐個像素地進行處理。例如，每一影像像素可具有8、10、12或14位元之位元深度。ISP前端邏輯80可對原始影像資料96執行一或多個影像處理操作，以及收集關於影像資料96的統計量。可以相同位元深度精度或以不同位元深度精度來執行影像處理操作以及統計資料之收集。舉例而言，在一實施例中，可以14位元之精度來執行對原始影像像素資料96之處理。在此等實施例中，由ISP前端邏輯80接收到之具有小於14位元(例如，8位元、10位元、12位元)之位元深度的原始像素資料為了影像處理目的可經增加取樣至14位元。在另一實施例中，統計量處理可以8位元之精度發生，且因此具有較高位元深度之原始像素資料為了統計目的可經減小取樣至8位元格式。如將瞭解，減小取樣至8位元可減小硬體大小(例如，區域)，且亦減小統計資料之處理/計算複雜度。另外，原始影像資料在空間上可經平均化以允許統計資料對於雜訊為更強健的。
另外，如圖7中所示，ISP前端邏輯80亦可自記憶體108接收像素資料。例如，如由參考數字98所示，原始像素資料可自感測器介面94發送至記憶體108。駐留於記憶體108中之原始像素資料如由參考數字100所示可接著提供至ISP前端邏輯80以供處理。記憶體108可為記憶體器件18、儲存器件20之部分，或可為電子器件10內之獨立專用記憶體並可包括直接記憶體存取(DMA)特徵。另外，在特定實施例中，ISP前端邏輯80可在其自身之時脈域內操作，且提供與感測器介面94非同步之介面，以支援具有不同大小且具有不同時序要求的感測器。
在接收到原始影像資料96(來自感測器介面94)或100(來自記憶體108)之後，ISP前端邏輯80即可執行一或多個影像處理操作，諸如時間濾波及/或併像補償濾波。經處理之影像資料可接著提供至ISP管邏輯82(輸出信號109)以在顯示(例如，顯示於顯示器件28上)之前進行額外處理，或可發送至記憶體(輸出信號110)。ISP管邏輯82接收直接來自ISP前端邏輯80之「前端」經處理資料或來自記憶體108之「前端」經處理資料(輸入信號112)，且可提供影像資料在原始域以及在RGB及YCbCr色空間中的額外處理。由ISP管邏輯82處理之影像資料可接著輸出(信號114)至顯示器28以供使用者閱覽，及/或可由圖形引擎或GPU進行進一步處理。另外，來自ISP管邏輯82之輸出可發送至記憶體108(信號115)，且顯示器28可讀取來自記憶體108之影像資料(信號116)，記憶體108在特定實施例中可經組態以實施一或多個圖框緩衝器。另外，在一些實施中，ISP管邏輯82之輸出亦可提供至壓縮/解壓縮引擎118(信號117)以用於編碼/解碼影像資料。經編碼之影像資料可經儲存，且接著稍後在顯示於顯示器件28上之前(信號119)經解壓縮。作為實例，壓縮引擎或「編碼器」118可為用於編碼靜態影像之JPEG壓縮引擎，或用於編碼視訊影像之H.264壓縮引擎，或其某一組合，以及用於解碼影像資料之相應解壓縮引擎。下文將關於圖32至圖62更詳細地論述可提供於ISP管邏輯82中之關於影像處理操作的額外資訊。又，應注意，ISP管邏輯82亦可接收如由輸入信號112所描繪之來自記憶體108的原始影像資料。
由ISP前端邏輯80判定之統計資料102可提供至控制邏輯單元84。統計資料102可包括(例如)關於以下各者之影像感測器統計量：自動曝光、自動白平衡、自動聚焦、閃光偵測、黑階補償(BLC)、透鏡陰影校正等。控制邏輯84可包括經組態以執行一或多個常式(例如，韌體)之處理器及/或微控制器，該一或多個常式可經組態以基於接收到之統計資料102來判定成像器件30之控制參數104以及ISP管處理邏輯82的控制參數106。僅作為實例，控制參數104可包括感測器控制參數(例如，增益、曝光控制之積分時間)、閃光燈控制參數、透鏡控制參數(例如，用於聚焦或變焦之焦距)，或此等參數之組合。ISP控制參數106可包括用於自動白平衡及色彩調整之增益位準及色彩校正矩陣(CCM)係數(例如，在RGB處理期間)，以及如下文所論述可基於白點平衡參數判定的透鏡陰影校正參數。在一些實施例中，控制邏輯84除分析統計資料102外亦可分析可儲存於電子器件10上(例如，記憶體18或儲存器20中)之歷史統計量。
歸因於本文中所展示之影像處理電路32通常複雜之設計，如下文所示將ISP前端邏輯80及ISP管處理邏輯82之論述分為獨立部分可為有益的。特定而言，本申請案之圖8至圖31可係關於ISP前端邏輯80之各種實施例及態樣的論述，而本申請案之圖32至圖62可係關於ISP管處理邏輯82之各種實施例及態樣的論述。
ISP前端處理邏輯
圖8為根據一實施例之展示可實施於ISP前端邏輯80中之功能邏輯區塊的更詳細方塊圖。取決於成像器件30及/或感測器介面94之組態，如上文在圖7中所論述，原始影像資料可藉由一或多個影像感測器90提供至ISP前端邏輯80。在所描繪實施例中，原始影像資料可藉由第一影像感測器90a(感測器0)及第二影像感測器90b(感測器1)提供至ISP前端邏輯80。如圖中所示，影像感測器90a及90b可分別提供原始影像資料作為信號Sif0及Sif1。影像感測器90a及90b中之每一者可與各別統計量處理單元120及122相關聯。
另外，應注意，原始影像資料Sif0及Sif1可直接提供至其各別處理單元120及122，或可儲存於記憶體108中或寫入至記憶體108且隨後分別作為信號SifIn0及SifIn1經擷取。因此，ISP前端邏輯80可包括選擇邏輯124，選擇邏輯124可將表示由感測器0(90a)捕獲之原始影像資料的Sif0或SifIn0信號提供至統計量處理單元120；且亦可包括選擇邏輯126，其可將表示由感測器1(90b)捕獲之原始影像資料的Sif1或SifIn 1信號提供至統計量處理單元122。統計量處理單元120及122中之每一者可判定經由對原始影像感測器資料之分析而獲得之各種統計資料，且可判定如由輸出信號Stats0及Stats1指示的統計量之各別集合。如上文所提及，統計資料(Stats0及Stats1)可提供至控制邏輯84，以用於判定可用以操作成像器件30及/或ISP管處理邏輯82之各種控制參數。
除統計量處理單元120及122外，ISP前端邏輯80可進一步包括一像素處理單元130。像素處理單元130可逐個像素地對原始影像資料執行各種影像處理操作。如圖所示，像素處理單元130可藉由選擇邏輯132接收原始影像信號Sif0(來自感測器0)或Sif1(來自感測器1)，或可接收來自記憶體108之原始影像資料FEProcIn。如可瞭解，展示於圖8中之選擇邏輯區塊(120、122及132)可由任何合適類型邏輯來提供，諸如由回應於控制信號而選擇多個輸入信號中之一者的多工器來提供。如下文將進一步論述，像素處理單元130在執行像素處理操作時亦可接收並輸出各種信號(例如，Rin、Hin、Hout及Yout，其可表示在時間濾波期間使用之運動歷史及明度資料)。像素處理單元130之輸出109(FEProcOut)可接著諸如經由一或多個先進先出(FIFO)佇列轉遞至ISP管邏輯82，或可發送至記憶體108。
在繼續描繪於圖8之ISP前端邏輯80中之統計量處理及像素處理操作的更詳細描述之前，咸信關於各種ISP圖框區之界定的簡要介紹將有助於促進對本發明之標的物之更佳理解。有鑒於此，在圖9中說明可在影像源圖框內界定之各種圖框區。如可利用採用8、10、12或14位元精度的像素格式，提供至影像處理電路32之源圖框之格式可使用上文所論述之平鋪或線性定址模式。如圖9中所示，影像源圖框150可包括感測器圖框區152、原始圖框區154及作用區156。感測器圖框152通常為影像感測器90可提供至影像處理電路32之最大圖框大小。原始圖框區154可界定為感測器圖框152之發送至ISP前端處理邏輯80之區。作用區156可界定為源圖框150之通常在原始圖框區154內的一部分，在該部分上執行特定影像處理操作之處理。根據本發明之技術之實施例，作用區156對於不同影像處理操作可為相同的或可為不同的。
根據本發明之技術之態樣，ISP前端邏輯80僅接收原始圖框154。因此，出於本論述之目的，ISP前端處理邏輯80之整體圖框大小可採納為如由寬度158及高度160判定之原始圖框大小。在一些實施例中，可由控制邏輯84來判定及/或維持自感測器圖框152之邊界至原始圖框154之偏移。例如，控制邏輯84可包括韌體，該韌體可基於相對於感測器圖框152指定之輸入參數(諸如，x偏移162及y偏移164)來判定原始圖框區154。另外，在一些狀況下，ISP前端邏輯80或ISP管邏輯82內之處理單元可具有一所界定之作用區，使得在原始圖框中但在作用區156外之像素將不經處理(亦即，保持不變)。例如，可基於相對於原始圖框154之x偏移170及y偏移172來界定特定處理單元之具有寬度166及高度168之作用區156。另外，在未具體界定作用區之情況下，影像處理電路32之一實施例可假設，作用區156與原始圖框154相同(例如，x偏移170及y偏移172皆等於0)。因此，出於對影像資料執行影像處理操作之目的，可相對於原始圖框154或作用區156之邊界來界定邊界條件。
有鑒於此等要點且參看圖10，說明根據本發明之技術之實施例的ISP前端像素處理邏輯130(先前在圖8中進行論述)的更詳細視圖。如圖所示，ISP前端像素處理邏輯130包括時間濾波器180及併像補償濾波器182。時間濾波器180可接收輸入影像信號Sif0、Sif1或FEProcIn中之一者，且在執行任何額外處理之前對原始像素資料進行操作。舉例而言，時間濾波器180最初可藉由在時間方向上對影像圖框進行平均化而處理影像資料以減少雜訊。
時間濾波器180可基於運動及亮度特性而為像素適應性的。例如，當像素運動為高時，可減小濾波強度以便在所得經處理影像中避免「拖尾」或「重像假影」之出現，而當偵測到小量運動或無運動時，可增大濾波強度。另外，亦可基於亮度資料(例如，「明度」)來調整濾波強度。例如，隨著影像亮度增大，濾波假影對於人眼可變得更加顯著。因此，當像素具有高位準亮度時，可進一步減小濾波強度。
在應用時間濾波時，時間濾波器180可接收參考像素資料(Rin)及運動歷史輸入資料(Hin)，該等資料可係來自先前經濾波之圖框或初始圖框。使用此等參數，時間濾波器180可提供運動歷史輸出資料(Hout)及經濾波之像素輸出(Yout)。經濾波之像素輸出Yout接著傳遞至併像補償濾波器182，併像補償濾波器182可經組態以對經濾波之像素輸出資料Yout執行一或多個按比例縮放操作以產生輸出信號FEProcOut。如上文所論述，經處理之像素資料FEProcOut可接著轉遞至ISP管處理邏輯82。
參看圖11，說明根據一實施例之描繪可由展示於圖10中之時間濾波器執行之時間濾波程序190的程序圖。時間濾波器180可包括2分接頭濾波器，其中至少部分基於運動及亮度資料逐個像素地適應性地調整濾波係數。例如，可比較具有指示時間值之變數「t」的輸入像素x(t)與先前經濾波之圖框或先前初始圖框中的參考像素r(t-1)，以產生可含有濾波係數之運動歷史表(M)192中之運動查詢索引。另外，基於運動歷史輸入資料h(t-1)，可判定對應於當前輸入像素x(t)的運動歷史輸出h(t)。
可基於運動差量d(j,i,t)來判定運動歷史輸出h(t)及濾波係數K，其中(j,i)表示當前像素x(j,i,t)之空間位置的座標。可藉由判定具有同一色彩之三個水平地共置之像素的初始像素與參考像素之間的三個絕對差量之最大值來計算運動差量d(j,i,t)。例如，簡要地參考圖12，說明對應於初始輸入像素206、208及210之三個共置的參考像素200、202及204的空間位置。在一實施例中，可使用下式基於此等初始像素及參考像素來計算運動差量：
d (j ,i ,t )=max3[abs (x (j ,i -2,t )-r (j ,i -2,t )),(abs (x (j ,i ,t )-r (j ,i ,t )),　(1a)(abs (x (j ,i +2,t )-r (j ,i +2,t ))]
下文在圖14中進一步說明描繪用於判定運動差量值之此技術的流程圖。另外，應理解，如上文在等式1a中(且下文在圖14中)所示用於計算運動差量值的技術僅意欲提供用於判定運動差量值的一實施例。
在其他實施例中，經相同著色之像素之陣列可經評估以判定運動差量值。例如，除在等式1a中參考之三個像素外，用於判定運動差量值之一實施例亦可包括評估來自參考像素206、208及210及其相應共置之像素上方之兩列(例如，j-2，假設拜耳圖案)之經相同著色的像素與來自參考像素206、208及210及其相應共置之像素下方之兩列(例如，j+2，假設拜耳圖案)之經相同著色的像素之間的絕對差量。例如，在一實施例中，運動差量值可表達如下：
d (j ,i ,t )=max9[abs (x (j ,i -2,t )-r (j ,i -2,t -1)),(abs (x (j ,i ,t )-r (j ,i ,t -1)),(abs (x (j ,i +2,t )-r (j ,i +2,t -1)),(abs (x (j -2,i -2,t )-r (j -2,i -2,t -1)),(abs (x (j -2,i ,t )-r (j -2,i ,t -1)),　(1b)(abs (x (j -2,i +2,t )-r (j -2,i +2,t -1)),(abs (x (j +2,i -2,t )-r (j +2,i -2,t -1))(abs (x (j +2,i ,t )-r (j +2,i ,t -1)),(abs (x (j +2,i +2,t )-r (j +2,i +2,t -1))]
因此，在由等式1b描繪之實施例中，可藉由以下操作來判定運動差量值：比較經相同著色之像素之3×3陣列與位於3×3陣列之中心處的當前像素(208)(例如，在對不同色彩之像素進行計數的情況下，實際上為拜耳彩色圖案之5×5陣列)之間的絕對差量。應瞭解，與位於陣列之中心處之當前像素(例如，208)經相同著色之像素的任一合適二維陣列(例如，包括具有同一列中之所有像素之陣列(例如，等式1a)或具有同一行中之所有像素的陣列)可經分析以判定運動差量值。另外，雖然運動差量值可判定為絕對差量之最大值(例如，如等式1a及1b中所示)，但在其他實施例中，運動差量值亦可選擇為絕對差量之平均數或中值。另外，前述技術亦可應用至其他類型的濾色器陣列(例如，RGBW、CYGM等)，且並不意欲僅限於拜耳圖案。
返回參看圖11，一旦運動差量值經判定，即可藉由對當前像素(例如，在空間位置(j,i)處)之運動差量d(t)與運動歷史輸入h(t-1)求和來計算可用以自運動表(M)192選擇濾波係數K的運動查詢索引。例如，可如下判定濾波係數K：
K =M [d (j,i,t )+h (j,i,t -1)]　(2a)
另外，可使用下式判定運動歷史輸出h(t)：
h (j,i,t )=d (j,i,t )+(1-K )×h (j,i,t -1)　(3a)
接著，可使用當前輸入像素x(t)之亮度來產生明度表(L)194中的明度查詢索引。在一實施例中，明度表可含有可在0與1之間的衰減因數，且可基於明度索引進行選擇。如在以下等式中所示，可藉由使第一濾波係數K乘以明度衰減因數來計算第二濾波係數K'：
K '=K ×L [x (j,i,t )]　(4a)
K'之判定值可接著用作時間濾波器180之濾波係數。如上文所論述，時間濾波器180可為2分接頭濾波器。另外，時間濾波器180可使用先前經濾波之圖框組態為無限脈衝回應(IIR)濾波器，或可使用先前初始圖框組態為有限脈衝回應(FIR)濾波器。時間濾波器180可使用下式使用當前輸入像素x(t)、參考像素r(t-1)及濾波係數K' 來計算經濾波之輸出像素y(t)(Yout)：
y (j ,i ,t )=r (j ,i ,t -1)+K '(x (j ,i ,t )-r (j ,i ,t -1))　(5a)
如上文所論述，可逐個像素地執行展示於圖11中之時間濾波程序190。在一實施例中，相同之運動表M及明度表L可用於所有色彩分量(例如，R、G及B)。另外，一些實施例可提供一略過機構，在該略過機構中，可諸如回應於來自控制邏輯84之控制信號而略過時間濾波。另外，如下文關於圖16及圖17將論述，時間濾波器180之一實施例可利用獨立運動表及明度表用於影像資料之每一色彩分量。
鑒於圖13可更佳地理解參看圖11及圖12所描述之時間濾波技術之實施例，圖13描繪根據上述實施例之方法214的流程圖。方法214開始於步驟216，在該步驟216處，位於影像資料之當前圖框之空間位置(j,i)處之當前像素x(t)由時間濾波系統190接收到。在步驟218處，至少部分基於來自影像資料之一先前圖框(例如，緊先於當前圖框之影像圖框)之一或多個共置之參考像素(例如，r(t-1))來判定當前像素x(t)的運動差量值d(t)。用於在步驟218處判定運動差量值d(t)之技術在下文參看圖14進一步解釋，且可根據如上文所示之等式1a來執行。
一旦獲得來自步驟218之運動差量值d(t)，即可如步驟220中所示使用運動差量值d(t)及來自該先前圖框之對應於空間位置(j,i)的運動歷史輸入值h(t-1)來判定運動表查詢索引。另外，儘管未展示，但一旦(例如)藉由使用上文所示之等式3a知曉了運動差量值d(t)，即亦可在步驟220處判定對應於當前像素x(t)之運動歷史值h(t)。其後，在步驟222處，可使用來自步驟220之運動表查詢索引以自運動表192選擇第一濾波器係數K。可根據如上文所示之等式2a來執行運動表查詢索引之判定及第一濾波器係數K自運動表之選擇。
接著，在步驟224處，可自明度表194選擇衰減因數。例如，明度表194可含有在約0與1之間範圍內之衰減因數，且衰減因數可使用當前像素x(t)之值作為查詢索引而自明度表194選擇。一旦選擇了衰減因數，即可如以上等式4a中所示使用所選擇之衰減因數及第一濾波器係數K(來自步驟222)來在步驟226處判定第二濾波器係數K'。接著，在步驟228處，基於第二濾波器係數K'(來自步驟224)、共置之參考像素r(t-1)之值及輸入像素x(t)的值來判定對應於當前輸入像素x(t)之經時間濾波的輸出值y(t)。例如，在一實施例中，可根據如上文所示之等式5a來判定輸出值y(t)。
參看圖14，根據一實施例更詳細地說明來自方法214之用於判定運動差量值d(t)的步驟218。詳言之，運動差量值d(t)之判定可大體上對應於上文根據等式1a所描繪之運算。如圖所示，步驟218可包括子步驟232至238。開始於子步驟232，識別具有與當前輸入像素x(t)相同之色彩值的三個水平相鄰像素之一集合。作為實例，根據展示於圖12中之實施例，影像資料可包括拜耳影像資料，且三個水平相鄰像素可包括當前輸入像素x(t)(208)、當前輸入像素208左側的具有同一色彩之第二像素206，及當前輸入像素208右側的具有同一色彩之第三像素。
接著，在子步驟234處，識別來自該先前圖框之對應於三個水平相鄰像素206、208及210之所選集合的三個共置之參考像素200、202及204。使用所選像素206、208及210以及三個共置之參考像素200、202及204，在子步驟236處判定分別在三個所選像素206、208及210中之每一者與其相應共置之參考像素200、202及204之間的差之絕對值。隨後，在子步驟238處，選擇來自子步驟236之三個不同差中之最大值作為當前輸入像素x(t)的運動差量值d(t)。如上文所論述，說明展示於等式1a中之運動差量值計算技術之圖14僅意欲提供一實施例。實際上，如上文所論述，經相同著色之像素之任一合適二維陣列(其中當前像素位於陣列中心)可用以判定運動差量值(例如，等式1b)。
在圖15中進一步描繪用於將時間濾波應用至影像資料之技術的另一實施例。例如，由於影像資料之不同色彩分量之信雜比可為不同的，因此增益可應用至當前像素，使得在自運動表192及明度表194選擇運動值及明度值之前對當前像素應用增益。藉由應用色彩相依之各別增益，信雜比在不同色彩分量之間可為較一致的。僅作為實例，在使用原始拜耳影像資料之實施中，紅色色彩通道及藍色色彩通道相較於綠色(Gr及Gb)色彩通道通常可為較敏感的。因此，藉由將適當色彩相依之增益應用至每一經處理之像素，每一色彩分量之間的信雜比變化可大體上減小，藉此減小重像假影以及自動白平衡增益之後跨越不同色彩的一致性。
有鑒於此，圖15提供根據此實施例之描繪用於將時間濾波應用至由前端處理單元130接收到之影像資料的方法240之流程圖。開始於步驟242，位於影像資料之當前圖框之空間位置(j,i)處之當前像素x(t)由時間濾波系統190接收到。在步驟244處，至少部分基於來自影像資料之一先前圖框(例如，緊先於當前圖框之影像圖框)之一或多個共置之參考像素(例如，r(t-1))來判定當前像素x(t)的運動差量值d(t)。步驟244可類似於圖13之步驟218，且可利用表示於以上等式1中之運算。
接著，在步驟246處，可使用以下各者來判定運動表查詢索引：運動差量值d(t)、來自該先前圖框之對應於空間位置(j,i)(例如，對應於共置之參考像素r(t-1))的運動歷史輸入值h(t-1)，及與當前像素之色彩相關聯之增益。其後，在步驟248處，可使用在步驟246處判定之運動表查詢索引以自運動表192選擇第一濾波器係數K。僅作為實例，在一實施例中，可如下判定濾波器係數K及運動表查詢索引：
K =M [gain [c ]×(d (j ,i ,t )+h (j ,i ,t -1))]，　(2b)
其中M表示運動表，且其中增益[c]對應於與當前像素之色彩相關聯的增益。另外，儘管在圖15中未展示，但應理解，當前像素之運動歷史輸出值h(t)亦可經判定，且可用以將時間濾波應用至後續影像圖框(例如，下一圖框)的共置之像素。在本實施例中，可使用下式來判定當前像素x(t)之運動歷史輸出h(t)：
h (j ,i ,t )=d (j ,i ,t )+K [h (j ,i ,t -1)-d (j ,i ,t )]　(3b)
接著，在步驟250處，衰減因數可使用基於與當前像素x(t)之色彩相關聯之增益(增益[c])判定之明度表查詢索引而自明度表194選擇。如上文所論述，儲存於明度表中之衰減因數可具有自約0至1之範圍。其後，在步驟252處，可基於衰減因數(來自步驟250)及第一濾波器係數K(來自步驟248)來計算第二濾波器係數K'。僅作為實例，在一實施例中，可如下判定第二濾波器係數K'及明度表查詢索引：
K '=K ×L [gain [c ]×x (j ,i ,t )]　(4b)
接著，在步驟254處，基於第二濾波器係數K'(來自步驟252)、共置之參考像素r(t-1)之值及輸入像素x(t)的值來判定對應於當前輸入像素x(t)之經時間濾波的輸出值y(t)。例如，在一實施例中，可如下判定輸出值y(t)：
y (j ,i ,t )=x (j ,i ,t )+K '(r (j ,i ,t -1)-x(j ,i ,t ))　(5b)
繼續至圖16，描繪時間濾波程序260之另一實施例。此處，除了為每一色彩分量提供獨立運動表及明度表而非將色彩相依增益(例如，增益[c])應用至每一輸入像素並使用共用運動表及明度表外，時間濾波程序260可以類似於圖15中所論述之實施例的方式實現。例如，如圖16中所示，運動表192可包括對應於第一色彩一之運動表192a、對應於第二色彩之一運動表192b及對應於第n色彩之一運動表192c，其中n取決於存在於原始影像資料中之色彩的數目。類似地，明度表194可包括對應於第一色彩之一明度表194a、對應於第二色彩之一明度表194b及對應於第n色彩之運動表194c。因此，在原始影像資料為拜耳影像資料之實施例中，可為紅色色彩分量、藍色色彩分量及綠色色彩分量中之每一者提供三個運動表及明度表。如下文所論述，濾波係數K及衰減因數之選擇可取決於經選擇以用於當前色彩(例如，當前輸入像素之色彩)之運動表及明度表。
在圖17中展示說明用於使用色彩相依運動表及明度表進行時間濾波之另一實施例的方法270。如將瞭解，可由方法270使用之各種計算及式子可類似於展示於圖13中之實施例，但其中特定運動表及明度表經選擇以用於每一色彩；或可類似於展示於圖15中之實施例，但用色彩相依運動表及明度表之選擇替換色彩相依增益[c]的使用。
開始於步驟272，位於影像資料之當前圖框之空間位置(j,i)處之當前像素x(t)由時間濾波系統260(圖16)接收到。在步驟274處，至少部分基於來自影像資料之一先前圖框(例如，緊先於當前圖框之影像圖框)之一或多個共置之參考像素(例如，r(t-1))來判定當前像素x(t)的運動差量值d(t)。步驟274可類似於圖13之步驟218，且可利用以上等式1中展示之運算。
接著，在步驟276處，可使用以下各者來判定運動表查詢索引：運動差量值d(t)，及來自該先前圖框之對應於空間位置(j,i)(例如，對應於共置之參考像素r(t-1))的運動歷史輸入值h(t-1)。其後，在步驟278處，第一濾波器係數K可基於當前輸入像素之色彩而自可用運動表(例如，192a、192b、192c)中的一者選擇。例如，識別一適當運動表，可使用在步驟276中判定出之運動表查詢索引來選擇第一濾波器係數K。
在選定第一濾波器係數K之後，如步驟280處所示，選擇對應於當前色彩之明度表，且基於當前像素x(t)之值自所選明度表選擇衰減因數。其後，在步驟282處，基於衰減因數(來自步驟280)及第一濾波器係數K(步驟278)來判定第二濾波器係數K'。接著，在步驟284處，基於第二濾波器係數K'(來自步驟282)、共置之參考像素r(t-1)之值及輸入像素x(t)的值來判定對應於當前輸入像素x(t)之經時間濾波的輸出值y(t)。雖然展示於圖17中之技術實施起來可能成本較高(例如，歸因於儲存額外運動表及明度表所需要之記憶體)，但其在一些個例中可提供關於重像假影及自動白平衡增益之後跨越不同色彩之一致性的進一步改良。
根據其他實施例，由時間濾波器180提供之時間濾波程序可利用色彩相依增益及色彩特定運動表及/或明度表之組合來將時間濾波應用至輸入像素。例如，在一個此實施例中，可為所有色彩分量提供單一運動表，且可基於色彩相依增益來判定用於自運動表選擇第一濾波係數(K)之運動表查詢索引(例如，如圖15中所示，步驟246至248)，而明度表查詢索引可能不具有應用至其之色彩相依增益，但可用以取決於當前輸入像素之色彩而自多個明度表中之一者選擇亮度衰減因數(例如，如圖17中所示，步驟280)。或者，在另一實施例中，可提供多個運動表，且一運動表查詢索引(不應用色彩相依增益)可用以自對應於當前輸入像素之色彩的運動表選擇第一濾波係數(K)(例如，如圖17中所示，步驟278)，而可為所有色彩分量提供單一明度表，且其中可基於色彩相依增益來判定用於選擇亮度衰減因數的明度表查詢索引(例如，如圖15中所示，步驟250至252)。另外，在利用拜耳濾色器陣列之一實施例中，可為紅色(R)色彩分量及藍色(B)色彩分量中之每一者提供一運動表及/或明度表，而可為兩個綠色色彩分量(Gr及Gb)提供共同運動表及/或明度表。
時間濾波器180之輸出隨後可發送至併像補償濾波器(BCF)182，併像補償濾波器(BCF)182可處理影像像素以補償色彩樣本之非線性置放，使得ISP管邏輯82中之取決於色彩樣本之線性置放的後續影像處理操作(例如，去馬賽克等)可正確操作。另外，BCF 182亦可藉由應用一或多個按比例縮放操作(諸如，垂直及/或水平按比例縮放)來處理像素資料。圖18展示根據一所揭示實施例之可包括按比例縮放邏輯292及差動分析器294之併像補償濾波器182的方塊圖，且圖19展示可用於進行按比例縮放操作的程序296。
如圖18中所示，按比例縮放邏輯292可產生輸出FEProcOut(109)，其如上文所論述可轉遞至ISP管邏輯82以進行如下文將進一步論述的額外處理。在一實施例中，由BCF 182執行之按比例縮放操作可使用一或多個多分接頭多相濾波器來執行，該一或多個多分接頭多相濾波器可自源影像選擇像素，使每一像素乘以加權因數，且接著對像素值進行總計以形成目標像素。如將瞭解，在按比例縮放操作中使用之像素之選擇可至少部分取決於當前像素位置及由濾波器提供之分接頭的數目。另外，濾波操作可使用相同之著色像素按色彩分量進行，且可自查詢表獲得加權因數(或係數)，並基於當前之像素間分率位置(between-pixel fractional position)來判定加權因數(或係數)。
在所描繪實施例中，差動分析器294可為數位差動分析器(DDA)，且可經組態以在按比例縮放操作期間控制當前像素位置。僅作為實例，DDA 294可提供為32位元資料暫存器，其含有二之補數的固定點數字，該數字之整數部分為12個位元且分數部分為20個位元。12位元整數部分可用以判定當前像素位置。分數部分用作至係數表中之索引。在一實施例中，垂直及水平按比例縮放組件可利用8位元深之係數表，使得20位元分數部分之3個高位位元用於索引。
為了提供基於32位元DDA暫存器(DDA[31:0])之實例，當前中心源像素位置(currPixel)可藉由12位元整數部分DDA[31:20]來界定，且在下一位元DDA[19]為1之情況下可上捨入為(+1)。可接著取決於由濾波器提供之分接頭之數目來獲得鄰近currPixel之像素的源像素值。例如，在一實施例中，垂直按比例縮放可使用3分接頭多相濾波器來執行，使得currPixel之每一側上的同一色彩之一像素經選擇(例如，-1、0、+1)，且水平按比例縮放可使用5分接頭多相濾波器來執行，其中currPixel之每一側上的同一色彩之兩個像素經選擇(例如，-2、-1、0、+1、+2)。另外，每一分接頭可具有其自身之各別係數表。因此，可提供三個8位元深之表用於3分接頭垂直按比例縮放濾波器，且可提供五個8位元深之表用於5分接頭水平按比例縮放濾波器。當前係數索引(currIndex)可藉由DDA[19:16](分數部分DDA[19:0]之3個高位位元)來界定，且在下一位元DDA[15]為1之情況下可上捨入為(+1)。
因而，在BCF 182中發生之濾波程序可包括獲得中心像素(currPixel)周圍之源像素值，及使該等源像素值乘以來自表之使用currIndex存取的適當係數。一旦針對給定像素完成濾波程序，步長值(DDAStep)即可添加至DDA 294以判定下一像素之位置，且可針對後續像素重複濾波/按比例縮放操作。此情形由說明於圖19中之程序296來進一步展示。例如，於步驟298開始，初始化DDA 294，並識別當前像素位置。如上文所論述，在DDA 294包括32位元暫存器以用於儲存二之補數之固定點數字時，當前像素位置可藉由暫存器資料之高位12位元(整數部分)來指定。
在步驟300處，針對垂直按比例縮放及水平按比例縮放兩者來執行多分接頭濾波。作為實例，假設3分接頭多相濾波器及5分接頭多相濾波器分別用於垂直按比例縮放及水平按比例縮放，且假設影像感測器90使用拜耳濾色器圖案(圖2)，則垂直按比例縮放組件可包括四個獨立之3分接頭多相濾波器，每一色彩分量(Gr、R、B及Gb)一個3分接頭多相濾波器。3分接頭濾波器中之每一者可使用DDA來控制當前中心像素之步進及係數之索引。類似地，水平按比例縮放組件可包括四個獨立之5分接頭多相濾波器，每一色彩分量(Gr、R、B及Gb)一個5分接頭多相濾波器。5分接頭濾波器中之每一者可使用DDA來控制當前中心像素之步進及係數之索引。對於邊界狀態，在水平濾波程序及垂直濾波程序中使用之像素可取決於當前像素之如藉由DDA建立的位置。例如，若DDA值指示當前像素(currPixel)接近於圖框邊沿，從而使得濾波器所需要之源像素中的一或多者位於邊沿外，則可重複邊沿像素。
最後，如步驟302處所示，一旦針對給定當前像素(currPixel)已完成了垂直按比例縮放操作及水平按比例縮放操作，則DDA 294可步進至下一像素之位置，且程序296可返回至步驟300以對下一像素執行垂直按比例縮放及水平按比例縮放。如上文所論述，BCF 182之可為輸出FEProcOut(109)之輸出可轉遞至ISP管處理邏輯82以進行額外處理。然而，在將此論述之焦點轉移至ISP管處理邏輯82之前，將首先提供可由可實施於ISP前端邏輯80中之統計量處理單元(例如，122及124)提供之各種功能性的更詳細描述。
返回參看統計量處理單元120及122之一般描述，此等單元可經組態以收集關於捕獲並提供原始影像信號(Sif0及Sif1)之影像感測器的各種統計量，諸如關於自動曝光、自動白平衡、自動聚焦、閃光偵測、黑階補償及透鏡陰影校正等的統計量。在進行此操作時，統計量處理單元120及122可首先將一或多個影像處理操作應用至其各別輸入信號Sif0(來自感測器0)及Sif1(來自感測器1)。
舉例而言，參看圖20，說明根據一實施例之與感測器0(90a)相關聯之統計量處理單元120的更詳細方塊圖。如圖所示，統計量處理單元120可包括以下功能區塊：缺陷像素偵測及校正邏輯304、黑階補償(BLC)邏輯306、透鏡陰影校正邏輯308、反向BLC邏輯310及統計量收集邏輯312。下文將論述此等功能區塊中之每一者。另外，應理解，可以類似方式來實施與感測器1(90b)相關聯之統計量處理單元122。
最初，前端缺陷像素校正邏輯304接收選擇邏輯124之輸出(例如，Sif0或SifIn0)。如將瞭解，「缺陷像素」可理解為指代影像感測器90內之未能準確地感測到光位準之成像像素。缺陷像素可歸因於多種因素，且可包括「熱」(或漏溢(leaky))像素、「卡色像素(stuck pixel)」及「無作用像素(dead pixel)」。在同一空間位置處給定相同光量之情況下，「熱」像素通常顯現為亮於非缺陷像素。熱像素係歸因於重設故障及/或高漏溢而導致。舉例而言，熱像素相對於非缺陷像素可展現高於正常電荷漏溢的電荷漏溢，且因此可顯現為亮於非缺陷像素。另外，「無作用像素」及「卡色像素」可為在加工及/或組裝程序中污染影像感測器之雜質(諸如，灰塵或其他痕量材料)之結果，其可使得某些缺陷像素相較於非缺陷像素為較黑或較亮的，或可使得缺陷像素無關於缺陷像素實際上曝光至之光的量而固定於特定值。另外，無作用像素及卡色像素亦可由在影像感測器之操作期間發生之電路故障導致。作為實例，卡色像素可顯現為始終接通(例如，完全充電)且因此顯現為較亮的，而無作用像素顯現為始終斷開。
在於統計量收集(例如，312)中考慮缺陷像素之前，ISP前端邏輯80中之缺陷像素偵測及校正(DPDC)邏輯304可校正缺陷像素(例如，替換缺陷像素值)。在一實施例中，獨立於每一色彩分量(例如，拜耳圖案之R、B、Gr及Gb)來執行缺陷像素校正。通常，前端DPDC邏輯304可提供動態缺陷校正，其中自動基於使用具有同一色彩之鄰近像素計算之方向梯度來判定缺陷像素的位置。如將理解，在像素於給定時間特徵化為有缺陷像素可能取決於鄰近像素中之影像資料的意義上，缺陷可為「動態的」。作為實例，若卡色像素之位置係在當前影像之由較亮或白色色彩佔優勢之區域中，則可能並不將始終在最大亮度上之卡色像素視為缺陷像素。相反，若卡色像素係在當前影像之由黑色或較暗色彩佔優勢之區中，則卡色像素在DPDC邏輯304進行之處理期間可識別為缺陷像素，且相應地經校正。
DPDC邏輯304可利用當前像素之每一側上的具有同一色彩之一或多個水平鄰近像素，來使用像素至像素之方向梯度判定當前像素是否為有缺陷的。若當前像素識別為有缺陷的，則可由水平鄰近像素之值來替換缺陷像素的值。例如，在一實施例中，使用在原始圖框154(圖9)邊界內之具有同一色彩的五個水平鄰近像素，其中五個水平鄰近像素包括當前像素及任一側上的兩個鄰近像素。因此，如圖21中所說明，對於給定色彩分量c且對於當前像素P，DPDC邏輯304可考慮水平鄰近像素P0、P1、P2及P3。然而，應注意，取決於當前像素P之位置，在計算像素至像素梯度時並不考慮原始圖框154外之像素。
例如，如圖21中所示，在「左側邊緣」狀況314下，當前像素P係在原始圖框154之最左側邊緣處，且因此並不考慮原始圖框154外之鄰近像素P0及P1，從而僅留下像素P、P2及P3(N=3)。在「左側邊緣+1」狀況316下，當前像素P離原始圖框154之最左側邊緣一單位像素，且因此不考慮像素P0。此情形僅留下像素P1、P、P2及P3(N=4)。另外，在「居中」狀況318下，當前像素P左側之像素P0及P1以及當前像素P右側之像素P2及P3係在原始圖框154內，且因此在計算像素至像素梯度中考慮所有鄰近像素P0、P1、P2及P3(N=5)。另外，隨著逼近原始圖框154之最右側邊緣，可遭遇類似狀況320及322。例如，給定「右側邊緣-1」狀況320，當前像素P離原始圖框154之最右側邊緣一單位像素，且因此不考慮像素P3(N=4)。類似地，在「右側邊緣」狀況322下，當前像素P係在原始圖框154之最右側邊緣處，且因此不考慮兩個鄰近像素P2及P3(N=3)。
在所說明實施例中，對於圖片邊界(例如，原始圖框154)內之每一鄰近像素(k=0至3)，可如下計算像素至像素梯度：
G k =abs (P -P k )，其中0 k 3(僅針對原始圖框內之k )(6)
一旦已判定了像素至像素梯度，即可由DPDC邏輯304如下執行缺陷像素偵測。首先，假設在一像素之某數目個梯度Gk 處於或低於由變數dprTh指示之特定臨限值之情況下，該像素為有缺陷的。因此，對於每一像素，對圖片邊界內之鄰近像素的處於或低於臨限值dprTh之梯度之數目的計數(C)進行累積。作為實例，對於原始圖框154內之每一鄰近像素，可如下計算處於或低於臨限值dprTh之梯度Gk 的經累積之計數C：
其中0 k 3(僅針對原始圖框內之k )
如將瞭解，取決於色彩分量，臨限值dprTh可能改變。接著，若判定經累積之計數C小於或等於由變數dprMaxC指示之最大計數，則可將像素視為有缺陷的。此邏輯表達如下：
若(C dprMaxC)，則像素為有缺陷的。　(8)
使用多個替換慣例來替換缺陷像素。例如，在一實施例中，一缺陷像素可由緊接其左側之像素P1來替換。在邊界條件(例如，P1係在原始圖框154外)下，缺陷像素可由緊接其右側之像素P2來替換。另外，應理解，替換值可經保留或傳播以用於後續缺陷像素偵測操作。例如，參看展示於圖21中之水平像素之集合，若P0或P1先前由DPDC邏輯304識別為缺陷像素，則其相應替換值可用於當前像素P的缺陷像素偵測及替換。
為了概述上文論述之缺陷像素偵測及校正技術，描繪此程序之流程圖提供於圖22中，並由參考數字330提及。如圖所示，程序330於步驟332開始，在步驟332處，接收當前像素(P)，且識別鄰近像素之集合。根據上文所描述之實施例，鄰近像素可包括來自當前像素之相反側之具有同一色彩分量的兩個水平像素(例如，P0、P1、P2及P3)。接著，在步驟334處，如上文在等式6中所描述，相對於原始圖框154內之每一鄰近像素來計算水平之像素至像素梯度。其後，在步驟336處，判定小於或等於特定臨限值dprTh之梯度之數目的計數C。如圖所示，在決策邏輯338處，若C小於或等於dprMaxC，則程序330繼續至步驟340，且將當前像素識別為有缺陷的。接著，在步驟342處，使用替換值來校正缺陷像素。另外，返回參看決策邏輯338，若C大於dprMaxC，則程序繼續至步驟344，且不將當前像素識別為有缺陷的，且其值不變。
應注意，在ISP前端統計量處理期間應用之缺陷像素偵測/校正技術相較於在ISP管邏輯82中執行之缺陷像素偵測/校正可為較不強健的。例如，如下文將進一步詳細論述，在ISP管邏輯82中執行之缺陷像素偵測/校正除動態缺陷校正外可進一步提供固定缺陷校正，其中缺陷像素之位置為先驗已知的並載入至一或多個缺陷表中。另外，ISP管邏輯82中之動態缺陷校正亦可考慮水平方向及垂直方向兩者上之像素梯度，且亦可提供如下文將論述的光斑之偵測/校正。
返回圖20，接著將DPDC邏輯304之輸出傳遞至黑階補償(BLC)邏輯306。BLC邏輯306可針對用於統計量收集之像素上之每一色彩分量「c」(例如，拜耳之R、B、Gr及Gb)獨立地提供數位增益、偏移及截割。例如，如由以下操作所表達，當前像素之輸入值首先經偏移一帶正負號之值，且接著乘以一增益。
Y =(X +O [c ])×G [c ]，　(9)
其中X表示給定色彩分量c(例如，R、B、Gr或Gb)之輸入像素值，O[c]表示當前色彩分量c之帶正負號之16位元偏移，且G[c]表示色彩分量c的增益值。在一實施例中，增益G[c]可為具有2個整數位元及14個分數位元之16位元無正負號之數字(例如，以浮點表示之2.14)，且可在捨入情況下應用增益G[c]。僅作為實例，增益G[c]可具有0至4X(例如，4乘以輸入像素值)之間的範圍。
接著，如由以下等式10所示，帶正負號之所計算值Y可接著經截割至最小值與最大值之範圍：
Y =(Y <min[c])?min[c]:(Y >max[c])?max[c]:Y 　(10)
變數min[c]及max[c]可分別表示最小輸出值及最大輸出值之帶正負號的16位元「截割值」。在一實施例中，BLC邏輯306亦可經組態以按色彩分量維持分別高於最大值且低於最小值的經截割之像素之數目的計數。
隨後，將BLC邏輯306之輸出轉遞至透鏡陰影校正(LSC)邏輯308。LSC邏輯308可經組態以逐個像素地應用適當增益以補償強度之下降，強度之下降大體上與距成像器件30之透鏡88之光學中心的距離粗略地成比例。如可瞭解，此等下降可為透鏡之幾何光學的結果。作為實例，具有理想光學性質之透鏡可模型化為稱為cos4 定律的入射角之餘弦之四次冪cos4 (θ)。然而，因為透鏡製造並非為完美的，所以透鏡中之各種不規則性可使得光學性質偏離假設之cos4 模型。例如，透鏡之較薄邊緣通常展現最大不規則性。另外，透鏡陰影圖案中之不規則性亦可為影像感測器內之微透鏡陣列未與彩色陣列濾波器完全對準的結果。另外，一些透鏡中之紅外線(IR)濾波器可使得下降依發光體，且因此透鏡陰影增益可取決於偵測到之光源而加以調適。
參看圖23，說明描繪典型透鏡之光強度對像素位置的三維概況346。如圖所示，接近透鏡之中心348之光強度朝向透鏡之角落或邊緣350逐漸下降。描繪於圖23中之透鏡陰影不規則性可藉由圖24來更佳地說明，圖24展示展現光強度朝向角落及邊緣之下降的影像之彩色圖式352。特定而言，應注意，影像之大致中心處的光強度顯現為亮於影像之角落及/或邊緣處的光強度。
根據本發明之技術之實施例，可將透鏡陰影校正增益按色彩通道(例如，拜耳濾波器之Gr、R、B、Gb)指定為二維增益柵格。增益柵格點可以固定之水平間隔及垂直間隔分佈於原始圖框154內(圖9)。如圖9中所論述，原始圖框154可包括一作用區156，該作用區156界定在上面可執行特定影像處理操作之處理的區域。關於透鏡陰影校正操作，可稱為LSC區之作用處理區界定於原始圖框區154內。如下文將論述，LSC區必須完全在增益柵格邊界內或增益柵格邊界處，否則結果可為不定的。
例如，參看圖25，展示可界定於原始圖框154內之LSC區354及增益柵格356。LSC區354可具有寬度358及高度360，且可藉由相對於原始圖框154之邊界的x偏移362及y偏移364來界定。亦提供自柵格增益356之基點370至LSC區354中之第一像素372的柵格偏移(例如，柵格x偏移366及柵格y偏移368)。此等偏移對於給定色彩分量可係在第一柵格間隔內。水平(x方向)柵格點間隔374及垂直(y方向)柵格點間隔376對於每一色彩通道分別可經獨立指定。
如上文所論述，假設使用拜耳濾色器陣列，則可界定柵格增益之4個色彩通道(R、B、Gr及Gb)。在一實施例中，總計4K(4096)個柵格點可為可用的，且對於每一色彩通道，可諸如藉由使用指標來提供柵格增益之起始位置的基本位址。另外，水平(374)柵格點間隔及垂直(376)柵格點間隔可以一色彩平面之解析度依據像素來界定，且在特定實施例中可提供在水平及垂直方向上藉由2之冪(諸如，藉由8、16、32、64或128等)進行分離的柵格點間隔。如可瞭解，藉由利用2之冪，可達成使用移位(例如，除法)及加法運算之增益內插的有效實施。使用此等參數，即使當影像感測器之裁切區改變時，仍可使用相同增益值。例如，僅需要更新少數參數以使柵格點對準至經裁切區(例如，更新柵格偏移374及376)，而非更新所有柵格增益值。僅作為實例，當在數位變焦操作期間使用裁切時，此情形可為有用的。另外，雖然展示於圖25之實施例中之增益柵格356描繪為具有大體上相等地隔開之柵格點，但應理解，在其他實施例中，柵格點可能不必相等地隔開。例如，在一些實施例中，柵格點可不均勻地(例如，對數地)分佈，使得柵格點在LSC區354之中心中較不集中，但朝向LSC區354之通常透鏡陰影失真更顯著之角落更集中。
根據當前所揭示之透鏡陰影校正技術，在當前像素位置定位於LSC區354外時，不應用增益(例如，像素保持不變)。在當前像素位置係處於增益柵格位置時，可使用該特定柵格點處之增益值。然而，在當前像素位置係在柵格點之間時，可使用雙線性內插對增益進行內插。下文提供對圖26上之像素位置「G」內插增益的實例。
如圖26中所示，像素G係在柵格點G0、G1、G2及G3之間，該等柵格點G0、G1、G2及G3可分別對應於相對於當前像素位置G之左上增益、右上增益、左下增益及右下增益。柵格間隔之水平大小及垂直大小分別由X及Y來表示。另外，ii及jj分別表示相對於左上增益G0之位置的水平像素偏移及垂直像素偏移。基於此等因數，對應於位置G之增益可因此如下經內插：
以上等式11a中之項可接著經組合以獲得以下表達式：
在一實施例中，可遞增地而非在每一像素處使用一乘數來執行內插方法，因此減小計算複雜度。例如，可使用加法器來實現項(ii)(jj)，該加法器在增益柵格356之位置(0,0)處可初始化為0，且每當當前行數增大一像素時使該加法器遞增當前列數。如上文所論述，由於X及Y之值可選擇為二的冪，因此可使用簡單之移位運算來實現增益內插。因此，僅在柵格點G0(而非每一像素)處需要乘數，且僅需要加法運算來判定剩餘像素之內插增益。
在特定實施例中，柵格點之間的增益之內插可使用14位元精度，且柵格增益可為具有2個整數位元及8個分數位元之無正負號的10位元值(例如，2.8浮點表示)。使用此慣例，增益可具有在0與4X之間的範圍，且柵格點之間的增益解析度可為1/256。
可藉由展示於圖27中之程序380來進一步說明透鏡陰影校正技術。如圖所示，程序380於步驟382開始，在該步驟382處，相對於圖25之LSC區354之邊界來判定當前像素的位置。接著，決策邏輯384判定當前像素位置是否在LSC區354內。若當前像素位置在LSC區354外，則程序380繼續至步驟386，且無增益應用至當前像素(例如，像素保持不變)。
若當前像素位置在LSC區354內，則程序380繼續至決策邏輯388，在該決策邏輯388處，進一步判定當前像素位置是否對應於增益柵格354內之柵格點。若當前像素位置對應於柵格點，則如步驟390所示，選擇該柵格點處之增益值，並將該增益值應用至當前像素。若當前像素位置並不對應於柵格點，則程序380繼續至步驟392，且基於邊沿柵格點(例如，圖26之G0、G1、G2及G3)對增益進行內插。例如，可根據如上文所論述之等式11a及11b來計算內插增益。其後，程序380於步驟394處結束，在該步驟394處，將來自步驟392之內插增益應用至當前像素。
如將瞭解，對於影像資料之每一像素可重複程序380。例如，如圖28中所示，說明描繪可應用至LSC區(例如，354)內之每一像素位置之增益的三維概況。如圖所示，歸因於角落處之如圖23及圖24中所示的較大之光強度下降，應用於影像之角落396處之增益通常可大於應用至影像之中心398的增益。使用當前所描述之透鏡陰影校正技術，可減小或實質上消除影像中之光強度下降之出現。例如，圖29提供來自圖24之影像之彩色圖式352在應用透鏡陰影校正之後可如何顯現的實例。如圖所示，相較於來自圖24之初始影像，總體光強度跨越影像大體上更均勻。特定而言，影像之大致中心處之光強度可實質上等於影像之角落及/或邊緣處的光強度值。另外，如上文所提及，內插增益計算(等式11a及11b)在一些實施例中可藉由利用連續行及列遞增結構由柵格點之間的相加性「差量」來替換。如將瞭解，此情形降低計算複雜度。
在其他實施例中，除使用柵格增益外，使用每色彩分量之依據距影像中心之距離按比例縮放的全域增益。影像之中心可提供為輸入參數，且可藉由分析均勻照明之影像中之每一像素的光強度幅度來估計。如下文所示，經識別之中心像素與當前像素之間的徑向距離可接著用以獲得經線性按比例縮放之徑向增益Gr ：
G r =G p [c ]×R ，　(12)
其中Gp [c]表示每一色彩分量c(例如，拜耳圖案之R、B、Gr及Gb分量)之全域增益參數，且其中R表示中心像素與當前像素之間的徑向距離。
參看展示上文所論述之LSC區354的圖30，可使用若干種技術來計算或估計距離R。如圖所示，對應於影像中心之像素C可具有座標(x0 ,y0 )，且當前像素G可具有座標(xG ,yG )。在一實施例中，LSC邏輯308可使用以下等式計算距離R：
在另一實施例中，可利用下文所示之更簡單之估計式來獲得R之估計值：
R =α×max(abs (x G -x 0 ),abs (y G -y 0 ))+β×min(abs (x G -x 0 )，abs (y G -y 0 ))　(14)
在等式14中，估計係數α及β可按比例縮放為8位元值。僅作為實例，在一實施例中，α可等於約123/128，且β可等於約51/128以提供R之估計值。使用此等係數值，最大錯誤可為約4%，其中中位數錯誤為約1.3%。因此，即使估計技術相較於在判定R中利用計算技術(等式13)可為稍不準確的，但錯誤之容限足夠低，從而R之估計值適用於判定本透鏡陰影校正技術的徑向增益分量。
徑向增益Gr 可接著乘以當前像素之經內插柵格增益值G(等式11a及11b)以判定可應用至當前像素之總增益。如下式所示，藉由使輸入像素值X與總增益相乘來獲得輸出像素Y：
Y =(G ×G r ×X )　(15)
因此，根據本發明之技術，可使用僅內插增益、內插增益及徑向增益分量兩者來執行透鏡陰影校正。或者，亦可結合補償徑向近似錯誤之徑向柵格表來僅使用徑向增益來實現透鏡陰影校正。舉例而言，替代如圖25中所示之矩形增益柵格356，可提供具有界定徑向方向及角方向上之增益的複數個柵格點之徑向增益柵格。因此，當判定應用至並未與LSC區354內之徑向柵格點中之一者對準之像素的增益時，可使用封閉像素之四個柵格點來應用內插，以判定適當之內插透鏡陰影增益。
參看圖31，藉由程序400來說明內插增益分量及徑向增益分量在透鏡陰影校正中的使用。應注意，程序400可包括類似於如上文在圖27中所描述之程序380的步驟。因而，已由相同參考數字對此等步驟編號。於步驟382開始，接收當前像素，並判定當前像素相對於LSC區354之位置。接著，決策邏輯384判定當前像素位置是否在LSC區354內。若當前像素位置在LSC區354外，則程序400繼續至步驟386，且無增益應用至當前像素(例如，像素保持不變)。若當前像素位置在LSC區354內，則程序400可同時繼續至步驟402及決策邏輯388。首先參看步驟402，擷取識別影像之中心的資料。如上文所論述，判定影像之中心可包括分析均勻照明下之像素的光強度幅度。例如，此情形可在校準期間發生。因此，應理解，步驟402不必涵蓋為了處理每一像素而重複地計算影像之中心，但可涉及擷取先前判定之影像中心的資料(例如，座標)。一旦識別出影像之中心，程序400即可繼續至步驟404，在步驟404中，判定影像中心與當前像素位置之間的距離(R)。如上文所論述，可計算(等式13)或估計(等式14)R值。接著，在步驟406處，可使用距離R及對應於當前像素之色彩分量之全域增益參數來計算徑向增益分量Gr (等式12)。如下文在步驟410中將論述，可使用徑向增益分量Gr 來判定總增益。
返回參看決策邏輯388，判定當前像素位置是否對應於增益柵格354內之柵格點。若當前像素位置對應於柵格點，則如步驟408處所示，判定該柵格點處之增益值。若當前像素位置並不對應於柵格點，則程序400繼續至步驟392，且基於邊沿柵格點(例如，圖26之G0、G1、G2及G3)計算內插增益。例如，可根據如上文所論述之等式11a及11b來計算內插增益。接著，在步驟410處，基於在步驟406處判定之徑向增益以及柵格增益(步驟408)或內插增益(392)中的一者來判定總增益。如可瞭解，此情形可取決於在程序400期間採用哪一分支決策邏輯388。如步驟412處所示，總增益接著應用至當前像素。再次，應注意，類似於程序380，亦可針對影像資料之每一像素重複程序400。
結合柵格增益使用徑向增益可提供各種優點。例如，使用徑向增益允許將單一共同增益柵格用於所有色彩分量。此情形可大大減小儲存每一色彩分量之獨立增益柵格所需要的總儲存空間。例如，在拜耳影像感測器中，將單一增益柵格用於R、B、Gr及Gb分量中之每一者可使增益柵格資料減小約75%。如將瞭解，由於柵格增益資料表可佔用影像處理硬體中之記憶體或晶片面積之顯著部分，因此柵格增益資料之此減少可降低實施成本。另外，取決於硬體實施，使用增益柵格值之單一集合可提供其他優點，諸如減小總體晶片面積(例如，在增益柵格值儲存於晶載記憶體中時)及減小記憶體頻寬要求(例如，在增益柵格值儲存於晶片外外部記憶體中時)。
已透徹描述了展示於圖20中之透鏡陰影校正邏輯308之功能性，LSC邏輯308之輸出隨後轉遞至反向黑階補償(IBLC)邏輯310。IBLC邏輯310對於每一色彩分量(例如，R、B、Gr及Gb)獨立地提供增益、偏移及截割，且大體上執行BLC邏輯306之反向功能。例如，如由以下運算所示，輸入像素之值首先乘以增益，且接著經偏移一帶正負號之值。
Y =(X ×G [c ])+O [c ]，　(16)
其中X表示給定色彩分量c(例如，R、B、Gr或Gb)之輸入像素值，O[c]表示當前色彩分量c之帶正負號之16位元偏移，且G[c]表示色彩分量c的增益值。在一實施例中，增益G[c]可具有在約0至4X(例如，4乘以輸入像素值X)之間的範圍。應注意，此等變數可為上文在等式9中論述之相同變數。計算出之值Y可使用(例如)等式10截割至最小值與最大值之範圍。在一實施例中，IBLC邏輯310可經組態以按色彩分量維持分別高於最大值且低於最小值的經截割之像素之數目的計數。
其後，IBLC邏輯310之輸出由統計量收集區塊312接收到，統計量收集區塊312可提供關於影像感測器90之各種統計資料點(諸如，關於自動曝光(AE)、自動白平衡(AWB)、自動聚焦(AF)、閃光偵測等之彼等資料點)的收集。下文提供論述AWB、AE及AF統計量之顯著性的簡要綜述。
關於白平衡，每一像素處之影像感測器回應可取決於照明源，此係由於光源由影像場景中之物體反射。因此，記錄於影像場景中之每一像素值係關於光源之色溫。當在低色溫下照明白色物體時，白色物體在所捕獲影像中顯現為帶紅色。相反，在高色溫下照明之白色物體在所捕獲影像中顯現為帶藍色。因此，白平衡之目標為調整RGB值，使得影像對於人眼顯現為如同在標準光下獲取之影像一般。因此，在關於白平衡之成像統計量之情形下，關於白色物體之色彩資訊經收集以判定光源之色溫。一般而言，白平衡演算法可包括兩個主要步驟。首先，估計光源之色溫。第二，使用所估計之色溫來調整色彩增益值及/或判定/調整色彩校正矩陣的係數。此等增益可為類比及數位影像感測器增益以及ISP數位增益之組合。
接著，自動曝光通常指代調整像素積分時間及增益以控制所捕獲之影像之照度的程序。例如，自動曝光可藉由設定積分時間來控制來自場景之由影像感測器捕獲之光的量。另外，自動聚焦可指代判定透鏡之最佳焦距以便實質上使影像之焦點最佳化。因此，可經由統計量收集區塊312來判定並收集此等各種類型統計量及其他統計量。如圖所示，統計量收集區塊312之輸出STATS0可發送至記憶體108並投送至控制邏輯84，或者可直接發送至控制邏輯84。
如上文所論述，控制邏輯84可處理收集到之統計資料以判定用於控制成像器件30及/或影像處理電路32的一或多個控制參數。例如，此等控制參數可包括用於操作影像感測器90之透鏡之參數(例如，焦距調整參數)、影像感測器參數(例如，類比及或數位增益、積分時間)，以及ISP管處理時間(例如，數位增益值、色彩校正矩陣(CCM)係數)。另外，如上文所提及，在特定實施例中，統計量處理可以8位元之精度發生，且因此具有較高位元深度之原始像素資料為了統計目的可減小取樣至8位元格式。如上文所論述，減小取樣至8位元(或任何其他較低位元解析度)可減小硬體大小(例如，面積)，且亦減小處理複雜度，並且允許統計資料對於雜訊為更強健的(例如，使用影像資料之空間平均化)。
在繼續進行ISP前端邏輯80下游之ISP管邏輯82的詳細論述之前，應理解，統計量處理單元120及122中之各種功能邏輯區塊(例如，邏輯區塊304、306、308、310及312)及ISP前端像素處理單元130中之各種功能邏輯區塊(例如，邏輯區塊180及182)的配置僅意欲說明本發明之技術之一實施例。實際上，在其他實施例中，本文中所說明之邏輯區塊可以不同次序配置，或可包括可執行本文中未具體描述之額外影像處理功能的額外邏輯區塊。另外，應理解，統計量處理單元(例如，120及122)中執行之影像處理操作(諸如，透鏡陰影校正、缺陷像素偵測/校正及黑階補償)出於收集統計資料之目的而在統計量處理單元內執行。因此，對由統計量處理單元接收到之影像資料執行之處理操作實際上並未反映於自ISP前端像素處理邏輯130輸出且轉遞至ISP管處理邏輯82的影像信號109(FEProcOut)中。
在繼續之前，亦應注意，給定足夠處理時間及本文中所描述之各種操作之許多處理要求之間的類似性，有可能重新組態本文中所展示之功能區塊從而以順序方式而非以管線性質來執行影像處理操作。如將理解，此情形可進一步減小總體硬體實施成本，但亦可能增大至外部記憶體(例如，以快取/儲存中間結果/資料)的頻寬。
ISP管線(「管」)處理邏輯
上文已詳細描述了ISP前端邏輯80，本論述現將焦點轉移至ISP管處理邏輯82。大體而言，ISP管邏輯82之功能為接收可自ISP前端邏輯80提供或自記憶體108擷取之原始影像資料，及(亦即)在將影像資料輸出至顯示器件28之前執行額外影像處理操作。
在圖32中描繪展示ISP管邏輯82之一實施例的方塊圖。如所說明，ISP管邏輯82可包括原始處理邏輯414、RGB處理邏輯416及YCbCr處理邏輯418。如下文將進一步論述，原始處理邏輯414可執行各種影像處理操作，諸如缺陷像素偵測及校正、透鏡陰影校正、去馬賽克，以及應用自動白平衡之增益及/或設定黑階。如本實施例中所示，取決於選擇邏輯420之當前組態，至原始處理邏輯414之輸入信號422可為來自ISP前端邏輯80之原始像素輸出109(信號FEProcOut)或來自記憶體108之原始像素資料112。
作為在原始處理邏輯414內執行之去馬賽克操作之結果，影像信號輸出424可係在RGB域中，且可隨後轉遞至RGB處理邏輯416。例如，如圖32中所示，取決於選擇邏輯428之當前組態，RGB處理邏輯416接收信號430，該信號430可為輸出信號424或來自記憶體108之RGB影像信號426。如下文將進一步論述，RGB處理邏輯416可提供各種RGB色彩調整操作，該等操作包括色彩校正(例如，使用色彩校正矩陣)、用於自動白平衡之色彩增益的應用，以及全域色調映射。RGB處理邏輯418亦可提供RGB影像資料至YCbCr(明度/色度)色空間的色空間轉換。因此，影像信號輸出432可係在YCbCr域內，且可隨後轉遞至YCbCr處理邏輯418。
例如，如圖32中所示，取決於選擇邏輯436之當前組態，YCbCr處理邏輯418接收信號438，該信號438可為來自RGB處理邏輯416之輸出信號432或來自記憶體108之YCbCr信號434。如下文將進一步詳細論述，YCbCr處理邏輯418可提供YCbCr色空間中之影像處理操作，該等操作包括按比例縮放，色度抑制，明度清晰化，亮度、對比度及色彩(BCC)調整，YCbCr伽瑪映射、色度整數倍降低取樣(chroma decimation)等。YCbCr處理邏輯418之影像信號輸出440可發送至記憶體108，或可自ISP管處理邏輯82輸出而作為影像信號114(圖7)。影像信號114可發送至顯示器件28(直接地或經由記憶體108)以供使用者閱覽，或可使用壓縮引擎(例如，編碼器118)、CPU/GPU、圖形引擎或其類似者加以進一步處理。
根據本發明之技術之實施例，ISP管邏輯82可支援呈8位元、10位元、12位元或14位元格式之原始像素資料的處理。例如，在一實施例中，8位元、10位元或12位元輸入資料可在原始處理邏輯414之輸入處轉換為14位元，且原始處理及RGB處理操作可以14位元精度來執行。在後者實施例中，14位元影像資料在將RGB資料轉換至YCbCr色空間之前可經減小取樣至10位元，且YCbCr處理(邏輯418)可以10位元精度來執行。
為了提供由ISP管處理邏輯82提供之各種功能之綜合描述，以原始處理邏輯414開始，下文將順序論述原始處理邏輯414、RGB處理邏輯416及YCbCr處理邏輯418中之每一者以及用於執行可在邏輯414、416及418之每一各別單元中實施之各種影像處理操作的內部邏輯。例如，現參看圖33，說明根據本發明之技術之一實施例的展示原始處理邏輯414之一實施例之更詳細視圖的方塊圖。如圖所示，原始處理邏輯414包括增益、偏移及箝位(GOC)邏輯442、缺陷像素偵測/校正(DPDC)邏輯444、雜訊減少邏輯446、透鏡陰影校正邏輯448、GOC邏輯450，及去馬賽克邏輯452。另外，雖然下文所論述之實例假設使用拜耳濾色器陣列與影像感測器90，但應理解，本發明之技術之其他實施亦可利用不同類型之濾色器。
可為原始影像信號之輸入信號422首先由增益、偏移及箝位(GOC)邏輯442接收到。相對於如上文在圖20中所論述之ISP前端邏輯80之統計量處理單元120的BLC邏輯306，GOC邏輯442可提供類似功能，且可以類似方式來實施。例如，GOC邏輯442針對拜耳影像感測器之每一色彩分量R、B、Gr及Gb可獨立地提供數位增益、偏移及箝位(截割)。特定而言，GOC邏輯442可執行自動白平衡或設定原始影像資料之黑階。另外，在一些實施例中，GOC邏輯442亦可用以校正或補償Gr色彩分量與Gb色彩分量之間的偏移。
在運算中，首先將當前像素之輸入值偏移一帶正負號之值，且乘以一增益。此運算可使用上文展示於等式9中之式子來執行，其中X表示給定色彩分量R、B、Gr或Gb之輸入像素值，O[c]表示當前色彩分量c之帶正負號之16位元偏移，且G[c]表示色彩分量c的增益值。可在先前於統計量處理期間(例如，在ISP前端區塊80中)判定G[c]之值。在一實施例中，增益G[c]可為具有2個整數位元及14個分數位元之16位元無正負號之數字(例如，2.14浮點表示)，且可在捨入情況下應用增益G[c]。僅作為實例，增益G[c]可具有在0至4X之間的範圍。
自等式9計算出之像素值Y(其包括增益G[c]及偏移O[c])接著根據等式10截割為最小值與最大值範圍。如上文所論述，變數min[c]及max[c]可分別表示最小輸出值及最大輸出值之帶正負號的16位元「截割值」。在一實施例中，GOC邏輯442亦可經組態以針對每一色彩分量維持分別高於最大值範圍且低於最小值範圍的經截割之像素之數目的計數。
隨後，將GOC邏輯442之輸出轉遞至缺陷像素偵測及校正邏輯444。如上文參看圖20(DPDC邏輯304)所論述，缺陷像素可係歸因於多種因素，且可包括「熱」(或漏溢)像素、「卡色像素」及「無作用像素」，其中熱像素相對於非缺陷像素展現高於正常電荷漏溢的電荷漏溢，且因此可顯現為亮於非缺陷像素，且其中卡色像素顯現為始終接通(例如，完全充電)且因此顯現為較亮的，而無作用像素顯現為始終斷開。因而，可能需要具有一足夠強健以識別並解決不同類型故障情境之像素偵測方案。特定而言，在與僅可提供動態缺陷偵測/校正之前端DPDC邏輯304相比較時，管DPDC邏輯444可提供固定或靜態缺陷偵測/校正、動態缺陷偵測/校正以及光斑移除。
根據當前所揭示之技術之實施例，由DPDC邏輯444執行之缺陷像素校正/偵測針對每一色彩分量(例如，R、B、Gr及Gb)可獨立發生，且可包括用於偵測缺陷像素以及用於校正偵測到之缺陷像素的各種操作。例如，在一實施例中，缺陷像素偵測操作可提供靜態缺陷、動態缺陷之偵測以及光斑之偵測，光斑可指代可存在於成像感測器中之電干擾或雜訊(例如，光子雜訊)。照此類推，類似於靜電可顯現於顯示器(諸如，電視顯示器)上之方式，光斑在影像上可顯現為看起來隨機之雜訊假影。另外，如上文所指出，在像素於給定時間特徵化為有缺陷像素可取決於鄰近像素中之影像資料的意義上，動態缺陷校正視為動態的。舉例而言，若卡色像素之位置係在當前影像之由明亮白色色彩佔優勢之區域中，則可能並不將始終在最大亮度上之卡色像素視為缺陷像素。相反，若卡色像素係在當前影像之由黑色或較暗色彩佔優勢之區中，則卡色像素在DPDC邏輯444進行之處理期間可識別為缺陷像素，且相應地經校正。
關於靜態缺陷偵測，比較每一像素之位置與靜態缺陷表，該靜態缺陷表可儲存對應於已知有缺陷的像素之位置之資料。例如，在一實施例中，DPDC邏輯444可監視缺陷像素之偵測(例如，使用計數器機構或暫存器)，且若將特定像素觀察為重複地出故障，則將該像素之位置儲存於靜態缺陷表中。因此，在靜態缺陷偵測期間，若判定當前像素之位置係在靜態缺陷表中，則將當前像素識別為缺陷像素，且替換值經判定並暫時儲存。在一實施例中，替換值可為同一色彩分量之前一像素(基於掃描次序)的值。如下文將論述，替換值可用以在動態/光斑缺陷偵測及校正期間校正靜態缺陷。另外，若該前一像素在原始圖框154(圖9)外，則不使用其值，且可在動態缺陷校正程序期間校正靜態缺陷。另外，歸因於記憶體考慮，靜態缺陷表可能儲存有限數目個位置項。例如，在一實施例中，靜態缺陷表可實施為FIFO佇列，其經組態以儲存每兩列影像資料之總計16個位置。界定於靜態缺陷表中之位置仍將使用前一像素替換值(而非經由下文所論述之動態缺陷偵測程序)來校正。如上文所提及，本發明之技術之實施例亦可提供隨時間間歇性地更新靜態缺陷表。
實施例可提供待實施於晶載記憶體或晶片外記憶體中之靜態缺陷表。如將瞭解，使用晶載實施可增大總體晶片面積/大小，而使用晶片外實施可減小晶片面積/大小，但增大記憶體頻寬要求。因此，應理解，取決於特定實施要求(亦即，將儲存於靜態缺陷表內之像素之總數)，靜態缺陷表可實施於晶片上或晶片外。
動態缺陷及光斑偵測程序相對於上文所論述之靜態缺陷偵測程序可經時間移位。例如，在一實施例中，動態缺陷及光斑偵測程序可在靜態缺陷偵測程序已分析兩掃描列像素之後開始。如可瞭解，此情形允許在動態/光斑偵測發生之前識別靜態缺陷及其待判定之各別替換值。舉例而言，在動態/光斑偵測程序期間，若當前像素先前被標記為靜態缺陷，則使用先前存取之替換值而非應用動態/光斑偵測操作來簡單地校正該靜態缺陷。
關於動態缺陷及光斑偵測，此等程序可順序或並行地發生。由DPDC邏輯444執行之動態缺陷及光斑偵測及校正可依賴於使用像素至像素方向梯度之適應性邊緣偵測。在一實施例中，DPDC邏輯444可選擇使用具有同一色彩分量之當前像素的係在原始圖框154(圖9)內之八個直接鄰近像素。換言之，當前像素及其八個直接鄰近像素P0、P1、P2、P3、P4、P5、P6及P7可形成一如下文在圖34中所示之3×3區域。
然而，應注意，取決於當前像素P之位置，在計算像素至像素梯度時並不考慮原始圖框154外之像素。舉例而言，關於展示於圖34中所示之「左上」狀況454，當前像素P係在原始圖框154之左上角處，且因此不考慮原始圖框154外之鄰近像素P0、P1、P2、P3及P5，從而僅留下像素P4、P6及P7(N=3)。在「頂部」狀況456下，當前像素P係在原始圖框154之最頂部邊緣處，且因此不考慮原始圖框154外之鄰近像素P0、P1及P2，從而僅留下像素P3、P4、P5、P6及P7(N=5)。接著，在「右上」狀況458下，當前像素P係在原始圖框154之右上角處，且因此不考慮原始圖框154外之鄰近像素P0、P1、P2、P4及P7，從而僅留下像素P3、P5及P6(N=3)。在「左側」狀況460下，當前像素P係在原始圖框154之最左側邊緣處，且因此不考慮原始圖框154外之鄰近像素P0、P3及P5，從而僅留下像素P1、P2、P4、P6及P7(N=5)。
在「中心」狀況462下，所有像素P0至P7位於原始圖框154內，且因此用於判定像素至像素梯度中(N=8)。在「右側」狀況464下，當前像素P係在原始圖框154之最右側邊緣處，且因此不考慮原始圖框154外之鄰近像素P2、P4及P7，從而僅留下像素P0、P1、P3、P5及P6(N=5)。另外，在「左下」狀況466下，當前像素P係在原始圖框154之左下角處，且因此不考慮原始圖框154外之鄰近像素P0、P3、P5、P6及P7，從而僅留下像素P1、P2及P4(N=3)。在「底部」狀況468下，當前像素P係在原始圖框154之最底部邊緣處，且因此不考慮原始圖框154外之鄰近像素P5、P6及P7，從而僅留下像素P0、P1、P2、P3及P4(N=5)。最後，在「右下」狀況470下，當前像素P係在原始圖框154之右下角處，且因此不考慮原始圖框154外之鄰近像素P2、P4、P5、P6及P7，從而僅留下像素P0、P1及P3(N=3)。
因此，取決於當前像素P之位置，用於判定像素至像素梯度中之像素的數目可為3、5或8。在所說明實施例中，對於圖片邊界(例如，原始圖框154)內之每一鄰近像素(k=0至7)，可如下計算像素至像素梯度：
G k =abs (P -P k )，對於0 k 7(僅對於原始圖框內之k )　(17)
另外，如由以下等式所示，平均梯度Gav 可計算為當前像素與其周圍像素之平均值Pav 之間的差：
，其中N=3、5或8(取決於像素位置)　(18)
G av =abs (P -P av )　(19)
如下文進一步論述，像素至像素梯度值(等式17)可用於判定動態缺陷狀況，且鄰近像素之平均值(等式18及19)可用於識別光斑狀況。
在一實施例中，動態缺陷偵測可由DPDC邏輯444如下執行。首先，假設在某數目個梯度Gk 係處於或低於由變數dynTh指示之特定臨限值(動態缺陷臨限值)之情況下，一像素為有缺陷的。因此，對於每一像素，對圖片邊界內之鄰近像素的處於或低於臨限值dynTh之梯度之數目的計數(C)進行累積。臨限值dynTh可為固定臨限分量與動態臨限分量之組合，該動態臨限分量可取決於周圍像素存在之「活動性」。例如，在一實施例中，如下文所說明，可藉由基於對平均像素值Pav (等式18)與每一鄰近像素之間的絕對差求和計算高頻分量值Phf 來判定dynTh之動態臨限分量：
其中N=3、5或8　(20)
在像素位於影像角落(N=3)或影像邊緣(N=5)處之個例中，可使Phf 分別乘以8/3或8/5。如可瞭解，此情形確保基於八個鄰近像素(N=8)來正規化高頻分量Phf 。
一旦判定出Phf ，即可如下文所示計算動態缺陷偵測臨限值dynTh：
dynTh=dynTh1 +(dynTh2 ×Phf )，　(21)
其中dynTh1 表示固定臨限分量，且其中dynTh2 表示動態臨限分量，且在等式21中為Phf 之乘數。對於每一色彩分量可提供不同之固定臨限分量dynTh1 ，但對於具有同一色彩之每一像素，dynTh1 為相同的。僅作為實例，dynTh1 可經設定使得其至少高於影像中之雜訊的變異。
可基於影像之一些特性來判定動態臨限分量dynTh2 。例如，在一實施例中，可使用關於曝光及/或感測器積分時間之所儲存經驗資料來判定dynTh2 。可在影像感測器(例如，90)之校準期間判定經驗資料，且可使可經選擇以用於dynTh2 之動態臨限分量值與多個資料點中之每一者相關聯。因此，基於在ISP前端邏輯80中之統計量處理期間可判定之當前曝光及/或感測器積分時間值，可藉由自對應於當前曝光及/或感測器積分時間值之所儲存經驗資料選擇動態臨限分量值來判定dynTh2 。另外，若當前曝光及/或感測器積分時間值並不直接對應於經驗資料點中之一者，則可藉由對與當前曝光及/或感測器積分時間值落於其間的資料點相關聯之動態臨限分量值進行內插來判定dynTh2 。另外，類似於固定臨限分量dynTh1 ，動態臨限分量dynTh2 對於每一色彩分量可具有不同值。因此，複合臨限值dynTh對於每一色彩分量(例如，R、B、Gr、Gb)可變化。
如上文所提及，對於每一像素，判定圖片邊界內之鄰近像素的處於或低於臨限值dynTh之梯度之數目的計數C。例如，對於原始圖框154內之每一鄰近像素，可如下計算處於或低於臨限值dynTh之梯度Gk 的經累積之計數C：
其中0 k 7(僅針對原始圖框內之k )
接著，若判定經累積之計數C小於或等於由變數dynMaxC指示之最大計數，則可將像素視為動態缺陷。在一實施例中，對於N=3(角落)、N=5(邊緣)及N=8之條件可提供不同之dynMaxC值。此邏輯表達如下：
若(C dynMaxC)，則當前像素P為有缺陷的。　(23)
如上文所提及，可將缺陷像素之位置儲存至靜態缺陷表中。在一些實施例中，在當前像素之動態缺陷偵測期間計算出之最小梯度值(min(Gk ))可經儲存，且可用以對缺陷像素進行分類，使得較大之最小梯度值指示缺陷之較大「嚴重性」，且應在像素校正期間在校正較不嚴重之缺陷之前予以校正。在一實施例中，一像素可能需要(諸如)藉由對缺陷像素隨時間推移之位置進行濾波而在儲存至靜態缺陷表中之前於多個成像圖框上進行處理。在後者實施例中，僅在缺陷顯現於同一位置處之特定數目個連續影像中的情況下，缺陷像素之位置可儲存於靜態缺陷表中。另外，在一些實施例中，靜態缺陷表可經組態以基於最小梯度值對所儲存缺陷像素位置進行分類。例如，最高之最小梯度值可指示具有較大「嚴重性」之缺陷。藉由以此方式對位置排序，可設定靜態缺陷校正之優先權，使得首先校正最嚴重或最重要之缺陷。另外，可隨時間推移更新靜態缺陷表以使其包括新偵測到之靜態缺陷，且相應地基於新偵測到之靜態缺陷的各別最小梯度值對其進行排序。
可與上文所描述之動態缺陷偵測程序並行地發生之光斑偵測可藉由判定值Gav (等式19)是否高於光斑偵測臨限值spkTh來執行。類似於動態缺陷臨限值dynTh，光斑臨限值spkTh亦可包括分別由spkTh1 及spkTh2 指代之固定分量及動態分量。一般而言，相較於dynTh1 及dynTh2 值，可經更「積極地」設定固定分量spkTh1 及動態分量spkTh2 ，以便避免在影像之可經更濃密紋理化之區域及其他區域(諸如，文字、樹葉、某些織物圖案等)中錯誤地偵測到光斑。因而，在一實施例中，動態光斑臨限分量spkTh2 對於影像之高紋理區域可增大，且對於「較平坦」或更均勻區域可降低。可如下文所示計算光斑偵測臨限值spkTh：
spkTh=spkTh1 +(spkTh2 ×Phf )，　(24)
其中spkTh1 表示固定臨限分量，且其中spkTh2 表示動態臨限分量。可接著根據以下表達判定光斑偵測：
若(G av >spkTh)，則當前像素P有光斑。　(25)
一旦已識別出缺陷像素，DPDC邏輯444即可取決於偵測到之缺陷類型而應用像素校正操作。例如，若將缺陷像素識別為靜態缺陷，則由如上文所論述之所儲存替換值(例如，具有同一色彩分量之前一像素的值)替換像素。若像素識別為動態缺陷或光斑，則可如下執行像素校正。首先，如下文所示，計算梯度作為中心像素與第一鄰近像素及第二鄰近像素之間在四個方向(水平(h)方向、垂直(v)方向，對角正方向(dp)及對角負方向(dn))上之絕對差的總和(例如，等式17之G k 的計算)：
G h =G 3 +G 4 　(26)
G v =G 1 +G 6 　(27)
G dp =G 2 +G 5 　(28)
G dn =G 0 +G 7 　(29)
接著，可經由與具有最小值之方向梯度Gh 、Gv 、Gdp 及Gdn 相關聯之兩個鄰近像素之線性內插來判定校正像素值PC 。例如，在一實施例中，以下邏輯陳述可表達PC 之計算：
由DPDC邏輯444實施之像素校正技術亦可提供邊界條件下之異常情況。例如，若與所選擇內插方向相關聯之兩個鄰近像素中的一者係在原始圖框外，則替代地代替在原始圖框內之鄰近像素的值。因此，使用此技術，校正像素值將等於原始圖框內之鄰近像素的值。
應注意，在ISP管處理期間由DPDC邏輯444應用之缺陷像素偵測/校正技術相較於ISP前端邏輯80中之DPDC邏輯304更為強健。如在以上實施例中所論述，DPDC邏輯304使用僅水平方向上之鄰近像素而僅執行動態缺陷偵測及校正，而DPDC邏輯444使用水平方向及垂直方向兩者上之鄰近像素提供靜態缺陷、動態缺陷以及光斑的偵測及校正。
如將瞭解，使用靜態缺陷表儲存缺陷像素之位置可在較低記憶體要求下提供缺陷像素之時間濾波。例如，相較於儲存整個影像且應用時間濾波以隨時間推移而識別靜態缺陷之許多習知技術，本發明之技術之實施例僅儲存缺陷像素之位置，其通常可使用儲存整個影像圖框所需要之記憶體的一小部分來進行。另外，如上文所論述，儲存最小梯度值(min(Gk ))允許靜態缺陷表之有效使用，從而將校正缺陷像素的位置之次序區分優先順序(例如，以將係最明顯之彼等缺陷像素開始)。
另外，使用包括動態分量(例如，dynTh2 及spkTh2 )之臨限值可有助於減小錯誤缺陷偵測(在處理影像之高紋理區域(例如，文字、樹葉、某些織物圖案等)時通常在習知影像處理系統中遭遇的問題)。另外，將方向梯度(例如，h、v、dp、dn)用於像素校正在錯誤缺陷偵測發生之情況下可減小視覺假影之顯現。例如，在最小梯度方向上進行濾波可導致在多數狀況下，甚至在錯誤偵測之狀況下仍產生可接受結果之校正。另外，在梯度計算中包括當前像素P可改良梯度偵測之準確度，特別是在熱像素之狀況下。
上文所論述之由DPDC邏輯444實施之缺陷像素偵測及校正技術可藉由提供於圖35至圖37中之一系列流程圖來概述。例如，首先參看圖35，說明用於偵測靜態缺陷之程序472。最初於步驟474開始，在第一時間T0 接收輸入像素P。接著，在步驟476處，比較像素P之位置與儲存於靜態缺陷表中之值。決策邏輯478判定在靜態缺陷表中是否找到像素P之位置。若P之位置係在靜態缺陷表中，則程序472繼續至步驟480，其中將像素P標記為靜態缺陷並判定替換值。如上文所論述，可基於同一色彩分量之前一像素(以掃描次序)的值來判定替換值。程序472接著繼續至步驟482，在該步驟482處，程序472進行至說明於圖36中之動態及光斑偵測程序484。另外，在決策邏輯478處，若判定像素P之位置不在靜態缺陷表中，則程序472不執行步驟480而進行至步驟482。
繼續至圖36，如由步驟486所示，在時間T1接收輸入像素P，從而進行處理以判定動態缺陷或光斑是否存在。時間T1可表示相對於圖35之靜態缺陷偵測程序472之時間移位。如上文所論述，動態缺陷及光斑偵測程序可在靜態缺陷偵測程序已分析兩掃描列像素之後開始，因此留出在動態/光斑偵測發生之前識別靜態缺陷並判定其各別替換值的時間。
決策邏輯488判定，輸入像素P先前是否被標記為靜態缺陷(例如，藉由程序472之步驟480)。若P被標記為靜態缺陷，則程序484可繼續至展示於圖37中之像素校正程序，且可略過展示於圖36中之剩餘步驟。若決策邏輯488判定輸入像素P並非靜態缺陷，則程序繼續至步驟490，且識別可用於動態缺陷及光斑程序中的鄰近像素。例如，根據上文所論述並說明於圖34中之實施例，鄰近像素可包括像素P之緊鄰的8個鄰近像素(例如，P0至P7)，因此形成3×3像素區域。接著，在步驟492處，如上文在等式17中所描述，相對於原始圖框154內之每一鄰近像素來計算像素至像素梯度。另外，如在等式18及19中所示，平均梯度(Gav )可計算為當前像素與其周圍像素之平均值之間的差。
程序484接著分支至用於動態缺陷偵測之步驟494及用於光斑偵測之決策邏輯502。如上文所指出，動態缺陷偵測及光斑偵測在一些實施例中可並行發生。在步驟494處，判定小於或等於臨限值dynTh之梯度之數目的計數C。如上文所描述，臨限值dynTh可包括固定分量及動態分量，且在一實施例中可根據上文之等式21來判定臨限值dynTh。若C小於或等於最大計數dynMaxC，則程序484繼續至步驟500，且將當前像素標記為動態缺陷。其後，程序484可繼續至下文將論述之展示於圖37中的像素校正程序。
返回步驟492之後的分支，對於光斑偵測，決策邏輯502判定平均梯度Gav 是否大於亦可包括固定分量及動態分量之光斑偵測臨限值spkTh。若Gav 大於臨限值spkTh，則在步驟504處將像素P標記為含有光斑，且其後，程序484繼續至圖37從而校正有光斑之像素。另外，若決策邏輯區塊496及502兩者之輸出為「否」，則此情形指示像素P並不含有動態缺陷、光斑或甚至靜態缺陷(決策邏輯488)。因此，當決策邏輯496及502之輸出皆為「否」時，程序484可於步驟498處終止，藉此由於未偵測到缺陷(例如，靜態缺陷、動態缺陷或光斑)而將像素P保持不變。
繼續至圖37，提供根據上文所描述之技術的像素校正程序506。在步驟508處，自圖36之程序484接收輸入像素P。應注意，像素P可由程序506自步驟488(靜態缺陷)或自步驟500(動態缺陷)及504(光斑缺陷)接收。決策邏輯510接著判定像素P是否被標記為靜態缺陷。若像素P為靜態缺陷，則程序506繼續且於步驟512處結束，藉此使用在步驟480(圖35)處判定之替換值來校正靜態缺陷。
若並未將像素P識別為靜態缺陷，則程序506自決策邏輯510繼續至步驟514，且計算方向梯度。例如，如上文參看等式26至29所論述，可將梯度計算為中心像素與第一及第二鄰近像素之間在四個方向(h、v、dp及dn)上之絕對差的總和。接著，在步驟516處，識別具有最小值之方向梯度，且其後，決策邏輯518評估與最小梯度相關聯之兩個鄰近像素中的一者是否位於影像圖框(例如，原始圖框154)外。若兩個鄰近像素係在影像圖框內，則程序506繼續至步驟520，且如由等式30所說明，藉由將線性內插應用至兩個鄰近像素之值來判定像素校正值(PC )。其後，如步驟526處所示，可使用內插像素校正值PC 來校正輸入像素P。
返回至決策邏輯518，若判定兩個鄰近像素中之一者位於影像圖框(例如，原始圖框165)外，則如步驟522處所示，DPDC邏輯444可由在影像圖框內之另一鄰近像素之值(Pin)代替外部像素之值(Pout)而非使用Pout的值。其後，在步驟524處，藉由對Pin之值及經代替之Pout的值進行內插來判定像素校正值PC 。換言之，在此狀況下，PC 可等於Pin之值。在步驟526處終止，使用值PC 來校正像素P。在繼續之前，應理解，本文中參看DPDC邏輯444論述之特定缺陷像素偵測及校正程序意欲反映本發明之技術之僅一可能實施例。實際上，取決於設計及/或成本約束，多個變化為可能的，且可添加或移除多個特徵，使得缺陷偵測/校正邏輯之總體複雜度及強健性係在實施於ISP前端區塊80中之較簡單之缺陷偵測/校正邏輯304與此處參看DPDC邏輯444所論述的缺陷偵測/校正邏輯之間。
返回參看圖33，經校正像素資料自DPDC邏輯444輸出，且接著由雜訊減少邏輯446接收到以供進一步處理。在一實施例中，雜訊減少邏輯446可經組態以實施二維邊緣適應性低通濾波以減小影像資料中之雜訊，同時維持細節及紋理。邊緣適應性臨限值可基於當前照明度來設定(例如，藉由控制邏輯84)，使得濾波在低光條件下可經加強。另外，如上文關於dynTh及spkTh值之判定所簡要提及，對於給定感測器可提前判定雜訊變異，使得雜訊減少臨限值可設定為恰高於雜訊變異，從而使得在雜訊減少處理期間，雜訊經減小而不顯著影響場景之紋理及細節(例如，避免/減小錯誤偵測)。採納拜耳濾色器實施，雜訊減少邏輯446可使用可分離之7分接頭水平濾波器及5分接頭垂直濾波器來獨立地處理每一色彩分量Gr、R、B及Gb。在一實施例中，可藉由校正綠色色彩分量(Gb及Gr)之非均勻性且接著執行水平濾波及垂直濾波來進行雜訊減少程序。
綠色非均勻性(GNU)之特性大體上在於在給定經均勻照明之平坦表面情況下Gr像素與Gb像素之間的微小亮度差。在不校正或補償此非均勻性之情況下，諸如「迷宮(maze)」假影之某些假影在去馬賽克之後可能顯現於全色影像中。若當前綠色像素(G1)與當前像素之右下綠色像素(G2)之間的絕對差小於GNU校正臨限值(gnuTh)，則綠色非均勻性程序可包括針對原始拜耳影像資料中之每一綠色像素進行判定。圖38說明拜耳圖案之2×2區域中之G1像素及G2像素的位置。如圖所示，像素邊沿G1之色彩可取決於當前綠色像素為Gb像素或是Gr像素。例如，若G1為Gr，則G2為Gb，G1右側之像素為R(紅色)，且G1下方之像素為B(藍色)。或者，若G1為Gb，則G2為Gr，且G1右側之像素為B，而G1下方之像素為R。若G1與G2之間的絕對差小於GNU校正臨限值，則如由以下邏輯所示，當前綠色像素G1由G1與G2之平均值替換：
若(abs(G1-G2)gnuTh)；則
如可瞭解，以此方式應用綠色非均勻性校正可有助於防止G1像素及G2像素跨越邊緣進行平均，因此改良及/或保持清晰度。
水平濾波隨後應用至綠色非均勻性校正，且在一實施例中可提供7分接頭水平濾波器。計算跨越每一濾波器分接頭之邊緣的梯度，且若該梯度高於水平邊緣臨限值(horzTh)，則如下文將說明，將濾波器分接頭摺疊至中心像素。水平濾波器可針對每一色彩分量(R、B、Gr、Gb)獨立地處理影像資料，且可使用未經濾波之值作為輸入值。
作為實例，圖39展示水平像素P0至P6之一集合的圖形描繪，其中中心分接頭定位於P3處。基於展示於圖39中之像素，可計算如下每一濾波器分接頭之邊緣梯度：
Eh0=abs(P0-P1)　(32)
Eh1=abs(P1-P2)　(33)
Eh2=abs(P2-P3)　(34)
Eh3=abs(P3-P4)　(35)
Eh4=abs(P4-P5)　(36)
Eh5=abs(P5-P6)　(37)
邊緣梯度Eh0至Eh5可接著由水平濾波器組件利用以使用展示於以下等式38中之式子來判定水平濾波輸出Phorz ：
Phorz =C0×[(Eh2>horzTh[c])?P3:(Eh1>horzTh[c])?P2:(Eh0>horzTh[c])?P1:P0]+C1×[(Eh2>horzTh[c])?P3:(Eh1>horzTh[c])?P2:P1]+C2×[(Eh2>horzTh[c])?P3:P2]+C3×P3+　(38)C4×[(Eh3>horzTh[c])?P3:P4]+C5×[(Eh3>horzTh[c])?P3:(Eh4>horzTh[c])?P4:P5]+C6×[(Eh3>horzTh[c])?P3:(Eh4>horzTh[c])?P4:(Eh5>horzTh[c])?P5:P6],
其中horzTh[c]為每一色彩分量c(例如，R、B、Gr及Gb)之水平邊緣臨限值，且其中C0至C6為分別對應於像素P0至P6之濾波器分接頭係數。水平濾波器輸出Phorz 可應用於中心像素P3位置處。在一實施例中，濾波器分接頭係數C0至C6可為具有3個整數位元及13個分數位元的16位元二之補數的值(以浮點表示為3.13)。另外，應注意，濾波器分接頭係數C0至C6不必相對於中心像素P3對稱。
在綠色非均勻性校正及水平濾波程序之後，雜訊減少邏輯446亦應用垂直濾波。在一實施例中，垂直濾波操作可提供如圖40中所示之5分接頭濾波器，其中垂直濾波器之中心分接頭位於P2處。垂直濾波程序可以類似於如上文所描述之水平濾波程序之方式的方式發生。例如，計算跨越每一濾波器分接頭之邊緣的梯度，且若該梯度高於垂直邊緣臨限值(vertTh)，則將濾波器分接頭摺疊至中心像素P2。垂直濾波器可針對每一色彩分量(R、B、Gr、Gb)獨立地處理影像資料，且可使用未經濾波之值作為輸入值。
基於展示於圖40中之像素，可如下計算每一濾波器分接頭之垂直邊緣梯度：
Ev0=abs(P0-P1)　(39)
Ev1=abs(P1-P2)　(40)
Ev2=abs(P2-P3)　(41)
Ev3=abs(P3-P4)　(42)
邊緣梯度Ev0至Ev5可接著由垂直濾波器利用以使用展示於以下等式43中之式子來判定垂直濾波輸出Pvert ：
其中vertTh[c]為每一色彩分量c(例如，R、B、Gr及Gb)之垂直邊緣臨限值，且其中C0至C4為分別對應於圖40之像素P0至P4之濾波器分接頭係數。垂直濾波器輸出Pvert 可應用於中心像素P2位置處。在一實施例中，濾波器分接頭係數C0至C4可為具有3個整數位元及13個分數位元的16位元二之補數的值(以浮點表示為3.13)。另外，應注意，濾波器分接頭係數C0至C4不必相對於中心像素P2對稱。
另外，關於邊界條件，當鄰近像素在原始圖框154(圖9)外時，限界外像素之值由原始圖框之邊緣處的同一色彩像素之值來複製。對於水平濾波操作及垂直濾波操作兩者可實施此慣例。作為實例，再次參看圖39，在水平濾波之狀況下，若像素P2為原始圖框之最左側邊緣處的邊緣像素，且像素P0及P1在原始圖框外，則像素P0及P1之值由像素P2之值代替以用於水平濾波。
再次返回參看展示於圖33中之原始處理邏輯414之方塊圖，雜訊減少邏輯446之輸出隨後發送至透鏡陰影校正(LSC)邏輯448以供處理。如上文所論述，透鏡陰影校正技術可包括逐個像素地應用適當增益以補償光強度之下降，光強度之下降可為透鏡之幾何光學、製造中之瑕疵、微透鏡陣列與彩色陣列濾波器之對齊不良等的結果。另外，一些透鏡中之紅外線(IR)濾波器可使得下降取決於發光體，且因此透鏡陰影增益可取決於偵測到之光源而加以調適。
在所描繪實施例中，ISP管82之LSC邏輯448可以類似方式實施，且因此提供與ISP前端區塊80之如上文參看圖23至圖31論述之LSC邏輯308之功能大體上相同的功能。因而，為了避免冗餘，應理解，當前所說明實施例之LSC邏輯448經組態而以與LSC邏輯304大體上相同之方式操作，且因而此處將不重複上文提供之透鏡陰影校正技術的描述。然而，為了大體上進行概述，應理解，LSC邏輯448可獨立地處理原始像素資料流之每一色彩分量，以判定要應用至當前像素之增益。根據上文所論述之實施例，可基於跨越成像圖框分佈之增益柵格點之所界定集合來判定透鏡陰影校正增益，其中每一柵格點之間的間隔由多個像素(例如，8個像素、16個像素等)來界定。若當前像素之位置對應於柵格點，則將與該柵格點相關聯之增益值應用至當前像素。然而，若當前像素之位置係在柵格點(例如，圖26之G0、G1、G2及G3)之間，則可藉由當前像素位於其間的柵格點之內插(等式11a及11b)來計算LSC增益值。此程序由圖27之程序380來描繪。另外，如上文關於圖25所提及，在一些實施例中，柵格點可不均勻地(例如，對數地)分佈，使得柵格點在LSC區354之中心中較不集中，但朝向LSC區354之通常透鏡陰影失真更顯著之角落更為集中。
另外，如上文參看圖30及圖31所論述，LSC邏輯448亦可應用徑向增益分量與柵格增益值。可基於當前像素距影像中心之距離(等式12至14)來判定徑向增益分量。如所提及，使用徑向增益允許將單一共同增益柵格用於所有色彩分量，其可大大減小儲存每一色彩分量之獨立增益柵格所需要的總儲存空間。由於柵格增益資料表可佔用影像處理硬體中之記憶體或晶片區域之顯著部分，因此柵格增益資料之此減少可降低實施成本。
接著，再次參看圖33之原始處理邏輯方塊圖414，LSC邏輯448之輸出接著傳遞至第二增益、偏移及箝位(GOC)區塊450。GOC邏輯450在去馬賽克(藉由邏輯區塊452)之前可經應用，且可用以對LSC邏輯448之輸出執行自動白平衡。在所描繪實施例中，GOC邏輯450可以與GOC邏輯442(及BLC邏輯306)相同之方式來實施。因此，根據上文之等式9，由GOC邏輯402接收到之輸入首先經偏移一帶正負號之值，且接著乘以一增益。接著將所得值根據等式10截割為最小值與最大值範圍。
其後，將GOC邏輯450之輸出轉遞至去馬賽克邏輯452以供處理，從而基於原始拜耳輸入資料產生全色(RGB)影像。如將瞭解，使用濾色器陣列(諸如，拜耳濾波器)之影像感測器之原始輸出在每一像素經濾波以獲取僅單一色彩分量之意義上為「不完整的」。因此，個別像素之單獨收集之資料不足以判定色彩。因而，可使用去馬賽克技術來藉由為每一像素內插缺失之色彩資料來自原始拜耳資料產生全色影像。
現參看圖41，說明圖形程序流程530，其提供關於去馬賽克可如何應用至原始拜耳影像圖案532以產生全色RGB的一般綜述。如圖所示，原始拜耳影像532之4×4部分534可包括每一色彩分量之獨立通道，該等通道包括綠色通道536、紅色通道538及藍色通道540。因為拜耳感測器中之每一成像像素僅獲取一色彩之資料，所以每一色彩通道536、538及540之色彩資料如由「？」符號所指示可為不完整的。藉由應用去馬賽克技術542，可對來自每一通道之缺失之色彩樣本進行內插。例如，如由參考數字544所展示，內插資料G'可用以填充綠色色彩通道上的缺失之樣本。類似地，內插資料R'可(結合內插資料G' 544)用以填充紅色色彩通道546上之缺失之樣本，且內插資料B'可(結合內插資料G'544)用以填充藍色色彩通道548上的缺失之樣本。因此，作為去馬賽克程序之結果，每一色彩通道(R、G、B)將具有色彩資料全集，其可接著用以重建全色RGB影像550。
現將根據一實施例來描述可由去馬賽克邏輯452實施之去馬賽克技術。在綠色色彩通道上，可對已知綠色樣本使用低通方向濾波器且對相鄰色彩通道(例如，紅色及藍色)使用高通(或梯度)濾波器來對缺失之色彩樣本進行內插。對於紅色及藍色色彩通道，可以類似方式但藉由對已知紅色或綠色值使用低通濾波且對共置之內插綠色值使用高通濾波而對缺失的色彩樣本進行內插。另外，在一實施例中，綠色色彩通道上之去馬賽克可基於初始拜耳色彩資料而利用5×5像素區塊邊緣適應性濾波器。如下文將進一步論述，使用邊緣適應性濾波器可基於經水平及垂直濾波之值的梯度來提供連續加權，其減小在習知去馬賽克技術中常見之某些假影(諸如，頻疊、「棋盤形」或「彩虹」假影)的顯現。
在綠色通道上之去馬賽克期間，使用拜耳影像圖案之綠色像素(Gr及Gb像素)之初始值。然而，為了獲得綠色通道之資料全集，在拜耳影像圖案之紅色及藍色像素處可內插綠色像素值。根據本發明之技術，首先基於上文所提及之5×5像素區塊在紅色及藍色像素處計算分別稱為Eh及Ev之水平能量分量及垂直能量分量。Eh及Ev之值可用以自如下文進一步論述之水平及垂直濾波步驟來獲得邊緣經加權之經濾波值。
作為實例，圖42說明位置(j,i)處之居於5×5像素區塊中心之紅色像素的Eh及Ev值之計算，其中j對應於列，且i對應於行。如圖所示，Eh之計算考慮5×5像素區塊之中間三列(j-1、j、j+1)，且Ev之計算考慮5×5像素區塊之中間三行(i-1、i、i+1)。為了計算Eh，對紅色行(i-2、i、i+2)中之像素中之每一者的總和乘以相應係數(例如，對於行i-2及i+2為-1；且對於行i為2)之絕對值與藍色行(i-1、i+1)中之像素中之每一者的總和乘以相應係數(例如，對於行i-1為1；且對於行i+1為-1)之絕對值求和。為了計算Ev，對紅色列(j-2、j、j+2)中之像素中之每一者的總和乘以相應係數(例如，對於列j-2及j+2為-1；且對於列j為2)之絕對值與藍色列(j-1、j+1)中之像素中之每一者的總和乘以相應係數(例如，對於列j-1為1；且對於列j+1為-1)之絕對值求和。此等計算藉由以下等式44及45予以說明：
Eh =abs[2((P(j-1,i)+P(j,i)+P(j+1,i))-　(44)(P(j-1,i-2)+P(j,i-2)+P(j+1,i-2))-(P(j-1,i+2)+P(j,i+2)+P(j+1,i+2)]+abs[(P(j-1,i-1)+P(j,i-1)+P(j+1,i-1))-(P(j-1,i+1)+P(j,i+1)+P(j+1,i+1)]
Ev =abs[2(P(j,i-1)+P(j,i)+P(j,i+1))-　(45)(P(j-2,i-1)+P(j-2,i)+P(j-2,i+1))-(P(j+2,i-1)+P(j+2,i)+P(j+2,i+1]+abs[(P(j-1,i-1)+P(j-1,i)+P(j-1,i+1))-(P(j+1,i-1)+P(j+1,i)+P(j+1,i+1)]
因此，總能量總和可表達為：Eh+Ev。另外，雖然展示於圖42中之實例說明(j,i)處之紅色中心像素之Eh及Ev的計算，但應理解，對於藍色中心像素可以類似方式判定Eh及Ev值。
接著，可將水平及垂直濾波應用至拜耳圖案以獲得經水平濾波之值Gh及經垂直濾波的值Gv，其可分別表示在水平方向及垂直方向上內插之綠色值。除使用相鄰色彩(R或B)之方向梯度外，亦可在已知鄰近綠色樣本上使用低通濾波器來判定經濾波之值Gh及Gv，以在缺失之綠色樣本之位置處獲得高頻信號。例如，參看圖43，現將說明用於判定Gh之水平內插的實例。
如圖43中所示，在判定Gh時可考慮拜耳影像之紅色列552的五個水平像素(R0、G1、R2、G3及R4)，其中假設R2為(j,i)處之中心像素。與此等五個像素中之每一者相關聯之濾波係數藉由參考數字554來指示。因而，可如下判定中心像素R2之稱為G2'之綠色值的內插：
可接著利用各種數學運算來產生G2'之展示於以下等式47及48中的表達式：
因此，參看圖43及以上等式46至48，(j,i)處之綠色值之水平內插的通用表達式可導出為：
可以類似於Gh之方式來判定垂直濾波分量Gv。舉例而言，參看圖44，在判定Gv時可考慮拜耳影像之紅色行556的五個垂直像素(R0、G1、R2、G3及R4)及其各別濾波係數558，其中假設R2為(j,i)處之中心像素。在已知綠色樣本上使用低通濾波且在垂直方向上之紅色通道上使用高通濾波，可導出Gv之以下表達式：
雖然本文中所論述之實例已展示了紅色像素上內插綠色值，但應理解，在等式49及50中所闡述之表達式亦可用於針對藍色像素之綠色值的水平及垂直內插。
可藉由以上文所論述之能量分量(Eh及Ev)對水平濾波輸出及垂直濾波輸出(Gh及Gv)進行加權以產生以下等式來判定中心像素(j,i)之最終內插綠色值G'：
如上文所論述，能量分量Eh及Ev可提供水平濾波輸出Gh及垂直濾波輸出Gv之邊緣適應性加權，其可有助於減少重建之RGB影像中的影像假影(諸如，彩虹、頻疊或棋盤形假影)。另外，去馬賽克邏輯452可藉由將Eh及Ev值各自設定為1，使得Gh及Gv經同等地加權而提供略過邊緣適應性加權特徵之選項。
在一實施例中，展示於以上等式51中之水平及垂直加權係數可經量化以將加權係數之精度減小為「粗略」值集合。例如，在一實施例中，可將加權係數量化為八個可能之權重比率：1/8、2/8、3/8、4/8、5/8、6/8、7/8及8/8。其他實施例可將加權係數量化為16個值(例如，1/16至16/16)、32個值(1/32至32/32)等。如可瞭解，在與使用全精度值(例如，32位元浮點值)相比較時，加權係數之量化可減小判定加權係數並將加權係數應用至水平及垂直濾波輸出時的實施複雜度。
在其他實施例中，除判定並使用水平及垂直能量分量以將加權係數應用至水平經濾波值(Gh)及垂直經濾波值(Gv)外，當前所揭示之技術亦可判定並利用對角正方向及對角負方向上的能量分量。例如，在此等實施例中，亦可在對角正方向及對角負方向上應用濾波。濾波輸出之加權可包括選擇兩個最高能量分量，及使用所選擇之能量分量來對其各別濾波輸出進行加權。舉例而言，假設兩個最高能量分量對應於垂直方向及對角正方向，則使用垂直能量分量及對角正能量分量對垂直濾波輸出及對角正濾波輸出進行加權，以判定內插綠色值(例如，拜耳圖案之紅色像素位置或藍色像素位置處)。
接著，可藉由以下操作來執行紅色色彩通道及藍色色彩通道上之去馬賽克：在拜耳影像圖案之綠色像素處內插紅色值及藍色值，在拜耳影像圖案之藍色像素處內插紅色值，及在拜耳影像圖案之紅色像素處內插藍色值。根據本發明所論述之技術，缺失之紅色及藍色像素值可使用基於已知鄰近紅色及藍色像素之低通濾波及基於共置之綠色像素值的高通濾波進行內插，共置之綠色像素值取決於當前像素之位置而可為初始值或內插值(來自上文所論述之綠色通道去馬賽克程序)。因此，關於此等實施例，應理解，可首先執行對缺失之綠色值的內插，使得綠色值之完整集合(初始值及內插值兩者)在內插缺失之紅色及藍色樣本時為可用的。
可參看圖45來描述紅色像素值及藍色像素值之內插，圖45說明紅色及藍色去馬賽克可應用至之拜耳影像圖案之各種3×3區塊以及在綠色通道上之去馬賽克期間可能已獲得的內插綠色值(由G'所指定)。首先參看區塊560，可如下判定Gr像素(G11 )之內插紅色值R'11 ：
其中如由參考數字568所展示，G'10 及G'12 表示內插綠色值。類似地，可如下判定Gr像素(G11 )之內插藍色值B'11 ：
其中G'01 及G'21 表示內插綠色值(568)。
接著，參看其中中心像素為Gb像素(G11 )之像素區塊562，可如以下等式54及55中所示判定內插紅色值R'11 及內插藍色值B'11 ：
另外，參看像素區塊564，可如下判定藍色像素B11 上之紅色值之內插：
其中如由參考數字570所示，G'00 、G'02 、G'11 、G'20 及G'22 表示內插綠色值。最終，如由像素區塊566所示，可如下計算紅色像素上之藍色值的內插：
雖然上文所論述之實施例依賴於色差(例如，梯度)用於判定紅色內插值及藍色內插值，但另一實施例可使用色比來提供內插紅色值及藍色值。例如，可使用內插綠色值(區塊568及570)來獲得拜耳影像圖案之紅色像素位置及藍色像素位置處的色比，且可使用比率之線性內插來判定缺失之色彩樣本的內插色比。可為內插值或初始值之綠色值可乘以內插色比以獲得最終內插色值。例如，紅色像素值及藍色像素值之使用色比的內插可根據下式來執行，其中等式58及59展示Gr像素之紅色值及藍色值之內插，等式60及61展示Gb像素之紅色值及藍色值的內插，等式62展示藍色像素上之紅色值之內插，且等式63展示紅色像素上之藍色值的內插：
(G 11 為Gr像素時內插之R' 11 )
(G 11 為Gr像素時內插之B' 11 )
(G 11 為Gb像素時內插之R' 11 )
(G 11 為Gb像素時內插之B' 11 )
(藍色像素B 11 上內插之R' 11 )
(紅色像素R 11 上內插之B' 11 )
一旦已對來自拜耳影像圖案之每一影像像素的缺失之色彩樣本進行了內插，即可組合紅色色彩通道、藍色色彩通道及綠色色彩通道(例如，圖41之544、546及548)中之每一者的色值之完整樣本以產生全色RGB影像。例如，返回參看圖32及圖33，原始像素處理邏輯414之輸出424可為呈8、10、12或14位元格式之RGB影像信號。
現參看圖46至圖49，說明根據所揭示實施例之各種流程圖，該等流程圖說明用於使原始拜耳影像圖案去馬賽克之程序。具體而言，圖46之程序572描繪針對給定輸入像素P將對哪一色彩分量進行內插之判定。基於由程序572進行之判定，可執行(例如，藉由去馬賽克邏輯452)以下各程序中之一或多者：用於內插綠色值之程序584(圖47)、用於內插紅色值之程序596(圖48)，或用於內插藍色值之程序608(圖49)。
以圖46開始，程序572於步驟574處接收輸入像素P時開始。決策邏輯576判定輸入像素之色彩。例如，此可取決於像素在拜耳影像圖案內之位置。因而，若將P識別為綠色像素(例如，Gr或Gb)，則程序572進行至步驟578以獲得P之經內插紅色值及藍色值。此可包括(例如)分別繼續至圖48及圖49之程序596及608。若將P識別為紅色像素，則程序572進行至步驟580以獲得P之內插綠色值及藍色值。此可包括進一步分別執行圖47及圖49之程序584及608。另外，若將P識別為藍色像素，則程序572進行至步驟582以獲得P之內插綠色值及紅色值。此可包括進一步分別執行圖47及圖48之程序584及596。下文進一步描述程序584、596及608中之每一者。
用於判定輸入像素P之內插綠色值之程序584在圖47中予以說明，且包括步驟586至594。在步驟586處，接收輸入像素P(例如，來自程序572)。接著，在步驟588處，識別形成5×5像素區塊之鄰近像素集合，其中P為5×5區塊的中心。其後，在步驟590處，分析像素區塊以判定水平能量分量及垂直能量分量。例如，可分別根據用於計算Eh及Ev之等式44及45來判定水平能量分量及垂直能量分量。如所論述，能量分量Eh及Ev可用作加權係數以提供邊緣適應性濾波，且因此減小最終影像中某些去馬賽克假影的顯現。在步驟592處，在水平方向及垂直方向上應用低通濾波及高通濾波以判定水平濾波輸出及垂直濾波輸出。舉例而言，可根據等式49及50計算水平濾波輸出Gh及垂直濾波輸出Gv。接著，程序572繼續至步驟594，在步驟594處，如等式51中所示，基於由能量分量Eh及Ev加權之Gh值及Gv值對內插綠色值G'進行內插。
接著，關於圖48之程序596，紅色值之內插可於步驟598開始，在步驟598處，接收輸入像素P(例如，自程序572)。在步驟600處，識別形成3×3像素區塊之鄰近像素集合，其中P為3×3區塊的中心。其後，在步驟602處，對3×3區塊內之鄰近紅色像素應用低通濾波，且對共置之綠色鄰近值應用高通濾波(步驟604)，該等綠色鄰近值可為由拜耳影像感測器捕獲之初始綠色值或內插值(例如，經由圖47之程序584判定)。如步驟606處所示，可基於低通濾波輸出及高通濾波輸出來判定P之內插紅色值R'。取決於P之色彩，可根據等式52、54或56中之一者來判定R'。
關於藍色值之內插，可應用圖49之程序608。步驟610及612大體上等同於程序596(圖48)之步驟598及600。在步驟614處，對3×3區塊內之鄰近藍色像素應用低通濾波，且在步驟616處，對共置之綠色鄰近值應用高通濾波，該等綠色鄰近值可為由拜耳影像感測器捕獲之初始綠色值或內插值(例如，經由圖47之程序584判定)。如步驟618處所示，可基於低通濾波輸出及高通濾波輸出來判定P之內插藍色值B'。取決於P之色彩，可根據等式53、55或57中之一者來判定B'。另外，如上文所提及，可使用色差(等式52至57)或色比(等式58至63)來判定紅色值及藍色值之內插。再次，應理解，可首先執行缺失之綠色值的內插，使得綠色值完整集合(初始值及內插值兩者)在內插缺失之紅色及藍色樣本時為可用的。舉例而言，圖47之程序584在分別執行圖48及圖49之程序596及608之前可經應用以內插所有缺失之綠色色彩樣本。
參看圖50至圖53，提供由ISP管82中之原始像素處理邏輯414處理之影像的彩色圖式。圖50描繪可由成像器件30之影像感測器90捕獲的初始影像場景620。圖51展示可表示由影像感測器90捕獲之原始像素資料的原始拜耳影像622。如上文所提及，習知去馬賽克技術可能不提供基於影像資料中之邊緣(例如，兩種或兩種以上色彩之區域之間的邊沿)偵測之適應性濾波，其在所得經重建全色RGB影像中可能不良地產生假影。例如，圖52展示使用習知去馬賽克技術重建之RGB影像624，且在邊緣628處可包括諸如「棋盤形」假影626的假影。然而，比較影像624與圖53之可為使用上文所描述之去馬賽克技術重建之影像之實例的RGB影像630，可見存在於圖52中之棋盤形假影626不存在，或在邊緣628處至少實質上減小了棋盤形假影626之顯現。因此，展示於圖50至圖53中之影像意欲說明本文中所揭示之去馬賽克技術具有之優於習知方法的至少一優點。
返回參看圖32，現已透徹描述了可輸出RGB影像信號424之原始像素處理邏輯414的操作，本論述現將集中於描述由RGB處理邏輯416對RGB影像信號424進行之處理。如圖所示，RGB影像信號424可發送至選擇邏輯428及/或記憶體108。RGB處理邏輯416可接收輸入信號430，該輸入信號430取決於選擇邏輯428之組態而可為來自信號424之RGB影像資料或如由信號426所示來自記憶體108的RGB影像資料。RGB影像資料430可由RGB處理邏輯416處理以執行色彩調整操作，該等操作包括色彩校正(例如，使用色彩校正矩陣)、用於自動白平衡之色彩增益的應用，以及全域色調映射等。
在圖54中說明描繪RGB處理邏輯416之實施例之更詳細視圖的方塊圖。如圖所示，RGB處理邏輯416包括增益、偏移及箝位(GOC)邏輯640、RGB色彩校正邏輯642、GOC邏輯644、RGB伽瑪調整邏輯，及色空間轉換邏輯648。輸入信號430首先由增益、偏移及箝位(GOC)邏輯640接收到。在所說明實施例中，GOC邏輯640可在由色彩校正邏輯642處理之前應用增益以對R、G或B色彩通道中之一或多者執行自動白平衡。
除了處理RGB域之色彩分量，而非拜耳影像資料之R、B、Gr及Gb分量外，GOC邏輯640可類似於原始像素處理邏輯414之GOC邏輯442。在操作中，如在以上等式9中所示，當前像素之輸入值首先經偏移一帶正負號之值O[c]並乘以增益G[c]，其中c表示R、G及B。如上文所論述，增益G[c]可為具有2個整數位元及14個分數位元之16位元無正負號之數字(例如，2.14浮點表示)，且可在先前於統計量處理期間(例如，在ISP前端區塊80中)已判定增益G[c]之值。計算出之像素值Y(基於等式9)接著根據等式10截割為最小值及與最大值範圍。如上文所論述，變數min[c]及max[c]可分別表示最小輸出值及最大輸出值之帶正負號的16位元「截割值」。在一實施例中，GOC邏輯640亦可經組態以針對每一色彩分量R、G及B維持分別高於最大值及低於最小值的經截割像素之數目的計數。
GOC邏輯640之輸出接著轉遞至色彩校正邏輯642。根據當前揭示之技術，色彩校正邏輯642可經組態以使用色彩校正矩陣(CCM)將色彩校正應用至RGB影像資料。在一實施例中，CCM可為3×3 RGB變換矩陣，但在其他實施例中，亦可利用其他維度之矩陣(例如，4×3等)。因而，可如下表達對具有R、G及B分量之輸入像素執行色彩校正之程序：
其中R、G及B表示輸入像素之當前紅色值、綠色值及藍色值，CCM00至CCM22表示色彩校正矩陣之係數，且R'、G'及B'表示輸入像素之經校正的紅色值、綠色值及藍色值。因而，可根據以下等式65至67計算校正色彩值：
R '=(CCM 00×R )+(CCM 01×G )+(CCM 02×B )　(65)
G '=(CCM 10×R )+(CCM 11×G )+(CCM 12×B )　(66)
B '=(CCM 20×R )+(CCM 21×G )+(CCM 22×B )　(67)
可在如上文所論述之ISP前端區塊80中之統計量處理期間判定CCM之係數(CCM00至CCM22)。在一實施例中，給定色彩通道之係數可經選擇，使得彼等係數(例如，用於紅色色彩校正之CCM00、CCM01及CCM02)之總和等於1，其可有助於維持亮度與色彩平衡。另外，係數通常經選擇使得將正增益應用至所校正之色彩。例如，在紅色色彩校正之情況下，係數CCM00可大於1，而係數CCM01及CCM02中之一者或兩者可小於1。以此方式設定係數可增強所得經校正R'值中之紅色(R)分量，同時減除一些藍色(B)分量及綠色(G)分量。如將瞭解，由於特定著色像素之經濾波之光的一部分可能「漏入」具有不同色彩之鄰近像素中，因此此情形可解決在獲取初始拜耳影像期間可能發生的色彩重疊問題。在一實施例中，CCM之係數可提供為具有4個整數位元及12個分數位元之16位元二之補數的數字(以浮點表達為4.12)。另外，若計算出之經校正色彩值超出最大值或低於最小值，則色彩校正邏輯642可提供對該等值之截割。
RGB色彩校正邏輯642之輸出接著傳遞至另一GOC邏輯區塊644。GOC邏輯644可以與GOC邏輯640等同之方式實施，且因此此處將不重複所提供之增益、偏移及箝位功能的詳細描述。在一實施例中，GOC邏輯644在色彩校正之後的應用可提供影像資料之基於經校正色彩值之自動白平衡，且亦可調整紅色對綠色比率及藍色對綠色比率的感測器變化。
接著，GOC邏輯644之輸出發送至RGB伽瑪調整邏輯646以供進一步處理。例如，RGB伽瑪調整邏輯646可提供伽瑪校正、色調映射、直方圖匹配等。根據所揭示實施例，伽瑪調整邏輯646可提供輸入RGB值至相應輸出RGB值之映射。例如，伽瑪調整邏輯可提供三個查詢表之集合，R、G及B分量中的每一者一個表。作為實例，每一查詢表可經組態以儲存256項10位元值，每一值表示一輸出位準。表項在輸入像素值之範圍內可均勻分佈，使得當輸入值落於兩項之間時，輸出值可進行線性內插。在一實施例中，用於R、G及B之三個查詢表中之每一者可經複製，使得查詢表在記憶體中經「雙重緩衝」，因此允許在處理期間使用一表，同時對其複本進行更新。基於上文所論述之10位元輸出值，應注意，14位元RGB影像信號由於本實施例中之伽瑪校正程序經有效地減小取樣至10位元。
伽瑪調整邏輯646之輸出可發送至記憶體108及/或色空間轉換邏輯648。色空間轉換(CSC)邏輯648可經組態以將來自伽瑪調整邏輯646之RGB輸出轉換為YCbCr格式，其中Y表示明度分量，Cb表示藍色色度差分量，且Cr表示紅色色度差分量，該等分量中之每一者由於RGB資料在伽瑪調整操作期間自14位元至10位元之位元深度轉換而可呈10位元格式。如上文所論述，在一實施例中，伽瑪調整邏輯646之RGB輸出可藉由CSC邏輯648而減小取樣至10位元且因此轉換為10位元YCbCr值，該等10位元YCbCr值可接著轉遞至下文將進一步論述之YCbCr處理邏輯418。
自RGB域至YCbCr色空間之轉換可使用色空間轉換矩陣(CSCM)執行。例如，在一實施例中，CSCM可為3×3變換矩陣。可根據已知轉換等式(諸如，BT.601及BT.709標準)來設定CSCM係數。另外，CSCM係數基於輸入及輸出之所要範圍而可為靈活的。因此，在一些實施例中，CSCM係數可基於在ISP前端區塊80中之統計量處理期間收集的資料來判定並程式化。
對RGB輸入像素執行YCbCr色空間轉換之程序可表達如下：
其中R、G及B表示輸入像素之呈10位元形式之當前紅色值、綠色值及藍色值(例如，如由伽瑪調整邏輯646所處理)，CSCM00至CSCM22表示色空間轉換矩陣之係數，且Y、Cb及Cr表示輸入像素之所得明度分量及色度分量。因而，可根據以下等式69至71計算Y、Cb及Cr之值：
Y =(CSCM 00×R )+(CSCM 01×G )+(CSCM 02×B )　(69)
Cb =(CSCM 10×R )+(CSCM 11×G )+(CSCM 12×B )　(70)
Cr =(CSCM 20×R )+(CSCM 21×G )+(CSCM 22×B )　(71)
在色空間轉換操作之後，所得YCbCr值可作為信號432自CSC邏輯648輸出，該信號432可由如下文將論述之YCbCr處理邏輯418處理。
在一實施例中，CSCM之係數可為具有4個整數位元及12個分數位元之16位元二之補數的數字(4.12)。在另一實施例中，CSC邏輯648可經進一步組態以將偏移應用至Y、Cb及Cr值中之每一者並將所得值截割至最小值與最大值。僅作為實例，假設YCbCr值呈10位元形式，則偏移可在-512至512之範圍內，且最小值與最大值可分別為0與1023。
再次返回參看圖32中之ISP管邏輯82之方塊圖，YCbCr信號432可發送至選擇邏輯436及/或記憶體108。YCbCr處理邏輯418可接收輸入信號438，該輸入信號438取決於選擇邏輯436之組態而可為來自信號432之YCbCr影像資料或如由信號434所示來自記憶體108的YCbCr影像資料。YCbCr影像資料438可接著由YCbCr處理邏輯418處理以用於明度清晰化、色度抑制、色度雜訊減少、以及亮度、對比度及色彩調整等。另外，YCbCr處理邏輯418可提供伽瑪映射及經處理影像資料在水平及垂直方向上的按比例縮放。
在圖55中說明描繪YCbCr處理邏輯418之實施例之更詳細視圖的方塊圖。如圖所示，YCbCr處理邏輯418包括影像清晰化邏輯660、用於調整亮度、對比度及/或色彩之邏輯662、YCbCr伽瑪調整邏輯664、色度整數倍降低取樣邏輯668，及按比例縮放邏輯670。YCbCr處理邏輯418可經組態以使用1平面、2平面或3平面記憶體組態來處理呈4:4:4、4:2:2或4:2:0格式之像素資料。另外，在一實施例中，YCbCr輸入信號438可提供作為10位元值之明度及色度資訊。
如將瞭解，對1平面、2平面或3平面之參考指代在圖片記憶體中利用之成像平面的數目。例如，在3平面格式中，Y分量、Cb分量及Cr分量中之每一者可利用獨立之各別記憶體平面。在2平面格式中，可為明度分量(Y)提供第一平面，且可為色度分量(Cb及Cr)提供使Cb樣本與Cr樣本交錯的第二平面。在1平面格式中，記憶體中之單一平面與明度樣本及色度樣本交錯。另外，關於4:4:4、4:2:2及4:2:0格式，可瞭解，4:4:4格式指代其中三個YCbCr分量中之每一者以同一比率進行取樣的取樣格式。在4:2:2格式中，色度分量Cb及Cr以明度分量Y之取樣率之一半經子取樣，因此使色度分量Cb及Cr之解析度在水平方向上減小一半。類似地，4:2:0格式在垂直方向及水平方向兩者上對色度分量Cb及Cr進行子取樣。
YCbCr資訊之處理可發生於界定於源緩衝器內之作用源區內，其中作用源區含有「有效」像素資料。舉例而言，參看圖56，說明一源緩衝器676，該源緩衝器676具有界定於其中之作用源區678。在所說明實例中，源緩衝器可表示一提供10位元值之源像素的4:4:4 1平面格式。可對於明度(Y)樣本及色度樣本(Cb及Cr)個別地指定作用源區678。因此，應理解，作用源區678可實際上包括用於明度樣本及色度樣本的多個作用源區。可基於自源緩衝器之基本位址(0,0)680之偏移來判定明度及色度之作用源區678之起點。例如，明度作用源區之起始位置(Lm_X,Lm_Y)682可藉由相對於基本位址680之x偏移686及y偏移690來界定。類似地，色度作用源區之起始位置(Ch_X,Ch_Y)684可藉由相對於基本位址680之x偏移688及y偏移692來界定。應注意，在本實例中，分別用於明度及色度之y偏移688及692可相等。基於起始位置682，可藉由寬度694及高度696來界定明度作用源區，寬度694及高度696中之每一者可分別表示x方向及y方向上之明度樣本的數目。另外，基於起始位置684，可藉由寬度698及高度700來界定色度作用源區，寬度698及高度700中之每一者可分別表示x方向及y方向上之色度樣本的數目。
圖57進一步提供展示在二平面格式中可如何判定明度樣本及色度樣本之作用源區的實例。例如，如圖所示，明度作用源區678可藉由由相對於起點位置682之寬度694及高度696指定之區域而界定於第一源緩衝器676(具有基本位址680)中。色度作用源區704可於第二源緩衝器702(具有基本位址706)中界定為由相對於起點位置684之寬度698及高度700指定的區域。
有鑒於以上各要點且返回參看圖55，YCbCr信號438首先由影像清晰化邏輯660接收到。影像清晰化邏輯660可經組態以執行圖片清晰化及邊緣增強處理，從而增加影像中之紋理及邊緣細節。如將瞭解，影像清晰化可改良感知到之影線解析度。然而，通常需要將影像中之現有雜訊並不偵測為紋理及/或邊緣，且因此在清晰化程序期間並不將其放大。
根據本發明之技術，影像清晰化邏輯660可在YCbCr信號之明度(Y)分量上使用多尺度反清晰化遮罩濾波器來執行圖片清晰化。在一實施例中，可提供具有不同尺度大小之兩個或兩個以上低通高斯濾波器。舉例而言，在提供兩個高斯濾波器之實施例中，自具有第二半徑(y)之第二高斯濾波器之輸出減去具有第一半徑(x)的第一高斯濾波器之輸出(例如，高斯模糊)以產生反清晰化遮罩，其中x大於y。亦可藉由自Y輸入減去高斯濾波器之輸出來獲得額外反清晰化遮罩。在特定實施例中，技術亦可提供適應性核化(coring)臨限值比較操作，其可使用反清晰化遮罩執行，使得基於比較之結果，可將增益量添加至基本影像以產生最終輸出，該基本影像可選擇為初始Y輸入影像或高斯濾波器中之一者的輸出。
參看圖58，說明根據當前所揭示技術之實施例的描繪用於執行影像清晰化之例示性邏輯710的方塊圖。邏輯710表示可應用至輸入明度影像Yin之多尺度反清晰化濾波遮罩。例如，如圖所示，Yin由兩個低通高斯濾波器712(G1)及714(G2)接收並處理。在本實例中，濾波器712可為3×3濾波器，且濾波器714可為5×5濾波器。然而，應瞭解，在額外實施例中，亦可使用包括具有不同尺度之濾波器的兩個以上高斯濾波器(例如，7×7、9×9等)。如將瞭解，歸因於低通濾波程序，可自G1及G2之輸出移除大體上對應於雜訊之高頻分量，以產生「反清晰化」影像(G1out及G2out)。如下文將論述，使用反清晰化輸入影像作為基本影像允許雜訊減少(作為清晰化濾波器之部分)。
可如下文所示界定3×3高斯濾波器712及5×5高斯濾波器714：
僅作為實例，在一實施例中，可如下選擇高斯濾波器G1及G2之值：
基於Yin、G1out及G2out，可產生三個反清晰化遮罩Sharp1、Sharp2及Sharp3。Sharp1可判定為自高斯濾波器712之反清晰化影像G1out減去高斯濾波器714的反清晰化影像G2out。因為Sharp1本質上為兩個低通濾波器之間的差，所以其可稱為「中間頻帶」遮罩，此係由於較高頻雜訊分量在G1out及G2out反清晰化影像中已經濾除。另外，可藉由自輸入明度影像Yin減去G2out來計算Sharp2，且可藉由自輸入明度影像Yin減去G1out來計算Sharp3。如下文將論述，可使用反清晰化遮罩Sharp1、Sharp2及Sharp3來應用適應性臨限值核化方案。
參看選擇邏輯716，可基於控制信號UnsharpSel來選擇基本影像。在所說明實施例中，基本影像可為輸入影像Yin或經濾波之輸出G1out或G2out。如將瞭解，當初始影像具有高雜訊變異(例如，幾乎與信號變異一樣高)時，在清晰化中使用初始影像Yin作為基本影像在清晰化期間可能不能充分提供雜訊分量之減小。因而，當在輸入影像中偵測到雜訊含量之特定臨限值時，選擇邏輯716可經調適以選擇經低通濾波之輸出G1out或G2out中的一者，自經低通濾波之輸出G1out或G2out中之該一者已減小了可能包括雜訊之高頻含量。在一實施例中，可藉由分析在ISP前端區塊80中之統計量處理期間獲取之統計資料來判定控制信號UnsharpSel之值，以判定影像的雜訊含量。作為實例，若輸入影像Yin具有低雜訊含量，使得表觀雜訊將很可能不會由於清晰化程序而增大，則可選擇輸入影像Yin作為基本影像(例如，UnsharpSel=0)。若判定輸入影像Yin含有顯著位準之雜訊，使得清晰化程序可能放大雜訊，則可選擇經濾波之影像G1out或G2out中的一者(例如，UnsharpSel分別等於1或2)。因此，藉由應用用於選擇基本影像之適應性技術，邏輯710本質上提供雜訊減少功能。
接著，可根據如下文描述之適應性核化臨限值方案將增益應用至Sharp1、Sharp2及Sharp3遮罩中的一或多者。接著，可藉由比較器區塊718、720及722來比較反清晰化值Sharp1、Sharp2及Sharp3與各種臨限值SharpThd1、SharpThd2及SharpThd3(無必要分別進行比較)。例如，在比較器區塊718處始終比較Sharp1值與SharpThd1。關於比較器區塊720，取決於選擇邏輯726，可比較臨限值SharpThd2與Sharp1或Sharp2。例如，選擇邏輯726取決於控制信號SharpCmp2之狀態可選擇Sharp1或Sharp2(例如，SharpCmp2=1選擇Sharp1；SharpCmp2=0選擇Sharp2)。舉例而言，在一實施例中，可取決於輸入影像(Yin)之雜訊變異/含量來判定SharpCmp2之狀態。
在所說明實施例中，設定SharpCmp2及SharpCmp3值以選擇Sharp1通常係較佳的，除非偵測到影像資料具有相對低之雜訊量。此係因為係高斯低通濾波器G1及G2之輸出之間的差之Sharp1對於雜訊通常較不敏感，且因此可有助於減小SharpAmt1、SharpAmt2及SharpAmt3值歸因於「有雜訊」影像資料中之雜訊位準波動而改變的量。例如，若初始影像具有高雜訊變異，則高頻分量中之一些在使用固定臨限值時可能不被捕捉到，且因此在清晰化程序期間可能被放大。因而，若輸入影像之雜訊含量高，則一些雜訊含量可能存在於Sharp2中。在此等個例中，SharpCmp2可設定為1以選擇中間頻帶遮罩Sharp1，其如上文所論述歸因於係兩個低通濾波器輸出之間的差而具有減小之高頻含量，且因此對於雜訊較不敏感。
如將瞭解，類似程序在SharpCmp3之控制下可應用至由選擇邏輯724進行之對Sharp1或Sharp3的選擇。在一實施例中，SharpCmp2及SharpCmp3可藉由預設而設定為1(例如，使用Sharp1)，且僅針對識別為具有通常低之雜訊變異的彼等輸入影像設定為0。此情形本質上提供適應性核化臨限值方案，在該適應性核化臨限值方案中，比較值(Sharp1、Sharp2或Sharp3)之選擇基於輸入影像之雜訊變異而為適應性的。
基於比較器區塊718、720及722之輸出，可藉由將經應用增益之反清晰化遮罩應用至基本影像(例如，經由邏輯716所選擇)來判定經清晰化輸出影像Ysharp。例如，首先參看比較器區塊722，比較SharpThd3與由選擇邏輯724提供之本文中應稱為「SharpAbs」的B輸入，且取決於SharpCmp3之狀態而可等於Sharp1或Sharp3。若SharpAbs大於臨限值SharpThd3，則增益SharpA mt3應用至Sharp3，且將所得值添加至基本影像。若SharpAbs小於臨限值SharpThd3，則可應用經衰減之增益Att3。在一實施例中，可如下判定經衰減之增益Att3：
其中，如由選擇邏輯724所判定，SharpAbs為Sharp1或Sharp3。與全增益(SharpAmt3)或經衰減之增益(Att3)求和之基本影像的選擇由選擇邏輯728基於比較器區塊722之輸出來執行。如將瞭解，經衰減之增益之使用可解決如下情形：SharpAbs不大於臨限值(例如，SharpThd3)，但影像之雜訊變異仍接近於給定臨限值。此情形可有助於減小清晰化像素與反清晰化像素之間的顯著轉變。例如，若在此境況下在不用經衰減之增益之情況下傳遞影像資料，則所得像素可能顯現為缺陷像素(例如，卡色像素)。
接著，關於比較器區塊720可應用類似程序。例如，取決於SharpCmp2之狀態，選擇邏輯726可提供Sharp1或Sharp2作為至比較器區塊720之與臨限值SharpThd2進行比較的輸入。取決於比較器區塊720之輸出，增益SharpAmt2或基於SharpAmt2之經衰減之增益Att2應用至Sharp2，且添加至上文所論述之選擇邏輯728的輸出。如將瞭解，除關於可選擇為Sharp1或Sharp2之SharpAbs應用增益SharpAmt2及臨限值SharpThd2外，可以類似於以上等式72之方式計算經衰減之增益Att2。
其後，將增益SharpAmt1或經衰減之增益Att1應用至Sharp1，且對所得值與選擇邏輯730之輸出求和以產生經清晰化像素輸出Ysharp。可基於比較器區塊718之輸出來判定應用增益SharpAmt1或經衰減之增益Att1之選擇，比較器區塊718比較Sharp1與臨限值SharpThd1。再次，除關於Sharp1應用增益SharpAmt1及臨限值SharpThd1外，可以類似於以上等式72之方式來判定經衰減之增益Att1。將使用三個遮罩中之每一者按比例縮放的所得經清晰化像素值添加至輸入像素Yin，以產生經清晰化輸出Ysharp，該經清晰化輸出Ysharp在一實施例中可截割為10位元(假設YCbCr處理以10位元精度發生)。
如將瞭解，在與習知反清晰化遮蔽技術相比較時，本發明中所闡述之影像清晰化技術可提供改良對紋理及邊緣之增強，同時亦減小輸出影像中的雜訊。詳言之，本發明之技術可良好地適用於如下應用：使用(例如)CMOS影像感測器捕獲之影像(諸如使用整合至攜帶型器件(例如，行動電話)中之較低解析度相機在低照明條件下獲取的影像)展現不良信雜比。例如，當雜訊變異與信號變異相當時，難以使用固定臨限值用於清晰化，此係由於雜訊分量中之一些將連同紋理及邊緣一起經清晰化。因而，本文中所提供之如上文所論述之技術可使用多尺度高斯濾波器自輸入影像濾除雜訊從而自反清晰化影像(例如，G1out及G2out)提取特徵，以便提供亦展現減小之雜訊含量的經清晰化影像。
在繼續之前，應理解，所說明邏輯710僅意欲提供本發明之技術之一例示性實施例。在其他實施例中，影像清晰化邏輯660可提供額外或較少特徵。例如，在一些實施例中，邏輯710可僅傳遞基本值而非應用經衰減之增益。另外，一些實施例可能不包括選擇邏輯區塊724、726或716。例如，比較器區塊720及722可僅分別接收Sharp2值及Sharp3值而非分別來自選擇邏輯區塊724及726之選擇輸出。雖然此等實施例可能不提供與展示於圖58中之實施一樣強健的清晰化及/或雜訊減少特徵，但應瞭解，此等設計選擇可為成本及/或商務相關之約束的結果。
在本實施例中，一旦獲得經清晰化影像輸出YSharp，影像清晰化邏輯660即亦可提供邊緣增強及色度抑制特徵。現將在下文中論述此等額外特徵中之每一者。首先參看圖59，說明根據一實施例之用於執行邊緣增強的例示性邏輯738，該邏輯738可實施於圖58之清晰化邏輯710下游。如圖所示，由索貝爾(Sobel)濾波器740處理初始輸入值Yin以用於邊緣偵測。索貝爾濾波器740可基於初始影像之3×3像素區塊(下文稱為「A」)來判定梯度值YEdge，其中Yin為3×3區塊之中心像素。在一實施例中，索貝爾濾波器740可藉由使初始影像資料旋繞以偵測水平方向及垂直方向之改變來計算YEdge。此程序以等式73至75展示如下：
G x =S x ×A ，　(73)
G y =S y ×A ，　(74)
YEdge =G x ×G y ，　(75)
其中Sx 及Sy 分別表示水平方向及垂直方向上之梯度邊緣強度偵測的矩陣算子，且其中Gx 及Gy 分別表示含有水平改變導數及垂直改變導數的梯度影像。因而，將輸出YEdge判定為Gx 與Gy 之乘積。
YEdge連同如上文在圖58中所論述之中間頻帶Sharp1遮罩接著由選擇邏輯744接收到。基於控制信號EdgeCmp，在比較器區塊742處比較Sharp1或YEdge與臨限值EdgeThd。可(例如)基於影像之雜訊含量來判定EdgeCmp之狀態，因此提供用於邊緣偵測及增強之適應性核化臨限值方案。接著，可將比較器區塊742之輸出提供至選擇邏輯746，且可應用全增益或經衰減之增益。例如，當至比較器區塊742之所選擇B輸入(Sharp1或YEdge)高於EdgeThd時，YEdge乘以邊緣增益EdgeAmt以判定待應用之邊緣增強的量。若比較器區塊742處之B輸入小於EdgeThd，則經衰減之增益AttEdge可經應用以避免經邊緣增強之像素與初始像素之間的顯著轉變。如將瞭解，可以類似於在以上等式72中所示之方式計算AttEdge，但其中EdgeAmt及EdgeThd應用至「SharpAbs」，SharpAbs取決於選擇邏輯744之輸出而可為Sharp1或YEdge。因此，使用增益(EdgeAmt)或經衰減之增益(AttEdge)增強之邊緣像素可添加至YSharp(圖58之邏輯710的輸出)以獲得經邊緣增強之輸出像素Yout，該輸出像素Yout在一實施例中可經截割為10位元(假設YCbCr處理以10位元精度發生)。
關於由影像清晰化邏輯660提供之色度抑制特徵，此等特徵可使明度邊緣處之色度衰減。通常，取決於自上文所論述之明度清晰化及/或邊緣增強步驟獲得之值(YSharp、Yout)，色度抑制可藉由應用小於1之色度增益(衰減因數)來執行。作為實例，圖60展示包括一曲線752之曲線圖750，曲線752表示可經選擇以用於相應經清晰化明度值(YSharp)的色度增益。由曲線圖750表示之資料可實施為YSharp值與0與1之間的相應色度增益(衰減因數)之查詢表。查詢表用以近似曲線752。對於共置於查詢表中之兩個衰減因數之間的YSharp值，可將線性內插應用至對應於高於當前YSharp值之YSharp值及低於當前YSharp值之YSharp值的兩個衰減因數。另外，在其他實施例中，輸入明度值亦可選擇為由如上文在圖58中論述之邏輯710判定之Sharp1、Sharp2或Sharp3值或由如在圖59中論述之邏輯738判定之YEdge值中的一者。
接著，由亮度、對比度及色彩(BCC)調整邏輯662處理影像清晰化邏輯660(圖55)之輸出。在圖61中說明描繪BCC調整邏輯662之實施例的功能方塊圖。如圖所示，邏輯662包括亮度及對比度處理區塊760、整體色相控制區塊762及飽和度控制區塊764。當前說明之實施例提供採用10位元精度對YCbCr資料的處理，但其他實施例可利用不同位元深度。下文論述區塊760、762及764中之每一者的功能。
首先參看亮度及對比度處理區塊760，首先自明度(Y)資料減去偏移YOffset以將黑階設定為零。進行此操作以確保對比度調整並不變更黑階。接著，使明度值乘以對比度增益值以應用對比度控制。作為實例，對比度增益值可為具有2個整數位元及10個分數位元之12位元無正負號值，因此提供高達像素值之4倍的對比度增益範圍。其後，可藉由添加亮度偏移值(或自明度資料減去亮度偏移值)來實施亮度調整。作為實例，本實施例中之亮度偏移可為具有-512與+512之間的範圍之10位元二之補數值。另外，應注意，在對比度調整之後執行亮度調整，以便避免在改變對比度時使DC偏移發生變化。其後，將初始YOffset添加回至經調整之明度資料以使黑階復位。
區塊762及764基於Cb及Cr資料之色相特性來提供色彩調整。如圖所示，首先自Cb及Cr資料減去為512之偏移(假設10位元處理)以將範圍定位為約零。接著根據以下等式來調整色相：
Cbadj =Cb cos(θ)+Cr sin(θ)，　(76)
Cradj =Cr cos(θ)-Cb sin(θ)，　(77)
其中Cbadj 及Cradj 表示經調整之Cb值及Cr值，且其中θ表示可如下進行計算的色相角：
以上運算藉由全域色相控制區塊762內之邏輯來描繪，且可由以下矩陣運算來表示：
其中Ka=cos(θ)，Kb=sin(θ)，且θ在上文於等式78中予以界定。
接著，如由飽和度控制區塊764所示，可將飽和度控制應用至Cbadj 值及Cradj 值。在所說明實施例中，藉由針對Cb值及Cr值中之每一者應用全域飽和度乘數及基於色相之飽和度乘數來執行飽和度控制。基於色相之飽和度控制可改良色彩之再現。如由圖62中之色輪圖形770所示，可在YCbCr色空間中表示色彩之色相。如將瞭解，可藉由使HSV色空間(色相、飽和度及強度)中之等同色輪移位約109度來導出YCbCr色相及飽和度色輪770。如圖所示，圖形770包括表示在0至1範圍內之飽和度乘數(S)之圓周值，以及表示在0至360°範圍內之如上文所界定之θ的角度值。每一θ可表示不同色彩(例如，49°=洋紅色，109°=紅色，229°=綠色等)。可藉由選擇適當飽和度乘數S來調整特定色相角θ處之色彩的色相。
返回參看圖61，色相角θ(在全域色相控制區塊762中所計算)可用作Cb飽和度查詢表766及Cr飽和度查詢表768之索引。在一實施例中，飽和度查詢表766及768可含有在自0°至360°之色相範圍內均勻分佈之256個飽和度值(例如，第一查詢表項係在0°處，且最後項係在360°處)，且可經由查詢表中之恰低於當前色相角θ之飽和度值與恰高於當前色相角θ之飽和度值之間的線性內插來判定給定像素處之飽和度值S。藉由使全域飽和度值(其對於Cb及Cr中之每一者可為全域常數)與所判定之基於色相的飽和度值相乘來獲得Cb分量及Cr分量中之每一者的最終飽和度值。因此，如在基於色相之飽和度控制區塊764中所示，可藉由使Cbadj 及Cradj 與其各別最終飽和度值相乘來判定最終經校正之Cb'值及Cr'值。
其後，如圖55中所示，將BCC邏輯662之輸出傳遞至YCbCr伽瑪調整邏輯664。在一實施例中，伽瑪調整邏輯664可為Y、Cb及Cr通道提供非線性映射功能。例如，將輸入之Y值、Cb值及Cr值映射至相應輸出值。再次，假設YCbCr資料以10位元進行處理，則可利用經內插之10位元256項查詢表。可提供三個此等查詢表，其中Y通道、Cb通道及Cr通道中的每一者一個查詢表。256個輸入項中之每一者可經均勻分佈，且可藉由線性內插映射至恰高於當前輸入索引之索引及恰低於當前輸入索引之索引的輸出值來判定一輸出。在一些實施例中，具有1024個項(對於10位元資料)之非經內插查詢表亦可使用，但可具有顯著較大之記憶體要求。如將瞭解，藉由調整查詢表之輸出值，YCbCr伽瑪調整功能亦可用以執行某些影像濾波效應，諸如黑白、棕色色調、負影像、負感作用等。
接著，可藉由色度整數倍降低取樣邏輯668將色度整數倍降低取樣應用至伽瑪調整邏輯664之輸出。在一實施例中，色度整數倍降低取樣邏輯668可經組態以執行水平整數倍降低取樣以將YCbCr資料自4:4:4格式轉換至4:2:2格式，在4:2:2格式中，色度(Cr及Cr)資訊以明度資料之比率的一半進行子取樣。僅作為實例，如下式所示，可藉由將7分接頭低通濾波器(諸如，半帶lanczos濾波器)應用至具有7個水平像素之集合來執行整數倍降低取樣：
其中in(i)表示輸入像素(Cb或Cr)，且C0至C6表示7分接頭濾波器之濾波係數。每一輸入像素具有獨立之濾波器係數(C0至C6)以允許經色度濾波之樣本的靈活的相位偏移。
另外，色度整數倍降低取樣在一些個例中亦可在無濾波之情況下執行。當源影像最初以4:2:2格式接收到但經增加取樣至4:4:4格式以進行YCbCr處理時，此情形可為有用的。在此狀況下，所得經整數倍降低取樣之4:2:2影像等同於初始影像。
隨後，來自色度整數倍降低取樣邏輯668之YCbCr資料輸出在自YCbCr處理區塊418輸出之前可使用按比例縮放邏輯670進行按比例縮放。按比例縮放邏輯670之功能可類似於前端像素處理單元130之併像補償濾波器182中之如上文參看圖18所論述的按比例縮放邏輯292之功能性。例如，按比例縮放邏輯670可作為兩個步驟執行水平按比例縮放及垂直按比例縮放。在一實施例中，5分接頭多相濾波器可用於垂直按比例縮放，且9分接頭多相濾波器可用於水平按比例縮放。多分接頭多相濾波器可使選自源影像之像素乘以加權係數(例如，濾波器係數)，且接著對輸出求和以形成目標像素。可取決於當前像素之位置及濾波器分接頭之數目來選定所選像素。例如，在垂直5分接頭濾波器情況下，可選擇當前像素之每一垂直側上的兩個鄰近像素，且在水平9分接頭濾波器情況下，可選擇當前像素之每一水平側上的四個鄰近像素。可自查詢表提供濾波係數，且可藉由當前之像素間分率位置來判定濾波係數。接著自YCbCr處理區塊418輸出按比例縮放邏輯670之輸出440。
返回參看圖32，經處理之輸出信號440可發送至記憶體108，或可自ISP管處理邏輯82輸出而作為至顯示硬體(例如，顯示器28)以供使用者閱覽或至壓縮引擎(例如，編碼器118)的影像信號114。在一些實施例中，影像信號114在解壓縮並提供至顯示器之前可進一步由圖形處理單元及/或壓縮引擎處理並儲存。另外，一或多個圖框緩衝器亦可經提供以控制輸出至顯示器之影像資料的緩衝，特別是關於視訊影像資料。
如將理解，本文中僅作為實例提供上文所描述且關於缺陷像素偵測及校正、透鏡陰影校正、去馬賽克及影像清晰化(及其他)之各種影像處理技術。因而，應理解，不應將本發明解釋為僅限於上文所提供之實例。實際上，本文中所描繪之例示性邏輯在其他實施例中可具有多種變化及/或額外特徵。另外，應瞭解，上文所論述之技術可以任何合適方式來實施。例如，影像處理電路32之組件且特別是ISP前端區塊80及ISP管區塊82可使用硬體(例如，經合適組態之電路)、軟體(例如，經由包括儲存於一或多個有形電腦可讀媒體上之可執行碼的電腦程式)或經由使用硬體元件與軟體元件兩者之組合來實施。
已作為實例展示了上文所描述之特定實施例，但應理解，此等實施例可容許各種修改及替代形式。應進一步理解，申請專利範圍並不意欲限於所揭示之特定形式，而是涵蓋屬於本發明之精神及範疇內的所有修改、等效物及替代物。
10．．．電子器件
12．．．輸入/輸出(I/O)埠
12a．．．專屬連接埠
12b．．．音訊連接埠
12c．．．I/O埠
14．．．輸入結構
16．．．處理器
18．．．記憶體器件
20．．．非揮發性儲存器
22．．．擴充卡
24．．．網路連接器件
26．．．電源
28．．．顯示器
30．．．成像器件
32．．．影像處理電路
40．．．膝上型電腦
42．．．外殼/機殼
50．．．桌上型電腦
52．．．圖形使用者介面
54．．．圖形圖示
56．．．停駐區
58．．．圖形視窗元件
60．．．手持式攜帶型器件
64．．．系統指示符
66．．．相機應用程式
68．．．照片閱覽應用程式
70．．．音訊輸入/輸出元件
72．．．媒體播放器應用程式
74．．．額外音訊輸出傳輸器
80．．．影像信號處理(ISP)前端處理邏輯
82．．．影像信號處理(ISP)管處理邏輯
84．．．控制邏輯
88．．．透鏡
90．．．影像感測器
90a．．．第一影像感測器
90b．．．第二影像感測器
92．．．輸出
94．．．感測器介面
96．．．原始影像資料
98．．．原始像素資料
100．．．原始像素資料
102．．．統計資料
104．．．控制參數
106．．．控制參數
108．．．記憶體
109．．．輸出信號
110．．．輸出信號
112．．．輸入信號
114．．．信號
115．．．信號
116．．．信號
117．．．信號
118．．．壓縮引擎
119．．．信號
120．．．統計量處理單元
122．．．統計量處理單元
124．．．選擇邏輯
126．．．選擇邏輯
130．．．像素處理單元
132．．．選擇邏輯
150．．．影像源圖框
152．．．感測器圖框區
154．．．原始圖框區
156．．．作用區
158．．．寬度
160．．．高度
162．．．x偏移
164．．．y偏移
166．．．寬度
168．．．高度
170．．．x偏移
172．．．y偏移
180．．．時間濾波器
182．．．併像補償濾波器
190．．．時間濾波系統
192．．．運動歷史表
192a．．．運動表
192b．．．運動表
192c．．．運動表
194．．．明度表
194a．．．明度表
194b．．．明度表
194c．．．明度表
200．．．參考像素
202．．．參考像素
204．．．參考像素
206．．．初始輸入像素
208．．．初始輸入像素
210．．．初始輸入像素
260．．．時間濾波系統
292．．．按比例縮放邏輯
294．．．差動分析器
296．．．程序
304．．．缺陷像素偵測及校正邏輯
306．．．黑階補償(BLC)邏輯
308．．．透鏡陰影校正邏輯
310．．．反向BLC邏輯
312．．．統計量收集邏輯
314．．．「左側邊緣」狀況
316．．．「左側邊緣+1」狀況
318．．．「居中」狀況
320．．．「右側邊緣-1」狀況
322．．．「右側邊緣」狀況
348．．．中心
350．．．角落/邊緣
352．．．影像之彩色圖式
354．．．LSC區
356．．．增益柵格/柵格增益
358．．．寬度
360．．．高度
362．．．x偏移
364．．．y偏移
366．．．柵格x偏移
368．．．柵格y偏移
370．．．基點
372．．．第一像素
374．．．水平(x方向)柵格點間隔
376．．．垂直(y方向)柵格點間隔
380．．．程序
384．．．決策邏輯
388．．．決策邏輯
396．．．角落
398．．．中心
400．．．程序
414．．．原始像素處理邏輯
416．．．RGB處理邏輯
418．．．YCbCr處理邏輯
420．．．選擇邏輯
422．．．輸入信號
424．．．RGB影像信號
426．．．RGB影像信號
428．．．選擇邏輯
430．．．信號
432．．．YCbCr信號
434．．．YCbCr信號
436．．．選擇邏輯
438．．．信號
440．．．影像信號輸出
442．．．增益、偏移及箝位(GOC)邏輯
444．．．缺陷像素偵測/校正(DPDC)邏輯
446．．．雜訊減少邏輯
448．．．透鏡陰影校正邏輯
450．．．增益、偏移及箝位(GOC)邏輯
452．．．去馬賽克邏輯
454．．．「左上」狀況
456．．．「頂部」狀況
458．．．「右上」狀況
460．．．「左側」狀況
462．．．「中心」狀況
464．．．「右側」狀況
466．．．「左下」狀況
468．．．「底部」狀況
470．．．「右下」狀況
472．．．程序
478．．．決策邏輯
484．．．動態及光斑偵測程序
488．．．決策邏輯區塊
496．．．決策邏輯區塊
506．．．像素校正程序
510．．．決策邏輯
518．．．決策邏輯
530．．．圖形程序流程
532．．．原始拜耳影像圖案
536．．．綠色通道
534．．．4×4部分
538．．．紅色通道
540．．．藍色通道
542．．．去馬賽克技術
544．．．內插資料
546．．．紅色色彩通道
548．．．藍色色彩通道
550．．．全色RGB影像
552．．．紅色列
554．．．濾波係數
556．．．紅色行
558．．．濾波係數
560．．．區塊
562．．．像素區塊
564．．．像素區塊
566．．．像素區塊
568．．．內插綠色值
570．．．內插綠色值
572．．．程序
576．．．決策邏輯
584．．．程序
596．．．程序
608．．．程序
620．．．原始影像場景
622．．．原始拜耳影像
624．．．RGB影像
626．．．「棋盤形」假影
628．．．邊緣
630．．．RGB影像
640．．．增益、偏移及箝位(GOC)邏輯
642．．．RGB色彩校正邏輯
644．．．增益、偏移及箝位(GOC)邏輯
646．．．RGB伽瑪調整邏輯
648．．．色空間轉換邏輯
660．．．影像清晰化邏輯
662．．．用於調整亮度、對比度及/或色彩之邏輯
664．．．YCbCr伽瑪調整邏輯
668．．．色度整數倍降低取樣邏輯
670．．．按比例縮放邏輯
676．．．源緩衝器
678．．．明度作用源區
680．．．基本位址
682．．．起始位置
684．．．起始位置
686．．．x偏移
688．．．x偏移
690．．．y偏移
692．．．y偏移
694．．．寬度
696．．．高度
698．．．寬度
700．．．高度
702．．．第二源緩衝器
704．．．色度作用源區
706．．．基本位址
710．．．用於執行影像清晰化之邏輯
712．．．低通高斯濾波器
714．．．低通高斯濾波器
716．．．選擇邏輯
718．．．比較器區塊
720．．．比較器區塊
722．．．比較器區塊
724．．．選擇邏輯
726．．．選擇邏輯
728．．．選擇邏輯
730．．．選擇邏輯
738．．．用於執行邊緣增強的邏輯
740．．．索貝爾濾波器
742．．．比較器區塊
744．．．選擇邏輯
746．．．選擇邏輯
750．．．曲線圖
752．．．曲線
760．．．亮度及對比度處理區塊
762．．．全域色相控制區塊
764．．．飽和度控制區塊
766．．．Cb飽和度查詢表
768．．．Cr飽和度查詢表
770．．．色輪圖形
C．．．像素
G．．．像素
G0．．．柵格點
G1．．．柵格點/當前綠色像素
G2．．．柵格點/右下綠色像素
G3．．．柵格點
P．．．當前像素
P0．．．像素
P1．．．像素
P2．．．像素
P3．．．像素
P4．．．像素
P5．．．像素
P6．．．像素
P7．．．像素
P8．．．像素
圖1為描繪一包括一成像器件及影像處理電路之電子器件之實例的組件之簡化方塊圖，該影像處理電路經組態以實施本發明中闡述之影像處理技術中的一或多者；
圖2展示可在圖1之成像器件中實施之拜耳濾色器陣列之2×2像素區塊的圖形表示；
圖3為根據本發明之態樣之圖1的呈膝上型計算器件形式之電子器件的透視圖；
圖4為根據本發明之態樣之圖1的呈桌上型計算器件形式之電子器件的正視圖；
圖5為根據本發明之態樣之圖1的呈手持式攜帶型電子器件形式之電子器件的正視圖；
圖6為展示於圖5中之電子器件之後視圖；
圖7為根據本發明之態樣之說明前端影像信號處理(ISP)邏輯及ISP管處理邏輯之方塊圖，該前端影像信號處理(ISP)邏輯及ISP管處理邏輯可實施於圖1之影像處理電路中；
圖8為根據本發明之態樣的展示圖7之ISP前端邏輯之實施例之更詳細方塊圖；
圖9為根據本發明之態樣的可界定於由影像感測器捕獲之源影像圖框內之各種成像區的圖形描繪；
圖10為根據本發明之態樣的提供如展示於圖8之ISP前端邏輯中之ISP前端像素處理單元之一實施例的更詳細視圖之方塊圖；
圖11為根據一實施例之說明可如何將時間濾波應用至由展示於圖10中之ISP前端像素處理單元接收到之影像像素資料的程序圖；
圖12說明可用以判定用於展示於圖11中之時間濾波程序之一或多個參數的參考影像像素集合及相應當前影像像素集合；
圖13為根據一實施例的說明用於將時間濾波應用至影像資料集合之當前影像像素之程序的流程圖；
圖14為根據一實施例的展示用於計算供圖13之當前影像像素之時間濾波使用之運動差量值的技術之流程圖；
圖15為根據另一實施例的說明用於將時間濾波應用至影像資料集合之當前影像像素之另一程序的流程圖，該程序包括將不同增益用於影像資料之每一色彩分量；
圖16為根據其他實施例的說明時間濾波技術如何將獨立運動表及明度表用於由展示於圖10中之ISP前端像素處理單元接收到之影像像素資料之每一色彩分量的程序圖；
圖17為根據其他實施例的說明用於使用展示於圖16中之運動表及明度表將時間濾波應用至影像資料集合之當前影像像素的程序之流程圖；
圖18為根據本發明之態樣的展示可實施於圖10之ISP前端像素處理單元中之併像補償濾波器之一實施例的更詳細視圖；
圖19說明根據一實施例之使用圖18之併像補償濾波器按比例縮放影像資料的程序；
圖20為根據本發明之態樣的展示可實施於如圖8中所示之ISP前端處理邏輯中之統計量處理單元之一實施例的更詳細方塊圖；
圖21展示根據本發明之態樣的當在由圖20之統計量處理單元進行之統計量處理期間應用偵測並校正缺陷像素之技術時可考慮的各種影像圖框邊界狀況；
圖22為根據一實施例之說明用於在統計量處理期間執行缺陷像素偵測及校正之程序的流程圖；
圖23展示描繪成像器件之習知透鏡的光強度對像素位置之三維概況；
圖24為展現跨越影像之可係透鏡陰影不規則性之結果的不均勻光強度的彩色圖式；
圖25為根據本發明之態樣的包括透鏡陰影校正區及增益柵格之原始成像圖框的圖形說明；
圖26說明根據本發明之態樣的由四個邊沿柵格增益點封閉之影像像素之增益值的內插；
圖27為根據本發明之技術之一實施例的說明用於判定在透鏡陰影校正操作期間可應用至成像像素之經內插增益值之程序的流程圖；
圖28為根據本發明之態樣的描繪經內插增益值之三維概況，該等經內插增益值在執行透鏡陰影校正時可應用至展現展示於圖23中之光強度特性的影像；
圖29展示根據本發明之態樣的來自圖24之展現光強度在應用透鏡陰影校正操作之後的改良之均勻性之彩色圖式；
圖30根據一實施例以圖形地說明可如何計算影像之當前像素與中心之間的徑向距離並將其用以判定用於透鏡陰影校正之徑向增益分量；
圖31為根據本發明之技術之一實施例的說明藉以使用徑向增益及來自增益柵格之經內插增益來判定在透鏡陰影校正操作期間可應用至成像像素之總增益之程序的流程圖；
圖32為根據本發明之態樣的展示圖7之ISP管處理邏輯之實施例的方塊圖；
圖33為根據本發明之態樣的展示可實施於圖32之ISP管處理邏輯中之原始像素處理區塊之一實施例的更詳細視圖；
圖34展示根據本發明之態樣的當在由展示於圖33中之原始像素處理區塊進行之處理期間應用用於偵測並校正缺陷像素之技術時可考慮的各種影像圖框邊界狀況；
圖35至圖37為根據一實施例之描繪可在圖33之原始像素處理區塊中執行的用於偵測並校正缺陷像素之各種程序之流程圖；
圖38展示根據本發明之態樣之拜耳影像感測器之2×2像素區塊中的兩個綠色像素之位置，該兩個綠色像素可係在由圖33之原始像素處理邏輯進行之處理期間應用綠色非均勻性校正技術時內插；
圖39說明根據本發明之態樣的包括中心像素及可用作用於雜訊減少之水平濾波程序之部分之相關聯水平鄰近像素的像素集合；
圖40說明根據本發明之態樣的包括中心像素及可用作用於雜訊減少之垂直濾波程序之部分之相關聯垂直鄰近像素的像素集合；
圖41為描繪可如何將去馬賽克應用至原始拜耳影像圖案以產生全色RGB影像的簡化流程圖；
圖42描繪根據一實施例之拜耳影像圖案之像素集合，在該拜耳影像圖案之去馬賽克期間可自該像素集合導出水平及垂直能量分量以用於內插綠色色值；
圖43展示根據本發明之技術之態樣的水平像素集合，在拜耳影像圖案之去馬賽克期間可將濾波應用至該水平像素集合以判定經內插綠色色值之水平分量；
圖44展示根據本發明之技術之態樣的垂直像素集合，在拜耳影像圖案之去馬賽克期間可將濾波應用至該垂直像素集合以判定經內插綠色色值之垂直分量；
圖45展示根據本發明之技術之態樣的各種3×3像素區塊，在拜耳影像圖案之去馬賽克期間可將濾波應用至該等像素區塊以判定經內插紅色值及藍色值；
圖46至圖49提供根據一實施例之描繪用於在拜耳影像圖案之去馬賽克期間內插綠色色值、紅色色值及藍色色值之各種程序的流程圖；
圖50展示可由影像感測器捕獲並根據本文中所揭示之去馬賽克技術之態樣處理的初始影像場景的彩色圖式；
圖51展示在圖50中展示之影像場景之拜耳影像圖案的彩色圖式；
圖52展示基於圖51之拜耳影像圖案使用習知去馬賽克技術重建的RGB影像的彩色圖式；
圖53展示根據本文中所揭示之去馬賽克技術之態樣自圖51之拜耳影像圖案重建的RGB影像的彩色圖式；
圖54為根據本發明之態樣的展示可實施於圖32之ISP管處理邏輯中之RGB處理區塊之一實施例的更詳細視圖；
圖55為根據本發明之態樣的展示可實施於圖32之ISP管處理邏輯中之YCbCr處理區塊之一實施例的更詳細視圖；
圖56為根據本發明之態樣的明度及色度之如使用1平面格式在源緩衝器內界定之作用源區的圖形描繪；
圖57為根據本發明之態樣的明度及色度之如使用2平面格式在源緩衝器內界定之作用源區的圖形描繪；
圖58為根據一實施例之說明可實施於如展示於圖55中之YCbCr處理區塊中之影像清晰化邏輯的方塊圖；
圖59為根據一實施例之說明可實施於如展示於圖55中之YCbCr處理區塊中之邊緣增強邏輯的方塊圖；
圖60為根據本發明之態樣的展示色度衰減因數與經清晰化明度值之間的關係之曲線圖；
圖61為根據一實施例之說明可實施於如展示於圖55中之YCbCr處理區塊中之影像亮度、對比度及色彩(BCC)調整邏輯的方塊圖；及
圖62展示YCbCr色空間中之色相及飽和度色輪，其界定在展示於圖61中之BCC調整邏輯中之色彩調整期間可應用之各種色相角及飽和度值。
180．．．時間濾波器
190．．．時間濾波程序
192．．．運動歷史表
194．．．明度表

Claims (25)

  1. 一種用於處理影像資料之方法，其包含：使用一影像信號處理器：接收一當前像素，其具有在該影像資料之一當前圖框中之一空間位置，其中該影像資料係使用一影像感測器獲取；至少部分基於來自該影像資料之一先前圖框之一共置之參考像素來判定該當前像素的一運動差量值；基於該運動差量值及對應於該當前像素之該空間位置但來自該先前圖框的一運動歷史值來判定一運動表查詢索引；使用該運動表查詢索引以自一運動表選擇一第一濾波係數；使用對應於該當前像素之一亮度值自一明度表選擇一衰減因數；基於該所選衰減因數及該第一濾波係數判定一第二濾波係數；及使用該影像信號處理器之一時間濾波器以基於該共置之參考像素、該當前像素及該第二濾波係數來判定對應於該當前像素的一經時間濾波之輸出值。
  2. 如請求項1之方法，其包含使用該影像信號處理器以藉由以下步驟來判定對應於該當前像素之該空間位置的一運動歷史值：判定等於1與該第一濾波係數之間的差之一第一值； 判定等於該第一值與來自該先前圖框之該運動歷史值之乘積的一第二值；及對該運動差量值與該第二值求和。
  3. 如請求項1之方法，其中判定該運動差量值包含：識別來自該當前圖框之一像素集合，該像素集合具有與該當前像素相同之色彩且形成一個二維像素陣列，其中該當前像素位於該二維陣列之中心處；識別來自該先前圖框之一參考像素集合，該參考像素集合中之每一像素連同來自該當前圖框之該像素集合中的一各別像素共置；對於來自該當前圖框之該像素集合中之每一像素，判定一絕對差量，其等於來自該當前圖框之一像素之值與其相應共置之參考像素之間的差之絕對值；基於該等絕對差量來判定該運動差量值。
  4. 如請求項3之方法，其中判定該運動差量值包含：識別具有相同色彩值之三個水平相鄰像素之一集合，該三個水平相鄰像素包括該當前像素、相鄰於該當前像素之一第一側的一第二像素及相鄰於該當前像素之一第二側的一第三像素；判定一第一值，其等於該當前像素之該值與來自該先前圖框之該共置之參考像素之該值之間的差之絕對值；判定一第二值，其等於該第二像素之值與來自該先前圖框之一第二共置之參考像素之間的差之絕對值；及判定一第三值，其等於該第三像素之值與來自該先前 圖框之一第三共置之參考像素之間的差之絕對值；其中該運動差量值選擇為該第一值、該第二值及該第三值中的最大值。
  5. 如請求項3之方法，其中該影像資料包含拜耳原始影像資料，且其中該二維陣列內之每一像素在空間上位於在水平方向、垂直方向及對角方向上遠離該當前像素的兩個像素位置處。
  6. 如請求項1之方法，其中該運動表查詢索引係計算為該運動差量值與來自該先前圖框之該運動歷史值的總和。
  7. 如請求項1之方法，其中判定該當前像素之該經時間濾波之輸出值包含：判定該當前像素之該值與該共置之參考像素之該值之間的一差；使該差乘以該第二濾波係數以獲得一第一值；及將該共置之參考像素之該值加至該第一值以判定該當前像素之該經時間濾波之輸出值。
  8. 一種用於對影像資料進行時間濾波之方法，其包含：使用一影像信號處理器：接收一當前像素，其具有在該影像資料之一當前圖框中的一空間位置，其中該影像資料係使用一影像感測器獲取，且包含兩個或兩個以上色彩分量，每一色彩分量與一各別增益相關聯；至少部分基於來自該影像資料之一先前圖框之一共置之參考像素來判定該當前像素的一運動差量值； 基於以下各者判定一運動表查詢索引：對應於該當前像素之色彩之一所選增益；該運動差量值；及對應於來自該先前圖框之該共置之參考像素的一運動歷史值；使用該運動表查詢索引以自一運動表選擇一第一濾波係數；藉由以下步驟自一明度表選擇一衰減因數：將該所選擇增益應用至該當前像素之值；及使用該當前像素之該經應用增益之值作為用於自該明度表選擇該衰減因數的一明度表查詢索引；藉由使該第一濾波係數與該所選衰減因數相乘來判定一第二濾波係數；及使用該影像信號處理器之一時間濾波器以基於該參考像素、該當前像素及該第二濾波係數之該等值來判定對應於該當前像素的一經時間濾波之輸出值。
  9. 如請求項8之方法，其中判定該運動差量值包含：識別來自該當前圖框之一像素集合，該像素集合具有與當前像素相同之色彩且形成一個二維像素陣列，其中該當前像素位於該二維陣列之中心處；識別來自該光前圖框之一參考像素集合，該參考像素集合中之每一參考像素連同來自該當前圖框之該像素集合中的一各別像素共置；對於來自該當前圖框之該像素集合中之每一像素，判定一絕對差量，其等於來自該當前圖框之一像素之值與其相應共置之參考像素之間的差之絕對值；以及 將該運動差量值判定為該等絕對差量之平均值、該等絕對差量中之最大值或該等絕對差量之中值中的至少一者。
  10. 如請求項9之方法，其中該二維陣列包含具有與該當前像素相同之色彩的三個水平相鄰像素之一集合，其中該當前像素在空間上位於三個水平相鄰像素之該集合的中心，且其中判定該運動差量值包含將該運動差量值判定為一第一值、一第二值及一第三值中的最大值，該第一值等於該當前像素之該值與來自該先前圖框之該共置之參考像素之該值之間的差之絕對值，該第二值等於該當前圖框之水平相鄰於該當前像素的一第二像素之值與來自該先前圖框之一相應第二共置之參考像素之值之間的差之絕對值，且該第三值等於該當前圖框之水平相鄰於該當前像素的一第三像素與來自該先前圖框之一相應第三共置之參考像素之值之間的差之絕對值。
  11. 如請求項8之方法，其包含藉由以下步驟來判定對應於該當前像素之該空間位置的一運動歷史值：判定來自該先前圖框之該運動歷史值與該運動差量值之間的一差；使該差與該第一濾波係數相乘以獲得一乘積；及對該運動差量值與該乘積求和，其中對應於該當前像素之該運動歷史值可用以將時間濾波應用至該影像資料之一後續圖框中的一共置之像素。
  12. 如請求項8之方法，其中藉由使該所選增益與該運動差量值與來自該先前圖框之該運動歷史值的該總和相乘來 判定該運動表查詢索引。
  13. 如請求項12之方法，其中藉由將該所選增益應用至該當前像素來判定該明度查詢索引。
  14. 如請求項8之方法，其中判定該當前像素之該經時間濾波之輸出值包含：判定該共置之參考像素之該值與該當前像素之該值之間的一差；使該差與該第二濾波係數相乘以獲得一乘積；及將該當前像素之該值加至該乘積以判定該當前像素之該經時間濾波之輸出值。
  15. 如請求項8之方法，其中基於白平衡增益來判定該影像資料之每一色彩分量之該等各別增益。
  16. 一種影像信號處理系統，其包含：一時間濾波器，其用於對使用一影像感測器獲取之多色彩原始影像資料進行時間濾波，其中該時間濾波器經組態以：接收來自該原始影像資料之一當前圖框的一當前像素，該當前像素具有一特定色彩及在該當前圖框內之一空間位置；基於一共置之參考像素判定該當前像素之一運動差量值；使用一運動表查詢索引以自一運動表選擇一第一濾波係數，基於以下各者來判定該運動表查詢索引：該運動差量值；來自該原始影像資料之一先前圖框之對 應於該共置之參考像素的一運動歷史值；及與該當前像素之該色彩相關聯的一增益；藉由以下步驟自一明度表選擇該當前像素之一衰減因數：將與該當前像素之色彩相關聯之該增益應用至該當前像素之該值；及使用該結果作為一明度表查詢索引以選擇該衰減因數；將一第二濾波係數判定為該衰減因數與該第一濾波係數之乘積；及基於該共置之參考像素、該當前像素及該第二濾波係數之該等值來提供對應於該當前像素的一經時間濾波之輸出值。
  17. 如請求項16之影像信號處理系統，其中該時間濾波器經組態以藉由以下步驟來提供該經時間濾波之輸出值：判定該共置之參考像素之該值與該當前像素之該值之間的一差；藉由使該差與該第二濾波係數相乘而判定一乘積；及對該乘積與該當前像素之該值求和。
  18. 如請求項16之影像信號處理系統，其中該時間濾波器為一有限脈衝響應(FIR)濾波器，且其中該先前圖框之該共置之參考像素對應於如由該影像感測器獲取之初始未經濾波之影像資料。
  19. 如請求項16之影像信號處理系統，其中該時間濾波器為一無限脈衝響應(IIR)濾波器，且其中該先前圖框之該共置之參考像素對應於先前由該時間濾波器濾波的經時間濾波之影像資料。
  20. 如請求項16之影像信號處理系統，其中該原始影像資料包含拜耳影像資料，且其中與該當前像素之該色彩相關聯之該增益係取決於該當前像素包含一紅色像素、一藍色像素或是一綠色像素來選擇。
  21. 一種電子器件，其包含：至少一數位影像感測器；一介面，其經組態以與該至少一數位影像感測器通信；一記憶體器件；一顯示器件，其經組態以顯示對應於原始影像資料之一或多個影像場景之一視覺表示，該原始影像資料係由該至少一數位影像感測器獲取；及一成像信號處理系統，其包含：一運動表，其經組態以儲存一濾波係數集合；一明度表，其經組態以儲存一亮度衰減因數集合；及一時間濾波器，其經組態以處理該原始影像資料以藉由以下步驟對該原始影像資料之具有一特定色彩及在一當前圖框內之空間位置的一當前像素應用時間濾波：基於來自該原始影像資料之一先前圖框之一共置之參考像素判定該當前像素的一運動差量值；使用一第一查詢索引以自儲存於該運動表中之該濾波係數集合選擇一第一濾波係數，該第一查詢索引係基於該運動差量值、來自該原始影像資料之該先前圖框之對應於該共置之參考像素的一運動歷史值及與該當前像素 之該色彩相關聯之一增益來判定；使用一第二查詢索引以自儲存於該明度表中之該亮度衰減因數集合選擇一亮度衰減因數，該第二查詢索引係藉由將與該當前像素之色彩相關聯之該增益應用至該當前像素之該值而判定；將一第二濾波係數判定為該衰減因數與該第一濾波係數之乘積；及基於該共置之參考像素、該當前像素及該第二濾波係數之該等值來提供對應於該當前像素的一經時間濾波之輸出值。
  22. 如請求項21之電子器件，其中該時間濾波器經組態以將經時間濾波之原始影像資料輸出至該影像信號處理系統之一影像處理管線。
  23. 如請求項21之電子器件，其中該至少一數位影像感測器包含與該電子器件整合之一數位相機、經由該介面耦接至該電子器件之一外部數位相機，或其某一組合。
  24. 如請求項21之電子器件，其中該介面包含一行動產業處理器介面(MIPI)、一標準行動成像架構(SMIA)介面，或其某一組合。
  25. 如請求項21之電子器件，其包含以下各者中之至少一者：一桌上型電腦、一膝上型電腦、一平板電腦、一行動蜂巢式電話、一攜帶型媒體播放器，或其任一組合。
TW099135789A 2009-10-20 2010-10-20 用於影像信號處理之時間濾波技術 TWI430654B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/582,414 US8638342B2 (en) 2009-10-20 2009-10-20 System and method for demosaicing image data using weighted gradients
US12/789,821 US8593483B2 (en) 2009-10-20 2010-05-28 Temporal filtering techniques for image signal processing

Publications (2)

Publication Number Publication Date
TW201143378A TW201143378A (en) 2011-12-01
TWI430654B true TWI430654B (zh) 2014-03-11

Family

ID=43357194

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099135789A TWI430654B (zh) 2009-10-20 2010-10-20 用於影像信號處理之時間濾波技術

Country Status (8)

Country Link
US (1) US8593483B2 (zh)
EP (1) EP2491528B1 (zh)
JP (1) JP5643320B2 (zh)
KR (1) KR101269344B1 (zh)
CN (1) CN102640184B (zh)
AU (1) AU2010308351B2 (zh)
TW (1) TWI430654B (zh)
WO (1) WO2011049779A1 (zh)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8274583B2 (en) * 2009-06-05 2012-09-25 Apple Inc. Radially-based chroma noise reduction for cameras
US8284271B2 (en) * 2009-06-05 2012-10-09 Apple Inc. Chroma noise reduction for cameras
US20120128244A1 (en) * 2010-11-19 2012-05-24 Raka Singh Divide-and-conquer filter for low-light noise reduction
US8699813B2 (en) 2010-11-19 2014-04-15 Analog Devices, Inc Adaptive filter for low-light noise reduction
US8755625B2 (en) 2010-11-19 2014-06-17 Analog Devices, Inc. Component filtering for low-light noise reduction
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
JP4970606B1 (ja) * 2011-03-31 2012-07-11 株式会社東芝 テレビジョン装置及び電子機器
US9082183B2 (en) * 2011-06-08 2015-07-14 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
US8217945B1 (en) 2011-09-02 2012-07-10 Metric Insights, Inc. Social annotation of a single evolving visual representation of a changing dataset
US9076252B2 (en) * 2012-01-05 2015-07-07 Qualcomm Incorporated Image perceptual attribute adjustment
US9143704B2 (en) 2012-01-20 2015-09-22 Htc Corporation Image capturing device and method thereof
US8687922B2 (en) * 2012-02-24 2014-04-01 Apple Inc. Parallel scaler processing
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
KR101654814B1 (ko) * 2012-09-28 2016-09-22 브이아이디 스케일, 인크. 비디오 코딩에서 크로마 신호 향상을 위한 교차-평면 필터링
JP5806706B2 (ja) * 2012-10-15 2015-11-10 株式会社沖データ 画像読み取り装置及び画像形成装置
CN103974058A (zh) * 2013-01-24 2014-08-06 鸿富锦精密工业（深圳）有限公司 影像噪声分析系统及方法
CN104103037B (zh) * 2013-04-02 2017-02-15 杭州海康威视数字技术股份有限公司 一种图像增强处理方法和装置
US9165352B2 (en) * 2013-06-10 2015-10-20 Xerox Corporation Precipitation removal for vision-based parking management systems
CN104349080B (zh) * 2013-08-07 2018-12-14 联想(北京)有限公司 一种图像处理方法及电子设备
CN104572388B (zh) * 2013-10-15 2017-01-25 鸿富锦精密工业（深圳）有限公司 数据滤波系统、数据滤波装置及方法
CN105100550A (zh) * 2014-04-21 2015-11-25 展讯通信（上海）有限公司 阴影校正方法及装置、成像系统
US9374526B2 (en) 2014-07-31 2016-06-21 Apple Inc. Providing frame delay using a temporal filter
US9413951B2 (en) 2014-07-31 2016-08-09 Apple Inc. Dynamic motion estimation and compensation for temporal filtering
US9514525B2 (en) 2014-07-31 2016-12-06 Apple Inc. Temporal filtering for image data using spatial filtering and noise history
US9386234B2 (en) 2014-07-31 2016-07-05 Apple Inc. Auto filter extent management
US9479695B2 (en) * 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter
US9462189B2 (en) 2014-07-31 2016-10-04 Apple Inc. Piecewise perspective transform engine
CN105389776B (zh) 2014-09-02 2019-05-03 辉达公司 图像缩放技术
KR102224851B1 (ko) 2014-12-11 2021-03-08 삼성전자주식회사 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
WO2016103481A1 (ja) * 2014-12-26 2016-06-30 キヤノン株式会社 撮像装置の駆動方法、信号処理方法
US10021396B1 (en) * 2014-12-30 2018-07-10 Ambarella, Inc. Motion detection based on observing several pictures
CN104796583B (zh) * 2015-05-14 2017-11-21 上海兆芯集成电路有限公司 相机噪声模型产生及使用方法以及使用该方法的装置
US9927862B2 (en) 2015-05-21 2018-03-27 Microsoft Technology Licensing, Llc Variable precision in hardware pipelines for power conservation
US9787922B2 (en) 2015-08-31 2017-10-10 Apple Inc. Pixel defect preprocessing in an image signal processor
US10467496B2 (en) * 2015-08-31 2019-11-05 Apple Inc. Temporal filtering of independent color channels in image data
US9754182B2 (en) 2015-09-02 2017-09-05 Apple Inc. Detecting keypoints in image data
US10440299B2 (en) 2015-09-04 2019-10-08 Apple Inc. Correcting pixel defects based on defect history in an image processing pipeline
CN105306941B (zh) * 2015-11-12 2019-05-24 成都图影视讯科技有限公司 一种视频编码方法
CN105676291B (zh) * 2016-01-11 2017-04-19 中国海洋大学 一种基于同相轴优化追踪的多次波匹配衰减方法
US10277844B2 (en) * 2016-04-20 2019-04-30 Intel Corporation Processing images based on generated motion data
US9992467B2 (en) * 2016-06-30 2018-06-05 Apple Inc. Parallel computer vision and image scaling architecture
US9979942B2 (en) 2016-06-30 2018-05-22 Apple Inc. Per pixel color correction filtering
DE102016217792A1 (de) * 2016-09-16 2018-03-22 Xion Gmbh Justiersystem
CN106651787B (zh) * 2016-11-08 2019-08-23 深圳市安健科技股份有限公司 基于x射线的hdr图像合成方法及系统
EP3566202B1 (en) * 2017-01-03 2023-09-13 Teledyne Flir, LLC Image noise reduction using spectral transforms
CN108810552B (zh) 2017-04-28 2021-11-09 华为技术有限公司 图像预测方法和相关产品
GB2568039B (en) * 2017-10-30 2020-10-28 Imagination Tech Ltd Systems and methods for processing a stream of data values
GB2567881B (en) 2017-10-30 2021-02-10 Imagination Tech Ltd Systems and methods for processing a stream of data values
GB2568038B (en) 2017-10-30 2020-12-02 Imagination Tech Ltd Systems and methods for processing a stream of data values
JP6995629B2 (ja) * 2018-01-05 2022-01-14 日本電信電話株式会社 演算回路
TWI712989B (zh) * 2018-01-16 2020-12-11 瑞昱半導體股份有限公司 影像處理方法及影像處理裝置
GB2572571B (en) * 2018-04-03 2021-09-01 Apical Ltd Image processing
US10951875B2 (en) 2018-07-03 2021-03-16 Raxium, Inc. Display processing circuitry
CN110830680B (zh) * 2018-08-08 2021-03-16 瑞昱半导体股份有限公司 确定滤波器系数的方法
EP3654064B1 (en) * 2018-11-16 2021-01-13 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for characterizing an object based on measurement samples from one or more location sensors
KR102152346B1 (ko) * 2019-01-30 2020-09-04 스노우 주식회사 이미지 파일의 블록 간 차이를 통한 압축율 향상 방법 및 시스템
KR102185668B1 (ko) 2019-01-30 2020-12-02 스노우 주식회사 이미지 파일의 픽셀 변환을 통한 압축율 향상 방법 및 시스템
JP2020155907A (ja) * 2019-03-20 2020-09-24 株式会社朋栄 自動色補正処理方法及び自動色補正処理装置
CN112312046B (zh) * 2019-07-26 2023-05-23 瑞昱半导体股份有限公司 应用于图像感测电路的像素通道不平衡补偿方法与系统
CN111311503A (zh) * 2019-11-13 2020-06-19 深圳大学 一种夜晚低亮度图像增强系统
CN110852976B (zh) * 2019-11-22 2023-04-18 昆明物理研究所 一种红外图像明暗不均匀校正方法及计算机程序产品
WO2021102947A1 (zh) * 2019-11-29 2021-06-03 深圳市大疆创新科技有限公司 图像信号处理装置、方法、相机以及可移动平台
US11508037B2 (en) 2020-03-10 2022-11-22 Samsung Electronics Co., Ltd. Systems and methods for image denoising using deep convolutional networks
CN111487257A (zh) * 2020-04-01 2020-08-04 武汉精立电子技术有限公司 一种显示面板异常像素实时检测修复方法及装置
US11488285B2 (en) * 2020-04-13 2022-11-01 Apple Inc. Content based image processing
CN112837323A (zh) * 2021-01-12 2021-05-25 全时云商务服务股份有限公司 一种基于人像分割的视频处理方法、系统和存储介质
US11798135B2 (en) * 2021-02-24 2023-10-24 Gn Audio A/S Method and system for three-dimensional noise reduction and contrast enhancement of images
CN113902665A (zh) * 2021-10-28 2022-01-07 北京达佳互联信息技术有限公司 图像处理方法及装置
US11704891B1 (en) 2021-12-29 2023-07-18 Insight Direct Usa, Inc. Dynamically configured extraction, preprocessing, and publishing of a region of interest that is a subset of streaming video data
US11509836B1 (en) 2021-12-29 2022-11-22 Insight Direct Usa, Inc. Dynamically configured processing of a region of interest dependent upon published video data selected by a runtime configuration file
KR20230120371A (ko) * 2022-02-09 2023-08-17 삼성전자주식회사 이미지 처리 장치 및 이를 이용한 이미지 처리 방법
CN114511469B (zh) * 2022-04-06 2022-06-21 江苏游隼微电子有限公司 一种图像智能降噪先验检测方法
US11778167B1 (en) 2022-07-26 2023-10-03 Insight Direct Usa, Inc. Method and system for preprocessing optimization of streaming video data
WO2024124395A1 (en) * 2022-12-13 2024-06-20 Qualcomm Incorporated Temporal filtering for motion distortion correction

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US38911A (en) * 1863-06-16 Van eensselaee powell
US38896A (en) * 1863-06-16 Improvement in sheep-racks
US39213A (en) * 1863-07-14 Improvement in the manufacture of alkaline carbonates
US4475172A (en) * 1978-05-30 1984-10-02 Bally Manufacturing Corporation Audio/visual home computer and game apparatus
US4589089A (en) * 1978-05-30 1986-05-13 Bally Manufacturing Corporation Computer-peripheral interface for a game apparatus
US4799677A (en) * 1983-09-02 1989-01-24 Bally Manufacturing Corporation Video game having video disk read only memory
US4979738A (en) 1983-12-06 1990-12-25 Midway Manufacturing Corporation Constant spatial data mass RAM video display system
US4605961A (en) * 1983-12-22 1986-08-12 Frederiksen Jeffrey E Video transmission system using time-warp scrambling
US4682360A (en) * 1983-12-22 1987-07-21 Frederiksen Jeffrey E Video transmission system
US4694489A (en) * 1983-12-22 1987-09-15 Frederiksen Jeffrey E Video transmission system
US4742543A (en) * 1983-12-22 1988-05-03 Frederiksen Jeffrey E Video transmission system
US4743959A (en) * 1986-09-17 1988-05-10 Frederiksen Jeffrey E High resolution color video image acquisition and compression system
US5227863A (en) * 1989-11-14 1993-07-13 Intelligent Resources Integrated Systems, Inc. Programmable digital video processing system
US5272529A (en) * 1992-03-20 1993-12-21 Northwest Starscan Limited Partnership Adaptive hierarchical subband vector quantization encoder
US5247355A (en) * 1992-06-11 1993-09-21 Northwest Starscan Limited Partnership Gridlocked method and system for video motion compensation
EP1341126A3 (en) * 1992-09-01 2004-02-04 Apple Computer, Inc. Image compression using a shared codebook
JP2931520B2 (ja) * 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
US6122411A (en) * 1994-02-16 2000-09-19 Apple Computer, Inc. Method and apparatus for storing high and low resolution images in an imaging device
US5694227A (en) * 1994-07-15 1997-12-02 Apple Computer, Inc. Method and apparatus for calibrating and adjusting a color imaging system
US5764291A (en) * 1994-09-30 1998-06-09 Apple Computer, Inc. Apparatus and method for orientation-dependent camera exposure and focus setting optimization
US5496106A (en) * 1994-12-13 1996-03-05 Apple Computer, Inc. System and method for generating a contrast overlay as a focus assist for an imaging device
JPH08181910A (ja) * 1994-12-26 1996-07-12 Hitachi Ltd 画像処理装置
US5629734A (en) * 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5640613A (en) * 1995-04-14 1997-06-17 Apple Computer, Inc. Corrective lens assembly
US6011585A (en) 1996-01-19 2000-01-04 Apple Computer, Inc. Apparatus and method for rotating the display orientation of a captured image
JPH09261463A (ja) 1996-03-26 1997-10-03 Casio Electron Mfg Co Ltd 画像データ補正装置
US5867214A (en) 1996-04-11 1999-02-02 Apple Computer, Inc. Apparatus and method for increasing a digital camera image capture rate by delaying image processing
US5809178A (en) * 1996-06-11 1998-09-15 Apple Computer, Inc. Elimination of visible quantizing artifacts in a digital image utilizing a critical noise/quantizing factor
US6031964A (en) * 1996-06-20 2000-02-29 Apple Computer, Inc. System and method for using a unified memory architecture to implement a digital camera device
US5991465A (en) * 1996-08-29 1999-11-23 Apple Computer, Inc. Modular digital image processing via an image processing chain with modifiable parameter controls
US6028611A (en) * 1996-08-29 2000-02-22 Apple Computer, Inc. Modular digital image processing via an image processing chain
US6157394A (en) 1996-08-29 2000-12-05 Apple Computer, Inc. Flexible digital image processing via an image processing chain with modular image processors
US5790705A (en) * 1996-09-13 1998-08-04 Apple Computer, Inc. Compression techniques for substantially lossless digital image data storage
US6141044A (en) * 1996-09-26 2000-10-31 Apple Computer, Inc. Method and system for coherent image group maintenance in memory
US5979738A (en) * 1998-02-05 1999-11-09 E.P. Paton Electric Welding Machine for flash-butt welding of rails
US6198514B1 (en) 1998-02-27 2001-03-06 Apple Computer, Inc. Color misconvergence measurement using a common monochrome image
JP3730419B2 (ja) * 1998-09-30 2006-01-05 シャープ株式会社 映像信号処理装置
US6954193B1 (en) 2000-09-08 2005-10-11 Apple Computer, Inc. Method and apparatus for correcting pixel level intensity variation
US6745012B1 (en) 2000-11-17 2004-06-01 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive data compression in a wireless telecommunications system
US7110455B2 (en) * 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
US7170938B1 (en) * 2001-08-21 2007-01-30 Cisco Systems Canada Co. Rate control method for video transcoding
US6959044B1 (en) 2001-08-21 2005-10-25 Cisco Systems Canada Co. Dynamic GOP system and method for digital video encoding
US6933971B2 (en) * 2002-05-14 2005-08-23 Kwe International, Inc. Reconstruction of color components in digital image processing
US7277595B1 (en) * 2003-01-06 2007-10-02 Apple Inc. Method and apparatus for digital image manipulation to remove image blemishes
JP4350706B2 (ja) * 2003-03-28 2009-10-21 オリンパス株式会社 画像処理装置及び画像処理プログラム
US7310371B2 (en) * 2003-05-30 2007-12-18 Lsi Corporation Method and/or apparatus for reducing the complexity of H.264 B-frame encoding using selective reconstruction
US7327786B2 (en) * 2003-06-02 2008-02-05 Lsi Logic Corporation Method for improving rate-distortion performance of a video compression system through parallel coefficient cancellation in the transform
US7324595B2 (en) * 2003-09-22 2008-01-29 Lsi Logic Corporation Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
US7602849B2 (en) * 2003-11-17 2009-10-13 Lsi Corporation Adaptive reference picture selection based on inter-picture motion measurement
US7362804B2 (en) * 2003-11-24 2008-04-22 Lsi Logic Corporation Graphical symbols for H.264 bitstream syntax elements
JP2005159957A (ja) * 2003-11-28 2005-06-16 Mega Chips Corp 色補間方法
US7345708B2 (en) * 2003-12-23 2008-03-18 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
US7362376B2 (en) * 2003-12-23 2008-04-22 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
US7515765B1 (en) * 2004-01-30 2009-04-07 Apple Inc. Image sharpness management
US7502505B2 (en) * 2004-03-15 2009-03-10 Microsoft Corporation High-quality gradient-corrected linear interpolation for demosaicing of color images
US7231587B2 (en) * 2004-03-29 2007-06-12 Lsi Corporation Embedded picture PSNR/CRC data in compressed video bitstream
US7620103B2 (en) * 2004-12-10 2009-11-17 Lsi Corporation Programmable quantization dead zone and threshold for standard-based H.264 and/or VC1 video encoding
US7576783B2 (en) 2005-02-04 2009-08-18 Hau Hwang Confidence based weighting for color interpolation
US7612804B1 (en) * 2005-02-15 2009-11-03 Apple Inc. Methods and apparatuses for image processing
US7949044B2 (en) * 2005-04-12 2011-05-24 Lsi Corporation Method for coefficient bitdepth limitation, encoder and bitstream generation apparatus
US8031766B2 (en) * 2005-08-02 2011-10-04 Lsi Corporation Performance adaptive video encoding with concurrent decoding
US8155194B2 (en) * 2005-08-05 2012-04-10 Lsi Corporation Method and apparatus for MPEG-2 to H.264 video transcoding
US8045618B2 (en) * 2005-08-05 2011-10-25 Lsi Corporation Method and apparatus for MPEG-2 to VC-1 video transcoding
US7903739B2 (en) * 2005-08-05 2011-03-08 Lsi Corporation Method and apparatus for VC-1 to MPEG-2 video transcoding
US8208540B2 (en) * 2005-08-05 2012-06-26 Lsi Corporation Video bitstream transcoding method and apparatus
US7881384B2 (en) * 2005-08-05 2011-02-01 Lsi Corporation Method and apparatus for H.264 to MPEG-2 video transcoding
JP2007060153A (ja) * 2005-08-23 2007-03-08 Nikon Corp 履歴付加装置、電子カメラ、および画像処理プログラム
JP2007086559A (ja) * 2005-09-26 2007-04-05 Pentax Corp カメラ
US7596280B2 (en) * 2005-09-29 2009-09-29 Apple Inc. Video acquisition with integrated GPU processing
US8098256B2 (en) * 2005-09-29 2012-01-17 Apple Inc. Video acquisition with integrated GPU processing
US7711200B2 (en) 2005-09-29 2010-05-04 Apple Inc. Video acquisition with integrated GPU processing
US7551214B2 (en) * 2005-12-01 2009-06-23 Megachips Lsi Solutions Inc. Pixel interpolation method
US7830426B2 (en) 2005-12-29 2010-11-09 Micron Technology, Inc. Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms
JP5183880B2 (ja) * 2006-03-14 2013-04-17 ソニー株式会社 カラーフィルタおよび撮像素子
US8204334B2 (en) 2006-06-29 2012-06-19 Thomson Licensing Adaptive pixel-based filtering
US7893975B2 (en) * 2006-10-13 2011-02-22 Apple Inc. System and method for processing images using predetermined tone reproduction curves
US7773127B2 (en) * 2006-10-13 2010-08-10 Apple Inc. System and method for RAW image processing
JP4284628B2 (ja) 2006-12-15 2009-06-24 ソニー株式会社 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP2008252767A (ja) * 2007-03-30 2008-10-16 Sanyo Electric Co Ltd ノイズ低減装置、ノイズ低減方法、及び電子機器
US20080253652A1 (en) * 2007-04-10 2008-10-16 Aricent Inc. Method of demosaicing a digital mosaiced image
JP2010147508A (ja) * 2007-04-13 2010-07-01 Panasonic Corp 撮影装置及び再生装置
US8724895B2 (en) 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
JP5095434B2 (ja) * 2008-02-08 2012-12-12 株式会社リコー 撮像装置および画像処理装置
US8405727B2 (en) * 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
CN101448077B (zh) * 2008-12-26 2010-06-23 四川虹微技术有限公司 一种自适应视频图像3d降噪方法
CN101551901B (zh) * 2009-05-25 2010-12-29 中国人民解放军国防科学技术大学 动态遮挡图像的实时补偿和增强方法

Also Published As

Publication number Publication date
CN102640184A (zh) 2012-08-15
KR20120062941A (ko) 2012-06-14
CN102640184B (zh) 2015-04-08
EP2491528B1 (en) 2016-08-31
TW201143378A (en) 2011-12-01
AU2010308351A1 (en) 2012-05-17
KR101269344B1 (ko) 2013-05-31
US20110090351A1 (en) 2011-04-21
WO2011049779A1 (en) 2011-04-28
JP2013508853A (ja) 2013-03-07
US8593483B2 (en) 2013-11-26
JP5643320B2 (ja) 2014-12-17
AU2010308351B2 (en) 2014-07-10
EP2491528A1 (en) 2012-08-29

Similar Documents

Publication Publication Date Title
TWI430654B (zh) 用於影像信號處理之時間濾波技術
TWI454153B (zh) 使用加權梯度用於去馬賽克影像資料之系統及方法
TWI425831B (zh) 偵測及校正影像感測器中之缺陷像素之系統及方法
TWI513298B (zh) 雙影像感測器影像處理系統及方法
US8294781B2 (en) System and method for sharpening image data
US8472712B2 (en) System and method for applying lens shading correction during image processing
RU2543974C2 (ru) Управление автофокусировкой с использованием статистических данных изображения на основании показателей грубой и точной автофокусировки
US8525895B2 (en) Binning compensation filtering techniques for image signal processing
RU2537038C2 (ru) Автоматическая обработка баланса белого с гибким выбором цветового пространства

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees