TWI442767B

TWI442767B - 可適性透鏡蔭影校正

Info

Publication number: TWI442767B
Application number: TW099132474A
Authority: TW
Inventors: David Daming Kuo; Haitao Guo; Jay David Zipnick; Ting Chen; Sumit Chawla
Original assignee: Apple Inc
Priority date: 2010-06-04
Filing date: 2010-09-24
Publication date: 2014-06-21
Also published as: US20110298944A1; CN102131040A; US8228406B2; JP5674925B2; CN102131040B; TW201145993A; WO2011152848A1; JP2013527730A; KR101270851B1; EP2540086A1; KR20120118081A

Description

可適性透鏡蔭影校正

處理，且更特定言之，係關於原始影像資料之截獲及處理。

由於蘋果公司iPhone 4之原型機顯然在2010年3月25日被一名蘋果公司工程師偷取，因此本申請案中所將揭示並主張之本發明已過早地對公眾披露且未經蘋果公司授權。在被顯然盜取之前，未申請本申請案所基於之美國優先權申請案。

此部分意欲向讀者介紹可能與下文所描述及/或主張之本發明之各種態樣相關的技術之各種態樣。此論述據信有助於向讀者提供背景資訊以促進更佳地理解本發明之各種態樣。因此，應理解，此等陳述應就此而論進行閱讀，而並非作為對先前技術之認可。

許多電子裝置包括相機或其他影像俘獲裝置。此等影像俘獲裝置可輸出原始影像資料之圖框，可對該等圖框進行處理，之後將其保存為已處理影像或顯示於電子裝置上。為求效率，許多電子裝置可藉由專用影像處理管線(諸如，影像信號處理器(ISP))來處理此原始影像資料。

可基於與正處理之影像資料之圖框相關聯的統計資料來判定用於控制專用影像處理管線之許多參數。然而，由於該等統計資料僅可在已部分地處理了原始影像資料之圖框之後判定，因此用於專用影像處理管線之早期階段的控制參數可基於來自影像資料之先前圖框而非影像資料之當前圖框的統計資料來判定。因此，在一些個例中，硬體管線之早期步驟可能由於振盪及不精密而存在校準誤差，且所得影像可能不盡如人意。此外，即使硬體管線之早期步驟經恰當地校準，所得影像有時仍可能由於其他原因而不盡如人意。然而，唯一補救方式可涉及對不盡如人意之已處理影像進行後處理。

下文闡述本文中所揭示之特定實施例之概述。應理解，呈現此等態樣僅為了向讀者提供此等特定實施例之簡要概述，且此等態樣不意欲限制本發明之範疇。事實上，本發明可涵蓋下文可能未闡述之各種態樣。

本發明之實施例係關於用於藉由一電子裝置之主影像處理能力及替代性影像處理能力來對原始影像資料進行雙重處理的系統、方法及裝置。根據一實施例，在藉由主影像處理來處理原始影像資料之一圖框的一第二複本之前，替代性影像處理可分析原始影像資料之該圖框的一第一複本。之後，該主影像處理可處理原始影像之該圖框的該第二複本。可至少部分地基於對原始影像資料之該圖框之該第一複本的該分析來校準該主影像處理。此等前饋處理技術可用於各種影像處理功能，包括(例如)黑階補償、透鏡蔭影校正及缺陷像素映射。

可存在關於本文中所揭示實施例的對上文所提特徵之各種改進。額外特徵亦可併入於此等各種實施例中。此等改進及額外特徵可個別地存在或以任何組合方式存在。舉例而言，下文關於一或多個實施例而論述之各種特徵可單獨地或以任何組合併入於其他所揭示實施例中。又，上文所呈現之簡要概述僅意欲使讀者熟悉本發明之實施例的某些態樣及上下文，而並非限制所主張之標的物。

在閱讀以下詳細描述且參看諸圖之後，可更佳地理解本發明之各種態樣。

下文將描述一或多個特定實施例。為了提供此等實施例之簡明描述，在說明書中並不描述實際實施之所有特徵。應瞭解，在任何此種實際實施之開發過程中(如在任何工程或設計計劃中)，必須作出眾多實施特定決策以達成開發人員之特定目標，諸如符合系統相關及商業相關約束，每一實施之決策可能不同。此外，應瞭解，此種開發工作可能複雜而耗時，但對於受益於本發明之熟習此項技術者而言仍將為常規之設計、加工及製造事務。

本發明之實施例係關於藉由一電子裝置之主影像處理能力及替代性影像處理能力對原始影像資料進行雙重處理。在一些實施例中，可使用此所俘獲原始影像資料來產生用於主影像處理(其可為一影像信號處理器(ISP))之前饋控制參數。以實例說明，某些替代性影像處理可週期性地或按需求(例如，在預期主影像處理存在校準誤差時)分析所截獲之原始影像資料。此替代性影像處理可包括(例如)一不同ISP或在通用處理器上執行之軟體。基於對原始影像資料之分析，可產生用於控制主影像處理之經更新控制參數，並將該等控制參數發送至該主影像處理。之後，主影像處理可根據此等經更新之控制參數來處理原始影像資料。舉例而言，此前饋控制可用於黑階補償、透鏡蔭影補償或由主影像處理執行之其他校正動作中之一或多者。

某些實施例可使用所俘獲之原始影像資料達成其他目的。舉例而言，可週期性地分析原始影像資料以發現在原始影像資料已由主影像處理加以處理之後可能難以偵測到的新的缺陷像素。又，在某些實施例中，可在主影像處理發生的同時儲存原始影像資料，以使得在主影像處理產生不盡如人意之影像的情況下能夠由替代性影像處理進行再處理。在其他實施例中，替代性影像處理可與主影像處理並行地處理原始影像資料，以產生可由使用者選擇之多個影像。

考慮到前述情況，下文提供用於執行本發明所揭示之技術之合適電子裝置的一般描述。詳言之，圖1為描繪在一適用於本發明之技術的電子裝置中可存在之各種組件的方塊圖。圖2及圖3分別表示一合適電子裝置之前視圖及後視圖，該電子裝置可如所說明為一具有影像俘獲裝置、主影像處理能力及某些替代性影像處理能力之手持型電子裝置。

首先轉向圖1，用於執行本發明所揭示之技術的電子裝置10可包括一或多個處理器12、記憶體14、非揮發性儲存器16、顯示器18、一或多個影像俘獲裝置20、閃光燈(strobe)22、主影像處理24、輸入/輸出(I/O)介面26、網路介面28、輸入結構30及電源32。圖1中所展示之各種功能區塊可包括硬體元件(包括電路)、軟體元件(包括儲存於非暫時性電腦可讀媒體上之電腦程式碼)或硬體元件與軟體元件兩者之組合。應進一步注意，圖1僅為特定實施之一實例，且意欲說明電子裝置10中可存在之組件的類型。

以實例說明，電子裝置10可表示圖3中所描繪之手持型裝置或類似裝置(諸如，具有類似成像能力之桌上型電腦或膝上型電腦)之方塊圖。應注意，主影像處理24區塊、該(等)處理器12及/或其他資料處理電路在本文中大體上可稱為「資料處理電路」。此資料處理電路可全部或部分地體現為軟體、韌體、硬體或其任何組合。此外，資料處理電路可為所含有的單個處理模組，或可全部或部分地併入電子裝置10內之其他元件中的任一者內。此外或替代地，資料處理電路可部分地體現於電子裝置10內，且部分地體現於連接至裝置10之另一電子裝置內。

在圖1之電子裝置10中，處理器12及/或其他資料處理電路可操作地耦接至記憶體14及非揮發性儲存器16以執行用於執行本發明所揭示技術之各種演算法。此等演算法可由處理器12及/或其他資料處理電路(例如，與主影像處理24相關聯之韌體或軟體)基於可由處理器12及/或其他資料處理電路執行之某些指令來執行。可使用任何合適製品(包括一或多個有形電腦可讀媒體)來儲存此等指令以至少集中地儲存該等指令。該(等)製品可包括(例如)記憶體14及/或非揮發性儲存器16。記憶體14及非揮發性儲存器16可包括用於儲存資料及可執行指令之任何合適製品，諸如隨機存取記憶體、唯讀記憶體、可重寫快閃記憶體、硬碟機及光碟。

影像俘獲裝置20可通常基於環境光而俘獲一場景之原始影像資料之圖框。當單獨環境光不足時，閃光燈22(例如，發光二極體(LED)或氙氣閃光裝置)可在影像俘獲裝置20俘獲原始影像資料之圖框時臨時地對場景進行照明。在任一情況下，可處理來自影像俘獲裝置20之原始影像資料之圖框，之後將其儲存於記憶體14或非揮發性儲存器16中或顯示於顯示器18上。

詳言之，所說明之影像俘獲裝置20可提供為經組態以獲取靜態影像及移動性影像(例如，視訊)兩者之數位相機。此影像俘獲裝置20可包括經組態以俘獲光並將光轉換為電信號之一透鏡及一或多個影像感測器。僅以實例說明，影像感測器可包括CMOS影像感測器(例如，CMOS主動像素感測器(APS))或CCD(電荷耦合裝置)感測器。通常，影像俘獲裝置20中之影像感測器包括具有一像素陣列之積體電路，其中每一像素包括一用於感測光之光偵測器。如熟習此項技術者將瞭解，成像像素中之光偵測器通常偵測經由相機透鏡俘獲之光的強度。然而，光偵測器自身通常不能偵測所俘獲之光的波長，且由此不能判定色彩資訊。

因此，影像感測器可進一步包括一彩色濾光片陣列(CFA)，該CFA可覆蓋影像感測器之像素陣列或安置於影像感測器之像素陣列上方以俘獲色彩資訊。該彩色濾光片陣列可包括一小彩色濾光片陣列，其中每一小彩色濾光片可與影像感測器之各別像素重疊，且根據波長來對所俘獲之光進行濾波。因此，彩色濾光片陣列及光偵測器在結合使用時可提供關於經由相機而俘獲之光的波長資訊及強度資訊兩者，其可表示所俘獲之影像。

在一實施例中，彩色濾光片陣列可包括一拜耳(Bayer)彩色濾光片陣列，該拜耳彩色濾光片陣列提供包括50%綠色元素、25%紅色元素及25%藍色元素之濾光圖案。舉例而言，圖2展示一拜耳CFA之2×2像素區塊，其包括2個綠色元素(Gr及Gb)、1個紅色元素(R)及1個藍色元素(B)。因此，利用拜耳彩色濾光片陣列之影像感測器可提供在綠色、紅色及藍色波長下關於由影像俘獲裝置20接收之光之強度的資訊，藉此每一影像像素記錄三種顏色(RGB)中之僅一種。可接著使用一或多種解馬賽克技術來處理此資訊(其可稱為「原始影像資料」或「原始域」中之資料)以將原始影像資料轉換為全色影像，該轉換通常係藉由針對每一像素插入一組紅色、綠色及藍色值而進行。如下文所論述，可由主影像處理24來執行此等解馬賽克技術。

來自影像俘獲裝置20之此原始影像資料之圖框可進入主影像處理24以進行處理。在一些實施例中，主影像處理24可包括一專用硬體影像處理管線，該管線可包括可購自三星公司(Samsung)之影像信號處理器(ISP)。如下文將論述，來自影像俘獲裝置20之原始影像資料亦可儲存於記憶體14中之圖框緩衝器中，記憶體14可由電子裝置10之替代性影像處理能力存取。如本文中所使用，術語「替代性影像處理」表示除主影像處理24以外所執行之影像處理，且包括代替主影像處理24處之處理而執行的影像處理，或除主影像處理24處之處理之外而執行的影像處理。因此，該術語亦包括在由主影像處理24對影像資料進行之處理之外但為了支援對影像資料之處理而執行的處理(如在本文中之各種實例中所描述)。

電子裝置10之此替代性影像處理能力可包括(例如)在處理器12上以軟體執行之影像處理或影像分析。此外或替代地，電子裝置10之替代性影像處理能力可包括能夠分析原始影像資料之某些特性的其他硬體或韌體。以實例說明，替代性影像處理能力可包括圖框分析，圖框分析可涉及分析來自影像俘獲裝置20之原始影像資料的圖框。此圖框分析可指示原始影像資料之某些特性，該等特性可能會影響主影像處理24處理該原始影像資料所應採用之方式。

因此，在一些實施例中，電子裝置10之替代性影像處理能力可產生用於主影像處理24之某些前饋控制參數。詳言之，可週期性地或按需求(諸如，在預期主影像處理24之某些階段存在校準誤差時)對原始影像資料執行替代性影像處理之圖框分析。基於該圖框分析，可產生主影像處理24之某些控制參數且將其提供至主影像處理24。之後，主影像處理24可根據新判定之控制參數來處理同一原始影像資料。如下文將更詳細地論述，此等控制參數可包括(例如)用於黑階及/或透鏡蔭影校正(其可能在早期發生於主影像處理24中)之參數。

I/O介面26如網路介面28般可使得電子裝置10與各種其他電子裝置介接。此等網路介面28可包括(例如)用於個人區域網路(PAN)(諸如，藍芽網路)之介面、用於區域網路(LAN)(諸如，802.11x Wi-Fi網路)之介面，及/或用於廣域網路(WAN)(諸如，3G或4G蜂巢式網路)之介面。經由網路介面28，電子裝置10可與可包括閃光燈22之其他裝置介接。電子裝置10之輸入結構30可使得使用者能夠與電子裝置10互動(例如，按壓實體按鈕或虛擬按鈕以起始一影像俘獲序列)。電子裝置10之電源32可為任何合適電源，諸如可再充電鋰聚合物(Li聚合物)電池及/或交流(AC)電源轉換器。

圖3及圖4描繪一手持型裝置34之前視圖及後視圖，且表示電子裝置10之一實施例。該手持型裝置34可表示(例如)攜帶型電話、媒體播放器、個人資料行事曆、手持型遊戲平台或此等裝置之任何組合。以實例說明，手持型裝置34可為某一型號的iPod或iPhone，iPod或iPhone可購自加利福尼亞州庫帕提諾(Cupertino)之蘋果公司。應理解，電子裝置10之其他實施例可包括(例如)諸如可購自蘋果公司之MacBook、MacBookPro、MacBook Air、iMac、Macmini或Mac Pro之電腦。在其他實施例中，電子裝置10可為平板計算裝置，諸如可購自蘋果公司之iPad。

手持型裝置34可包括一外殼36以保護內部組件免受實體損害且將內部組件屏蔽以免受電磁干擾。外殼36可環繞顯示器18，顯示器18可顯示指示符圖符38。該等指示符圖符38可指示蜂巢信號強度、藍芽連接及/或電池使用時間。I/O介面26可經由外殼36打開，且可包括(例如)蘋果公司之專屬I/O埠以連接至外部裝置。如圖4中所指示，手持型裝置34之背面可包括影像俘獲裝置20及閃光燈22。

使用者輸入結構40、42、44及46結合顯示器18可允許使用者控制該手持型裝置34。舉例而言，輸入結構40可啟動或撤銷啟動手持型裝置34，輸入結構42可將使用者介面20導引至主螢幕(使用者可組態應用程式螢幕)及/或啟動手持型裝置34之語音辨識特徵，輸入結構44可提供音量控制，且輸入結構46可在振動模式與振鈴模式之間雙態觸發。麥克風48可獲得使用者之語音以用於各種語音相關特徵，且揚聲器50可實現音訊播放及/或某些電話能力。耳機輸入端52可提供與外部揚聲器及/或耳機之連接。

如圖5中所展示，當電子裝置10之影像俘獲裝置20俘獲到原始影像資料時，可將此原始影像資料提供至主影像處理24，之後將最終影像顯示於顯示器18上或儲存於記憶體14中。然而，亦可週期性地或在預期主影像處理24之某些階段存在校準誤差時將原始影像資料儲存於記憶體14中。可儲存原始影像資料之記憶體14可為電子裝置10之主記憶體的部分(非揮發性儲存器16)，或可為電子裝置10內之單獨專用記憶體。可儲存原始影像資料之此記憶體14可包括直接記憶體存取(DMA)特徵。舉例而言，與影像俘獲裝置20、影像處理電路24或記憶體14相關聯之控制器可使來自影像俘獲裝置20之原始影像資料的某些圖框按需求儲存於記憶體14中。之後，替代性影像處理56(圖4)可存取記憶體14中所儲存之原始影像資料，該替代性影像處理56可包括(例如)在處理器12上執行之影像處理或影像分析軟體或者具有特定影像分析能力之其他硬體或韌體。或者，來自影像俘獲裝置20之原始影像資料之每一新圖框可發送至記憶體14，但僅可按需求由替代性影像處理56存取。

替代性影像處理56可不同於主影像處理24。舉例而言，如上文所提及，主影像處理24可包括硬體影像處理，而替代性影像處理56可包括軟體影像處理。換言之，主影像處理24可經由諸如影像信號處理器(ISP)之第一處理器來進行，而替代性影像處理56可經由諸如通用處理器或中央處理單元(CPU)之第二處理器來進行。在一些實施例中，替代性影像處理56可為一替代性硬體影像處理管線，其可具有不同能力或可根據與主影像處理24之控制參數不同的控制參數來操作。

另外，主影像處理24與替代性影像處理56可具有不同能力。在一些實施例中，主影像處理24可更為有效，但替代性影像處理56可更為靈活。當主影像處理24包括諸如影像信號處理器(ISP)之硬體影像處理管線且替代性影像處理56包括在處理器12中之一或多者上執行之軟體影像處理時，主影像處理24可比替代性影像處理56消耗更少資源。因此，主影像處理24通常可為電子裝置10中之影像處理的首選。然而，由於主影像處理24之能力可為有限的及/或偶爾存在校準誤差，因此替代性影像處理56之增加的資源消耗有時可為允許的。另一方面，當替代性影像處理56包括軟體時，替代性影像處理56可比主影像處理24利用更多影像處理技術及/或更大的記憶體。因此，替代性影像處理56可週期性地或在預期主影像處理24之某些階段存在校準誤差時使用此等資源來分析原始影像資料之圖框，之後主影像處理24處理原始影像資料之該圖框。藉由此分析，替代性影像處理56及/或主影像處理24可產生前饋參數來控制主影像處理24之某些態樣。由於該等前饋控制參數係基於相同原始影像資料(其將由主影像處理24來處理)而判定，因此此等前饋控制參數可比基於影像資料之先前圖框的回饋控制參數更為準確。

如上文所提及，替代性影像處理56可對原始影像資料執行預分析，之後由主影像處理24處理該原始影像資料。基於對原始影像資料之此預分析，可產生用於主影像處理24之某些控制參數。此外或替代地，在主影像處理24產生或預期將產生不盡如人意之結果時，替代性影像處理56可處理原始影像資料以產生最終之已處理影像。具體言之，由於替代性影像處理56可提供與主影像處理24所提供之影像不同的最終影像，因此在主影像處理24不能產生令人滿意之最終之已處理影像時，可使用替代性影像處理56。因此，當預期主影像處理24將產生不盡如人意之已處理影像時，替代性影像處理56可代替主影像處理24或在主影像處理24之外處理原始影像資料。類似地，當主影像處理24產生不盡如人意之最終影像時，可使用替代性影像處理56來再處理原始影像資料以產生新的最終影像。因此，在一些實施例中，替代性影像處理56之結果可儲存於記憶體14中或顯示於顯示器18上。

如圖6中所展示，在某些實施例中，主影像處理24可包括初始影像處理58、影像統計引擎60及二次影像處理62。主影像處理24及影像俘獲裝置20之此等元件58至62可實施於硬體64中。一般而言，初始影像處理58可自影像俘獲裝置20接收原始影像資料之圖框以執行某些初始處理技術，諸如黑階校正及透鏡蔭影校正。一旦初始影像處理58已對影像資料之圖框執行了初始處理，統計引擎60即可判定與影像資料之當前圖框有關的某些統計資料。來自統計引擎60之此等統計資料可由硬體64、軟體66及/或韌體68存取。當替代性影像處理56未在用時，可(例如，由硬體64或韌體68)使用針對影像資料之當前圖框而收集之統計資料來判定用於對影像資料之未來圖框進行初始影像處理58的控制參數。因此，由於在替代性影像處理56未在用時，可發生初始影像處理58，之後可自統計引擎60收集影像資料之當前圖框之影像統計資料，因此通常可至少部分地基於回饋來控制初始影像處理58。

在初始影像處理58之後，二次影像處理62可執行隨後之影像處理技術。以實例說明，二次影像處理62可包括對影像資料之當前圖框進行白平衡及解馬賽克處理。由於二次影像處理62可在可由統計引擎60判定影像統計資料之後發生，因此二次影像處理62可至少部分地由基於影像資料之當前圖框(例如，使用硬體64或韌體68)而產生之控制參數來控制。以此方式，二次影像處理62可以與初始影像處理58相同之方式不依賴於來自影像資料之先前已處理圖框的回饋。

可週期性地或在來自統計引擎60之統計資料指示在初始影像處理58中資料之未來圖框可能存在校準誤差時使用替代性影像處理56。在由圖6說明之實施例中，替代性影像處理56實施於軟體66中。軟體66可在處理器12上執行。當軟體66未在用時，可至少部分地撤銷啟動該(等)處理器12中之全部或部分，從而消耗極小電力。在一些實施例中，軟體66可利用某些通用處理器設計，諸如某些精簡指令集計算(RISC)架構。以實例說明，一些實施例可涉及單指令多資料(SIMD)架構(諸如，ARM之NEON^TM 架構)，其可音頻行某些並行影像處理(例如，並行低通濾波，等)。軟體66可與電子裝置10之某一韌體68互動。以實例說明，韌體68可與主影像處理24相關聯。

如上文所指出，可將來自影像俘獲裝置20之原始影像資料之圖框發送至記憶體14。軟體66可自緩衝器70獲得原始影像資料之此圖框，在一些實施例中，該緩衝器70在給定時間處可佔據僅足夠用於單一圖框之記憶體。對原始影像資料之圖框的圖框分析72可指示用於主影像處理24之當前控制參數是否經恰當地校準。以實例說明，如下文更詳細地論述，圖框分析72可指示初始影像處理58之黑階校正或透鏡蔭影校正控制參數應改變。在某些實施例中，圖框分析72可指示已偵測到影像俘獲裝置20之新的缺陷像素。為了作出此等判定，替代性影像處理56可使用任何合適方式來分析原始影像資料之圖框，包括下文所描述之彼等方式。

基於圖框分析72中所判定之此資訊，可在軟體66或韌體68中判定與主影像處理24相關聯之新的或經更新之控制參數74。可將此等「前饋」控制參數74(其係在初始影像處理58開始處理原始影像資料之同一圖框之前判定)前向地饋送至主影像處理24。在所說明之實施例中，將控制參數74前向地饋送至初始影像處理58。之後，主影像處理24之各階段可處理原始影像資料之圖框以產生一最終影像。由主影像處理24產生之此最終影像可顯示於顯示器18上及/或儲存於記憶體14中。

如上文所指出，在某些實施例中，替代性影像處理56可週期性地分析來自影像俘獲裝置20之原始影像資料，從而致使能夠週期性更新與主影像處理24相關聯之控制參數(例如，控制參數74)。亦即，如圖7之流程圖80所展示，可週期性地將來自影像俘獲裝置20之原始影像資料發送至記憶體14(區塊82)。此外或替代地，可將原始影像資料之每一圖框發送至記憶體14，但替代性影像處理56僅可週期性地存取並處理記憶體14中所儲存之此原始影像資料。在一些實施例中，替代性影像處理56可使來自影像俘獲裝置20之原始影像資料之圖框週期性地儲存於記憶體14中。

根據流程圖80來更新主影像處理24之控制參數的週期可取決於與來自影像俘獲電路20之原始影像資料相關聯的當前條件。舉例而言，當來自統計引擎60之影像統計資料在一系列圖框上相對穩定時，該週期可較長，而當統計資料不斷改變時，該週期較短。由於替代性影像處理56可比單獨之主影像處理24消耗更多資源，因此當需要電力節約時，週期可能較長。取決於影像俘獲裝置20之當前應用，該週期亦可改變。舉例而言，當影像俘獲裝置20用以俘獲針對視訊之影像資料之圖框時，相比於收集靜態影像，週期可不同。在一些實施例中，區塊80可在使用者選擇俘獲一特定影像(例如，藉由按壓一按鈕或在顯示器18上作出選擇)時進行。在一些實施例中，區塊80可在閃光燈22輸出光且獲取閃光燈所照明之影像時進行，因為閃光燈所照明之影像資料的圖框與先前之未進行閃光燈照明之影像資料的圖框可具有極為不同之統計資料。

替代性影像處理56接下來可對原始影像資料執行圖框分析(區塊84)。如應瞭解，此圖框分析可經由軟體66(如圖6中所說明)來進行，經由與替代性影像處理56相關聯之韌體來進行，或經由與替代性影像處理56相關聯之硬體處理來進行。之後，替代性影像處理56或其他資料處理電路(例如，與主影像處理24相關聯之韌體)可判定用於主影像處理24之經更新之控制參數，該等控制參數可特定地適合於處理原始影像資料之當前圖框(區塊86)。以實例說明，經更新之控制參數可表示一或多個經更新之黑階校正參數、透鏡蔭影校正參數及/或缺陷像素映射參數。亦可判定可自原始影像資料確定之用於控制主影像處理24之任何其他參數。

可將此等經更新之主影像處理24控制參數前向地饋送至主影像處理24(區塊88)。之後，主影像處理24可根據該等經更新之控制參數來執行主影像處理24(區塊90)。在一些實施例中，經更新之控制參數可保持原狀，直至替代性影像處理56再次週期性地分析原始影像資料之新圖框以獲得新更新之控制參數為止。在其他實施例中，該等經更新之控制參數可至少部分地基於來自統計引擎60之影像統計資料的回饋而經受傳統回饋控制。

此外或替代地，諸如當預期主影像處理24將存在校準誤差時，替代性影像處理56可按需求分析來自影像俘獲裝置20之原始影像資料，以獲得新的主影像處理24控制參數。舉例而言，如圖8之流程圖100所展示，當預期主影像處理24對於原始影像資料之當前圖框將存在校準誤差(例如，來自統計引擎60之統計資料可指示主影像處理24不可正確地處理影像資料之隨後圖框)(區塊102)時，可將來自影像俘獲裝置20之原始影像資料發送至記憶體14(區塊104)。此外或替代地，當預期主影像處理24將存在校準誤差時，可將原始影像資料之每一圖框發送至記憶體14，但替代性影像處理56可僅存取並處理記憶體14中所儲存之原始影像資料。在一些實施例中，當預期主影像處理24將存在校準誤差時，替代性影像處理56可使來自影像俘獲裝置20之原始影像資料之圖框儲存於記憶體14中。

舉例而言，當來自統計引擎60之某些統計資料對於各圖框均不同時，可預期主影像處理24將存在校準誤差。此圖框間差異可指示對主影像處理24之某些階段(例如，初始影像處理58)的回饋可能不穩定且振盪，或可能不精確。當預期一經閃光燈照明之影像將由影像俘獲裝置20獲得時，亦可預期主影像處理24將存在校準誤差。亦即，來自閃光燈22之光可能僅在原始影像資料之一個圖框期間輸出。因此，在與先前圖框相關聯之統計資料中，將不會考慮來自閃光燈22之光。為此，當獲得閃光燈閃光時，單獨之回饋可能無法恰當地校準主影像處理24之初始影像處理58。

替代性影像處理56接下來可對原始影像資料執行圖框分析(區塊106)。如應瞭解，此圖框分析可經由軟體66(如圖6中所說明)來進行，經由與替代性影像處理56相關聯之韌體來進行，或經由與替代性影像處理56相關聯之硬體處理來進行。之後，替代性影像處理56或其他資料處理電路(例如，與主影像處理24相關聯之韌體)可判定用於主影像處理24之新控制參數，該等控制參數可特定地適合於處理原始影像資料之當前圖框(區塊108)。以實例說明，經更新之控制參數可表示一或多個經更新之黑階校正參數、透鏡蔭影校正參數及/或缺陷像素映射參數。亦可判定可自原始影像資料確定之用於控制主影像處理24之任何其他參數。

可將此等新的、圖框特定主影像處理24控制參數前向地饋送至主影像處理24(區塊110)。之後，主影像處理24可根據該等新控制參數來執行主影像處理24(區塊112)。藉由上文所論述之實施例的方式，該等新控制參數可保持原狀，直至替代性影像處理56再次分析原始影像資料之新圖框以獲得其他新控制參數為止。在其他實施例中，該等新控制參數可至少部分地基於來自統計引擎60之影像統計資料的回饋而經受傳統回饋控制。

如先前所指出，前述技術可應用於影像處理系統之各種態樣。以實例說明，在圖9中提供根據一實施例之用於處理影像資料之系統114。系統114可包括一影像感測器116(例如，影像俘獲裝置20之拜耳感測器)，該影像感測器116具有一像素陣列118。像素陣列118可包括成像像素120，該等成像像素120經組態以接收光，且回應於接收到之此光而產生電信號。然而，除了基於接收到之光產生之信號以外，影像感測器118內之漏電流可誘發額外之信號分量。為了補償漏電流所誘發之信號，像素陣列118亦可包括暗像素122。該等暗像素122可實施於像素陣列118內之各種位置處，諸如沿成像像素120之周邊的一些(或全部)。

暗像素122可在結構上類似於成像像素120，但像素陣列118可經組態以大體上阻止暗像素122接收光。隨後，由暗像素122產生之信號大體上可歸於影像感測器內之漏電流，且為成像像素120提供黑階參考。藉由使用此黑階參考，影像感測器116可經組態以提供一定量之感測器上黑階補償，該補償係藉由使影像感測器116之成像像素120的輸出信號減小來自暗像素122之該黑階參考而達成。因此，可將成像像素120之輸出信號描述為：

S=S(i_ph )+[S(i_dc )-S_dp ]+data_pedestal，

其中S為輸出信號，S(i_ph )為光誘發之信號分量，S(i_dc )為漏電流誘發之信號分量，S_dp 為來自暗像素122之黑階參考，且「data_pedestal」為添加至信號之偏移以防止對低位準信號端處之感測器雜訊進行限幅。

若來自暗像素122之黑階參考S_dp 匹配來自成像像素120的漏電流誘發之信號分量S(i_dc )，則上文針對輸出信號S之式子減化為光誘發之信號分量S(i_ph )與「data_pedestal」偏移之總和。然而，在其他情況下，黑階參考S_dp 可能不匹配漏電流誘發之信號分量S(i_dc )。舉例而言，在一些影像感測器116中，黑階參考S_dp 可能大於漏電流誘發之信號分量S(i_dc )，從而導致此等感測器116對影像黑階之過度補償。在至少某些照明條件(諸如，低光條件)下，此過度補償可能產生不合需要之色調至輸出影像資料。舉例而言，在一具有紅色、綠色及藍色通道之影像中，感測器116對黑階之過度補償可能對較弱之藍色及紅色通道產生較大影響，而對較強之綠色通道產生較小影響，從而產生一具有綠色色調之影像。如本文中所使用，術語「黑階移位」指代影像感測器對黑階之此過度補償。在至少一些實施例中，此黑階移位可等於黑階參考S_dp 減去漏電流誘發之信號分量S(i_dc )。

系統114亦可包括一影像信號處理管線124，該影像信號處理管線124包括用於處理及更改來自影像感測器116之原始影像資料的各種硬體。在本文中所說明之實施例中，管線124包括黑階補償區塊126，該黑階補償區塊126可提供額外之偏移來移除「data_pedestal」偏移並提供進一步之黑階補償，以(諸如)校正由感測器116形成之黑階移位。舉例而言，可基於影像資料中之一量測得之黑階移位來更改由黑階補償區塊126形成之額外偏移量以移除黑階移位，而非簡單地藉由使信號減小黑階補償區塊126中之一等效額外偏移來將「data_pedestal」偏移自信號移除。換言之，在一些實施例中，黑階補償區塊之額外偏移量可等於「data_pedestal」減去黑階移位，且進入黑階補償區塊126之影像信號可減小此額外偏移量以更準確地產生所要信號。

影像信號處理管線124亦可包括額外之處理區塊，諸如透鏡蔭影補償區塊128、白平衡補償區塊130及解馬賽克區塊132。另外，管線124可包括統計引擎134及任何其他所要處理區塊。在操作中，藉由管線124處理來自影像感測器116之原始影像資料，且經處理之影像資料可輸出至各種位置，諸如記憶體14、某一其他記憶體(例如，非揮發性儲存器16)或顯示器18。

系統114亦包括一前饋迴路138，該前饋迴路138用於調整管線124中之黑階補償區塊126之黑階補償參數。前饋迴路138(其可大體上與先前所論述之替代性影像處理56相關)可自影像感測器116接收原始影像資料，且經由路徑142將此資料提供至額外影像信號處理管線140。雖然可將原始影像資料之所有圖框提供至管線124及管線140兩者，但在至少一些實施例中，影像感測器116將一影像資料圖框序列提供至管線124，而僅將該圖框序列之一子集提供至額外管線140。可週期性地或按需求將圖框序列之此子集提供至額外管線140。另外，由額外管線140接收並處理之該子集中的一或多個圖框在本文中可稱為「參考」圖框。參考圖框可複製至緩衝器144中，且可經受圖框分析146(如下文更詳細地描述)。

另外，在區塊148處，可判定影像資料之圖框的黑階移位，且使用該等黑階移位來調整管線124中之黑階補償區塊126之黑階補償參數(例如，上文所論述之額外偏移)(如大體上由參考數字150所指示)。此前饋補償可允許更準確之影像補償，該影像補償考慮到不同影像感測器116之間的黑階移位特性之變化，以及特定感測器中之黑階移位的變化(例如，歸因於老化效應、溫度、積分時間及增益)，獨立於任何工廠校準資料(其隨著時間推移或在某些操作情形下可能較不準確)。

在一實施例中，系統114可大體上包括一如圖10之方塊圖154中所描述之三層架構。特定言之，在所描繪之實施例中，上文所描述之前饋黑階補償技術可藉由使用影像信號處理硬體管線156、韌體158及軟體160而實現。影像信號處理硬體管線156包括黑階補償區塊126，且在其他方面可等同於或不同於管線124。韌體158與硬體管線156相關聯，且可由一或多個記憶體裝置(例如，唯讀記憶體)體現，該一或多個記憶體裝置對與硬體管線156之操作有關之各種應用程式指令進行編碼。軟體160可體現於各種記憶體中之任一者中，諸如隨機存取記憶體或非揮發性儲存器。另外，軟體160可包括與硬體管線156及韌體158相關聯之驅動器。

影像源162可將原始影像資料164提供至硬體管線156。管線156可(諸如)藉由將各種補償技術應用於原始影像資料164來處理原始影像資料164，以產生並輸出經處理之影像資料166。影像源162可包括影像俘獲裝置20(其自身可包括影像感測器116)或儲存此資料之記憶體裝置(諸如，非揮發性儲存器16)。

如下文更詳細地描述，除了將原始影像資料164之圖框投送至硬體管線156之外，可(經由路徑168)將此等圖框中之一或多者作為參考圖框提供至軟體160以供分析。亦可將影像俘獲參數(諸如，與原始影像資料164之特定圖框相關聯之曝光或積分時間、類比增益或溫度)提供至軟體160。軟體160可進行其對接收到之原始影像資料圖框的分析，且將參考圖框資料172之一集合輸出至韌體158。隨後，韌體158可判定一黑階補償參數或設定174，且基於該判定而修改硬體管線156之黑階補償參數(例如，用以補償「data_pedestal」及黑階移位之偏移量)。對黑階設定174之判定可基於由軟體160進行之黑階分析、針對由軟體160分析之影像資料之圖框的影像俘獲參數170，及針對影像資料之當前圖框的影像俘獲參數170。可在硬體管線156、韌體158及軟體160之間投送額外通信，如大體上由參考數字176及178表示。

在一實施例中，系統114可大體上根據圖11中所描繪之流程圖184來操作。在區塊186及188處，分別可獲取圖框及影像資料且將其傳輸至一影像信號處理硬體管線(例如，管線124)。如先前所描述，可將區塊188處所傳輸之此等圖框中之一或多者用作參考圖框，其在區塊190處經受由軟體160進行之分析以實現前饋黑階補償。大體而言，在區塊192處，可將此參考圖框複製至一緩衝器，且在區塊194處，可判定所複製之參考圖框中之估計黑階移位。

在區塊196處，基於該參考圖框中之此估計黑階移位，可判定所傳輸之其他圖框中的黑階移位。在至少一些實施例中，由韌體158基於參考圖框及所傳輸圖框兩者之一或多個影像俘獲參數(例如，曝光時間、增益或溫度)以及參考圖框中之估計黑階移位來執行對所傳輸圖框中之黑階移位的判定。在區塊198處，可基於區塊196中所判定之黑階移位來調整影像信號處理硬體管線124中之黑階補償參數，且在區塊200中，硬體管線124可基於經調整之參數來應用黑階補償。隨後，在區塊202處，可對圖框執行額外處理(例如，透鏡蔭影補償及白平衡補償)，且在區塊204處，可輸出經處理之圖框(例如，至記憶體或顯示器)。額外之傳輸圖框可經受類似之黑階補償及額外處理，如大體上由參考數字206指示。

應注意，在一些實施例中，系統114可判定特定傳輸圖框是否適於選擇為參考圖框並加以分析。舉例而言，若系統114判定一特定傳輸圖框包括在所要範圍之外的參數(例如，與落入所要範圍之外的圖框相關聯之增益)，則系統114可拒絕使用該圖框作為參考圖框以避免使隨後傳輸之圖框的黑階補償部分地基於不合適之參考圖框的黑階移位。因此，由流程圖184表示之程序(或本文中所描述之其他程序)可在需要時跳過該程序之片段或中途終止該程序。舉例而言，若判定一特定圖框不適合作為參考圖框或為不良參考圖框，則軟體分析190可在區塊194之前終止，或可甚至對於該特定圖框不開始。

根據一實施例，對一參考圖框之軟體分析190可包括額外態樣(諸如，圖12中所描繪之態樣)。在區塊214處，可接收原始影像資料以進行軟體分析，且在區塊216處，可接收額外資料。此額外資料之非限制性實例包括原始影像資料之參考圖框的曝光或積分時間、原始影像資料之參考圖框的類比增益，及與由影像感測器116對參考圖框進行之俘獲相關聯的溫度(例如，感測器在俘獲時之溫度)。另外，在區塊218處，可對接收到之參考圖框之原始影像資料進行解碼，且在區塊220處，可自此資料濾除雜訊。

在區塊222處，可執行軟體分析以尋找影像資料之參考圖框中之最暗部分且判定此等部分之局部平均亮度位準。應注意，如本文中所使用，參考圖框之「暗」部分可包括參考圖框之對應於由影像俘獲之黑色物件的部分，以及對應於具有飽和色彩之物件的部分，具有飽和色彩之物件對於一或多個色彩通道之某些像素而言看起來為黑色(例如，在影像感測器116中飽和紅色物件對於任何藍色像素而言將看起來為黑色)。在至少一些實施例中，對於參考圖框之每一色彩通道(例如，紅色、綠色及藍色通道)，可發現一或多個最暗區，且可判定每一色彩通道之該一或多個最暗區的局部平均亮度位準。在區塊224處，可接著比較該(等)局部平均亮度位準與「data_pedestal」(由影像感測器116應用至原始影像資料以減小或避免限幅之偏移)。

在區塊226處，軟體分析可接著基於最暗區之局部平均亮度位準與「data_pedestal」的比較而判定參考圖框之黑階移位。所判定之黑階移位可取決於在區塊224處所比較之局部平均亮度位準與「data_pedestal」的相對值。舉例而言，在一實施例中，若局部平均亮度位準小於「data_pedestal」，則區塊226可判定估計黑階移位等於「data_pedestal」減去在區塊222處判定之局部平均亮度位準，否則可判定黑階移位等於零(注意，若影像之最暗區保持在「data_pedestal」偏移處或「data_pedestal」以上，則對黑階移位之影響減小)。在此實施例中，「data_pedestal」大體上為影像之最暗部分的局部平均亮度位準提供一參考點。在完全黑暗之情況下，影像中之最暗區的局部平均亮度位準應等於由感測器116應用之「data_pedestal」偏移。因此，最暗區之局部平均亮度位準偏離低於「data_pedestal」可歸於由感測器116產生之黑階移位。在區塊228處，亦可輸出參考資料以用於判定額外圖框之黑階移位。舉例而言，該輸出參考資料可包括參考圖框之估計黑階移位，以及參考圖框之其他統計資料，諸如曝光時間、溫度及增益。

另外，根據一實施例，參看圖13中所描繪之流程圖，可更佳地理解對傳輸至硬體管線124之圖框之黑階移位的判定。對每一傳輸圖框之黑階移位的判定可基於在區塊236處接收到之參考圖框資料，及在區塊238處接收到之各別傳輸圖框的額外資料。在區塊240處，可基於在區塊236及238處接收到之資料來計算一當前傳輸圖框之黑階移位。舉例而言，如上文所論述，可經由比較當前圖框之影像俘獲統計資料(例如，曝光時間、增益、溫度或此等資料之某一組合)與參考圖框之估計黑階移位及影像俘獲統計資料來判定當前圖框之黑階移位。若在區塊240處計算出之當前圖框之黑階移位極大地偏離先前圖框之黑階移位，則可在區塊242處對該黑階移位進行濾波以減小連續圖框之間突然大跳轉之量值。最後，在區塊244處，針對每一圖框來調整硬體管線124中之黑階補償參數，以使得當前圖框基於針對當前傳輸圖框自身之資料以及來自參考圖框之資料兩者而經受黑階補償。如上文所指出，可應用此黑階補償來移除「data_pedestal」偏移及由影像感測器116應用之黑階移位。

在另一實施例中，影像處理系統114亦可將前饋控制參數提供至圖9中所描繪之透鏡蔭影校正(LSC)邏輯128以校正透鏡蔭影假影。下文參考圖14至圖27詳細地描述用於分析及判定可應用於LSC邏輯128之控制參數的各種技術。

如可瞭解，透鏡蔭影假影可由若干因素引起，諸如由與數位影像感測器相關聯之透鏡之光學性質的不規則性引起。以實例說明，可將一具有理想光學性質之透鏡模型化為入射角之餘弦的四次冪(cos⁴ (θ))，其稱為cos⁴ 定律。然而，由於透鏡製造並不始終完全遵守cos⁴ 定律，因此透鏡之不規則性可引起光學性質及光之回應偏離假定之cos⁴ 模型。舉例而言，透鏡之較薄邊緣(例如，遠離光學中心)常常展現最多之不規則性。另外，透鏡蔭影圖案之不規則性亦可由於微透鏡陣列未恰當地與彩色濾光片陣列對準而引起，在一實施例中，該彩色濾光片陣列可為拜耳圖案彩色濾光片陣列(圖2)。

參看圖14，說明一描繪典型透鏡之光強度對像素位置之三維分佈250。如所展示，靠近透鏡之中心252處的光強度朝向透鏡之角落或邊緣254而逐漸下降。在數位影像中，此類型之透鏡蔭影假影可表現為光強度朝向影像之角落及邊緣而下降，使得影像之大致中心處的光強度顯得比影像之角落及/或邊緣處的光強度更亮。

在一實施例中，LSC邏輯128可經組態以藉由逐個像素地以適當增益之形式應用透鏡蔭影校正參數以補償強度之下降而校正透鏡蔭影假影，強度之下降大體上粗略地與像素距影像俘獲裝置20之透鏡之光學中心的距離成比例。舉例而言，可使用二維增益柵格258(如圖15中所展示)來指定透鏡蔭影校正增益。柵格258可覆蓋原始影像資料之一圖框260，且可包括分佈於固定水平及垂直間隔處以覆蓋圖框260之增益柵格點262的排列。位於柵格點262之間的像素之透鏡蔭影增益可藉由插入與相鄰柵格點262相關聯之增益來判定。雖然本發明所說明之實施例展示一具有11×11個柵格點(總計121個柵格點)之增益柵格258，但應瞭解，可提供任何合適數目個柵格點。在其他實施例中，增益柵格258可包括15×15個柵格點(總計225個柵格點)、17×17個柵格點(總計289個柵格點)或20×20個柵格點(總計400個柵格點)。

如將瞭解，該等柵格點262中之每一者之間的像素之數目可取決於增益柵格258中之柵格點262的數目，以及影像感測器116之解析度。另外，雖然在圖15中柵格點262展示為在水平及垂直方向上均勻地間隔開，但應瞭解，在一些實施例中，柵格點262可不均勻地(例如，對數地)分佈，以使得柵格點262在影像圖框260之中心處較不密集且朝向影像圖框260之角落及/或邊緣(通常在此處透鏡蔭影失真更為明顯)而更加密集。

圖16描繪一說明可應用至由增益柵格258覆蓋之原始影像圖框260內之每一像素位置的增益的三維分佈266之實例。如所展示，應用於影像260之角落268處的增益可歸因於角落處之光強度的較大下降而大體上大於應用於影像之中心270處的增益(如上文圖14中所展示)。藉由將適當之透鏡蔭影增益應用於一展現透鏡蔭影假影之影像，影像中所呈現之光強度下降可減小或實質上消除。舉例而言，影像之大致中心處的光強度可實質上等於影像之角落及/或邊緣處的光強度值。另外，在一些實施例中，影像感測器116之透鏡可包括一紅外線(IR)截止濾光片，該IR截止濾光片可使下降取決於照明體(例如，取決於光源之類型)。因此，如下文所進一步論述，透鏡蔭影增益亦可取決於所選擇之光源而加以調適。

關於透鏡蔭影校正之應用，當原始影像資料包括多種色彩分量時，可針對每一色彩通道提供單獨之各別增益集合。在一些個例中，對於特定彩色濾光片陣列之色彩通道，透鏡蔭影下降可不同。舉例而言，在一使用拜耳彩色濾光片陣列之影像感測器中，原始影像資料可包括紅色、藍色及綠色分量。在此實施例中，可針對拜耳彩色濾光片陣列之R通道、B通道、Gr通道及Gb通道中之每一者提供透鏡蔭影增益之集合。

在某些個例中，雖然每一色彩通道之透鏡蔭影特性可歸因於不同波長之光所行進之路徑的差異而略微不同，但每一色彩通道之透鏡蔭影下降曲線仍可具有大致相同之形狀。然而，在一些個例中，額外因素可使該等色彩通道中之一或多者的回應相比於其他色彩通道之回應更遠地偏離cos⁴ 近似值。舉例而言，在其中進入影像俘獲裝置之光以陡峭之角度照射紅外線(IR)截止濾光片及微透鏡陣列的實施例中，在某些照明體下，紅色通道之回應可顯著地比藍色及綠色通道之回應更偏離預期cos⁴ 近似值曲線。

偏離量可部分地取決於在600奈米(nm)至650奈米之波長中的含量。因此，對於在此頻帶中幾乎不具有能量之窄頻帶螢光光源而言，紅色通道之透鏡蔭影下降在形狀上可極類似於綠色及藍色通道之透鏡蔭影下降。對於在此600奈米至650奈米之頻帶中具有較多能量的類似於日光之光源而言，紅色通道之透鏡蔭影下降可展現明顯偏離。另外，當提供富含IR之光源(諸如，白熾照明或鹵素照明)時，在紅色通道之透鏡蔭影下降方面可存在甚至更顯著之偏離。在特定照明條件下，紅色通道之此行為可導致不良色調假影。因此，在應用一僅根據預期之cos⁴ 下降來模型化之透鏡蔭影校正方案時，在照明體在600奈米至650奈米之頻帶中含有顯著量之能量的情形下，透鏡蔭影假影仍可能存在。

參看圖17，說明根據一實施例之影像信號處理(ISP)系統272之功能方塊圖，該ISP系統272經組態以分析一影像圖框以導出前饋控制參數，該等前饋控制參數用於調整透鏡蔭影參數以基於照明體之IR含量來校正歸因於紅色通道之回應的上文所描述之透鏡蔭影假影。為簡單起見，已使用類似參考數字對上文已參看圖9而描述之功能區塊進行編號。

所說明之ISP系統272包括硬體管線124及額外管線274。如所展示，額外管線274包括一軟體分析區塊276，該軟體分析區塊276包括經組態以分析由緩衝器144俘獲之原始影像資料之圖框的邏輯278。在一實施例中，可基於一特定條件以「按需求」之方式來觸發對原始影像資料之俘獲。舉例而言，在一實施例中，可在偵測到自動白平衡之改變(其可指示光源之改變)之後觸發對原始影像資料之圖框的俘獲及分析。

如下文所進一步論述，對所俘獲圖框之分析(此處由圖框分析邏輯278表示)可包括識別該圖框中之大體中性區域(例如，具有類似之G/B比值之區)，及應用透鏡蔭影調適函數之集合中的每一透鏡蔭影調適函數(其對應於參考照明體之集合中之每一者)。基於此等參考照明體之色彩通道之行為可經模型化，且先驗地表徵為在若干不同照明體上應用統一光場，且模型化該等照明體與一參考照明體之間的比率。舉例而言，參看圖18至圖21，展示多個曲線圖，其展示基於各種參考照明體之針對每一色彩通道之預期下降曲線。具體言之，曲線圖288描繪基於CIE標準照明體D65(其意欲模擬日光條件)之分別針對藍色、綠色及紅色通道之下降曲線290、292及294。曲線圖296描繪基於冷白螢光(CWF)參考照明體之分別針對藍色、綠色及紅色通道之下降曲線298、300及302。另外，曲線圖304描繪基於TL84參考照明體(另一螢光光源)之分別針對藍色、綠色及紅色通道之下降曲線306、308及310。另外，曲線圖312描繪基於IncA(或A)參考照明體(其模擬白熾照明)之分別針對藍色、綠色及紅色通道之下降曲線314、316及318。如可見，在其中在600奈米至650奈米之波長中具有較大量之能量的照明條件(諸如，D65及IncA參考照明體)下，對應於紅色通道之透鏡蔭影回應之形狀(例如，曲線294、318)更明顯地偏離藍色及綠色通道。

針對該等參考照明體中之每一者，可導出一相應調適函數。可藉由基於距透鏡之光學中心的距離而導出針對紅色通道之空間調適曲線來判定調適函數，該空間調適曲線為四階多項式函數。在一實施例中，目標在於模型化該調適函數，以使得該紅色通道之下降曲線的形狀更接近地匹配藍色或綠色通道之下降曲線的形狀。由於藍色及綠色通道之回應展現大體上類似之形狀，因此可藉由匹配綠色通道、藍色通道或藍色與綠色通道之組合(例如，平均值)來導出調適函數。

參看圖22，說明一展示對應於圖18至圖21中所展示之參考照明體中之每一者的調適函數的曲線圖320。舉例而言，曲線322、324、326及328分別對應於IncA、D65、CWF及TL84參考照明體。如所進一步展示，每一曲線可與一值(如由圖例329指示)相關聯。如下文將進一步論述，此等值可用以判定每一調適曲線之間的相對差別，可使用此等值來提供兩個透鏡蔭影分佈之間的逐漸轉變。在一實施例中，該等值可至少大致對應於相應參考照明體之相關色溫(CCT)。

返回參看圖17，圖框分析邏輯278可分析所俘獲之圖框，且可選擇一適當調適函數以用於校正紅色透鏡蔭影分佈。如所展示，可將對應於所選調適函數之調適值284提供至韌體280。韌體280可接著產生透鏡蔭影參數284之經校正集合，可將其作為前饋參數提供至LSC邏輯128。亦即，可使用調適值284來修改紅色透鏡蔭影參數(例如，增益)以考慮到歸因於在富含IR之照明體下紅色通道之行為而可能發生的假影。在某些實施例中，對應於每一調適函數之透鏡蔭影參數284及調適值282可儲存於可由軟體276及韌體278存取之查找表及/或記憶體中。

如上文所指出，ISP硬體管線124包括統計引擎134，且可包括任何其他所要處理區塊。舉例而言，在一實施例中，ISP硬體管線124可進一步包括自動曝光邏輯、自動聚焦邏輯等等。藉由使用此等技術來處理原始影像資料，所得影像可展現較少或不展現透鏡蔭影或色調假影，且在審美上可更加令在電子裝置10之顯示器18上檢視影像的使用者滿意。另外，雖然在本發明之實施例中在圖17中將額外管線274說明為軟體及韌體，但應理解，可使用軟體、硬體或軟體與硬體組件之組合來實施本發明之技術。

可藉由圖23中所展示之流程圖(其描繪一方法330)來進一步說明上文關於透鏡蔭影校正而描述之技術。如上文所論述，自動白平衡(AWB)之改變可指示光源之改變，且可用以觸發對原始圖框之俘獲以供分析，從而判定是否應調整透鏡蔭影參數。因此，方法330開始於區塊332處，且等待AWB穩定。接下來，決策邏輯334判定AWB是否已穩定。在一實施例中，決策邏輯334可基於AWB值對於特定數目個圖框(例如，2個至10個之間的圖框)是否保持穩定來判定此情形。若AWB尚未穩定(例如，光源正改變或影像俘獲裝置正移動)，則方法330轉至區塊332。若決策邏輯334判定AWB穩定，則方法330繼續至區塊336，在區塊336處，自影像感測器116俘獲原始圖框以供分析(例如，儲存於緩衝器144中)。

接下來，在區塊338處，使用可用調適函數(圖22)來分析在區塊336處俘獲之原始參考圖框。舉例而言，如上文所提及，圖框分析邏輯278可將調適函數應用於所俘獲圖框之大體中性區域，且可試圖選擇對應於一最接近地匹配當前照明體之參考照明體的調適函數。將在下文參看圖24更詳細地描述此程序。決策邏輯340判定是否找到調適函數。若區塊338處之分析結果為未找到調適函數，則將繼續應用當前透鏡蔭影分佈(例如，而無新選擇之調適函數)，且方法330轉至區塊332，且等待AWB穩定並觸發對隨後圖框之俘獲以供分析。在一些實施例中，ISP系統272可經組態以在轉至區塊332之前等待特定量之時間(例如，15秒至60秒)。若決策邏輯340指示找到了一調適函數，則將所選調適函數應用於透鏡蔭影參數(如區塊342處所指示)。

根據一實施例，在圖24中更詳細地說明分析所俘獲原始圖框之程序(如由圖23之區塊338所表示)。如所展示，分析原始圖框之程序338可開始於區塊346處，在區塊346處，識別原始圖框內之一或多個中性區域。舉例而言，在一實施例中，可以8×8像素區塊樣本358來分析所俘獲之原始圖框，在圖25中展示該樣本之一實例。對於利用拜耳彩色濾光片陣列之影像感測器，8×8區塊可包括16個2×2拜耳四元組(Bayer quad)(例如，2×2像素區塊表示拜耳圖案)，其在圖25中由參考數字360指代。藉由使用此排列，每一色彩通道包括樣本358內之相應像素之4×4區塊，且對於樣本358內之每一色彩通道，可平均化相同顏色之像素以產生一平均色值。舉例而言，在樣本358內，可平均化紅色像素364以獲得一平均紅色值(R_AV )，且可平均化藍色像素366以獲得平均藍色值(B_AV )。關於綠色像素之平均化，可利用若干技術，因為拜耳圖案之綠色樣本為紅色或藍色樣本之兩倍。在一實施例中，可藉由僅平均化Gr像素362、僅平均化Gb像素368或一起平均化Gr像素362及Gb像素368來獲得平均綠色值(G_AV )。在另一實施例中，可平均化每一拜耳四元組360中之Gr及Gb像素，且可進一步一起平均化每一拜耳四元組360之綠色值的平均值以獲得G_AV 。如將瞭解，對像素區塊上之像素值的平均化可提供雜訊減少。另外，應理解，使用8×8區塊作為樣本僅意欲提供一實例。事實上，在其他實施例中，可利用任何合適之區塊大小(例如，4×4、16×16、32×32等)。

再次參看圖24，可藉由獲得原始圖框之樣本的色彩平均值(如參看圖25所論述)且識別原始圖框內之共用類似G/B比值的區域來判定所俘獲原始圖框中之大體中性區域。接下來，如區塊348處所指示，將基於可用調適函數中之每一者的透鏡蔭影模型應用於中性區域內之像素，且針對每一調適函數判定中性區域內之R/B比值的方差。決策邏輯350接著判定R/B比值之最小方差是否存在。若找到最小方差，則選擇產生R/B比值之最小方差的調適函數(如區塊352處所展示)。若未找到最小方差(例如，R/B比率之最小方差包括兩個或兩個以上之相等值)，則在區塊354處，決策邏輯350可指示未找到調適函數。區塊352及354之輸出可繼續至圖23之區塊340。

圖26說明將一調適函數應用於透鏡蔭影參數之程序(如由圖23之區塊338表示)。特定言之，圖26說明使用一無限脈衝回應(IIR)濾波器來應用調適函數之實施例。為了提供透鏡蔭影分佈之間的較平滑轉變，當前透鏡蔭影分佈可基於所選調適函數在若干圖框上藉由若干介入步驟而逐漸轉變為一透鏡蔭影分佈。如將瞭解，相比於即刻切換透鏡蔭影分佈(例如，在單一圖框中而無逐漸之步驟)，此逐漸轉變可呈現在視覺上更令人滿意之結果。圖27展示自調適函數324(D65)至調適函數322(IncA)之轉變，其用以提供程序342之說明性實例，且應結合圖26之描述進行檢視。

如所展示，程序342開始於區塊380處，在區塊380處，判定最後或先前選擇之調適函數(P_old )與在區塊338(圖23)處選擇之調適函數(P_new )之調適值之間的總差量(Δ_total )。舉例而言，Δ_total 可集中表示沿曲線324之每一點與沿曲線322之每一相應點之間的絕對差。

在區塊382處，P_old 值(曲線324)朝向P_new 值轉變了50%之Δ_total ，以獲得中間調適曲線P_int (其在P_old 與P_new 之間)。此在圖27中由曲線396說明，其可具有值3000(在2000與4000之間)。因此，將在區塊382處判定之P_int 函數應用於透鏡蔭影參數284以產生針對一或多個圖框之經校正透鏡蔭影參數之中間集合。接下來，在區塊384中，程序342判定P_int (曲線396)與P_new (曲線322)之間的中間差量(Δ_int )。如同區塊380處對Δ_total 之判定，Δ_int 可表示沿曲線396之每一點與沿曲線322之每一相應點之間的絕對差。

接下來，決策邏輯386判定Δ_int 是否小於或等於1/8之Δ_total 。若Δ_int 不小於1/8之Δ_total ，則程序342繼續至區塊388，在區塊388處，來自區塊382(曲線396)之P_int 值朝向P_new 值轉變了50%之Δ_int 以獲得經更新之P_int 曲線(其展示為圖27中之曲線398(具有值2500))。將此經更新之P_int 函數應用於透鏡蔭影參數284以產生針對一或多個圖框之中間經校正透鏡蔭影參數之經更新集合。之後，判定經更新之P_int (曲線398)與P_new 之間的經更新之Δ_int 。程序342接著返回至決策邏輯386。此處，由於當前Δ_int 仍大於1/8之Δ_total ，因此程序342將重複區塊388及390處之步驟以獲得一經更新之Δ_int ，該經更新之Δ_int 表示經更新之P_int (其展示為圖27中之曲線400(具有值2250))與P_new 之間的差。

返回至決策邏輯386，由於經更新之Δ_int 現等於1/8之Δ_total ，因此程序342繼續至區塊392，且對應於圖27之曲線400的P_int 值可轉變為曲線322處之相應P_new 值。之後，可將P_new 調適值應用於透鏡蔭影參數以產生針對紅色通道之透鏡蔭影參數之經校正集合。因此，圖26中所說明之程序之實施例本質上藉由使用第一步階(50%之Δ_total )、第二步階(25%之Δ_total )繼之以第三步階(12.5%(1/8)之Δ_total )來提供一逐漸轉變。如上文所論述，此提供了兩個不同透鏡蔭影分佈之間在若干圖框上的逐漸轉變，其相比於單一圖框中之P_old 至P_new 轉變而言在審美上可更加令檢視者滿意。然而，應瞭解，在其他實施例中，可利用任何合適步階大小(包括具有該等大小之步階)。

應理解，圖26中所展示之程序僅意欲提供用於在透鏡蔭影調適函數之間進行轉變之技術的一實例。在其他實施例中，區塊382及388中所展示之特定參數可不同，且對於各種實施可為不同的。舉例而言，在一實施例中，轉變步階可為恆定的而並非逐漸減小(例如，1/3、1/4、1/5、1/6或1/8之Δ_total )。另外，在其他實施例中，可利用絕對差量(例如，在每一中間轉變步驟期間將透鏡蔭影增益調整一定的增益量)，而非使用比率。在另一實施例中，亦可使用非IIR濾波技術來應用透鏡蔭影調適函數之間的轉變。

雖然上文所論述之實施例已集中於由具有較高IR含量之照明體之紅色通道回應的增加之偏離而引起的透鏡蔭影假影，但應瞭解，亦可應用類似技術來產生針對其他色彩通道之經校正之透鏡蔭影參數。舉例而言，若綠色或藍色通道經受某一條件而不良地偏離預期cos⁴ 曲線，則可基於一或多個參考照明體(例如，D65、CWF、TL84、IncA)來模型化綠色及藍色通道之回應，且可使用(例如)四階多項式函數基於距透鏡之光學中心的距離而導出相應調適函數。

另外，應理解，上文所提供之四個參考照明體意欲提供僅一實施例之實例。如將瞭解，可模型化額外之參考照明體，且可導出相應調適函數。此等額外參考照明體及其調適值之特性可由額外管線272存取(例如，儲存於韌體或記憶體中)，且在一些個例中，可經由軟體或韌體更新而提供至裝置10。在一些個例中，可經由插入已知照明體類型來導出額外參考照明體。

除了判定前饋主影像處理24控制參數以用於黑階校正及透鏡蔭影校正之外，替代性影像處理56亦可用於更新一由主影像處理24使用之缺陷像素映射。舉例而言，如由圖28之流程圖410展示，替代性影像處理56可分析原始影像資料以尋找影像俘獲裝置20之缺陷像素(區塊412)。由於缺陷像素可隨著時間推移而出現次數更多，因此區塊412之活動可週期性地發生或每當替代性影像處理56分析原始影像資料之圖框時發生。以實例說明，在一些實施例中，替代性影像處理56可至多每天一次、每週一次或每月一次等分析原始影像資料以尋找缺陷像素。在其他實施例中，每當替代性影像處理56分析原始影像資料之圖框以判定其他主影像處理24控制參數(例如，黑階校正或透鏡蔭影校正)時，替代性影像處理56可分析原始影像資料之圖框以尋找缺陷像素。

若替代性影像處理56偵測到先前未偵測到之新的缺陷像素(決策區塊414)，則替代性影像處理56可使得一與主影像處理相關聯之缺陷像素映射得以更新(區塊416)。舉例而言，替代性影像處理56可直接更新一由主影像處理24使用之缺陷像素映射，或替代性影像處理56可使與主影像處理24相關聯之韌體68更新缺陷像素映射。另一方面，在未偵測到新的缺陷像素時(決策區塊414)，可不執行區塊416。之後，可根據缺陷像素映射來執行主影像處理24(區塊418)，該缺陷像素映射現更新為包括影像俘獲裝置20之所有缺陷像素。

可以其他方式藉由替代性影像處理56來使用來自影像俘獲電路20之已並行地轉移至記憶體14的原始影像資料。舉例而言，當主影像處理24產生不盡如人意之結果時，原始影像資料可多次啟用影像再處理。亦即，當主影像處理24初始產生不盡如人意之最終影像時，可由替代性影像處理56使用原始影像資料以產生更佳之最終影像。

如由圖29之流程圖430所展示，當將原始影像資料之圖框儲存於記憶體14中，同時主影像處理24對原始影像資料之同一圖框的複本執行影像處理(區塊432)時，此影像再處理能力可變得可用。在一些實施例中，原始影像資料可儲存於非揮發性儲存器16中，且與由主影像處理24處理之最終影像相關聯。一旦已處理該影像以判定最終已處理影像，則來自主影像處理24之統計引擎60的使用者回饋或統計資料可指示主影像處理24未產生令人滿意之影像(區塊434)。舉例而言，若影像顯得過暗或過亮，或若自動白平衡(AWB)顯得已基於錯誤色溫而執行了白平衡，則使用者可指示應對影像進行再處理。以實例說明，在主影像處理24已產生一最終影像之後，可將該最終影像顯示於顯示器18上。對結果不滿意之使用者可將回饋提供至電子裝置10以指示其不滿(例如，藉由搖動電子裝置10)。

作為回應，接著可使用替代性影像處理56或主影像處理24來再處理保存於記憶體14或非揮發性儲存器16中之原始影像資料，以試圖達成更令人滿意之結果(區塊436)。舉例而言，在一些實施例中，可藉由替代性影像處理56來分析原始影像資料以獲得新的主影像處理24控制參數(如上文所更詳細地描述)。之後，可將原始影像資料重新載入至主影像處理24中，主影像處理24可根據新的主影像處理24控制參數來再處理原始影像資料。在其他實施例中，替代性影像處理56可代替主影像處理24來處理原始影像資料。在一些實施例中，替代性影像處理56可使用來自主影像處理24之統計引擎60的某些主影像處理統計資料來改變替代性影像處理56之發生方式。亦即，替代性影像處理56可估計主影像處理24之失敗原因以產生令人滿意之最終影像，且相應地調整其影像處理技術。若使用者對經再處理之最終影像仍不滿意，則主影像處理24及/或替代性影像處理56可以圖29之流程圖430的方式再次再處理原始影像資料。

已以實例方式展示了上文所描述之特定實施例，且應理解，此等實施例可允許各種修改及替代形式。應進一步理解，不意欲將申請專利範圍限於所揭示之特定形式，而應涵蓋屬於本發明之精神及範疇內的所有修改、等效物或替代物。

10．．．電子裝置

12．．．處理器

14．．．記憶體

16．．．非揮發性儲存器

18．．．顯示器

20．．．影像俘獲裝置

22．．．閃光燈

24．．．主影像處理

26．．．輸入/輸出(I/O)介面

28．．．網路介面

30．．．輸入結構

32．．．電源

34．．．手持型裝置

36．．．外殼

38．．．指示符圖符

40．．．使用者輸入結構

42．．．使用者輸入結構

44．．．使用者輸入結構

46．．．使用者輸入結構

48．．．麥克風

50．．．揚聲器

52．．．耳機輸入端

56．．．替代性影像處理

58．．．初始影像處理

60．．．影像統計引擎

62．．．二次影像處理

64．．．硬體

66．．．軟體

68．．．韌體

70．．．緩衝器

72．．．圖框分析

74．．．控制參數

114．．．系統

116．．．影像感測器

118．．．像素陣列

120．．．成像像素

122．．．暗像素

124．．．影像信號處理硬體管線

126．．．黑階補償區塊

128．．．透鏡蔭影補償區塊/透鏡蔭影校正(LSC)邏輯

130．．．白平衡補償區塊

132．．．解馬賽克區塊

134．．．統計引擎

138．．．前饋迴路

140．．．額外影像信號處理管線

142．．．路徑

144．．．緩衝器

146．．．圖框分析

148．．．黑階移位判定區塊

154．．．方塊圖

156．．．影像信號處理硬體管線

158．．．韌體

160．．．軟體

162．．．影像源

164．．．原始影像資料

166．．．經處理之影像資料

168．．．路徑

170．．．影像俘獲參數

172．．．參考圖框資料

174．．．黑階補償參數或設定

176．．．額外通信

178．．．額外通信

250．．．三維分佈

252．．．透鏡之中心

254．．．透鏡之角落或邊緣

258．．．二維增益柵格

260．．．原始影像圖框

262．．．增益柵格點

266．．．三維分佈

268．．．影像之角落

270．．．影像之中心

272．．．影像信號處理(ISP)系統

274．．．額外管線

276．．．軟體分析區塊

278．．．圖框分析邏輯

280．．．韌體

282．．．調適值

284．．．調適值/透鏡蔭影參數

288．．．曲線圖

290、292、294．．．下降曲線

296．．．曲線圖

298、300、302．．．下降曲線

304．．．曲線圖

306、308、310．．．下降曲線

312．．．曲線圖

314、316、318．．．下降曲線

320．．．曲線圖

322、324、326、328．．．曲線

329．．．圖例

358．．．8×8像素區塊樣本

360．．．拜耳四元組

362．．．Gr像素

364．．．紅色像素

366．．．藍色像素

368．．．Gb像素

396、398、400．．．曲線

圖1為根據一實施例之能夠執行本文中所揭示之技術的電子裝置之方塊圖；

圖2為可實施於圖1之電子裝置之影像俘獲裝置中的拜耳彩色濾光片陣列之2×2像素區塊的圖形表示；

圖3及圖4分別表示一手持型電子裝置之前視圖及後視圖，其表示圖1之電子裝置之一實施例；

圖5為根據一實施例之可藉由使用圖1之電子裝置而發生之影像處理的示意性方塊圖；

圖6為根據一實施例之在圖1之電子裝置內可發生之影像處理的另一示意性方塊圖；

圖7及圖8為描述用於使用由替代性影像處理進行之原始影像資料分析來校準主影像處理之方法之實施例的流程圖；

圖9描繪根據一實施例之用於提供前饋黑階補償之影像處理系統的方塊圖；

圖10大體上說明根據一實施例之圖9之影像處理系統的三層架構，其包括軟體、韌體及硬體管線；

圖11為根據一實施例之指示用於將黑階補償應用於圖框之方法的流程圖；

圖12為根據一實施例之用於對一參考圖框執行軟體分析以判定該參考圖框之影像資料中之估計黑階移位的流程圖；

圖13為根據一實施例之用於基於參考圖框中之黑階移位來判定額外圖框中之黑階移位的流程圖；

圖14展示描繪一成像裝置之習知透鏡之光強度對像素位置的三維分佈；

圖15展示界定透鏡蔭影增益之一集合的增益柵格；

圖16為描繪根據本發明之態樣之在執行透鏡蔭影校正時可應用於一展現圖14中所展示之光強度特性之影像的透鏡蔭影增益值的三維分佈；

圖17為說明根據本發明之態樣之可經組態以應用透鏡蔭影校正之影像信號處理(ISP)系統的方塊圖；

圖18至圖21描繪不同類型之參考照明體的紅色、藍色及綠色通道之透鏡蔭影下降曲線；

圖22為描繪圖18至圖21中所展示之參考照明體中之每一者之透鏡蔭影調適曲線的曲線圖；

圖23為描繪根據一實施例之用於基於當前照明體來調適透鏡蔭影校正參數之程序的流程圖；

圖24為說明根據一實施例之用於基於當前照明體來選擇一透鏡蔭影調適函數之程序的流程圖；

圖25說明根據一實施例之用於判定一參考影像圖框之子集內之平均色值的技術；

圖26及圖27說明根據一實施例之用於將一所選透鏡蔭影調適曲線應用於圖17之ISP系統的程序；

圖28為描述用於在執行主影像處理之前校正一缺陷像素映射之方法之一實施例的流程圖；及

圖29為描述用於在主影像處理產生不盡如人意之結果的情況下再處理一影像之方法之一實施例的流程圖。

(無元件符號說明)

Claims

一種影像處理方法，其包含：提供透鏡蔭影(lens shading)調適函數之一集合，其中該等透鏡蔭影調適函數中之每一者對應於一各別參考照明體；將由一影像感測器在當前照明體條件下擷取之複數個影像圖框提供至一硬體影像信號處理管線；藉由分析來自複數個影像圖框之一參考圖框，以使用一額外影像處理管線來執行替代性影像處理，來選擇對應於最接近地匹配該等當前照明體條件之特性之一參考照明體的該透鏡蔭影調適函數；基於所選之該透鏡蔭影調適函數來調整透鏡蔭影參數之一集合；將該等經調整之透鏡蔭影參數作為前饋參數提供至一硬體影像信號處理管線；及使用該硬體影像信號處理管線以基於該等經調整之透鏡蔭影參數來處理該複數個影像圖框。
如請求項1之影像處理方法，其中由該影像感測器擷取之該複數個影像圖框包含紅色、綠色及藍色通道。
如請求項2之影像處理方法，其中分析該參考圖框以選擇該透鏡蔭影調適函數包含：識別該參考圖框內之大體中性區域；將該等透鏡蔭影調適函數中之每一者應用於該參考圖框，且針對該等透鏡蔭影調適函數中之每一者判定該等中性區域內之紅色對藍色比值之一方差；及在一最小方差存在之情況下選擇對應於該最小方差之該透鏡蔭影調適函數。
如請求項3之影像處理方法，其中若一最小方差不存在，則不選擇一透鏡蔭影調適函數，不調整該等透鏡蔭影參數，且該硬體影像信號處理管線使用該等未經調整之透鏡蔭影參數來處理該複數個影像圖框。
如請求項3之影像處理方法，其中識別該參考圖框內之大體中性區域包含：分析該參考圖框之子集；針對每一子集，判定該等藍色及綠色通道中之每一者的平均色值，且基於該平均藍色色值及該平均綠色色值來計算一藍色對綠色比率；及識別該參考圖框內之具有與大體中性區域類似之藍色對綠色比率的該等子集。
如請求項5之影像處理方法，其中每一子集包含一8×8像素區塊。
如請求項6之影像處理方法，其中該8×8像素區塊包含拜耳影像資料，該拜耳影像資料具有一第一綠色通道及一第二綠色通道，且其中該平均綠色色值係基於該第一綠色通道、該第二綠色通道或其一組合而判定。
一種影像處理系統，其包含：一第一影像處理管線，其經組態以接收由一影像感測器產生之影像資料的圖框，且使用透鏡蔭影參數之一集合來處理影像資料之該等圖框以補償該等圖框中之透鏡蔭影下降；一前饋迴路，其包含一第二影像處理管線，該第二影像處理管線經組態以與該第一影像處理管線並行地接收由該影像感測器產生之影像資料之該等圖框中的至少一者，且自可用透鏡蔭影調適函數之一集合中選擇一透鏡蔭影調適函數以針對該影像資料之至少一色彩通道補償歸因於特定波長之光的一透鏡蔭影回應之靈敏度；其中該前饋迴路經組態以基於所選之該透鏡蔭影調適函數而調整由該第一影像處理管線使用之透鏡蔭影參數之該集合。
如請求項8之影像處理系統，其中該至少一色彩通道包含一紅色通道。
如請求項9之影像處理系統，其中該等特定波長包含具有在約600奈米至650奈米之間的一波長之光。
如請求項8之影像處理系統，其中可用透鏡蔭影調適函數之該集合中之每一透鏡蔭影調適函數係基於該至少一色彩通道對參考照明體之一集合中之一各別參考照明體的該透鏡蔭影回應而模型化。
如請求項8之影像處理系統，其中該第二影像處理管線包含一記憶體，該記憶體編碼有可由一處理器執行之影像分析軟體，且其中該第二影像處理管線經組態以藉由由該處理器執行該影像分析軟體而分析該至少一圖框。
一種影像處理方法，其包含：使用一硬體影像處理管線來接收由一數位影像感測器產生之複數個影像圖框，且基於透鏡蔭影增益之一集合逐個像素地將透鏡蔭影校正應用於該複數個影像圖框中之每一者；使用一第二影像處理管線來儲存來自該複數個影像圖框之至少一影像圖框，且分析該至少一影像圖框，其中該第二影像處理管線經組態以基於該分析而選擇透鏡蔭影調適值之一集合、基於透鏡蔭影調適值之該所選集合而調整透鏡蔭影增益之該集合，且將透鏡蔭影增益之該經調整集合作為前饋控制參數提供至該硬體影像處理管線。
如請求項13之影像處理方法，其中自透鏡蔭影調適值之複數個集合選擇透鏡蔭影調適值之該集合，其中至少部分地基於對與該數位影像感測器相關聯之一紅外線截止濾光片的不同類型之照明條件的回應而模型化透鏡蔭影調適值之該等集合中之每一者。
如請求項14之影像處理方法，其中該第二影像處理管線經組態以在偵測到該等照明條件之一改變之後儲存並分析該至少一影像圖框。
如請求項15之影像處理方法，其中偵測該等照明條件之該改變包含：偵測自動白平衡值之一改變；及等待該等自動白平衡值穩定。
如請求項16之影像處理方法，其中等待該等自動白平衡值穩定包含判定該等自動白平衡值在至少兩個影像圖框上是否保持穩定。
一種電子裝置，其包含：一處理器；一記憶體，其含有可由該處理器執行之影像分析軟體；一影像擷取裝置，其包含經組態以擷取原始影像資料之一影像感測器；一第一影像處理管線，其經組態以接收該原始影像資料，且使用透鏡蔭影參數之一集合將透鏡蔭影校正應用於該原始影像資料；及一前饋迴路，其包含一第二影像處理管線，該第二影像處理管線經組態以接收該原始影像資料之至少一圖框、使用該影像分析軟體來分析該至少一圖框以選擇一針對該至少一圖框之透鏡蔭影調適函數，且使用一或多個中間轉變步驟以基於該所選透鏡蔭影調適函數在複數個影像圖框上調整該等透鏡蔭影參數來獲得經調整之透鏡蔭影參數之一最終集合；其中該第一影像處理管線經組態以接收該等中間經調整透鏡蔭影參數及該等最終經調整透鏡蔭影參數作為該前饋迴路之前饋輸出，且將該等中間經調整透鏡蔭影參數應用於該原始影像資料。
如請求項18之電子裝置，其包含經組態以判定該一或多個中間轉變步驟之一無限脈衝回應(IIR)濾波器。
如請求項19之電子裝置，其中該使用該一或多個轉變步驟藉由該影像分析軟體來調整該等透鏡蔭影參數包含：判定當前所選之該透鏡蔭影調適函數與針對由該第二影像處理管線分析之先前圖框而選擇之一透鏡蔭影調適函數之間的一總差值；在一第一轉變步驟期間，在一或多個圖框之一第一集合期間，將對應於該先前所選透鏡蔭影調適函數之該等透鏡蔭影調適值朝向對應於該當前所選透鏡蔭影調適函數之該等透鏡蔭影值調整該總差值之50%，以產生透鏡蔭影調適值之一第一中間集合；在一第二轉變步驟期間，在一或多個圖框之該第一集合之後的一或多個圖框之一第二集合期間，將透鏡蔭影調適值之該第一中間集合朝向對應於該當前所選透鏡蔭影調適函數之該等透鏡蔭影值調整該總差值之25%，以產生透鏡蔭影調適值之一第二中間集合；在一第三轉變步驟期間，在一或多個圖框之該第二集合之後的一或多個圖框之一第三集合期間，將透鏡蔭影調適值之該第二中間集合朝向對應於該當前所選透鏡蔭影調適函數之該等透鏡蔭影值調整該總差值之12.5%，以產生透鏡蔭影調適值之一第三中間集合；及在一第四轉變步驟期間，將對應於該當前所選透鏡蔭影調適函數之該等透鏡蔭影調適值設定為該等經調整之透鏡蔭影參數。
如請求項20之電子裝置，其中該影像處理管線經組態以在一或多個圖框之該第一集合期間基於透鏡蔭影調適值之該第一中間集合而將透鏡蔭影校正應用於該原始影像資料，在一或多個圖框之該第二集合期間基於透鏡蔭影調適值之該第二中間集合而將透鏡蔭影校正應用於該原始影像資料，且在一或多個圖框之該第三集合期間基於透鏡蔭影調適值之該第三中間集合而將透鏡蔭影校正應用於該原始影像資料。
如請求項18之電子裝置，其中該至少一圖框係使用一直接記憶體存取(DMA)介面經由一記憶體而接收。
如請求項18之電子裝置，其中該透鏡蔭影調適函數係選自複數個可用透鏡蔭影調適函數，每一透鏡蔭影調適函數基於對應於一紅色通道對不同類型之照明體的透鏡蔭影回應的距該影像擷取裝置之一透鏡之一光學中心的距離而模型化為四次冪多項式。
如請求項18之電子裝置，其中該影像感測器包含一拜耳影像感測器。
如請求項18之電子裝置，其包含一桌上型電腦、一膝上型電腦、一平板電腦、一行動蜂巢式電話、一攜帶型數位媒體播放器，或其某一組合。