TW201216207A - Auto-focus control using image statistics data with coarse and fine auto-focus scores - Google Patents

Auto-focus control using image statistics data with coarse and fine auto-focus scores Download PDF

Info

Publication number
TW201216207A
TW201216207A TW100131573A TW100131573A TW201216207A TW 201216207 A TW201216207 A TW 201216207A TW 100131573 A TW100131573 A TW 100131573A TW 100131573 A TW100131573 A TW 100131573A TW 201216207 A TW201216207 A TW 201216207A
Authority
TW
Taiwan
Prior art keywords
pixel
image
score
coarse
logic
Prior art date
Application number
TW100131573A
Other languages
English (en)
Inventor
Guy Cote
Jeffrey E Frederiksen
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201216207A publication Critical patent/TW201216207A/zh

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Color Television Image Signal Generators (AREA)

Description

201216207 六、發明說明： 【發明所屬之技術領域】 本發明大體上係關於數位成像裝置，且更特定言之，係 關於用於處理使用數位成像裝置之影像感測器所獲得之影 像資料的系統及方法。 【先前技術】 此章節意欲向讀者介紹可與下文所描述及/或主張之本 發明技術之各種態樣相關的此項技術之各種態樣。此論述 據信為在向讀者提供背景資訊以促進對本發明之各種態樣 之更好理解方面有幫助。因&，應理解，應就此來閱讀此 等敍述且不應將其作為對先前技術的承認。 近年來，數位成像裝置已至少部分地歸因於此等裝置針 k l肖費者而5變得愈來愈負擔得起而變得日益風行。 此外，除了當前在市場上可得之多種獨立數位相機之外， 使數位成像裝置整合為另—電子裝置（諸如，桌上型或筆 記型電腦、蜂巢式電話或攜帶型媒體播放器)之部分亦並 非罕見的。 ⑺為了 =取影像資料，大多數數位成像農置包括影像感測 益，“办像感測器提供經組態以將藉由該影像感測器憤測 之光轉換為電信號的多個光偵測元件(例如，光偵測器）。 :像感測器亦可包括彩色濾光片陣列，該彩色滤光片陣列 ^先精由該影像感測器俘獲之光以俘獲色彩資訊。藉由影 像感測器俘獲之影像資料可接著藉由影像處理管線處理， 峨處理管線可將許多各種影像處理操作應用於該影像 158465.doc 201216207 器之顯示裝置上檢 資料’以產生可經顯示用於在諸如監視 視的全色影像。
儘管習知影像處理技術通常旨在產生在客觀上及主觀上 皆使檢視者愉悅之可檢視影像，但此等習知技術可能不充 分地處理藉由成像裝置及/或影像感測器引人的影像資料 之錯誤及/或失真。舉例而言，影像感測器上之有缺陷像 素（其可歸因於製造缺陷或操作故障）可能未能準確地感測 光位準’且若未經校正’則可表明為出現於所得經處理影 像中的假影。另外’在影像感測器之邊緣處的光強度減退 C、可歸因於透鏡之製造之不完美性）可能不利地影響特性 化量測且可導致整體光強度非均一的影像。影像處理管線 亦可執行或多個程序以使影像清晰。然而，習知清晰化 技術可能不充分地考慮影像信號令之現有雜訊，或可能不 能夠區別影像中之雜訊與邊緣及紋理化區域。在此等例子 中，習知清晰化技術可實際上增加雜訊在影像中之出現， 此情形通常係不合需要的。此外，亦可執行各種額外影像 處理步驟，該等步驟中之一些可依賴於藉由統計收集引擎 收集之影像統計。 了應用於藉由影像感測器俘獲之影像資料的另一影像處 理操作為解馬赛克（demosaicing)操作。因為彩色滤光片陣 列通常在每感測器像素一個波長下提供色彩資料，所以通 常針對每一色彩通道内插一組完全色彩資料，以便再現全 色影像（例如，RGB影像）。習知解馬赛克技術通常在水平 或垂直方向上針對丟失的色彩資料而内插值，此通常取決 158465.doc 201216207 於某-類型的固定臨限值。然而，此等習知解馬赛克技術 可能不充分地考慮影像内之邊緣的位置及方向，此情形可 導致邊緣假影（諸如，頻疊、棋盤形假影或彩虹形假月則引 入至全色影像中（尤其是沿著影像内的對角邊緣）。/ 因此’當處_由數位相機或其他成像裝置獲得之數位 影像時，應處理各财“素，錢改良所得影像的外 觀。絆言之，下文之本發明之某些態樣可處理上文簡要地 提及之缺點中的一或多者。 【發明内容】 下文闡述本文所揭示之某些實施例的概述。應理解，此 等態樣僅被呈現以向讀者提供此等某些實施例之簡要概 述，且此等態樣不意欲限制本發明之範脅。實際上，本發 明可涵蓋下文可能未闡述之多種態樣。 j發明提供用於在影像信號處理器（剛中收集且處理統 計資料之各種技術。在—實 ]社Λ施例中，統計收集引擎可 於1SP之前端處理單元中，使得在藉由自前端處理單元下 游之1SP管線所進行的處理之前收集統計。根據本發明之 -態樣’統計收集引擎可經組態以獲取與自動白平衡、自 動^及自動聚焦相關之統計。在一實施例中，統計收集 引擎可接㈣由影像感測器獲取之原始拜耳㈣er)RGB資 料’且可經組態以勃并 7 色彩空間中之= 個色彩空間轉換以獲得其他 、；、 經像素濾波器可經組態以有條 件地基於Yc 1C2特性來蒙接你主汰 ’ 、。 ’、積像素資料之總和，如藉由每像 素應波盗一像素條俾所中墓 ’ 疋義。取決於所選擇之色彩空間， 158465.doc 201216207 像素濾波器可產生色彩總和， 照明體與影像感測器先前已藉 匹配。 該等色彩總和可用以使當前 以被校準的一組參考照明體 Ο
根據本發明之另-態樣’自動聚线計可用以產生粗略 及精細自動聚焦分數，以用於判定供定位與影像感測器相 關聯之透鏡的最佳焦距。舉例而言’統計邏輯可判定指示 最佳聚焦區域之粗略位置’在—實施例中，可藉由搜尋第 一粗略位置而判定最佳聚焦區域，在第一粗略位置中，粗 略自動聚焦分數相對於先前位置減小。在使用此位置作為 用於精細分數搜尋之開始點的情況下，可藉由搜尋精細自 動聚焦分數中之峰值而判定最佳焦點位置。亦可基於拜耳 騰之每-色㈣敎自動聚焦料，使得甚至在存在色 像士之情況下，仍可使用每一色彩之相對自動聚焦分數以 判定聚焦方向。此外’所收集之統計可輸出至記憶體且藉 由ISP使用以處理所獲取之影像資料。 上文所提及之特徵的各種改進可關於本發明之各種態樣 而存在。其他特徵亦可併入於此等各種態樣中。此等改進 及額外特徵可個別地存在或以任何組合而存在。舉例而 a，下文關於所說明實施例中之一或多者所論述的各種.特 徵可單獨地併入至或以任何組合而併入至本發明之上文所 描述之態樣中的任一者中。又，上文所呈現之簡要概述僅 意欲在不限於所主張之標的的情況下使讀者熟悉本發明之 實施例的某些態樣及内容背景。 【實施方式】 158465.doc 201216207 本專利或申請檔案含有 彩色圖式之本專利或專利申請-圖式。具有 必要之費用後將由專利局提供。開案的複本在請求及支付 在閱讀以下實施方式後且在 本發明之各種態樣。 相式❹可更好地理解 下文將描述本發明之—或多 眚mM &丄 個特疋實施例。此等所描述 實施例僅為本發明所揭示 但也,卜 也的實例。另外，在致力於 R此等貫施例之簡明描述的過程中，本說明書中可能並 未描述實際實施之所有特徵。應瞭解，在任何此實際實施 =發中’如在任何工程或設計項目中一樣，必須進行眾 多貫施特定決策以達成開發者之特定目標（諸如，符合系 統相關及商業相關約束）’其可隨著不同實施而變化。此 外，應瞭解’ &開發努力可能複雜且耗時，但對於具有本 發明之益處的-般熟習此項技術者而言仍為設計、製作及 製造之常規任務。 § 紹本發明之各種實施例的元件時，數詞「— 「該」意欲意謂存在元件中之一或多者。術語「包含」、 「包括」及「具有」意欲為包括性的，且意謂可存在除所 列出元件以外的額外元件。另外，應理解，對本發明之 「一實施例」的參考不意欲被解譯為排除亦併有所敍述特 徵之額外實施例的存在。 如下文將論述，本發明大體上係關於用於處理經由—咬 多個影像感測裝置所獲取之影像資料的技術。詳t+ °心’本 發明之某些態樣可關於用於偵測及校正有缺陷像素之才支 158465.doc 201216207 術用於解馬赛克原始影像圖案之技術、用於使用多尺度 不青晰遮罩來清晰化照度影像之技術，及用於施加透鏡遮 光增1以校正透鏡遮光不規則性之技術。此外，應理解， 本發明所揭示之技術可應用於靜止影像及移動影像（例 如，視訊）兩者，且可用於任何合適類型之成像應用中， 諸如數位相機、具有整合式數位相機之電子裝置、安全 或視訊監督系統、醫學成像系統等等。 »己住以上要點，圖丨為說明電子裝置之實例的方塊 〇目€子裝置10可提供使用上文簡要地提及之影像處理技 術中的一或多者來處理影像資料。電子裝置10可為經組態 以接收及處理影像資料（諸如，使用一或多個影像感測組 件所獲取之資料）的任何類型之電子裝置，諸如，膝上型 或f上型電腦、行動電話 '數位媒體播放器或其類似者。 僅藉由實例，電子裝置1G可為攜帶型電子裝置，諸如，自
Apple Inc.(Cupertin〇, Ca丨if〇rnia)可得之一型號的心⑽或 iPhone®。另外，電子奘罟 Ο 龟于裝置10可為桌上型或膝上型電腦， 諸如，自APple Inc.可得之—型號的MacB〇〇k⑧、
MacBook® Pro . λ · ^
MacBook Α1Γ®、iMac⑧、奶以或 MW。在其他實施例中，電子裝置_可為能夠獲取 及處理影像貧料之來自另一製造商之一型號的電子裝置。 不管其形式（例如’攜帶型或非攜帶型），應理解，電子 裝置可提供使用上文簡要地論述之影像處理技術中的一 或多者來處理影像資料，該等影像處理技術可尤其包括有 缺陷像素校正及/或偵測技術、透鏡遮光校正技術、解馬 158465.doc 201216207 赛克技術或影像清晰化技術。在—些實施例中，電子裝置 ίο可將此等影像處理技術應用於儲存於電子裝置μ之飞障 體中的影像資料:在其他實施例中，電子裝置1〇可包括^ 組態以獲取影像貝料之一或多個成像裝置（諸如，整合式 或外部數位相機），該影像資料可接著藉由電子裝置H 用上文所提及之影像處理技術中的—或多I進行處理。τ 文將在圖3至圖6中進-步論述展示電子裝置1()之攜帶型及 非攜帶型實施例兩者的實施例。 如圖1所示，電子裝置1〇可包括有助於裝置1〇之功能的 各種内部及/或外部組件。一般熟習此項技術者應瞭解， 圖冰示之各種功能區塊可包含硬體元件（包括電路）、軟體 疋件（包括儲存於電腦可讀媒體上之電腦程式碼），或硬體 元件與軟體元件兩者之組合。舉例而言，在當前所說明之 實施例中，電子裝置10可包括輸入/輸出⑽）埠12、輸入 結構14、-或多個處理器16、記憶體裝置18、非揮發：健 存㈣、（多個）擴充卡22、網路連接裝㈣、電源^及顯 不心8。另外’電子裝置1〇可包括一或多個成像裝置 3〇(諸如，數位相機）及影像處理電路“。如下文將進— 論述，影像處理電路32可經組態以在處理影像資料時實施 上文所論述之影像處理技術中的一或多者。應瞭解，藉由 =:32處理之影像資料可自記憶體18及/或(多個) =發性儲存裝置2G予㈣取，或可❹成像裝置30予以 在繼續之前，應理解，圖!所示之襄置1〇的系統方塊圖 158465.doc •10- 201216207 意欲為描繪可包括於此裝置i 01之各種組件的高階控制 圖。亦即，圖1所示之每一個別組件之間的連接線可能未 /必表示資料在裝置10之各種組件之間流動或傳輸通過的路 徑或方向。實際上，如下文所論述，在一些實施例令，所 描纷之（多個）處理器16可包括多個處理器，諸如，主處理 器（例如’ CPU)及專用影像及/或視訊處理器。在此等實施 例中，影像資料之處理可主要藉由此等專用處理器處置， Ο Ο 由此有效地自主處理器（CPU)卸载此等任務。 關於圖！中之所說明組件中的每一者，1/〇谭12可包括經 組態以連接至多種外部裝置的埠，該等裝置係諸如，電 源、音訊輸出裝置（例如，耳機或頭戴式耳機），或其他電 子裝置(諸如，手持型裝置及/或電腦、印表機、投影儀、 外部顯示器、數據機、銜接台等等)。在-實施例中，1/0 淳12可經組態以連接至外部成像裝置（諸如，數位相機）， 以用於獲取可使用影像處理電路32處理之影像資料。㈤ 淳12可支援任何合適介面類型，諸如，通料列匯流排 Ο埠 '串列連接埠、咖韻㈣^)埠、乙太網 路或數據機埠，及/或Ac/Dc電力連接埠。 在:些實施例中’某些1/〇淳12可經組態以提供—個以 上功月b。舉例而言，在_會#办丨士 貫鈿例中，I/O埠12可包括來自
Apple Inc.之專屬埠，該追w m 不僅用以促進資料在電子裝 置10與外部來源之間的傳送 &八 寻k而且將裝置10耦接至電力充 電；丨面（諸如，經設計以提供來 ^ 1 果自％壁式插座之電力的電 力配接器），或經組態以自另— 电展置（堵如，桌上型或膝 158465.doc 201216207 上型電腦）汲取電力以用於對電源26(其可包括一或多個可 再充電電池）充電的介面規線。因此，I/O琿12可經組雜以 雙重地充當資料傳送埠及AC/DC電力連接埠兩者，此取決 於（例如）經由I/O埠12而耦接至裝置1 〇之外部組件。 輸入結構14可將使用者輸入或回饋提供至（多個）處理器 16。舉例而言，輸入結構14可經組態以控制電子震置1〇之 一或多個功能，諸如，在電子裝置1〇上執行之應用程式。 僅藉由實例’輸入結構14可包括按紐、滑件、開關、控制 板、按鍵、旋鈕、滾輪、鍵盤、滑鼠、觸控板等等，或其 某一組合。在一實施例中，輸入結構14可允許使用者導覽 在裝置10上所顯示之圖形使用者介面（GUI)。另外，輸入 ’、》構14可包括結合顯示器28所提供之觸敏機構。在此等實 施例中，使用者可經由觸敏機構而選擇所顯示介面元件或 與所顯示介面元件互動。 輸入、構14可包括供將使用者輸入或回饋提供至一或多 器16之各種裝置、電路及路徑。此等輸入結構μ可 』以控制裳置10之功能、在裝置1〇上執行之應用程 ，及/或連接至電子裝置10或藉由電子裝置10使用之任 何介面或裝晉。與_ μ = _ 舉仞而$ ’輸入結構14可允許使用者導覽 所顯示之伟田土 Α Ρ 1 使用者"面或應用程式介面。輸入結構Μ之實例 :按鈕、滑件、開關、控制板、按鍵、旋鈕、滚輪、 鍵盤、滑氣、觸控板等等。 供，諸如施例中，輸入結構14與顯示裝置28可被一起提 在觸控式螢幕」之狀況下，藉以，結合顯示 158465.doc -12· 201216207 器28而提供觸敏機構。在此等實施例中，使用者可經由觸 敏機構而選擇所顯示介面元件或與所顯示介面元件互動。 以此方式’所顯示介面可提供互動式功能性，從而允許使 用者藉由觸控顯示器28而導覽所顯示介面。舉例而言盘 輸入結制之使用者互動（諸如，用以與顯示於顯示㈣ 上之使用者或應用程式介面互動）可產生指示使用者輸入 之電信號。此等輸入信號可經由合適路徑(諸如，輸入集
線器或資料匯流排)而投送至該一或多個處理器i 6以供進 一步處理。 除了處理經由（多個）輸入結構14所接收之各種輸入信號 之外，（多個）處理器16亦可控制裝置1〇之一般操作。舉例 而言，（多個）處理器16可提供處理能力以執行作業系統、 程式、使用者及應用程式介面，及電子冑置1〇之任何其他 功能。（多個）處理器16可包括—或多個微處理器，諸:， -或多個「-般用途」微處理器、一或多個特殊用途微處 理器及/或特殊應用微處理器（ASIC)，或此等處理組件之 組合。舉例而言，（多個）處理器16可包括一或多個指令集 (例如’ RISC)處理器，以及圖形處理器（Gpu)、視訊處理 器、音訊處理器及/或相關晶片集。應瞭解，（多個）處理器 W可耦接至一或多個資料匯流排，以用於在裝置⑺之各種 組件之間傳送資料及指令。在某些實施例中，（多個）處理 器16可提供處理能力以在電子裝置1〇上執行成像應用程 式’諸如，自Apple Inc·可得之Ph〇t〇 Booth⑧、
Aperture®、iphoto® 或 Preview®，或由 Apple Inc 所提供且 158465.doc • η- 201216207 可用於多個型號之iPhone®上的「Camera」及/或 「Photo」應用程式。 待藉由（多個）處理器16處理之指令或資料可儲存於諸如 記憶體裝置18之電腦可讀媒體中。記憶體裝置18可被提供 作為揮發性記憶體（諸如，隨機存取記憶體（RAM))，或作 為非揮發性記憶體（諸如，唯讀記憶體（ROM))，或作為— 或多個RAM裝置與ROM裝置之組合。記憶體18可儲存多 種資訊且可用於各種目的。舉例而言，記憶體丨8可儲存用 於電子裝置10之韌體，諸如，基本輸入/輸出系統 (BIOS)、作業系統、各種程式 '應用程式，或可執行於電 子襄置10上之任何其他常式’包括使用者介面函式、處理 益函式等等。另外，記憶體18可用於在電子裝置10之操作 期間進行緩衝或快取。舉例而言，在一實施例中，記憶體 1 8包括用於隨著視訊資料輸出至顯示器28而緩衝視訊資料 之—或多個圖框緩衝器。 除了記憶體裝置1 8之外，電子裝 於資料及/或指令之持久儲存的非揮發性儲存器二❹ 發性儲存㈣可包括快閃記憶體、硬碟機，或任何其他3 Γ磁性及/或固態儲存媒體，或其某-組合。因此，, :為了清楚之目的而在^中描纷為單一裝置，但^ 解，（多個）非揮發性儲存事 ‘、、 16而… 肖存裝置20可包括結合(多個)處理! 非裡#之上文所列出之儲存裳置中的-或多者的组八( 非揮發性儲存器2〇可 、、 粗κ 存動體、資料檔案、影像1 枓、軟體程式及應用程式、盔 〜像1 無線連接資訊、個人資訊、十 358465.doc -14- 201216207 用者偏好’及任何其他合適資料。根據本發明之態樣，儲 存於非揮發性儲存器20及/或記憶體裝置18中之影像資料 可在輸出於顯示器上之前藉由影像處理電路32處理。 Ο
圖1所說明之實施例亦可包括一或多個卡插槽或擴充 槽。卡插槽可經組態以收納擴充卡22，擴充卡22可用以將 功能性（諸如，額外記憶體、I/O功能性或網路連接能力）添 加至電子裝置1〇。此擴充卡22可經由任何類型之合適連接 器而連接至裝置，且可相對於電子裝置1〇之外殼在内部或 外部被存取。舉例而言，在一實施例中，擴充卡以可為快 閃記憶卡（諸如，SecureDigital(SD)卡' 小型或微型sd' C〇mpaCtFlash卡或其類似者）’或可為PCMCIA裝置。另 卜擴充卡24可為供提供行動電話能力之電子裝置丨〇之實 施例使用的用戶識別模組（SIM)卡。 電子裝置1G亦包括網路裝置24，網路裝置24可為可經由 無線標準或任何其他合適網路連接標準（諸如區域網 路（LAN)、廣域網路（WAN)(諸如，gsm演進增強型資料速 率（EDGE)網路）、3Gf料網路或網際網路）而提供網路連接 性之網路控制n或網路介面卡（NIC)mb實施例中， 網路裝置24可提供至線上數位媒體内容提供者（諸如，自 Apple lnc.可得之iTunes⑧音樂服務）之連接。 裝置1〇之電源26可包㈣在非攜帶型及攜帶㈣ 下之裝置⑼共電的能力。舉例而言，在攜帶型設定 置1〇可包括用於對裝置10供電之-或多個電池(諸如，：. 離子電池卜電池可藉由將裝置1〇連接至外部電源（諸如， I58465.doc 201216207 連接至電壁式插座）而再充 -在非攜帶型設定下，電源 26可包括電力供應單元（PSU)，該電力供應單元（psu)經組 =自電壁式插纽取電力，且將電力分配㈣攜帶型電 子f置（諸如，桌上型計算系統）之各種組件。 頒不器28可用以顯示藉由裝置1()產生之各種影像，諸 一作業系統之GUI ’或藉由影像處理電路32處理之影像 資料（包括靜止影像及視訊資料），如下文將進一步論述。 如上文所提及’影像資料可包括使用成像裝置3〇所獲取之 影像育料或自記憶體18及/或非揮發性儲存器加所擁取之 料資料。舉例M，顯^28可為任何合義型之顯示 裔，邊如，液晶顯示器（LCD)、電漿顯示器，或有機發光 二極體（qLED)顯示器。另外，如上文所論述，可壯人可 =電子裝置1G之控制介面之部分的上文所論述之^機 構（例如，觸控式螢幕）而提供顯示器28。 該（等）所說明之成像裝置30可被提供作為經組態以獲取 靜止影像及移動影像（例如，視訊）兩者之數位相機。相機 3〇可包括透鏡及馳態轉獲光且將光轉換為^號之一 U㈣像僅藉由實例’影像感測器可包括 CMOS影像感測器(例如，CM〇s作用中像素感測器(綱） 或⑽（電❹合裝置）感測器。通常，相機％中 測器包括具有像素陣列之積體電路，其中每一像素包括用 於感測先之先偵測器。熟習此項技術者應瞭解，成 中之光偵測II通常偵測經由相機透鏡所俘獲之光的強产’。、 然而，光㈣器自身通常不能夠悄測所俘獲光之波長Γ且 I58465.doc -16- 201216207 由此不能夠判定色彩資訊。 因此’影像感測器可進一步包括可上覆於或安置於影像 感測器之像素陣列之上以俘獲色彩資訊的彩色濾光片陣列 (CFA) °彩色濾光片陣列可包括小彩色濾光片陣列，該等 滤光片中之每一者可重疊於影像感測器之各別像素且按照 波長來濾光所俘獲之光。因此，當以結合方式使用時，彩 色濾光片陣列及光偵測器可關於經由相機所俘獲之光而提 供波長及強度資訊兩者，其可表示所俘獲影像。 〇 在一實施例中，彩色濾光片陣列可包括拜耳（Bayer)彩色 濾光片陣列，該拜耳彩色濾光片陣列提供為5〇%綠色元 素、25%紅色元素及25%藍色元素之濾光片圖案。舉例而 5，圖2展不拜耳CFA之2x2像素區塊包括2個綠色元素（Gr 及Gb)、1個紅色元素（汉）及i個藍色元素（B)。因此，利用 拜耳彩色濾光片陣列之影像感測器可提供關於藉由相機3〇 在綠色、紅色及藍色波長下所接收之光之強度的資訊，藉 以，母一影像像素記錄該三種色彩（RGB)中僅一者。此資 ϋ 訊（其可被稱為「原始影像資料」image data)或「原 始域」（raw d〇main)中之資料）可接著使用一或多種解馬赛 克技術予以處理以通常藉由針對每一像素内插一組紅色、 綠色及藍色值而將原始影像資料轉換為全色影像。如下文 將進-步論述，此等解馬賽克技術可藉由影像處理電路^ 執行。 如上文所提及，影像處理電路32可提供各種影像處理步 驟，諸如，有缺陷像素偵測/校正、透鏡遮光校正、解馬 158465.doc •17- 201216207 赛克，及影像清晰化、雜訊減少、伽瑪校正、影像增強、 色彩空間轉換、影像壓縮、色度次取樣’及影像按比例縮 放操作等等。在一些實施例中，影像處理電路32可包括邏 輯之各種子組件及/或離散單元，該等子組件及/或離散單 元共同地形成用於執行各種影像處理步驟中之每一者的影 像處理「管線」。此等子組件可使用硬體（例如，數位信號 處理器或ASIC)或軟體予以實施，或經由硬體組件與軟體 組件之組合而實施。下文將更詳細地論述可藉由影像處理 電路32提供之各種影像處理操作，且尤其是論述與有缺陷 像素#測/校正、透鏡遮光校正、解馬賽克及影像清晰化 相關的彼等處理操作。 在繼續之前，應注意，儘管下文所論述之各種影像處理 技術的各種實施例可利用拜耳CFA，但本發明所揭示之技 術不意欲在此方面受到限制。實際上，熟f此項技術者應 瞭解’本文所提供之影像處理技術可適帛於任何合適類型 ^色渡以陣列，包括RGBWmCYG_光片等 再认參考電子裝置1〇,圖3至圖6說明電子裝置10可採用 =3:。如上文所提及’電子裝置10可採用電腦(包 括k爷為攜帶型之雷腦f 赃、 電月“堵如’膝上型、筆記型及平板電 腦）以及通常為非搾恶别& ; 双电 ’、、^ i的電腦（諸如，桌上型電腦、工作 口及/或飼服器）），或其他 摞帶刑雪工& 土心电于衷置（諸如，手持型 揭帶型電子裴置（例如， ._ 位媒體播放器或行動電話））的形 式。評s之’圖3及圖 、-會刀別呈膝上型電腦4〇及桌上型 158465.doc 201216207 電腦π之形式的電子裝置10。圖5及圖6分別展示呈手持型 攜帶3L裝置6〇之形式之電子裝置1〇的前視圖及後視圖。 w如圖3所示，所描緣之膝上型電腦40包括外殼42、顯示 器 ◦埠12及輸入結構14。輸入結構14可包括與外殼
42整合之鍵盤及觸控板滑鼠。另外，輸入結構14可包括各 種其他按及/或開關，該等各種其他按紐及/或開關可用 以與電腦4G互動（諸如，對電腦通電或起動電腦）、操作在 電腦4〇上執行之GUI或應、用程式，以及調整與電腦4〇之操 作相關的各種其他態樣(例如，聲音音量、顯示亮度等）。 電腦亦可包括如上文所論述之提供至㈣裝置之連接性 的各種I/O埠12(諸如，FireWire⑧或USB埠）、高清晰度多 媒體介面（HDMD琿，或適於連接至外部裝置的任何=他 類型之蟑。另外’電腦40可包括網路連接性（例如，網路 裝置26)、記憶體（例如’記憶體2〇)及儲存能力（例如，儲 存裝置22)，如上文關於圖1所描述。 此外，在所說明實施例中，膝上型電腦4〇可包括整合式 成像裝置30(例如，相機）。在其他實施例中，代替整H 相機30或除了整合式相機3〇之外’膝上型電腦4〇;二 接至1/0埠12中之-或多者的外部相機（例如，外部咖攝 影機或「網路攝影機」）。舉例而言’外部相機可為自 Apple Inc•可得之iSight⑧攝影機。相機3〇(無論是整人式抑 或外部式）可提供影像之俘獲及記錄m彡像可接著藉 由使用者使用影像檢視應用程式來檢視，或可藉由其他應 用程式來利用’該等其他應用程式包括視訊會議應用程二 158465.doc -19- 201216207 (諸如，iChat®)及影像編輯/檢視應用程式（諸如，ph〇t〇
Booth®、Aperture®、iPhoto® 或 Preview®)，其自 Apple
Inc.可得。在某些實施例中’所描繪之膝上型電腦4〇可為 自 Apple Inc·可得之一型號的 MacBook®、MacBook® Ρι·〇、
MacBook Air®或PowerBook®。另外，在一實施例中，電 腦40可為攜帶型平板計算裝置，諸如，亦自Apple Inc.可 得之一型號的iPad®平板電腦。 圖4進一步說明電子裝置10被提供作為桌上型電腦5〇之 實施例。應瞭解，桌上型電腦50可包括可與藉由圖4所示 之膝上型電腦40所提供之特徵大體上類似的多個特徵，但 可具有大體上更大的整體形狀因子。如圖所示，桌上型電 腦50可容納於罩殼42中，罩殼42包括顯示器28以及上文關 於圖1所示之方塊圖所論述的各種其他組件。此外，桌上 型電腦50可包括外部鍵盤及滑鼠（輸入結構14)，該外部鍵 盤及滑鼠可經由一或多個1/0埠12(例如，USB)耦接至電腦 50或可無線地（例如，RF、藍芽等）與電腦5〇通信。桌上型 電腦50亦包括可為整合式或外部相機之成像裝置3〇，如上 文所論述。在某些實施例中，所描繪之桌上型電腦可為 自APPle心·可得之一型號的iMac®、Mac® mini或心 Pro®。 如進一步所示，顯示器28可經組態以產生可藉由使用者 檢視之各種影像。舉例而言’在電腦5〇之操作期間，顯示 器28可顯示允許使用者與作業系統及/或在電腦50上執^ 之應用程式互動的圖形使用者介面（「Guj」）52。G饥Μ 158465.doc -20- 201216207 可包括顯示裝置28之可顯示全部或一部分的各種層、視 ®、勞幕、模板或其他圖形元件。舉例而言，在所描繪實 施例中’作業系統GUI 52可包括各種圖形圖示54,其中每 一者可對應於可在偵測到使用者選擇後即開啟或執行（經 由鍵盤/滑鼠或觸控式螢幕輸入）的各種應用程式。圖示54 可顯示於圖示停駐區（d〇ck)5 6中或顯示於螢幕上之一或多 個圖形視窗元件58内。在一些實施例中’圖示54之選擇可 導致階層式導覽程序，使得圖示54之選擇導致一螢幕或開 〇 啟包括一或多個額外圖示或其他GUI元件的另一圖形視 窗。僅藉由實例’顯示於圖4中之作業系統Gm 52可來自 自Apple Inc.可得之Mac 作業系統的一版本。 繼續至圖5及圖6，以攜帶型手持型電子裝置6〇之形式進 步s兒明電子裝置1〇，其可為自Apple Inc•可得之一型號 的iPod®或iPhone®。在所描繪實施例中，手持型裝置6〇包 括罩殼42，罩殼42可用以保護内部組件免受實體損壞且遮 蔽其免受電磁干擾。罩殼42可由任何合適之材料或材料之 〇 組合形成，諸如塑膠、金屬或複合材料，且可允許電磁輻 射（諸如，無線網路連接信號）之某些頻率通過至無線通信 電路（例如，網路裝置24)，該無線通信電路可安置於罩殼 42内，如圖5所示。 罩殼42亦包括使用者可藉以與手持型裝置6〇建立介面連 接之各種使用者輸入結構14。舉例而言，每一輪入結構“ 可經組態以在被按壓或致動時控制一或多個各別裝置功 能。藉由實例，輸入結構14中之一或多者可經組態以調用 158465.doc -21· 201216207 待顯示之「首頁」螢幕42或選單，在休眠、喚醒或通電/ 斷電模式之間雙態觸發，使蜂巢式電話應用程式之響鈐無 聲，增大或減小音量輸出等等。應理解，所說明之輸入結 構14僅為例示性的，且手持型裝置6〇可包括以包括按鈕、 開關、按鍵、旋鈕、滾輪等等之各種形式存在的任何數目 個合適之使用者輸入結構。 如圖5所示，手持型裝置6〇可包括各種1/〇埠12。舉例而 5，所描繪之I/O埠12可包括用於傳輸及接收資料檔案或 用於對電源26充電之專屬連接埠12a，及用於將裝置6〇連 接至音訊輸出裝置（例如，頭戴式耳機或揚聲器）的音訊連 接埠12b。此外，在手持型裝置6〇提供行動電話功能性之 實施例中，裝置6〇可包括用於收納用戶識別模組（sim)卡 (例如’擴充卡22)的1/〇埠12(：。 可為LCD、OLED或任何合適類型之顯示器的顯示裝置 =可顯示藉由手持型裝置6G所產生的各種影像。舉例而 言，顯示器28可顯示關於手持型裝置6〇之—或多種狀態將 回饋提供至使用者的各種系統指示器64，諸如電力狀態、 信號強度、外部裝置連接等等。顯示器亦可顯示允許使用 者與褒置60互動之GUI 52，如上文參看圖績論述。⑽ Μ可包括諸如圖示54之圖形元件，該等圖形元件可對應於 可在谓_各別圖示54之使用者選擇後即開啟或執行的各 種應用程式。藉由實例’圖示54中之一者可表示相機應用 程式66，相機應用程式66可結合相機3〇(圖5中以假想線展 示）使用以用於獲取影像。簡要地參看圖6,說明圖巧所 158465.doc •22- 201216207 描繪之手持型電子裝置60的後視圖，其將相機3〇展示為與 外殼42整合且位於手持型裝置6〇的後部上。 如上文所提及，使用相機30所獲取之影像資料可使用影 像處理電路32來處理，影像處理電路32可包括硬體（例 如，安置於罩殼42内）及/或館存於裝置6〇之一或多個儲存 裝置（例如，記憶體18或非揮發性儲存器2〇)上的軟體。使 用相機應用程式66及相機30所獲取之影像可儲存於裝置6〇 上（例如，儲存裝置20中）且可在猶後時間使用相片檢視應 〇 用程式68來檢視。 :持型裝置60亦可包括各種音訊輸人及輸出元件。舉例 而言，音訊輸入/輸出元件（藉由參考數字7〇大體上描繪）可 包括輸入接收器，諸如一或多個麥克風。舉例而言，在手 持型裝置60包括行動電話功能性之情況下，輸入接收器可 經組態以接收使用者音訊輸入（諸如，使用者之語音卜另 外’音訊輸入/輸出元件7〇可包括一或多個輸出傳輸器。 此等輪出傳輸器可包括可用以（諸如）在使用媒體播放器應 肖程式72播放音樂資料期間將音訊信號傳輸至使用者的一 或多個揚聲器。此外，在手持型裝置6〇包括行動電話應用 程式之實施例中，可提供額外音訊輸出傳輸器74,如圖5 2不。如同音訊輸入/輪出元件7〇之輸出傳輸器，輸出傳 4亦可包括經組態以將音訊信號（諸如，在電話通^ 期間所接收之語音資料)傳輸至使用者的-或多個揚聲 器。因此，音訊輸入/輪出元件7〇及74可結合操作以充者 電話之音訊接收及傳輪元件。 田 158465.doc -23· 201216207 現已提供關於電子裝置1G可採用之各種形式的—些内容 背景，本論述現將^於圖1巾所輯的料處理電路 32。如上文所提及，影像處理電路32可使用硬體及/或軟 體組件來實施，且可句紅w + J匕括界疋於像信號處理（ISP)管線的各 種處理單元。詳言之，以下論述可集中於本發明中所闡述 之影像處理技術的態樣，尤其是與有缺陷像素谓測/校正 技術、透鏡遮光校正技術、解馬赛克技術及影像清晰化技 術相關的態樣。 現參看圖7,根據本發明所揭示之技術的一實施例，說 ㈣繪可實施為影像處理電路32之部分之若干功能組件的 間化頂階方塊圖。特定言之，圖7意欲說明根據至少一實 施例的影像資料可流過影像處理電㈣之方式。為了提供 影像處理電路32之-般综述，此處參看圖7提供對此等功 能組件操作以處理影像資料之方式的一般描述，同時下文 將進一步提供對所說明之功能組件中之每_者以及其各別 子組件的更特定描述。 參考所說明實施例，影像處理電路32可包括影像信號處 理⑽）前端處理邏輯8Q、Isp管道處理邏輯82及控制邏輯 料。藉由成像裝置30所俘獲之影像資料可首先藉由⑽前 :邏輯80來處理’且經分析以俘獲可用以判定咖管道邏 _及/或成像裝43〇卜或多個控制參數的影像統計。 别端邏輯80可經組態以俘獲來自影像感測器輸入信號 之影像貧料。舉例而言’如圖7所示，成像裝置％可包括 具有-或多個透練(多個)影像感測器9〇的相機。如上 158465.doc -24- 201216207 Ο
文所淪述，（多個）影像感測器90可包括彩色濾光片陣列（例 如，拜耳濾光片），且可由此提供藉由影像感測器9〇之每 一成像像素所俘獲的光強度及波長資訊兩者以提供可藉由 ISP前端邏輯80處理之一組原始影像資料。舉例而言，來 自成像裝置30之輸出92可藉由感測器介面94來接收，感測 器介面94可接著基於（例如）感測器介面類型將原始影像資 料96提供至ISP前端邏輯8〇。藉由實例，感測器介面94可 利用払準行動成像架構（SMIA)介面或者其他串列或並列相 機介面’或其某一組合。在某些實施例中，isp前端邏輯 8〇可在其自己之時脈域内操作，且可將非同步介面提供至 感測器介面94以支援不同大小及時序要求的影像感測器。 原始影像資料96可提供至ISP前端邏輯8〇，且以多個格 式逐像素地處理。舉例而言，每—影像像素可具有8、 、12或14個位兀之位元深度。Isp前端邏輯8〇可對原始 影像資料96執行一或多個影像處理操作，以及關於影像資 料96之收集統計。可以相同的或以不同的位元深度精確度 來執行影像處理操作以及統計資料之收集。舉例而言，在 一貫施例中，可以14位元之精確度來執行原始影像像素資 料96之處理。在此等實施例中，藉由lsp前端邏輯肋所接 收之具有小於14個位元（例如，8位元、1〇位元、12位元）之 位元深度的原始像素資料可升取樣至14位元，以用於影像 處理目的。在另一實施例中，統計處理可以8位元之精確 度發生，且因此，具有較高之位元深度的原始像素資料可 降取樣至8位元格式以用於統計目的。應瞭解，降取樣至8 158465.doc -25- 201216207 位元可減少硬體大小（例如，面積），且亦減少統計資料之 處理/計算複雜性。另外，原始影像資料可在空間上經平 均化以允許統計資料對雜訊為更穩固的。 此外，如圖7所示，ISP前端邏輯8〇亦可自記憶體1〇8接 收像素資料。舉例而言，如藉由參考數字98所示，原始像 素資料可自感測器介面94發送至記憶體108。駐留於記憶 體中之原始像素資料可接著提供至lsp前端邏輯肋以用 於處理，如藉由參考數字100所指示。記憶體1〇8可為記憶 體裝置18、儲存裝置2〇之部分，或可為電子裝置ι〇内之單 獨專用記憶體且可包括直接記憶體存取（DMA)特徵。此 外，在某些實施例中，ISP前端邏輯8〇可在其自己之時脈 域内操作且將非同步介面提供至感測器介面94，以支援具 有不同大小且具有不同時序要求的感測器。 在接收到原始影像資料96(自感測器介面94)或1〇〇(自記 憶體108)後，ISP前端邏輯8〇即可執行一或多個影像處理 操作1如時間濾、波及/或分格化儲存補償滤波。經處理 影像資料可接著在被顯示（例如，在顯示裝置紙）之前提 SP &道邏輯82(輸出信號109)以用於額外處理，或可 發送至記憶體（輸出信號110)。ISP管道邏輯82直接自ISP前 端邏輯80抑或自記憶體⑽接收「前端」處理資料（輸入信 號112) ’且可提供影像資料在原始域中以及在臟及 Y⑽色彩空間中的額外處理。藉由脱管道邏糾所處 理之影像資料可接著輸出（信號ιΐ4)至顯示㈣以供使用者 檢視，及/或可藉由圖㈣擎或咖進—步處理。另外，來 158465.doc -26- 201216207 自ISP管道邏輯82之輸出可發送至記憶體1〇8(信號115)且顯 示器28可自記憶體1 〇8讀取影像資料（信號丨丨6)，其在某歧 實施例中可經組態以實施一或多個圖框緩衝器。此外，在 一些實施中，ISP管道邏輯82之輸出亦可提供至壓縮/解壓 縮引擎118(信號117)以用於編碼/解碼影像資料。經編碼之 影像資料可被儲存且接著稍後在顯示於顯示器28裝置上之 前被解壓縮（信號119)。藉由實例，壓縮引擎或「編碼器」 118可為用於編碼靜止影像之^^〇壓縮引擎，或用於編碼 〇 視讯景夕像之H.264壓縮引擎，或其某一組合，以及用於解 碼影像資料的對應解壓縮引擎。下文將關於圖67至圖97更 詳細地論述可提供於ISP管道邏輯82中的關於影像處理操 作之額外資訊。又，應注意’ Isp管道邏輯82亦可自記憶 體108接收原始影像資料，如藉由輸入信號112所描繪。 藉由ISP前端邏輯80所判定之統計資料ι〇2可提供至控制 邏輯單元84。統計資料102可包括（例如）與自動曝光、自動 白平衡、自動對焦、閃光偵測、黑階補償（BLC)、透鏡遮 g' \ ^ 光校正等等相關的影像感測器統計。控制邏輯84可包括經 組態以執行一或多個常式（例如，韌體）之處理器及/微控制 器’該一或多個常式可經組態以基於所接收之統計資料 102判定成像裝置3〇的控制參數丨〇4以及ISp管道處理邏輯 82之控制參數106。僅藉由實例，控制參數104可包括感測 器控制參數（例如，增益、用於曝光控制之整合時間）、相 機閃光燈控制參數、透鏡控制參數（例如，用於聚焦或變 焦之焦距）’或此等參數之組合。ISP控制參數106可包括 158465.doc -27· 201216207 用於自動白平衡及色彩調整（例如，在RGB處理期間）之增 益等級及色彩校正矩陣（CCM)係數，以及如下文所論述可 基於白點平衡參數所判定的透鏡遮光校正參數。在一些實 施例中’除了分析統計資料102之外，控制邏輯84亦可分 析可儲存於電子裝置10上（例如，在記憶體18或儲存器2〇 中）之歷史統計。 歸因於本文所示之影像處理電路32的一般複雜設計，將 ISP前端邏輯80及ISP管道處理邏輯82之論述分為單獨章節 可為有益的，如下文所示。特定言之，本申請案之圖8至 圖66可關於ISP前端邏輯80之各種實施例及態樣的論述， 而本申請案之圖67至圖97可關於ISP管道處理邏輯82之各 種實施例及態樣的論述。 ISP前端處理邏輯 圖8為展示根據一實施例的可實施於isp前端邏輯8〇中之 功能邏輯區塊的更詳細方塊圖。取決於成像裝置3〇及/或 感測器介面94之組態，如上文在圖7中所論述，原始影像 資料可藉由一或多個影像感測器9〇提供至ISp前端邏輯 80。在所描繪實施例中，原始影像資料可藉由第一影像感 測器9〇a(Sensor0)及第二影像感測器9〇b(Sens〇ri)提供至 ISP前端邏輯80。如下文將進一步論述，每一影像感測器 90a及90b可經組態以將分格化儲存應用於全解析度影像資 料，以便增大影像信號之信雜比。舉例而言，可應用諸如 2x2分格化儲存之分格化儲存技術，其可基於相同色彩之 四個全解析度影像像素而内插「經分格化儲存」 158465.doc -28· 201216207 原始影像像素。在一實施例中，此情形可導致存在與經分 格化儲存像素相關聯之四個累積信號分量對單一雜訊分 置’由此改良影像 > 料之#雜比’但減少整體解析声。另 外’分格化儲存亦可導致影像資料之不均勻或非均一*門 取樣’此情形可使用分格化儲存補償濾波予以校正，如下 文將更詳細地論述。 如圖所示’影像感測器90a及90b可分別將原始影像資料 提供作為信號sif〇及sifi。影像感測器90&及90b中之每— Ο 者可通常與各別統計處理單元120(StatsPipe0)及 122(StatsPipel)相關聯，該等統計處理單元可經組態以處 理影像資料以用於判定一或多組統計（如藉由信號s t a t s 〇及 Statsl所指示）’包括與自動曝光、自動白平衡、自動聚 焦、閃光偵測、黑階補償及透鏡遮光校正等等相關的統 計。在某些實施例中，當感測器90a或90b中僅一者在作用 中獲取影像時，若需要額外統計，則影像資料可發送至 StatsPipeO及StatsPipel兩者。舉例而言，提供一實例，若 〇 StatsPipeO及 StatsPipel 皆可用，則 StatsPipeO可用以收集一 個色彩空間（例如，RGB)之統計，且StatsPipel可用以收集 另一色彩空間（例如，YUV或YCbCr)之統計。亦即，統計 處理單元120及122可並行地操作，以收集藉由作用中感測 器獲取之影像資料之每一圖框的多組統計。 在本實施例中，在ISP前端80中提供五個非同步資料來 源。此寻來源包括：（1)來自對應於Sensor〇(9〇a)之感測器 介面的直接輸入（被稱為Sif〇或Sens0) ; (2)來自對應於 158465.doc -29- 201216207
Sensor 1 (90b)之感測器介面的直接輸入（被稱為Sifl或 Sensl) ; (3)來自記憶體108之SensorO資料輸入（被稱為 SiflnO或SensODMA)，其可包括DMA介面；（4)來自記憶體 108之Sensorl資料輸入（被稱為Siflnl或SenslDMA);及（5) 具有來自自記憶體1 08所擷取之SensorO及Sensor 1資料輸入 之圖框的一組影像資料（被稱為FeProcIn或ProcInDMA)。 ISP前端80亦可包括來自該等來源之影像資料可投送至的 多個目的地，其中每一目的地可為記憶體中（例如，108中） 之儲存位置抑或處理單元。舉例而言，在本實施例中， ISP前端80包括六個目的地：（1)用於接收記憶體108中之 SensorO資料的SifODMA ; (2)用於接收記憶體108中之 Sensorl資料的SiflDMA ; (3)第一統計處理單元 120(StatsPipe0) ; (4)第二統計處理單元 122(StatsPipel); (5)前端像素處理單元（FEProc) 130 ;及（6)至記憶體108或 ISP管線82之FeOut(或FEProcOut)(下文更詳細地論述）。在 一實施例中，ISP前端80可經組態以使得僅某些目的地針 對特定來源係有效的，如下文之表1所示。
SlfO DMA Sifl DMA StatsPipe 0 StatsPipe 1 FEProc FEOut SensO X X X X X Sensl X X X X X SensODMA X SenslDMA X ProcInDMA X X 表1-針對每一來源之ISP前端有效目的地的實例 舉例而言，根據表1，來源Sens0(Sensor0之感測器介面） 158465.doc -30- 201216207 可經組態以將資料提供至目的地SIfODMA(信號134)、 StatsPipeO(信號 136)、StatsPipel(信號 138)、FEProc(信號 140)或FEOut(信號142)。關於FEOut，在一些例子中，來 源資料可提供至FEOut以繞過藉由FEProc之像素處理，諸 如’出於除錯或測試目的。另外，來源Sens 1 (Sensor 1之感 測器介面）可經組態以將資料提供至目的地SIflDMA(信號 144)、StatsPipeO(信號 146)、StatsPipel(信號 148)、 FEProc(信號 150)或 FEOut(信號 152)，來源 SensODMA(來自 Ο 記憶體108之SensorO資料）可經組態以將資料提供至
StatsPipeO(信號154)，來源SenslDMA(來自記憶體108之
Sensorl資料）可經組態以將資料提供至Statspipel(信號 156) ’且來源procinDMA(來自記憶體ι〇8之Sens〇r0及 Sensorl資料）可經組態以將資料提供至FEPr〇c(信號158)及 FEOut(信號 160)。 應注意’當前所說明之實施例經組態以使得
SensODMA(來自記憶體log之sensor〇圖框）及SenslDMA(來 〇 自記憶體1 08之Sensorl圖框）分別僅提供至StatsPipe〇及 StatesPipel。此組態允許ISP前端8〇在記憶體中保持某一 數目個先前圖框（例如，5個圖框）。舉例而言，歸因於使用 者使用影像感測器起始俘獲事件（例如，使影像系統自預 覽模式轉變至俘獲或記錄模式，或甚至藉由僅接通或初始 化影像感測器）之時間與影像場景被俘獲時之時間之間的 延遲或滯後，並非使用者意欲俘獲之每一圖框皆可實質上 即時地被俘獲及處理。因此，藉由在記憶體丨〇8中保持某 158465.doc -31 - 201216207 一數目個先前圖框（例如，自預覽階段），此等先前圖框可 稍後被處理或與實際上回應於俘獲事件所俘獲之圖框並排 被處理，由此補償任何此滞後且提供一組更完整的影像資 料。 關於圖8之所說明組態，應注意，StatsPipe〇 ι2〇經組態 以接收輸入136(自SensO)、146(自Sensl)及154(自
SensODMA)中之一者，如藉由諸如多工器之選擇邏輯124 所判定。類似地’選擇邏輯126可自信號138、156及148選 擇輸入以提供至StatsPipel，且選擇邏輯132可自信號 0 140、150及158選擇輸入以提供至FEPr〇c。如上文所提 及，統計資料（StatsO及Statsl)可提供至控制邏輯84，以用 於判定可用以操作成像裝置3〇及/或Isp管道處理邏輯82之 各種控制參數。應瞭解，圖8所示之選擇邏輯區塊〇2〇、 122及132)可藉由任何合適類型之邏輯（諸如，回應於控制 t號而選擇多個輸入信號中之一者的多工器）提供。 像素處理單元（FEPr〇c)13〇可經組態以逐像素地對原始 〜像資料執行各種影像處理操作。如圖所示，作為目的地（ 處理單元之FEProc 13〇可藉由選擇邏輯132自以郎〇(信號 140)、Sensl(信號 150)4Pr〇cInDMA(信號 158)接收影像資 料。FEProc 130亦可在執行像素處理操作時接收及輸出各 種信號（例如，Rin、Hin、H〇u^Y〇ut_其可表示在時間濾 波期間所使用的運動歷史及明度資料），言亥等像素處理操 作可包括時間濾波及分格化儲存補償濾波，如下文將進一 步_述。像素處理單元130之輸出i〇9(FEPrOC〇ut)可接著 158465.doc -32· 201216207 (諸如）經由一或多個先進先出（FIFO)件列轉遞至ISP管道邏 輯82，或可發送至記憶體1 〇8。 此外，如圖8所示，除了接收信號mo、150及158之外， 選擇邏輯132亦可進一步接收信號159及16ι。信號159可表 示來自StatsPipeO之「經預處理」原始影像資料，且信號 161可表示來自StatsPipel之「經預處理」原始影像資料。 如下文將論述’統計處理單元中之每一者可在收集統計之 前將一或多個預處理操作應用於原始影像資料。在一實施 〇 例中，統計處理單元中之每一者可執行一定程度的有缺陷 像素偵測/校正、透鏡遮光校正、黑階補償及逆黑階補 •f美。因此’ 5虎159及161可表示已使用前述預處理操作而 處理之原始影像資料（如下文將在圖37中更詳細地論述）。 因此，選擇邏輯132給予ISP前端處理邏輯8〇提供來自 SensorO(信號140)及Sensor 1 (信號150)之未經預處理原始影 像資料抑或來自StatsPipeO(信號159)及StatsPipel (信號161) 之經預處理原始影像資料的彈性。另外，如藉由選擇邏輯 u 單元162及163所示，ISP前端處理邏輯80亦具有將來自 SensorO(信號134)抑或Sensor 1 (信號I44)之未經預處理原始 影像資料寫入至記憶體108或將來自StatsPipeO(信號159)或 StatsPipel(信號161)之經預處理原始影像資料寫入至記憶 體10 8的彈性。 為了控制ISP前端邏輯80之操作，提供前端控制單元 164。控制單元1 64可經組態以初始化及程式化控制暫存器 (在本文中被稱為「進行暫存器」（go register))以用於組態 158465.doc -33- 201216207 及開始影像圖框之處理，且經組態以選擇（多個）適當暫存 斋組以用於更新雙重緩衝資料暫存器。在—些實施例中， 控制單元164亦可提供用以測錄時脈循環、記憶體潛時及 服務品質（QQS)資訊的效能監視邏輯。此外，控制單元164 亦可控制動態時脈間控，該動態時脈閉控可用以在來自作 用中感測器之輸入作列中不存在足夠資料時停用至阶前 端0之一或多個部分的時脈。 在使用上文所提及之「進行暫存器」的情況下，控制單 元⑹可能能夠控制處理單元（例如，yipeO、 StatsPiPemFEProc)中之每一者之各種參數的更新且可 與感測器介面建立介面連接以控制處理單元之開始及停 止。通常，前端處理單元中之每一者逐圖框地操作。如上 文（表υ所論述’至處理單元之輸入可來自感測器介面 (sens〇或Sensl)或來自記憶體108。此外，處理單元可利用 可儲存於對應資㈣存n巾之各種參數及㈣諸。在一 實施例中’與每—處理單元或目的地相關聯之資料暫存器 可分組為形成暫存器組群組的區塊。在圖8之實施例中， 七個暫存器組群組可界定於ISP前端中：sif〇、sin、 StatsPipeO、StatsPlpel、Pr〇cPipe、FE〇u^pr〇cin。每一 暫存器區塊位址空間經複製以提供兩個暫存器組。僅被雙 重缓衝之暫存器在第二財具現化。若暫存器未被雙重缓 衝，則第二組中之位址可映射至第一組中同一暫存器之位 址0 對於被雙重缓衝之暫存器，來自一組之暫存器係作用中 158465.doc • 34 · 201216207 的且藉由處理單元使用，而來自另一組之暫存器被遮蔽。 遮蔽暫存器可藉由控制單元164在當前圖框間隔期間更 新，同時硬體正使用作用卞暫存器。對哪—組將在特定圖 框處用於特定處理單元之判定可藉由進行暫存器中的 「NextBk」（下一組）欄位指定，該攔位對應於將影像資料 提供至該處理單元的來源。基本上，〜观為允許控制單 元164控制。那一暫存器組在針對後續圖框之觸*事件時變 得作用中的欄位。 〇 在詳細地論述進行暫存器之操作之前，圖9提供根據本 發明技術的用於逐圖框地處理影像資料之一般方法166。 始於步驟168，被資料來源（例如，Sens〇、、 SensODMA、SenslDMA或Pr〇cInDMA)作為目標之目的地 處理單元進入閒置狀態。此情形可指示：針對當前圖框之 處理完成，且因此，控制單元164可準備處理下_圖框。 舉例而。，在步驟17〇處，更新每一目的地處理單元之可 程式化參數。此情形可包括（例如）更新進行暫存器中對應 於來源之NextBk攔位，以及更新資料暫存器中對應於目的 地單元之任何參數。此後，在步驟172處，觸發事件可使 目的地單元置於執行狀態。此外，如在步驟174處所示， 被來源作為目標之每一目的地單元完成其針對當前圖框之 處理操作，且方法166可隨後返回至步驟168以用於處理下 —圖框。 圖10描繪展示可藉由ISp前端之各種目的地單元使用之 兩個資料暫存器組176及178的方塊圖視圖。舉例而言， 158465.doc -35- 201216207
Bank 0(176)可包括資料暫存器 l-n(176a-176d)，且 Bank 1(178)可包括資料暫存器1-11(178&-178(1)。如上文所論述， 圖8所示之實施例可利用具有七個暫存器組群組（例如， SlfO、SIfl、StatsPipeO、StatsPipel、ProcPipe、FEOut及 Procln)之暫存器組（Bank 0)。因此，在此實施例中，每一 暫存器之暫存器區塊位址空間經複製以提供第二暫存器組 (Bank 1)。 圖10亦說明可對應於來源中之一者的進行暫存器180。 如圖所示，進行暫存器180包括「Next Vld」欄位182及上 文所提及之「NextBk」攔位1 84。此等欄位可在開始當前 圖框之處理之前被程式化。特定言之，NextVld可指示來 自來源之資料待發送至的（多個）目的地。如上文所論述， NextBk可針對作為目標之每一目的地（如藉由NextVld所指 示）自BankO抑或Bankl選擇對應資料暫存器。儘管圖10中 未圖示，但進行暫存器180亦可包括在本文中被稱為「進 行位元」（go bit)之啟動位元（其可經設定以啟動進行暫存 器）。當偵測到針對當前圖框之觸發事件192時，NextVld 及NextBk可複寫為對應當前或「作用中」暫存器186之 CurrVld攔位188及CurrBk欄位190。在一實施例中，（多個） 當前暫存器186可為可藉由硬體設定之唯讀暫存器，同時 保持不可存取ISP前端80内之軟體命令。 應瞭解，對於每一 ISP前端來源，可提供一對應進行暫 存器。出於本發明之目的，對應於上文所論述之來源 SensO、Sensl、SensODMA、SenslDMA及 ProcInDMA之進 158465.doc -36- 201216207 行暫存器可分別被稱為Sens0G〇 、SenslG〇、 SensODMAGo、SenSlDMAGo 及 Pr〇cInDMAG〇。如上文所 提及，控制單元可利用進行暫存器以控制ISp前端8〇内之 圖框處理的定序。每一進行暫存器含有一 NextVld攔位及 一NextBk欄位以針對下一圖框分別指示哪些目的地將有效 及將使用哪一暫存器組（〇或1)。當下一圖框之觸發事件丨92 發生時，NextVld及NextBk攔位複寫至指示當前有效目的 地及組號的對應作用中唯讀暫存器186，如上文在圖1〇中 〇 所示。每一來源可經組態以非同步地操作且可將資料發送 至其有效目的地中的任一者。此外，應理解，對於每一目 的地，通常僅一個來源在當前圖框期間可為作用中的。 關於進行暫存器180之啟動及觸發，確證進行暫存器18〇 中之啟動位兀或「進行位元」會啟動與相關聯之Nextvld 及NextBk欄位對應的來源。對於觸發，各種模式取決於來 源輸入資料是否係自記憶體（例如，Sens〇DMA、 86如1〇]^八或？1>0(：111〇3^八）讀取或來源輸入資料是否係來自 〇 感測器介面（例如，SensO或Sensl)而為可用的。舉例而 言，若輸入係來自記憶體108，則進行位元自身之啟動可 充當觸發事件，此係因為控制單元164已控制何時自記憶 體108讀取資料。若影像圖框正藉由感測器介面輸入，則 觸發事件可取決於對應進行暫存器相對於來自感測器介面 之資料何時被接收而被啟動的時序。根據本實施例，圖u 至圖13中展示用於觸發來自感測器介面輸入之時序的三種 不同技術。 158465.doc •37- 201216207 百先參看圖11，說明第一悴 匱形，其中一旦被來源作為目 標之所有目的地自繁忙式 ” 次執订狀態轉變至閒置狀態，觸發 隨即發生。此處，資料 負料4 5虎VVAJLID(1 96)表示來自來源之 影像貧料信號。脈衝198表示影像資料之當前圖框，脈衝 202表不衫像貧料之下„圖框，且間隔細表示垂直消隱間 隔（VBLANK)2〇0(例如，表示當前圖框198之最後線與下一 圖框202之間的時間旬。脈衝198之上升邊緣與下降邊緣 之間的時間差表示圖框間隔2〇1。因此，纟圖，來源 可經組態以在所有作為目標之目的地已結束對當前圖框 198之處理操作且轉變至閒置狀態時觸發。在此情形中， 來源係在目的地完成處理之前被啟動（例如，藉由設定啟 動或「進行」<立元），使得來源可在作為目標之目的地變 得閒置後即觸發及起始下一圖框2〇2之處理。在垂直消隱 間隔200期間，處理單元可經設置及組態以在感測器輸入 資料到達之前用於使用藉由進行暫存器所指定之對應於來 源之暫存器組的下-圖框2G2。僅藉由實例，藉由卿⑽ 130使用之讀取緩衝器可在下一圖框—到達之前被填充。 在此狀況T，對應於作用中暫#器組之遮蔽暫存器可在觸 發事件之後被更新，由此允許完全圖框間隔設置用於下一 圖框（例如，在圖框2〇2之後）的雙重緩衝暫存器。 圖12說明第二情形，其中藉由啟動對應於來源之進行暫 存器中的進行位元觸發來源。在此「觸發即進行」 (tngger-on_g0)組態下’被來源作為目標之目的地單元已 為閒置的，且進行位元之啟動為觸發事件。此觸發模式可 158465.doc -38· 201216207 用於未被雙重緩衝之暫存器，且因此，在垂直消隱期間被 更新（例如，相對於在圖框間隔201期間更新雙重緩衝陰影 暫存器）。 艾’ 圖υ說明第三觸發模式，其中來源在偵測到下一圖框之 開始（亦即，上升VSYNC)後即被觸發。然而，應注意，在 此模式中，若進行暫存器在下一圖框202已開始處理之後 被啟動（藉由設定進行位元），則來源將使用目標目的地及 對應於先前圖框之暫存器組，此係因為CurrVid及 〇 冑位在目的地開始處理之前未被更新。此情形未留下用於 «χ置目的地處理單元之垂直消隱間隔，且可潛在地導致已 捨棄圖框（尤其是在雙感測器模式中操作時）。然而，應注 意，若影像處理電路32係在針對每一圖框使用相同暫存器 、’且（例如，目的地（NextVld)及暫存器組（NextBk)未改變）的 單感測器模式中操作，則此雙感測器模式可能仍然產生準 確操作。 現參看圖14，更詳細地說明控制暫存器（或「進行暫存 IS J )18〇。進行暫存器18〇包括啟動「進行」位元剔，以 及NextV1d攔位182及Nex攔位184。如上文所論述，聊 前端80之每一來源(例如，Sens〇、H、一祕、
Ser^DMA或ProcInDMA)可具有對應進行暫存器⑽。在 -實施例巾’進行位元2G何為單位元攔位，且進行暫存 器180可藉由將進行位元2〇4設定為1而啟動。如卿棚位 182可含有數目對應於lsp前端叫目的地之數目的位元。 舉例而言’在圖8所示之實施例中，聊前端包括六個目的 15B465.doc -39· 201216207 地：SifODMA、SiflDMA、StatsPipeO、StatsPipel、 FEProc及FEOut。因此，進行暫存器1 80可包括在NextVld 欄位1 82中之六個位元，其中一個位元對應於每一目的 地，且其中作為目標之目的地被設定為1。類似地， NextBk欄位182可含有數目對應於ISP前端80中資料暫存器 之數目的位元。舉例而言，如上文所論述，圖8所示之IS P 前端80的實施例可包括七個資料暫存器：SlfO、SIfl、 StatsPipeO、StatsPipe 1、ProcPipe、FEOut 及 Procln。因 此，NextBk欄位1 84可包括七個位元，其中一個位元對應 於每一資料暫存器，且其中對應於Bank 0及Bank 1之資料 暫存器係藉由分別將其各別位元值設定為〇或1而選擇。因 此，在使用進行暫存器1 80的情況下，來源在觸發後即精 確地知曉哪些目的地單元將接收圖框資料，且哪些暫存器 組將用於組態作為目標之目的地單元。 另外，歸因於藉由ISP電路32支援之雙感測器組態，ISP 前端可在單感測器組態模式（例如，僅一個感測器獲取資 料）中及雙感測器組態模式（例如，兩個感測器獲取資料）中 操作。在典型單感測器組態中，來自感測器介面（諸如， SensO)之輸入資料發送至StatsPipe0(用於統計處理）及 FEProc(用於像素處理）。另外，感測器圖框亦可發送至記 憶體（SifODMA)以供未來處理，如上文所論述。 下文在表2中描繪當在單感測器模式中操作時對應於ISP 前端80之每一來源之NextVld欄位可被組態之方式的實 例。 158465.doc -40- 201216207
SlfO DMA Slfl DMA StatsPipe 0 StatsPipe 1 FEProc FEOut SensOGo 1 1 X 1 0 1 0 SenslGo X 0 0 0 0 0 SensODMAGo X X 0 X X X SenslDMAGo X X X 0 X X ProcInDMAGo X X X X 0 0 表2-每來源實例之NextVld :單感測器模式 如上文參看表1所論述’ ISP前端80可經組態以使得僅某 些目的地針對特定來源係有效的。因此’表2中經標記有 0 「X」之目的地意欲指示：ISP前端80未經組態以允許特定 來源將圖框資料發送至彼目的地。對於此等目的地’對應 於彼目的地之特定來源之NextVld欄位的位元可始終為0 ° 然而，應理解，此僅為一實施例，且實際上’在其他實施 例中，ISP前端80可經組態以使得每一來源能夠將每一可 用目的地單元作為目標。 上文在表2中所示之組態表示僅SensorO提供圖框資料的 σ 為 單感測器模式。舉例而言，SensOGo暫存器扣不曰^ Ο SIfODMA、StatsPipeO 及 FEProc。因此，當被觸發時
SensorO影像資料之每一圖框發送至此等三個目的地* °如1 上文所論述，SIfODMA可將圖框儲存於記憶體108中以供 稍後處理，StatsPipeO應用統計處理以判定各種統S十資料 點，且FEProc使用（例如）時間濾波及分格化儲存補償遽、波 處理圖框。此外，在需要額外統計(例如，不同色彩空間 中之統計）之一些組態中，亦可在單感測器模式期間啟"$ StatsPipel(對應NextVld設定為1)。在此等實施例中 158465.doc -41 - 201216207 sensor0圖框資料發送至StatsPipe〇&Statspipei兩者。此 外，如本實施例所示，僅單一感測器介面（例如，8如8〇或 者SenO)在單感測器模式期間為僅有的作用中來源。 記住此，圖15提供描繪用於在僅單一感測器為作用中 (例如，sens〇r0)時處理ISP前端80中之圖框資料的方法2〇6 之流程圖。儘管方法206說明（詳言之）藉由FEPr〇c 13〇進行 之SensorO圖框資料的處理作為一實例，但應理解，此程 序可應用於ISP前端80中的任何其他來源及對應目的地單 兀。始於步驟208，SensorO開始獲取影像資料且將所俘獲 之圖框發送至ISP前端80。控制單元164可初始化對應於 SenS〇(Sensor〇介面）之進行暫存器的程式化，以判定目標 目的地（包括FEProc)及將使用哪些組暫存器，如在步驟21〇 處所不。此後，決策邏輯212判定來源觸發事件是否已發 生。如上文所論述，來自感測器介面之圖框資料輸入可利 用不同的觸發模式（圖U至圖13)。若未偵測到觸發事件， 則程序206繼續等待觸發。一旦觸發發生，下一圖框隨即 變為當前圖框，且發送至FEPr〇c(及其他目標目的地）以供 在步驟2U處處理。可使用基於在Sens〇G〇暫存器之NextBk 欄位中所指定的對應資料暫存器（ProcPipe)之資料參數組 二FEProc。在步驟216處完成當前.圖框之處理之後，方法 206可返回至步驟21〇，此處針對下一圖框程式化§印3〇〇〇 暫存器。 當ISP前端80之SensorO及Sensorl兩者皆為作用中時，統 什處理通常保持為直接的，此係因為每一感測器輸入可藉 I58465.doc • 42- 201216207 由各別統計區塊StatsPipeO及StatsPipel處理。然而’因為 ISP前端80之所說明實施例僅提供單一像素處理單元 (FEProc)，所以FEProc可經組態以在處理對應於SensorO輸 入資料之圖框與對應於Sensorl輸入資料之圖框之間交 替。應瞭解，在所說明實施例中，影像圖框係自FEProc讀 取以避免如下情況：其中來自一感測器之影像資料被即時 處理，而來自另一感測器之影像資料並未即時處理。舉例 而言，如下文在表3中所示（表3描繪在ISP前端80在雙感測 Q 器模式中操作時每一來源之進行暫存器中的NextVld欄位 之一可能組態），來自每一感測器之輸入資料發送至記憶 體（SIfODMA及SlflDMA)且發送至對應統計處理單元 (StatsPipeO及 StatsPipel)。
SlfO DMA sm DMA StatsPipe 0 StatsPipe 1 FEProc FEOut SensOGo 1 X 1 0 0 0 SenslGo X 1 0 1 0 0 SensODMAG ❶ X X 0 X X X SenslDMAGo X X X 0 X X ProcInDMAGo X X X X 1 0 Ο 表3-每來源實例之NextVld :雙感測器模式 記憶體中之感測器圖框自ProcInDMA來源發送至 FEProc，使得其基於其對應圖框速率以一速率在SensorO 與Sensorl之間交替。舉例而吕’若SensorO及Sensorl皆以 30個圖框/秒（fps)之速率獲取影像資料，則其感測器圖框 可以1對1方式父錯。舉例而& ’若Sensor0(3 0 fps)以 Sensorl (15 fps)之速率之兩倍的速率獲取影像資料，則交 158465.doc •43- 201216207 錯可為2對1。亦即’針對Sensorl資料之每一圖框， SensorO資料之兩個圖框自記憶體讀出。 記住此’圖16描繪用於處理具有同時獲取影像資料之兩 個感測器的ISP前端80中之圖框資料的方法220。在步驟 222處，SensorO及Sensorl兩者開始獲取影像圖框。應瞭 解，SensorO及Sensorl可使用不同之圖框速率、解析度等 等來獲取影像圖框。在步驟224處，將來自SensorO及 Sensorl之所獲取圖框寫入至記憶體1〇8(例如，使用 SIfODMA及SlflDMA目的地）。接下來，來源procInDMA以 交替方式自記憶體108讀取圖框資料，如在步驟226處所指 不。如所論述，圖框可取決於獲取資料時之圖框速率而在 SensorO資料與Sensorl資料之間交替。在步驟228處，獲取 來自ProcInDMA之下一圖框。此後，在步驟23〇處，取決 於下一圖框為SensorO資料抑或Sensorl資料而程式化對應 於來源（此處為ProcInDMA)的進行暫存器之NextVld及 NextBk欄位。此後，決策邏輯232判定來源觸發事件是否 已發生。如上文所論述，可藉由啟動進行位元（例如，「觸 發即進行」模式）而觸發來自記憶體的資料輸入。因此， 一旦將進行暫存器之進行位元設定為1，觸發隨即可發 生。一旦觸發發生，下一圖框隨即變為當前圖框，且發送 至FEProc以供在步驟234處處理。如上文所論述，可使用 基於在ProcInDMA進行暫存器之NextBk攔位中所指定的對 應資料暫存器（ProcPipe)之資料參數組態FEpr〇c。/丰_ 仕少鄉 230處完成當前圖框之處理之後，方法22〇可返回至步驟 158465.doc -44· 201216207 228且繼續。 哪前端嶋組態以處置之另—操作事件係在影像處理 期間的組‘4改變。舉例而言，當lsp前端8()自單感測器組 態轉變至雙感測器組態或自雙感測器組態轉變至單感測器 組態時，此事件可發决 , 發生 如上文所論述，某些來源之
NextVld欄位可取決於_加丄、 、 、、 個抑或兩個影像感測器在作用中 而可為不同的。因此’當感測器組態改變肖，ISP前端控 Ο
G 制單7L 164可在所有目的地單元被新來源作為目標之前釋 放該等目的地單元。此情形可避免無效組態(例如，將多 個來源指派至一個目的地)。在一實施例中，可藉由以下 操作來實現目的地單元之釋放：將所有進行暫存器之 价清_位設定為〇，由此停精有目的地，且啟動進行 位兀。在釋放目的地單元之後，進行暫存器可取決於當前 感測器模式而重新組態’且影像處理可繼續。 根據一實施例，在圖17中展示用於在單感測器組態與雙 感測器組態之間切換的方法24〇。始於步驟242，識別來自 ISP前端80之特定來源之影像資料的下一圖框。在步驟 處，將目標目的地（NextVld)程式化至對應於該來源之進行 暫存器中。接下來，在步驟246處，取決於目標目的地， 將NextBk程式化為指向與該等目標目的地相關聯之正確資 料暫存器。此後’決策邏輯248判定來源觸發事件是否已 發生。一旦觸發發生，隨即將下一圖框發送至藉由 NextVld所指定之目的地單元且藉由該等目的地單元使用 藉由NextBk所指定的對應資料暫存器來處理，如在步驟 158465.doc • 45· 201216207 250處所示。處理繼續直至步驟252為止，在步驟252處當 前圖框之處理完成。 隨後，決策邏輯254判定是否存在該來源之目標目的地 之改變。如上文所論述，對應於SensO及Sensl之進行暫存 器的NextVld設定可取決於一個感測器抑或兩個感測器在 作用中而變化。舉例而言’參看表2，若僅SensorO為作用 中的’則將SensorO資料發送至SIfODMA ' StatsPipeO及 FEProc。然而，參看表3，若SensorO及Sensorl兩者為作用 中的’則並不將SensorO資料直接發送至FEPr〇c。實情 為，如上文所提及，Sens or 0及Sens orl資料寫入至記憶體 108，且藉由來源Pr〇cInDMA以交替方式讀出至FEpr〇c。 因此，若在決策邏輯254處未偵測到目標目的地改變，則 控制單元1 64推斷感測器組態尚未改變，且方法24〇返回至 步驟246，在步驟246處將來源進行暫存器之NextBk攔位程 式化為指向用於下一圖框的正確資料暫存器，且繼續。 然而，若在決策邏輯254處偵測到目的地改變，則控制 單元164判定感測器組態改變已發生。舉例而言，此情形 可表示自單感測器模式切換至雙感測器模式，或完全斷開 該等感測器。因此，方法24〇繼續至步驟256，在步驟256 處將所有進行暫存器之NextVld#1位的所有位元設定為 由=有效地停用圖框在下次觸發時至任何目的地的發送。 接者’在決策邏輯258處’進行關於是否所有目的地單元 2已：：Τ之心 處專存，直至所有目的地 早凡匕凡成其當舸操作為 158465.doc -46- 201216207 止。接下來，在決策邏輯260處，進行關於影像處理是否 繼續之判定。舉例而言，若目的地改變表示SensorO及 Sensorl兩者之撤鎖啟動，則影像處理在步驟262處結束。 然而，若判定影像處理將繼續，則方法240返回至步驟244 且根據當前操作模式（例如，單感測器或雙感測器）程式化 進行暫存器的NextVld欄位。如此處所示，藉由參考數字 264來全體指代用於清除進行暫存器及目的地欄位的步驟 254至262 ° 〇 接下來，圖18藉由提供另一雙感測器操作模式之流程圖 (方法265)來展示另一實施例。方法265描繪如下情況：其 中一感測器（例如，SensorO)在作用中獲取影像資料且將影 像圖框發送至FEProc 130以供處理，同時亦將影像圖框發 送至StatsPipeO及/或記憶體108(SifODMA)，而另一感測器 (例如，Sensorl)為非作用中的（例如，斷開），如在步驟266 處所示。決策邏輯268接著偵測Sensorl將對下一圖框變為 作用中的以將影像資料發送至FEProc的情況。若未滿足此 〇 條件，則方法265返回至步驟266。然而，若滿足此條件， 則方法265藉由執行動作264(總體而言為圖17之步驟254至 262)而繼續進行，藉以，來源之目的地欄位得以清除且在 步驟264處重新組態。舉例而言，在步驟264處，可將與 Sensor 1相關聯之進行暫存器的NextVld欄位程式化為指定 FEProc作為目的地，以及StatsPipel及/或記憶體 (SiflDMA)，而可將與SensorO相關聯之進行暫存器的 NextVld欄位程式化為清除FEProc作為目的地。在此實施 158465.doc •47· 201216207 例中’儘管藉由—所俘獲之圖框中的下-圖框未發 送至FEProe，㈣騎G可保持為作用中的且繼續將其影 像圖框發送至StatsPipe〇,如在步驟·處所*，而—⑽ 俘獲資料絲資料發送至FEp咖以供在步驟Μ處處理。 因此，兩個感測器（S_r(^ Se_rl)可繼續在此「雙感 測器」模式中操作’但僅來自—感測器之影像圖框發送至 附⑽以供處理。為此實例之目的’將圖框發送至附咖 以供處理之感測器可被稱為「作用中感測器」，未將圖框 發送至FEP⑽但仍將資料發送至統計處理單元的感測器可 被稱為「半作用中感測器」，且根本並未獲取資料之感測 益可被稱為「非作用中感測器」。 刖述技術之一益處在於：因為統計繼續針對半作用中感 測器（Sensor0)被獲取，所以在下次半作用中感測器轉變至 作用中狀態且當韵作用中感測器（Sens〇ri)轉變至半作用中 或非作用中狀態時，半作用中感測器可開始在一圖框内獲 取資料’此係因為歸因於影像統計之繼續收集，色彩平衡 及曝光參數可已為可用的。此技術可被稱為影像感測器之 「熱切換」’且避免與影像感測器之「冷起動」相關聯的 缺點（例如’在無統計資訊可用之情況下起動）。此外，為 了節省電力’因為每一來源為非同步的（如上文所提及）， 所以半作用中感測器可在半作用中週期期間在減少之時脈 及/或圖框速率下操作。 在繼續圖8之ISP前端邏輯80中所描繪的統計處理及像素 處理操作之更詳細描述之前，據信，關於各種ISP圖框區 158465.doc -48- 201216207 域之定義的簡要介紹將幫助促進對本標的的更好理解。記 住此’在圓19中說明可在影像來源圖框内界定之各種圖框 區域。提供至影像處理電路32之來源圖框的格式可使用上 文所論述之影像塊抑或線性定址模式，如可利用8、1〇、 12或14位元精確度下的像素格式。如圖19所示，影像來源 圖框274可包括感測器圖框區域276、原始圖框區域278及 作用中區域280。感測器圖框276通常為影像感測器9〇可提 i、至tz像處理電路32之最大圖框大小。原始圖框區域278 Ο 可定義為感測器圖框276之發送至isp前端處理邏輯8〇的區 域。作用中區域280可定義為來源圖框274之一部分，其通 常在原始圖框區域278内，針對特定影像處理操作對其執 行處理。根據本發明技術之實施例，作用中區域280可為 相同的或針對不同之影像處理操作可為不同的。 根據本發明技術之態樣，ISP前端邏輯80僅接收原始圖 框278。因此，為本論述之目的，ISp前端處理邏輯之全 域圖框大小可假設為原始圖框大小，如藉由寬度282及高 度284判定。在一些實施例中’自感測器圖框276之邊界至 原始圖框278的位移可藉由控制邏輯84判定及/或維持。舉 例而言，控制邏輯84可包括可基於關於感測器圖框276所 才曰疋之輸入參數（諸如，χ位移286及7位移288)判定原始圖 框區域278的動體。此外，在一些狀況下，Isp前端邏輯如 内之處理單或ISP管道邏輯82可具有經界定之作用中區 域，使传在原始圖框中但在作用中區域28〇外部的像素將 不會被處理，亦即，保持未改變。舉例而言，可基於相對 158465.doc -49- 201216207 於原始圖框278之x位移294及y位移296而界定具有寬度29〇 及高度292的針對特定處理單元之作用中區域28〇。此外， 在並未特定地界定作用中區域之情況下，影像處理電路32 之一貫施例可假設作用中區域280與原始圖框278相同（例 如，X位移294及y位移296皆等於0)。因此，為對影像資料 所執行之影像處理操作的目的，可關於原始圖框278或作 用中區域280之邊界定義邊界條件。 羞S f t I :.r §己住此等要點且參看圖2〇，根據本發明技術之一實施 例，說明isp前端像素處理邏輯130(先前論述於圖8中）的更 詳細視。如圖所示，ISP前端像素處理邏輯13〇包括時間 濾波器298及分格化儲存補償渡波器3〇〇。時間濾波器观
可接收輸入影像信號Sif0、Sifl、咖她，或經預處 影像信號（例如，159、161)中之_者，且可在執行任何 外處理之前對原始像素資料進行操作。舉例而言，時間 波器298可最初處理影像資料以藉由平均化時間方向上 影像圖框來減少雜訊。分格化儲存補償濾、波器(下文 詳細地論述其）可對來自影像感测器（例如，術、9叫之》 分格化儲存原始影像資料應用按比例縮放及再取樣，⑴ 持影像像素的均勻空間分佈。 h間，慮波器2 9 8基於運動及A& 的勒及〜度特性可為像素適應把 的。舉例而言，當像素運動為高 m ^ ^^ 了減少濾波強度以禮 避免所仔經處理影像令的「 j, , . ^ P」或厂重像假影」之出 現，而可在偵測到極少運 ^ 0 ..女杖 次未偵剛到運動時增大濾波強 度另外，亦可基於亮度資料（ /如’明度）來調整濾波強 158465.doc -50- 201216207 度。舉例而言，隨著影像亮度增加，濾波假影可變得使人 眼更易察覺。因此，當像素具有高亮度等級時，可進一步 減少濾波強度。 在應用時間濾波時，時間濾波器298可接收參考像素資 料（Rin)及運動歷史輸入資料（Hin)，參考像素資料（Rin)及 運動歷史輸入資料（Hin)可來自先前濾波之圖框或原本圖 框。使用此等參數’時間濾波器298可提供運動歷史輸出 資料（Hout)及濾波像素輸出（Y〇ut)。濾波像素輸出Y〇ut接 〇 著傳遞至分格化儲存補償據波器300，分格化儲存補償瀘、 波器300可經組態以對濾波像素輸出Y〇ut執行一或多個按 比例縮放操作以產生輸出信號FEPr〇c〇ut。經處理像素資 料FEProcOut可接著轉遞至iSp管道處理邏輯82，如上文所 論述® 參看圖2丨，根據第一實施例，說明描繪可藉由圖2〇所示 之時間濾波器執行之時間濾波程序3〇2的程序圖。時間濾 波器298可包括2分接頭濾波器，其中至少部分地基於運動 ◎及亮度資料以每像素為基礎適應性地調整渡波器係數。舉 例而言，可比較輸入像素χ⑴（其中變數「t」表示時間值） 與先耵濾波之圖框或先前原本圖框中的參考像素， 以在可含有濾波器係數之運動歷史表（1^)3〇4中產生運動索 引查找。另外，基於運動歷史輸入資料，可判定對 應於當前輸入像素x(t)之運動歷史輸出h(t)。 可基於運動差量d(j，i，t)來判定運動歷史輸出咕)及渡波 器係數K其中（jsl)表示當前像素扣^^)之空間位置的座 158465.doc -51- 201216207 標。可藉由判定針對相同色彩之三個水平並列像素的原本 像素與參考像素之間的三個絕對差量之最大值來計算運動 差量d(j山t)。舉例而言，簡要地參看圖22，說明對應於原 本輸入像素312、3 13及314之三個並列參考像素308、3〇9 及3 10的工間位置。在一實施例中，可使用以下公式基於 此等原本及參考像素來計算運動差量： i, t) = max 3[abs(x(j, / _ 2, 〇 - r(j, 1)), ⑽《·/，z·，0 -广(y, r -1)) iabs^i + 2^)-r(j,i + 2,t-m 〇a) 下文在圖24中進一步說明描繪用於判定運動差量值之此技 術的流程圖。此外’應理解，如上文在方程式13中(且下 文在圖24中）所示的用於計算運動差量值之技術僅意欲提 供用於判定運動差量值的一實施例。 在其他實施例中’可評估相同色彩像素的陣列以判定運 值舉例而舌，除了在方程式j a中所提及之三個像 步卜肖於判疋運動差量值之—實施例可包括亦評估在 上兩列（例如，j_2，·假設拜耳圖案）參考像素川、313 之相同色彩像素與其對應並列像素，以及在來自下 例如，j+2;假設拜耳圖案）參考像素3i2、313及314 :色彩像素與其對應並列像素之間的絕對差量。舉例 。’在—實施例t，運動差量值可表達如下·· 158465.doc -52- 201216207 d〇\ U 〇 = max 9[abs(x(j, i -2,t)~ (abs(x(j, i, t) - r(j, /, t -1)), ，从 {abs{x{j, i + 2, i) - r{j, i + 2,t-1)), (abs(x(j -2,i- 2, t) -r(j ~ 2, i ~ 2, t~ i))s (abs(x(j - 2, i, t) - r(j - 2, i, t ~ 1)), ， ^bs(xU-2,i + 2,t)-rU-2,i + 2,t~i)X (lb) (abs(x(j + 2,/- 2, t) -r(j + 2,i~2,t~ l))' (abs(x(j + 2, i, t) -r(j + 2, i, t ~ 1)), (abs(x(j + 2,/ + 2, 〇 - r(j + 2,i + 2,t~ 1))] 因此’在藉由方程式lb所料之實施例中， o
G 相同色彩像素之3X3陣列與位於該3x3陣列（例如較在 不同色彩之像素，則實際上為 σ，右汁數 ^ ^ 為拜耳色彩圖案的5χ5陣列^ 中心處之當前像素㈤)之間的絕對差 = 值。應瞭解，可分析當前像素(例如，313)位於 處的相同色彩像素之任何合適的、j之中心 有同一列中之所右後本土 早歹J (例如’包括具 之所有像素的陣列（例如，方程式或且有同 一行中之所有像素的陣列)，以判定運動差量值I:外： 儘管運動差量值可被判定為頌料至θ 方栽…“ 量之最大值(例如，如 方程式Mlb所示），但在其他實施例中，運動 可選擇為絕對差量的均值或中 值亦 用於其他類型之彩色濾、光片陣列(例：，: = 等），且不意欲對拜耳圖案為排他性的。 •t像青二"1圖21 |判定運動差量值，隨即可藉由對當 位置⑽之運動差量d⑴與運動歷 史輸入♦”求和來計算可用以自運 f係數κ的運動索㈣。舉例而言，遽波器係數= 定如下： 158465.doc •53- 201216207 Κ = M[d (/, i, t) + h{j, i, t -1)] (2a) 另外，可使用以下公式來判定運動歷史輸出h(t):
Kj,U) = d(j,i,t) + (l-K)x -1) (3a) 接下來’可使用當前輸入像素x(t)之亮度來產生明度表 (L)306中的明度索引查找。在—實施例中，明度表可含有 可介於0與1之間且可基於明度索引選擇的衰減因子。可藉 由將第一濾波器係數K乘以明度衰減因子來計算第二遽波 器係數K’ ’如以下方程式所示： (4a) 可接著將K1之判定值用作時間濾波器298的濾波係數。 如上文所論述，時間渡波器298可為2分接頭渡波器。另 外，時間濾波器298可組態為使用先前濾波之圖框的無限 脈衝回應（IIR)濾波器或組態為使用先前原本圖框的有限脈 衝回應（FIR)濾波器。時間濾波器298可使用以下公式使用 當前輪入像素x(t)、參考像素Kt—i)及濾波器係數κ，來計算 遽波輸出像素y(t)(Y〇ut): /, 〇 = r , i, ί -1) + ^' (x(j, U t) - r(j, i, t -1)) (5a) 如上文所論述’可逐像素地執行圖21所示之時間渡波程序 302。在一實施例中，同—運動表M及明度表[可用於所有 158465.doc -54- 201216207 色彩分量（例如，R、（^B)。另外，—些實施例可提供繞 過機制，其中可（諸如）回應於來自控制邏輯84之控制信號 來繞過時間遽波。此外，如下文將關於圖26及圖27論述， 時間濾波器298之一實施例可針對影像資料之每一色彩分 量利用單獨的運動及明度表。 /刀 可蓉於圖23來更好地理解參看圖21及圖22所描述之時間 濾波技術的實施例，圖23根據上文所描述之實施例描繪說 明方法315的流程圖。方法315始於步驟316，在步驟3^ 〇 處，藉由時間濾波系統302接收位於影像資料之當前圖框 之空間位置（j，i)處的當前像素x(t)0在步驟317處，至少部 分地基於來自影像資料之先前圖框（例如，緊接在當前圖 框前的影像圖框）的一或多個並列參考像素（例如， 來判定當前像素X(t)之運動差量值d(t)。用於在步驟Η?處 判定運動差量值d(t)的技術在下文參看圖24被進一步解 釋，且可根據如上文所示之方程式1&來執行。 一旦獲得來自步驟3i7之運動差量值d(t)，隨即可使用該 〇 運動差量值以1)及對應於來自先前圖框之空間位置（jj)的運 動歷史輸入值h(t-i)來判定運動表查找索引，如在步驟318 中所示。另外，儘管未圖示，但一旦已知運動差量值 d(t) ’隨即亦可（例如）藉由使用上文所示之方程式“來判定 對應於當前像素x(t)的運動歷史值h(t)。此後，在步驟319 處，可使用來自步驟318之運動表查找索引自運動表3〇4選 擇第一濾波器係數K。可根據方程式2a來執行運動表查找 索引之判定及第一濾波器係數K自運動表的選擇，如上文 158465.doc •55- 201216207 戶斤示。 接下來，在步驟320處，可自明度表306選擇衰減因子。 舉例而言，明度表3〇6可含有在大約〇與1之間的範圍内之 衰減因子，且可將當前像素x(t)之值用作查找索引而自明 度表306選擇衰減因子。一旦選擇衰減因子，隨即可在步 驟321處使用所選擇之衰減因子及第一濾波器係數K(來自 v驟3 19)來判疋第二渡波器係數κ’，如上文在方程式々a中 所示。接著，在步驟322處，基於第二濾波器係數κ,(來自 步驟320)、並列參考像素“卜丨）之值及當前輸入像素的 值來判定對應於該輸入像素x(t)的時間濾波輸出值y(t)。舉 例而言，在一實施例中，可根據方程式5a來判定輸出值 y(t) ’如上文所示。 參看圖24，根據一實施例更詳細地說明來自方法3丨5的 用於判定運動差量值d(t)之步驟317。詳言之，運動差量值 d(t)之判定可通常對應於上文根據方程式u所描繪的操 作。如圖所示’步驟317可包括子步驟324至327。始於子 步驟324，識別作為當前輸入像素x(t)的具有相同色彩值之 一組三個水平鄰近像素。藉由實例，根據圖22所示之實施 例，影像資料可包括拜耳影像資料，且該三個水平鄰近像 素可包括當前輸入像素χ⑴(313)、在當前輸入像素3丨3之 左側的相同色彩之第二像素312，及在當前輪入像素之 右側的相同色彩之第三像素。 接下來’在子步驟325處，識別對應於該所選擇組之三 個水平鄰近像素312、313及314的來自先前圖框之三個並 158465.doc -56- 201216207 列參考像素308、309及310。使用所選擇之像素312、313 及314以及該三個並列參考像素3〇8、3〇9及31〇，在子步驟 326處判定在該三個所選擇像素312、313及314中之每一者 分別與其對應並列參考像素3〇8、3〇9及31〇之間的差之絕 對值。隨後，在子步驟327處，將來自子步驟326之三個差 的最大值選擇為當前輸入像素x(t)的運動差量值d(t)。如上 文所，述，圖24(其說明在方程式丨3中所示之運動差量值 計算技術）僅意欲提供一實施例。實際上，如上文所論 Ο 述，可使用當前像素定中心於陣列申之相同色彩像素的任 何合適之二維陣列來判定運動差量值（例如，方程式化）。 在圖25中進一步描繪用於將時間濾波應用於影像資料之 技術的另一實施例。舉例而言，因為針對影像資料之不同 色彩分量的信雜比可為不同的，所以可將增益施加至當前 像素，使得當前像素在自運動表3〇4及明度表3〇6選擇運動 及明度值之前增量。藉由施加係色彩相依之各別增益，信 雜比可在不同的色彩分量當中更一致。僅藉由實例，在使 用原始拜耳影像資料之實施中，紅色及藍色色彩通道與綠 色（Gr及Gb)色彩通道相比可通常為更敏感的。因此，藉由 將L田之色彩相依性增益施加至每一經處理像素，在每一 色彩分量之間的信號對雜訊變化可通常減少，藉此尤其減 /重像假衫以及在自動白平衡增益之後跨越不同色一 致性。 5己住此，圖25提供描繪根據此實施例的用於將時間濾波 應用於藉由前端處理單元13G所接收之影像資料之方法似 158465.doc -57- 201216207 =流程圖。始於步驛329’藉由時間渡波系統3〇2接從位於 影像育料之當前圖框之空間位置(j，i}處的當前像素X⑴。在 步驟330處，至少部分地基於來自影像資料之先前圖框（例 如，緊接在當前圖框前的影像圖框）的一或多個並列來考 像素（例如，♦ 1))來狀當前像素χ⑴之運動差量值d⑴。 步驟330可類似於圖23之步驟317，且可利用上 1中所表示的操作。 式 接下來，在步驟331處，可使用運動差量值d(t)、對應於 來自先前圖框之空間位置（Li)(例如，對應於並列參考像素 ♦ 1))的運動歷史輸人值h(t_1}，及與當前像素之色彩相關 聯的增益來判定運動表查找索引。此後，在步驟如處， 可使用在步驟331處所判定之運動表查找索引自運動表3〇4 選擇第一澹波器係數K。僅藉由實例，在一實施例中，滤 波益係數K及運動表查找索引可判定如下·· (2b) K = M[gain[c) x {d(j, /, t) + h(J, i, t -1))] ? 其中M表示運動表，^tgain[e]對應於與#前像素之色 彩相關聯的增益。另外，儘管圖25中未圖示，但應理解， 當前像素之運動歷史輸出值h(t)亦可被判定且可用以將時 間濾波應用於後續影像圖框（例如，下一圖框）的並列像 素。在本實施例中，可使用以下公式來判定當前像素χ⑴ 之運動歷史輸出h(t): (3b) h(j, i, t) = d (J, i, t) + K[h(j, i,t~\)- d{j, i, /)] I58465.doc -58· 201216207 接下來，在步驟333處，可使用基於與當前像素x(t)之色 彩相關聯的增益（gain[c])所判定之明度表查找索引自明度 表306選擇衰減因子。如上文所論述，儲存於明度表中之 衰減因子可具有自大約Oii之範圍。此後，在步驟334 處，可基於衰減因子（來自步驟333)及第一濾波器係數 K(來自步驟332)來計算第二濾波器係數κ，。僅藉由實例， 在一實施例中，第二濾波器係數κ，及明度表查找索引可判 定如下： Ο (4b) 接下來，在步驟335處，基於第二濾波器係數尺，（來自步 驟334)、並列參考像素r(1>l)之值及當前輸入像素χ(〇的值 來判定對應於該輸入像素x(t)的時間濾波輸出值y(t)。舉例 而吕，在一實施例中’輸出值y(t)可判定如下： (5b) y(j, i,t) = x(J, i, t) + K' (r(j, i,t-1)- x(j, i, /)) Ο 繼續至圖26，描繪時間濾波程序336之另一實施例。此 處，可以類似於圖25中所論述之實施例的方式實現時間濾 波程序336，惟如下情形除外：代替將色彩相依性增益（例 如，gain[c])施加至每一輸入像素且使用共用之運動及明 度表，針對每一色彩分量提供單獨的運動及明度表。舉例 而言’如圖26所示，運動表304可包括對應於第一色彩之 運動表304a、對應於第二色彩之運動表304b及對應於第打 色彩的運動表304c，其中η取決於在原始影像資料中存在 158465.doc -59- 201216207 的色如之數目。類似地，明度表3〇6可包括對應於第一色 2月度表3〇6a、對應於第二色彩之明度表306b及對應於 第二色彩的運動表3〇4c。因此，在原始影像資料為拜耳影 像㈣之實施例中，可針對紅色、藍色及綠色色彩分量中 之每一者提供三個運動及明度表。如下文所論述，遽波係 數K及衰減因子之選擇可取決於針對當前色彩（例如，當前 輸入像素之色彩）所選擇的運動及明度表。 在圖27中展示說明用於使用色彩相依性運動及明度表進 仃時間濾波之另一實施例的方法338。應瞭解，可藉由方 法338所使用之各種計算及公式可類似於圖23所示之實施 例，但在針對每一色彩選擇特定運動及明度表之情況下， 或類似於圖25所示的實施例，藉由色彩相依性運動及明度 表之選擇來替換色彩相依性gain[c]的使用。 始於步驟339，藉由時間濾波系統336(圖26)接收位於影 像資料之當前圖框之空間位置⑽處的當前像素训。在步 驟340處，至少部分地基於來自影像資料之先前圖框（例 如，緊接在當前圖框前的影像圖框）的一或多個並列參考 像素（例b ’ r⑹））來判定當前像素χ⑴之運動差量值d⑴。 步驟340可類似於圖23之步驟317，且可利用上文在方程式 1中所示的操作。 接下來，在步驟341處，可使用運動差量值d(t)及對應於 來自先前圖框之空間位置ai)(例如，對應於並列參考像素 r(t-l))的運動歷史輸入值h(t_1}來判定運動表查找索引。此 後，在步驟342處，可基於當前輸入像素之色彩自可用運 158465.doc -60- 201216207 動表（例如，304a、304b、3 04c)中之一者選擇第—濾波器 係數K。舉例而言，一旦識別適當之運動表，隨即可使用 在步驟341中所判定之運動表查找索引來選擇第一遽波器 係數K。
在選擇第一濾波器係數K之後，選擇對應於當前色彩之 明度表’且基於當前像素x(t)之值自所選擇的明度表選擇 衰減因子，如在步驟343處所示。此後，在步驟344處，基 於衰減因子（來自步驟343)及第一濾波器係數κ(步驟342)來 判疋第—;慮波器係數Κ'。接下來，在步驟345處，基於第 一濾波器係數Κ’（來自步驟344)、並列參考像素rQd)之值 及當前輸入像素x(t)的值來判定對應於該輸入像素χ(ί)的時 間濾波輸出值y(t)。儘管圖27所示之技術可能實施而言為 更昂貴的（例如，歸因於儲存額外運動及明度表所需的記 隐體）’但在一些例子中，其可關於重像假影及在自動白 平衡增益之後跨越不同色彩之一致性提供另外的改良。 根據其他實施例，藉由時間濾波器298所提供之時間濾 波程序可利用色彩相依性增益與用於將時間m用於輸 入像素之色彩特定運動及/或明度表的組合。舉例而言， 在個此實施例中，可針對所有色彩分量提供單一運動 表且可基於色彩相依性增益來判定用於自運動表選擇第 慮波係數（κ)的運動表查找索引（例如，如圖25所示，步 驟331至332)，儘官明度表查找索引可能不具有施加至其 之色彩相依性增益，但可用以取決於當前輸人像素之色彩 自多個月度表中的一者選擇亮度衰減因子（例如，如圖27 158465.doc -61· 201216207 所示，步驟343)。或者，在另_實施财，可提供多個運 動表’且運動表查找索引(未施加色彩相依性增益)可用以 自對應於當前輸人像素之色彩的㈣表選擇第—錢係數 (κ)(例如，如圖27所示，步驟342)，同時可針對ς有色彩 分量提供單一明度表，且其中可基於色彩相依性增益來判 定用於選擇亮度衰減因子的明度表查找索例如，如圖
2击5所示，步驟333至334)。此外，在利用拜耳彩色遽光片 陣列之-實施射，可針對紅色（R)及藍色⑻色彩分量令 之每-者提供—運動表及/或明度表，同時可針對兩個綠 色色彩分量（Gr及Gb)提供共同的運動表及/或明产表。
時間滤波器298之輸出可隨後發送至分格化儲存補償據 波器（BCF)300，>格化儲存補償遽波器（bcf⑽可經組態 以處理影像像素以補償歸因於藉由該（等）影像感測器9㈣ _進行之分格化儲存㈣起㈣彩縣㈣隸置放⑽ 如，不均W間分佈），使得可正確地操作取決於色彩樣 本之線性置放的在ISP管道邏輯82巾之㈣影像處理操作 (例如’解馬赛克等）。舉例而t，現參看_，描繪拜耳 影像資料之全解析度樣本346。此可表示藉由純至Up前 端處理邏輯80之影像感測㈣a(或狗料獲的全解析度 樣本原始影像資料。 X 應瞭解，在某些影像俘獲條件下，將藉由影像感測器 9〇a所俘獲之全解析度影像f料發送至isp電路π以供處理 可能並非實際的。舉例而言，當俘獲視訊資料時，為了自 人眼之觀點保留流體移動影像之外觀，可能需要至少大約 158465.doc -62- 201216207 30個圖框/秒的圖框速率。然而，若全解析度樣本之每一 圖框中所含有的像素資料之量超過在以30個圖框/秒取樣 時ISP電路32的處理能力，則分格化儲存補償渡波可結合 藉由影像感測器90a進行之分格化儲存來應用以減少影像 信號的解析度同時亦改良信雜比。舉例而言，如上文所論 述，可應用諸如2x2分格化儲存之各種分格化儲存技術來 藉由平均化原始圖框278之作用中區域28〇中之周圍像素的 值來產生「經分格化儲存」原始影像像素。 〇 參看圖29，根據一實施例說明影像感測器90a之實施 例，其可經組態以分格化儲存圖28之全解析度影像資料 346以產生圖30所示的對應之經分格化儲存原始影像資料 358。如圖所示，影像感測器9〇a可俘獲全解析度原始影像 資料346。分格化儲存邏輯357可經組態以將分格化儲存應 用於全解析度原始影像資料346以產生經分格化儲存原始 影像資料358 ,經分格化儲存原始影像資料358可使用感測 器介面94a而提供至ISP前端處理邏輯80，感測器介面
f J 94a(如上文所論述）可為SMIA介面或任何其他合適並列或 串列相機介面。 如圖30所說明，分格化儲存邏輯357可將2x2分格化儲存 應用於全解析度原始影像資料346。舉例而言，關於經分 格化儲存影像資料358 ’像素350、352、3W及356可形成 拜耳圖案’且可藉由平均化來自全解析度原始影像資料 346之像素的值予以判定。舉例而言’參看圖28及圖3〇兩 者，經分格化儲存Gr像素350可被判定為全解析度Gr像素 158465.doc -63- 201216207 3 50a-3 50d之平均值或均值。類似地，經分格化儲存r像素 352可被判定為全解析度r像素352a_352d之平均值，經分 格化儲存B像素354可被判定為全解析度B像素354a-354d之 平均值’且經分格化儲存Gb像素356可被判定為全解析度
Gb像素356a-3 56d之平均值。因此，在本實施例中，2x2分 格化儲存可提供一組四個全解析度像素，該等像素包括經 平均化以導出位於藉由該組四個全解析度像素形成之正方 形之中心處之經分格化儲存像素的左上部（例如，35〇&)、 右上部（例如，350b)、左下部（例如，35〇c)及右下部（例 如，350d)像素。因此，圖3〇所示之經分格化儲存拜耳區 塊348含有四個「超級像素」（superpixel)，該等超級像素 表示圖28之拜耳區塊348a-348d中所含有的16個像素。 除了減少空間解析度之外，分格化儲存亦提供減少影像 信號中之雜訊的附加優點。舉例而言，無論何時將影像感 測例如’90a)曝光至光信號’皆可存在與影像相關聯的 :-量之雜訊’諸如，光子雜訊。此雜訊可為隨機或系統 莊’且其亦可來自多個來源。因此’可依據信雜比來表達 藉由影像感測器俘獲之影像中所含有的資訊之量。舉例而 / ’母當影像藉由影像感測㈣啡獲且傳送至處理電路 (睹如’ ISP電路32)時，在像辛值 气，U 轉京值中可存在某種程度之雜 此係因為讀取及傳送影像資料之妒由η + 雜m 豕貝料之耘序固有地將「讀取 雜讯」弓丨入至影像信號中。此「 通H 買取雜汛」可為隨機的且 、常為不可避免的。藉由使用四個像 減少雜i ~ 素之平均值，通常可 雜讯（例如，光子雜訊）而不管雜訊之來源。
158465，dOC -64· 201216207
因此，當考慮圖28之全解析度影像資料346時，每一拜 耳圖案（2x2區塊）348a_348d含有4個像素，該等像素中之每 -者含有-信號及雜訊分量。若單獨地讀取在(例如)拜耳 區，348a中之母-像素，則存在四個信號分量及四個雜訊 量」而藉由應用分格化儲存（如圖28及圖3〇所示）以 使得四個像素（例如，隱、㈣b、350c、350d)可藉由經 分格化儲存影像資料中之單—像素（例如，35())表示，可將 藉由全解析度影像資料346中之四個像素佔據的相同面積 漬取為具有雜訊分量之僅-個例子的單-像素，由此改良 信雜比。 此外’儘管本實施例將圖29之分格化儲存邏輯357描繪 為經組態以應用2X2分格化儲存程序，但應瞭解，分格化 儲存邏輯357可經組態以應用任何合適類型的分格化儲存 程序，諸如’ 3x3分格化儲存、垂直分格化儲存、水平分 格化儲存，等等。在―些實施例中，影像感測㈣&可經 組態以在影像俘獲㈣期間於*同分格化儲存模式之間選 擇。另外’在其他實施例中，影像感測器9〇a亦可經組能 以應用可被稱為「跳過」（skipping)之技術，纟中代㈣ 均像素樣本，邏輯357自全解析度資料346僅選擇某些像素 (例如，每隔-個像素、每隔3個像素，等等）以輪出—至财 :端：以供處理。此外’儘管圖29中僅展示影像感測器 a’但應瞭解’可以類似方式實施影像感測器9扑。 亦如圖30所描綠，分格化儲存程序之一效應在於··經分 格化儲存像素的空間取樣可能並未相等地間隔。在一些系 158465.doc -65- 201216207 、先中此空間失真導致頻疊（例如，鋸齒狀邊緣），其通常 為不合需要的。此外’因為ISP管道邏輯82中之某些影像 處理步驟可取決於色彩樣本之線性置放以便正確地操作， 所以可應用分格化儲存補償濾波器（bcf)3〇〇以執行經分格 化:存像素的再取樣及重新定位，使得經分格化儲存像素 在空間上均勻地分佈。亦即，BCF 300基本上藉由再取樣 樣本（例如，像素）之位置而補償不均勻空間分佈（例如，圖 =所示）。舉例而言’圖31說明在藉由BCF 3〇〇處理之後經 分格化儲存影像資料36〇的經再取樣部分，其中含有均勻 :佈之經再取樣像素362、363 ' 364及365的拜耳區塊加 分別對應於來自W3G之經分格化儲㈣像資料⑽的經經 分格化儲存像素35〇、352、354及356。另夕卜，在利用跳過 (例如’代替分格化館存）之實施例中，如上文所提及，圖 〇所不之工間失真可能不存在。在此狀況下，^⑽可 充當低通據波器以減少可在藉由影像感測器術使用跳過 時引起的假影（例如，頻疊）。 圖32展示根據—實施例的分格化儲存補償遽波器綱之 方塊圖。BCF 300可包括分格化儲存補償邏輯遍，分格化 儲存補償邏輯366可處理經分格化儲存像素州以分別使用 水平按比例縮放邏輯368及垂直按比例縮放邏輯37〇來應用 水平及垂直按比例縮放’以再取樣及重新定位經分格化儲 存像素358 ’使得其係以空間均勻分佈而配置，如圖3】所 示。在一實施例中，藉由BCF 3〇〇執行之該（等）按比例縮 放操作可使用水平及垂直多分接頭多相遽波予以執行。舉 158465.doc -66 - 201216207 例而㊁，濾波程序可包括自輸入來源影像資料（例如，藉 由影像感測器90a提供之經分格化儲存影像資料Μ”選擇 適當像素、將所選擇像素中之每—者乘以—渡波係數，、及 對所得值進行加總以在所要目的地處形成輸出像素。 Ο
用於按比例縮放操作中之像素的選擇（其可包括相同色 彩之中心像素及周圍相鄰像素）可使用單獨微分分析器 予以判定，-個微分分析器372用於垂直按比例縮放且一 個微分分析器372用於水平按比例縮放。在所描繪實施例 中:微分分析器372可為數位微分分析器（dda)，且可經 組態以在垂直及水平方向上於按比例縮放操作期間控制當 前輸出像素位置。在本實施财，第—dda(被稱為372&) 在水平按比例縮放期間用於所有色彩分量，且第二 DDA(被稱為372b)在垂直按比例縮放期間用於所有色彩分 量。僅藉由實例’可將DDA 372提供作為含有2補數定點 數之32位元資料暫存器，該數在整數部分中具有16個位元 且在小數中具有16個位元。16位元整數部分可用以判定輸 出像素之當前位置。DDA 372之小數部分可用以判定當前 索引或階段，其可基於當前DDA位置之像素間小數位置 (例如，對應於輸出像素之空間位置)。索引或階段可用以 自H皮器係數表374選擇一組適當係數。另夕卜，可使 用相同色彩像素而每色彩分量地進行較。⑽，可不僅 基於當前DDA位置之階段而且基於當前像素之色彩來選擇 遽波係數。在-實施例t，8個階段可存在於每—輸入像 、之門且因此，垂直及水平按比例縮放組件可利用8深 158465.doc •67- 201216207 度係數表’使得16位元小數部分的高位序3個位元用以表 達當月ό階段或索引。因此，如本文所使用，術語「原始影 像」資料或其類似者應被理解為指代藉由單一感測器（彩 色濾光片陣列圖案（例如，拜耳）上覆於該感測器）獲取之多 色彩影像資料，彼等資料在一個平面中提供多個色彩分 里。在另一實施例中，單獨DDA可用於每一色彩分量。舉 例而έ，在此等實施例中，BCF 3〇〇可自原始影像資料提 取R、B、Gr及Gb分量，且處理每一分量作為單獨平面。 在操作中，水平及垂直按比例縮放可包括初始化 372,及使用DDA 372之整數及小數部分來執行多分接頭 多相濾波。儘管單獨地且藉由單獨DDA執行，但水平及垂 直按比例縮放操作係以類似方式執行。步進值或步長（用 於水平按比例縮放之DDAStepX及用於垂直按比例縮放之 DDAStepY)判定在判定每一輸出像素之後ΜΑ值 (謝rDDA)累加之i，且使用下—咖_值來重複多分接 頭多相遽波。舉例而言’若步進值小於i，則按比例放大 影像’且若步進值大W，則按比例縮小影像。若步進值 等於1，％無按比例縮放發生。此外，應注意，相同或不 同步長可用於水平及垂直按比例縮放。 輸出像素係藉由BCF 300以與輸入像素相同之次序而羞 生（例如，使用拜耳圖孝）。★ 圖荼）在本貫施例中，輸入像素可基 於，、排序*分類為偶數或奇數。舉例㈣，參相&說 明基於各種DDAStep值（列376_38G)之輸入像素位郎 及對應輸出像素位置之圖形騎。在此實例中，所描緣列 158465.doc -68- 201216207 表不原始拜耳影像資料中之一列紅色（R)及綠色（Gr)像素。 出於水平濾波目的，列375中在位置〇 〇處之紅色像素可被 認為偶數像素，列375中在位置1.〇處之綠色像素可被認為 奇數像素，等等。對於輸出像素位置，可基於DDA 372之 小數部分（下部16個位元）中的最低有效位元來判定偶數及 奇數像素。舉例而言，在假設丨25之DDAStep的情況下， 如列377所示，最低有效位元對應於DDA之位元丨*，此係 因為此位元提供0.25之解析度。因此，在dda位置 f) (currDDA)0.0處之紅色輸出像素可被認為偶數像素（最低有 效位元（位元14)為〇)，在currDDA i 〇處之綠色輸出像素（位 兀14為1}，等等。此外，儘管關於在水平方向上之濾波（使 用DDAStepX)來論述圖33，但應理解，可關於垂直濾波 (使用DDAStepY)以相同方式應用偶數及奇數輸入及輸出 像素的判定。在其他實施例中，DDA 372亦可用以追蹤輸 入像素之位置（例如，而非追蹤所要輸出像素位置）。此 外，應瞭解，可將DDAStepX及DDAStepY設定為相同或不 〇 同值。此外，在假設使用拜耳圖案的情況下，應注意，取 決於（例如）哪一像素位於作用中區域28〇内之轉角處，藉由 BCF 3 00使用之開始像素可為Gr、Gb、像素中的任一 者。 5己住此’偶數/奇數輸入像素用以分別產生偶數/奇數輸 出像素。在假定輸出像素位置於偶數與奇數位置之間交替 的情況下，藉由分別將DDA捨位至偶數或奇數輸出像素位 置之最接近的偶數或奇數輸入像素位置（基於DDAStepX) 158465.doc -69- 201216207 來判定用於濾波目的之中心來源輸入像素位置（在本文中 被稱為「currPixel」）。在DDA 372a經組態以使用16個位 元來表示整數且使用16個位元來表示小數之實施例中，可 使用下文之方程式6a及6b針對偶數及奇數currDDA位置來 判定 currPixel : 可基於下式之位元[31:16]來判定偶數輸出像素位置： (currDDA+1.0) & OxFFFE.OOOO (6a) 可基於下式之位元[31:16]來判定奇數輸出像素位置： (currDDA) | 0x0001.0000 (6b) 基本上’以上方程式呈現捨位操作，藉以，將偶數及奇數 輸出像素位置（如藉由currDDA所判定）分別針對currpixel 之選擇而捨位至最近的偶數及奇數輸入像素位置。 另外，亦可在每一 currDDA位置處判定當前索引或階段 (currlndex)。如上文所論述，索引或階段值表示輸出像素 位置相對於輸入像素位置之小數像素間位置。舉例而言， 在一實施例中，可在每一輸入像素位置之間界定8個階 段。舉例而言，再次參看圖33，8個索引值〇_7提供於在位 置〇_〇處之第一紅色輸入像素與在位置2 0處之下一紅色輸 入像素之間。類似地，8個索引值〇_7提供於在位置丨〇處之 第-綠色輸入像素與在位置3·〇處之下一綠色輸入像素之 間。在-實施例中，可分別針對偶數及奇數輸出像素位置 根據下文之方程式〜及几來判定cimIndex值： 158465.doc •70- 201216207 可基於下式之位元[16:14]來判定偶數輸出像素位置： (currDDA+0.125) (7a) 可基於下式之位元[16:14]來判定奇數輸出像素位置： (currDDA+1.125) (7b) 對於奇數位置’額外的1像素移位等效於將為四之位移加 至用於奇數輸出像素位置的係數索引，以考慮不同色彩分 量之間相對於DDA 372的索引位移。 一旦已在特定currDDA位置處判定currpixe丨及 currlndex，濾、波程序隨即可基於currpjxei(所選擇之中心輪 入像素）來選擇一或多個相鄰的相同色彩像素。藉由實 例，在水平按比例縮放邏輯368包括5分接頭多相濾波器且 垂直按比例縮放邏輯3 70包括3分接頭多相濾波器之實施例 中了針對水平;慮波選擇在水平方向上於currPixel之每一 側上的兩個相同色彩像素（例如，_2、]、〇、+1、+2)，且 了針對垂直/慮波選擇在垂直方向上於之每一側上 的一個相同色彩像素（例如，」、〇、+1)。此外，currIndex 可用作選擇索引以自濾波器係數表374選擇適當濾波係數 以應用於所選擇像素。舉例而言，在使用5分接頭水平/3 分接頭垂直濾波實施例的情況下，可針對水平濾波提供五 個8深度表，且可針對垂直濾波提供三個8深度表。儘管被 說明為BCF 300之部分，但應瞭解，在某些實施例中，減 波器係數表37何儲存於與BCF爛實體地分離之記憶體 (諸如，記憶體108)中。 158465.doc -71 · 201216207 在更詳細地論述水平及垂直按比例縮放操作之前，下文 之表4展示如使用不同DDAStep值（例如，可應用於 DDAStepX或DDAStepY)基於各種DDA位置所判定之 currPixel 及 currlndex值之實例。 輸出 像素 (偶數或 奇數） DDA Step 1.25 DDA Step 1.5 DDA Step 1.75 DDA Step 2.0 curr DDA curr Index curr Pixel curr DDA curr Index curr Pixel curr DDA curr Index curr Pixel curr DDA curr Index curr Pixel 0 0.0 0 0 0.0 0 0 0.0 0 0 0.0 0 0 1 1.25 1 1 1.5 2 1 1.75 3 1 2 4 3 0 2.5 2 2 3 4 4 3.5 6 4 4 0 4 1 3.75 3 3 4.5 6 5 5.25 1 5 6 4 7 0 5 4 6 6 ❶ 6 7 4 8 8 0 8 1 6.25 5 7 7.5 2 7 8.75 7 9 10 4 11 0 7.5 6 8 9 4 10 10.5 2 10 12 0 12 1 8.75 7 9 10.5 6 11 12.25 5 13 14 4 15 0 10 0 10 12 0 12 14 0 14 16 0 16 1 11.25 1 11 13.5 2 13 15.75 3 15 18 4 19 0 12.5 2 12 15 4 16 17-5 6 18 20 0 20 1 13.75 3 13 16.5 6 17 19.25 1 19 22 4 23 0 15 4 16 18 0 18 21 4 22 24 0 24 1 16.25 5 17 19.5 2 19 22.75 7 23 26 4 27 0 17.5 6 18 21 4 22 24.5 2 24 28 0 28 1 18.75 7 19 22.5 6 23 26.25 5 27 30 4 31 0 20 0 20 24 0 24 28 0 28 32 0 32 表4 :分格化儲存補償濾波器-currPixe丨及currIndex計算之DDA實例 為了提供一實例’令吾人假設選擇1.5之DDA步長 (DDAStep)(圖 33 之列 378)，其中當前 DDA位置（currDDA) 始於〇，其指示偶數輸出像素位置。為了判定currPixel， 可應用方程式6a ’如下文所示： currDDA=〇-〇(偶數） 〇〇〇〇 0000 0000 0001.0000 0000 0000 0000 (currDDA+1.0) 158465.doc -72- 201216207 (AND) 1111 1111 1111 1110.0000 0000 0000 0000 (OxFFFE.OOOO) = 0000 0000 0000 0000.0000 0000 0000 0000 currPixel(被判定為結果之位元[31:16])=0 ; 因此，在currDDA位置0.0(列378)處，用於濾波之來源輸 入中心像素對應於在列375之位置0·0處的紅色輸入像 素。 為了判定在偶數currDDA 0.0處之currlndex，可應用方 程式7a，如下文所示： 〇 currDDA=0.0(偶數） 〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇.〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇 (currDDA) + 〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇.〇〇10 0000 〇〇〇〇 〇〇〇〇 (0.125) = 0000 0000 0000 0000.0010 0000 0000 0000 currlndex(被判定為結果之位元[16:14])=[000]=0 ; 因此，在currDDA位置0.0(列378)處，〇之currlndex值可用 Q 以自濾波器係數表374選擇濾波係數。 因此，可基於在currDDA 0.0處所判定之currPixel及 currlndex值來應用濾、波（其可取決於DDAStep係在X(水平） 抑或Y(垂直）方向上而可為垂直或水平的）’且使DDA 372 累加 DDAStep(1.5)，且下一 currPixel及 currlndex值得以判 定。舉例而言，在下一 currDDA位置1·5(奇數位置）處，可 使用方程式6b判定currPixel，如下： currDDA=0.0(奇數） 158465.doc -73- 201216207 0000 0000 0000 0001 . 1000 0000 0000 0000 (currDDA) (OR) 0000 0000 0000 0001 . 0000 0000 0000 0000 (0x0001.0000) =0000 0000 0000 0001 . 1000 0000 0000 0000 〇11〇*?1乂61(被判定為結果之位元[31:16])=1; 因此，在currDDA位置1.5(列378)處，用於濾波之來源輸 入中心像素對應於在列375之位置1.0處的綠色輸入像 素。 此外，可使用方程式7b來判定在奇數currDDA 1.5處之 一 () currlndex，如下文所示. currDDA=l .5(奇數） 0000 0000 0000 0001.1000 0000 0000 0000 (currDDA) + 0000 0000 0000 0001 . 0010 0000 0000 0000 (1.125) = 0000 0000 0000 0010.1010 0000 0000 0000 currlndex(被判定為結果之位元[16:14])=[010]=2 ; 因此，在currDDA位置1.5(列378)處，2之currlndex值可 用以自濾波器係數表374選擇適當濾波係數。可由此使用 此等currPixel及currlndex值來應用滤波（其可取決於 DDAStep係在X(水平）抑或Y(垂直）方向上而可為垂直或水 平的）。 接下來，再次使〇0八3 72累加00八816卩（1.5)，從而產生 3.0之currDDA值。可使用方程式6a來判定對應於currDDA 3.0之currPixel，如下文所示： 158465.doc -74- 201216207 currDDA=3.0(偶數） 0000 0000 0000 0100.0000 0000 0000 0000 (cuitDDA+1.0) (AND) 1111 1111 1111 1110.0000 0000 0000 0000 (OxFFFE.OOOO) = 0000 0000 0000 0100.0000 0000 0000 0000 currPixel(被判定為結果之位元[3 1:16])=4 ; 因此，在currDDA位置3.0(列378)處，用於濾波之來源輸 入中心像素對應於在列375之位置4.0處的紅色輸入像 素。 接下來，可使用方程式7a來判定在偶數currDDA 3.0處 之currlndex，如下文所示： currDDA=3.0(偶數） 0000 0000 0000 0011.0000 0000 0000 0000 (currDDA) + 〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇.〇〇10 0000 0000 0000 (0.125) = 0000 0000 0000 0011.0010 0000 0000 0000 。11〇>111(16\(被判定為結果之位元[16:14])=[100]=4; 因此，在currDDA位置3.0(列378)處，4之currlndex值可用 以自濾波器係數表374選擇適當濾波係數。應瞭解，DDA 372可繼續針對每一輸出像素而累加DDAStep，且可使用 針對每一 currDDA值所判定之currPixel及currlndex來應用 濾波（其可取決於DDAStep係在X(水平）抑或Y(垂直）方向上 而可為垂直或水平的）。 如上文所論述，currlndex可用作選擇索引以自滤波器係 158465.doc -75· 201216207 數表374選擇適當濾波係數以應用於所選擇像素。濾波程 序可包括獲知圍繞中心像素（currpixel)之來源像素值、將 所選擇像素中之每-者乘以基於eun<Index自遽波器係數表 374所選擇之適當濾波係數，及對結果求和以獲得在對應 於currDDA之位置處輸出像素之值。此外，因為本實關 在相同色彩像素之間利用8個階段，所以在使用5分接頭水 平/3分接頭垂直濾波實施例的情況下，可針對水平濾波提 供五個8深度表，且可針對垂直濾波提供三個8深度表。在 一實施例中，係數表輸入項中之每一者可包括具有3個整 數位兀及13個小數位元之16位元2補數定點數。 此外，在假設拜耳影像圖案的情況下，在一實施例中， 垂直按比例縮放分量可包括四個單獨之3分接頭多相濾波 器，每—色彩分量（Gr、R、B&Gb)一個濾波器。3分接頭 濾波器中之每一者可使用DDA 372以控制當前中心像素之 步進及係數之索引，如上文所描述。類似地水平按比例 縮放分量可包括四個單獨之5分接頭多相濾波器，每一色 彩分董（Gr、R、b及Gb) 一個濾波器。5分接頭濾波器中之 每一者可使用DDA 372以控制當前中心像素之步進（例如， 經由DDAStep)及係數之索引。然而，應理解，在其他實施 例中，可藉由水平及垂直純量利用更少或更多的分接頭。 對於邊界狀況，用於水平及垂直濾波程序中之像素可取 決於當前DDA位置（currDDA)相對於圖框界限（例如，藉由 圖19中之作用中區域28〇界定的界限）之關係。舉例而言， 在水平濾波中，若currDDA位置與中心輸入像素之位置 158465.doc •76· 201216207 (SrcX)及圖框之寬度（SrcWidth)(例如，圖19之作用中區域 280的寬度290)相比指示DDA 372接近於界限’使得不存在 足夠像素來執行5分接頭濾波，則可重複相同色彩之輸入 界限像素。舉例而言，若所選擇之中心輸入像素係在圖框 之左侧邊緣處，則中心像素可針對水平濾波被複製兩次。 若中心輸入像素靠近圖框之左側邊緣，使得僅一個像素在 中心輸入像素與左側邊緣之間可用，則出於水平濾波目 的，該一個可用像素被複製，以便將兩個像素值提供至中 〇 心輸入像素之左侧。此外，水平按比例縮放邏輯3 6 8可經 組態以使得輸入像素（包括原本像素及經複製像素）之數目 不能超過輸入寬度。此可表達如下：
StartX=(((DDAInitX+0x0001.0000) & 0xFFFE.0000)»16) EndX=(((DDAInitX+DDAStepX * (BCFOutWidth-1)) | 0x0001.0000)»16) EndX-StartX <=SrcWidth-1 其中，DDAInitX表示DDA 372之初始位置，DDAStepX表 示在水平方向上之DDA步進值，且BCFOutWidth表示藉由 BCF 300輸出之圖框的寬度。 對於垂直濾波，若currDDA位置與中心輸入像素之位置 (SrcY)及圖框之寬度（SrcHeight)(例如，圖19之作用中區域 280的寬度290)相比指示DDA 372接近於界限，使得不存在 足夠像素來執行3分接頭濾波，則可重複輸入界限像素。 此外，垂直按比例縮放邏輯370可經組態以使得輸入像素 (包括原本像素及經複製像素）之數目不能超過輸入高度。 158465.doc -77- 201216207 此可表達如下：
StartY=(((DDAInitY+OxOOO 1.0000) & 0xFFFE.0000)»16) EndY=(((DDAInitY+DDAStepY * (BCFOutHeight-1)) | 0x0001.0000)» 16) EndY-StartY <=SrcHeight-l 其中，DDAInitY表示DDA 372之初始位置，DDAStepY表 示在垂直方向上之DDA步進值，且BCFOutHeight表示藉由 BCF 3 00輸出之圖框的寬度。 現參看圖34，描繪根據一實施例的用於將分格化儲存補 償濾波應用於藉由前端像素處理單元130所接收之影像資 料之方法3 82的流程圖。應瞭解，圖34所說明之方法3 82可 應用於垂直及水平按比例縮放兩者。始於步驟383，初始 化DDA 3 72，且判定DDA步進值（其可對應於用於水平按比 例縮放之DDAStepX及用於垂直按比例縮放的 DDAStepY)。接下來，在步驟384處，基於DDAStep判定當 前DDA位置（currDDA)。如上文所論述，currDDA可對應於 輸出像素位置。使用currDDA，方法382可自可用於分格化 儲存補償濾波之輸入像素資料判定中心像素（currPixel)以 判定在currDDA處的對應輸出值，如在步驟3 85處所指示。 隨後，在步驟386處，可基於currDDA相對於輸入像素之小 數像素間位置（例如，圖3 3之列3 75)來判定對應於currDDA 的索引（currlndex)。藉由實例，在DDA包括16個整數位元 及16個小數位元之實施例中，可根據方程式6a及6b判定 currPixel，且可根據方程式7a及7b判定currlndex，如上文 158465.doc -78· 201216207 所示。儘管16位元整數/16位元小數組態在本文中描述為 貫例，但應瞭解，可根據本發明技術利用DDA 3 Μ的其 他組態。藉由實例，DDA 3V2之其他實施例可經組態以= 括12位元整數部分及2〇位元小數部分、14位元整數部分及 18位元小數部分，等等。 一旦判定currPixel及currIndex，隨即可針對多分接頭濾 波選擇圍繞currPixel的相同色彩之來源像素，如藉由步驟 387所指示◎舉例而言，如上文所論述，一實施例可在水 平方向上利用5分接頭多相滤波（例如，在currPixel之每一 侧上選擇2個相同色彩像素），且可在垂直方向上利用3分 接頭多相濾波（例如，在currPixel之每一側上選擇1個相同 色彩像素）。接下來，在步驟388處，一旦選擇來源像素， 隨即可基於currIndex自BCF 3 00之濾波器係數表374選擇濾 波係數。 此後，在步驟389處，可將濾波應用於來源像素，以判 定對應於藉由currDDA所表示之位置的輸出像素之值。舉 〇 例而言，在一實施例中，來源像素可乘以其各別濾波係 數’且結果可被求和以獲得輸出像素值。在步驟389處應 用濾波之方向可取決於DDAStep係在X(水平）抑或γ(垂直） 方向上而可為垂直或水平的。最終，在步驟263處，在步 驟390處使DDA 372累加DDAStep，且方法382返回至步驟 3 84，藉以，使用本文所論述之分格化儲存補償濾波技術 來判定下一輸出像素值。 參看圖35，根據一實施例更詳細地說明來自方法382的 158465.doc -79- 201216207 用於判定currPixel之步驟385。舉例而言，步驟385可包括 判定對應於currDDA(來自步驟384)之輸出像素位置係偶數 抑或奇數的子步驟392。如上文所論述，可基於DDAStep 基於currDDA之最低有效位元判定偶數或奇數輸出像素。 舉例而言，在1.25之DDAStep的情況下，1.25之currDDA值 可判定為奇數，此係因為最低有效位元（對應於DDA 3 72之 小數部分的位元14)具有值1。針對2.5之currDDA值，位元 14為0，由此指示偶數輸出像素位置。 在決策邏輯393處，進行關於對應於currDDA之輸出像 素位置係偶數抑或奇數之判定。若輸出像素為偶數，則決 策邏輯3 93繼續至子步驟3 94，其中藉由使currDDA值累加1 且將結果捨位至最近的偶數輸入像素位置而判定 currPixel，如藉由上文之方程式6a所表示。若輸出像素為 奇數，則決策邏輯393繼續至子步驟395，其中藉由將 currDDA值捨位至最近的奇數輸入像素位置而判定 currPixel，如藉由上文之方程式6b所表示。可接著將 currPixel值應用於方法382之步驟387以選擇用於濾波的來 源像素，如上文所論述。 亦參看圖36，根據一實施例更詳細地說明來自方法382 的用於判定currlndex之步驟3 86。舉例而言，步驟386可包 括判定對應於currDDA(來自步驟384)之輸出像素位置係偶 數抑或奇數的子步驟396。可以與圖35之步驟392類似之方 式執行此判定。在決策邏輯397處，進行關於對應於 currDDA之輸出像素位置係偶數抑或奇數之判定。若輸出 158465.doc •80· 201216207 像素係偶數，則決策邏輯397繼續至子步驟398，其中藉由 使(；11打00人值累加一個索引步進從而基於00八372之最低 位序整數位元及兩個最高位序小數位元判定currlndex來判 定currlndex。舉例而言，在8個階段提供於每一相同色彩 像素之間且DDA包括16個整數位元及16個小數位元之實施 例中，一個索引步進可對應於0.125，且currlndex可基於 累加0.125之currDDA值的位元[1 6:14]來判定（例如，方程 式7a)。若輸出像素係奇數，則決策邏輯397繼續至子步驟 〇 399，其中藉由使currDDA值累加一個索引步進及一個像素 移位且基於DDA 372之最低位序整數位元及兩個最高位序 小數位元判定currlndex來判定currlndex。因此 '，在8個階 段提供於每一相同色彩像素之間且DDA包括1 6個整數位元 及1 6個小數位元之實施例中，一個索引步進可對應於 0.125，一個像素移位可對應於1.0(至下一相同色彩像素的 8個索引步進之移位），且currlndex可基於累加1.125之 currDD A值的位元[16:14]來判定（例如，方程式7b)。 〇 儘管當前所說明之實施例提供BCF 300作為前端像素處 理單元130之組件，但其他實施例可將BCF 300併入至ISP 管道82之原始影像資料處理管線中，如下文進一步論述， ISP管道82可包括有缺陷像素偵測/校正邏輯、增益/位移/ 補償區塊、雜訊減少邏輯、透鏡遮光校正邏輯及解馬赛克 邏輯。此外，在前述有缺陷像素偵測/校正邏輯、增益/位 移/補償區塊、雜訊減少邏輯、透鏡遮光校正邏輯並不依 賴於像素之線性置放的實施例中，BCF 300可併有解馬赛 158465.doc -81 · 201216207 克邏輯以執行分格化儲存補償濾波且在解馬赛克之前重新 定位像素，此係因為解馬賽克通常依賴於像素的均勻空間 定位。舉例而言，在一實施例中，BCF 300可併入於感測 器輸入與解馬賽克邏輯之間的任何處，其中時間濾波及/ 或有缺陷像素偵測/校正在分格化儲存補償之前應用於原 始影像資料。 如上文所論述’ BCF 300之輸出（其可為具有空間均勻分 佈之影像資料（例如，圖31之樣本360)的輸出 FEProcOut(109))可轉遞至ISP管道處理邏輯82以供另外處 理。然而，在將此論述之焦點移至Isp管道處理邏輯82之 前’將首先提供可藉由可實施於ISp前端邏輯80中之統計 處理單元（例如’ 122及124)所提供的各種功能性之更詳細 描述。 返回參考統計處理單元12〇及122之一般描述，此等單元 可經組態以收集關於俘獲且提供原始影像信號（sif0&sifl) 之衫像感測器的各種統計，諸如與自動曝光、自動白平 衡、自動聚焦、閃光偵測、黑階補償及透鏡遮光校正等等 相關的統計。在進行此時，統計處理單元12〇及122可首先 將一或多種影像處理操作應用於其各別輸入信號Sif〇(來自 SensorO)及 Sifl(來自 Sens〇rl)。 舉例而言’參看圖37 ’根據一實施例說明與 Sensor0(90a)相關聯之統計處理單元ι2〇的更詳細方塊圖視 圖。如圖所示’統計處理單元12〇可包括以下功能區塊： 有缺陷像素偵測及校正邏輯46〇、黑階補償（BLC)邏輯 158465.doc •82- 201216207 462、透鏡遮光校正邏輯464、逆ΒΙχ邏輯466及統計收集 邏輯468。下文將論述此等功能區塊中之每一者。此外， 應理解，與Sensorl(90b)相關聯之統計處理單元122可以類 似方式實施。 Ο ❹ 最初，選擇邏輯124之輸出（例如，Sif〇4SifIn〇)係藉由 前端有缺陷像素校正邏輯460接收。應瞭解，「有缺陷像 素」可被理解為指代在該（等）影像感測器9〇内的未能準確 地感測光位準的成像像素。有缺陷像素可歸於多個因素， 且可包括「熱」（錢漏）像素、「卡點（stuck)」像素及「無 作用像素」。熱」像素通常表現為亮於在相同空間位置處 提供相>同量之光的無缺陷像素。熱像素可歸因於重設失效 及/或m而產生。舉例而言，熱像素可相對於無缺陷 像素展現高於正常的電荷浪漏，且由此可表現為亮於無缺 陷像素。另外，「無作用」及「卡點」像素可為在製造及/ 或組裝程序期間污染影像感測器之雜質(諸如，灰塵或其 他追縱材料）的結果，其可引起某些有缺陷像素暗於或亮 於無缺陷像素，或可引起有缺陷像素固定於特定值而不管 其實際上所曝光至之氺的旦 之先的里°另外，無仙及卡點像素亦 ΰ在影像感測器之操作期間發生的電路失 素可表現為始終接通(例如，完全充電丄由 表見為更㈣’而無作用像素表現為始終斷開。 Ρ月』端邏輯8Gt之有缺陷像素㈣ 彻可在有缺陷像素在統計收集（例如，468)中(被〇 = 校正(例如’替換有缺陷像素幻有缺陷像素.在 158465.doc •83· 201216207 二==彩分量(例如，拜耳圖案之R、—) 提供動態缺陷校:像。通常，前端DPDC邏輯46〇可 同 、、中有缺陷像素之位置係基於使用相 理解算的方向性梯度而自動地判定。應 、Bi像素特性化為有缺陷可取決於相鄰像素 二==^缺陷可為「動態的」，實 色來或… 卡點像素之位置係在較亮之 5 :'、、主導之當前影像區域中，則該卡點像素可於 被:見為有缺陷像素。相反地，若卡點像素係在,… 二L二為主導的當前影像區域中，則該卡點像素可在 =DPDC邏輯偏處理期間識別為有缺陷像素且相應地校 -或多個\輯46G可在當前像素之每—側上利用相同色彩的 一或多個水平相鄰像素，以使用像素至像素 =:是否有缺陷。若當前像素被識別為有缺::； 鄰像素之值來替換有缺陷像素的值。舉例而 种，在原始圖框278(圖19)邊界内部 色彩的五個水平相鄰像素被使用，其中該五個水平了= 素包括當前像素及任一側上的兩個相鄰像素，二 38所說明，針對給定色彩分^及針對當前像紗，可= =輯:。來考慮水平相鄰像素。M、”及二精 而’應注意，取決於當前像素P之位置，當計算像素至: 素梯度時並未考慮在原始圖框278外部的像素 、 舉例而言，如圖38所示，在「左側邊緣=狀況470下， 158465.doc -84- 201216207 當前像素Ρ係在原始圖框2 7 8之最左側邊緣處，且因此，並 未考慮在原始圖框278外部之相鄰像素ρ〇&Ρ1，從而僅留 下像素Ρ、Ρ2及Ρ3(Ν=3)。在「左側邊緣+1」狀況472下， 當前像素Ρ係遠離原始圖框278之最左側邊緣的一個單位像 素，且因此，並未考慮像素Ρ0。此情形僅留下像素pi、 Ρ、Ρ2及Ρ3(Ν=4)。此外，在「居中」狀況474下，在當前 像素Ρ之左側上的像素Ρ0及Ρ1以及在當前像素ρ之右側上的 像素Ρ2及Ρ3係在原始圖框278邊界内，且因此，在計算像 Ο
素至像素梯度時考慮所有相鄰像素p〇、pi、ρ2及 Ρ3(Ν=5)。另外，隨著接近原始圖框278之最右侧邊緣，可 遇到類似狀況476及478。舉例而言，在「右側邊緣_〗」狀 況476的情況下，當前像素Ρ係遠離原始圖框278之最右側 邊緣的一個單位像素，且因此，並未考慮像素ρ3(Ν=4)。 類似地，在「右側邊緣」狀況478下，當前像素ρ係在原始 圖框278之最右側邊緣處，i因此，並未考慮相鄰像素 及Ρ3兩者（Ν=3)。 在所說：實施例中’針對圖片邊界(例如，原始圖框 )内之每才目鄰像素（k=0至3)，像素至像素梯度可計算 如下： 心*〇如(僅針對原始圖框内之幻⑻ 定像素至像素梯度’隨即可藉由DPDC邏輯460執 打有缺陷像素偵測如 . 卜 首先，假設，若某一數目個其梯 度Gk處於或低於特 心t限值（藉由變數dprTh所表示），則像 158465.doc -85- 201216207 素有缺陷。因此，針對每一傻音，置蚀点 丁母像素，累積處於或低於臨限值 dprTh之在圖片邊界内部的相鄰像音 冲诼f之梯度之數目的計數 (C)。藉由實例’針對原始圖框278內 円邛之每一相鄰像素， 處於或低於臨限值dprTh之棋声g沾ώί·田 梂度Gk的所累積計數C可計算如 下： (G^dprTh)， k (9) 0sA：^3(僅針對原始圖框内之免） 應瞭解，取決於色彩分量，臨限值咖几可變化。接下 來，若所累積計數C被判定為小於或等於最大計數（藉由變 數dprMaxC所表示），則像素可被認為有缺陷。下文表達此 邏輯： 若（CdprMaxC)，則像素有缺陷。 使用多個替換慣例來替換有缺陷像素。舉例而言，在一 實施例中，有缺陷像素可藉由在其緊左侧之像素ρι來替 換。在邊界條件（例如，P1係在原始圖框278外部）下，有 缺陷像素可藉由其緊右側之像素p2來替換。此外，應理 解可針對接連之有缺陷像素谓測操作來保持或傳播替換 值:舉例而言，參考圖38所示之該組水平像素，細或^ 先前藉由DPDCii輯460識別為有缺陷像素，則其對應替換 值可用於當前像素P的有缺陷像素偵測及替換。 為了概述上文所論述之有缺陷像素偵測及校正技術，描 158465.doc •86- 201216207 緣此程序之机程圖提供於圖39十且藉由參考數字彻指 代。如圖所不，程序480始於步驟482，在步驟482處接收 當别像素（P)且識別—組相鄰像素。根據JL文所描述之實 施例相鄰像素可包括來自當前像素之相反側的相同色彩 刀量之兩個水平像素（例如，p〇、、？2及Μ)。接下來， 在乂驟484處’關於原始圖框278内之每—相鄰像素計算水 平像素至像素梯度，如上文之方程式8中所描述。此後， 在步驟486處’判定小於或等於特定臨限值dprTh的梯度之 〇 數目的计數^。如在決策邏輯488處所示，若C小於或等於 dprMaxC ’貝處理480繼續至步驟49〇，則字當前像素識別 為有缺陷。接著在步驟492處使用替換值來校正有缺陷像 素。另外，返回參考決策邏輯料8，若，則 程序繼續至步驟494 ’且將當前像素識別為無缺陷，且其 值並未改變。 應注意，在ISP前端統計處理期間所應用之有缺陷像素 偵測/校正技術可比在ISP管道邏輯82中所執行的有缺陷像 素偵測/校正不穩固。舉例而言，如下文將更詳細地論 述，除了動態缺陷校正之外，在ISP管道邏輯82中所執行 的有缺陷像素偵測/校正亦進一步提供固定缺陷校正，其 中有缺陷像素的位置係先驗已知的且載入於一或多個缺陷 表中。此外，ISP管道邏輯82中之動態缺陷校正亦可考慮 在水平及垂直方向兩者上的像素梯度，且亦可提供斑點 (叩6(^1丨11§)之偵測/校正，如下文將論述。 返回至圖37，接著將DPDC邏輯460之輸出傳遞至黑階補 158465.doc -87· 201216207 償（BLC)邏輯462。BLC邏輯462可對用於統計收集之像素 十對母色彩为量「C」（例如，拜耳之R、B、Gr及Gb)獨 立地提供數位增益、位移及裁剪。舉例而言，如藉由以下 運算來表達，當前像素之輸入值首先位移有正負號之值， 且接著乘以增益。 01) r = (X + 0[c])xG[c], B、Gr 或 Gb)之 c的有正負號之 其中X表示針對給定色彩分量c(例如，R、 輸入像素值，0[c]表示針對當前色彩分量 16位元位私，且G[c]表示色彩分量c之增益值。在一實施 例中，增益G[c]可為具有2個整數位元及14個小數位元之 16位70無正負號數（例如，浮點表示中的21句且可藉由 捨位來施加增益G[c]。僅藉由實例，增益G[c]可具有介於0 至4X(例如，輸入像素值的4倍）之間的範圍。 接下來 稭宙下文之方程式12所示，計算值丫（其為有 正負號的）可接著裁剪為最小值及最大值範圍： Y=(Y< min[c]) ? min[c] : (Y> max[c]) ? max[c] . γ 〇2) 變數min[c]及max[c]可分別表示針對最小及最大輸出值 的有正負號之16位元「裁剪值」。在—實施例中，blc邏 輯462亦可經組態以每色彩分量地維持分別剪裁至高於及 低於最大值及最小值之像素之數目的計數。 隨後，將BLC邏輯462之輸出轉遞至透鏡遮光校正⑽^ 邏輯464。LSC邏輯464可經組態以每像素地施加適當增益 158465.doc -88- 201216207 以補償強度下降’其通常與自.成像裝置3〇之透鏡88之光學 中心的距離粗略地成比例。應瞭解，此等下降可為透鏡之 幾何光學的結果。藉由實例’具有理想之光學性質的透鏡 可模型化為入射角之餘弦的四次冪cos4(e)，稱為c〇s4定 律。然而，因為透鏡製造並非完美的，所以透鏡中之各種 不規則性可引起光學性質偏離所假設的c〇s4模型。舉例而 言’透鏡之較薄邊緣通常展現最多的不規則性。另外，透 鏡遮光圖案中之不規則性亦可為並未與彩色陣列渡光片完 〇 全對準之影像感測器内的微透鏡陣列之結果。此外，在一 些透鏡中之紅外線（IR)濾光片可使得下降為照明體相依 的，且因此，可取決於偵測到之光源來調適透鏡遮光增 益。 參看圖40，說明描繪針對典型透鏡之光強度對像素位置 的二維量變曲線496。如圖所示，靠近透鏡之中心498的光 強度逐漸朝向透鏡之轉角或邊緣5〇〇下降。圖4〇中所描繪 之透鏡遮光不規則性可藉由圖41更好地說明，圖41展示展 〇 現光強度朝向轉角及邊緣之下降的影像502之有色圖式。 特疋δ之，應注意，在影像之近似中心處的光強度表現為 亮於影像之轉角及/或邊緣處的光強度。 根據本發明技術之實施例，透鏡遮光校正增益可被指定 為每色彩通道（例如，拜耳濾光片之Gr、R、Β、Gb)之增益 的二維柵格。増益柵格點可以固定水平及垂直間隔分佈於 原始圖框278(圖19)内。如上文在圖19中所論述，原始圖框 278可包括作用中區域280，作用中區域280界定針對特定 158465.doc -89- 201216207 景多像處理操作對其執行處理的區域。關於透鏡遮光校正操 作’作用中處理區域（其可稱為LSC區域）界定於原始圖框 區域278内。如下文將論述，LSC區域必須完全在增益柵 格邊界内部或在增益柵格邊界處，否則結果可為未定義 的。 舉例而言’參看圖42,展示可界定於原始圖框278内之 LSC區域504及增益柵格506。LSC區域504可具有寬度508 及高度510，且可藉由x位移512及y位移514相對於原始圖 框278之邊界來界定。亦提供自柵格增益5〇6之基礎52〇至 LSC區域504中之第一像素522的栅格位移（例如，柵格X位 移5 1 6及栅格y位移5丨8)。此等位移可針對給定色彩分量處 於第一栅格間隔内。可分別針對每一色彩通道獨立地指定 水平（X方向）柵格點間隔524及垂直（y方向）柵格點間隔 526 〇 如上文所論述，在假設拜耳彩色濾光片陣列之使用的情 況下，可定義柵格增益之4個色彩通道（R、B、Gi^Qb)。 在一實施例中，總共4K(4096)個柵格點可為可用的，且針 對每一色彩通道，可（諸如）藉由使用指標來提供柵格增益 之開始位置的基本位址。此外，水平（524)及垂直（526)拇 格點間隔可依據在-個色彩平面之解析度下的像素界定， 且在某些實施例中，可在水平及垂直方向上針對藉由㈣ 幕（諸如，藉由8、16、32、64或128等）所分離之柄格點間 隔來提供。應瞭解，藉由利用2的冪，可達成使用移位(你 如’除法)及加法運算之增益内插的有效實施。使用此筹 158465.doc 90· 201216207 >數正田〜像感測器修剪區域改變時，可使用相同的增 益值舉例@ Q ’僅少數參數需要被更新以對準栅格點與
、”煎區域（例如’更新栅格位移524及似）而非更新所有 柵格增益值。僅藉由管你丨，a + A & 貫Ή 虽在數位變焦操作期間使用修 J夺此可為有用的。此外，儘管圖42之實施例所示的增 益拇格鳩料為具有大體上相等間隔之柵格點，但應理 解在其他只施例中，拇格點可能未必相等地間隔。舉例 而言，在一些實施例中，柵格點可不均句地（例如’以對 〇 數开/式）刀佈使得柵格點較少集中於LSC區域504的中 心，但朝向LSC區域5G4之轉角更集中，通常在透鏡遮光 失真更顯著之處。 根據本發明所揭示之透鏡遮光校正技術，#當前像素位 置位於LSC區域504之外部時，不施加增益（例如，像素未 文變地通過）田虽别像素位置係處於增益柵格位置處 時，可使用在彼特定柵格點處的增益值。然而，當當前像 〇 f位置係處於柵格點之間時’可使用雙線性内插來内插增 益。下文提供針對圖43上之像素位置「G」内插增益的一 實例。 如圖43所不，像素g係在柵格點G〇、G1、〇2及G3之 間，柵格點GO、G1、G2&G3可分別對應於相對於當前像 素位置G之左頂部、右頂部、左底部及右底部增益。柵格 間隔之水平及垂直大小係分別藉由又及γ表示。另外，^及 jj分別表不相對於左頂部增益G0之位置的水平及垂直像素 位移。基於此等因子，對應於位置G之增益可由此内插如 158465.doc -91- 201216207 下： c (G0(Y - jj)(X - »)) + (Gl(7 - jj)(ii)) + (G2(jj)(X - ii)) + (G3(»)〇y)) XY (13a) 上文之方程式13a中的項可接著組合以獲得以下表達： c 姻-叩㈣獅+聊㈣㈣]+网耶-⑻㈤]+哪_] XY (13b) 在一實施例中，可累加地執行内插方法，而非在每一像 素處使用乘數，由此減少計算複雜性。舉例而言，項 (ii)(jj)可使用可在增益柵格506之位置（0, 0)處初始化為0的 加法器而實現，且每當將當前行數增大達一個像素時使項 (ii)(jj)累加當前列數。如上文所論述，由於可將X及Y之值 選擇為2的冪，故可使用簡單移位運算來實現增益内插。 因此，僅在柵格點G0(而非在每一像素處）需要乘數，且僅 需要加法運算來判定剩餘像素之内插增益。 在某些實施例中，在柵格點之間的增益之内插可使用14 位元精確度，且柵格增益可為具有2個整數位元及8個小數 位元的無正負號之1 0位元值（例如，2.8浮點表示）。在使用 此慣例的情況下，增益可具有介於0與4X之間的範圍，且 在柵格點之間的增益解析度可為1/256。 透鏡遮光校正技術可藉由圖44所示之程序528進一步說 明。如圖所示，程序528始於步驟530，在步驟530處相對 於圖42之LSC區域504的邊界判定當前像素之位置。接下 來，決策邏輯532判定當前像素位置是否係在LSC區域504 158465.doc -92· 201216207 内。若當前像素位置係在LSC區域504外部，則程序528繼 續至步驟534，且無增益施加至當前像素（例如，像素未改 變地通過）。 若當前像素位置係在LSC區域504内，則程序528繼續至 決策邏輯536，在決策邏輯536處進一步判定當前像素位置 疋否對應於增益拇格504内的桃格點。若當前像素位置對 應於栅格點’則選擇在彼柵格點處之增益值且將其施加至 當前像素，如在步驟538處所示。若當前像素位置不對應 Ο 於柵格點，則程序528繼續至步驟540，且基於定界栅格點 (例如’圊43之GO、Gl、G2及G3)來内插增益。舉例而 言’可根據方程式13a及13b來計算内插增益，如上文所論 述。此後，程序528在步驟542處結束，在步驟542處將來 自步驟540之内插增益施加至當前像素。 應瞭解，可針對影像資料之每一像素重複程序528。舉 例而言’如圖45所示’說明描繪可施加至Lsc區域（例如， 5〇4)内之每一像素位置之增益的三維量變曲線。如圖所 不’歸因於在影像之轉角544處之光強度的較大下降，施 加於該等轉角處的增益可通常大於施加至影像之中心546 的增益，如圖40及圖41所示。在使用當前所描述之透鏡遮 光校正技術的情況下，可減少或實質上消除影像中之光強 度下降的出現。舉例而言，圖46提供來自圖41之影像502 之有色圖式可在透鏡遮光校正被應用之後出現之方式的實 例。如圖所示，與來自圖41之原本影像相比，整體光強度 通常跨越影像更均一。特定言之，在影像之近似中心處的 158465.doc • 93· 201216207 又可實質上等於在影像之轉角及/或邊緣處的光強度 μ。另外，如上文所提及，在一些實施例中，内插增益計 异（方程式m及13b)可藉由利用依序行及列累加結構而用 柵格點之間的加性「差量」進行替換。應瞭解，此情形減 少計算複雜性。 办在其他實施例中，除了使用栅格增益之外，亦使用隨自 影像中心之距離而按比例縮放的每色彩分量之全域增兴。 影像之中心可被提供作為輸人參數，且可藉由分析=照 明之影像中每_影像像素的光強度振Μ以估計。在所識 別之中心像素與當前像素之間的徑向距離可接著用以獲得 線性按比例縮放之徑向增益Gr，如下文所示：
Gr =Gp[c]xi? » (14) 其中GP[C]表示每一色彩分量c(例如，拜耳圖案之r、b、 =Gb分量）之全域增益參數’且其中R表示在中心像素與 當前像素之間的徑向距離。 ' 參看圖47,其展示上文所論述之LS(：區域5()4，距離汉可 使用若干技術予以計算或估計。如圖所示，對應於影像中 心之像素c可具有座標(x。，y〇)，且當前像素g可具有座標 (xG，yG)。在一實施例中，LSC邏輯4M可使用以下方程^ 來計算距離R : ^ R = ^(xG-x〇)2H^-y〇y 在另一實施例中，下文所示之較簡單之估 (15) 計公式可用以 158465.doc -94· 201216207 獲得R之估計值。 R-axmax(abs(xG -x〇)5abs(yG -γ0)) + βχmin(^.y(^G -λ;0),abs(yG ->〇)) ^ j 6^ 在方程式16中，估計係數p可按比例縮放為8位元 值。僅藉由實例’在—實施例中，a可等於大約i23/i28且 β可等於大約51/128以提供R之估計值。在使用此等係數值 的情況下，最大誤差可為大約4%，其中中值誤差為大約 丨·3%。因此’即使估計技術可比在判定R時利用計算技術 ((方程式15)稍微不準確，誤差容限仍；1夠低以使得估計值 «適於針對當前透鏡遮光校正技術來判定㈣增益分 ° 位向增I G>•可接著乘以當前像素之内插柵格增益值〇(方 程式Ua及13b)，以判定可施加至當前㈣之總增益 出像素γ係藉由將輸人料值獲得，如下 文所示： 〇 {GxGrxX) 及術，可僅使用内插增益、内插增益 使用徑向增益而結合補償徑亦了僅 現透鏡遮光校正。舉例而言，代之㈣柵格表來實 42所示），可提供具有在徑向及角方柵格5〇6(如圖 個柵格點的徑向增益柵格。因此，/冑義增益之複數 域504内並；^與徑向栅格 _^彳定施加至在LSC區 者對準之像素的增益 158465.doc -95- 201216207 時，可使用圍封像素之四個栅格點來應用内插以判定適當 的内插透鏡遮光增益。 參看圖48，藉由程序548說明在透鏡遮光校正中内插及 徑向增益分量之使用。應注意，程序548可包括類似於上 文在圖44中所描述之程序528的步驟。因此，已藉由相似 參考數字而對此等步驟編號。始於步驟530，接收當前像 素且判疋其相對於LSC區域504之位置。接下來，決策邏 輯532判定當前像素位置是否係在LSC區域504内。若當前 像素位置係在LSC區域504外部’則程序548繼續至步驟 534，且無增益施加至當前像素（例如，像素未改變地通 過）。若當前像素位置係在LSC區域504内，則程序548可同 時繼續至步驟550及決策邏輯536。首先參考步驟別，操 取識別影像之中d資料。如上文所論述，判定影像之中 心可包括在均-照明下分析像素之光強度振幅。舉例而 言，此分析可在校準期間發生。因此，應理解，步驟55〇 未必涵蓋重複地計算用於處理每—像素之影像的中心，而 可指代擷取先前所判定之影像中 的貝枓（例如，座標）。 一旦識別影像之中心，程序陆 矛序548隨即可繼續至步驟552，其 中判定在影像中心與當前像素位置之間的上 文所論述，可計算（方程式15_物 著，在步驟554處’可使用對應 ）又接 距離R及全域增益參數來计 ，、之色杉分置的 I。十异性向增旦 ㈧。徑向增益分量Gr可用 里叫方私式 驟558中論述。 、心、η盈，如下文將在步 158465.doc •96- 201216207 返回參考決策邏輯536 ’判定當前像素位置是否對應於 增益栅格504内之柵格點。若當前像素位置對應於柵格 點，則判定在彼柵格點處之增益值，如在步驟556處所 示。若當刖像素位置不對應於柵格點，則程序548繼續至 步驟540，且基於定界柵格點（例如，圖43iG〇、⑴、 及G3)來計算内插增益。舉例而言，可根據方程式Ua及 13b來計算内插增益，如上文所論述。接下來，在步驟558 處，基於在步驟554處所判定之徑向增益以及柵格增益（步 〇 驟556)或内插增益（540)中之一者來判定總增益。應瞭解， 此可取決於決策邏輯536在程序548期間採取哪一分支。接 著將總增益施加至當前像素，如在步驟56〇處所示。又， 應注意，如同程序528，亦可針對影像資料之每一像素重 複程序5 4 8。 徑向增益結合柵格增益之使用可提供各種優點。舉例而 吕，使用徑向增益允許針對所有色彩分量使用單一共同增 益栅格。此情形可極大地減少儲存每一色彩分量之單獨增 益柵格所需要的總儲存空間。舉例而言，在拜耳影像感測 器中，針對R、B、Gr及（^分量中之每一者使用單一增益 拇格可將增益柵格資料減少達大約75%。應瞭解，拇格增 益資料之此減少可減小實施成本，此係因為拇格增益資料 表可考慮影像處理硬體中之記憶體或晶片面積的顯著部 分。此外，取決於硬體實施，單一組之增益拇格值的使用 I提供其他優點，諸如，減少整體晶片面積(例如，諸如 當增益柵格值儲存於晶片上記憶體_時），及減少記憶體 158465.doc -97- 201216207 頻寬要求（例如，諸如當增益柵格值儲存於晶片外外部記 憶體中時）。 在詳盡地描述圖37所示之透鏡遮光校正邏輯4M的功能 性後，隨後將LSC邏輯464之輸出轉遞至逆黑階補償（ΙΒΙχ) 邈輯466。IBLC邏輯466針對每一色彩分量（例如，R、B、 Gr及Gb)獨立地提供増益、位移及裁剪，且通常執行blc 邏輯462之逆功能。舉例而言，如藉由以下運算所示，輸 入像素之值首先乘以增益且接著位移達有正負號之值。 Y = (XxG[c]) + 0[c] > (18) 其中X表示針對給定色彩分量(：（例如，R、B、G〇tGb)2 輸入像素值，Ο⑷表示當前色彩分量c的有正負號之⑽ 元位移，且G[C]表示色彩分量^增益值。在一實施例 中，增益G[c]可具有介於大約〇至4又（為輸入像素值X的4 倍)之間的範圍。應注意，&等變數可為上文在方程式η 中所論述之相同變數。可使用（例如）方程式12將計算值Υ 裁剪至最小值及最大值範圍。在_實施例中，IBLC邏輯 466可經組態以每色彩分量地維持分別剪裁至高於及低於 最大值及最小值之像素之數目的計數。 此後’ IBLC邏輯楊之輸出藉由統計收集區塊似接 收，統計收集區塊468可提供關於該（等）影像感測器％之各 種統計資料點的收集，諸如’與自動曝光(ae)、自動白平 衡(綱)、自動聚焦(AF)、閃光價測等等相關的資㈣。 記住此，下文關於圖48至圖66提供統計收集區塊偏之某 158465.doc •98· 201216207 些實施例及與其相關之各種態樣的描述。 應瞭解，可在數位靜態相機以及視訊相機中獲取影像時 使用AWB、AE及AF統計。為簡單性起見，AWB、AE及AJF 統計在本文中可被統稱為「3 A統計」。在圖37所說明之ISP 前端邏輯的實施例中，統計收集邏輯468( r 3 A統計邏 輯」）之架構可以硬體、軟體或其組合來實施。此外，控 制軟體或韌體可用以分析藉由3 A統計邏輯468收集之統計 資料且控制透鏡（例如，焦距）、感測器（例如，類比增益、 〇 整合時間）及ISP管線82(例如，數位增益、色彩校正矩陣係 數）的各種參數。在某些實施例中，影像處理電路32可經 組態以在統計收集方面提供彈性，以啟用控制軟體或韌體 來實施各種AWB、AE及AF演算法。 關於白平衡（AWB)，在每一像素處之影像感測器回應可 取決於照明源，此係因為光源係自影像場景中之物件反 射。因此’記錄於影像場景中之每一像素值與光源之色溫 相關。舉例而言，圖48展示說明YCbCr色彩空間之在低色 ◎ 溫及高色溫下的白色區域之色彩範圍的圖表570。如圖所 示’圖表570之X轴表示YCbCr色彩空間之藍色差異色度 (Cb)，且圖表570之y軸表示紅色差異色度（cr)。圖表570亦 展示低色溫軸線572及高色溫軸線574。定位有軸線572及 574之區域576表示YCbCr色彩空間中在低色溫及高色溫下 之白色區域的色彩範圍。然而，應理解，YCbCr色彩空間 僅僅為可結合本實施例中之自動白平衡處理而使用之色彩 空間的一實例。其他實施例可利用任何合適色彩空間。舉 158465.doc •99- 201216207 例而言，在某些實施例中，其他合適色彩空間可包括 Lab(CIELab)色彩空間（例如，基於CIE 1976)、紅色/藍色 正規化色彩空間（例如，R/(R+2G+B)及B/(R+2G+B)色彩空 間；R/G及B/G色彩空間；Cb/Y及Cr/Y色彩空間等等）。因 此’為本發明之目的，藉由3A統計邏輯468使用之色彩空 間的軸線可被稱為C1及C2(如圖49中之狀況）。 當在低色溫下照明白物件時，其可在所俘獲影像中表現 為微紅。相反地，在高色溫下所照明之白物件可在所俘獲 影像中表現為微藍。因此，白平衡之目標係調整RGB值， 使得影像對人眼表現為如同其係在規範光下取得。因此， 在與白平衡相關之成像統計的内容背景中，收集關於白物 件之色形 > 訊以判定光源之色溫。一般而言，白平衡演算 法可包括兩個主步驟。第一，估計光源之色溫。第二，使 用所估計之色溫以調整色彩增益值及/或判定/調整色彩校 正矩陣之係數。此等增益可為類比與數位影像感測器增益 以及ISP數位增益之組合。 舉例而言，在一些實施例中，可使用多個不同參考照明 體來校準成像裝置30。因此，可藉由選擇對應於最緊密地 匹配當前場景之照明體的參考照明體之色彩校正係數來判 定當前場景的白點。僅藉由實例，一實施例可使用五個參 考照明體（低色溫照明體、中等低色溫照明體、中等色溫 ’、?、明體、中等高色溫照明體及高色溫照明體）來校準成像 裝置30。如圖50所示，一實施例可使用以下色彩校正設定 值（pr〇files)來定義白平衡增益：水平線（H)(模擬大約23〇〇 158465.doc -100- 201216207 度之色溫）、白熾（A或IncA)(模擬大約2856度之色溫）、 D50(模擬大約5000度之色溫）、〇65(模擬大約6500度之色 溫）及D75(模擬大約7500度之色溫）。 取決於當前場景之照明體’可使用對應於最緊密地匹配 當前照明體之參考照明體的增益來判定白平衡增益。舉例 而5，若統計邏輯4 6 8 (下文在圖5 1中更詳細地描述）判定當 前照明體近似地匹配參考中等色溫照明體D5〇，則大約 1.37及1_23之白平衡增益可分別施加至紅色及藍色通道， 〇 而近似無增盈（1.〇)施加至綠色通道（拜耳資料之G0及G1)。 在一些實施例中’若當前照明體色溫係在兩個參考照明體 中間，則可經由在該兩個參考照明體之間内插白平衡增益 而判定白平衡增益。此外，儘管本實例展示使用Η、A、 D50、D65及D75照明體所校準之成像裝置，但應理解，任 何合適類型之照明體可用於相機校準，諸如TL84或 CWF(螢光參考照明體）等等。 如下文將進一步論述，若干統計可被提供用於AWB (包 〇 括二維（2D)色彩直方圖），且RGB或YCC求和以提供多個可 程式化色彩範圍。舉例而言，在一實施例中，統計邏輯 468可提供一組多個像素濾波器，其中該多個像素濾波器 之一子集可被選擇用於AWB處理。在一實施例中，可提供 八組濾波器（各自具有不同之可組態參數），且可自該組選 擇三組色彩範圍濾波器以用於聚集發光塊（tile)統計，以及 用於聚集每一浮動視窗的統計。藉由實例，第一所選擇濾 波器可經組態以覆蓋當前色溫以獲得準確的色彩估計，第 158465.doc -101 - 201216207 一所選擇濾波器可紐組態以覆蓋低色溫區域，且第三所選 擇濾波器可經組態以覆蓋高色溫區域。此特定組態可啟用 AWB演算法以隨光源改變而調整當前色溫區域。此外， 2D色彩直方圖可用以判定全域及局域照明體，且判定用於 累積RGB值之各種像素濾波器臨限值。又，應理解，三個 像素濾波器之選擇意謂說明僅一實施例。在其他實施例 中，可選擇更少或更多之像素濾波器以用於AWB統計。 此外’除了選擇三個像素m之外，—額外像素遽波 器亦可用於自動曝光(AE)’自動曝光(AE)通常指代調整像 素整合時間及增益以控制所俘獲影像之照度的程序。舉例 而σ自動曝光可控制藉由該（等）影像感測器設定整合時 間所俘獲的來自場景之光之量。在某些實施例中，發光塊 及照度統計浮動視窗可經由3八統計邏輯468而收集且經處 理以判定整合及增益控制參數。 此外，自動聚焦可指代判定透鏡之最佳焦距，以便實質 ^最佳化影像之聚焦。在某些實施例中，可收集高頻統計 浮動視窗’且可調整透鏡之焦距以使影像聚焦。如下文進 一步論述，在一實施例巾，自動聚焦調整可基於一或多個 量度（被稱為自動聚焦分數（AF分數））來利用粗略及精 整以使影像聚焦。此外，在一些實施例中，af統計/分數 了針對不同色彩而判定，且每—色彩通道之計/分 之間的相對性可用以判定聚焦方向。 因此， 各種類型 可經由統計收集區塊468而尤其判定及收集此等 之統计。如圖所示，SensorO統計處理單元^ 之 158465.doc 201216207 統計收集區塊468之輸出STATS()可發送至記憶體⑽且投 送至控制邏輯84，或者’可直接發送至控制邏輯84。此 外應理解’ Sensorl統計處理單元122亦可包括提供統計 STATS 1之類似組態的3A統計收集區塊，如圖8所示。 如上文所論述，控制邏輯84(其可為裝置1〇2isp子系統 32中的專用處理器）可處理所收集之統計資料，以判定用 於控制成像裝置3G及/或影像處理電路32的—或多個控制 參數。舉例而言，此等控制參數可包括用於操作影像感測 〇 ㈣之透鏡的參數（例如，焦距調整參數）、影像感測器參 數（例如，類比及/或數位增益 '整合時間），以及Isp管道 處理參數（例如，數位增益值、色彩校正矩 幻。另外，如上文所提及，在某些實施例中，統計= 可以8位元之精確度發生，且由此，具有較高位元深度的 原始像素資料可按比例縮小至8位元格式以用於統計目 的。如上文所論述，按比例縮小至8位元（或任何其他較低 纟元解析度)可減少硬體大小(例如，面積)且亦減少處理複 雜性，以及允許統計資料對雜訊為更穩固的（例如，使用 影像資料之空間平均化）。 s己住前述内容，圖51為描繪用於實施3八統計邏輯々Μ之 一實施例的邏輯之方塊圖。如圖所示，3A統計邏輯私8可 接收表示拜耳RGB資料之信號582，如圖37所示，信號Μ] 可對應於逆BLC邏輯466之輸出。3八統計邏輯468可°處~理拜 耳RGB資料582以獲得各種統計584，統計584可表示3A統 計邏輯468之輸出STATS0(如圖37所示），或者，/ 158465.doc -103- 201216207
Sensorl統計處理單元122相關聯之統計邏輯的輸出 STATS 1。 在所說明之實施例中，為了使統計對雜訊為更穩固的， 首先藉由邏輯586平均化傳入之拜耳rgb像素582。舉例而 言’可以由四個2x2拜耳四元組（例如，表示拜耳圖案之 2x2像素區塊）組成之4x4感測器像素的視窗大小來執行平 均化’且可計算4x4視窗中之經平均化的紅色（R)、綠色 (G)及藍色（B)值且將該等值轉換為8位元，如上文所提 及。關於圖52更詳細地說明此程序，圖52展示形成為四個 2x2拜耳四元組590之像素的4x4視窗588。在使用此配置的 情況下，每一色彩通道包括視窗588内之對應像素的2χ2區 塊’且相同色彩之像素可經求和及平均化以針對視窗588 内的每一色彩通道產生平均色彩值。舉例而言，在樣本 588内，紅色像素594可經平均化以獲得平均紅色值 (RAV)604 ’且藍色像素596可經平均化以獲得平均藍色值 (BAV)606。關於綠色像素之平均化，可利用若干技術，此 係因為拜耳圖案具有為紅色或藍色樣本之兩倍的綠色樣 本。在一實施例中，可藉由僅僅平均化Gr像素592、僅僅 平均化Gb像素598或共同地平均化所有Gr像素592及Gb像 素598來獲得平均綠色值（Gav)6〇2。在另一實施例中，每 一拜耳四元組590中之Gr像素592及Gb像素598可被平均 化，且每一拜耳四元組59〇之綠色值的平均值可共同地被 進一步平均化以獲得gav 602。應瞭解，跨越像素區塊之 像素值的平均化可提供雜訊減少。此外，應理解，使用 158465.doc -104 - 201216207 4x4區塊作為視窗樣本僅僅意欲提供一實例。實際上，在 其他實施例t，可㈣任何合輕塊大小（例如·; Η、 16x16、32x32 等等）。 此後」按比例縮小之拜耳R GB值6 i 〇輸入至色彩空間轉 換邏輯單元612及614。因為3A統計資料中之一些可在應用 色彩空間轉換之後依賴於像素，所以色彩空間轉換⑽^ Ο
邏輯612及CSC邏輯614可經組態以將降取樣之拜耳RGB值 610轉換為-或多個其他色彩空間。在—實施例中，csc 邏輯612可提供非線性空間轉換，且csc邏輯614可提供線 性空間轉換。因此’ CSC邏輯單元612及614可將原始影像 資料自感測器拜耳RGB轉換至另一色彩空間（例如， sRGB丨inear、sRGB、YCbCr等等），該另一色彩空間針對執 行用於白平衡之白點估計可為更理想或合適的。 在本實施例中，非線性CSC邏輯612可經組態以執行3x3 矩陣乘法，繼之以執行實施為查找表之非線性映射，且進 一步繼之以執行具有附加位移的另一 3χ3矩陣乘法。此情 形允許3 A統計色彩空間轉換針對給定色溫來複製isp管線 中之RGB處理的色於處理（例如，施加白平衡增益、應 用色彩校正矩陣、應用RGB伽瑪調整，及執行色彩空間轉 換）。其亦可提供拜耳RGB值至更色彩一致之色彩空間（諸 如’ CIELab)或上文所論述之其他色彩空間中之任—者（例 如’ YCbCr、紅色/藍色正規化色彩空間，等等）的轉換。 在一些條件下，Lab色彩空間針對白平衡操作可為更合適 的’此係因為色度相對於亮度為更線性的。 158465.doc 201216207 如圖51所示，來自拜耳RGB按比例縮小信號610之輸出 像素係藉由第一 3x3色彩校正矩陣（3A_CCM)處理，該第一 3x3色彩校正矩陣（3A_CCM)在本文中係藉由參考數字616 指代。在本實施例中，3A_CCM 616可經組態以自相機 RGB色彩空間（camRGB)轉換至線性sRGB校準空間 (sRGBlinear)。下文藉由方程式19-21提供可在一實施例中使 用之可程式化色彩空間轉換： sRiinear=max(0, min(255, (3A_CCM_00*R+3A_CCM_01 *G+3A_CCM_02*B))); (19) sGlinear=max(0, min(255, (3A_CCM_10*R+3A_CCM_11*G+3A_CCM_12*B))); (20) sB|inear=max(0, min(255, (3A_CCM_20*R+3A_CCM_21AG+3A_CCM_22*B))>; (21) 其中3A_CCM_00-3A_CCM_22表示矩陣616之有正負號係 數。因此，藉由首先判定紅色、藍色及綠色降取樣拜耳 RGB值與所應用之對應3A_CCM係數的總和，且接著在該 值超過255或小於0時將此值裁剪至0抑或255(8位元像素資 料之最小及最大像素值），可判定sRGBlinear色彩空間之 sRlinear、sGiinear 及 SB" near 分量中的每一者。所得之 311081^^值在圖51中藉由參考數字618表示為3人—(：€]\4 616 的輸出。另外，3A統計邏輯468可維持sR, inear ' sGiinear>^ sBlinear*量中之每一者的經裁剪像素之數目的計數，如下 文所表達： 158465.doc -106· 201216207 3A_CCM_R_clipcount_low :sRnnear像素之數目 <0裁剪 3A_CCM_R_cHpcount_high:sRlinear像素之數目 >255裁剪 3A_CCM_G_clipcount_low :sG|inear像素之數目 <0裁剪 3A_CCM_G_clipcount_Mgh:sG|inear像素之數目 >255裁剪 3A_CCM_B_clipcount_low :sB|inear像素之數目 <0裁剪、 3A_CCM_B_clipcount_high:sB丨inear像素之數目 >255裁剪 接下來，可使用非線性查找表620來處理sRGBlinear像素 618以產生sRGB像素622。查找表620可含有8位元值之輸 〇 入項，其中每一表輸入項值表示一輸出位準。在一實施例 中，查找表620可包括65個均勻分佈之輸入項，其中表索 引表示步進為4之輸入值。當輸入值落在間隔之間時，線 性地内插輸出值。 應瞭解，sRGB色彩空間可表示針對給定白點藉由成像 裝置30(圖7)產生之最終影像的色彩空間，此係因為白平衡 統計收集係在藉由影像裝置產生之最終影像的色彩空間中 0 執行。在一實施例中，可藉由基於（例如）紅色對綠色及/或 藍色對綠色比率來匹配影像場景之特性與一或多個參考照 明體而判定白點。舉例而言，一參考照明體可為D65，其 為用於模擬日光條件之CIE標準照明體。除了 D65之外， 亦可針對其他不同參考照明體來執行成像裝置30之校準， 且白平衡判定程序可包括判定當前照明體，使得可基於對 應校準點針對當前照明體來調整處理（例如，色彩平衡）。 藉由實例，在一實施例中，除了 D65之外，亦可使用冷白 158465.doc -107- 201216207 螢光（CWF)參考照明體、TL84參考照明體（另一螢光源）及 IncA(或A)參考照明體（其模擬白熾照明）來校準成像裝置30 及3A統計邏輯468。另外，如上文所論述，對應於不同色 溫之各種其他照明體（例如，Η、IncA、D50、D65及D75等 等）亦可用於相機校準中以用於白平衡處理。因此，可藉 由分析影像場景且判定哪一參考照明體最緊密地匹配當前 照明體源而判定白點。 仍參考非線性CSC邏輯612，查找表620之sRGB像素輸出 620可藉由第二3x3色彩校正矩陣624(在本文中被稱為 ：3A_CSC)進一步處理。在所描繪之實施例中，3A_CSC矩 陣624被展示為經組態以自SRGB色彩空間轉換至YCbCr色 彩空間，但其亦可經組態以將sRGB值轉換為其他色彩空 間。藉由實例，可使用以下可程式化色彩空間轉換（方程 式22_27): Y =3A_CSC_00*sR+3A_CSC_01*sG+3A_CSC_02*sB+3A_OffsetY; (22)" ~ 一— _ Y =max(3A_CSC_MIN_Y, min(3A_CSC_MAX_Y, Υ»; (23)
Cl =3A_CSC_10*sR+3A_CSC_ll*sG+3A_CSC_12*sB+3A_OflfsetCl; (24) 一 --- C1 =max(3A_CSC_MIN_Cl, min(3A_CSC_MAX_Cl, Cl)); (25) " C2 =3A_CSC_20*sR+3A_CSC_21*sG+3A_CSC_22*sB+3A_OffsetC2; (26) C2 =max(3A_CSC_MIN_C2, min(3A_CSC_MAX_C2, C2)); (27) 158465.doc -108· 201216207 其中3 A_CSC_00-3 A_CSC_22表示矩陣624之有正負號係 數，3A_OffsetY、3A_OffsetCl 及 3A_〇ffsetC2表示有正負 號位移，且C1及C2分別表示不同色彩（此處為藍色差異色 度（Cb)及紅色差異色度（Cr))。然而，應理解，C1及C2可表 示任何合適差異色度色彩，且未必需要為Cb及Cr色彩。 如方程式22-27所示，在判定YCbCr之每一分量時，將來 自矩陣624之適當係數應用於sRGB值622，且將結果與對 應位移求和（例如，方程式22、24及26)。基本上，此步驟 0 為3x1矩陣乘法步驟。接著在最大值與最小值之間裁剪來 自矩陣乘法之此結果（例如，方程式23、25及27)。相關聯 之最小及最大裁剪值可為可程式化的，且可取決於（例如） 所利用之特定成像或視訊標準（例如，BT.601或BT.709)。 3 A統計邏輯468亦可維持Y、C1及C2分量中之每一者的 經裁剪像素之數目的計數，如下文所表達： 3A_CSC_Y_clipcount_low 3A_CSC_Y_clipcount一high 3A_CSC_Cl_clipcount_low 3A_CSC_Cl_cIipcount_high 3A_CSC_C2_clipcount_Iow 3A_CSC_C2_cIipcount_high 〇 Y像素之數目<3A一CSC_MIN_Y裁剪 Y像素之數目>3A_CSC_MAX_Y裁剪 C1像素之數目<3A_CSC_MIN_C1裁剪 C1像素之數目>3A_CSC_MAX__C1裁剪 C2像素之數目<3A_CSC_MIN_C2裁剪 C2像素之數目>3A_CSC_MAX_C2裁剪
來自拜耳RGB降取樣信號610之輸出像素亦可提供至線 性色彩空間轉換邏輯614，線性色彩空間轉換邏輯614可經 組態以實施相機色彩空間轉換。舉例而言，來自拜耳RGB 158465.doc -109- 201216207 降取樣邏輯586之輸出像素610可經由CSC邏輯614之另一 3x3色彩轉換矩陣（3A_CSC2)630進行處理以自感測器 RGB(camRGB)轉換至線性白平衡色彩空間（camYClC2)， 其中Cl及C2可分別對應於Cb及Cr。在一實施例中，色度 像素可藉由明度而按比例縮放，此情形在實施具有改良之 彩色一致性且對歸因於明度改變之色彩移位穩固的彩色濾 光片時可為有益的。下文在方程式28-31中提供可使用3x3 矩陣630來執行相機色彩空間轉換之方式的實例： camY=3A_CSC2_00*R+3A_CSC2_01*G+3A_CSC2_02*B+3A_Offset2Y; (28) ~ ~ camY=max(3A_CSC2_MIN_Y, min(3A_CSC2_MAX_Y, camY)); (29) 一 一 camCl=(3A_CSC2_10*R+3A_CSC2_ll*G+3A_CSC2_12*B); (30) camC2=(3A_CSC2_20*R+3A_CSC2_21*G+3A_CSC2_22*B); (31) 其中3A_CSC2_00-3A_CSC2_22表示矩陣630之有正負號係 數，3A_Offset2Y表示camY之有正負號位移，且camCl及 camC2分別表示不同色彩（此處為藍色差異色度（Cb)及紅色 差異色度（Cr))。如方程式28所示，為了判定camY，將來 自矩陣630之對應係數應用於拜耳RGB值610，且將結果與 3A_Offset2Y求和。接著在最大值與最小值之間裁剪此結 果，如方程式29所示。如上文所論述，裁剪極限可為可程 式化的。 就此而言，輸出632之camC 1及camC2像素為有正負號 I58465.doc -110- 201216207 的。如上文所論述，在一些實施例中，可按比例縮放色度 像素。舉例而言，下文展示一種用於實施色度按比例縮放 之技術： camCl=camCl * ChromaScale * 255 / (camY ? camY : 1); (32) camC2=camC2 * ChromaScale * 255 / (camY ? camY : 1); (33) 其中ChromaScale表示介於0與8之間的浮點按比例縮放因 Q 子。在方程式32及33中，表達（camY ? camY: 1)意謂防止除 以0條件。亦即，若camY等於0，則將camY之值設定為1。 此外，在一實施例中，ChromaScale可取決於camCl之正負 號而設定為兩個可能值中的一者。舉例而言，如下文在方 程式34中所示，若camC 1為負，則可將ChomaScale設定為 第一值（ChromaScaleO)，否則，可將其設定為第二值 (ChromaScale 1) ·
ChromaScale= ChromaScaleO 若(camCl < 0) (34)
ChromaScalel 否則 此後，加上色度位移，且裁剪camC 1及camC2色度像素 (如下文在方程式35及36中所示），以產生對應的無正負號 像素值： camCl=max(3A_CSC2_MIN_Cl, min(3A_CSC2_MAX_Cl, (camCl+3A_Offset2Cl))) (35) camC2=max(3A_CSC2_MIN_C2, min(3A_CSC2_MAX_C2, (camC2+3A_Offset2C2))) (36) 158465.doc -111 - 201216207 其中3 A_CSC2_00-3A_CSC2—22為矩陣630之有正負號係 數，且3A_Offset2Cl及3A_Offset2C2為有正負號位移。此 外，針對camY、camC 1及camC2所裁剪之像素的數目被計 數，如下文所示： 3A_CSC2_Y_clipcount_low :camY像素之數目 < 3A_CSC2_MIN_Y裁剪 3A_CSC2_Y_dipcountJhigh :camY像素之數目 > 3A_CSC2_MAX_Y裁剪 3A_CSC2_Cl_clipcoimt_low :eamCl像素之數目 < 3A_CSC2_MIN_C1 裁剪 3A_CSC2_Cl_clipcount_high :camCl像素之數目 > 3A_CSC2_MAX_C1 裁剪 3A_CSC2_C2_clipccmnt_low :camC2像素之數目 < 3A_CSC2_MIN_C2裁剪 3A_CSC2_C2_clipcoimt_liigh :camC2像素之數目 > 3A_CSC2_MAX_C2裁剪 因此，在本實施例中，非線性色彩空間轉換邏輯612及 線性色彩空間轉換邏輯614可在各種色彩空間中提供像素 資料：sRGBlinear(信號 618)、sRGB(信號 622)、YCbYr(信號 626)及camYCbCr(信號630)。應理解，每一轉換矩陣 616(3A_CCM)、624(3A—CSC)及 630(3A_CSC2)之係數以及 查找表620中之值可被獨立地設定及程式化。 仍參看圖51，來自非線性色彩空間轉換（YCbCr 626)抑 或相機色彩空間轉換（camYCbCr 632)之色度輸出像素可用 以產生二維（2D)色彩直方圖636。如圖所示，選擇邏輯638 及640(其可實施為多工器或藉由任何其他合適邏輯實施）可 經組態以在來自非線性抑或相機色彩空間轉換之明度像素 與色度像素之間選擇。選擇邏輯638及640可回應於各別控 制信號而操作，在一實施例中，該等控制信號可藉由影像 l5S465.doc -112· 201216207 處理電路32(圖7)之主控制邏輯84供應且可經由軟體進行設 定。 針對本實例，假設選擇邏輯638及640選擇YC1C2色彩空 間轉換（626)，其中第一分量為明度，且其中C1、C2為第 一色彩及第二色彩（例如，Cb、Cr)。C1-C2色彩空間中之 2D直方圖636係針對一個視窗而產生。舉例而言，該視窗 可藉由行開始及寬度以及列開始及高度指定。在一實施例 中，視窗位置及大小可設定為4個像素之倍數，且32x32個 〇 分格（bin)可用於總共1024個分格。分格邊界可處於固定間 隔’且為了允許色彩空間之特定區域中之直方圖收集的變 焦及平移’可定義像素按比例縮放及位移。 在位移及按比例縮放之後的C1&C2之上部5個位元（表示 總共32個值）可用以判定分格。C1&C2之分格索引（在本文 中藉由Cl—index及C2—index指代）可判定如下：
Cl_index=((Cl-Cl_offset)»(3-Cl_scale)
IP /J ◎ ^-index=((C2-C2_offset)»(3-C2_scale) ^ 丨你刀份寒W係在範圍[0, 31]中岈將 色彩直方圖分格累加-CG贈值（其在—實施例中可具有介 於〇與3之間的值）’如下文在方程式39中所示。有效地， =許基於明度值來加權色彩計數（例如，更重地加權較 月免之像素，而非相等地加權每—事物（例如，加 158465.doc -113· 201216207 if(Cl_index >=0 && Cl index <=31 && C2_index >=0 && C2_index <=31) (39) ----
StatsCbCrHist[C2_index&31] [Cl_index&31] +=Count; 其中Count在此實例中係基於所選擇之明度值Y來判定。應 瞭解，可藉由分格更新邏輯區塊644來實施藉由方程式 37、38及39表示的步驟。此外，在一實施例中，可設定多 個明度臨限值以界定明度間隔。藉由實例，四個明度臨限 值（Ythd0-Ythd3)可界定五個明度間隔，其中Count值 Count0-4係針對每一間隔而界定。舉例而言，CountO-Count4可基於明度臨限值予以選擇（例如，藉由像素條件 邏輯642)，如下： if (Y <=YthdO) (40)
Count=CountO else if (Y <=Ythdl)
Count=Countl else if (Y <=Ythd2)
Count=Count2 else if (Y <=Ythd3)
Count=Count3 else
Count=Count4 記住前述内容，圖53說明具有針對Cl及C2兩者設定為0 之按比例縮放及位移的色彩直方圖。CbCr空間内之劃分區 表示32x32個分格（總共1024個分格）中之每一者。圖54提 供針對額外精確度之2D色彩直方圖内之變焦及平移的實 例，其中具有小矩形之矩形區域646指定32x32個分格的位 置。 158465.doc •114· 201216207 在影像資料之圖框的開始，分格值初始化為〇。針對進 入2D色彩直方圖636之每一像素，對應於匹配C1C2值之分 格累加所判定之Count值（Count0-Count4)，如上文所論 述，所判定之Count值可基於明度值。針對2D直方圖636内 之每一分格，總像素計數被報告作為所收集之統計資料 (例如，STATS0)的部分。在一實施例中，每一分格之總像 素計數可具有22位元之解析度，藉以，提供等於1024x22 個位元之内部記憶體分派。 〇 返回參看圖51，拜耳RGB像素（信號610)、sRGBlinead!· 素（信號618)、sRGB像素（信號622)及YC1C2(例如， YCbCr)像素（信號626)提供至一組像素濾波器650a-c，藉 以，RGB、sRGBiinear、sRGB、YC1C2 或 camYClC2 總和可 有條件地基於camYClC2抑或YC1C2像素條件（如藉由每一 像素濾波器650所定義）而累積。亦即，來自非線性色彩空 間轉換（YC1C2)之輸出抑或相機色彩空間轉換（camYClC2) 之輸出的Y、Cl及C2值用以有條件地選擇RGB、 〇 sRGBlinear、sRGB或YC1C2值進行累積。儘管本實施例將 3A統計邏輯468描繪為提供8個像素濾波器（PF0-PF7)，但 應理解，可提供任何數目個像素濾波器。 圖55展示描繪像素濾波器（尤其是來自圖51之PF0(650a) 及PF l(650b))之實施例的功能邏輯圖。如圖所示，每一像 素濾波器650包括一選擇邏輯，該選擇邏輯接收拜耳RGB 像素、sRGBlinear像素、sRGB像素，及YC1C2抑或 camYClC2像素中之一者（如藉由另一選擇邏輯654所選 158465.doc •115- 201216207 擇）。藉由實例，可使用多工器或任何其他合適邏輯來實 施選擇邏輯652及654。選擇邏輯654可選擇YC1C2抑或 camYC 1C2。該選擇可回應於一控制信號而進行，該控制 信號可藉由影像處理電路32(圖7)之主控制邏輯84供應及/ 或藉由軟體設定。接下來，像素濾波器650可使用邏輯656 以對照像素條件來評估藉由選擇邏輯654選擇之YC1C2像 素（例如，非線性抑或相機）。每一像素濾波器650可使用選 擇電路652以取決於來自選擇電路654之輸出而選擇拜耳 RGB像素、sRGBlinear像素、sRGB像素及YC1C2或 camYClC2像素中的一者。 在使用該評估之結果的情況下，可累積藉由選擇邏輯 652選擇之像素。在一實施例中，可使用臨限值Cl_min、 Cl_max、C2_min、C2_max來定義像素條件，如圖49之圖 表5 70所示。若像素滿足以下條件，則該像素包括於統計 中： 1. Cl_min <=C1 <=Cl_max 2. C2_min <=C2 <=C2_max 3. abs ((C2_delta * Cl)-(Cl_deIta * C2)+Offset) < distance max 4. Ymi„ <=Y <=Ymax 參看圖56之圖表，在一實施例中，點662表示對應於當 前YC1C2像素資料（如藉由邏輯654所選擇）之值（C2，C1)。 Cl_delta可被判定為Cl_l與C1_0之間的差，且C2_delta可 被判定為C2_l與C2_0之間的差。如圖56所示，點（C1_0, 158465.doc -116- 201216207 C2_0)及（Cl_l, C2_l)可界定Cl及C2之最小值及最大值邊 界。可藉由將Cl_delta乘以線664截取軸線C2所處之值 (C2_intercept)來判定Offset。因此，假設Y、C1及C2滿足 最小值及最大值邊界條件，則在所選擇之像素（拜耳 RGB、sRGBlinear、sRGB，及 YClC2/camYClC2)距線 664 的 距離670小於distance_max 672時，該等所選擇之像素包括 於累積總和中，distance_max 672可為像素距線之距離670 乘以正規化因子： 〇 distance一max=distance * sqrt(Cl_deltaA2+C2一deltaA2) 在本實施例中，距離Cl_delta及C2_delta可具有-255至 255之範圍。因此，distance_max 672可藉由17個位元表 示。點（C1_0, C2 0)及（Cl_l，C2_l)以及用於判定 distance_max之參數（例如，（多個）正規化因子）可被提供作 為每一像素濾波器650中之像素條件邏輯656的部分。應瞭 解，像素條件656可為可組態的/可程式化的。 儘管圖56所示之實例基於兩組點（ci_0, C2_0)及（Cl_l， 〇 C2_l)來描繪像素條件，但在額外實施例中，某些像素濾 波器可界定供判定像素條件之更複雜的形狀及區域。舉例 而言，圖57展示一實施例，其中像素濾波器650可使用點 (C1_0，C2_0)、（Cl」，C2_l)、（C1—2，C2_2)及（Cl_3, C2_3)以及（Cl_4, C2_4)來界定五側多邊形673。每一側 674a-674e可定義一線條件。然而，不同於圖56所示之狀 況（例如’只要滿足distance_max，像素就可處於線664之 任一側上）’條件可為：像素（Cl，C2)必須位於線674a-674e 158465.doc •117- 201216207 之側上，使得其藉由多邊形673圍封。 線條件之交集時，計數像素（Cl, C2)。 中 因此，當滿足多個 舉例而言，在圖5 7 此交集關於像素675a發生 線674d之線條件’且因此，將不會在藉由 之像素渡波器處理時計數於統計中。 然而’像素675b未能滿足 以此方式所組態 可基於重疊形狀來判定像 在圖5 8所示之另一實施例中 素條件。舉例而言 圖58展示像素濾波器65〇可具有使用 兩個重疊形狀（此處為分別藉由點（Cl_〇，C2㈨工 C2_D、（C1—2，C2—2)及（C13, C2 3)以及點（C1=4, C2—4)、（Cl_5, C2_5)、（Cl_6, C2—6)及（ci_7，C2_7)界定 的矩形676a及676b)所定義之像素條件的方式。在此實例 中，像素（Cl，C2)可藉由圍封於藉由形狀”以及”仍（例 如，藉由滿足界定兩個形狀之每一線的線條件）共同地定 界之區域内而滿足藉由此像素濾波器定義的線條件。舉例 而s，在圖58中，關於像素678a滿足此等條件。然而，像 素678b未能滿足此等條件（尤其是關於矩形676a之線67知 及矩形676b之線679b)，且因此，將不會在藉由以此方式 所組態之像素濾波器處理時計數於統計中。 針對母一像素濾波器650，基於藉由邏輯656定義之像素 條件來識別限定像素，且針對限定像素值，可藉由3 A統計 引擎468來收集以下統計·· 32位元總和：（R^，G_, 或 〇Rlinear_sum, sGlinear_sum, sBlinear_sum)，或⑽咖，sG·, sBsum)或（Ysum，Clsum，C2sum)及 24 位元像素計數 Count，該 24位元像素計數Count可表示包括於統計中之像素之數目 158465.doc •118- 201216207 的總和。在一實施例中，軟體可使用該總和以在發光塊或 視窗内產生平均值。 當camYClC2像素藉由像素濾波器650之邏輯652選擇 時’可對按比例縮放之色度值執行色彩臨限值。舉例而 言’因為在白點處之色度強度隨明度值而增大，所以隨像 素濾波器650中之明度值而按比例縮放的色度之使用可在 一些例子中提供具有改良之一致性的結果。舉例而言，最 小值及最大值明度條件可允許濾波器忽略黑暗及/或明亮
區域。若像素滿足YC1C2像素條件，則累積RGB、 sRGBlinear、讯(^或¥(：1(：2值。藉由選擇邏輯652對像素值 之選擇可取決於所需要之資訊的類型。舉例而言，針對白 =衡，通常選擇RGB^RGBiinear像素。針對偵測諸如天 空、草、膚色等等之特；t條件，YCC^sRGB像素組可為 更合適的。 在本實施例中，可定 。 …姐体系俅仵一組兴啄京濾波 ’ F0 PF7 65G中之每-者相關聯。可定義—些像素條件 以創製在C1-CM彩空間（圖49)中很可能存在白點之區 域。此可基於當前照明體進行判定或估計。接著，所累積 ，總和可用以基於用於白平衡調整之跳及/或腦比 勃：判定當前白點。此外’可定義或調適-些像素條件以 景分析及分類。舉例而言，一些像素據波器㈣及 ^發光塊可用以偵測條件，諸如，影像圖框之頂部部 =的藍天，或影像圖框之底部部分中的綠草。此資訊亦 可用以調整白平衡。另外，可 我次調適一些像素條件以 158465.doc -119- 201216207 偵測膚色。針對此等濾波器，發光塊可用以偵測影像圖框 之具有膚色的區域。藉由識別此等區域，可藉由（例如）減 少膚色區域中之雜訊濾波器的量及/或減小彼等區域中之 視訊壓縮中的量化以改良品質來改良膚色之品質。 3 A統計邏輯468亦可提供明度資料之收集。舉例而言， 來自相機色彩空間轉換（camYClC2)之明度值camY可用於 累積明度總和統計。在一實施例中，可藉由3A統計邏輯 468收集以下明度資訊：
Ysum : cam Y之總和 cond(Ysum):滿足條件丫^ <=camY < YmaxicamY之總和
Ycountl :像素之計數，其中camY< Ymin，
Ycount2 :像素之計數，其中camY>=Ymax 此處，Ycountl可表示曝光不足之像素的數目，且 Ycount2可表示曝光過度之像素的數目。此可用以判定影 像係曝光過度抑或曝光不足。舉例而言，若像素並未飽 和，則camY之總和（Ysum)可指示場景中之平均明度，其可 用以達成目標AE曝光。舉例而言，在一實施例中，可藉 由將Ysum除以像素之數目來判定平均明度。此外，藉由知 曉發光塊統計之明度/AE統計及視窗位置，可執行AE計 量。舉例而言，取決於影像場景，相比於在影像之邊緣處 的AE統計更重地加權在中心視窗處之AE統計（諸如，可在 肖像之狀況下）可為合乎需要的。 在當前所說明之實施例中，3 A統計收集邏輯可經組態以 158465.doc -120- 201216207 收集發光塊及視窗中之統計。在所說明之組態中，一視窗 可針對發光塊統計674而界定。該視窗可藉由行開始及寬 度以及列開始及高度指定。在一實施例中，視窗位置及大 小可選擇為四個像素之倍數，且在此視窗内，統計係聚集 於任意大小的發光塊中。藉由實例，可選擇視窗中之所有 發光塊，使得其具有相同大小。可針對水平及垂直方向獨 立地設定發光塊大小，且在一實施例中，可設定對水平發 光塊之數目的最大極限（例如，128個水平發光塊的極限）。 〇 此外，在一實施例中，舉例而言，最小發光塊大小可設定 為8像素寬乘4像素高。下文為基於不同視訊/成像模式及 標準以獲得16x16個發光塊之視窗的發光塊組態之一些實 例： VGA 640x480 HD 1280x720 HD 1920x1080 5MP 2592x1944 8MP 3280x2464
:發光塊間隔40x30個像素 :發光塊間隔80x45個像素 :發光塊間隔120x68個像素 :發光塊間隔162x122個像素 :發光塊間隔205 xl 54個像素 關於本實施例，自八個可用像素濾波器650(PF0-PF7)， 可選擇四個以用於發光塊統計674。針對每一發光塊，可 收集以下統計： (RsumO，Gsum。，Bsum。)或(sR|inear—sum〇，sG|jnear_sum。，sB"near_sum〇)，或 (sRsumo, sGsum〇, sBsum〇)或(Ysum〇, Cl sum〇, C2 sum。)，Count。 158465.doc -121 - 201216207 (Rsuml，GSuml，Bsuml)或(sRlinear_suml，sG|inear_sumi，sBiiuear_sumi) ’ 或 (sRsumi，sG sumi，sB sumi)或(Ysumi，Cl sumi，C2 sumi)，Countl (Rsum2, GSUm2, Bsum2)或(sR|inear_sum2, sG|inear_sum2, sBiinear—sum2)，或 (sRsum2, sG sum2, SB sum2)或(Ysum2, Cl sum2，C2 sum2)，C〇Ullt2 (Rsum3, Gsum3，Bsum3)或(sRiinear_sum3, sG|inear_sum3, sB|jnear_sum；3)，或 (sRsum3, sG sum3, sB sum3)或(Ysum3, Cl sum3，C2 sum3)，C〇UIlt3 ’ 或
Ysum，cond(Ysum)，Ycounti, Ycount2(自 camY) 在上文所列出之統計中，CountO-3表示滿足對應於所選 擇之四個像素濾波器之像素條件之像素的計數。舉例而 言，若像素濾波器PF0、PF1、PF5及PF6針對特定發光塊 或視窗被選擇為該四個像素濾波器，則上文所提供之表達 可對應於Count值及對應於針對彼等濾波器所選擇（例如， 藉由選擇邏輯652)之像素資料（例如，拜耳RGB、 sRGBlinear、sRGB、YC1Y2、camYClC2)的總和。另夕卜， Count值可用以正規化統計（例如，藉由將色彩總和除以對 應Count值）。如圖所示，至少部分地取決於所需要之統計 的類型，所選擇之像素濾波器650可經組態以在拜耳 RGB、sRGBlinear或sRGB像素資料中之任一者或YC1C2(取 決於藉由邏輯654之選擇而為非線性或相機色彩空間轉換） 像素資料之間選擇，且判定所選擇之像素資料的色彩總和 統計。另外，如上文所論述，來自相機色彩空間轉換 (camYClC2)之明度值camY亦針對明度總和資訊予以收 158465.doc -122- 201216207 集，以用於自動曝光（AE)統計。 另外，3 A統計邏輯468亦可經組態以收集多個視窗之統 計676。舉例而言，在一實施例中，可使用高達八個浮動 視窗，其中任何矩形區域在每一尺寸（例如，高度X寬度） 上具有四個像素之倍數，高達對應於影像圖框之大小的最 大大小。然而，視窗之位置未必限定於四個像素之倍數。 舉例而言，視窗可彼此重疊。 在本實施例中，可針對每一視窗自可用之八個像素濾波 〇 器（PF0-PF7)選擇四個像素濾波器650。針對每一視窗之統 計可以與上文所論述之針對發光塊相同的方式予以收集。 因此，針對每一視窗，可收集以下統計676 :
(RsumO，Gsum〇, Bsum〇)或(sR"near_sum〇，sGiinear_sum〇, sB|inear_sum〇)，或 (sRsum〇, sGsum。，sB sum〇)或(Ysum。，Cl sum。，C2 sum〇)，CountO (Rsuml，Gsumi，Bsuinl)或(sR|jnear_sumi，sGiinear_sumi，sB|jnear_sumi) ’ 或 (sRsumi，sGsumi，sBsumi)或(Ysumi，Clsumi，C2sumi)，Countl
Q (®5um2, Gsum2, Bsum2)或(sR_inear_ _sum29 sGlinear_ sum2, sB"near_sum2)，或 (sRsum2，sG sum2，sB sum2)^i(Ysum2，Cl sum2，C2 sum2)，C〇lint2 (Rsum3, Gsum3, Bsum3)或(sR|inear sum3, sG|jnear_sum3, sBijnear」um3) ’ 或 (sRsum3, sGSum3，sBsum3)或(Ysum3，Cl sum3，C2sum3)，C〇UIlt3 ’ 或 Ysum，cond(Ysum)，Ycounti，Ycount2(自 camY) 在上文所列出之統計中，Count0-3表示滿足對應於針對 158465.doc -123- 201216207 特定視窗所選擇之四個像素驗n之料條件之像素的計
數。自八個可用像素濾波器PF0_PF7， D Γ針對母—視窗獨 立地選擇四個作用中像素渡波器。另夕卜，可使用像素遽波 器或camY明度統計來收集統計组中 苓。在一實施例 中，針對及AE所收集之視窗統計可映射至— 暫存器。 仍參看® 51 ’ 3A料邏輯偏亦可經㈣以針對相機色 彩空間轉換而使用明度值_γ來獲取—視窗的明度列雖 和統計678。此資訊可用以谓測及補償閃光。閃光係藉由 一些螢光及白熾光源中之週期性變化（通常由从電力^號 引起）而產生。舉例而t ’參看圖59,展示說明閃光可由 光源中之變化引起之方式的曲線圖。閃光偵測可由此用以 偵測用於光源之AC電力的頻率（例如，5〇沿⑽— 旦知曉頻率，_可藉由將影像感測器之整合時間設定為 閃光週期之整數倍而避免閃光。 為了偵測閃光’遍及每一列來累積相機明度。歸 ;專入之拜耳貝料的降取樣，每_值可對應於原 本原始影像資料的4個列。控制邏輯及/餘體可接著遍及 ^續圖框來執行列平均值（或更可靠地，列平均差）之頻率 刀:以判疋與特定光源相關聯之AC電力的頻率。舉例 二 關於圖59 ’影像感測器之整合時間可基於時間U、 及t4(例如，使得整合在對應於展現變化之照明源通 處於相同凴度等級時的時間發生）。 實知例中，可指定明度列總和視窗，且針對彼視窗 158465.doc •124· 201216207 内之像素來報告統計678。藉由實例，針對1080p HD視訊 俘獲’在假設1024像素高之視窗的情況下，產生256個明 度列總和（例如，歸因於藉由邏輯586之按比例縮小，每隔 四個列有—個總和），且可藉由1 8個位元來表達每一累積 值（例如’高達每列1024個樣本的8位元camY值）。 圖51之3A統計收集邏輯468亦可藉由自動聚焦統計邏輯 680提供自動聚焦（AF)統計682的收集。在圖60中提供更詳 細地展示AF統計邏輯680之實施例的功能方塊圖。如圖所 〇 不’ AF統計邏輯680可包括水平濾波器684及應用於原本拜 耳RGB(未被降取樣）的邊緣偵測器686、對來自拜耳之γ的 兩個3 χ3濾波器688 ’及對camY的兩個3 x3濾波器690。一 般而言’水平濾波器684每色彩分量提供一精細解析度統 计，3x3濾波器688可對BayerY(施加有3x1變換（邏輯687) 的拜耳RGB)提供精細解析度統計，且3χ3濾波器69〇可對 camY提供較粗略之二維統計（因為camY係使用按比例縮小 之拜耳RGB資料（亦即，邏輯63〇)而獲得）。此外，邏輯68〇 〇 可包括用於整數倍減少取樣（decimate)拜耳RGB資料（例 如，2x2平均化、4x4平均化等等）之邏輯7〇4，且經整數倍 減少取樣之拜耳RGB資料705可使用3x3濾波器706予以濾 波以產生經整數倍減少取樣之拜耳RGB資料的經濾波輸出 708。本實施例提供16個統計視窗。在原始圖框邊界處， 針對AF統計邏輯680之濾波器而複製邊緣像素。下文更詳 細地描述AF統計邏輯680之各種、纟且件。 首先，水平邊緣偵測程序包括針對每一色彩分量、 158465.doc •125· 201216207
Gr、Gb、B)應用水平濾波器684，繼之以對每一色彩分量 應用可選邊緣偵測器686。因此，取決於成像條件，此組 態允許AF統計邏輯680設置為無邊緣偵測（例如，邊緣偵測 器停用）之高通濾波器，或者，設置為繼之以邊緣偵測器 (例如，邊緣偵測器啟用）的低通濾波器。舉例而言，在低 光條件下，水平濾波器684可能更易受雜訊影響，且因 此，邏輯680可將水平濾波器組態為繼之以啟用之邊緣偵 測器686的低通濾波器。如圖所示，控制信號694可啟用或 停用邊緣偵測器686。來自不同色彩通道的統計用以判定 聚焦方向以改良清晰度，此係因為不同色彩可以不同深度 聚焦。詳言之，AF統計邏輯680可提供用以使用粗略與精 細調整之組合（例如，至透鏡之焦距）來啟用自動聚焦控制 的技術。下文另外詳細地描述此等技術之實施例。 在一實施例中，水平濾波器可為7分接頭濾波器，且可 在方程式41及42中定義如下： out(i)=(af_horzfilt_coeffl〇] * (in(i-3)+in(i+3))+af_horzfilt_coefT(l] *(in(i-2)+in(i+2)) + -一 (41) af_horzfilt_coeff[2] * (in(i-l)+in(i+l))+af_horzfilt_coeffl3]*in(i)) out(i)=max(-255, min(255, out(i))) (42) 此處，每一係數 af_horzfilt_coeff[0:3]可在範圍[-2, 2] 中，且i表示R、Gr、Gb或B之輸入像素索引。可在分別 為-255及255之最小值與最大值之間裁剪經濾波輸出 out(i)(方程式42)。可每色彩分量獨立地定義濾波器係數。 158465.doc -126- 201216207 可選之邊緣偵測器686可遵循水平濾波器684之輸出。在 一實施例中，邊緣偵測器686可定義為： edge(i)=abs(-2*out(i-l)+2*out(i+l))+abs(-out(i-2)+out(i+2)) (43) edge(i)=max(0, min(255, edge(i))) (44) 因此，邊緣偵測器686在啟用時可基於當前輸入像素i之 每一側上的兩個像素而輸出一值，如藉由方程式43所描 0 繪。可將結果裁剪至介於0與255之間的8位元值，如方程 式44所示。 取決於是否偵測到邊緣，像素濾波器（例如，濾波器684 及偵測器686)之最終輸出可選擇為水平濾波器684之輸出 抑或邊緣 <貞測器686之輸出。舉例而言，如方程式45所 示，若偵測到邊緣，則邊緣偵測器686之輸出可為 edge(i)，或若未谓測到邊緣，則邊緣伯測器686之輸出可 為水平遽波器輸出〇ut(i)的絕對值。 〇 edge(i)=(af_horzfilt_edge_detected) ? edge(i) : abs(out(i)) (45) 針對每一視窗，累積值edge_sum[R，Gr, Gb，B]可選擇為 (1)遍及視窗之每一像素之edge(j,i)的總和，抑或（2)遍及視 窗中之線所求和的在視窗中跨越一線之edge(i)的最大值 max(edge)。在假設4096x4096個像素之原始圖框大小的情 況下，儲存edge_sum[R, Gr, Gb，B]之最大值所需的位元之 數目為30個位元（例如，每像素8個位元，加上覆蓋整個原 158465.doc •127- 201216207 始影像圖框之視窗的22個位元）。 如所論述，用於camY明度之3x3濾波器690可包括應用 於camY的兩個可程式化3x3濾波器（被稱為F0及F1)。濾波 器690之結果轉至平方函數抑或絕對值函數。該結果係針 對兩個3x3濾波器F0及F1遍及給定AF視窗而累積，以產生 明度邊緣值。在一實施例中，在每一 camY像素處之明度 邊緣值定義如下：
edgecamY_FX(j,i)=FX * camY (46)" =FX(0,0) * camY 〇-1, i-l)+FX(0,l) * camY (j-1, i)+FX(0^) * camY 〇-l, i+1) + FX(1,0) * camY Q, i-l)+FX(l,l) * camY (j, i)+FX(l,2) * camY (j, i+1) + FX(2,0) * camY (j+1, i-l)+FX(2,l) * camY (j+1, i)+FX(2,2) * camY(j+l, i+1) edgecamY_FX(j,i)=f(max(-255, min(255, edgecamY_FX(j,i)))) (47) _ f(a) =aA2 或 abs ⑻ 其中FX表示3x3可程式化濾波器F0及FI，其中有正負號係 數在範圍[-4, 4]中。索引j及i表示camY影像中之像素位 置。如上文所論述，對camY之濾波器可提供粗略解析度 統計，此係因為camY係使用按比例縮小（例如’ 4x4至1)之 拜耳RGB資料而導出。舉例而言，在一實施例中，濾波器 F0及F1可使用Scharr運算子予以設定，Scharr運算子提供 優於Sobel運算子的改良之旋轉對稱，下文展示其一實 例： ’-3 0 3' --3 -10 -3' F0 = -10 0 10 Fl = 0 0 0 -3 0 3 3 10 3 158465.doc -128· 201216207 針對每一視窗，藉由遽波器690判定之累積值 700(edgecamY_FX—sum(其中 FX=F0 及 F1))可選擇為（1)遍及 視窗之每一像素之edgecamY_FX(j，i)的總和’抑或（2)遍及 視窗中之線所求和的在視窗中跨越一線之edgecamY_FX(j) 的最大值。在一實施例中，當f(a)設定為aA2以提供具有較 精細解析度之「較尖峰的」（peakier)統計時，edgecamY JFX_sum可飽和至32位元值。為了避免飽和，可設定原始 圖框像素中之最大視窗大小X*Y，使得其不超過總共 0 1024x1024個像素（例如，亦即，Χ*Υ <=1048576個像素）。 如上文所提及，f(a)亦可設定為絕對值以提供更線性的統 計。 對拜耳Y之AF 3x3濾波器688可以與camY中之3x3濾波器 類似的方式予以定義，但其應用於自拜耳四元組（2x2個像 素）所產生的明度值Y。首先，將8位元拜耳RGB值轉換至 Y(其中可程式化係數在範圍[0，4]中）以產生經白平衡之Y 值，如下文在方程式48中所示： 〇 bayerY=max(0, min(255, bayerY_Coeff[0] * R+bayerY_Coeff[l] * (Gr+Gb)/2+ (48) 一 一 bayerY_Coeff[2] * Β» 如同用於camY之濾波器690，用於BayerY明度之3x3濾 波器688可包括應用於B ay erY的兩個可程式化3 X 3濾、波器 (被稱為F0及F1)。濾波器688之結果轉至平方函數抑或絕 對值函數《該結果係針對兩個3 x3濾波器F0及F1遍及給定 AF視窗而累積，以產生明度邊緣值。在一實施例中，在每 158465.doc -129- 201216207 一 bayerY像素處之明度邊緣值定義如下：
edgebayerY_FX(j,i)=FX * bayerY (49) 一 =FX(0,0) A bayerY (j-1, i-l)+FX(0,l) * bayerY (j-1, i)+FX(0,2) * bayerY (j-1, i) + FX(1,0) * bayerY 〇, i-l)+FX(l,l) A bayerY 〇, i)+FX(l,2) * bayerY (j-1, i) + FX(2,0) * bayerY Q+ί, i-l)+FX(2,l) * bayerY (j+1, i)+FX(2,2) * bayerY 〇+l, i) edgebayerY_FX(j,i)=f(max(-255, min(255, edgebayerY_FX(j,i)))) (50) ' f(a) =aA2 或 abs(a) 其中FX表示3x3可程式化濾波器FO及FI，其中有正負號係 數在範圍[-4，4]中。索引j及i表示bayerY影像中之像素位 置。如上文所論述’對拜耳Y之渡波器可提供精細解析度 統計，此係因為藉由AF邏輯680接收之拜耳RGB信號未被 整數倍減少取樣。僅藉由實例，可使用以下濾波器組態中 之一者來設定濾波器邏輯688的濾波器F0及F 1 : —1 — 1 一 1 -6 1〇 6 _ '〇 -10' —1 8 — 1 10 0 -10 -12 0 —1 — 1 一 1 6-1〇 -6 .〇 0 0 針對每 一視窗 ，藉 由濾波 器 688判定之 702(edgebayerY _FX_sum(其中 FX=F0及 F1))可選擇為（1)遍 及視窗之每一像素之edgebayerY_FX(j，i)的總和，抑或（2) 遍及視窗中之線所求和的在視窗中跨越一線之 edgebayerY_FX(j)的最大值。此處，當f(a)設定為時， edgebayerY _FX_sum可飽和至32位元。因此，為了避免飽 和，應設定原始圖框像素中之最大視窗大小X*Y ,使得其 不超過總共512><512個像素（例如，Χ*Υ<=262144)。如上文 158465.doc -130- 201216207 所論述，將f(a)設定為aA2可提供較尖峰的統計，而將f(a) 設定為abs(a)可提供更線性的統計。 如上文所論述，針對16個視窗收集AF之統計682。該等 視窗可為任何矩形區域，其中每一尺寸為4個像素之倍 數。因為每一濾波邏輯688及690包括兩個濾波器，所以在 一些例子中，一濾波器可用於遍及4個像素之正規化，且 可經組態以在垂直及水平方向兩者上濾、波。此外，在一些 實施例中，AF邏輯680可藉由亮度來正規化AF統計。此可 〇 藉由將邏輯區塊688及690之濾波器中之一或多者設定為旁 通濾波器而實現。在某些實施例中，視窗之位置可限定為 4個像素之倍數，且視窗被准許重疊。舉例而言，一視窗 可用以獲取正規化值，而另一視窗可用於額外統計（諸 如，方差），如下文所論述。在一實施例中，AF濾波器（例 如，684、688、690)可能不在影像圖框之邊緣處實施像素 複製，且因此，為了使AF濾波器使用所有有效像素，可設 定AF視窗，使得其各自為來自圖框之頂部邊緣的至少4個 〇 像素、來自圖框之底部邊緣的至少8個像素，及來自圖框 之左側/右側邊緣的至少12個像素。在所說明之實施例 中，可針對每一視窗收集及報告以下統計： 用於Gr之32位元edgeGr_sum 用於R之32位元edgeR_sum 用於B之32位元edgeB_sum 用於Gb之32位元edgeGb_sum 用於來自filterO(FO)之拜耳之Y的32位元edgebayerY_FO_sum 158465.doc -131 - 201216207 用於來自filterl(Fl)之拜耳之Y的32位元edgebayerY_Fl_suni 用於 filterO(FO)之 camY 的 32 位元 edgecamY_FO_sum 用於 filterl(Fl)之 camY 的 32 位元 edgecamY_Fl_sum 在此實施例中，儲存AF統計682所需的記憶體可為1 6(視 窗）乘以 8(Gr、R、B、Gb、bayerY_F0、bayerY F1、 camY_F0、camY_Fl)乘以 32個位元。 因此’在一實施例中，每視窗之累積值可在以下各者之 間選擇：濾波器之輸出（其可組態為預設設定）、輸入像 素，或輸入像素平方。該選擇可針對16個AF視窗中之每一 者而進行’且可應用於給定視窗中的所有8個AF統計（上文 所列出）。此可用以正規化兩個重疊視窗之間的AF分數， 該兩個重疊視窗中之一者經組態以收集濾波器之輸出，且 其中之一者經組態以收集輸入像素總和。另外，為了在兩 個重疊視窗的狀況下計算像素方差，一視窗可經組態以收 集輸入像素總和，且另一視窗可經組態以收集輸入像素平 方總和，由此提供可計算為以下方程式的方差：
Variance=(avg_pixel2)-(avg_pixel)A2 在使用AF統計的情況下，ISP控制邏輯84(圖7)可經組態 以基於粗略及精細自動聚焦「分數」而使用一系列焦距調 整來調整影像裝置（例如’ 30)之透鏡的焦距，以使影像聚 焦。如上文所論述’用於camY之3 X 3濾波器690可提供粗 略統計’而水平濾波器684及邊緣偵測器686可每色彩分量 提供比較精細的統計’而對BayerY之3 X 3瀘、波器688可提供 158465.doc -132- 201216207 對BayerY的精細統計。此外，對經整數倍減少取樣之拜耳 RGB信號705的3x3濾波器706可針對每一色彩通道提供粗 略統計。如下文進一步論述’可基於特定輸入信號之濾波 器輸出值（例如’用於caniY、BayerY、經整數倍減少取樣 之拜耳RGB之濾波器輸出F0&F1的總和，或基於水平/邊 緣偵測器輸出’等等）而計算AF分數。 圖61展示分別描繪表示粗略及精細af分數之曲線7丨2及 714的曲線圖710。如圖所示，基於粗略統計之粗略AF分數 〇 可跨越透鏡之焦距具有更線性的回應。因此，在任何焦點 位置處，透鏡移動可產生可用以偵測影像變得更聚焦抑或 離焦的自動聚焦分數之改變。舉例而言，在透鏡調整之後 粗略AF分數之增大可指示：焦距係在正確方向上（例如， 朝向光學焦點位置）被調整。 然而，隨著接近光學焦點位置，用於較小透鏡調整步進 的粗略AF分數之改變可減小，從而使得難以辨別焦點調整 的正確方向。舉例而言，如曲線圖71 〇上所示，在粗略位 〇 置（CP)CP 1與CP2之間的粗略AF分數之改變係藉由△⑴表 示’其展示自CP1至CP2的粗略之增大。然而，如圖所 示，自CP3至CP4,儘管粗略AF分數之改變其通過最 佳焦點位置（OFP))仍增大，但其相對較小。應理解，沿著 焦距L之位置CP 1 -CP6並不意謂必要地對應於藉由自動聚 焦邏輯沿著焦距所採取的步長。亦即，可存在未圖示之在 每一粗略位置之間所採取的額外步進。所說明之位置cpi· CP6僅意謂展示粗略AF分數之改變可隨著焦點位置接近 158465.doc -133· 201216207 OFP而逐漸減小的方式。 一旦判定OFP之近似位置（例如，基於圖6丨所示之粗略 AF分數’ 〇FP之近似位置可在cP3與cP5之間），隨即可評 估藉由曲線714表示之精細AF分數值以改進焦點位置。舉 例而言，當影像離焦時，精細AF分數可較平坦，使得大透 鏡位置改變不會引起精細AF分數之大改變。然而，隨著焦 點位置接近光學焦點位置（OFP)，精細AF分數可在小位置 調整之情況下清晰地改變。因此，藉由在精細AF*數曲線 714上定位峰值或頂點715，可針對當前影像場景判定 OFP。因此，總而言之，粗略AF分數可用以判定光學焦點 位置之大體附近，而精細AF*數可用以查明該附近内更確 切的位置。 在一實施例中，自動聚焦程序可藉由沿著在位置〇處開 始且在位置L處結束（展示於曲線圖71〇上）之整個可用焦距 獲取粗略AF分數而開始，且判定在各種步進位置（例如， CP1-CP6)處的粗略AF分數。在一實施例中，一旦透鏡之 焦點位置已到達位置L，隨即可在評估各種焦點位置處之 AF分數之前將該位置重設為〇。舉例而言，此可歸因於控 制焦點位置之機械元件的線圈穩定時間。在此實施例中， 在重設為位置0之後，焦點位置可朝向位置匕調整至首先指 示粗略AF分數之負改變的位置，此處，位置cp5相對於位 置CP4展現負改變、45。自位置cp5，焦點位置可在朝向位 置〇之方向上返回時以相對於粗略AF分數調整中所使用之 增量較小的增量（例如，位置FP1、Fp2、Fp3等等）予以調 158465.doc •134- 201216207 整’同時搜尋精細AF分數曲線714中的峰值715。如上文所 論述’對應於精細AF分數曲線714中之峰值715的焦點位置 OFP可為當前影像場景的最佳焦點位置。 應瞭解’在AF分數之曲線712及714中之改變經分析以 定位OFP的意義上，上文所描述之用於定位聚焦之最佳區 域及最佳位置的技術可被稱為「爬山法」（hill climbing)。 此外，儘管粗略AF分數（曲線712)及精細AF分數（曲線71句 之分析被展示為使用相同大小之步進用於粗略分數分析 〇 (例如，CP1與CP2之間的距離）且使用相同大小之步進用於 精細分數分析（例如，FP1與FP2之間的距離），但在一些實 施例中，步長可取決於分數自一位置至下一位置的改變而 變化。舉例而言，在一實施例中，cp3與cp4之間的步長 可相對於0?1與01>2之間的步長而減少，此係因為粗略八卩 分數中之總差量（Ac34)小於自CP1至CP2的差量（δ012)。 在圖62中說明描繪此程序之方法72〇。始於區塊722，沿 者自位置0至位置L(圖61)之焦距針對在各種步進處之影像
=料判定粗略AF分數。此後，在區塊724處，分析粗略AF 分數，且將展現粗略^分數之第一負改變的粗略位置識別 為用於精細AF分數分析的開始點。舉例而[隨後，在區 塊726處’使焦點位置以較小步進返回朝向初始位置〇而步
/進，其中分析在每一步進處之精細AF分數，直至定位AF 分數曲線（例如，圖61之曲線714)中的峰值為止。在區塊 728處’將對應於♦值之焦點位置設定為當前影像場景的 最佳焦點位置。 158465.doc -135- 201216207 如上文所論述，歸因於機械線圈穩定時間，圖62所示之 技術的實施例可經調適以最初沿著整個焦距獲取粗略A F分 數，而非逐個分析每一粗略位置及搜尋最佳聚焦區域。然 而，線圈穩定時間較不重要之其他實施例可以每一步進逐 個分析粗略AF分數’而非搜尋整個焦距。 在某些實施例中，可使用自拜耳RGB資料所導出之經白 平衡明度值來判定AF分數。舉例而言，可藉由以因子2整 數倍減少取樣2x2拜耳四元組（如圖63所示）或藉由以因子4 整數倍減少取樣由四個2 X 2拜耳四元組組成的4 X 4像素區塊 (如圖64所示）而導出明度值γ。在一實施例中，可使用梯 度來判定AF分數。在另一實施例中，可藉由使用Scharr運 异子（其提供旋轉對稱）來應用3 χ3變換同時最小化傅立葉 域中之加權均方角誤差而判定AF分數。藉由實例，下文展 示使用共同Scharr運算子（上文所論述）的對canlY之粗略af 分數之計算： ( -3 0 3' \ r -3 -10 -3' AFScorecoarse =/ -10 0 10 xin +/ 0 0 0 xin \ -3 0 3_ ) \ 3 10 3 ) 其中k表示經整數倍減少取樣之明度γ值。在其他實施例 中’可使用其他3x3變換來計算粗略及精細統計兩者之af 分數。 亦可取決於色彩分量而不同地執行自動聚焦調整，此係 因為光之不同波長可受透鏡不同地影響，其為水平濾、波器 684獨立地應用於每一色彩分量的一原因。因此，甚至在 158465.doc -136- 201216207 透鏡中存在色像差的情況下，仍可執行自動聚焦。舉例而 言，因為在存在色像差時紅色及藍色通常相對於綠色以不 同位置或距離而聚焦，所以每一色彩之相對八1?分數可用以 判定聚焦方向。此在圖65中得以更好地說明，圖65展示透 鏡740之藍色、紅色及綠色通道的最佳焦點位置。如圖所 示，紅色、綠色及藍色之最佳焦點位置係分別藉由參考字 母R、G及Β描繪，每一參考字母對應於一 AF分數，其具有 备剷焦點位置742。通常，在此組態中，將最佳聚焦位置 〇 選擇為對應於綠色分量之最佳焦點位置的位置（此處為位 置G)可為合乎需要的（例如，因為拜耳RGB具有為紅色或 藍色分量之兩倍的綠色分量）。因此，可預期，針對最佳 焦點位置，綠色通道應展現最高的自動聚焦分數。因此’ 基於每一色彩之最佳焦點位置的位置（其中較接近於透鏡 之位置具有較高AF分數），AF邏輯68〇及相關聯之控制邏 輯84可基於藍色、綠色及紅色之相對AF分數來判定聚焦方 向。舉例而言，若藍色通道相對於綠色通道具有較高AF分 數（如圖65所不）’則在不必在自當前位置742之正方向上首 先分析的情況下在負方向上（朝向影像感測器）調整焦點位 置。在一些實施例中，可執行使用色彩相關溫度（cct)的 照明體偵測或分析。 此外，如上文所提及，亦可使用方差分數。舉例而言， 像素總和及像素平方總和值可針對區塊大小（例如，8χ8_ 32x32個像素）而累積，且可用以導出方差分數（例如， (avg—pixel )-(avg_plxei)A2)。方差可經求和以針對每一視 158465.doc -137- 201216207 ^寻到總方差分數。較小區塊大小可用以獲得精細方差分 數，且較大區塊大小可用以獲得較粗略方差分數。 /考圖51之3八統„十邏輯468，邏輯468亦可經組態以收集 分量直方圖750及752。應瞭解，直方圖可用以分析影像中 之像素位準分佈。此針對實施某些功能（諸如，直方圖等 化)可為有用的’其中直方圖資料用以判定直方圖規範(直 方圖匹配)。藉由實例’明度直方圖可用於Μ(例如，用於 調整/設定感測器整合時間），且色彩直方圖可用於AWL 在本實施例中，直方圖針對每—色彩分量可為心、128、 64或32個分格（其中像素之頂部8、7、6及5麻元分別用 以判定分袼），如藉由分格大小⑺⑽㈣所指$。舉例而 言，當像素資料為14位元時，介於〇至6之間的額外按比例 縮放因子及位移可經指定以判定像素資料之哪一範圍（例 如，哪8個位元）經收集以用於統計目的。可如下獲得分格 數目： idx=((pixel-hist_offset)»(6-hist_scale) 在一實施例中，僅在分格索引係在範圍[〇，2Λ(8 BinSize)]中時，才累加色彩直方圖分格： if (idx >=0 && idx < 2A(8-BinSize)) StatsHist[idx] +=Count; 在本實施例中’統s十處理單元12 〇可包括兩個直方圖單 元。此第一直方圖750(Hist0)可經組態以在4χ4整數倍減少 158465.doc -138- 201216207 取樣之後收集像素資料作為統計收集的部分。針對Hist〇， 可使用選擇電路756而將分量選擇為RGB、sRGBlinear、 sRGB或YC1C2。第二直方圖752(Histl)可經組態以在統計 管線之前（在有缺陷像素校正邏輯46〇之前）收集像素資料， 如圖65更詳細地所示。舉例而言，可藉由跳過像素而使用 邏輯760來整數倍減少取樣原始拜*RGB資料（自124所輸 出）（以產生彳5號754)，如下文進一步論述。針對綠色通 道，可在Gr、Gb或Gr及Gb兩者（Gr及Gb計數皆在綠色分格 〇 申累積）之間選擇色彩。 為了使直方圖分格寬度在該兩個直方圖之間保持相同， Histl可經組態以每隔4個像素（每隔一個拜耳四元組）收集 像素資料。直方圖視窗之開始判定直方圖開始累積之第一 拜耳四元組位置。始於此位置，針對Η!st 1水平地及垂直地 跳過每隔一個拜耳四元組。視窗開始位置可為Histl之任何 像素位置，且因此，可藉由改變開始視窗位置來選擇藉由 直方圖計算跳過的像素。Histl可用以收集資料（藉由圖66 中之1112表示），其接近於黑階以輔助區塊462處的動態黑 P白補償。因此，儘管在圖66中展示為與3A統計邏輯468分 離以用於說明性目的，但應理解，直方圖752可實際上為 寫入至記憶體之統計的部分，且可實際上實體上位於統計 處理單元120内。 在本貫施例中，紅色（R)及藍色（B)分格可為2〇位元，其 中綠色（G)分格為21位元（綠色更大以適應HisU中之Gr&Qb 累積）。此允許4160乘3120個像素（12 Mp)之最大圖片大 腦5d〇C -139- 201216207 小。所需之内部圮憶體大小為3 χ256χ20( 1)個位元（3個色彩 分量、256個分格）。 關於記憶體格式，AWB/AE視窗、AF視窗、2]〇色彩直方 圖及分量直方圖的統計可映射至暫存器以允許藉由韌體之 早期存取。在一實施例中，兩個記憶體指標可用以將統計 寫入至記憶體，一個記憶體指標用於發光塊統計674，且 一個記憶體指標用於明度列總和678，繼之以用於所有其 他所收集統計。所有統計寫入至外部記憶體，該外部記憶 體可為DMA記憶體。記憶體位址暫存器可為雙重緩衝的， 使得可對每一圖框指定記憶體中的新位置。 在繼續進行自ISP前端邏輯8〇下游之isp管道邏輯82之詳 細論述之前，應理解，統計處理單元12〇及122中各種功能 邏輯區塊（例如，邏輯區塊460、462、464、466及468)以及 ISP前端像素處理單元130中各種功能邏輯區塊（例如，邏 輯區塊298及300)之配置意欲說明本發明技術之僅一個實 施例。貫際上，在其他實施例中，本文所說明之邏輯區塊 可以不同排序進行配置，或可包括可執行本文並未特定地 描述之額外影像處理功能的額外邏輯區塊。此外，應理 解，在統計處理單元（例如，12〇及122)中所執行之影像處 理操作（諸如，透鏡遮光校正、有缺陷像素偵測/校正及黑 階補償）執行於統計處理單元内以用於收集統計資料之目 的。因此，對藉由統計處理單元接收之影像資料所執行的 處理操作實際上未反映於自ISp前端像素處理邏輯輸出 且轉遞至ISP官道處理邏輯82之影像信號i 〇9(FEpr〇c〇ut) 158465.doc -140- 201216207 中。 ，在繼續之4，亦應注意，在足夠處理時間及在本文所描 述之各種操作之處理要求中許多要求之間的類似性的情況 下有可月b重新組態本文所示之功能區&而以依序方式而 非S線本質來執行影像處理。應理解，此情形可進—步減 少整體硬體實施成本，而且亦可增大至外部記憶體之頻寬 (例如，以快取/儲存中間結果/資料）。 ISP管線（「管」）處理邏輯 〇 已在上文詳細地描述了1端邏輯80，本論述現將會 將焦點移至ISP管道處理邏輯82。通常，ISp管道邏輯82之 功此係接收原始影像資料（其可自lsp前端邏輯8〇提供或自 記憶體1〇8擷取），及執行額外影像處理操作（亦即’在將影 像資料輸出至顯示裝置28之前）。 在圖67中描繪展示ISP管道邏輯82之一實施例的方塊 囷。如所說明，ISP管道邏輯82可包括原始處理 邏輯900、 RGB處理邏輯902及YCbCr處理邏輯904。原始處理邏輯 〇 900可執行各種影像處理操作，諸如有缺陷像素偵測及校 正、透鏡遮光校正、解馬赛克，以及施加用於自動白平衡 之增益及/或設定黑階’如下文將進一步論述。如本實施 例所示，至原始處理邏輯9〇〇之輸入信號908可為來自ISP 前端邏輯80之原始像素輸出109(信號FEProcOut)或來自記 憶體108的原始像素資料112，此取決於選擇邏輯906的當 前組態。 由於執行於原始處理邏輯900内之解馬賽克操作，影像 158465.doc .141. 201216207 信號輸出910可處於RGB域中，且可隨後轉遞至RGB處理 邏輯902。舉例而言，如圖67所示，RGB處理邏輯902接收 信號916，信號916可為來自記憶體108之輸出信號910或 RGB影像信號912，此取決於選擇邏輯914的當前組態。 RGB處理邏輯902可提供各種RGB色彩調整操作，包括色 彩校正（例如，使用色彩校正矩陣）、用於自動白平衡之色 彩增益的施加，以及全域色調映射，如下文將進一步論 述。RGB處理邏輯904亦可提供RGB影像資料至YCbCr(明 度/色度）色彩空間之色彩空間轉換。因此，影像信號輸出 918可處於YCbCr域中，且可隨後轉遞至YCbCr處理邏輯 904 ° 舉例而言，如圖67所示，YCbCr處理邏輯904接收信號 924，信號924可為來自RGB處理邏輯902之輸出信號918或 來自記憶體108的YCbCr信號920，此取決於選擇邏輯922 的當前組態。如下文將更詳細地論述，YCbCr處理邏輯 904可在YCbCr色彩空間中提供影像處理操作，包括按比 例縮放，色度抑制，明度清晰化，亮度、對比度及色彩 (BCC)調整，YCbCr伽瑪映射，色度整數倍減少取樣等 等。YCbCr處理邏輯904之影像信號輸出926可發送至記憶 體108，或可自ISP管道處理邏輯82輸出為影像信號114(圖 7)。影像信號Π4可發送至顯示裝置28(直接抑或經由記憶 體108)以供使用者檢視，或可使用壓縮引擎（例如，編碼器 118)、CPU/GPU、圖形引擎或其類似者進一步處理。 根據本發明技術之實施例，ISP管道邏輯82可支援呈8位 158465.doc -142- 201216207 元、10位元、12位元或14位元之原始像素資料的處理。舉 例而言，在一實施例中，8位元、10位元或12位元輸入資 料可在原始處理邏輯900之輸入端處轉換為14位元，且原 始處理及RGB處理操作可以14位元精確度執行。在後面的 實施例中，14位元影像資料可在RGB資料轉換至YCbCr色 彩空間之前降取樣至10位元，且YCbCr處理（邏輯904)可以 10位元精確度執行。 為了提供藉由ISP管道處理邏輯82所提供之各種功能的 0 全面描述，下文將依序地論述原始處理邏輯900、RGB處 理邏輯902及YCbCr處理邏輯904，以及用於執行可在邏輯 900、902及904之每一各別單元中實施的各種影像處理操 作之内部邏輯中的每一者，以原始處理邏輯900開始。舉 例而言，現參看圖68，根據本發明技術之一實施例，說明 展示原始處理邏輯900之一實施例之更詳細視圖的方塊 圖。如圖所示，原始處理邏輯900包括增益、位移及箝位 (GOC)邏輯930、有缺陷像素偵測/校正（DPDC)邏輯932、 〇 雜訊減少邏輯934、透鏡遮光校正邏輯936、GOC邏輯938 及解馬賽克邏輯940。此外，儘管下文所論述之實例假設 使用具有該（等）影像感測器90之拜耳彩色濾光片陣列，但 應理解，本發明技術之其他實施例亦可利用不同類型的彩 色淚光片。 輸入信號908(其可為原始影像信號）首先藉由增益、位 移及箝位（GOC)邏輯930接收。GOC邏輯930可相對於ISP前 端邏輯80之統計處理單元120的BLC邏輯462提供類似功能 158465.doc -143- 201216207 士可以類似方式實施’如上文在圖37中所論述。舉例而 言’ GOC邏輯930可針對拜耳影像感測器之每—色彩分量 R B、Gr及Gb獨立地提供數位增益、位移及箝位（裁剪）。 特定言之，GOC邏輯93〇可執行自動白平衡或設定原始影 像資料之黑階。此外，在一些實施例中，g〇c邏輯93〇亦 可用以校正或補償在Gr色彩分量與Gb色彩分量之間的位 移。 在運舁中，當前像素之輸入值首先位移有正負號之值且 乘以增益。此運算可使用上文之方程式_示之公式來執 行，其中X表示針對給定色彩分量R、B、Gr或〇1?之輸入像 素值，0[c]表示針對當前色彩分量e的有正負號之16位元 位移，且G[c]表示色彩分量(：的增益值。可先前在統計處 理期間（例如，在ISP前端區塊80中）判定G[c]的值。在一實 知例中’增益G[c]可為具有2個整數位元及14個小數位元 之16位元無正負號數（例如，2 14浮點表示），且可藉由捨 位來施加增益G[c]。僅藉由實例，增益G[c]可具有介於〇至 4X之間的範圍。 來自方程式11之計算像素值γ(其包括增益G[c]及位移 〇[c])接著根據方程式12裁剪至最小值及最大值範圍。如上 文所論述，變數min[c]及max[c]可分別表示針對最小及最 大輸出值的有正負號之16位元「裁剪值」。在一實施例 中’ GOC邏輯930亦可經組態以針對每一色彩分量維持分 別剪裁至高於及低於最大值及最小值範圍之像素之數目的 計數。 158465.doc •144- 201216207 隨後，將GOC邏輯930之輸出轉遞至有缺陷像素偵測及 校正邏輯932。如上文參看圖37(DPDC邏輯460)所論述， 有缺陷像素可歸於多個因素，且可包括「熱」（或洩漏）像 素、「卡點」像素及「無作用像素」，其中熱像素相對於無 缺陷像素展現高於正常的電荷茂漏，且由此可表現為亮於 無缺陷像素，且其中卡點像素表現為始終接通（例如，完 全充電）且由此表現為更亮的，而無作用像素表現為始終 斷開因而，可能需要具有足夠穩固以識別且定址不同類 之失效情形的像素㈣方案。特定言之，與前端卿c 邏輯460(其可僅提供動態缺陷偵測/校正）相比，管邏 輯932可提供固定或靜態缺陷谓測/校正、動態缺陷價測/校 正以及斑點移除。 ❹ 根據本發明所揭示之技術的實施例，藉由DPDC邏輯932 所執行之有缺陷像素校正/债測可針對每一色彩分量（例 、B Gr及Gb)獨立地發生，且可包括用於㈣有缺 陷像^以及用於权正谓測到之有缺陷像素的各種操作。舉
Si 5二一實施例中’有缺陷像素偵測操作可提供靜態 缺陷、、動態缺陷之谓測以及斑點之伯測，斑點可指代可存 在於成像感測器中的電干擾或 由類推，斑點可作為看：光子雜訊)。藉 上，此類似於靜態缺陷可出現於顯干 和像 器)上的方式。此外，如上文所提诸如，電視顯示 又所徒及’在給定時間像夸蛀 動：缺：缺^可取決於相鄰像素中之影像資料的意義丄， 校正被視為動態的。舉例而言，若始終接通為最 I5S465.doc -145· 201216207 大免度的卡點像素之位置係在亮白色為主導之當前影像區 域中’則該卡點像素可能不會被視為有缺陷像素。相反 地，若卡點像素係在黑色或較暗之色彩為主導的當前影像 區域中’則該卡點像素可在藉由DPDC邏輯932處理期間識 別為有缺陷像素且相應地校正。 關於靜態缺陷偵測，比較每一像素之位置與靜態缺陷 表，該靜態缺陷表可儲存對應於已知為有缺陷之像素之位 置的資料。舉例而言，在一實施例中，DpDC邏輯932可監 視有缺陷像素之偵測（例如，使用計數器機構或暫存器）， 且若特定像素被觀測為重複地失效，則彼像素之位置儲存 至靜態缺陷表中。因此，在靜態缺陷偵測期間，若判定當 别像素之位置係在靜態缺陷表中，則將當前像素識別為有 缺陷像素，且替換值得以判定且暫時儲存。在一實施例 中，替換值可為相同色彩分量之先前像素（基於掃描次序） 的值。替換值可用以在動態/斑點缺陷偵測及校正期間校 正靜態缺陷，如下文將論述。另外，若先前像素係在原始 圖框278(圖19)外部，則並不使用其值，且可在動態缺陷校 正私序期間权正該靜態缺陷。此外，歸因於記憶體考慮因 素，靜態缺陷表可儲存有限數目個位置輸入項。舉例而 言，在一實施例中，靜態缺陷表可實施為經組態以針對每 兩行影像資料儲存總共16個位置的FIF〇佇列。然而，將使 用先前像素替換值（而非經由下文所論述之動態缺陷偵測 程序）來校正在靜態缺陷表中所定義的位置。如上文所提 及，本發明技術之實施例亦可提供隨時間而間歇地更新靜 158465.doc •146- 201216207 態缺陷表。 實施例可提供待實施於晶片上記憶體或晶片外記憶體中 的靜態缺陷表。應瞭解，使用晶片上實施可增大整體晶片 面積/大小，而使用晶片外實施可減少晶片面積/大小，但 增大記憶體頻寬要求。因此，應理解，靜態缺陷表可取決 於特定實施要求（亦即，待儲存於靜態缺陷表内之像素的 總數目）而實施於晶片上抑或晶片外。 動態缺陷及斑點偵測程序可相對於上文所論述之靜態缺 Ο 陷偵測程序時間移位。舉例而言，在一實施例中，動態缺 陷及斑點偵測程序可在靜態缺陷偵測程序已分析兩個掃描 仃（例如，列）之像素之後開始。應瞭解，此情形允許靜態 缺卩£3之識別及其各別替換值在動態/斑點偵測發生之前被 判定。舉例而言，在動態/斑點偵測程序期間，若當前像 素先前被標記為靜態缺陷，則並非應用動態/斑點偵測操 作，而是使用先前所估定之替換值來簡單地校正靜態缺 陷。
Q 關於動態缺陷及斑點偵測，此等程序可依序地或並行地 發生。藉由DPDC邏輯932所執行之動態缺陷及斑點偵測及 才父正可依賴於使用像素至像素方向梯度的適應性邊緣偵 測。在一實施例中，DpDC邏輯932可選擇當前像素之在原 始圖框278(圖19)内的具有相同色彩分量的八個緊鄰者。換 言之’當前像素及其八個緊鄰者P0、P1、p2、p3、p4、 P5、P6及P7可形成3x3區域，如下文在圖69中所示。 然而，應注意，取決於當前像素p之位置，當計算像素 158465.doc -147- 201216207 至像素梯度時並未考慮在原始圖框278外部的像素。舉例 而言’關於圖69所示之「左頂部」狀況942,當前像素以系 在原始圖框278之左頂部轉角，且因&，並未考慮在原始 圖框278之外部的相鄰像素ρ{)、ρι、p2、p3&p5 ,從而僅 留下像素P4、P6h7(n=3)。在「頂部」狀況944下，當前 像素P係在原始圖框278之最頂邊緣處，且因此，並未考慮 在原始圖框278之外部的相鄰像素ρ〇、ρι&ρ2，從而僅留 下像素P3、P4、P5、；?6及P7(N=5)。接下來，在「右頂 部」狀況946下，當前像素p係在原始圖框278之右頂部轉 角，且因此，並未考慮在原始圖框278之外部的相鄰像素 P〇、PI、P2、p4及P7，從而僅留下像素p3、p5及 P6(N-3)。在「左側」狀況948下，當前像素p係在原始圖 框278之最左侧邊緣處，且因此，並未考慮在原始圖框 之外部的相鄰像素P〇、P3&p5，從而僅留下像素ρι、p2、 P4、P6及 P7(N=5)。 在「中心」狀況950下，所有像素P0_P7處於原始圖框 278内，且由此用於判定像素至像素梯度（N=8)。在「右 側」狀況952下，當前像素p係在原始圖框278之最右側邊 緣處’且因此，並未考慮在原始圖框278之外部的相鄰像 素P2、P4及P7 ’從而僅留下像素ρ〇、ρι、p3、p5及 P6(N=5)。另外，在「左底部」狀況954下，當前像素p係 在原始圖框278之左底部轉角，且因此，並未考慮在原始 圖框278之外部的相鄰像素P〇、P3、P5、P6及P7，從而僅 留下像素PI、P2及P4(N=3)。在「底部」狀況956下，當前 158465.doc -148- 201216207 像素P係在原始圖框278之最底邊緣處，且因此，並未考慮 在原始圖框278之外部的相鄰像素p5、p6&p7，從而僅留 下像素P0、PI、P2、P3及P4(N=5)。最終，在「右底部」 狀況958下，當前像素p係在原始圖框278之右底部轉角， 且因此，並未考慮在原始圖框278之外部的相鄰像素、 P4、P5、P6及P7，從而僅留下像素p〇、p^p3(N=3)。 因此，取決於當前像素P之位置，在判定像素至像素梯 度時所使用之像素的數目可為3、5或8。在所說明實施例 〇 中，針對圖片邊界（例如，原始圖框278)内之每一相鄰像素 (k=0至7) ’像素至像素梯度可計算如下： 僅針對原始圖框内之幻 (51) 另外，平均梯度Gav可計算為當前像素與其周圍像素之 平均值Pav之間的差，如藉由下文之方程式所示： 〇
N 其中N=3、5或8(取決於像素位置) (52a) (52b) = abs{P ~ Pav) 可在判定動態缺陷狀況時使用像素至像素梯度值（方程 式5 1)，且可在識別斑點狀況時使用相鄰像素之平均值（方 程式52a及52b)，如下文進一步論述。 在只施例中，動態缺陷偵測可藉由DPDC邏輯932執行 158465.doc -149- 201216207 如下。§·先，假設，若某一數目個梯度化處於或低於藉由 變數dynTh表示之特定臨限值（動態缺陷臨限值），則像素 有缺陷。因此，針對每一像素，累積處於或低於臨限值 dynTh之在圖片邊界内部的相鄰像素之梯度之數目的計數 (C)臨限值dynTh可為固定臨限值分量與可取決於呈現周 圍像素之「活動」之動態臨限值分量的組合。舉例而言， 在一實施例中，dynTh之動態臨限值分量可藉由基於對平 均像素值Pav(方程式52a)與每一相鄰像素之間的絕對差求 和计鼻咼頻分量值Phf來判定，如下文所說明：
8 N (52c) ，其中 N=3、5或 8 在像素位於影像轉角處（N=3 )或影像邊緣處（N=5 )之例子 中’ Phf可分別乘以8/3或8/5。應瞭解，此情形確保高頻分 里Phf係基於八個相鄰像素（N=8)來正規化。 -旦判定Phf ’隨即可如下文所示而計算動態缺陷谓測臨 限值dynTh : dynTh^dynThj+CdynThzxPhf) , (53) 其中dynTh,表示固定臨限值分量，且其中dynTh2表示動態 臨限值分量，且在方程式53中為Phf的乘數。可針對每一色 彩分量提供不同之固定臨限值分量dynThi，但針對相同色 彩之每一像素，办心卜為相同的。僅藉由實例，可設定 dynTl·^ ’使得其至少高於影像中之雜訊的方差。 158465.doc •150- 201216207 可基：影像之-些特性來判定動態臨限值分量办叫。 舉例而s，在-實施例中，可使用關於曝光及/或感測器 整合時間之所儲存經驗資料來判定办猶”經驗資料可在 影像感測器（例如，9G)之校準期間被判定，且可使可針對 dynTh2所選擇之動態臨限值分量值與多個資料點中的每— 者相關聯。因此，基於當前曝光及/或感測器整合時間值 (其可在ISP前端邏輯8()中之統計處理期間判定），可藉由自 所儲存經驗資料選擇對應於當前曝光及/或感測器整合時 〇 帛冑之動態臨限值分量值來判定dynTh2。另外，若當前曝 光及/或感測器整合時間值並不直接對應於經驗資料點中 之一者，則可藉由内插與當前曝光及/或感測器整合時間 值在其間下降之資料點相關聯的動態臨限值分量值來判定 dynTh2。此外，如同固定臨限值分量dynTh]，動態臨限值 分量dynTh可針對每一色彩分量具有不同值。因此’複合 臨限值dynTh可針對每一色彩分量（例如，R、B、以、仍) 而變化。 r) 如上文所提及，針對每一像素，判定處於或低於臨限值 dynTh之在圖片邊界内部的相鄰像素之梯度之數目的計數 C。舉例而言，針對原始圖框278内之每一相鄰像素，處於 或低於臨限值dynTh之梯度Gk的所累積計數c可計算如 下：
N ^=Σ ((j*<dynTh) » (54) 〇Sh7(僅針對原始圖框内之免) 158465.doc -151- 201216207 接下來，若所累積計數⑽戟為小於或等於最大計數 (藉由變數dynMaxC所表示），則像素可被認為係動態缺 陷。在-實施例中’可針對㈣（轉角）、N=5(邊緣）及㈣ 情況來提供dynMaxC的不同值。下文表達此邏輯： (55) 若（C^dynMaxC)，則當前像素p有缺陷 如上文所提及，有缺陷像素之位置可儲存至靜態缺陷表 ▲中。在一些貫施例中’在當前像素之動態缺陷偵測期間所 計算的最小梯度值（min(Gk))可被儲存且可用以排序有缺陷 像素，使得較大之最小梯度值指示缺陷的較大「嚴重度」 且應在校正較不嚴重之缺陷之前在像素校正期間被校正。 在實施例中，像素可能需要在储存至靜態缺陷表中之前 在多個成像圖框之上處理（諸如，藉由隨時間而遽波有缺 陷像素的位置）。在後面的實施例中，僅在缺陷在相同位 置出現於特定數目個連續影像中時，可將有缺陷像素之位 置：存至靜態缺陷表中。此外’在一些實施例中，靜態缺 曰可經組態以基於最小梯度值來排序所儲存的有缺陷像 素位置。舉例而言，最高之最小梯度值可指示較大「嚴重 度」的缺陷。藉由以此方式排序位置’可設定靜態缺陷校 々優先權，使得首先校正最嚴重或重要的缺陷。另外， 靜態缺陷表可隨時間而更新以包括新近積測到的靜態缺 且基於其各別最小梯度值來相應地對其排序。 可與上文所描述之動態缺陷僧測程序並行發生的斑點偵 屬可藉由判定值G a V (方程式5 2 b)是否高於斑點備測臨限值 158465.doc -152· 201216207 spkTh而執行。如同動態缺陷臨限值dynTh，斑點臨限值 spkTh亦可包括固定及動態分量，分別由邛打匕及spkTh2指 代。一般而吕，與dynThj dynTh2值相比可更「主動地」 設定固定及動態分量邛^111及邛1^1112，以便避免錯誤地偵 測在可經更重地紋理化的影像及其他（諸如，文字、植 物、某些織物圖案等）之區域中的斑點。因此，在一實施 例中，動態斑點臨限值分量邛以!^可針對影像之高紋理區 域增大，且針對「較平坦」或更均一之區域減小。可如下 〇 文所示而計算斑點偵測臨限值spkTh : spkTh=spkTh1+(spkTh2xPhf) 其中spkThi表示固定臨限值分量，且其中spkTh2表示動態 L限值分：!：。可接著根據以下表達來判定斑點之偵測： (57) 若⑹v> spkTh) ’則當前像素P為有斑點的 〇 ―旦6朗有缺时素，卿C㈣932隨即可取決於傾 測到之缺陷的類型而應用像素校正操作。舉例而言，若有 缺陷像素被識別為靜態缺陷，則該像素係藉由所儲存之替 換值替換，如上文所論述（例如，相同色彩分量之先前像 素的值)。若像素被識別為動態缺陷抑或斑點，則可如下 執行像素校正。首先，梯度被計算為在中心像素與針對四 ^方向（水平（h)方向、垂直（v)方向、對角正方向㈣及對 角負方向㈣)之第-相鄰像素及第二相鄰像素（例如，方 程式51之6^的計算）之㈣絕龍之總和，如下文所示： 158465.doc •153· 201216207
Gh = Gs + G4 Gv = Gj + G(5 G dp^G 2 + G 5 Gdn^G〇+Gj (58) (59) (60) (61) 接下來，可經 、々问性梯声、 Gdp及Gdn相關聯的兩個相鄰像素之绐 h ' Gv ' 素值Pc。舉例而言’在一實施例中， 疋役正像 達Pc之計算： 文之邏輯鼓述可表 若（min==G；j) 則4=平; 否貝1J 若（minssGv) 則 Ρ<：=Δ^Α ; 否則若（mir^sG^p) 否則若（min==Grf„) (62) p〇+p7 2 藉由DPDC邏輯932所實施之像素校正技術亦可提供在邊 界條件下之例外。舉例而言，若與所選擇之内插方向相關 聯之兩個相鄰像素中的一者係在原始圖框外部，則實情為 取代在原始圖框内之相鄰像素的值。因此，使用此技術， 158465.doc -154- 201216207 才父正像素值將等效於原始圖框内之相鄰像素的值。 應注意，藉由DPDC邏輯932在ISP管道處理期間所應用 之有缺陷像素偵測/校正技術與ISP前端邏輯8〇中的DpDC 邏輯460相比更穩固。如上文之實施例中所論述，DpDc邏 輯460使用僅在水平方向上之相鄰像素僅執行動態缺陷偵 測及校正，而DPDC邏輯932使用在水平及垂直方向兩者上 之相鄰像素提供靜態缺陷、動態缺陷以及斑點的偵測及校 〇 應瞭解使用靜態缺陷表之有缺陷像素之位置的儲存可
提供具有較低之記憶體要求的有缺陷像素之時間濾波。舉 例而言，與儲存全部影像且應用時間濾波以隨時間而識別 靜態缺陷的許多習知技術相比，本發明技術之實施例僅儲 存有缺陷像素的位置（其可通常使用儲存整個影像圖框所 需之記憶體的僅一分數來進行）。此外，如上文所論述， 最小梯度值（min(Gk))之儲存允許優先化校正有缺陷像素之 位置次序(例如，以將最可見之彼等位置開始)的靜態缺陷 另外，包括動態分量（例如，办心匕及邛打、）之臨限值
158465.doc 。舉例而吕，在最小梯度方向上 况下（甚至在錯誤彳貞測之狀況下） -155- 201216207 產生可接受之結果的校正。另外，當前像素p在梯度計算 中之包括可改良梯度偵測之準確度（尤其在熱像素之狀況 下）Ο 藉由DPDC邏輯93 2所實施之上文所論述之有缺陷像素偵 測及校正技術可藉由圖7〇至圖72中所提供的一系列流程圖 來概述。舉例而言，首先參看圖7G，說明用於㈣靜態缺 陷之程序960。最初始於步驟962，在第一時間τ。處接收輸 入像素Ρ。接下來，在步驟964處，比較像素ρ之位置與儲 存於靜態缺陷表中的值。決策邏輯966判^否在靜態缺 陷表中找到像素Ρ之位置。若ρ之位置係在靜態缺陷表;，、 則程：960繼續至步驟968，其中將像素ρ標記為靜態缺陷 、】疋替換值。如上文所論述，替換值可基於相同色彩分 量之先前像素（以掃描次序）的值來射。程序_接著繼續 至步驟970 ’在步驟970處程序_繼續進行至圖7ι所說明 之：態及斑點谓測程序。另外，若在決策邏輯966處， :疋像素P之位置並不在靜態缺陷表中，則程序⑽繼續進 行至步驟970而不執行步驟968。 繼續至圖7卜在時_接收輸入像素p(如藉由步驟· 所不）’以供處理以判定是否存在動態缺陷或斑點。時間 可表不相對於圖70之靜態缺陷谓測程序_的時間移 二貞：斤論述，動態缺陷及斑點偵測程序可在靜態缺 :谓測程序已分析兩個掃描行(例如，列)之像素之後開 ^由此允許在動態/斑點伯測發生之前判定用於識別靜 先、缺陷及其各別替換值的時間。 158465.doc -156- 201216207 Ο
決策邏輯984判定是否先前將輸入像素㈣記為靜離缺陷 (例如，藉由程序_之步驟968)β若將ρ標記為靜竣缺 陷，則程序980可繼續至圖72所示之像素校正程序且可繞 過圖71所示之步驟的剩餘部分。若決策邏輯984判定輸入 像素ρ並非靜態缺陷，則程序繼續至步驟986，且識別可在 動態缺陷及斑點程序中使用的相鄰像素。舉例而言，根據 上文所論述且圖69所說明之實施例，相鄰像素可包括像素 Ρ之緊鄰的8個相鄰者（例如，Ρ〇_ρ7)，由此形成3χ3像素區 域。接下來，在步驟988處，關於原始圖框278内之每二相 鄰像素計算像素至像素梯度，如上文之方程式Η中所描 述另外，平均梯度（Gav)可計算為當前像素與其周圍像素 之平均值之間的差，如方程式52a及52b所示。 程序980接著出現分支至用於動態缺削貞測之步驟_及 用於斑點偵測之決策邏輯998。如上文所提及，在一些實 施例中’動態缺陷㈣及斑點㈣可並行地發生。在步驟 "〇處，判定小於或等於臨限值dynTh的梯度之數目的計數 c。如上文所描述，臨限值办11几可包括固定及動態分量， 且在-實施例中可根據上文之方程式53來判^。若。小於 或等於最大計數dynMaxC，則程序98〇繼續至步驟996，且 將田刖像素標S己為動態缺陷。此後，程序980可繼續至圖 72所示之像素权正程序，下文將論述該像素校正程序。 在步驟988之後返回該分支，針對斑點偵測，決策邏輯 998判疋平均梯度Gav是否大於斑點偵測臨限值邛打匕，該 斑點侦測臨限值啦几亦可包括固定及動態分量。若g"大 158465.doc -157- 201216207 於臨限值spkTh ’則在步驟1〇〇〇處將像素p標記為含有斑 點，且此後，程序980繼續至圖72以用於有斑點像素的校 正。此外’若決策邏輯區塊992及998中之兩者的輸出為 「否」，則此指示像素P不含有動態缺陷、斑點或甚至靜離 缺陷（決策邏輯984)。因此，當決策邏輯992及998之輸出； 為「否」時，程序98G可在步驟994處結束，藉以，像素p 未改變地通過，此係因為未偵測到缺陷(例如，靜態、動 繼續至圖7 2，提供椒始〜， 扠仏根據上文所描述之技術的像素校正程 序1010。在步驟1〇12處，自圖71之程序_接收輸入像素 Ρ。應注意’像素ρ可藉由程序则自步驟984(靜態缺陷） 或自步驟996(動’4缺陷）及！_(斑點缺陷）接收。決策邏輯 ^ 14接著判疋疋否將像素？標記為靜態缺陷。若像素ρ為靜 態缺陷，則程序1010繼續且在步驟1〇16處結束，藉以，使 时步物(圖70)處所判定之替換值來校正該靜態缺陷。 右並未將像素Ρ識別為靜態缺陷，則程序咖自決策 輯1〇14繼續至步驟1018，且計算方向性梯度。舉例而言， 士上文參考方程式58_61所論述梯度可計算為中心像 與針對四個方向（h、v、dpAdn)之第—相鄰像素及第二相 象素之間的絕對差之總和。接下來在步驟I 〇2〇處，熾 :具有最小值之方向性梯度，且此後，決策邏輯贈估二 〆、最小梯度相關聯之兩個相鄰像素中之一者是否位於影像 (例如’原始圖框278)外部。若兩個相鄰像素係在影像 框内’則程序胸繼續至步驟购，且藉由將線性内插 158465.doc • 15S- 201216207 應用於該兩個相鄰像素的值而判定像素校正值（Pc)，如藉 由方程式62所說明。此後，可使用内插像素校正值pc來校 正輸入像素P，如在步驟1030處所示。 返回至決策邏輯1〇22 ’若判定該兩個相鄰像素中之一者 位於影像圖框（例如，原始圖框165)外部，則代替使用外部 像素（Pout)之值，DPDC邏輯932可藉由處於影像圖框内部 之另相鄰像素（ριη)的值來取代pout之值，如在步驟丨〇26 處所示。此後，在步驟1〇28處，藉由内插pin之值及？〇价之 代值來判定像素校正值Pc。換言之，在此狀況下，Pc可 等效於Pin之值。在步驟1〇3〇處結束，使用值Pc來校正像 素p。在繼續之前，應理解，本文參考DPDC邏輯932所論 述之特定有缺陷像素偵測及校正程序意欲僅反映本發明技 術之一可能實施例。實際上，取決於設計及/或成本約 束，多個變化係可能的，且可添加或移除特徵以使得缺陷 偵測/校正邏輯之整體複雜性及穩固性介於實施於isp前端 r 區塊80中之較簡單的偵測/校正邏輯460與此處參考DpDc D 邏輯932所論述的缺陷偵測/校正邏輯之間。 返回參看圖68，經校正之像素資料係自DpDC邏輯932輸 出，且接著藉由雜訊減少邏輯934接收以供進一步處理。 在一實施例中，雜訊減少邏輯934可經組態以實施二維邊 緣適應性低通濾波，以減少影像資料中之雜訊同時維持細 節及紋理。可基於當前照明位準來設定（例如，藉由控制 邏輯84)邊緣適應性臨限值，使得濾波可在低光條件下加 強。此外，如上文關於dynTh及spkTh值之判定簡要地提 158465.doc -159- 201216207 及’可針對給定感測器提前判定雜訊方差使得可將雜訊減 少臨限值設定為剛好高於雜訊方差，使得在雜訊減少處理 期間’在不顯著影響場景之紋理及細節（例如，避免/減少 錯誤偵測）的情況下減少雜訊。在假設拜耳彩色遽光片實 施的情況下’雜訊減少邏輯934可使用可分離之7分接頭水 平滤波器及5分接頭垂直據波器獨立地處理每一色彩分量
Gr、R、B及Gb。在一管尬办丨士 a/ 貫施例中，雜訊減少程序可藉由對 綠色分量（Gb及Gr)校正非均—性， 往且接者執仃水平濾波及 垂直瀘、波而執行。 通常，在給定均-照明之平坦表面的情況下綠色非均 -性（GNU)之特徵為㈣别像素之間的稱微亮度差異。在 不校正或補償此非均一性之情況下，某些假影(諸如，「迷 宮」假影）可在解馬赛克之後出現於全色影像中。在綠色 非均-性程序期間可包括針對原始拜耳影像資料中之每一 ，表色像素判疋在當前綠色像素（⑴）與在當前像素之右側 及下方的綠色像素㈣之間的絕對差是否小於咖校正於 限值（gnUTh)。圖73說明G1及叫象素在拜耳圖案之2X2區域 中的位置如B所不’像素定界⑴之色彩可取決於當前綠 色像素係Gb抑或G增素。舉例而言，細⑽，則⑽ G\在G1右側之像素為R(紅色）’且在G1下方之像素為 B(藍色）。或者，若 '、，則G2係Gr，且在G1右側之像 素為B’而在G ]下方·»挣中、， 象素為R。若G1與G2之間的絕對差 小於圖校正臨限值’則藉由之平均值來替換合 前綠色像素G1，如藉由下文之邏輯所示： 158465.doc • 160 - 201216207 若（abs(Gl-G2)sgnuTh);則 q\-g^ + G2 2 (63) 應瞭解，以此方式應用綠色非均—性校正可幫助防止⑺ 及G2像素跨越邊緣被平均化’由此改良及/或保持清晰 度。 在綠色非均一性校正之後應用水平遽波，且水平遽波可 在-實施例中提供7分接頭水平濾'波器。計算跨越每一滤 波H分接頭之邊緣的梯度，且若其高於水平邊緣臨限值 I’ （horzTh)’則濾波器分接頭摺疊至中心像素，如下文將說 明。水平滤波器可針對每—色彩分量（R、B、Gf、仍)獨立 地處理影像資料，可使用未滤波值作為輸入值。 藉由實例’圖74展示—組水平像素pQjLp6之圓形描緣， 其中中心分接頭位於P3處。基於圖74所示之像素，每一濾 波器分接頭之邊緣梯度可計算如下： (64) (65) (66) (67) (68) (69)
Eh0=abs(P0-Pl) Eh l=abs(P1-P2) Eh2=abs(P2-P3) Eh3=abs(P3-P4) Eh4=abs(P4-P5) Eh5=abs(P5-P6) 邊緣梯度Eh0-Eh5可接著藉由水平較器組件利用來使 用下文在方程式70中所示之公式衫水平渡波輸出^: 158465.doc -161· 201216207
Ph〇K=C〇x [(Eh2 > horzTh[c]) ? P3 : (Ehl > horzTh[c]) ? P2 : (EhO > horzTh[c])?Pl : PO] +
Cl x [(Eh2 > horzTh[c]) ? P3 : (Ehl > horzTh[c]) ? P2 : PI] + C2x [(Eh2 > horzTh[c]) ? P3 : P2] + C3xP3+ (70) C4x [(Eh3 > horzTh[c]) ? P3 : P4] + C5x [(Eh3 > horzTh[c]) ? P3 : (Eh4 > horzTh[c]) ? P4 : P5] + C6x [(Eh3 > horzThfc]) ? P3 : (Eh4 > horzTh[c]) ? P4 : (Eh5 > horzTh[c])?P5 :P6]， 其中horzTh[c]為每一色彩分量c(例如，R、B、Gr及Gb)之 水平邊緣臨限值，且其中C0-C6分別為對應於像素P0-P6的 濾波器分接頭係數。水平濾波器輸出P horz 可施加於中心像 素P3位置處。在一實施例中，濾波器分接頭係數C0-C6可 為具有3個整數位元及13個小數位元的16位元之2補數值 (浮點中之3.1 3)。此外，應注意，濾波器分接頭係數C0-C6 不必相對於中心像素P3對稱。 在綠色非均一性校正及水平濾波程序之後，亦藉由雜訊 減少邏輯934應用垂直濾波。在一實施例中，垂直濾波器 操作可提供5分接頭濾波器，如圖75所示，其中垂直濾波 器之中心分接頭位於P2處。垂直濾波程序可以與上文所描 述之水平濾波程序類似的方式發生。舉例而言，計算跨越 每一濾波器分接頭之邊緣的梯度，且若其高於垂直邊緣臨 限值（vertTh)，則濾波器分接頭摺疊至中心像素P2。垂直 158465.doc -162- 201216207 濾波器可針對每一色彩分量（R、B、Gr、Gb)獨立地處理影 像資料，且可使用未濾波值作為輸入值。 基於圖75所示之像素，每一濾波器分接頭之垂直邊緣梯 度可計算如下：
Ev0=abs(P0-Pl) (71) Evl = abs(Pl-P2) (72) Ev2=abs(P2-P3) (73) Ev3=abs(P3-P4) (74) 邊緣梯度Ev0-Ev5可接著藉由垂直濾波器利用來使用下 文在方程式75中所示之公式判定垂直濾波輸出Pvert :
Pvert=C〇x [(Evl > vertTh[c]) ? P2 : (EvO > vertTh[c]) ? PI : P0] + C1 x [(Evl > vertTh[c]) ? P2 : PI] + C2><P2+ (75) C3 x [(Ev2 > vertThfc]) ? P2 : P3] + C4x [(Ev2 > vertTh[c]) ? P2 : (Eh3 > vertTh[c]) ? P3 : P4] > 其中vertTh[c]為每一色彩分量c(例如，R、B、Gr及Gb)之 垂直邊緣臨限值，且其中C0-C4分別為對應於圖75之像素 P0-P4的濾波器分接頭係數。垂直濾波器輸出卩^{可施加於 中心像素P2位置處。在一實施例中，濾波器分接頭係數 C0-C4可為具有3個整數位元及13個小數位元的16位元之2 補數值（浮點中之3· 13)。此外，應注意，濾波器分接頭係 數C0-C4不必相對於中心像素P2對稱。 158465.doc -163- 201216207 另外’關於邊界條件，當相鄰像素係在原始圖框278(圖 19)之外部時’邊界外像素之值經複製，其中相同色彩像 素之值處於原始圖框的邊緣處。此慣例可針對水平及垂直 濾波操作兩者來實施。藉由實例，再次參看圖74，在水平 濾波之狀況下，若像素P2為在原始圖框之最左側邊緣處的 邊緣像素，且像素P0及P 1係在原始圖框外部，則藉由像素 P2之值來取代像素p〇及p 1的值以用於水平渡波。 再次返回參看圖68所示之原始處理邏輯9〇〇的方塊圖， 雜訊減少邏輯934之輸出隨後發送至透鏡遮光校正（LSC)邏 輯936以供處理。如上文所論述，透鏡遮光校正技術可包 括以每像素為基礎來施加適當之增益以補償光強度之下降 (其可為透鏡之幾何光學的結果）' 製造之不完美性、微透 鏡陣列及彩色陣列濾光片之對準不良，等等。此外，在一 些透鏡中之紅外線（IR)濾光片可使得下降為照明體相依 的，且因此，可取決於偵測到之光源來調適透鏡遮光增 益。 在所描繪實施例中’ ISP管道82之LSC邏輯936可以與ISP 前端區塊80之LSC邏輯464類似的方式實施，且由此提供 大體上相同的功能，如上文參看圖4〇至圖48所論述。因 此，為了避免冗餘，應理解，當前所說明之實施例的[sc 邏輯936經組態而以與LSC邏輯46〇大體上相同的方式操 作，且因而，此處將不重複上文所提供之透鏡遮光校正技 術的描述。然而，為了大體上概述，應理解，LSC邏輯 936可獨立地處理原始像素資料串流之每一色彩分量以判 158465.doc -164· 201216207 疋把加至當前像素的增益。根據上文所論述之實施例，可 基於跨越成像圖框所分佈之一組所界定的增益柵格點來判 疋透鏡遮光权正增益，其中在每一栅格點之間的間隔係藉 由多個像素（例如，8個像素、16個像素等）界定。若當前像 素之位置對應於柵格點，則與彼栅格點相關聯的增益值施 加至當前像素。然而，若當前像素之位置係在柵格點（例 圖43之GO、Gl、G2及G3)之間，則可藉由柵格點（當 前像素位於其間）之内插來計算LSC增益值（方程式13a及 O Ub)。此程序係藉由圖44之程序528來描繪。此外，如上 文關於圖42所提及，在一些實施例中，栅格點可不均勾地 (例如，以對數形式)分佈，使得栅格點較少集中於lsc區 域504的令心，但朝向LSC區域5〇4之轉角更集中，通常在 透鏡遮光失真更顯著之處。 另外，如上文參看圖47及圖48所論述，Lsc邏輯936亦 可施加具有柵格增益值之徑向增益分量。可基於當前像素 距影像中心之距離來判定徑向增益分量(方程式二如 U戶斤提及，使用徑向增益允許針對所有色彩分量使用單一共 同增益栅格，其可極大地減少儲存用於每—色彩分量之單 獨增益拇格所需的總儲存空間。柵格增益資料II減少可 減小實施成本，此係因為柵格增益資料表可佔據影像處理 硬體中之記憶體或晶片面積的顯著部分。 接下來，再次參看圖68之原始處理邏輯方塊圖·，接 著將LSC邏輯936之輸出傳遞至第二増益、位移及籍位 (GOC)區塊938。就邏輯938可在解馬賽克（藉由邏輯區塊 158465.doc •165- 201216207 940)之前被應用，且可用以對Lsc邏輯936之輸出執行自動 白平衡。在所描繪實施例中，G〇C邏輯938可以與G〇c邏 輯93 0(及BLC邏輯462)相同的方式實施。因此，根據上文 之方程式11，藉由GOC邏輯938所接收之輸入首先位移有 正負號的值且接著乘以增益。所得值接著根據方程式Η裁 剪至最小值及最大值範圍。 此後，GOC邏輯938之輸出轉遞至解馬赛克邏輯94〇以供 處理，以基於原始拜耳輸入資料產生全色（rgb)影像。應 瞭解，在每一像素經濾光以僅獲取單一色彩分量之意義 上，使用彩色滅光片陣列（諸如，拜耳濾4片）之影像感測 器的原始輸出A「不完整的」。因此’單獨針對個別像素 所收集之資料不足以判定色彩。因此’解馬赛克技術可用 以藉由針對每—像素内插丟失之色彩資料而自原始拜耳資 料產生全色影像。 現參看圖76，說明提㈣於解馬赛克可應詩原始拜耳 影像圖案刪以產生全色RGB之方式之_般綜述的圖形程 序流程692。如圖所示，原始拜耳影像丨咖之㈣部分刪 可針對每-色彩分量包括單獨通道，包括綠色通道1〇38、 紅色通道1040及藍色通道1〇42d因為拜耳感測器中之每一 成像像素僅獲取-色彩之諸，所以每—色彩通道職、 购及讀之色彩資料可為不完整的，如㈣「？」符號 所指示。藉由應用解馬賽克技術1〇44,可内插來自每一通 道之丢失的色純本。舉例Μ，如H由參考數字1〇46所 示’内插資料G’可用以填充綠色通道上之丢失的樣本。類 158465.doc -166- 201216207 似地，内插資料R'可（結合内插資料G，1046)用以填充紅色 通道上之丟失的樣本（1〇48)，且内插資料B,可（結合内插資 料G，1〇46)用以填充藍色通道上之丢失的樣本（1〇5〇)。因 此，由於解馬赛克程序’每一色彩通道（r、g、b)將具有 組70全的色衫資料，其可接著用以重新建構全色影 像1052 〇 現將根據-實施例描述可#由解馬赛克邏輯94〇實施的 解馬賽克技術。在綠色通道上，可使用低通方向性渡波器 〇#已知的綠色樣本内插丢失的色彩樣本’且使用高通（或 梯度）遽波器對鄰近之色彩通道（例如，紅色及藍色）内插丢 失的色彩樣本。針對紅色及藍色通道，丢失的色彩樣本可 以類似方式内插，但藉由使用低通遽波對已知的紅色或藍 色值進打，且藉由使用高通遽波對共同定位之内插的綠色 值進行此外在-實施例令，對綠色通道之解馬賽克可 f於原本拜耳色彩資料利用5x5像素區塊邊緣適應性遽波 Γ)胃。如τ文將進—步論述，邊緣適應性濾4器之使用可基 U 於水平及垂直遽波值之梯度來提供連續加權，其減少在習 知解馬賽克技術中常見之某些假影（諸如，頻疊、「棋盤 开>」或「彩虹」假影）的出現。 在對綠色通道解馬賽克期間，使用拜耳影像圖案之綠色 像素（Gr及Gb像素）的原本值。，然而，為了獲得綠色通道之 -組完全資料’可在拜耳影像圖案之紅色及藍色像素處内 插綠色像素值。根據本發明技術，首先基於上文所提及之 5x5像素區塊在紅色及藍色像素處計算水平及垂直能量分 158465.doc -167- 201216207 置（刀別稱為Eh及Εν)。Eh及Εν之值可用以自水平及垂直滤 波步驟獲得邊緣加權之濾波值，如下文進一步論述。 藉由實例，圖77說明定中心於5x5像素區塊中於位置（】， )处之紅色像素的Eh及以值之計算，其中』對應於一列且} 對應於一行。如圖所示，Eh之計算考慮5χ5像素區塊之中 間三列CM、j、j + 1)，且以之計算考慮5χ5像素區塊的中 間一行（1-1i、i+1)。為了計算Eh ’乘以對應係數（例如， 針對行i-2及i+2為-1 ;針對行i為2)之紅色行（i_2、i、i+2)中 的像素中之每一者之總和的絕對值與乘以對應係數（例 如’針對行i-Ι為1 ;針對行i+Ι為-1)之藍色行（iq、丨+1)中 的像素中之每一者之總和的絕對值求和。為了計算Εν，乘 以對應係數（例如，針對列j_2及j+2為-1 ;針對列j為2)之紅 色列（j-2、j、j+2)中的像素中之每一者之總和的絕對值與 乘以對應係數（例如’針對列j-Ι為1 ;針對列j + 1為_丨）之藍 色列（j-1、j + Ι)中的像素中之每一者之總和的絕對值求 和。此等計算係藉由下文之方程式76及77說明： £/2=abs[2((P(j-l, i)+P(j, i)+P(j + l, i)) - (76) (P(j-15 i-2)+P(j, i-2)+P(j + l, i-2))-(P(j-15 i+2)+P(j, i + 2)+P(j + l, i + 2)] + abs[(P(j-l, i-l)+P(j, i-l)+P(j + l, i-1))-(P(j-1, i+l)+P(j, i+l)+P(j + l, i+1)] £v=abs[2(P(j, i-l)+P(j, i)+P(j, i+1)) - (77) (P(j-2, i-l)+P(j-2, i)+P(j-2, i+1))- 158465.doc -168 - 201216207 (P(j + 2, i-l)+P(j+2, i)+P(j+2, i+1] + abs[(P(j-l, i-l)+P(j-l, i)+P(j-l, i + 1)). (P(j + 1, i-l)+P(j + l, i)+P(j + l, i+1)] 因此，總能量總和可表達為：Eh+Ev。此外，儘管圖77 所示之實例說明在（j，i)處之紅色中心像素之肋及Ev的計 算，但應理解，可針對藍色中心像素以類似方式判定仙及 Εν值。 o 接下來，可將水平及垂直濾波應用於拜耳圖案以獲得垂 直及水平濾波值Gh及Gv ’其可分別表示在水平及垂直方 向上之内插綠色值。除了使用鄰近色彩（尺或B)之方向性梯 度來在丢失之綠色樣本的位置處獲得高頻信號之外，亦可 對已知的相鄰綠色樣本使用低通濾波器來判定濾波值Gh及
Gv。舉例而言，參看圖78，現將說明用於判定之水平 内插的一實例。
如圖78所示，可在判定Gh時考慮拜耳影像之紅色行1〇6〇 的五個水平像素（R0、G1、R2、〇3及尺4)，其中R2假設為 在G，0處的中心像素。與此等五個像素中之每一者相關聯 的濾波係數係藉由參考數字1〇62指示。因此，用於中心像 素R2之綠色值（稱為G2，）的内插可判定如下： G1 + G3 2 2R2- R0 + R2' ~~2~. 2 R2 + R4' ~~2~. (78) 各種數學運算可接著用以產生在下文之方程式79及80中 所示之G2'的表達： 158465.doc 201216207 g2，_2Gl + 2G3 | 4R2~R0-R2-R2~R4 —~- — - (79) ^G\ + 2G3 + 2R2-R〇-R4 4 (80) 因此，參看圖78及上文之方程式78_8〇，在（j，丨）處之綠 色值之水平内插的一般表達可導出為：
Gh= (2^(Λ/-1) + 2Ρ〇·,/η-1) + 2Ρ(Λ〇-Ρ(/,/-2-> -P(j,i + 2)) 4 ' (81) 垂直濾波分量Gv可以與Gh類似之方式判定。舉例而 言，參看圖79,可在判定Gv時考慮拜耳影像之紅色行1〇64 的五個垂直像素（R0、G1、R2、G3&R4)及其各別濾波係 數1068 ’其中R2假設為在（j，i)處的中心像素。在垂直方向 上對已知的綠色樣本使用低通濾波且對紅色通道使用高通 遽波，可針對Gv導出以下表達： gy _ (^P(j - U 0 + 2P(j +1, j) + 2P(j, j) - P(j - 2, i) - P(j + 2, 〇) 儘管本文所論述之實例已展示綠色值對紅色像素之内 插，但應理解’在方程式8 1及82中所闡述之表達亦可用於 綠色值針對藍色像素的水平及垂直内插中。 可藉由以上文所論述之能量分量（Eh及EV)對水平及垂直 濾波器輸出（Gh及Gv)加權以產生以下方程式而判定中心像 素（j，i)的最終内插綠色值G，： V: Εν
Eh + Ev \Gh +
Eh
Eh + Ev
Gv (83) 158465.doc •170· 201216207 如上文所論述，能量分量Eh及Εν可提供水平及垂直濾波 器輸出Gh及Gv之邊緣適應性加權，其可幫助在經重新建 構之RGB影像中減少影像假影（諸如，彩虹、頻疊或棋盤 形假影）。另外，解馬赛克邏輯94〇可提供藉由將仙及^值 各自没定為1而繞過邊緣適應性加權特徵的選項，使得 及Gv得以相等地加權。 在一實施例中，上文之方程式51所示的水平及垂直加權 係數可經量化以將加權係數之精確度減少至一組「粗略」 〇 值。舉例而言，在一實施例中，加權係數可經量化至八個 可能之權重比：1/8 、 2/8 、 3/8 、 4/8 、 5/8 、 6/8 、 7/8及 8/8。其他實施例可將加權係數量化為丨6個值（例如，1Μ 6 至16/16)、32個值（1/32至32/32)，等等.應瞭解，與使用 全精確度值（例如，32位元浮點值）相比，在判定加權係數 且將加權係數應用於水平及垂直濾波器輸出時，加權係數 之量化可減少實施複雜性。 在其他實施例中’除了判^且使用水平及垂直能量分量 U α將加權係數應用於水平（Gh)及垂直（Gv)濾波值之外本 發明所揭示之技術亦可判定且利用在對角正及對角負方向 上的能量分量。舉例而言，在此等實施例中，亦可在對角 正及對角負方向上應用濾波。爐'波器輸出之加權可包括選 擇兩個最高能量分量，且使用所選擇之能量分量來對其各 別遽波器輸出加權。舉例而言，在假設該兩個最高能量分 量對應於垂直及對角正方向的的情況下，垂直及對角正能 量分量用以對垂直及對角正遽波器輸出加權以判定内插綠 158465.doc -171 ^ 201216207 色=(例如’在拜耳圖案中之紅色或藍色像素位置處）。 傻圖I來，對紅色及藍色通道之解馬賽克可藉由在拜耳影 之藍色像素處内插紅色及藍色值、在拜耳影像圖案 2藍色像素處内插紅色值，且在拜耳影像圖案之紅色像素 處内插藍色值來執行。根據當前論述之技術，可基於已知 =鄰之紅色及藍色像素使用低通遽波且基於共同定位之 、亲色像素值使用高㈣波來内插丢失的紅色及藍色像素 值，該等綠色像素值取決於當前像素之位置可為原本或内 插值（來自上文所論述之綠色通道解馬赛克程序）。因此， 關於此等實施例’應理解’可首先執行丢失之綠色值的内 插，使得-組完整的綠色值(原本及内插值 失之紅色及藍色樣本時可用。 可參看圖80描述紅色及藍色像素值之内插，圖80說明紅 色及藍色解馬賽克可應用於之拜耳影像圖案的各種Μ區 塊’以及可在對綠色通道解馬賽克期間已獲得之内插綠色 值（藉由G·所指定）。首先參考區塊1〇7〇,用於&像素（g") 之内插紅色值R，u可判定如下： (84) 中1〇及12表示内插綠色值，如藉由參考數字1078所 不。類似地，用於Gr像素（Gu)之内插藍色值B，n可判定如 下： (^01 + Α») 4. 1 ~ G，m ~G\ ) 2 ， (85) 158465.doc -172· 201216207 其中G'01及〇,21表示内插綠色值（1078)。 接下來，參考中心像素係Gb像素（Gii)之像素區塊 1072，内插紅色值R'11及藍色值Β’Η可如下文之方程式86及 8 7所示而判定： R\. =fe-±^2i) {2GU -G'o!-^) 2 2 (86) η' =ί&1^.Βη) , (2(^u - G\n-G\2) 2 2 (87) 〇 此外，參考像素區塊1074，紅色值對藍色像素Βιι之内 插可判定如下： R\]=i&Lt3〇2+R20+R22) (4G，U-G'〇〇-G'm~G'7n~G\,) 4 4 ’ (88) 其中G'00、G'〇2、G’u、G’2〇及G’22表示内插綠色值，如藉由 參考數字1080所示。最終，藍色值對紅色像素之内插胃(如 藉由像素區塊1076所示）可計算如下： O , (4G\1-G'00-G'n?-G',n-G\^ 4 4 (89) 儘管上文所論述之實施例依賴於色彩差異（例如，梯度） 用於判定紅色及藍色内插值，但另一實施例可使用色彩二匕 率來提供内插之紅色及藍色值。舉例而言，内插綠色值 (區塊1078及1〇80)可用以獲得拜耳影像圖案之紅色及藍色 像素位置處的色彩比率，且該等比率之線性内插可用以判 定丟失之色彩樣本的内插色彩比率。綠色值（其可為内插 158465.doc -173- 201216207 值或=本值）可乘以内插色彩比率以獲得最終内插色命 值。舉例而言，可根據下文之公式來執行使用色彩: 紅色及藍色像素值的内m方程式90及91展示〜 之紅色及藍色值的内插’方程式92及93展示Gb像素之 及藍色值的内插’方㈣94展示紅色值對藍色像素之内 插，且方程式95展示藍色值對紅色像素的内插： (90)
(當Gu為Gr像素時所内插之R，u:{參丨 VG21 J B，n = Gu ’A、 2 (91)
Ls〇J [G\2 2 (當G„為Gr像素時所内插之B，u) ^ 11 = ^11 ^ Ό 、 太01 + f ^2)Ί J 2 (92)
(當Gu為Gb像素時所内插之r，u) V
G 10 G' 12 (93) (當〇1](為Gb像素時所内插之b， 及 11 = G'" i^oo V i 及。2] + f R2〇] 4. f R22) 、G00 J 、G〇2 夕 ^G，2〇J 广， (對藍色像素Bu所内插之R，n) 158465.doc •174- (94) (95)201216207
Γ Boo) + ^ Ό ^ ^02 + ^ D ^ ^20 + 广， V^oo) ^ 02 J ^^20 > [G' , 4 (對紅色像素Ru所内插之B，u) 一旦已針對來自拜耳影像圖案之每一影像像素内插丢失 之色彩樣本，隨即可組合紅色、藍色及綠色通道中之每一 者之色彩值的完整樣本（例如，圖76之1〇46、1〇48及1〇5〇) 以產生王色RGB影像。舉例而言，返回參看圖49及圖， 原始像素處理邏輯9〇〇之輸出91〇可為呈8、1〇、12或14位 元格式之RGB影像信號。 現參看圖81至圖84，說明說明根據所揭示實施例的用於 解馬賽克原始拜耳影像圖案之程序的各種流程圖。特定言 之’圖81之程序1082描繪將針對給定輸入像素p内插哪些 色彩分量的判定。基於藉由程序1〇82之判定，可執行（例 士藉由解馬赛克邏輯940)用於内插綠色值之程序11 〇〇(圖 82)、用於内插紅色值之程序1112(圖83)或用於内插藍色值 之程序1124(圖84)中的一或多者。 以圖81開始，程序1〇82在步驟1〇84處在接收輸入像素p 時開始。決策邏輯1086判定輸入像素之色彩。舉例而言， 此可取決於拜耳影像圖案内之像素的位置。因此，若p被 識別為綠色像素（例如，Gr4Gb)，則程序1〇82繼續進行至 步驟1088以獲得用於p之内插的紅色及藍色值。此可包括 (例如）分別繼續至圖83及圖84之程序1112及1124。若？被識 別為紅色像素’則程序1082繼續進行至步驟1〇9〇以獲得用 於P之内插的綠色及藍色值。此可包括分別進一步執行圖 158465.doc -175- 201216207 82及圖84之程序1 loo及1124。另外，若P被識別為藍色像 素’則程序1082繼續進行至步驟1〇92以獲得用於P之内插 的綠色及紅色值。此可包括分別進一步執行圖82及圖83之 程序1100及1112。下文進一步描述程序11〇〇、1112及1124 中之每一者。 用於判疋用於輸入像素P之内插綠色值的程序說明 於圖82中且包括步驟1102_m〇。在步驟11〇2處，接收輸入 像素P(例如，自程序1082)。接下來，在步驟11〇4處，識別 形成5x5像素區塊之一組相鄰像素，其中卩為5><5區塊之中 心。此後，在步驟1106處分析像素區塊以判定水平及垂直 能量分量。舉例而言，可分別根據用於計算£11及Ev之方程 式76及77來判定水平及垂直能量分量。如所論述能量分 篁Eh及Εν可用作加權係數以提供邊緣適應性濾波，且因 此，減少某些解馬赛克假影在最終影像中的出現。在步驟 1108處，在水平及垂直方向上應用低通濾波及高通濾波以 判定水平及垂直濾波輸出。舉例而言，可根據方程式8丨及 82來計算水平及垂直濾波輸出Gh及Gv。接下來，程序 1082繼續至步驟1110，在步驟111〇處基於以能量分量Eh& Εν加權之Gh及Gv值來内插内插綠色值G，，如方程式83所 示。 接下來，關於圖83之程序1112，紅色值之内插可始於步 驟1114，在步驟1114處接收輸入像素p(例如，自程序 1082)。在步驟1116處，識別形成3χ3像素區塊之一組相鄰 像素，其中ρ為3 χ 3區塊之中心。此後，在步驟^ 11 8處對 158465.doc -176· 201216207 3 χ 3區塊内之相鄰紅色像素應用低通渡波，且對共同定位 之綠色相鄰值應用高通濾波（步驟丨12〇)，該等綠色相鄰值 可為藉由拜耳影像感測器所俘獲之原本綠色值，或内插值 (例如’經由圖82之程序1100所判定）。可基於低通及高通 遽波輸出來判定用於P之内插紅色值R，，如在步驟1122處 所示。取決於p之色彩，可根據方程式84、86或88中之一 者來判定R/。
關於藍色值之内插，可應用圖84之程序1124。步驟n2 及1128與程序1112(圖83)之步驟1114及1116大體上相同c 在步驟1130處，對3x3内之相鄰藍色像素應用低通濾波， 且在步驟1132處，對共同定位之綠色相鄰值應用高通痛 波，該等綠色相鄰值可為藉由拜耳影像感測器所俘獲之月 本綠色值，或内插值（例如，經由圖82之程序11〇〇所岁 疋）。可基於低通及高通濾波輪出來判定用於p之内插藍自 值B’，如在步驟1134處所示。取決於p之色彩，可根據戈 程式85、87或89中之一者來判定B,。此外，如上文所指 及’可使用色彩差異（方程式84_89)或色彩比率（方程式9〇 95)來判定紅色及藍色值的内插。又，應理解，可首先幸 行丟失之綠色值的㈣，使得一組完整的綠色值(原本石 内插值兩者）在内插丟失之紅色及藍色樣本時可用。舉你 而言，圖82之程序11GG可在分別執行_及圖84之㈣ 1112及1124之前應用於内插所有丟失的綠色樣本。 參看圖85至圖88，提供藉由lsp管道82中之原始像素肩 理邏輯_處理之輯之有色圖式的㈣。_描緣原^ 158465.doc -177- 201216207 影像場景mo，其可藉由成像裝置3〇之影像感測器％俘 獲。圖86展示原始拜耳影像1142，其可表示藉由影像感測 器9〇俘獲之原始像素資料。如上文所提及，習知解馬賽克 技術可能不提供基於影像資料中之邊緣（例如，在兩種或 兩種以上色彩之區域之間的界限）之偵測的適應性滤波， 此情形可能*合S要地在所得的經請建構之全色職影 像中產生假影。舉例而言’圖87展示使用f知解馬赛克技 術所重新建構之RGB影像1144,且可包括假影，諸如，在 邊緣m8處之「棋盤形」假影1146'然而，在比較影像 H44與圖88之刪影像115〇(其可為使用上文所描述之解 馬賽克技術所重新建構之影像的實例）的情況下，可看 出，存在於圖87中之棋盤形假影1146存 現在邊緣㈣處實質上減少。因此，圖“至圖 像意欲說明本文所揭示之解馬賽克技術勝於習知方法的至 少一優點。 L回二看圖67 ,在現已詳盡地描述原始像素處理邏輯 900之操作（其可輸出RGB影像信號91〇)後，本論述現將集 中於描述藉由RGB處理邏輯902對RGB影像信號910之處 理如圖所示，RGB影像信號91〇可發送至選擇邏輯914及/ 或》己L體1 08。RGB處理邏輯9〇2可接收輸入信號916，其 可為來自信號910或來自記憶體1〇8iRGB影像資料（如藉 由信號912所示），此取決於選擇邏輯914之組態。RGB影 像資料9!6可藉由RGB處理邏輯9〇2處理以執行色彩調整操 作，包括色彩校正（例如，使用色彩校正矩陣）、用於自動 158465.doc •178- 201216207 白平衡之色彩增益施加’以及全域色調映射，等等。 在圖89中說明描繪RGB處理邏輯9〇2之實施例之更詳細 視圖的方塊圖。如圖所示，RGB處理邏輯9〇2包括增益、 位移及箝位（GOC)邏輯1160、RGB色彩校正邏輯1162、 GOC邏輯1164、RGB伽瑪調整邏輯，及色彩空間轉換邏輯 1168。輸入信號916首先係藉由增益、位移及箝位（G〇c)邏 輯1160接收。在所說明實施例中，G〇c邏輯116〇可施加增 益以在藉由色彩校正邏輯1162處理之前對R、G或B色彩通 〇 道中之一或多者執行自動白平衡。 GOC邏輯1160可類似於原始像素處理邏輯9〇〇之G〇c邏 輯930，惟處理RGB域之色彩分量而非拜耳影像資料之R、 B、Gr及Gb分量除外。在運算中，當前像素之輸入值首先 位移達有正負號之值〇[c]且乘以增益G[c]，如上文之方程 式11所示，其中c表示R、g及B。如上文所論述，增益G[c] 可為具有2個整數位元及14個小數位元之16位元無正負號 數（例如，2.14浮點表示），且可先前在統計處理（例如，在 ◎ 18?前端區塊8〇卞）期間判定增益G[c]之值。計算像素值 Y(基於方程式11)接著根據方程式12而裁剪至最小值及最 大值範圍。如上文所論述，變數min[c]及max[c]可分別表 示針對最小及最大輪出值的有正負號之16位元「裁剪 值」。在一貫施例中，GOC邏輯11 60亦可經組態以針對每 一色彩分量R、G及B維持分別剪裁至高於及低於最大值及 最小值之像素之數目的計數。 GOC邏輯1160之輸出接著轉遞至色彩校正邏輯1162。根 158465.doc -179- 201216207 據本發明所揭示之技術，色彩校正邏輯1162可經組態以使 用色彩校正矩陣（CCM)而將色彩校正應用於RGB影像資 料。在一實施例中，CCM可為3x3 RGB變換矩陣，但在其 他實施例中亦可使用其他尺寸之矩陣（例如，4x3等等）。 因此，對具有R、G及B分量之輸入像素執行色彩校正的程 序可表達如下： [^' G' 5'] = CCM00 CCM 01 CCM02 CCM10 CCMU CCM12 CCM20 CCM21 CCM22 x[i? G 5] ’ (96) 其中R、G及B表示輸入像素之當前紅色、綠色及藍色值， CCM00-CCM22表示色彩校正矩陣之係數，且R·、G'及B'表 示輸入像素的經校正之紅色、綠色及藍色值。因此，校正 色彩值可根據下文之方程式97-99予以計算： R'= (CCM 00 xR) + (CCM 01 xG) + {CCM 02 x B) (97) G' = (CCM10xR) + (CCM11 x G) + (CCM12x5) (98) B'= (CCM20xR) + (CCM21 x G) + (CCM22xB) (99) 可在ISP前端區塊80中之統計處理期間判定CCM之係數 (CCM00-CCM22)，如上文所論述。在一實施例中，可選 擇針對給定色彩通道之係數，使得彼等係數（例如，用於 紅色校正之CCM00、CCM01及CCM02)之總和等於1，此情 形可幫助維持亮度及色彩平衡。此外，通常選擇係數，使 得正增益施加至經校正之色彩。舉例而言，在紅色校正之 I58465.doc -180- 201216207 情況下，係數CCM00可大於！，而係數ccm〇1&Ccm〇2* 之一者或兩者可小於i。以此方式設定係數可增強所得經 校正R，值中之紅色（R)分量，㈣減去藍色（b)及綠色⑼分 量中之一些。應瞭解，此情形可解決可在原本拜耳影像之 獲取期間發生之色彩重疊的問題，此係因為用於特定有色 像素之經遽光之光的一部分可「滲入」（bleed)至不同色彩 之相鄰像素中。在-實施例中，可將CCM之係數提供作為 具有4個整數位元及12個小數位元之16位元2補數（以浮點 G 表達為4.12)。另外’色彩校正邏輯1162可在所計算之經校 正色彩值超過最大值或低於最小值時提供該等值之裁煎。 刪色彩校正邏輯1162之輸出接著傳遞至另_g〇c邏輯 區塊1164。GOC邏輯1164可以與G〇c邏輯ιΐ6〇相同的方式 予以實施，且因此，此處將不重複所提供之增益、位移及 箝位功能的詳細描述。在一實施例中，在色彩校正之後雇 用GOC邏輯1164可基於經校正色彩值而提供影像資料之自 冑白平衡’且亦可調整紅色對綠色比率及藍色對綠色比率 j 之感測器變化。 接下來，GQC邏輯1164之輸出發送至刪伽瑪調整邏輯 以供進—步處理。舉例而言’咖伽瑪調整邏輯1166 可提供伽瑪校正、色調映射、直㈣匹配料。根據所揭 不實知例’伽瑪調整邏輯1166可提供輸人細值至對應輸 出RGB值之映射。舉例而言，伽瑪調整邏輯可提供一组三 個查找表，R、_分量中之每一者一個表。藉由實例了 每一查找表可經組態以儲存10位元值之256個輸入項，每 158465.doc 201216207 一值表示一輸出位準。表輸入項可均勻地分佈於輸入像素 值之範圍内，使得當輸入值落在兩個輸入項之間時，可線 性地内插輸出值。在一實施例中，可複製尺、〇及8之三個 查找表中的每—者，使得該等查找表被「雙重緩衝」於記 憶體中，由此允許在處理期間使用一個表，同時更新其複 本。基於上文所論述之10位元輸出值，應注意，由於本實 施例中之伽瑪校正程序，14位元RGB影像信號有效地降取 樣至10個位元。 伽瑪調整邏輯1166之輸出可發送至記憶體1〇8及/或色彩 空間轉換邏輯1168。色彩空間轉換（csc)邏輯1168可經組 態以將來自伽瑪調整邏輯1166iRGB輸出轉換為YCbCr格 式，其中Y表示明度分量，Cb表示藍色差異色度分量，且 Cr表不紅色差異色度分量，其中每一者可由於在伽瑪調整 操作期間RGB資料自14位元至1 〇位元之位元深度轉換而呈 1 0位元格式。如上文所論述，在一實施例中，伽瑪調整邏 輯1166之RGB輸出可降取樣至1〇位元且由此藉由csc邏輯 1168轉換為10位元YCbCr值，其可接著轉遞至YCbCr處理 邏輯904，下文將進一步論述此情形。 可使用色彩空間轉換矩陣（CSCM)來執行自RGB域至 YCbCr色彩空間之轉換。舉例而言，在一實施例中， CSCM可為3x3變換矩陣。可根據已知轉換方程式（諸如，
BT.601及BT.709標準）來設定csCM之係數。另外，CSCM 係數可基於輸入及輸出之所要範圍而為彈性的。因此，在 一些貫施例中’可基於在ISP前端區塊8〇中之統計處理期 158465.doc -182- 201216207 間所收集的資料來判定及程式化CSCM係數。 對RGB輸入像素執行YCbCr色彩空間轉換的程序可表達 如下： [Y Cb Cr] = CSCMOO CSCM 01 CSCM02 CSCMIO CSCMU CSCMU CSCM20 CSCM21 CSCM22 ：[i? G B] (100) 其中R、G及B表示呈10位元形式之輸入像素的當前紅色、 綠色及藍色值（例如，如藉由伽瑪調整邏輯1166處理）， 0 CSCM00-CSCM22表示色彩空間轉換矩陣之係數，且Y、
Cb及Cr表示輸入像素之所得明度及色度分量。因此，Y、 Cb及Cr之值可根據下文之方程式101-103予以計算： Y = (CSCMOO xR) + (CSCM01 xG) + {CSCM 02 x B) (1 〇 1 )
Cb = {CSCM\0xR) + (CSCM11 x G) + (CSCMl 2xB) (l〇2)
Cr = (CSCMIO xR) + (CSCM 21 x G) + (CSCM 22 x B) (l〇3) 在色彩空間轉換操作之後，所得YCbCr值可自CSC邏輯 1168輸出作為信號918，其可藉由YCbCr處理邏輯904處 理，如下文將論述。 在一實施例中，CSCM之係數可為具有4個整數位元及12 個小數位元之16位元2補數（4.12)。在另一實施例中，CSC 邏輯1168可經進一步組態以將位移施加至Y、Cb及Cr值中 之每一者，且將所得值裁剪至最小及最大值。僅藉由實 例，在假設YCbCr值呈10位元形式的情況下，位移可 158465.doc -183- 201216207 在-5 12至512之範圍内’且最小值及最大值可分別為〇及 1023。 再次返回參看圖67中之ISP管道邏輯82的方塊圖， YCbCr信號918可發送至選擇邏輯922及/或記憶體1〇8。 YCbCr處理邏輯904可接收輸入信號924，其可為來自信號 918或來自記憶體108之YcbCr影像資料（如藉由信號92〇所 示）’此取決於選擇邏輯922之組態。YCbCr影像資料924可 接著藉由YCbCr處理邏輯904處理以用於明度清晰化、色 度抑制、色度雜訊減少、色度雜訊減少，以及亮度、對比 度及色彩調整’等等。此外’ YCbCr處理邏輯904可提供 在水平及垂直方向兩者上經處理影像資料之伽瑪映射及按 比例縮放。 在圖90中說明描繪YCbCr處理邏輯904之一實施例之更 詳細視圖的方塊圖。如圖所示，YCbCr處理邏輯904包括 影像清晰化邏輯1170、用於調整亮度、對比度及/或色彩 之邏輯1172、YCbCr伽瑪調整邏輯1174、色度整數倍減少 取樣邏輯1176及按比例縮放邏輯1178。YCbCr處理邏輯 904可經組態以使用1平面、2平面或3平面記憶體組態處理 呈4:4:4、4:2:2或4:2:0格式之像素資料。此外，在一實施 例中，YCbCr輸入信號924可提供明度及色度資訊作為1〇 位元值。 應瞭解’對1平面、2平面或3平面之參考指代在圖片記 憶體中所利用之成像平面的數目。舉例而言，以3平面格 式’ Y、Cb及Cr分ι中之母一者可利用單獨的各別記憶體 158465.doc •184- 201216207 平面。以2平面格式，可針對明度分量⑺提供第_平面， 且可針對色度分量⑽及Cr)提供交錯⑶與&樣本的第二平 面:以1平面格式，記憶财之單一平面與明度及色度樣 本父錯。此外’關於4:4:4、12:2及4:2:〇格式，可瞭解， 4:4:4格式指代言玄三個YCbCr分量中之每一者係以相同速率 取樣之取樣格式。以4··2:2袼式，色度分量仉及心係以明 度分量Y之取樣速率之一半次取樣，由此在水平方向上將 色度分量Cb及Cr的解析度減少一半。類似地，4:2 〇格式 〇 在垂直及水平方向兩者上次取樣色度分量Cb及Cr。 YCbCr資訊之處理可發生於在來源緩衝器内所界定之作 用中來源區域内，其中該作用中來源區域含有「有效」像 素資料。舉例而言’參看圖91，說明具有界定於其中之作 用中來源區域1182的來源緩衝器118(^在所說明實例中， 來源緩衝器可表示提供1 0位元值之來源像素的t屯4 1平面 格式。可針對明度（Y)樣本及色度樣本（Cb及Cr)個別地指 定作用中來源區域11 82。因此’應理解，作用中來源區域 〇 11 82可實際上包括用於明度及色度樣本之多個作用中來源 區域。可基於自來源緩衝器之基本位址（〇,〇)丨丨84的位移 來判定用於明度及色度之作用中來源區域1182的開始。舉 例而言，可藉由相對於基本位址11 84之X位移1190及y位移 1194來界定明度作用中來源區域之開始位置（Lm_x， Lm_Y) 11 86。類似地，可藉由相對於基本位址11 84之X位 移1192及y位移1196來界定色度作用中來源區域之開始位 置（Ch_X，Ch_Y) 1188。應注意’在本實例中，分別用於明 158465.doc -185- 201216207 度及色度之y位移丨丨92及π 96可相等。基於開始位置 1186,明度作用中來源區域可藉由寬度1193及高度12〇〇來 界疋，寬度1193及高度1200中之每一者可分別表示在X及y 方向上的明度樣本之數目。另外，基於開始位置⑴8，色 度作用中來源區域可藉由寬度12〇2及高度12〇4來界定，寬 度1202及高度12()4中之每—者可分別表示在X及y方向上的 色度樣本之數目。 圖92進一步提供展示明度i色度樣本之作用中來源區域 可以兩平面格式収之方式的實例。舉例而言如圖所 示γ可藉由由相對於開始位置1186之寬度1193及高度12〇〇 所指定之區域在第—來源緩衝器i副（具有基本位址⑴句 ’界定明度作用中來源區域1182。色度作用中來源區域 謂可界定於第二來源緩衝器m6(具有基本位址】i叫 _ ’作為藉由㈣於開始位置1188之寬度12〇2及高度12〇4 所指定的區域。 記住以上要點且返回參看圖9〇 , Ycbcr信號9M首先藉 由影像清晰化邏輯1170接收。影像清晰化邏輯ιΐ7〇可經組 態以執行圖片清晰化及邊緣增減理以增加影像中的紋理 及邊緣細節。應瞭解’影像清晰化可改良所感知的影像解 析度。然而，it常需要使影像中之現有雜訊並不^貞測為紋 理及/或邊緣，且由此不在清晰化程序期間放大。 據本發明技術，影像清晰化邏輯11 可對_號 之月度（Y)分量使用多尺度不清晰遮罩濾波器執行圖片清 晰化。在—實施射，可提供差異尺度大小之兩個或兩^ 158465.doc 201216207 以上低通高斯濾波器。舉例而言，在提供兩個高斯濾波器 之實施例中，自具有第二半徑（y)之第二高斯滤波器的輪出 減去具有第一半徑（X)之第一高斯濾波器的輸出（例如，高 斯模糊），其中X大於y，以產生不清晰遮罩。另外，亦可 藉由自Y輸入減去高斯濾波器之輸出而獲得不清晰遮罩1 在某些實施例中，技術亦可提供可使用不清晰遮罩執行之 適應性核化臨限值（coring thresh〇ld)比較操作，使得基於 該（等）比較之結果，增益量可加至基本影像，該基本影像 Ο 彳選擇為原本Y輸人影像或高斯濾波器中之—者的輪出， 以產生最終輸出。 參看圖93，說明描繪根據本發明所揭示之技術之實施例 的用於執行影像清晰化之例示性邏輯121〇的方塊圖。邏輯 1210表示可應用於輸入明度影像％之多尺度不清晰濾波 遮罩。舉例而言，如圖所示，Yin係藉由兩個低通高斯遽 波器m2(G1)及1214(G2)接收且處理Q在本實例中，渡波 111212可為3x3錢器，且遽波器1214可為5㈣波器1 U ❿’應瞭解，在額外實施射，亦可使用包括不同尺度之 濾波器的兩個以上高斯渡波器（例如，7χ?、9χ9等應瞭 解，歸因於低通遽波程序，高頻分量（其通常對應於雜; 可自GUG2之輸出移除以產生「不清晰」影像⑹㈣及 ⑴叫4下文㈣述’㈣不清晰輸人影像作為基本影 像允許作為清晰化濾波器之部分的雜訊減少。 3x3冋斯濾波器η12及5 x5高斯濾波器1214可如下文所示 而定義： 158465.doc -187- 201216207
Gl =
Gl, Gl, Gli G\0 Gl, Gli G\ Gl, 256 G2： G22 G22 G22 G22 G22 G22 G2} G2, G2, G22 G22 G2, G20 G2, G22 G22 G2l G2, G2, G22 G22 G22 G22 G22 G22 " ~256 僅藉由實例，高斯濾波器G1及G2之值可在一實施例中 選擇如下： '9 9 9 9 9 9 12 12 12 9 28 28 28' 9 12 16 12 9 28 32 28 9 12 12 12 9 28 28 28 rzo 9 9 9 9 9 256 V/ iLi 256 基於Yin、Glout及G2out，可產生三個不清晰遮罩 Sharpl、Sharp2及Sharp3。Sharpl可被判定為自高斯濾波 器12 1 2之不清晰影像g 1 〇ut減去高斯濾、波器1214之不清晰 影像G2out。因為Sharpl基本上為兩個低通濾波器之間的 差，所以其可稱為「中頻帶」遮罩，此係因為較高頻率之 雜訊分量已在Glout及G2out不清晰影像中被濾出。另外， 可藉由自輸入明度影像Yin減去G2out而計算Sharp2，且可 藉由自輪入明度影像Yin減去G1〇ut而計算Sharp3。如下文 將論述，可使用不清晰遮罩Sharpl、讥訂…及Sharp3來應 用適應性臨限值核化方案。 參考選擇邏輯1216，可基於控制信號UnsharpSel選擇基 本影像。在所說明實施例中，基本影像可為輸入影像Yin 抑或濾波輸出G1 out或G2out。應瞭解，當原本影像具有高 158465.doc • 188 - 201216207 雜訊方差(例如，幾乎與信號 使用原本影像Yin祚+ 樣间）時，在清晰化時 分地提供雜㈣ 可能不會在清晰化期間充 特定臨限值° 。因此’當在輸入影像令偵測到 低、雨u之雜訊含量時’選擇邏輯1216可經調適以選擇 低通滤波輸㈣GUt或G2g_之—者（已自其減少 Ο
雜訊的高頻含量）。在一實施例中，可藉由分析在.前端 區塊8 0中之統計處理㈣所獲取的統計資料㈣定控制俨 號㈣邮61之值以判定影像的雜訊含量。藉由實例，若 輸入如像Ym具有低雜訊含量，使得將可能由於清晰化程 序而不會增加表觀雜訊’則可將輸入影像Yin選擇為基本 料（例如’ UnsharpSel喝。若輸入影像仏被判定為含有 顯著位準之雜訊，使得清晰化程序可放大雜訊，則可選擇 濾波影像Glout或G2out中之一者（例如，分別地，
UnSharpSel=1或2)。因此，藉由應用用於選擇基本影像之 適應性技術，邏輯1210基本上提供雜訊減少功能。 接下來，可根據適應性核化臨限值方案將增益施加至 Sharpl、Sharp2及Sharp3遮罩中之一或多者，如下文所描 述。接下來，可藉由比較器區塊1218、122〇及1222來比較 不清晰值Sharpl、Sharp2及Sharp3與各種臨限值 SharpThdl、SharpThd2 及 SharpThd3(未必分別）。舉例而 a ’總疋在比較器區塊1218處比較Sharp 1值與 SharpThdl。關於比較器區塊1220，可比較臨限值
SharpThd2與Sharpl抑或Sharp2，此取決於選擇邏輯1226。 舉例而言，選擇邏輯1226可取決於控制信號SharpCmp2之 158465.doc -189- 201216207 狀態而選擇Sharp 1或Sharp2(例如，SharpCmp2 = l選擇 Sharpl ; SharpCmp2 = 0選擇 Sharp2)。舉例而言，在一實施 例中，可取決於輸入影像（Yin)之雜訊方差/含量而判定 SharpCmp2的狀態。 在所說明實施例中，設定SharpCmp2及SharpCmp3值以 選擇Sharpl通常為較佳的，除非偵測到影像資料具有相對 低的雜訊量。此係因為係高斯低通濾波器G1及G2之輸出 之間的差之Sharp 1通常對雜訊較不敏感，且由此可幫助減 少 SharpAmtl、SharpAmt2 及 SharpAmt3 值歸因於「有雜 訊」影像資料中之雜訊位準波動而變化的量。舉例而言， 若原本影像具有高雜訊方差，則在使用固定臨限值時可能 不會捕捉到高頻分量中之一些，且由此其可在清晰化程序 期間放大。因此，若輸入影像之雜訊含量係高的，則雜訊 含量中之一些可存在於Sharp2中。在此等情形中， SharpCmp2可設定為1以選擇中頻帶遮罩Sharpl，中頻帶遮 罩Sharpl如上文所論述歸因於為兩個低通濾波器輸出之間 的差而具有減少的高頻含量且由此對雜訊較不敏感。 應瞭解，可藉由選擇邏輯1224在SharpCmp3之控制下將 類似程序應用於Sharpl抑或Sharp3的選擇。在一實施例 中，SharpCmp2及SharpCmp3可藉由預設而設定為1 (例 如，使用Sharpl)，且僅針對識別為具有大體上低之雜訊方 差的彼等輸入影像設定為〇。此情形基本上提供適應性核 化臨限值方案，其中比較值（Sharpl ' Sharp2或Sharp3)之 選擇基於輸入影像之雜訊方差為適應性的。 158465.doc -190- 201216207 基於比較器區塊1218、1220及1222之輸出，可藉由將有 增益之不清晰遮罩應用於基本影像（例如，經由邏輯1216 選擇）而判定清晰化之輸出影像Ysharp。舉例而言，首先 參考比較器區塊1222，比較SharpThd3與藉由選擇邏輯 1224所提供之B輸入，B輸入在本文中應稱為「SharpAbs」 且可取決於SharpCmp3之狀態而等於Sharp 1抑或Sharp3。 若SharpAbs大於臨限值SharpThd3，貝1J將增益SharpAmt3施 加至Sharp3，且所得值加至基本影像。若SharpAbs小於臨 〇 限值SharpThd3，貝|丨可施加衰減增益AU3。在一實施例 中，衰減增益Att3可判定如下： (104) _ SharpAmt3 x SharpAbs SharpThd3 其中，Sharp Abs係Sharp 1抑或Sharp3，如藉由選擇邏輯 1224判定。與完全增益（SharpAmt3)抑或衰減增益（Att3)求 和之基本影像的選擇係藉由選擇邏輯1228基於比較器區塊 1222之輸出執行。應暸解，衰減增益之使用可解決以下情 形：SharpAbs不大於臨限值（例如，SharpThd3)，但儘管如 此影像之雜訊方差仍接近給定臨限值。此情形可幫助減少 清晰與不清晰像素之間的顯著過渡。舉例而言，若在此情 形下在無衰減增益的情況下傳遞影像資料，則所得像素可 表現為有缺陷像素（例如，卡點像素）。 接下來，可關於比較器區塊1220應用類似程序。舉例而 言，取決於SharpCmp2之狀態，選擇邏輯1226可提供 Sharpl抑或Sharp2作為至比較器區塊1220之輸入，比較該 158465.doc -191 - 201216207 輸入與臨限值SharpThd2。取決於比較器區塊1220之輸 出，增益SharpAmt2抑或基於SharpAmt2之衰減增益Att2施 加至Sharp2且加至上文所論述之選擇邏輯1228的輸出。應 瞭解，可以類似於上文之方程式104之方式計算衰減增益 Att2，惟增益SharpAmt2及臨限值SharpThd2係關於 811&印八55(其可選擇為81^印1抑或8113印2)而施加除外。 此後，增益SharpAmtl或衰減增益Attl施加至Sharpl， 且所得值與選擇邏輯1230的輸出求和以產生清晰化之像素 輸出Ysharp(自選擇邏輯1 232)。施加增益SharpAmtl抑或衰 減增益Attl之選擇可基於比較器區塊1218之輸出而判定， 比較器區塊121 8比較Sharp 1與臨限值SharpThdl。又’可 以類似於上文之方程式104之方式判定衰減增益Attl，惟 增益SharpAmtl及臨限值SharpThdl係關於Sharpl而施加除 外。使用該三個遮罩中之每一者所按比例縮放的所得清晰 化像素值加至輸入像素Yin以產生清晰化之輸出Ysharp， 輸出Ysharp在一實施例中可裁剪至10個位元（假設YCbCr處 理以10位元精確度發生）。 應瞭解，與習知不清晰遮蔽技術相比，本發明中所闡述 之影像清晰化技術可提供改良紋理及邊緣的增強同時亦減 少輸出影像中之雜訊。詳言之，本發明技術在如下應用中 係非常合適的：使用（例如）CMOS影像感測器所俘獲之影 像展現不良的信雜比（諸如，使用整合至攜帶型裝置（例 如，行動電話）中之較低解析度相機在低照明條件下所獲 取的影像）。舉例而言，當雜訊方差與信號方差相當時， 158465.doc -192- 201216207 難以使用固定臨限值以用於清晰化，此係因為雜訊分量中 之一些可連同紋理及邊緣一起清晰化。因此，本文所提供 之2術（如上文所論述）可使用多尺度高斯濾波器對來自輸 =办像之雜訊濾波以自不清晰影像（例如，G1 〇价及 提取特徵，以便提供亦展現減少之雜訊含量的清晰化之影 像。 在繼續之前，應理解，所說明之邏輯121〇意欲提供本發 明技術之僅一例示性實施例。在其他實施例中，額外或較 〇 少之特徵可藉由影像清晰化邏輯1170提供。舉例而言，在 一些實施例中，並非施加衰減增益，而是邏輯121〇可僅傳 遞基本值。另外，一些實施例可能不包括選擇邏輯區塊 1224、1226或1216。舉例而言，比較器區塊122〇及1222可 僅分別接收Sharp2及Sharp3值，而非分別接收來自選擇邏 輯區塊1224&i226的選擇輸出。儘管此等實施例可能並未 提供如圖93所示之實施一樣穩固的清晰化及/或雜訊減少 特徵，但應瞭解，此等設計選擇可為成本及/或商業相關 u 約束的結果。 在本實施例中，一旦獲得清晰化之影像輸出Ysharp，影 像清晰化邏輯U70隨即亦可提供邊緣增強及色度抑制= 徵。下文現將論述此等額外特徵中之每一者。首先來看圖 94，根據一實施例說明用於執行可在圖93之清晰化邏輯 1210下游實施的邊緣增強之例示性邏輯1234。如圖所示， 原本輸入值Yin係藉由索貝爾（Sobel)濾波器1236處理以供 邊緣债測。索貝爾濾波器1236可基於原本影像之3χ3像素 158465.doc -193- 201216207 區塊（下文稱為「A」）判定梯度值YEdge，其中Yin為3x3區 塊的中心像素。在一實施例中，索貝爾濾波器1236可藉由 對原本影像資料捲繞以偵測水平及垂直方向上之改變而計 算YEdge。此程序係在下文於方程式1〇5_1〇7中展示。 '1 0 -Γ '1 2 1 ' Sx = 2 0-2 1 0 -1 0 0 0 一 1 — 2 — 1
Gx=Sxx A » (105) Gy=Syx A > (106) YEdge =GxxG » x y (107) 其中Sx及Sy分別表示用於在水平及垂直方向上之梯度邊緣 強度偵測的矩陣運算子，且其中匕及心分別表示含有水平 及垂直改變導出物的梯度影像。因此，將輸出YEdge判定 為05(與0/的乘積。 YEdge接著連同中頻帶Sharpl遮罩一起由選擇邏輯124〇 接收，如上文在圖93中所論述。基於控制信號EdgeCmp， 在比較區塊1238處，比較Sharpl抑或丫別#與臨限值 EdgeThd。可（例如）基於影像之雜訊含量來判定Edge(：mp 之狀態’由此提供用於邊緣偵測及增強的適應性核化臨限 值方案。接下來，可將比較器區塊1238之輸出提供至選擇 邏輯1242，且可施加完全增益抑或衰減增益。舉例而言， 當至比較器區塊123 8之所選擇B輸入（sharp丨或YEdge)高於 158465.doc -194- 201216207 £<1§6丁11(1時，丫££1§6乘以邊緣增益丑(1§6八111卜以判定待施加 之邊緣增強的量。若在比較器區塊1238處之B輸入小於 EdgeThd ’則衰減邊緣增益AttEdge可被施加以避免在邊緣 增強像素與原本像素之間的顯著過渡。應瞭解，可以與上 文之方程式104所示類似的方式來計算AttEdge，但其中 EdgeAmt及EdgeThd係取決於選擇邏輯1240的輸出而施加 至「SharpAbs」（其可為Sharpl或YEdge)。因此，使用增 益（EdgeAmt)抑或衰減增益（AttEdge)所增強之邊緣像素可 〇 加至YSharP(圖93之邏輯1210的輸出）以獲得邊緣增強之輸 出像素Yout，邊緣增強之輸出像素Y〇ut在一實施例中可裁 剪至10個位元（假設YCbCr處理以1〇位元精確度發生）。 關於藉由影像清晰化邏輯1170所提供之色度抑制特徵， 此等特徵可在明度邊緣處使色度衰減。通常，可藉由取決 於自明度清晰化及/或上文所論述之邊緣增強步驟所獲得 的值（YSharp、Y〇ut)施加小於i之色度增益（衰減因子）而執 行色度抑制。藉由實例，圖95展示曲線圖1250，曲線圖
£ I 1250包括表示可針對對應清晰化明度值（YSharp)所選擇之 色度增益的曲線1252。藉由曲線圖125〇所表示之資料可實 施為YSharp值及介於〇與丨之間的對應色度增益（衰減因子） 的查找表。查找表係用以近似曲線1252。針對共同定位於 查找表中之兩個衰減因子之間的Ysharp值，線性内插可應 用於對應於高於及低於當前YSharp值之YSharp值的兩個衰 減因子。此外，在其他實施例中，輸入明度值亦可選擇為 藉由邏輯1210所判定之Shar{)1、Sharp2或Sharp3值中的一 158465.doc -195- 201216207 者（如上文在圖93中所論述），或藉由邏輯1234所判定之 YEdge值（如在圖94中所論述）。 接下來，藉由亮度、對比度及色彩（BCC)調整邏輯1172 來處理影像清晰化邏輯1170(圖90)之輸出。在圖96中說明 描繪BCC調整邏輯1172之一實施例的功能方塊圖。如圖所 示’邏輯1172包括亮度及對比度處理區塊1262、全域色調 控制區塊1264及飽和度控制區塊1266。當前所說明之實施 例提供YCbCr資料以1 〇位元精確度之處理，但其他實施例 可利用不同的位元深度。下文論述區塊1262、1264及1266 中之每一者的功能。 首先參考亮度及對比度處理區塊1262，首先自明度（γ) 資料減去位移YOffset以將黑階設定為零。進行此以確保 對比度調整不會更改黑階。接下來，明度值乘以對比度增 益值以應用對比度控制。藉由實例，對比度增益值可為且 有2個整數位元及1〇個小數位元之12位元無正負號數，由 此提供高達像素值之4倍的對比度增益範圍。此後，可藉 由自明度資料加上（或減去）亮度位移值而實施亮度調整。 藉由實例，本實施例中之亮度位移可為具有介於_512至 + 512之間的範圍之10位元2補數值。此外，應注意，亮度 調整係在對比度調整之後執行，以便避免在改變對比度時 使DC位移變化。此後，將初始Y〇ffset加回至經調整之明 度資料以重新定位黑階。 區塊1264及1266基於Cb&Cr資料之色調特性而提供色彩 調整。如圖所示，位移512(假設1〇位元處理）首先自cb及 158465.doc •196· 201216207
Cr資料減去以將範圍定位至大約零。接著根據以下方程式 來調整色調： (108) (109)
Cbadj=Cb cos(0)+Cr sin(0) » Cradj=Cr cos(0)-Cb sin(0)， 其中Cbadj及Cradj表示經調整之Cb及&值，且其中0表示色 調角度，其可計算如下：
0 = arctan
(110) 以上運算係藉由全域色調控制區塊1264内之邏輯描繪， 且可藉由以下矩陣運算來表示： 'Cbod： ' Ka Kb 'Cb • Cradj， _~Kb Ka Cr ， (111) 其中Ka=cos(0)、Kb=sin(0)，且Θ係在上文於方程式11〇中 定義。 接下來，飽和度控制可應用於Cbadj及Cradj值，如藉由飽 和度控制區塊1266所示。在所說明實施例中，藉由針對cb 及Cr值中之每一者施加全域飽和度乘數及基於色調之飽和 度乘數來執行飽和度控制。基於色調之飽和度控制可改良 色彩再現。色彩之色調可表示於YCbCr色彩空間中，如藉 由圖97中之色輪圖1270所示。應瞭解，可藉由將HSV色彩 空間（色調、飽和度及強度）中之相同色輪移位大約109度而 導出YCbCr色調及飽和度色輪1270。如圖所示，圖1270包 158465.doc -197- 201216207 括表不在0至1之範圍内之飽和度乘數（3)的圓周值，以及 表示Θ(如上文所定義，在介於0至360。之間的範圍内）之角 值。每一 Θ可表示不同之色彩（例如，49。=洋紅色、109〇= 紅色、229。=綠色等）。在特定色調角度0下之色彩的色調 可藉由選擇適當之飽和度乘數S而調整。 返回參看圖96，色凋角度θ(在全域色調控制區塊1264中 所計算）可用作Cb飽和度查找表丨268及&飽和度查找表 1269的索引。在一實施例中，飽和度查找表1268及1269可 含有在自0變化至360。之色調中均勻分佈的256個飽和度值 (例如，第一查找表輸入項處於〇。且最後輸入項處於 360 )，且可經由查找表中之飽和度值恰好在當前色調角 度Θ下方及上方的線性内插而判定在給定像素處的飽和度 值S。藉由將全域飽和度值（其可為針對“及心中之每一者 的全域常數）與所判定之基於色調的飽和度值相乘來獲得 針對Cb及Cr分量中之每一者的最終飽和度值。因此，可藉 由將Cbadj及Cradj與其各別最終飽和度值相乘來判定最終經 校正Cb’及Cr'值’如在基於色調之飽和度控制區塊1266中 所示。 此後，將BCC邏輯1172之輸出傳遞至YCbCr伽瑪調整邏 輯11 74，如圖90所示。在一實施例中，伽瑪調整邏輯11 74 可針對Y、Cb及Cr通道提供非線性映射功能。舉例而言， 輸入Y、Cb及Cr值映射至對應輸出值。又，在假設YCbCr 資料係以ίο位元處理的情況下，可利用内插1〇位元256輸 入項查找表。可提供三個此等查找表，其中γ、Cb& ^通 158465.doc -198- 201216207 道中之每一者有一個查找表。該256個輸入項中之每—者 可均勻地分佈，且輸出可藉由映射至索引之輸出值恰好在 當刖輸入索引上方及下方的線性内插而判定。在一些實施 例中，亦可使用具有1024個輸入項（用於1〇位元資料）之非 内插查找表，但其可具有顯著更大的記憶體要求。應瞭 解，藉由調整查找表之輸出值，YCbCr伽瑪調整功能亦可 用以執行某些影像濾波器效應，諸如黑白、棕色色調、負 影像、曝曬等等。 、
接下來，色度整數倍減少取樣可藉由色度整數倍減少取 樣邏輯1176應用於伽瑪調整邏輯1174的輸出。在一實施例 中色度整數倍減少取樣邏輯117 6可經組態以執行水平整 數倍減少取樣而將YCbCr資料自4:4:4格式轉換至4:2:2 = 式，其中色度（Cr及Cr)資訊係以明度資料之半速率次取 樣。僅藉由實例，可藉由將7分接頭低通濾波器（諸如，半 頻帶蘭索士（lanczos)濾波器）應用於一組7個水平像素而執 行整數倍減少取樣，如下文所示： CO X in(i - 3) + Cl X in(i - 2) + C2 x in{i -1) + C3 x in(i) + n„t -x+ Ο + C5xin(j + 2) + C6xin(j + Tt ， （1”、 其中in(i)表示輸入像素（Cb或Cr)，且〇〇<6表示7分接頭濾 波之濾波係數。每一輸入像素具有獨立的濾波器係數 (C0-C6)，以允許色度濾波樣本之彈性相位位移。 此外，在一些例子中，色度整數倍減少取樣亦可在無濾 158465.doc -199- 201216207 波之情況下執行。當來源影像最初以4:2:2格式接收但升取 奴至4:4:4格式以供YCbCr處理時，此可為有用的。在此狀 况下，所得的經整數倍減少取樣之4:2:2影像與原本影像相 同。 隨後自色度整數倍減少取樣邏輯11 76所輸出之YCbCr 資料可在自YCbCr處理區塊9〇4輸出之前使用按比例縮放 邏輯1178來按比例縮放。按比例縮放邏輯11 78之功能可類 似於在别端像素處理單元13G之分格化儲存補償滤波器綱 中的按比例縮放邏輯368、37〇之功能性，如上文參看_ 斤淪述舉例而言，按比例縮放邏輯1178可執行水平及垂 直按比例縮放作為兩個步驟。在一實施例中，5分接頭多 相；慮波器可用於垂直按比例縮放，且9分接頭多相渡波器 可用於水平按比例縮放。多分接頭多相滤波器可將自來源 —斤選擇之像素乘以加權因子（例如，滅波器係數），且 接著對輸出求和以形忐g & 4成目的地像素。所選擇之像素可取決 二田⑴“位置及濾波器分接頭之數目而選擇。舉例而 =在垂直5分接頭攄波器之情況下，當前像素之每—垂 器：個:：像素可被選擇’且在水平9分接頭據波 被選：U ““象素之每一水平侧上的四個相鄰像素可 小數位置^係數可自查找表提供，且可藉由當前像素間 J歎位置判疋。接菩白 妨m 7 者自⑽&處理區塊9〇4輸出按比例 放邏輯1178之輸出926。 1j細 返回至圖67，經處理 ⑽，或可作為* #卜 號9 2 6可發送至記憶體 Ί L唬1U自ISP管道處理邏輯82輸出至 158465.doc •200· 201216207 顯示硬體（例如’顯示器28)以供使用者檢視，或至壓縮引 擎（例如，編碼器118)。在一些實施例中，影像信號114可 藉由圖形處理單元及/或壓縮引擎進一步處理，且在解壓 縮且提供至顯示器之前被儲存。另外，一或多個圖框緩衝 器亦可被提供以控制輸出至顯示器之影像資料的緩衝，尤 其關於視訊影像資料。 應理解’僅藉由實例在本文中提供上文所描述且尤其與 有缺陷像素偵測及校正、透鏡遮光校正、解馬賽克及影像 〇 清晰化相關的各種影像處理技術。因此，應理解，本發明 不應被解釋為僅限於上文所提供之實例。實際上，本文所 描繪之例示性邏輯在其他實施例中可經受多個變化及/或 額外特徵。此外，應瞭解，可以任何合適方式來實施上文 所論述之技術。舉例而言，影像處理電路32且尤其是isp 前端區塊80及ISP管區塊82之組件可使用硬體（例如，合適 組態之電路）、軟體（例如，經由包括儲存於一或多個有形 t腦可讀媒體上之可執行程式碼的電腦程式），&經由使 U 用硬體元件與軟體元件兩者之組合來實施。 已藉由實例展示上文所描述之特定實施例，且應理解， 此等實施例可能易受各種修改及替代性形式影響。應進一 步理解，申請專利範圍不意欲限於所揭示之特定形式，而 是涵蓋屬於本發明之精神及範疇的所有修改、等效物及替 代。 【圖式簡單說明】 圖1為描繪電子裝置之___實例之 电丁农置t X例之組件的簡化方塊圖，該 158465.doc -201 - 201216207 電子裝置包括經組態以實施本發明中所闡述之影像處理技 術中之一或多者的成像裝置及影像處理電路； 圖2展示可實施於^之成像裝置中的拜耳彩色爐光片陣 列之2x2像素區塊的圖形表示； 圖3為根據本發明之態樣的呈膝上型計算裝置之形式的 圖1之電子裝置的透視圖； 圖4為根據本發明之態樣的呈桌上型計算裝置之形式的 圖1之電子裝置的前視圖； ，圖5為根據本發明之態樣的呈手持型攜帶型電子裝置之 形式的圖1之電子裝置的前視圖； 圖6為圖5所示之電子裝置的後視圖； 圖7為說明根據本發明之態樣的可實施於圖i之影像處理 電路中的剛ir而影像信號處理（Isp)邏輯及lsp管道處理邏輯 之方塊圖； 圖8為展不根據本發明之態樣的圖7之isp前端邏輯之一 實施例的更詳細方塊圖； 圖9為描繪根據一實施例的用於處理圖8之π?前端邏輯 中之影像資料的方法之流程圖； 圖1 〇為說明根據一實施例的可用於處理前端邏輯中 之影像資料的雙重緩衝暫存器及控制暫存器之一組態的方 塊圖； 圖11至圖13為描繪根據本發明技術之實施例的用於觸發 影像圖框之處理之不同模式的時序圖； 圖14為根據實施例更詳細地描繪控制暫存器的圖式； 158465.doc -202- 201216207 圖15為描繪用於在圖8之Isp前端邏輯係在單感測器模式 中操作時使用前端像素處理單元來處理影像圖框之方法的 流程圖； 圖16為描緣用於在圖8之1SP前端邏輯係在雙感測器模式 中操作時使用前端像素處理單元來處理影像圖框之方法的 流程圖； 圖17為描緣用於在圖8之1SP前端邏輯係在雙感測器模式 中操作時使用前端像素處理單元來處理影像圖框之方法的 〇 流程圖； 圖18為描繪根據一實施例的兩個影像感測器為作用中之 方法的机％圖，但其中第一影像感測器正將影像圖框發送 至前端像素處理單元，而第二影像感測器正將影像圖框發 送至統計處理單元，使得在第二影像感測器於稍後時間繼 續將影像圖框發送至前端像素處理單元時第二感測器之成 像統計立即可用； 圖19為根據本發明之態樣的可界定於藉由影像感測器所 俘獲之來源影像圖框内之各種成像區域的圖形描繪； 圖20為提供根據本發明之態樣的如圖8之ISP前端邏輯中 所不的ISP剛端像素處理單元之一實施例之更詳細視圖的 方塊圖； 圖21為說明根據一實施例的時間濾波可應用於藉由圖20 所示之ISP前端像素處理單元所接收之影像像素資料的方 式之程序圖； 圖22說明可用以判定圖21所示之時間濾波程序之一或多 158465.doc 201216207
個參數的一組參考寻彡後後I 像像素及—組對應當前影像像素； 圖23為說明根據—實施㈣料料㈣ 影像資料之當前影像像素之程序的流程圖； 、、、且 圖24為展不根據—實施例的用於計算運動差量值 23之當前影像像素之時《、波使料技術之流程圖； 圖25為說明根據另-實施例的用於將時間渡波應用於包 括影像資料之每-色彩分量之不同增益的使用的一组影像 資料之當前影像像素之另一程序的流程圖； ，” 圖26為說明根據另一實施例的時間遽波技術利用藉由圖 20所示之ISP前替素處料元所接㈣料像素資料之 每-色彩分量之單獨運動及明度表的方式之程序圖； 圖27為說明根據另—實施例的用於將時間濾波應用於使 用圖26所示之運動及明度表的—組影像資料之當前影像像 素之程序的流程圖； 圖職㈣據本發明之態㈣可藉由f彡像感測器俘獲之 全解析度原始影像資料的樣本； 圖29說明根據本發明之—實施例的影像感測器，該影像 感測器可經組態以將分格化儲存應用於圖28之全解析度原 始影像資料以輸出經分格化儲存原始影像資料的樣本； 圖30描繪根據本發明之態樣的可藉由圖29之影像感測器 提供之經分格化儲存原始影像資料的樣本； 圖3 1描繪根據本發明之態樣的在被再取樣之後藉由分格 化儲存補償濾波器提供之來自圖30的經分格化儲存原始影 像資料； 15S465.doc • 204- 201216207 圖32描繪根據一實施例的可實施於圖2〇之181>前端像素 處理單元中的分格化儲存補償濾波器； 圖33為根據本發明之態樣的可應用於微分分析器以選擇 用於分格化儲存補償濾波之中心輸入像素及索引/階段的 各種步長之圖形描繪； 圖34為說明根據一實施例的用於使用圖32之分格化儲存 補償渡波器來按比例縮放影像資料之程序的流程圖； 圖3 5為說明根據一實施例的用於判定針對藉由圖3 2之分 〇 格化儲存補償濾波器所進行之水平及垂直濾波的當前輸入 來源中心像素之程序的流程圖； 圖3 6為說明根據一實施例的用於判定針對藉由圖3 2之分 格化儲存補償濾波器所進行之水平及垂直濾波的用於選擇 濾波係數之索引之程序的流程圖； 圖3 7為展示根據本發明之態樣的如圖8所示的可實施於 IS P前端處理邏輯中之統計處理單元之一實施例的更詳細 方塊圖； Ο 圖38展示根據本發明之態樣的可在藉由圖37之統計處理 單元所進行的統計處理期間應用用於偵測及校正有缺陷像 素之技術時考慮的各種影像圖框邊界狀況； 圖39為說明根據—實施例的用於在統計處理期間執行有 缺陷像素债測及校正之程序的流程圖； 圖40展示描繪成像裝置之習知透鏡之光強度對像素位置 的三維量變曲線； 圖41為展現跨越影像之非均一光強度的有色圖式，該非 158465.doc -205- 201216207 均一光強度可為透鏡遮光不規則性的結果； 圖42為根據本發明之態樣的包括透鏡遮光校正區域及增 益栅格之原始成像圊框的圖形說明； 圖43忒明根據本發明之態樣的藉由四個定界柵格增益點 所圍封之影像像素之增益值的内插； 圖4 4為說明根據本發明技術之一實施例的用於判定可在 透鏡遮光校正操作期間應用於成像像素之内插增益值之程 序的流程圖； 士圖45為料根據本發明之態樣的可在執行透鏡遮光校正 時應用於展現圖40所示之光強度特性之影像的内插增益值 的三維量變曲線； 圖46展示根據本發明之態樣的在透鏡遮光校正操作被應 用之後展現改良之光強度均一性的來自圖4丨之有色圖式； 圖47用圖形說明根據一實施例的在當前像素與影像之中 心之間的徑向距離可計算且用以判定用於透鏡遮光校正之 徑向增益分量的方式； 圖48為說明根據本發明技術之—實施例的來自增益拇格 之徑向增益及内插增益藉以用以判定可在透鏡遮光校正操 作期間應用於成像像素之總增益之程序的流程圖； 、 圖49為展不色彩空間_之白色區域及低色溫軸線與高色 溫軸線的圖表； 圖50為展不根據一實施例的白平衡增益可經組態以用於 各種參考照明體條件之方式的表； 圖51為展示根據本發明之一實施例的可實施於lsi>前端 I58465.doc 201216207 處理邏輯中之統計收集引擎的方塊圖； 圖52說明根據本發明之態樣的原始拜耳RGB資料之降取 樣； 圖53描繪根據一實施例的可藉由圖51之統計收集引擎收 集的二維色彩直方圖； 圖54描繪二維色彩直方圖内之變焦及平移； 圖55為展示根據一實施例的用於實施統計收集引擎之像 素濾波器之邏輯的更詳細視圖； 圖56為根據一實施例的C1_C2色彩空間内之像素的位置 可基於針對像素濾波器所定義之像素條件而評估之方式的 圖形描緣； 圖57為根據另一實施例的C1 _C2色彩空間内之像素的位 置可基於針對像素濾波器所定義之像素條件而評估之方式 的圖形描繪； $ 圖58為根據又一實施例的C1_C2色彩空間内之像素的位 置可基於針對像素濾波器所定義之像素條件而評估之方 的圖形描繪； 圖59為展示根據一實施例的影像感測器整合時間可經判 定以補償閃光之方式的曲線圖； 圖60為展示根據一實施例的可實施於圖5丨之統計收集弓丨 擎中且經組態以收集自動聚焦統計之邏輯的詳細方塊圖； 圖61為描繪根據一實施例的用於使用粗略及精細自動聚 焦分數值執行自動聚焦之技術的曲線圖； 圖62為描繪根據一實施例的用於使用粗略及精細自動聚 158465.doc -207· 201216207 焦分數值執行自動聚焦之程序的流程圖； 圖63及圖64展示原始拜耳資料之整數倍減少取樣以獲得 經白平衡明度值； 圖65展示根據一實施例的用於使用每—色彩分量之相對 自動聚焦分數值執行自動聚焦的技術； 圖66為根據—實施例的圖3 7之統計處理單元的更詳細視 圖其展示拜耳RGB直方圖資料可用以辅助黑階補償的方 式； 圖67為展示根據本發明之態樣的圖7之ISP管道處理邏輯 之一實施例的方塊圖； 圖68為展示根據本發明之態樣的可實施於圖π之管 道處理邏輯中的原始像素處理區塊之—實施例的更詳細視 圖， 圖69展示根據本發明之態樣的可在藉由圖68所示之原始 像素處理區塊所進行的處理㈣應用詩_且校正有缺 陷像素之技術時考慮的各種影像圖框邊界狀況； 、 圖70至圖72為描繪輯—實施例的可執行於圖之原始 像素處理區塊中的用於制且校正有缺陷像素之各種^ 的流程圖； 圖73展示根據本發明之態樣的可在藉由圖⑼之原始像 處理邏輯所進行的處理期間應用綠色不均勻性校正‘術時 内插之拜耳影像感測器之2 x 2像素區塊中的兩個:二 的位置； 象素 圖74說明根據本發明之態樣的包括中心像素 j用作用 158465.doc -208- 201216207 ;雜訊減 >、之水平濾波程序之部分的相關聯水平相鄰像 之一組像素； 、 、圖75說明根據本發明之態樣的包括中心像素及可用作用 於雜汛減少之垂直濾波程序之部分的相關聯垂直相鄰像素 之一組像素； ’、 圖76為描繪解馬赛克可應用於原始拜耳影像圖案以產生 全色RGB影像之方式的簡化流程圖； 圖77騎根據—實施例的可在拜耳影像圖案之解馬赛克 針對内插綠色值導出水平能量分量及垂直能量分量所 自的拜耳影像圖案之一組像素； 圖78展示根據本發明技術之態樣的慮波可在拜耳影像圖 案之解馬赛克期間所應用於以判定内插綠色值之水平分量 的一組水平像素； 圖79展示根據本發明技術之態樣的濾波可在拜耳影像圖 案之解馬賽克期間所應用於以判定内插綠色值之垂直分量 的一組垂直像素； ❹ 圖80展不根據本發明技術之態樣的濾波可在拜耳影像圖 ”解馬賽克期間所應用於以判定内插紅色值及内插藍色 值的各種3x3像素區塊； 圖81至圖84提供描繪根據一實施例的用於在拜耳影像圖 案之解馬赛克期間内插綠色、紅色及藍色值之各種程 流程圖； 圖Μ展示可藉由影像感測器㈣且根據本文所揭示之解 馬赛克技術之態樣處理之原本影像場景的有色圖式； 158465.doc -209- 201216207 式圖86展示圖85所示之影像場景之拜耳影像圖案的有色圖 _圖87展示基於圖86之拜耳影像圖案使用習知解馬賽 術重新建構的RGB影像之有色圖式； 圖88展示根據本文所揭示之解 胥見技術之態樣自圖86 的拜耳影像圖案重新建構之RGB影像的有色圖式； 圖89為展示根據本發明之態樣的可實施於圖6;之咖 道處理邏輯中的RGB處理區塊之—實施㈣更詳細視/ 圖90為展示根據本發明之態樣的可實施於圖⑺之咖 道處理邏輯中的YCbCr處理區塊之„實施例的更詳I 圖； 圖91為根據本發明之態樣的如界定於使用丨平面格式之 來源緩衝器内的明度及色度之作用中來源區域的圖形描 繪； /田 圖92為根據本發明之態樣的如界定於使用2平面格式之 來源緩衝器内的明度及色度之作用中來源區域的圖形描 繪； @ 圖9 3為說明根據一實施例的如圖9 〇所示之可實施於 YCbCr處理區塊中之影像清晰化邏輯的方塊圖； 圖94為說明根據一實施例的如圖9〇所示之可實施於 YCbCr處理區塊中之邊緣增強邏輯的方塊圖； 圖95為展示根據本發明之態樣的色度衰減因子對清晰化 明度值之關係的曲線圖； 圖96為說明根據一實施例的如圖9〇所示之可實施於 158465.doc • 210- 201216207 YCbCr處理區塊中之影像亮度、對比度及色彩（BCC)調整 邏輯的方塊圖；及 圖97展示在YCbCr色彩空間中之色調及飽和度色輪，該 色調及飽和度色輪界定可在圖96所示之BCC調整邏輯中的 色彩調整期間應用之各種色調角及飽和度值。 【主要元件符號說明】 !〇 系統/電子裝置 12 輸入/輸出（I/O)埠 O 12a 專屬連接埠 12b 音訊連接埠 12c I/O埠 14 輸入結構 16 處理器 18 20 22 Ο 24 26 記憶體裝置/記憶體 非揮發性儲存器/非揮發性儲存裝置/記憶體 擴充卡/儲存裝置 網路連接裝置/網路裝置 電源 28 30 32 40 42 50 顯示器/顯示裝置 成像裝置/相機 影像處理系統/影像處理電路 膝上型電腦 外殼/罩殼/「首頁」螢幕 桌上型電腦 158465.doc •211- 201216207 52 54 56 58 60 64 66 68 70 72 74 80 82 84 88 90 90a 90b 92 94 94a 96 98 圖形使用者介面（「GUI」） 圖形圖示 圖示停駐區 圖形視窗元件 手持型攜帶型裝置/攜帶型手持型電子裝置 系統指示器 相機應用程式 相片檢視應用程式 音訊輸入/輸出元件 媒體播放器應用程式 音訊輸出傳輸器/音訊輸入/輪出元件 前端像素處理單元/影像信號處理（ISP)前端 處理邏輯 iSP管道處理邏輯 控制邏輯/控制邏輯單元 透鏡 數位影像感測器 第一感測器/第一影像感測器 第二感測器/第二影像感測器 輸出 感測器介面 感測盗介面 原始影像資料/原始影像像素資料 原始像素資料 158465.doc -212· 201216207 100 原始影像資料 102 統計貧料 104 控制參數 106 控制參數 108 記憶體 109 輸出信號 110 輸出信號 112 輸入信號 Ο 114 信號 115 信號 116 信號 117 信號 118 壓縮/解壓縮引擎/壓縮引擎或 119 信號 120 統計處理單元/選擇邏輯區塊 122 統計處理單元/選擇邏輯區塊 Ο 124 選擇邏輯 126 選擇邏輯 130 前端像素處理單元（FEProc) 132 選擇邏輯/選擇邏輯區塊 134 信號 136 信號/輸入 138 信號 140 信號 158465.doc -213- 「編碼is」 201216207 142 信號 144 信號 146 信號/輸入 148 信號 150 信號 152 信號 154 信號/輸入 156 信號 468 統計收集邏輯/統計收集區塊/3 A統計邏輯 158 信號 159 經預處理影像信號 160 信號 161 經預處理影像信號 162 選擇邏輯單元 163 選擇邏輯單元 164 前端控制單元 176 資料暫存器組 176a 資料暫存器1 176b 資料暫存器2 176c 資料暫存器3 176d 資料暫存器η 178 資料暫存器組 178a 資料暫存器1 178b 資料暫存器2 158465.doc -214- 201216207 178c 資料暫存器3 178d 資料暫存器η 180 進行暫存器/控制暫存器 182 「NextVld」攔位 184 「NextBk」攔位 186 當前或「作用_」暫存器/作用中唯讀暫 存器 18 8 CurrVld 櫊位
190 CurrBk攔位 192 觸發事件
196 資料信號VVALID 198 脈衝/當前圖框 200 間隔/垂直清空間隔（VBLANK) 201 圖框間隔 202 脈衝/下一圖框 204 「進行」位元 274 影像來源圖框 276 感測is圖框區域 278 原始圖框區域 280 作用中區域 282 寬度 284 高度 286 X位移 288 y位移 158465.doc -215- 201216207 290 寬度 292 1¾度 294 X位移 296 y位移 298 時間濾波器 300 分格化儲存補償濾波器 302 時間慮波程序/時間渡波系統 304 運動歷史表（M) 304a 運動表 304b 運動表 304c 運動表 306 明度表（L) 306a 明度表 306b 明度表 306c 明度表 308 參考像素 309 參考像素 310 參考像素 312 原本輸入像素 313 原本輸入像素 314 原本輸入像素 336 時間濾波程序/時間濾波系統 346 全解析度樣本/全解析度影像資料 348 經分格化儲存拜耳區塊 158465.doc -216- 201216207
348a 拜耳區塊/拜耳圖案 348b 拜耳區塊/拜耳圖案 348c 拜耳區塊/拜耳圖案 348d 拜耳區塊/拜耳圖案 350 經分格化儲存Gr像素 350a 全解析度Gr像素 350b 全解析度Gr像素 350c 全解析度Gr像素 350d 全解析度Gr像素 352 經分格化儲存R像素 352a 全解析度R像素 352b 全解析度R像素 352c 全解析度R像素 352d 全解析度R像素 354 經分格化儲存B像素 354a 全解析度B像素 354b 全解析度B像素 354c 全解析度B像素 354d 全解析度B像素 356 經分格化儲存Gb像素 356a 全解析度Gb像素 356b 全解析度Gb像素 356c 全解析度Gb像素 356d 全解析度Gb像素 158465.doc •217_ 201216207 357 分格化儲存邏輯 358 經分格化儲存原始影像資料 360 樣本 361 拜耳區塊 362 經再取樣像素 363 經再取樣像素 364 經再取樣像素 365 經再取樣像素 366 分格化儲存補償邏輯 368 水平按比例縮放邏輯 370 垂直按比例縮放邏輯 372 微分分析器 372a 第一 DDA 372b 第二 DDA 374 濾波器係數表 375 列 376 列 377 列 378 列 379 列 380 列 460 有缺陷像素偵測及校正邏輯 462 黑階補償（BLC)邏輯 464 透鏡遮光校正邏輯 158465.doc -218· 201216207 Ο ❹ 466 逆BLC邏輯 470 「左側邊緣」狀況 472 「左側邊緣+1」狀況 474 「居中」狀況 476 「右側邊緣-1」狀況 478 「右側邊緣」狀況 496 三維量變曲線 498 中心 500 轉角或邊緣 502 影像 504 LSC區域 506 增益柵格 508 寬度 510 高度 512 X位移 514 y位移 516 柵格X位移 518 柵格y位移 520 基礎 522 第一像素 524 水平（χ方向）桐格點間隔 526 垂直（y方向）棚格點間隔 544 轉角 546 中心 158465.doc -219· 201216207 570 572 574 576 582 584 586 588 590 592 594 596 598 602 604 606 610 612 614 616 618 620 158465.doc 圖表 低色溫軸線 南色溫轴線 區域 信號/拜耳RGB資料 統計 拜耳RGB降取樣邏輯 4x4視窗/樣本 2 X 2拜耳四元組 Gr像素 紅色像素 藍色像素 Gb像素 平均綠色值（Gav) 平均紅色值（Rav) 平均藍色值（Bav) 按比例縮小之拜耳RGB值/降取樣之拜耳RGB 值/拜耳RGB按比例縮小信號/輸出像素 色彩空間轉換邏輯單元/色彩空間轉換（CSC) 邏輯 色彩空間轉換邏輯單元/CSC邏輯 第一 3x3色彩校正矩陣（3A_CCM) sRGBlineaj /sRGBlinear 像素 /信號 非線性查找表 -220- 201216207 622 sRGB像素/信號 624 第二3x3色彩校正矩陣 626 信號 630 3x3色彩轉換矩陣（3A_CSC2) 632 輸出 636 二維（2D)色彩直方圖 638 選擇邏輯 640 選擇邏輯 Ο 642 像素條件邏輯 644 分格更新邏輯區塊 646 矩形區域 650a 像素濃波器 650b 像素濾波器 650c 像素濾、波器 652 選擇邏輯/選擇電路 652a 選擇邏輯/選擇電路 〇 652b 選擇邏輯/選擇電路 654 選擇邏輯/選擇電路 654a 選擇邏輯/選擇電路 654b 選擇邏輯/選擇電路 656 像素條件邏輯 65 6a 像素條件邏輯 656b 像素條件邏輯 662 點 158465.doc -221 - 201216207 664 線 670 距離 672 distance_max 673 五側多邊形 674 發光塊統計 674a 側/線 674b 側/線 674c 側/線 674d 側/線 674e 側/線 675a 像素 675b 像素 676 統計 676a 矩形 676b 矩形 678 明度列總和統計 678a 像素 678b 像素 679a 線 679b 線 680 自動聚焦統計邏輯 682 自動聚焦（AF)統計 684 水平渡波器 686 邊緣偵測器 158465.doc -222 - 201216207 687 688 690 694 700 702 704 705 θ 708 706 710 712 714 715 740 Ο 742 750 752 754 756 760 900 902 邏輯 3x3濾波器 3x3濾波器 控制信號 累積值 累積值 邏輯 經整數倍減少取樣之拜耳RGB資料/經整數倍 減少取樣之拜耳RGB信號 經濾波輸出 3x3濾波器 曲線圖 曲線 曲線 峰值或頂點 透鏡 f 當前焦點位置 分量直方圖 分量直方圖 信號 選擇電路 邏輯 原始處理邏輯 RGB處理邏輯 158465.doc -223 - 201216207 904 YCbCr處理邏輯 906 選擇邏輯 908 輸入信號 910 影像信號輸出/輸出信號 912 RGB影像信號 914 選擇邏輯 916 信號 918 影像信號輸出/輸出信號 920 YCbCr信號 922 選擇邏輯 924 信號 926 影像信號輸出 930 增益、位移及箝位（GOC)邏輯 932 有缺陷像素偵測/校正（DPDC)邏輯 934 雜訊減少邏輯 936 透鏡遮光校正邏輯 938 GOC邏輯/第二增益、位移及箝位（GOC)區 940 解馬賽克邏輯 942 「左頂部」狀況 944 「頂部」狀況 946 「右頂部」狀況 948 「左側」狀況 950 「中心」狀況 952 「右側」狀況 158465.doc -224- 201216207
954 「左底部」狀況 956 「底部」狀況 958 「右底部」狀況 1032 圖形程序流程 1034 原始拜耳影像圖案 1038 綠色通道 1036 4x4部分 1040 紅色通道 1042 藍色通道 1044 解馬賽克技術 1046 内插資料 1048 内插資料R/ 1050 内插資料B' 1052 全色RGB影像 1060 紅色行 1062 濾波係數 1064 紅色行 1068 濾波係數 1070 區塊 1072 像素區塊 1074 像素區塊 1076 像素區塊 1078 内插綠色值 1080 内插綠色值 158465.doc -225 - 201216207 1184 基本位址（0,0) 1140 原本影像場景 1142 原始拜耳影像 1144 RGB影像 1146 「棋盤形」假影 1148 邊緣 1150 RGB影像 1160 增益、位移及箝位（GOC)邏輯 1162 RGB色彩校正邏輯 1164 GOC邏輯 1166 RGB伽瑪調整邏輯 1168 色彩空間轉換邏輯 1170 影像清晰化邏輯 1172 用於調整亮度、對比度及/或色彩之邏輯 1174 YCbCr仂d瑪調整邏輯 1176 色度整數倍減少取樣邏輯 1178 按比例縮放邏輯 1180 來源缓衝器/第一來源緩衝器 1182 作用中來源區域/明度作用中來源區域 1186 開始位置（Lm—X，Lm_Y) 1188 開始位置（Ch_X，Ch_Y) 1190 X位移 1192 X位移 1193 寬度 158465.doc -226- 201216207 1194 y位移 1196 y位移 1200 南度 1202 寬度 1204 南度 1206 第二來源缓衝器 1208 色度作用中來源區域 1210 邏輯 Ο 1212 低通高斯濾波器（G1) 1214 低通高斯濾波器（G2) 1216 選擇邏輯 1218 比較器區塊 1220 比較器區塊 1222 比較器區塊 1224 選擇邏輯 1226 選擇邏輯 Ο 1228 選擇邏輯 1230 選擇邏輯 1232 選擇邏輯 1234 邏輯 1236 索貝爾渡波器 1238 比較器區塊 1240 選擇邏輯 1242 選擇邏輯 158465.doc -227- 201216207 1250 曲線圖 1252 曲線 1262 亮度及對比度處理區塊 1264 全域色調控制區塊 1266 飽和度控制區塊 1268 Cb飽和度查找表 1269 Cr飽和度查找表 1270 色輪圖/YCbCr色調及飽和度色輪 Sharp 1 不清晰遮罩 Sharp2 不清晰遮罩 Sharp3 不清晰遮罩 158465.doc 228-

Claims (1)

  1. 201216207 七、申請專利範圍·· 1 · 一種影像信號處理系統，其包含： 一刖端像素處理單元，Α 之一圖栢叫 …ϋ態以接收原始影像資料 之圖框，該原始影像資料包含使用具有料 測器之一忐後壯m 數位影像感 6 纟像裝置所獲取的像素，其中該前端傻去♦ 早疋包含具有自動聚焦統計邏輯之一統計 、理 自動聚焦統計邏輯 私° '、引擎’該 叙略n m4以處理該原始影像資料以收集 精細自動聚焦統計；及 〜 Ο ο :制邏輯，其經組態以基於該等粗略及精細自動聚隹 之二：：粗略及精細自動聚焦分數來判定該成像裝置 小值位置\一=;:置，且在…總焦距之-最 -最大值位置之間調整該透鏡之焦點位置以 達到該最佳焦點位置。 2·如凊求項1之影像信號處理“，其中該控制邏輯經組 U 乂藉由以下操作來判定該透鏡之該最佳焦點位置： 吏“,、點位置在自該最小值位置開始且在該最大值位 置處結束之—第—方向上沿著該總焦距跨越複數個粗略 为數位置而步進； 針對該複數個粗略分數位置中之每—者判定—粗略自 動聚焦分數； 識別6亥複數個粗略分數位置中之哪一者具有相對於對 ’’、；緊接在别之粗略分數位置之一粗略自動聚焦分數減 小的一對應粗略自動聚焦分數； 自該所識別之粗略分數位置開始，使該焦點位置在與 158465.doc 201216207 該第一方向相反且返回朝向該最小值位置之一第二方向 上跨越複數個精細分數位置而步進； ° 針對該複數個精細分數位置中之每一者判定—精細自 動聚焦分數；及 識別該複數個精細分數位置中之哪一者對應於該等精 細自動聚焦分數中之_峰值，且將該所識別之精細分數 位置設定為該最佳焦點位置。 3. 如s月求項2之影像信號處理系統，其中該複數個粗略分 數位置中之每—者之間的步長大於該複數個精細分數位 置中之每一者之間的步長。 4. 如請求項2之影像信號處理系統，其中該等粗略分數位 置中之每一者之間的該步長至少部分地基於對應於鄰近 粗略分數位置之粗略自自聚焦分數之改變的量值而為可 變的。 5 ·如咕求項4之影像信號處理系統，其中隨著對應於該等 粗略分數位置之粗略自動聚焦分數之該改變的該量值減 小’粗略分數位置之間的該步長減小。 6 ·如吻求項2之影像信號處理系統，其中該控制邏輯使用 線圈來調整該透鏡之該焦點位置，且其中該控制邏輯 著該總焦距跨越粗略分數位置而步進以對抗線圈穩定 時間之效應。 7·如請求項1之影像信號處理系統，其中該自動聚焦統計 邏輯經纽態以藉由將第一濾波器及第二濾波器應用於在 邊原始影像資料被整數倍減少取樣之後自該原始影像資 158465.doc 201216207 料導出或自經整數倍減少取樣之原始影像㈣導出之相 機明度值中之至少-者而提供粗略自動聚焦統計，且藉 由將第三濾、波器及第四遽波器應特藉由將—變換應用 於該原始影像資料獲得之明度值抑或藉由將水平滤波應 用於該原始影像資料而提供精細自動聚焦統計。 〜 8. 如請求項6之影像信號處理系統，其中：’’每一粗略位置 處之該等粗略自動聚焦分數係至少部分地基於該等第一 Ο ο 濾波器及第二遽波器之輸出的總和而判定，且其中在每 一精細位置處之該等精細自動 動裝焦分數係至少部分地基 4第二慮波器及第四渡波器之輸出的總和而判定。 9·:請求項6之影像信號處理系統，其中用於濾波該等相 機明度值之该專第一濾波器及第二濾波器包 Scharr運算子之3χ3濾波器。 土、 10. —種方法，其包含： 接收使用一數位影像感測器所獲取之原 該原始影像資料表示-影像場景且 ^抖’ 色分量； #景且具有紅色、藍色及綠 =對應於該等紅色、藍色及綠色分量 自動聚焦分數；及 者之 基於對應於該等紅多、软Λ 該等自動聚隹八數^ 綠色分量中之每—者之 :聚焦刀數的相對性而選擇一焦點㈣ 11.如明求項10之方法， π 對應於-M,在^料最佳*、點位置 焦點位置 4位置處’該等綠色分量具有-最佳 158465.doc 201216207 12. 13 14 15 16, 17. 如請求項11之方法，其包含選擇該焦點調整方向，使得 若該等紅色或藍色分量相比於該綠色分量在一特定焦點 位置處展現一較高自動聚焦分數，則在該所選擇之焦點 調整方向上之聚焦降低該等紅色或藍色分量之該自動聚 焦分數’同時增大該綠色分量之該自動聚焦分數。 如請求項10之方法，其中該原始影像資料包含拜耳R(jb 資料。 如請求項1〇之方法，其中基於藉由將一多分接頭水平濾 波器應用於該原始影像資料獲取之統計而獲得對應於該 等紅色、藍色及綠色分量中之每一者之該等自動聚焦分 如'月求項14之方法，其中該多分接頭水平據波器包含一 個七分接頭濾波器。 一種方法，其包含： 2定沿著-影像俘獲裝置之—透鏡之—焦距在各種步 進處之粗略自動聚焦分數； 對應自動聚焦分數相對 識別一步進’在該步進處 於一先前步進減小； 在—焦點位置附近識別一最佳焦點區域；及 分析該最佳焦點區域内之精 透鏡之-最佳焦點位置。自動聚焦分數以判定該 項16之方法，其中判定分析該最佳焦點區域内之 最佳焦點區域内提供一最大Π、點位置包含搜尋在該 最大精細自動聚焦分數之-焦點 158465.doc 201216207 位置。 如叫求項16之方法，其中該等粗略及精細自動聚焦分數 係基於自拜耳RGB資料導出之經白平衡明度。 19.如請求項18之方法，其中自經整數倍減=取樣之拜耳 刪資料導出該等粗略自動聚焦分數之該等經白平衡明 度值。 20· —種電子裝置，其包含： 一=像裝置，其包含-數位影像感測器及一透鏡； 介面，其經組態以與該數位影像感測器通信； 一記憶體裝置； 、顯不裝置’其經組態以顯示對應於藉由該數位影像 感測益獲取之原始影像資料之一影像場景之一視覺表 不；及 二影：信號處理子系、统’其包含一前端像素處理單 :’该前端像素處理單元接㈣始影像資料之
    =圖框’、該原始影像資料包含使用具有_數位影像感測 :之&像裝置所獲取的像素，其t該前端像素處理單 ^包含具有自動聚焦統計邏輯之—統計收集邏輯，該自 聚焦統計邏輯經組態以處理該原始影像資料以收集粗 略及精細自動聚焦統計；及 ¥2 = °，其經組態以分別基於該等粗略及精細自： 穿、二而使用粗略及精細自動聚焦分數來判定該成 ;，该透鏡之一最佳焦點位置，其中該控制邏輯藉 操作來判定該透鏡之該最佳焦點位置：在一第一 158465.doc 201216207 21 22. 23. 24. 25. 向上沿著總焦距針對複數個粗略分數位置中之每一者判 定一粗略自動聚焦分數；識別該複數個粗略分數位置中 之哪一者具有相對於對應於緊接在前之粗略分數位置之 粗略自動聚焦分數減小的一對應粗略自動聚焦分數； 自該所識別之粗略分數位置開始，使焦點位置在與該第 一方向相反之一第二方向上跨越一或多個精細分數位置 而步進，及搜尋該等精細自動聚焦分數中之—峰值，且 將對應於該峰值之該焦點位置設定為該最佳焦點位置。 如請求項20之電子裝置，其中該複數個粗略分數位置中 之每一者之間的步長係恆定的。 如，求項21之電子裝置，其中該等精細分數位置中之每 一，之間的步長係恆^的，但小於該等粗略分數位置中 之每一者之間的該步長。 如請求項20之電子裳置，其中該感 行動成像架構（SMIA)介面。 3 “丰 如請求項20之電子奘罢 ^ 置，其包含一桌上型電腦、-膝上 i電腦、一平板電腦、— 仃動蜂桌式電话、一攜帶型媒 體播放器或其任何組合中《至少一者。 如請求項20之電子裝番 置，其中數位影像感測器包含與該 東子裝置整合之一數彳A 4 數位相機、經由該介面而耦接至該電 置之一外部數位相機或其某-組合中的至少一者。 158465.doc
TW100131573A 2010-09-01 2011-09-01 Auto-focus control using image statistics data with coarse and fine auto-focus scores TW201216207A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/873,978 US9398205B2 (en) 2010-09-01 2010-09-01 Auto-focus control using image statistics data with coarse and fine auto-focus scores

Publications (1)

Publication Number Publication Date
TW201216207A true TW201216207A (en) 2012-04-16

Family

ID=44533240

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100131573A TW201216207A (en) 2010-09-01 2011-09-01 Auto-focus control using image statistics data with coarse and fine auto-focus scores

Country Status (11)

Country Link
US (1) US9398205B2 (zh)
EP (1) EP2599301A1 (zh)
CN (1) CN102572265B (zh)
AU (1) AU2011296296B2 (zh)
BR (1) BR112013005140A2 (zh)
HK (1) HK1173294A1 (zh)
IN (1) IN2013CN01958A (zh)
MX (1) MX2013002455A (zh)
RU (1) RU2543974C2 (zh)
TW (1) TW201216207A (zh)
WO (1) WO2012030617A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI461812B (zh) * 2012-10-19 2014-11-21 應用於相機模組之自動調焦方法
TWI470300B (zh) * 2012-10-09 2015-01-21 Univ Nat Cheng Kung 影像對焦方法與自動對焦顯微裝置
TWI495862B (zh) * 2012-10-04 2015-08-11 Pixart Imaging Inc 檢測影像感測器的方法以及相關裝置
TWI511549B (zh) * 2012-07-12 2015-12-01 Acer Inc 影像處理方法與影像處理系統
TWI766652B (zh) * 2020-04-22 2022-06-01 美商豪威科技股份有限公司 用於具有相位檢測自動對焦像素的影像感測器之靈活曝光控制
TWI818683B (zh) * 2021-08-27 2023-10-11 美商豪威科技股份有限公司 影像聚焦方法和相關聯的影像感測器

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8488055B2 (en) 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
KR20120118383A (ko) * 2011-04-18 2012-10-26 삼성전자주식회사 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들
US10832616B2 (en) 2012-03-06 2020-11-10 Samsung Display Co., Ltd. Pixel arrangement structure for organic light emitting diode display
KR101615332B1 (ko) * 2012-03-06 2016-04-26 삼성디스플레이 주식회사 유기 발광 표시 장치의 화소 배열 구조
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
CN104412155B (zh) 2012-06-27 2018-02-09 诺基亚技术有限公司 自动对焦过程期间的成像和传感
JP2014064251A (ja) * 2012-09-24 2014-04-10 Toshiba Corp 固体撮像装置及び撮像方法
US8782558B1 (en) * 2012-11-28 2014-07-15 Advanced Testing Technologies, Inc. Method, program and arrangement for highlighting failing elements of a visual image
US9443290B2 (en) * 2013-04-15 2016-09-13 Apple Inc. Defringing RAW images
CN103235397B (zh) * 2013-04-28 2016-05-25 华为技术有限公司 一种自动对焦方法及设备
US9443292B2 (en) 2013-06-26 2016-09-13 Apple Inc. Blind defringing for color images
US9088708B2 (en) 2013-07-19 2015-07-21 Htc Corporation Image processing device and method for controlling the same
US9183620B2 (en) 2013-11-21 2015-11-10 International Business Machines Corporation Automated tilt and shift optimization
US9310603B2 (en) 2013-12-17 2016-04-12 Htc Corporation Image capture system with embedded active filtering, and image capturing method for the same
CN104980717A (zh) * 2014-04-02 2015-10-14 深圳市先河系统技术有限公司 图像处理装置和摄像镜头、摄像机身、摄像设备
CN105100550A (zh) * 2014-04-21 2015-11-25 展讯通信（上海）有限公司 阴影校正方法及装置、成像系统
US9619862B2 (en) 2014-05-30 2017-04-11 Apple Inc. Raw camera noise reduction using alignment mapping
CN104079837B (zh) * 2014-07-17 2018-03-30 广东欧珀移动通信有限公司 一种基于图像传感器的对焦方法及装置
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
CN105635554B (zh) * 2014-10-30 2018-09-11 展讯通信（上海）有限公司 自动对焦控制方法及装置
CN104469168A (zh) * 2014-12-29 2015-03-25 信利光电股份有限公司 摄像模组及其自动对焦方法
FR3035720B1 (fr) * 2015-04-30 2017-06-23 Thales Sa Systeme optique et procede de pointage laser a travers l'atmosphere
CN105049723B (zh) * 2015-07-13 2017-11-21 南京工程学院 基于离焦量差异定性分析的自动对焦方法
JP6600217B2 (ja) * 2015-09-30 2019-10-30 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置およびその制御方法
CN106921828B (zh) * 2015-12-25 2019-09-17 北京展讯高科通信技术有限公司 一种自动对焦统计信息的计算方法及装置
CN105657279A (zh) * 2016-02-29 2016-06-08 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
US9699371B1 (en) * 2016-03-29 2017-07-04 Sony Corporation Image processing system with saliency integration and method of operation thereof
US10602111B2 (en) 2016-09-06 2020-03-24 Apple Inc. Auto white balance control algorithm based upon flicker frequency detection
CN106534676B (zh) * 2016-11-02 2019-03-26 西安电子科技大学 面向变焦摄像系统的自动聚焦调节方法
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
WO2018204308A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Method and apparatus for object status detection
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
CN107277348B (zh) 2017-06-16 2019-08-16 Oppo广东移动通信有限公司 对焦方法、装置、计算机可读存储介质和移动终端
CN108009987B (zh) * 2017-12-01 2021-08-20 中国科学院长春光学精密机械与物理研究所 一种图像缩放装置以及缩放方法
US10306152B1 (en) * 2018-02-14 2019-05-28 Himax Technologies Limited Auto-exposure controller, auto-exposure control method and system based on structured light
IL264937B (en) * 2018-02-25 2022-09-01 Orbotech Ltd Range differences for self-focusing in optical imaging systems
CN109064513B (zh) * 2018-08-14 2021-09-21 深圳中科精工科技有限公司 一种摄像头封装中六自由度自动校准算法
CN109274885B (zh) * 2018-09-11 2021-03-26 广东智媒云图科技股份有限公司 一种拍照微调方法
CN108989690B (zh) * 2018-09-28 2020-07-17 深圳市盛世生物医疗科技有限公司 一种线阵相机多标记点对焦方法、装置、设备和存储介质
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US20200118786A1 (en) * 2018-10-15 2020-04-16 Applied Materials, Inc. System and method for selective autofocus
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
KR102575126B1 (ko) * 2018-12-26 2023-09-05 주식회사 엘엑스세미콘 영상 처리 장치 및 그 방법
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
CN110349371B (zh) * 2019-03-15 2020-12-11 青田县君翔科技有限公司 安全监控式无线通信系统
KR102609559B1 (ko) 2019-04-10 2023-12-04 삼성전자주식회사 공유 픽셀들을 포함하는 이미지 센서
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US10805549B1 (en) * 2019-08-20 2020-10-13 Himax Technologies Limited Method and apparatus of auto exposure control based on pattern detection in depth sensing system
CN110530291A (zh) * 2019-08-26 2019-12-03 珠海博明视觉科技有限公司 一种光栅投影法高度重建的自动对焦算法
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
EP3879811B1 (en) 2020-03-09 2021-12-15 Axis AB Determining whether a camera is out-of-focus
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
CN114096994A (zh) * 2020-05-29 2022-02-25 北京小米移动软件有限公司南京分公司 图像对齐方法及装置、电子设备、存储介质
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
EP4194944A4 (en) * 2020-09-11 2024-04-03 Siemens Ltd. China METHOD AND APPARATUS FOR FOCUSING AN INDUSTRIAL CAMERA
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
CN115037867B (zh) * 2021-03-03 2023-12-01 Oppo广东移动通信有限公司 拍摄方法、装置、计算机可读存储介质及电子设备
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
US11683598B1 (en) 2022-02-24 2023-06-20 Omnivision Technologies, Inc. Image sensor with on-chip occlusion detection and methods thereof
CN114500859B (zh) * 2022-04-13 2022-08-02 国仪量子(合肥)技术有限公司 自动聚焦方法、拍摄设备、存储介质
CN115641368B (zh) * 2022-10-31 2024-06-04 安徽农业大学 一种用于标定的离焦棋盘格图像特征提取方法
CN117452619B (zh) * 2023-12-26 2024-03-05 西华大学 一种稀疏目标显微成像自动对焦方法、系统及存储介质

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4589089A (en) 1978-05-30 1986-05-13 Bally Manufacturing Corporation Computer-peripheral interface for a game apparatus
US4475172A (en) 1978-05-30 1984-10-02 Bally Manufacturing Corporation Audio/visual home computer and game apparatus
US4799677A (en) 1983-09-02 1989-01-24 Bally Manufacturing Corporation Video game having video disk read only memory
US4979738A (en) 1983-12-06 1990-12-25 Midway Manufacturing Corporation Constant spatial data mass RAM video display system
US4682360A (en) 1983-12-22 1987-07-21 Frederiksen Jeffrey E Video transmission system
US4694489A (en) 1983-12-22 1987-09-15 Frederiksen Jeffrey E Video transmission system
US4605961A (en) 1983-12-22 1986-08-12 Frederiksen Jeffrey E Video transmission system using time-warp scrambling
US4742543A (en) 1983-12-22 1988-05-03 Frederiksen Jeffrey E Video transmission system
US4743959A (en) 1986-09-17 1988-05-10 Frederiksen Jeffrey E High resolution color video image acquisition and compression system
WO1991002428A1 (en) 1989-08-08 1991-02-21 Sanyo Electric Co., Ltd Automatically focusing camera
US5227863A (en) 1989-11-14 1993-07-13 Intelligent Resources Integrated Systems, Inc. Programmable digital video processing system
US5272529A (en) 1992-03-20 1993-12-21 Northwest Starscan Limited Partnership Adaptive hierarchical subband vector quantization encoder
US5247355A (en) 1992-06-11 1993-09-21 Northwest Starscan Limited Partnership Gridlocked method and system for video motion compensation
WO1994006099A1 (en) 1992-09-01 1994-03-17 Apple Computer, Inc. Improved vector quantization
US6122411A (en) 1994-02-16 2000-09-19 Apple Computer, Inc. Method and apparatus for storing high and low resolution images in an imaging device
US5694227A (en) 1994-07-15 1997-12-02 Apple Computer, Inc. Method and apparatus for calibrating and adjusting a color imaging system
US5764291A (en) 1994-09-30 1998-06-09 Apple Computer, Inc. Apparatus and method for orientation-dependent camera exposure and focus setting optimization
US5496106A (en) 1994-12-13 1996-03-05 Apple Computer, Inc. System and method for generating a contrast overlay as a focus assist for an imaging device
US5640613A (en) 1995-04-14 1997-06-17 Apple Computer, Inc. Corrective lens assembly
US6011585A (en) 1996-01-19 2000-01-04 Apple Computer, Inc. Apparatus and method for rotating the display orientation of a captured image
US5867214A (en) 1996-04-11 1999-02-02 Apple Computer, Inc. Apparatus and method for increasing a digital camera image capture rate by delaying image processing
US5809178A (en) 1996-06-11 1998-09-15 Apple Computer, Inc. Elimination of visible quantizing artifacts in a digital image utilizing a critical noise/quantizing factor
US6031964A (en) 1996-06-20 2000-02-29 Apple Computer, Inc. System and method for using a unified memory architecture to implement a digital camera device
US5991465A (en) 1996-08-29 1999-11-23 Apple Computer, Inc. Modular digital image processing via an image processing chain with modifiable parameter controls
US6028611A (en) 1996-08-29 2000-02-22 Apple Computer, Inc. Modular digital image processing via an image processing chain
US6157394A (en) 1996-08-29 2000-12-05 Apple Computer, Inc. Flexible digital image processing via an image processing chain with modular image processors
US5790705A (en) 1996-09-13 1998-08-04 Apple Computer, Inc. Compression techniques for substantially lossless digital image data storage
US6141044A (en) 1996-09-26 2000-10-31 Apple Computer, Inc. Method and system for coherent image group maintenance in memory
US6198514B1 (en) 1998-02-27 2001-03-06 Apple Computer, Inc. Color misconvergence measurement using a common monochrome image
US6151415A (en) 1998-12-14 2000-11-21 Intel Corporation Auto-focusing algorithm using discrete wavelet transform
JP2001281529A (ja) 2000-03-29 2001-10-10 Minolta Co Ltd デジタルカメラ
US6954193B1 (en) 2000-09-08 2005-10-11 Apple Computer, Inc. Method and apparatus for correcting pixel level intensity variation
US6745012B1 (en) 2000-11-17 2004-06-01 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive data compression in a wireless telecommunications system
DE60212343T2 (de) 2001-02-02 2007-06-14 Cellomics, Inc. Verfahren zur schätzung der besten anfangsfokussierung
US7170938B1 (en) 2001-08-21 2007-01-30 Cisco Systems Canada Co. Rate control method for video transcoding
US6959044B1 (en) 2001-08-21 2005-10-25 Cisco Systems Canada Co. Dynamic GOP system and method for digital video encoding
US7593054B2 (en) 2002-08-07 2009-09-22 Panasonic Corporation Focusing apparatus
US7277595B1 (en) 2003-01-06 2007-10-02 Apple Inc. Method and apparatus for digital image manipulation to remove image blemishes
US20040165090A1 (en) * 2003-02-13 2004-08-26 Alex Ning Auto-focus (AF) lens and process
US7310371B2 (en) 2003-05-30 2007-12-18 Lsi Corporation Method and/or apparatus for reducing the complexity of H.264 B-frame encoding using selective reconstruction
US7327786B2 (en) 2003-06-02 2008-02-05 Lsi Logic Corporation Method for improving rate-distortion performance of a video compression system through parallel coefficient cancellation in the transform
JP4022828B2 (ja) 2003-06-30 2007-12-19 カシオ計算機株式会社 撮像装置、オートフォーカス制御方法、及びオートフォーカス制御プログラム
US7324595B2 (en) 2003-09-22 2008-01-29 Lsi Logic Corporation Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
US7170529B2 (en) * 2003-10-24 2007-01-30 Sigmatel, Inc. Image processing
US7602849B2 (en) 2003-11-17 2009-10-13 Lsi Corporation Adaptive reference picture selection based on inter-picture motion measurement
US7362804B2 (en) 2003-11-24 2008-04-22 Lsi Logic Corporation Graphical symbols for H.264 bitstream syntax elements
US7345708B2 (en) 2003-12-23 2008-03-18 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
US7362376B2 (en) 2003-12-23 2008-04-22 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
US7304681B2 (en) * 2004-01-21 2007-12-04 Hewlett-Packard Development Company, L.P. Method and apparatus for continuous focus and exposure in a digital imaging device
US7515765B1 (en) 2004-01-30 2009-04-07 Apple Inc. Image sharpness management
US7231587B2 (en) 2004-03-29 2007-06-12 Lsi Corporation Embedded picture PSNR/CRC data in compressed video bitstream
US7620103B2 (en) 2004-12-10 2009-11-17 Lsi Corporation Programmable quantization dead zone and threshold for standard-based H.264 and/or VC1 video encoding
US7492958B2 (en) 2005-01-05 2009-02-17 Nokia Corporation Digital imaging with autofocus
US7612804B1 (en) 2005-02-15 2009-11-03 Apple Inc. Methods and apparatuses for image processing
US7480452B2 (en) * 2005-03-15 2009-01-20 Winbond Electronics Corporation System and method for image capturing
US7949044B2 (en) 2005-04-12 2011-05-24 Lsi Corporation Method for coefficient bitdepth limitation, encoder and bitstream generation apparatus
US8031766B2 (en) 2005-08-02 2011-10-04 Lsi Corporation Performance adaptive video encoding with concurrent decoding
US8155194B2 (en) 2005-08-05 2012-04-10 Lsi Corporation Method and apparatus for MPEG-2 to H.264 video transcoding
US8045618B2 (en) 2005-08-05 2011-10-25 Lsi Corporation Method and apparatus for MPEG-2 to VC-1 video transcoding
US8208540B2 (en) 2005-08-05 2012-06-26 Lsi Corporation Video bitstream transcoding method and apparatus
US7903739B2 (en) 2005-08-05 2011-03-08 Lsi Corporation Method and apparatus for VC-1 to MPEG-2 video transcoding
US7881384B2 (en) 2005-08-05 2011-02-01 Lsi Corporation Method and apparatus for H.264 to MPEG-2 video transcoding
US7596280B2 (en) 2005-09-29 2009-09-29 Apple Inc. Video acquisition with integrated GPU processing
TWI285500B (en) 2005-11-11 2007-08-11 Primax Electronics Ltd Auto focus method for digital camera
KR100691245B1 (ko) * 2006-05-11 2007-03-12 삼성전자주식회사 휴대단말의 렌즈 위치오차 보정방법
CN1892401A (zh) 2006-05-25 2007-01-10 南京大学 针对虹膜图像捕捉的时频域多阶段自动对焦方法
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
CN100451807C (zh) * 2006-08-22 2009-01-14 宁波大学 基于Hadamard变换的数码显微成像自动对焦方法
CN100451808C (zh) 2006-08-24 2009-01-14 宁波大学 基于Contourlet变换的数码成像自动对焦方法
CN100543576C (zh) 2006-08-24 2009-09-23 宁波大学 基于Contourlet变换的数码成像自动对焦方法
US7893975B2 (en) 2006-10-13 2011-02-22 Apple Inc. System and method for processing images using predetermined tone reproduction curves
US7773127B2 (en) 2006-10-13 2010-08-10 Apple Inc. System and method for RAW image processing
JP4254841B2 (ja) 2006-10-20 2009-04-15 ソニー株式会社 撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理プログラム
TWI324015B (en) 2006-12-22 2010-04-21 Ind Tech Res Inst Autofocus searching method
EP1988705A1 (en) * 2007-04-30 2008-11-05 STMicroelectronics (Research & Development) Limited Improvements in or relating to image sensors
JP2009192960A (ja) * 2008-02-16 2009-08-27 Sanyo Electric Co Ltd 電子カメラ
US8405727B2 (en) 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
JP5132507B2 (ja) * 2008-09-26 2013-01-30 オリンパス株式会社 焦点検出装置およびカメラシステム
RU2389050C1 (ru) 2008-10-30 2010-05-10 Общество с ограниченной ответственностью Научно-Производственная компания "СенсорИС" Способ автоматической фокусировки

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI511549B (zh) * 2012-07-12 2015-12-01 Acer Inc 影像處理方法與影像處理系統
TWI495862B (zh) * 2012-10-04 2015-08-11 Pixart Imaging Inc 檢測影像感測器的方法以及相關裝置
US9316563B2 (en) 2012-10-04 2016-04-19 Pixart Imaging Inc. Method of testing image sensor and related apparatus thereof
TWI470300B (zh) * 2012-10-09 2015-01-21 Univ Nat Cheng Kung 影像對焦方法與自動對焦顯微裝置
TWI461812B (zh) * 2012-10-19 2014-11-21 應用於相機模組之自動調焦方法
TWI766652B (zh) * 2020-04-22 2022-06-01 美商豪威科技股份有限公司 用於具有相位檢測自動對焦像素的影像感測器之靈活曝光控制
US11356626B2 (en) 2020-04-22 2022-06-07 Omnivision Technologies, Inc. Flexible exposure control for image sensors with phase detection auto focus pixels
TWI818683B (zh) * 2021-08-27 2023-10-11 美商豪威科技股份有限公司 影像聚焦方法和相關聯的影像感測器

Also Published As

Publication number Publication date
US20120051730A1 (en) 2012-03-01
RU2013114371A (ru) 2014-10-10
AU2011296296A1 (en) 2013-03-21
HK1173294A1 (zh) 2013-05-10
EP2599301A1 (en) 2013-06-05
AU2011296296B2 (en) 2015-08-27
US9398205B2 (en) 2016-07-19
IN2013CN01958A (zh) 2015-07-31
CN102572265A (zh) 2012-07-11
WO2012030617A1 (en) 2012-03-08
RU2543974C2 (ru) 2015-03-10
MX2013002455A (es) 2013-08-29
CN102572265B (zh) 2016-02-24
BR112013005140A2 (pt) 2016-05-10

Similar Documents

Publication Publication Date Title
TW201216207A (en) Auto-focus control using image statistics data with coarse and fine auto-focus scores
TWI505720B (zh) 用於自動白平衡處理之彈性色彩空間選擇
AU2014203602B2 (en) Flash synchronization using image sensor interface timing signal
TWI513298B (zh) 雙影像感測器影像處理系統及方法
AU2011312756B2 (en) System and method for processing image data using an image signal processor having back-end processing logic
TWI492609B (zh) 用於處理原始影像資料之影像信號處理器行緩衝器組態
US8736700B2 (en) Techniques for synchronizing audio and video data in an image signal processing system
US8629913B2 (en) Overflow control techniques for image signal processing
US8922704B2 (en) Techniques for collection of auto-focus statistics
US20120081577A1 (en) Image sensor data formats and memory addressing techniques for image signal processing
TW201143413A (en) System and method for detecting and correcting defective pixels in an image sensor