TW201225631A - Image signal processor line buffer configuration for processing raw image data - Google Patents
Image signal processor line buffer configuration for processing raw image data Download PDFInfo
- Publication number
- TW201225631A TW201225631A TW100135692A TW100135692A TW201225631A TW 201225631 A TW201225631 A TW 201225631A TW 100135692 A TW100135692 A TW 100135692A TW 100135692 A TW100135692 A TW 100135692A TW 201225631 A TW201225631 A TW 201225631A
- Authority
- TW
- Taiwan
- Prior art keywords
- line buffer
- buffer
- logic
- pixel
- line
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 549
- 239000000872 buffer Substances 0.000 title claims abstract description 313
- 238000000034 method Methods 0.000 claims abstract description 339
- 238000012937 correction Methods 0.000 claims abstract description 126
- 238000001514 detection method Methods 0.000 claims abstract description 112
- 230000002950 deficient Effects 0.000 claims abstract description 98
- 230000009467 reduction Effects 0.000 claims abstract description 70
- 238000003705 background correction Methods 0.000 claims abstract description 52
- 230000007547 defect Effects 0.000 claims description 104
- 238000001914 filtration Methods 0.000 claims description 103
- 238000006073 displacement reaction Methods 0.000 claims description 75
- 230000008569 process Effects 0.000 claims description 52
- 239000003086 colorant Substances 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 18
- 241000023320 Luma <angiosperm> Species 0.000 claims description 17
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 15
- 230000001419 dependent effect Effects 0.000 claims description 7
- 229910000859 α-Fe Inorganic materials 0.000 claims description 7
- 230000003139 buffering effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 206010011469 Crying Diseases 0.000 claims 1
- 238000004513 sizing Methods 0.000 claims 1
- 230000033001 locomotion Effects 0.000 description 104
- 238000003860 storage Methods 0.000 description 100
- 238000010586 diagram Methods 0.000 description 77
- 238000003384 imaging method Methods 0.000 description 68
- 238000013507 mapping Methods 0.000 description 68
- 238000006243 chemical reaction Methods 0.000 description 55
- 230000003068 static effect Effects 0.000 description 54
- 239000000463 material Substances 0.000 description 48
- 239000011159 matrix material Substances 0.000 description 36
- 238000005516 engineering process Methods 0.000 description 30
- 230000008859 change Effects 0.000 description 28
- 230000002829 reductive effect Effects 0.000 description 28
- 230000002123 temporal effect Effects 0.000 description 26
- 230000001815 facial effect Effects 0.000 description 25
- 238000005070 sampling Methods 0.000 description 24
- 230000006835 compression Effects 0.000 description 23
- 238000007906 compression Methods 0.000 description 23
- 230000010354 integration Effects 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 19
- 238000003707 image sharpening Methods 0.000 description 19
- 238000005286 illumination Methods 0.000 description 18
- 230000000630 rising effect Effects 0.000 description 18
- 230000003044 adaptive effect Effects 0.000 description 17
- 230000000694 effects Effects 0.000 description 16
- 230000009977 dual effect Effects 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000012935 Averaging Methods 0.000 description 13
- 238000007667 floating Methods 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 11
- 230000001976 improved effect Effects 0.000 description 11
- 230000008901 benefit Effects 0.000 description 10
- 230000003111 delayed effect Effects 0.000 description 10
- 101100116390 Schizosaccharomyces pombe (strain 972 / ATCC 24843) ded1 gene Proteins 0.000 description 9
- 230000007423 decrease Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- FBOUIAKEJMZPQG-AWNIVKPZSA-N (1E)-1-(2,4-dichlorophenyl)-4,4-dimethyl-2-(1,2,4-triazol-1-yl)pent-1-en-3-ol Chemical compound C1=NC=NN1/C(C(O)C(C)(C)C)=C/C1=CC=C(Cl)C=C1Cl FBOUIAKEJMZPQG-AWNIVKPZSA-N 0.000 description 5
- 101100311460 Schizosaccharomyces pombe (strain 972 / ATCC 24843) sum2 gene Proteins 0.000 description 5
- 230000006837 decompression Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 101100127285 Drosophila melanogaster unc-104 gene Proteins 0.000 description 4
- 241000699666 Mus <mouse, genus> Species 0.000 description 4
- 230000009849 deactivation Effects 0.000 description 4
- 230000000977 initiatory effect Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- RSPISYXLHRIGJD-UHFFFAOYSA-N OOOO Chemical compound OOOO RSPISYXLHRIGJD-UHFFFAOYSA-N 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000011143 downstream manufacturing Methods 0.000 description 3
- 238000005538 encapsulation Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000001747 exhibiting effect Effects 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 241000976924 Inca Species 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 101100114749 Pseudomonas putida camC gene Proteins 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 241000238876 Acari Species 0.000 description 1
- 241000272525 Anas platyrhynchos Species 0.000 description 1
- 241001674044 Blattodea Species 0.000 description 1
- 241000282994 Cervidae Species 0.000 description 1
- 241000207199 Citrus Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 241001125929 Trisopterus luscus Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- -1 and Y Substances 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 235000020971 citrus fruits Nutrition 0.000 description 1
- 230000008045 co-localization Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 229910052734 helium Inorganic materials 0.000 description 1
- 239000001307 helium Substances 0.000 description 1
- SWQJXJOGLNCZEY-UHFFFAOYSA-N helium atom Chemical compound [He] SWQJXJOGLNCZEY-UHFFFAOYSA-N 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000001343 mnemonic effect Effects 0.000 description 1
- 230000006911 nucleation Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 239000008399 tap water Substances 0.000 description 1
- 235000020679 tap water Nutrition 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
201225631 六、發明說明： 【發明所屬之技術領域】 本發明大體上係關於數位成像裝置，且更特定言之，係 關於用於處理使用數位成像裝置之影像感測器所獲得之影 像資料的系統及方法。 【先前技術】 此章節意欲向讀者介紹可與下文所描述及/或主張之本 發明技術之各種態樣相關的此項技術之各種態樣。此論述 據#為在向讀者提供背景資訊以促進對本發明之各種態樣 之更好理解方面有幫助。因此，應理解，應就此來閱讀此 等敍述且不應將其作為對先前技術的承認。 近年來’數位成像裝置已至少部分地歸因於此等裝置針 對普通消費者而言變得愈來愈負擔得起而變得日益風行。 此外，除了當前在市場上可得之多種獨立數位相機之外， 使數位成像裝置整合為另一電子裝置（諸如，桌上型或筆 記型電腦、蜂巢式電話或攜帶型媒體播放器）之部分亦並 非罕見的。 為了獲取影像資料，大多數數位成像裝置包括影像感測 器，該影像感測器提供經組態以將藉由該影像感測器偵測 之光轉換為電信號的多個光偵測元件（例如，光偵測器）。 影像感測器亦可包括彩色濾光片陣列，該彩色濾光片陣列 濾光藉由該影像感測器俘獲之光以俘獲色彩資訊。藉由影 像感測器俘獲之影像資料可接著藉由影像處理管線處理， 該影像處理管線可將許多各種影像處理操作應用於該影像 159040.doc 201225631 資料，以產生可經顯示用於在諸如監視器之顯示裝置上檢 視的全色影像》 儘管習知影像處理技術通常旨在產生在客觀上及主觀上 皆使檢視者愉悅之可檢視影像，但此等習知技術可能不充 分地處理藉由成像裝置及/或影像感測器引入的影像資料 之錯誤及/或失真。舉例而言，影像感測器上之有缺陷像 素（其可歸因於製造缺陷或操作故障）可能未能準確地感測 光位準，且若未經校正，則可表明為出現於所得經處理影 像中的假影。另外，在影像感測器之邊緣處的光強度減退 (其可歸因於透鏡之製造之不完美性）可能不利地影響特性 化量測且可導致整體光強度非均一的料。影像處理管線 亦可執行一或多個程序以使影像清晰。然而，習知清晰化 技術可能不充分地考慮影像信號中之現有雜訊，或可能不 能夠區別影像中之雜訊與邊緣及紋理化區域。在此等例子 中，習知清晰化技術可實際上增加雜訊在影像中之出現， 此情形通常係不合需要的。此外’亦可執行各種額外影像 處理步驟’該等步驟中之-些可依賴於藉由統計收集引擎 所收集之影像統計。 可應用於藉由影像感測器俘獲之影像資料的另一影像處 理操作為解馬赛克（demosaicing)操作。因為彩色濾光片陣 列通常在每感測器像素一個波長下提供色彩資料，所以通 常針對每一色彩通道内插一組完全色彩資料，以便再現全 色影像（例如，RGB影像p習知解馬赛克技術通常在水平 或垂直方向上針對丟失的色彩資料而内插值’此通常取決 159040.doc 201225631 於某一類型的固定臨限值。然而，此等習知解馬賽克技術 可能不充分地考慮影像内之邊緣的位置及方向，此情形可 導致邊緣假影（諸如，頻疊、棋盤形假影或彩虹形假影）引 入至全色影像中（尤其是沿著影像内的對角邊緣）。 因此，當處理藉由數位相機或其他成像裝置獲得之數位 影像時，應處理各種考慮因素，以便改良所得影像的外 觀。詳言之，下文之本發明之某些態樣可處理上文簡要地 提及之缺點中的一或多者。
【發明内容】 I 下文闡述本文所揭示之某些實施例的概述。應理解，此 等態樣僅被呈現以向讀者提供此等某些實施例之簡要概 述，且此等態樣不意欲限制本發明之範疇。實際上，本發 明可涵蓋下文可能未闡述之多種態樣。 本發明提供且說明影像信號處理技術之各種實施例。特 定言之’本發明之所揭示實施例可關於使用後端影像處理 單元來處理影像資料、用於實施原始像素處理邏輯之行緩 衝器的配置及組態、在存在溢位（亦被稱為滿溢（〇Verrun)) 籲 條件之情況下用於管理像素資料之移動的技術、用於同步 視訊及音訊資料之技術，以及與可用以將像素資料儲存至 δ己憶體及自記憶體讀取像素資料之各種像素記憶體格式之 使用相關的技術。 關於後端處理’所揭示實施例提供一種包括後端像素處 理單兀之影像信號處理系統，後端像素處理單元在像素資 料藉由前端像素處理單元及像素處理管線中之至少—者處 159040.doc •6- 201225631 理之後接收像素資料。在某些實施例中，後端處理單元接 收明度/色度影像資料，且可經組態以應用面部偵測操 作，局域色調映射，亮度、對比度、色彩調整，以及按比 例縮放。此外，後端處理單元亦可包括可收集頻率統計之 後端統計單元。頻率統計可提供至編碼器，且可用以判定 待應用於影像圖框之量化參數。 本發明之另一態樣係關於使用一組行緩衝器來實施原始 像素處理單元。在一實施例中’該組行緩衝器可包括第一 子集及第二子集。可以共用方式使用行緩衝器之第一子集 及第二子集來實施原始像素處理單元之各種邏輯單元。舉 例而言，在一實施例中，可使用行緩衝器之第—子集來實 施有缺陷像素校正及偵測邏輯。行緩衝器之第二子集可用 以實施透鏡遮光校正㈣，增益、位移及箝位邏輯，及解 馬赛克邏輯。此外，亦可使用行緩衝器之第—子集及第二 子集中之每一者的至少一部分來實施雜訊減少。 本發明之另—態樣可關於—種包括溢位控制邏輯之影像 信號處理系統’溢位控制邏輯在目的地單元（其為感:器 輸入作列及/或前端處理單⑸自下游目的地單元接收反壓 料债測溢位條件。影像信號處理系統亦可包括閃光 器，閃光控制器經組態以藉由使用感測器時序信號在目工 影像圖框之開始之前啟動閃光裝置。在—實施例中: 控制器接收延遲感測器時序信號，且藉由以下操作而: 閃光啟動開始時間：使用延遲感測器 疋 於先前夕&太 斤彳。唬以識別對應 、“圖框之結束的時間，將彼時間增大達垂直消隱時 159040.doc 201225631 間，且接著減去第-位移以補償在感測器時序信號與延遲 感測器時序信號之間的延遲。接著，閃光控制器減去第二 位移以判定閃光啟動時間，由此·確保在接收目標圖框之第 -像素之前啟動閃光。本發明之其他態樣提供與音訊·視 訊同步相關之技術。在-實施例中，時間碼暫存器在被取 樣時提供當前時I可基於影像信號處理系統之時脈以規 則間隔累加時間碼暫存器之值。在藉由影像感測器所獲取 之當前圖框開始時，時間碼暫存器被取樣，且時戳儲存至 與影像感測器相關聯之時戳暫存器中。時戳接著自時戳暫 存器被讀取且寫入至與當前圖框相關聯之一組後設資料。 儲存於圖框後設資料中之時戳可接著用以同步當前圖框與 一組對應音訊資料。 本發明之額外態樣提供靈活的記憶體輸入/輸出控制 器，其經組態以儲存及讀取多種類型之像素及像素記憶體 格式。舉例而言，記憶體1/0控制器可支援原始影像像素 以各種位元之精確度（諸如，8位元、10位元、12位元、 位元及16位元）的儲存及讀取。與記憶體位元組未對準（例 如，並非8位元之倍數）之像素格式可以封裝方式儲存。記 憶體I/O控制器亦可支援各種格式之RGB像素組及Ycc像 素組。 上文所提及之特徵的各種改進可關於本發明之各種態樣 而存在。其他特徵亦可併入於此等各種態樣中。此等改進 及額外特徵可個別地存在或以任何組合而存在。舉例而 5，下文關於所說明實施例中之一或多者所論述的各種特 159040.doc 201225631 徵可單獨地併入至或以任何組合而併入至本發明之上文所 描述之態樣中的任一者中。又，上文所呈現之簡要概述僅 意欲在不限於所主張之標的的情況下使讀者熟悉本發明之 實施例的某些態樣及内容背景。 【實施方式】 本專利或申請擋案含有以彩色執行之至少一圖式。具有 彩色圖式之本專利或專利申請公開案的複本在請求及支付 必要費用後隨即將由專利局提供。 在閱讀以下[實施方式]後且在參看圖式後隨即可更好地 理解本發明之各種態樣。 下文將描述本發明之一或多個特定實施例。此等所描述 實施例僅為當前所揭示之技術的實例。另外，在致力於提 供此等實施例之簡明描述的過程中，本說明書中可能並未 描述實際實施之所有特徵。應瞭解，在任何此實際實施之 開發中，如在任何工程或設計項目中一樣，必須進行眾多 實施特定決策以達成開發者之特定目標（諸如’符合系統 相關及商業相關約束）’其可隨著不同實施而變化。此 外，應瞭解，此開發努力可能複雜且耗時，但對於具有本 發明之益處的一般熟習此項技術者而言仍為設計、製作及 製造之常規任務。 ‘ >»1紹本發明之各種實施例的元件時，數詞「—」及 該」意欲意謂存在元件中之一或多者。術語「包含」、 包括」及「具有」意欲為包括性的，且意謂可存在除所 列出元件以外的額外元件。另外，應理解，對本發明之 159040.doc 201225631 一實施例」的參考不意欲被解譯為排除亦併有所敍述特 徵之額外實施例的存在。 如下文將論述，本發明大體上係關於用於處理經由一或 多個影像感測裝置所獲取之影像資料的技術。詳言之，本 發明之某些態樣可關於用於偵測及校正有缺陷像素之技 術、用於解馬赛克原始影像圖案之技術'用於使用多尺度 不清晰遮罩來清晰化照度影像之技術，及用於施加透鏡遮 光增益以校正透鏡遮光不規則性之技術。此外，應理解， 當前所揭示之技術可應用於靜止影像及移動影像（例如， 視訊）兩者，且可用於任何合適類型之成像應用中諸 如，數位相機、具有整合式數位相機之電子裝置、安全或 視訊監督系統、醫學成像系統等等。 記住以上要點，圖1為說明電子裝置丨〇之實例的方塊 圖，電子裝置10可提供使用上文簡要地提及之影像處理技 術中的一或多者來處理影像資料。電子裝置10可為經組態 以接收及處理影像資料（諸如，使用一或多個影像感測組 件所獲取之資料）的任何類型之電子裝置，諸如，膝上型 或桌上型電腦、行動電話、數位媒體播放器或其類似者。 僅藉由實例，電子裝置ίο可為攜帶型電子裝置，諸如，自 Apple Inc.(Cupertino，California)可得之一型號的 iPod®或 iPhone®。另外，電子裝置10可為桌上型或膝上型電腦， 諸如，自 Apple Inc·可得之一型號的MacBook®、MacBook® Pro、MacBook Air®、iMac®、Mac® Mini或 Mac Pro®。在 其他實施例中’電子裝置l 〇亦可為能夠獲取及處理影像資 159040.doc 201225631 料之來自另—製造商之-型號的電子裝置。
不管其形式(例如’攜帶型或非攜帶型），應理解 裝置10可提供使用±文簡要地論述之影像處理技術— 或多者來處理影像資料，該等影像處理技術可尤其包括右 缺陷像素校正及…貞測技術、透鏡遮光校正技術 赛克技術或影像清晰化技術。在—些實施财，電: 10可將此等影像處理技術應用於儲存於電子之 體中的影像資料。在其他實施例中，電子裝置10可包括: 組態以獲取影像資料之-或多個成像裝置(諸如，整合式 或外部數位相機）’該影像資料可接著藉由電子I置10使 用上文所提及之影像處理技術中的一或多者進行處理。下 文將在圖3至圖6中進—步論述展示電子裝置1G之攜帶型及 非攜帶型實施例兩者的實施例。 如圖1所示，電子裝置10可包括有助於裝置H)之功能的 各種内部及/或外部組件。一般熟習此項技術者應瞭解， 圖1所不之各種功能區塊可包含硬體元件(包括電路)、軟體 元件(包括儲存於電腦可讀媒體上之電腦程式碼），或硬體 :件與軟體元件兩者之組合。舉例而言，在當前所說明之 實施例中，電子裝置10可包括輸入/輸出（1/0)埠12、輸入 結構14、-或多個處理器16、記憶體裝置18、非揮發性储 存器20、（多個）擴充卡22、網路連接裝置24、電源％及顯 示器28另外’電子裝置1〇可包括一或多個成像裝置 3〇(諸如，數位相機）及影像處理電路32。如下文將進一步 論述，影像處理電路32可經組態以在處理影像資料時實施 159040.doc 201225631 上文所論述之影像處理技術中的一或多者。應暸解，藉由 影像處理電路32處理之影像資料可自記憶體18及/或（多個） 非揮發性儲存裝置2〇予以擷取，或可使用成像裝置3〇予以 獲取。
在繼續之前，應理解’圖i所示之裝置1〇的系統方塊圖 意欲為描繪可包括於此裝置1〇中之各種組件的高階控制 圖。亦即，圖1所示之每一個別組件之間的連接線可能未 必表不資料在裝置10之各種組件之間流動或傳輸通過的路 徑或方向。實際上，如下文所論述，在一些實施例中，所 描繪之（多個）處理器16可包括多個處理器，諸如，主處理 器（例如，CPU)及專用影像及/或視訊處理器。在此等實施 例中，影像資料之處理可主要藉由此等專用處理器處置， 由此有效地自主處理器（CPU)卸載此等任務。 關於圖1中之所說明組件中的每一者，1/〇埠12可包括矣 組態以連接至多種外部裝置的埠，該等裝置係諸如，^ 源、音訊輸出裝置（例 >，耳機或頭戴式耳機），或其他, 子裝置（諸如，手持型裝置及/或電腦、印表機、投影儀、 外部顯示器、數據機、銜接台等等）。在—實施例中，1/( 埠12可經組態以連接至外Μ像裝置（諸如，數位相機）， 以用於獲取可㈣輯處理電路域理之料f料。^ ㈣可支援任何合適介面類型，諸如，通用串列匯流排 (USB)埠、串列連接埠、IEEE i394(FireWi叫埠乙太網 路或數據機埠，及/或八(：/1)(：電力連接埠 在些實施例中，某些1/〇璋12可經組態以提供 個 159040.doc •12- 201225631 上功能。舉例而言，在一實施例中，I/O埠12可包括來自 Apple Inc.之專屬埠，該琿可不僅用以促進資料在電子裝 置10與外部來源之間的傳送，而且將裝置1〇耦接至電力充 電介面（諸如，經設計以提供來自電壁式插座之電力的電 力配接器）’或經組態以自另一電裝置（諸如，桌上型或膝 上型電腦）汲取電力以用於對電源26(其可包括一或多個可 再充電電池）充電的介面纜線。因此，1/0埠12可經組態以 雙重地充當資料傳送埠及AC/DC電力連接埠兩者，此取決 於（例如）經由I/O埠12而耦接至裝置1〇之外部組件。 輸入結構14可將使用者輸入或回饋提供至（多個）處理器 16。舉例而言，輸入結構14可經組態以控制電子裝置丨❹之 一或多個功能，諸如，在電子裝置1〇上執行之應用程式。 僅藉由實例’輸入結構14可包括按紐、滑件、開關、控制 板、按鍵、旋鈕、滾輪、鍵盤、滑鼠、觸控板等等，或其 某一組合。在一實施例中，輸入結構14可允許使用者導覽 在裝置10上所顯示之圖形使用者介面（GUI)。另外，輸入 結構14可包括結合顯示器28所提供之觸敏機構。在此等實 施例中’使用者可經由觸敏機構而選擇所顯示介面元件或 與所顯示介面元件互動。 輸入結構14可包括供將使用者輸入或回饋提供至一或多 個處理器16之各種裝置、電路及路徑。此等輸入結構14可 經組態以控制裝置1 〇之功能、在裝置1 〇上執行之應用程 式’及/或連接至電子裝置10或藉由電子裝置10使用之任 何介面或裝置。舉例而言，輸入結構丨4可允許使用者導覽 159040.doc -13- 201225631 所顯示之使用者介面或應用程式介面。輸入結構i4之實例 可包括按钮、滑件、開關、控制板、按鍵、旋紐、滾輪、 鍵盤、滑鼠、觸控板等等。 在某些實施例中，輸入結構14與顯示裝置28可被一起提 供，諸如’ *「觸控式螢幕」之狀況下，藉以，結合顯示 器28而提供觸敏機構。在此等實施例中，使用者可經由觸 敏機構而選擇所顯示介面元件或與所顯示介面元件互動。 以此方式，所顯*介面可提供互動式功能性，從而允許使 用者藉由觸控顯示器28而導覽所顯示介面。舉例而言，與 輸入結構14之使用者互動（諸如，用以與顯示於顯示器“ 上之使用者或應用程式介面互動）可產生指示使用者輸入 之電信號。此等輸入信號可經由合適路徑（諸如，輸入集 線器或資料匯流排）而投送至該一或多個處理器16以供進 一步處理。 在一實施例中，输入結構14可包括音訊輸入裝置。舉例 而言’一或多個音訊俘獲裝置（諸如，-或多個麥克風）可 具備電子裝置10。音訊俘獲裝置可與電子裳置1〇整合，或擊 可為（諸如）藉由1/〇埠12而耦接至電子裝置1〇之外部裝置。 如下文進-步論述’電子裝置10可包括音訊輸入裝置及成 像裝置30兩者以俘獲聲音及影像資料（例如，視訊資料）， 且可包括經組態以提供所俘獲之視訊及音訊資料之同步的 邏輯。 除了處理經由（多個）輸入結構14所接收之各種輸入信號 之外，（多個）處理器16亦可控制裝置1〇之一般操作。舉例 159040.doc -14 · 201225631 多個）處理器16可提供處理能力以執行作業系統、 "使用者及應用程式介面，及電子裝置10之任何其他 功能。（多個）處理器16可包括_或多個微處理器，諸二，
-或多個「-般用途」微處理器、一或多個特殊用途微處 理器及/或特殊應用微處理H(ASIC)，或此等處理組件之 組合。舉例而言’（多個)處理器16可包括_或多個指令集 (」列如’ RISC)處理器，以及圖形處理器(GPU)、視訊處理 器g訊處理器及/或相關晶片集。應瞭解，（多個）處理器 16可耦接至一或多個資料匯流排，以用於在裝置10之各種 組件之間傳送資料及指令。在某些實施例中，（多個）處理 器16可提供處理能力以在電子裝置1〇上執行成像應用程 式，諸如，自 Apple lnc.可得之Photo B〇〇th®、Apenure⑧、 iPh〇to®*Preview⑧，或由Apple Inc所提供且可用於多個 型號之iPhone®上的「Camera」及/或「Ph〇to」應用程 式。 待藉由（多個）處理器16處理之指令或資料可儲存於諸如 記憶體裝置18之電腦可讀媒體中《記億體裝置18可被提供 作為揮發性記憶體（諸如，隨機存取記憶體（RaM))，或作 為非揮發性記憶體（諸如，唯讀記憶體（R〇M)),或作為一 或多個RAM裝置與R〇M裝置之組合。記憶體18可儲存多 種資sfl且可用於各種目的。舉例而言，記憶體18可儲存用 於電子裝置10之韌體，諸如’基本輸入/輸出系統 (BIOS)、作業系統、各種程式、應用程式，或可執行於電 子裝置10上之任何其他常式，包括使用者介面函式、處理 159040.doc 15 201225631 器函式等等。另外，記憶體18可用於在電子裝置1〇之操作 期間進行緩衝或快取。舉例而言，在一實施例中，記憶體 18包括用於隨著視訊資料輸出至顯示器28而緩衝視訊資料 之一或多個圖框緩衝器。 除了 s己憶體裝置18之外，電子裝置1〇亦可進一步包括用 於資料及/或指令之持久儲存的非揮發性儲存器2〇。非揮 發性儲存器20可包括快閃記憶體、硬碟機或任何其他光 學、磁性及/或固態儲存媒體，或其某一組合。因此，儘 管為了清楚之目的而在圖丨中描繪為單一裝置，但應理 解，（多個）非揮發性儲存裝置2〇可包括結合（多個）處理器 16而操作之上文所列出之儲存裝置中的一或多者的組合。 非揮發性儲存器20可用以儲存韌體、資料檔案、影像資 料、軟體程式及應用程式、無線連接資訊、個人資訊 '使 用者偏好，及任何其他合適資料。根據本發明之態樣，健 存於非揮發性儲存器20及/或記憶體裝置18中之影像資料 可在輸出於顯不器上之前藉由影像處理電路32處理。 圖1所說明之實施例亦可包括一或多個卡插槽或擴充 槽。卡插槽可經.组態以收納擴充卡22,擴充卡22可用以將 力月b挫（諸如，額外記憶體、1/0功能性或網路連接能力）添 加至電子裝置1G 〇此擴充卡22可經由任何類型之合適連接 器而連接至裝置，且可相對於電子裝置1〇之外殼在内部或 外部被存取。舉例而言，在一實施射，擴充卡24可為快 閃記憶卡（諸如，SecureDigital(SD)卡、小型或微型犯、 CompactFlash卡或其類似者），或可為pcMaA裝置。另 159040.doc 201225631 外，擴充卡24可為供提供行動電話能力之電子裝置忉之實 施例使用的用戶識別模組（SIM)卡。 Λ 電子裝置ίο亦包括網路裝置24，網路裝置24可為可經由 無線802.11標準或任何其他合適網路連接標準（諸如區域網 路（LAN)、廣域網路（WAN)(諸如’ GSM演進增強型資料速 率（EDGE)網路）、3G資料網路或網際網路）而提供網路連接 性之網路控制器或網路介面卡（NIC)。在某些實施例中， 網路裝置24可提供至線上數位媒體内容提供者（諸如，自 ® Apple Inc.可得之iTunes®音樂服務）之連接。 裝置10之電源26可包括對在非攜帶型及攜帶型設定兩者 下之裝置10供電的能力。舉例而言，在攜帶型設定下，裝 置1〇可包括用於對裝置10供電之一或多個電池（諸如，^ 離子電池）。電池可藉由將裝置1〇連接至外部電源（諸如， 連接至電壁式插座）而再充電。在非攜帶型設定下，電源 26可包括電力供應單元（psu)，該電力供應單經組 態、以自電壁式插座汲取電力，且將電力分配至非攜帶型電 攀+裝置（諸如，桌上型計算线）之各種組件。 顯示器28可用以顯示藉由裝置1〇產生之各種影像諸 如，作業系統之GUI，或藉由影像處理電路32處理之影像 資料（包括靜止影像及視訊資料），如下文將進—步論述。 如上文所提及，影像資料可包括使用成像裝置3〇所獲取之 影像資料或自記憶體18及/或非揮發性儲存器2〇所擷取之 影像資料。舉例而言，顯示器28可為任何合適類型之顯示 器，諸如，液晶顯示器（LCD)、電漿顯示器，或有機發光 159040.doc 17 201225631 如上文所論述，可結合可
構（例如，觸控式螢幕）而提供顯示器28。 二極體（OLED)顯示器。另外，如上文 充菖電子裝置10之控制介面之部分的上 該（等）所說明之成像裝置30可被提供作為經組態以獲取
測器包括具有像素陣列之積體電路，纟中每—像素包括用 於感測光之光偵測器。熟習此項技術者應瞭解，成像像素 中之光偵測器通常偵測經由相機透鏡所俘獲之光的強度。 然而，光偵測器自身通常不能夠偵測所俘獲光之波長，且 由此不能夠判定色彩資訊。 因此，影像感測器可進一步包括可上覆於或安置於影像 感測器之像素陣列之上以俘獲色彩資訊的彩色濾光片陣列 (CFA)。彩色濾光片陣列可包括小彩色濾光片陣列，該等 濾光片中之每一者可重疊於影像感測器之各別像素且按照 波長來濾光所俘獲之光。因此，當以結合方式使用時，彩 色濾光片陣列及光偵測器可關於經由相機所俘獲之光而提 供波長及強度資訊兩者，其可表示所俘獲影像。 在一實施例中，彩色濾光片陣列可包括拜耳（Bayer)彩色 濾光片陣列，該拜耳彩色濾光片陣列提供為5〇%綠色元 素、25%紅色元素及25%藍色元素之濾光片圖案。舉例而 159040.doc -18- 201225631 言’圖2展示拜耳CFA之2x2像素區塊包括2個綠色元素（Gr 及Gb)、1個紅色元素（R)及1個藍色元素（B)。因此，利用 拜耳彩色濾光片陣列之影像感測器可提供關於藉由相機30 在綠色、紅色及藍色波長下所接收之光之強度的資訊，藉 以，每一影像像素記錄該三種色彩（RGB)中僅一者。此資 其可被稱為「原始影像資料」（raw image data)或「原 始域」（raw domain)中之資料）可接著使用一或多種解馬赛 克技術予以處理以通常藉由針對每一像素内插一組紅色、 綠色及藍色值而將原始影像資料轉換為全色影像。如下文 將進一步論述，此等解馬賽克技術可藉由影像處理電路32 執行。 彩傢恩理電路32可提供各種影像處 如上文所提及 驟，諸如，有缺陷像素偵測/校正、透鏡遮光校正、解馬 赛克，及影像清晰化、雜訊減少、伽瑪校正、影像增強、 色彩空間轉換、影像壓縮、色度次取樣，及影像按比例縮 放操作等等。在一些實施例中，影像處理電路32可包括邏 輯之各種子組件及/或離散單元，該等子組件及/或離散單 元共同地形成用於執行各種影像處理步驟中之每—者的影 像處理「管線」。此等子組件可使用硬體（例如，數位信號 處理器或ASIC)或軟體予以實施，或經由硬體組件與軟體 組件之組合而實施。下文將更詳細地論述可藉由影像處理 電路32提供之各種影像處_作，且尤其是論述與有缺陷 像素铺測/校正、透鏡遮光校正、解馬赛克及影像清晰化 相關的彼等處理操作。 159040.doc 201225631 在繼續之前，應注意，儘管下文所論述之各種影像處理 技術的各種實施例可利用拜耳CFA，但當前所揭示之技術 不意欲在此方面受到限制。實際上，熟習此項技術者應瞭 解，本文所提供之影像處理技術可適用於任何合適類型之 彩色濾光片陣列，包括尺(^冒濾光片、CYGM濾光片等 等。 再次參考電子裝置10，圖3至圖6說明電子裝置1〇可採取 之各種形式。如上文所提及，電子裝置1〇可採取電腦（包 括通常為攜帶型之電腦（諸如’膝上型、筆記型電腦及平 板電腦）以及通常為非攜帶型之電腦（諸如，桌上型電腦、 工作站及/或伺服器）），或其他類型之電子裝置（諸如，手 持型攜帶型電子裝置（例如，數位媒體播放器或行動電話）) 的形式。詳言之，圖3及圖4描繪分別呈膝上型電腦4〇及桌 上型電腦50之形式的電子裝置1〇 β圖5及圖6分別展示呈手 持型攜帶型裝置60之形式之電子裝置1〇的前視圖及後視 圖。 如圖3所示’所描繪之膝上型電腦40包括外殼42、顯示 器28、I/O埠12及輸入結構14。輸入結構14可包括與外殼 42整合之鍵盤及觸控板滑鼠。另外，輸入結構14可包括各 種其他按紐及/或開關，該等各種其他按紐及/或開關可用 以與電腦40互動（諸如，對電腦通電或起動電腦）、操作在 電腦40上執行之GUI或應用程式，以及調整與電腦4〇之操 作相關的各種其他態樣（例如，聲音音量、顯示亮度等）。 電腦40亦可包括如上文所論述之提供至額外裝置之連接性 159040.doc •20- 201225631 的各種I/O埠12(諸如，Fire wire®或USB埠）、高清晰产夕 媒體介面（HDMI)埠，或適於連接至外部裝置的任何其2 類型之埠。另外，電腦40可包括網路連接性（例如，網路 裝置26)、記憶體（例如，記憶體2〇)及儲存能力（例如，儲 存裝置22) ’如上文關於圖1所描述。 此外，在所說明實施例中，膝上型電腦4〇可包括整合式 成像裝置30(例如，相機）。在其他實施例中，代替整合式 相機30或除了整合式相機3〇之外，膝上型電腦仂亦可利用 • 連接至1/0埠12中之一或多者的外部相機（例如，外部USB 攝影機或「網路攝影機」）。舉例而言，外部相機可為自 Apple Inc.可得之iSight®攝影機。相機3〇(無論是整合式抑 或外部的）可提供影像之俘獲及記錄。此等影像可接著藉 由使用者使用影像檢視應用程式來檢視，或可藉由其他應 用程式來利用，該等其他應用程式包括視訊會議應用程式 (諸如，iChat®)及影像編輯/檢視應用程式（諸如，
Booth®、Aperture®、iPhoto® 或 Preview®)，其自 Apple 鲁1nC.可得。在某些實施例中，所描繪之膝上型電腦4〇可為 自 Apple lnc.可得之一型號的 MacB〇〇k⑧、MacB〇〇i^ 、
MacBook Air®或P〇werB〇〇k®。另外，在一實施例中，電 腦40可為攜帶型平板計算裝置，諸如，亦自Appie 得之一型號的iPad®平板電腦。 圖4進一步說明電子裝置10被提供作為桌上型電腦”之 實施例。應瞭解，桌上型電腦50可包括可與藉由圖4所示 之膝上型電腦40所提供之特徵大體上類似的多個特徵，但 159040.doc 21 201225631 可具有大體上更大的整體形狀因子。如圖所示，桌上型電 腦50可容納於罩殼42中’罩殼42包括顯示器28以及上文關 於圖1所示之方塊圖所論述的各種其他組件。此外，桌上 型電腦50可包括外部鍵盤及滑鼠（輸入結構14)，該外部鍵 盤及滑鼠可經由—或多個1/〇埠12(例如，USB)耦接至電腦 50或可無線地（例如，RF、藍芽等）與電腦50通信。桌上型 電腦50亦包括可為整合式或外部相機之成像裝置3〇 ,如上 文所論述。在某些實施例中，所描繪之桌上型電腦5〇可為 i Apple lnc·可得之一型號的iMac⑧、乂扣⑧mini或河扣 Pro®。 如進一步所示，顯示器28可經組態以產生可藉由使用者 檢視之各種影像《舉例而言，在電腦5〇之操作期間，顯示 器28可顯示允許使用者與作業系統及/或在電腦別上執行 之應用程式互動的圖形使用者介面（「Gm」）52。52 可包括顯示裝置28之可顯示全部或一部分的各種層、視 窗、螢幕、模板或其他圖形元件。舉例而言，在所描繪實 施例中，作業系統GUI 52可包括各種圖形圖示54，其令每 一者可對應於可在偵測使用者選擇後隨即開啟或執行（經 由鍵盤/滑鼠或觸控式螢幕輸入）的各種應用程式。圖示54 可顯不於圖示停駐區（dock)56中或顯示於螢幕上之一或多 個圖形視窗元件58内。在一些實施例中，圖示54之選擇可 導致階層式導覽程序，使得圖示54之選擇導致一螢幕或開 啟包括一或多個額外圖示或其他GUI元件的另一圖形視 窗。僅藉由實例，顯示於圖4中之作業系統Gm 52可來自 I59040.doc •22· 201225631 自Apple Inc.可得之Mac OS®作業系統的一版本。 繼續至圖5及圖6，以攜帶型手持型電子裝置6〇之形式進 一步說明電子裝置10’其可為自Apple Inc.可得之一型號 的iPod®或iPhone® ^在所描繪實施例中，手持型裝置6〇包 括罩殼42，罩殼42可用以保護内部組件免受實體損壞且遮 蔽其免受電磁干擾。罩殼42可由任何合適材料或材料之組 合形成，諸如塑膠、金屬或複合材料，且可允許電磁輻射 (諸如，無線網路連接信號）之某些頻率通過至無線通信電 鲁 路（例如，網路裝置24)，該無線通信電路可安置於罩殼42 内’如圖5所示。 罩殼42亦包括使用者可藉以與手持型裝置6〇建立介面連 接之各種使用者輸入結構14。舉例而言，每一輸入結構“ 可經組態以在被按壓或致動時控制一或多個各別裝置功 能。藉由實例，輸入結構14中之一或多者可經組態二調用 待顯示之「首頁」螢幕42或選單，在休眠、喚醒或通電/ %電模式之間雙態觸發’使蜂巢式電話應用程式之響铃無 聲’增大或減小音量輸出等等。應理解，所說明之輸入結 構14僅為例示性的，且手持型裝置6〇可包括以包括按紐、 開關、按鍵、旋鈕、滾輪等等之各種形式存在的任何數目 個合適使用者輸入結構。 如圖5所示，手持型裝置6〇可包括各種1/〇璋12。舉例而 言，所描繪之1/〇埠12可包括用於傳輸及接收資料標案或 用於對電源26充電之專屬連接埠12a，及用於將裝置㈣ 接至音訊輸出裝置(例如，頭戴式耳機或揚聲器)的音訊連 159040.doc •23· 201225631 接蟑12b »此外，在手持型裝置6〇提供行動電話功能性之 實施例中，裝置60可包括用於收納用戶識別模組（sim)卡 (例如，擴充卡22)的I/O埠12c。 可為LCD、OLED或任何合適類型之顯示器的顯示裝置 28可顯示藉由手持型裝置6〇所產生的各種影像。舉例而 言，顯示器28可顯示關於手持型裝置6〇之一或多種狀態將 回饋提供至使用者的各種系統指示器64，諸如電力狀態、 信號強度、外部裝置連接等等。·顯示器亦可顯示允較用 者與裝置60互動之GUI 52，如上文參看圖4所論述。Gm 52可包括諸如圖示54之圖形元件，該等圖形元件可對應於 可在偵測各別圖示54之使用者選擇後隨即開啟或執行的各 種應用程式。藉由實例’圖示54中之一者可表示相機應用 程式66，相機應用程式66可結合相機3〇(圖5争以假想線展 示）使用以用於獲取影像。簡要地參看圖6 ’說明圖5所描 繪之手持型電子裝置60的後視圖，其將相機3〇展示為與外 殼42整合且位於手持型裝置6〇的後部上。 如上文所提及，使用相機3 〇所獲取之影像資料可使用影 像處理電路32來處理，影像處理電路32可包括硬體（例 如，安置於罩殼42内）及/或儲存於裝置6〇之一或多個儲存 裝置（例如，記憶體18或非揮發性儲存器2〇)上的軟體。使 用相機應用程式66及相機30所獲取之影像可儲存於裝置6〇 上（例如’儲存裝置20中）且可在稍後時間使用相片檢視應 用程式68來檢視。 手持型裝置60亦可包括各種音訊輸入及輸出元件。舉例 159040.doc •24· 201225631 而言，音訊輸入/輸出元件（藉由參考數字7〇大體上描繪）可 包括輸入接收器，諸如-或多個麥克風。舉例而古，在手 持型裝置60包括行動電話功能性之情況下，輸入：收器可 經組態以接收使用者音訊輸入（諸如，使用者之往立卜另 夕^音訊輸人/輸出元件7〇可包括—或多個輸出傳輸器。 此#輸出傳輸器可包括可用以（諸如）在使用媒體播放器應 用程式72播放音樂資料期間將音訊信號傳輸至使用者的一 或多個揚聲器。此外，在手持型裝置6〇包括行動電話應用 程式之實施例中，可提供額外音訊輸出傳輪㈣，如圖$ 所示。如同音訊輸入/輪出元件7〇之輸出傳輸器，輸出傳 輸器74亦可包括經組態以將音訊信號（諸如，在電話通話 期間所接收之語音資料)傳輸至使用者的一或多個揚聲 器。因此，音訊輸入/輸出元件7〇及74可結合操作以充當 電話之音訊接收及傳輸元件。 現已提供關於電子裝置1()可採取之各種形式的—些内容 背景’本論述現將集中於圖！所描繪的影像處理電路& 如上文所提及，影像處理電㈣可❹硬體及/或軟體組 件來實施’且可包括界定影像信號處理（isp)管線的各種處 理單元。詳言之，以下論述可集中於本發明中所闡述之影 像處理技術的態樣，尤其是與有缺陷像素#測/校正技 術、透鏡遮光校正技術、解馬赛克技術及影像清晰化技術 相關的態樣。 現參看圖7 ’根據當前所揭示之技術的一實施例，說明 描繪可實施為影像處理電路％之部分之若干功能組件的簡 159040.doc •25- 201225631 化頂階方塊圖。特定言之，圖7意欲說明根據至少一實施 例的影像資料可流過影像處理電路32之方式。為了提供影 像處理電路32之一般综述，此處參看圖7提供對此等功能 組件操作以處理影像資料之方式的一般描述，同時下文將 進一步提供對所說明之功能組件中之每一者以及其各別子 組件的更特定描述。 參考所說明實施例，影像處理電㈣可包括影像信號處 理（ISP)前端處理邏輯8G、ISP管道處理邏輯82及控制邏輯 84。藉由成像裝置3〇所俘獲之影像資料可首先藉由阶前 鈿k輯80來處理，且經分析以俘獲可用以判定I”管道邏 輯82及/或成像裝置3G之—或多個控制參數的影像統計。 ISP前端邏輯80可經組態以俘獲來自影像感測器輸入信號 之影像資料。舉例而言，如圖7所示，成像裝置3〇可包括 具有一或多個透鏡88及（多個）影像感測器9〇的相機。如上 文所論述’（多個）影像感測器9〇可包括彩色據光片陣列（例 如，拜耳濾光片）’且可由此提供藉由影像感測器9〇之每 一成像像素所俘獲的光強度及波長資訊兩者以提供可藉由 ISP前端邏輯80處理之一組原始影像資料。舉例而言，來 自成像裝置30之輸出92可藉由感測器介面94來接收，感測 器介面94可接著基於（例如）感測器介面類型將原始影像資 料96提供至ISP前端邏輯80。藉由實例，感測器介面料可 利用標準行動成像架構（SMIA)介面或者其他串列或並列相 機介面，或其某一組合。在某些實施例中，Isp前端邏輯 80可在其自己之時脈域内操作，且可將非同步介面提供至 159040.doc •26· 201225631 感測器介面94以支援不同大小及時序要求的影像感測器。 在一些實施例中，感測器介面94可包括在感測器侧上之子 介面（例如，感測器側介面）及在ISp前端側上之子介面，其 中該等子介面形成感測器介面94。 原始影像資料96可提供至ISP前端邏輯8〇，且以多個格 式逐像素地處I舉例而言，每„_影像像素可具有8、 10、12或14㈣元之位元深度。下文更料地論述展示像 冑資料可儲存且定址於記憶體中之方式的記憶體格式之各 •種實例。ISP前端邏輯8〇可對原始影像資料％執行一或多 個影像處理操作，以及關於影像資料96之收集統計。可以 同的或以不同的位元深度精確度來執行影像處理操作以 及統計資料之收集。舉例而言，在一實施例中，可以⑷立 疋之精確度來執行原始影像像素資料96之處理。在此等實 施例中’藉由isp前端邏輯80所接收之具有小於14個位元 如8位tl、：^位几' 12位元）之位元深度的原始像素資 鲁料可升取樣至14位元，以用於影像處理目的。在另一實施 〇 : ’統计處理可以8位元之精確度發生且因此，具有 门之位元/衣度的原始像素資料可降取樣至8位元格式以 你於、’先汁目的。應瞭解，降取樣至8位元可減少硬體大小 (夕例如，面積），且亦減少統計資料之處理/計算複雜性。另 外，原始影像資料可在空間上經平均化以允許統計資料對 雜訊為更穩固的。 卜如圖7所示，ISP前端邏輯80亦可自記憶體1〇8接 象素資料。舉例而言，如藉由參考數字98所示，原始像 159〇40.doc •27· 201225631 素資料可自感测器介面94發送至記憶體i〇8。駐留於記憶 體108中之原始像素資料可接著提供至ISP前端邏輯80以用 於處理，如藉由參考數字刚所指示。記憶體⑽可為記憶 體裝置18、儲存裳置2〇之部分，或可為電子裝置ι〇内之單 獨專用記憶體且可包括直接記憶體存取（DMA)特徵。此 外，在某些實施例中，ISP前端邏輯8〇可在其自己之時脈 域内操作且將非同步介面提供至感測器介面94，以支援具 有不同大小且具有不同時序要求的感測器。 在接收原始影像資料96(自感測器介面94)或1〇〇(自記憶 體108)後’ ISP前端邏輯80隨即可執行一或多個影像處理 操作，諸如，時間濾波及/或分格化儲存補償濾波。經處 理影像資料可接著在被顯示（例如，在顯示裝置28上）之前 提供至ISP管道邏輯82(輸出信號109)以用於額外處理，或 可發送至記憶體（輸出信號110)。ISP管道邏輯82直接自isp 前端邏輯80抑或自記憶體1〇8接收「前端」處理資料（輸入 信號112)，且可提供影像資料在原始域中以及在rgb及 YCbCr色彩空間中的額外處理。藉由lsp管道邏輯。所處 理之影像資料可接著輸出（信號114)至顯示器28以供使用者 檢視’及/或可藉由圖形引擎或GPU進一步處理。另外，來 自ISP管道邏輯82之輸出可發送至記憶體1〇8(信號115)且顯 示器28可自記憶體108讀取影像資料（信號116)，其在某些 實施例中可經組態以實施一或多個圖框緩衝器。此外，在 一些實施中，ISP管道邏輯82之輸出亦可提供至壓縮/解壓 縮引擎118(信號117)以用於編碼/解碼影像資料。經編碼之 159040.doc -28· 201225631 影像資料可被儲存且接著稍後在顯示於顯示器28裝置上之 前被解壓縮（信號119)。藉由實例，壓縮引擎或「編碼器」 11 8可為用於編碼靜止影像之jPEG壓縮引擎，或用於編石馬 視訊影像之H.264壓縮引擎’或其某一組合，以及用於解 碼影像資料的對應解壓縮引擎。下文將關於圖98至圖133 更詳細地論述可提供於ISP管道邏輯82中的關於影像處理 操作之額外資訊《又，應注意，ISp管道邏輯82亦可自記 憶體108接收原始影像資料’如藉由輸入信號112所描繪。 藉由ISP前端邏輯80所判定之統計資料1〇2可提供至控制 邏輯單元84。統計資料102可包括（例如）與自動曝光、自動 白平衡、自動對焦、閃爍偵測、黑階補償（BLC)、透鏡遮 光校正等等相關的影像感測器統計。控制邏輯84可包括經 組態以執行一或多個常式（例如，韌體）之處理器及/微控制 益’該一或多個常式可經組態以基於所接收之統計資料 i〇2判定成像裝置3〇的控制參數1〇4以及Isp管道處理邏輯 82之控制參數1〇6。僅藉由實例，控制參數1〇4可包括感測 益控制參數（例如，增益、用於曝光控制之積分時間）、相 機閃光燈控制參數、透鏡控制參數（例如，用於聚焦或變 焦之焦距），或此等參數之組合。ISP控制參數106可包括 用於自動白平衡及色彩調整（例如，在RGB處理期間）之增 益等級及色彩校正矩陣（CCM)係數，以及如下文所論述可 基於白點平衡參數所判定的透鏡遮光校正參數。在一些實 施例中，除了分析統計資料102之外，控制邏輯84亦可分 析可儲存於電子裝置1〇上（例如，在記憶體18或儲存器 I59040.doc •29· 201225631 中）之歷史統計。 參考所說明實施例，影像處理電路32可包括影像信號處 理（ISP)前端處理邏輯80、ISP管道處理邏輯82及控制邏輯 84。藉由成像裝置30所俘獲之影像資料可首先藉由isp前 端邏輯80來處理，且經分析以俘獲可用以判定isp管道邏 輯82及/或成像裝置30之一或多個控制參數的影像統計。 ISP前端邏輯80可經組態以俘獲來自影像感測器輸入信號 之影像資料。舉例而言，如圖7所示，成像裝置3〇可包括 具有一或多個透鏡88及（多個）影像感測器9〇的相機。如上 文所論述，（多個）影像感測器9〇可包括彩色濾光片陣列（例 如拜耳濾光片），且可由此提供藉由影像感測器9〇之每 一成像像素所俘獲的光強度及波長資訊兩者以提供可藉由 ISP前端邏輯80處理之一組原始影像資料。舉例而言，來 自成像裝置30之輸出92可藉由感測器介面94來接收，感測 器介面94可接著基於（例如）感測器介面類型將原始影像資 料96提供至ISP前端邏輯8〇。藉由實例，感測器介面94可 利用標準行動成像架構（SMIA)介面或者其他串列或並列相 機门面，或其某一組合。在某些實施例中，iSp前端邏輯 8〇了在其自己之時脈領域内操作，且可將非同步介面提供 至感測器介面94以支援不同大小及時序要求的影像感測 器。 圖8展示描繪影像處理電路32之另一實施例的方塊圖， 其中相同組件係藉由相同的參考數字來標示。通常，圖8 之影像處理電路32的操作及功能性類似於圖7之影像處理 159040.doc 201225631 電路32 ’惟圖8所示之實施例進一步包括ISP後端處理邏輯 單元120除外’ ISP後端處理邏輯單元12〇可在ISP管線82之 下游麵接且可提供額外後處理步驟。 在所說明實施例中’ ISP後端邏輯120可自ISP管線82接 收輸出114，且執行後處理所接收之資料114。另外，Ι§ρ 後端120可直接自記憶體1〇8接收影像資料，如藉由輸入 124所示。如下文將參看圖Π4至圖ι42進一步論述，isp後 端邏輯120之一實施例可提供影像資料之動態範圍壓縮（常 常被稱為「色調映射」），亮度、對比度及色彩調整，以 及用於將影像資料按比例縮放至所要大小或解析度（例 如，基於輸出顯示裝置之解析度）的按比例縮放邏輯。此 外，ISP後端邏輯120亦可包括用於偵測影像資料中之某些 特徵的特徵㈣邏輯。舉例而言，在一實施例中，特徵偵 測邏輯可包括面部债測邏輯，該面部偵測邏輯經组離以識 別面部及/或面部特徵位於及/或定位於影像資料内之區 域。面部谓測資料可饋送至前端統計處理單元作為用於判 定自動白平衡、自動聚焦、閃爍及自動曝光統計的回饋資 料。舉例而言，ISP前端80中之統計處理單元（下文在圖Μ 至圖97中更詳細地論述）可經組態以基於影像資料中之面 =及/或面部特徵的所判定位置選擇用於統計處理之視 窗。 在一些實施例中，除 跋w接 口饋至ISP别鳊統計回饋控制迴 路之外或代替回饋至ISP前端統計回饋控制迴路，面部偵 Μ供至局域色調映射處理邏輯、财後端統計 I59040.doc -31 - 201225631 單兀中之至少一者，或提供至編碼器/解碼器單元118。如 下文進一步論述，提供至後端統計單元之面部偵測資料可 用以控制量化參數。舉例而言’當編碼或壓縮輸出影像資 料(例如，在巨集區塊中)時’量化可針對已經判定包括面 口P及/或面部特徵之影像區域而減小，由此在影像被顯示 且藉由使用者檢視時改良面部及面部特徵的視覺品質。 在其他實施例中’特徵债測邏輯亦可經組態則貞測影像 圖框中之物件之隅角的位置^此資料可用以識別連續影像 圖框中之特徵的位置以便判定圖框之間的全域運動之估 計，其可用以執行某些影像處理操作（諸如，影像對位）。 在-實施例巾’隅角特徵及其類似者之識別針對組合多個 影像圖框之演算法(諸如’在某些高動態範圍(HDR)成像演 算法中）以及某些全景拼接演算法可尤其有用。 此外，如圖8所示，藉由ISP後端邏輯12〇所處理之影像 資料可輸出（信號126)至顯示裝置28以供使用者檢視，及/ 或可藉由圖形引擎或GPU進一步處理。另外，來自isp後 端邏輯120之輸出可發送至記憶體1〇8(信號122)且顯示器“ 可自記憶體108讀取影像資料（信號116)，其在某些實施例 中可經組態以實施-或多個圖框緩衝器。在所說明實施例 中，ISP後端邏輯120之輸出亦可提供至壓縮/解壓縮引擎 118(信號U7)以用於編碼/解碼用於儲存及後續播放的影像 資料，如上文在圖7中大體上論述。在其他實施例中，圖8 之ISP子系統32可具有繞過][SP後端處理單元12〇之選項。 在此等實施例中，若繞過後端處理單元12〇，則圖8之isp 】59040.doc -32· 201225631 子系統32可以類似於圖7所示之方式的方式操作，亦即 ISP管線82之輸出直接/間接發送至記憶體1〇8、編瑪器/解 碼器118或顯示器28中之一或多者。 可藉由方法130來大體上概述圖7及圖8所示之實施例所 描繪的影像處理技術，方法130係藉由圖9中之流程圖來^ 繪。如圖所示’方法130在區塊132處開始，在區塊132處 使用感測|§介面自影像感測器（例如’ 9 0)接收原始影像資 料（例如’拜耳圖案資料）^在區塊134處，使用lsp前端邏 輯8 0處理在步驟1 3 2處所接收之原始影像資料。如上文所 提及，ISP前端邏輯8〇可經組態以應用時間濾波、分格化 儲存補償濾波。接下來，在步驟136處，可藉由isp管線82 進一步處理藉由ISP前端邏輯80所處理之原始影像資料， ISP管線82可執行各種處理步驟以將原始影像資料解馬赛 克為全色RGB資料且將RGB色彩資料進一步轉換為γυν或 YC1C2色彩空間（其中C1及C2表示不同的色度差色彩，且 其中C1及C2在一實施例中可表示藍色差（cb)及紅色差（Cr) 色度）。 自步驟136’方法丨3〇可繼續至步驟138抑或步驟丨6〇。舉 例而言’在Isp管線82之輸出提供至顯示裝置28之實施例 (圖7)中’方法13〇繼續至步驟14〇，其中使用顯示裝置28顯 不YC1C2影像資料（或自ISp管線82發送至記憶體1〇8)。或 者’在ISP管線82之輸出係藉由isp後端單元12〇(圖8)後處 理之實施例中’方法130可自步驟136繼續至步驟138，其 中在步驟140處藉由顯示裝置顯示ISP管線82之YC1C2輸出 159040.doc -33- 201225631 之前使用ISP後端處理邏輯120來處理該輸出。 歸因於本文所示之影像處理電路32的一般複雜設計，將 ISP前端邏輯80、ISP管道處理邏輯82(或isp管線）及ISP後 端處理邏輯120之論述分為單獨章節可為有益的，如下文 所示。特定言之’本申請案之圖10至圖97可關於ISP前端 邏輯80之各種實施例及態樣的論述，本申請案之圖98至圖 133可關於ISP管道處理邏輯82之各種實施例及態樣的論 述，且圖134至圖142可關於ISP後端邏輯12〇之各種實施例 及態樣的論述。 ISP前端處理邏輯 圖10為展示根據一實施例的可實施於ISp前端邏輯80中 之功能邏輯區塊的更詳細方塊圖。取決於成像裝置3〇及/ 或感測器介面94之組態’如上文在圖7中所論述，原始影 像資料可藉由一或多個影像感測器9〇提供至Isp前端邏輯 80。在所描繪實施例中，原始影像資料可藉由第一影像感 測器90a(Sens〇r〇)及第二影像感測器9〇b(Sens〇rl)提供至 ISP前端邏輯80。如下文將進一步論述，每一影像感測器 _ 90a及90b可經組態以將分格化儲存應用於全解析度影像資 料，以便增大影像信號之信雜比。舉例而言，可應用諸如 2x2分格化儲存之分格化儲存技術，其可基於相同色彩之 四個全解析度影像像素而内插「經分格化儲存」（binned) 原始影像像素。在一實施例中，此情形可導致存在與經分 格化儲存像素相關聯之四個累積信號分量對單一雜訊分 量，由此改良影像資料之信雜比，但減少整體解析度。另 159040.doc 34- 201225631 外’分格化儲存亦可導致影像資料之不均句或非均―門 取樣’此㈣可使时格化儲存補料波予讀正，= 文將更詳細地論述。 如圖所示，影像感測器90a及娜可分別將原始影像資料 提供作為信號SifO及Sifl。影像感測器9〇a及9〇b中之每一 者可通常與各別統計處理單元l42(Statspipe〇)及
(StatsPipel)相關聯，該等統計處理單元可經組態以處理影 像資料以用於判定一或多組統計（如藉由信號Stats〇及 Statsl所指示），包括與自動曝光、自動白平衡、自動聚 焦、閃爍偵測、黑階補償及透鏡遮光校正等等相關的統 計。在某些實施例中，當感測器90a或90b中僅一者在作用 中獲取衫像時’若需要額外統計’則影像資料可發送至 StatsPipeO及StatsPipel兩者。舉例而言，提供一實例，若 StatsPipeO及 StatsPipel 皆可用’則 StatsPipeO可用以收集一 個色彩空間（例如’ RGB)之統計，且StatsPipe 1可用以收集 另一色彩空間（例如，YUV或YCbCr)之統計。亦即，統計 處理單元142及144可並行地操作，以收集藉由作用中感測 器獲取之影像資料之每一圖框的多組統計。 在本實施例中，在ISP前端80中提供五個非同步資料來 源。此等來源包括：（1)來自對應於Sensor0(90a)之感測器 介面的直接輸入（被稱為SifO或SensO) ; (2)來自對應於 Sensorl(90b)之感測器介面的直接輸入（被稱為Sifl或
Sensl) ; (3)來自記憶體108之SensorO資料輸入（被稱為 SiflnO或SensODMA)，其可包括DMA介面；（4)來自記憶體 159040.doc -35- 201225631 108之Sensorl資料輸入（被稱為Siflnl或SenslDMA);及（5) 具有來自自記憶體108所操取之SensorO及Sensorl資料輸入 之圖框的一組影像資料（被稱為FeProcIn或ProcInDMA)。 ISP前端80亦可包括來自該等來源之影像資料可投送至的 多個目的地，其中每一目的地可為記憶體中（例如，108中） 之儲存位置抑或處理單元。舉例而言，在本實施例中， ISP前端80包括六個目的地：（1)用於接收記憶體108中之 SensorO資料的SifODMA ; (2)用於接收記憶體108中之 Sensorl資料的SiflDMA ; (3)第一統計處理單元142 (StatsPipeO) ; (4)第二統計處理單元 144(StatsPipel) ; (5)前 端像素處理單元（FEProc)150 ;及（6)至記憶體108或ISP管 線82之FeOut(或FEProcOut)(下文更詳細地論述）。在一實 施例中，ISP前端80可經組態以使得僅某些目的地針對特 定來源係有效的，如下文之表1所示。
SifODMA SiflDMA StatsPipeO StatsPipel FEProc FEOut SensO X X X X X Sensl X X X X X SensODMA X SenslDMA X ProcInDMA X X 表1-針對每一來源之ISP前端有效目的地的實例 舉例而言，根據表1，來源Sens0(Sensor0之感測器介面） 可經組態以將資料提供至目的地SifODMA(信號154)、 StatsPipeO(信號 156)、StatsPipel(信號 158)、FEProc(信號 160)或FEOut(信號162)。關於FEOut，在一些例子中，來 159040.doc -36· 201225631 源資料可提供至FEOut以繞過藉由FEProc之像素處理，諸 如，出於除錯或測試目的。另外，來源Sensl(Sensorl之感 測器介面）可經組態以將資料提供至目的地SlflDMA(信號 164)、StatsPipeO(信號 166)、StatsPipel(信號 168)、FEProc (信號170)或FEOut(信號172)，來源SensODMA(來自記憶體 108之SensorO資料）可經組態以將資料提供至StatsPipeO(信 號174) ’來源SenslDMA(來自記憶體108之Sensorl資料）可 經組態以將資料提供至StatsPipel(信號176)，且來源 ProcInDMA(來自記憶體1〇8之SensorO及Sensorl資料）可經 組態以將資料提供至FEProc(信號178)及FEOut(信號182)。 應注意’當前所說明之實施例經組態以使得Sens〇DMA (來自記憶體108之SensorO圖框）及SenslDMA(來自記憶體 108之Sensorl圖框）分別僅提供至Statspipe〇及 StatesPipel。此組態允許lsp前端8〇在記憶體中保持某一 數目個先前圖框（例如，5個圖框）。舉例而言，歸因於使用 者使用影像感測器起始俘獲事件（例如，使影像系統自預 覽模式轉變至俘獲或記錄模式，《甚至藉由僅接通或初始 化影像感測器）之時間與影像場景被俘獲時之時間之間的 延遲或滯後，並非使用者意欲俘獲之每一圖框皆可實質上 即時地被俘獲及處理。因此，藉由在記憶體108中保持某 一數目個先前圖框(例如，自預覽階段），此等先前圖框可 補後被處理或與實際上回應於俘獲事件所俘獲之圖框並排 被處理’由此補償任何此滯後且提供一組更完整的影像資 料。 159040.doc •37· 201225631 關於圖10之所說明組態，應注意，StatsPipeO 142經組態 以接收輸入 156(自 SensO)、166(自 Sensl)及 174(自 SensODMA) 中之一者，如藉由諸如多工器之選擇邏輯146所判定。類 似地’選擇邏輯148可自信號158、176及168選擇輸入以提 供至StatsPipel，且選擇邏輯152可自信號160、170及178 選擇輸入以提供至FEProc。如上文所提及，統計資料 (StatsO及Stats 1)可提供至控制邏輯84，以用於判定可用以 操作成像裝置30及/或ISP管道處理邏輯82之各種控制參 數。應瞭解’圖10所示之選擇邏輯區塊（146、148及152)可 藉由任何合適類型之邏輯（諸如，回應於控制信號而選擇 多個輸入信號中之一者的多工器）提供。 像素處理單元（FEProc) 150可經組態以逐像素地對原始 影像資料執行各種影像處理操作。如圖所示，作為目的地 處理單元之FEProc 150可藉由選擇邏輯152自SensO(信號 160)、Sensl (信號170)或ProcInDMA(信號178)接收影像資 料。FEProc 150亦可在執行像素處理操作時接收及輸出各 種信號（例如，Rin、Hin、Hout及Y〇ut-其可表示在時間濾 波期間所使用的運動歷史及明度資料），該等像素處理操 作可包括時間濾波及分格化儲存補償濾、波，如下文將進一 步論述。像素處理單元150之輸出1〇9(FEProcOut)可接著 (諸如）經由一或多個先進先出（FIF〇)佇列轉遞至lsp管道邏 輯82 ’或可發送至記憶體丨〇8。 此外，如圖10所示，除了接收信號16〇、17〇及178之 外，選擇邏輯152亦可進一步接收信號180及184。信號18〇 159040.doc • 38 · 201225631 可表示來自statsPipe0之「經預處理」原始影像資料，且 信號m可表示來自StatsPipeR「經預處理」原始影像資 料。如下文將論述，統計處理單元中之每一者可在收集統 計之前將一或多個預處理操作應用於原始影像;一 實施例中’統計處理單元中之每一者可執行一定程度的有 缺陷像素伯測/校正、透鏡遮光校正、黑階補償及逆里階 補償。因此，信號刚及184可表示已使用前述預處理操作 而處理之原始影像資料(如下文將在圖68中更詳細地論 述）。因此，選擇邏輯152給予ISP前端處理邏輯8〇提供來 自Se_0(信號i 60)及Sens〇r i (信m 7〇)之未經預處理原始 影像資料抑或來自StatsPipe〇(信號18〇)及以讀㈣（信號 184)之經預處理原始影像資料的彈性。另外，如藉由選擇 邏輯單元186及188所示’ ISP前端處理邏輯8〇亦具有將來 自sens_(信號！ 54)抑或Sensorl(信號i64)之未經預處理原 始影像資料寫入至記憶體】08或將來自StatsPipe〇(信號i 8〇) 或SUtsPipel(信號184)之經預處理原㈣像資料寫入至記 憶體108的彈性》 為了控制ISP前端邏輯80之操作，提供前端控制單元 190°控制單元19{)可經組態以初始化及程式化控制暫存器 (在本文中被稱為「進行暫存器」（g。邮办〇)以用於組態 及開始影像圖框之處理，且經組態以選擇（多個）適當暫存 器組以用於更新雙重緩衝資料暫存器。在一些實施例中， 控制單7L 19G亦可提供用以測錄時脈循環、記憶體潛時及 服務質（QOS)資汛的效能監視邏輯。此外，控制單元19〇 159040.doc -39- 201225631 亦可控制動態時脈閘控’該動態時脈閘控可用以在來自作 用中感測器之輸入仵列中不存在足夠資料時停用至Isp前 端0之一或多個部分的時脈。 在使用上文所提及之「進行暫存器」的情況下，控制單 元190可能能夠控制處理單元（例如，StatsPipe0、 StatsPipel及FEProc)中之每一者之各種參數的更新，且可 與感測器介面建立介面連接以控制處理單元之開始及停 止。通常，前端處理單元中之每一者逐圖框地操作。如上 文（表1)所論述’至處理單元之輸入可來自感測器介面 (SensO或Sensl)或來自記憶體1〇8。此外，處理單元可利用 可儲存於對應資料暫存器中之各種參數及組態資料β在一 實施例中’與每一處理單元或目的地相關聯之資料暫存器 可分組為形成暫存器組群組的區塊。在圖丨〇之實施例中， 七個暫存器組群組可界定於isp前端中：SIf0、SIfl、
StatsPipeO、StatsPipel、ProcPipe、FEOut 及 Procln。每一 暫存器區塊位址空間經複製以提供兩個暫存器組。僅被雙 重緩衝之暫存器在第二組中具現化。若暫存器未被雙重緩 衝’則第二組中之位址可映射至第一組中同一暫存器之位 址0 對於被雙重緩衝之暫存器，來自一組之暫存器係作用中 的且藉由處理單元使用，而來自另一組之暫存器被遮蔽。 遮蔽暫存器可藉由控制單元190在當前圖框間隔期間更 新’同時硬體正使用作用中暫存器。對哪一組將在特定圖 框處用於特定處理單元之判定可藉由進行暫存器中的 159040.doc •40· 201225631
NextBk」（下組）欄位指定，該攔位對應於將影像資料 提供至該處理單元的來源。基本上，〜鐵為允許控制單 元190控制哪1存器組在針對㈣®柩之觸發事件時變 得作用中的欄位。 在詳細地論料行暫存器之卿之前，wu提供根據本 發明技術的用於逐圖框地處理影像資料之一般方法“Ο。 始於步驟202 ,被資料來源（例如，Sens〇、、 SensODMA、SenslDMA或ProcInDMA)作為目標之目的地 處理單元進人閒置狀態。此情形可指# :針對當前圖框之 處理完成，且因此，控制單元19〇可準備處理下一圖框。 舉例而言，在步驟204處，更新每一目的地處理單元之可 程式化參數。此情形可包括（例如）更新進行暫存器中對應 於來源之NextBk欄位，以及更新資料暫存器中對應於目的 地單元之任何參數。此後，在步驟2〇6處，觸發事件可使 目的地單元置於執行狀態。此外，如在步驟2〇8處所示， 被來源作為目標之每一目的地單元完成其針對當前圖框之 處理操作，且方法200可隨後返回至步驟2〇2以用於處理下 一圖框。 圖12描繪展示可藉由ISP前端之各種目的地單元使用之 兩個資料暫存器组21〇及212的方塊圖視圖。舉例而言， Bank 0(210)可包括資料暫存器，且 1(212)可包括資料暫存器1_11(212£1_212(1)。如上文所論述， 圖1〇所示之實施例可利用具有七個暫存器組群組（例如， Slfo、SIfl、StatsPipeO、StatsPipel、ProcPipe、FE〇ut& 159040.doc 201225631
Procln)之暫存器組（Bank 0)。因此，在此實施例中，每一 暫存器之暫存器區塊位址空間經複製以提供第二暫存器組 (Bank 1)。 圖12亦說明可對應於來源中之一者的進行暫存器214。 如圖所示，進行暫存器214包括「NextVld」攔位216及上 文所提及之「NextBk」攔位218。此等欄位可在開始當前 圖框之處理之前被程式化。特定言之’ NextVld可指示來 自來源之資料待發送至的（多個）目的地。如上文所論述’ NextBk可針對作為目標之每一目的地（如藉由NextVld所指 示）自BankO抑或Bankl選擇對應資料暫存器。儘管圖12中 未圖示，但進行暫存器214亦可包括在本文中被稱為「進 行位元」（go bit)之啟動位元（其可經設定以啟動進行暫存 器）。當偵測針對當前圖框之觸發事件226時’ NextVld及 NextBk可複寫為對應當前或「作用中」暫存器220之 CurrVld欄位222及CurrBk欄位224。在一實施例中，（多個） 當前暫存器220可為可藉由硬體設定之唯讀暫存器’同時 保持不可存取ISP前端80内之軟體命令。 應瞭解，對於每一 ISP前端來源’可提供一對應進行暫 存器。出於本發明之目的，對應於上文所論述之來源 SensO、Sensl、SensODMA、SenslDMA及 ProcInDMA之進 行暫存器可分別被稱為SensOGo、SenslGo、SensODMAGo、 SenslDMAGo及ProcInDMAGo。如上文所提及，控制單元 可利用進行暫存器以控制ISP前端80内之圖框處理的定 序。每一進行暫存器含有一 NextVld欄位及一 NextBk欄位 159040.doc •42· 201225631 以針對下一圖框分別指示哪些目的地將有效及將使用哪一 暫存器組（0或1)。當下一圖框之觸發事件226發生時，
NextVld及NextBk欄位複寫至指示當前有效目的地及組號 的對應作用中唯讀暫存器220，如上文在圖12所示。每一 來源可經組態以非同步地操作且可將資料發送至其有效目 的地中的任一者。此外，應理解，對於每一目的地，通常 僅一個來源在當前圖框期間可為作用中的。 關於進行暫存器214之啟動及觸發，確證進行暫存器214 中之啟動位元或「進行位元」會啟動與相關聯之NextVld 及NextBk攔位對應的來源。對於觸發，各種模式取決於來 源輸入資料是否係自記憶體（例如’ Sens〇DMA、 861131〇]^八或？1^111〇]^八)讀取或來源輸入資料是否係來自 感測器介面（例如，SensO或Sensl)而為可用的。舉例而 言，若輸入係來自記憶體1〇8，則進行位元自身之啟動可 充當觸發事件，此係因為控制單元19〇已控制何時自記憶 體108讀取資料。若影像圖框正藉由感測器介面輸入，則 觸發事件可取決於對應進行暫存器相對於來自感測器介面
之資料何時被接收而被啟動的時序。根據本實施例，圖U 至圖15中展示用於觸發來自感測器介面輸入之時序的三種 不同技術。 *首先參看圖13,說明第一情形，其中一旦被來源作為目 標之所有目的地自繁忙或執行狀態轉變至間置狀態，觸發 隨即發生。此處，資料信號VVALID(228)表示來自來源之 影像資料信號。脈衝23。表示影像資料之當前圖框，脈衝 159040.doc •43· 201225631 236表示影像資料之下— 王，且間隔232表示垂直消障間 隔（VBLANK)232(例如，矣+片义卸 直請間 表不當前圖框230之最後線與下一 圖框236之間的時間差）。 、 )脈衝230之上升邊緣與下降邊緣 之間的時間差表示圖框間隔234。因此， 可經組態以在所有作A 表脉 230^/^ *之目的地已結束對當前圖框 处喿作且轉變至閒置狀態時觸發。在此情形中， 來源係在目的地完成虑拽儿 成處理之則破啟動（例如，藉由設定啟 動或進仃」位元)，使得來源可在作為目標之目的地變 得閒置後隨即觸發及起始下一圖框说之處理。在垂直消 隱間隔232期間，處理單元可經設置及組態以在感測器輸 入資料到達之則用於使用藉由進行暫存器所指定之對應於 來源之暫存器組的下一圖框236。僅藉由實例，藉由 FEProe 150使用之讀取緩衝器可在下一圖框…到達之前 被填充。在此狀況下’對應於作用中暫存器組之遮蔽暫存 器可在觸發事件之後被更新，由此允許完全圖框間隔設置 用於下圖框（例如，在圖框236之後）的雙重緩衝暫存器。 圖14說明第二情形，其中藉由啟動對應於來源之進行暫 存器中的進行位元觸發來源。在此「觸發即進行」 (trigger-on-go)組態下，被來源作為目標之目的地單元已 為閒置的，且進行位元之啟動為觸發事件。此觸發模式可 用於未被雙重緩衝之暫存器，且因此，在垂直消隱期間被 更新（例如，相對於在圖框間隔234期間更新雙重緩衝陰影 暫存器） 圖15說明第三觸發模式’其中來源在偵測下一圖框之開 159040.doc -44- 201225631 始（亦即，上升VSYNC)後隨即被觸發。然而，應注意，在 此模式中’若進行暫存器在下一圖框236已開始處理之後 被啟動（藉由設定進行位元），則來源將使用目標目的地及 對應於先前圖框之暫存器組’此係因為CurrVid及CurrBk 欄位在目的地開始處理之前未被更新。此情形未留下用於 設置目的地處理單元之垂直消隱間隔，且可潛在地導致已 捨棄圖桓（尤其是在雙感測器模式中操作時）。然而，應注 思，若影像處理電路3 2係在針對每一圖框使用相同暫存器 鲁 組（例如’目的地（NextVld)及暫存器組（NextBk)未改變）的 單感測器模式中操作，則此雙感測器模式可能仍然產生準 確操作。 現參看圖16’更詳細地說明控制暫存器（或「進行暫存 器」）214。進行暫存器214包括啟動「進行」位元238，以 及NextVld攔位216及NextBk欄位218。如上文所論述’ lsp 則端 80之每一來源（例如，SensO、Sensl、SensODMA、 SenslDMA或ProcInDMA)可具有對應進行暫存器214。在 鲁一實施例中，進行位元238可為單位元攔位，且進行暫存 器214可藉由將進行位元23 8設定為1而啟動。NextVld棚位 216可含有數目對應於ISP前端8〇中目的地之數目的位元。 舉例而言，在圖10所示之實施例中，181>前端包括六個目 的地：SifODMA、SiflDMA、StatsPipeO、StatsPipel、 FEProc及FEOut。因此，進行暫存器214可包括在NextVM 欄位216中之六個位元，其中一個位元對應於每一目的 地’且其中作為目標之目的地被設定為丨。類似地， 159040.doc •45- 201225631
NextBk欄位216可含有數目對應於ISP前端80中資料暫存器 之數目的位元。舉例而言’如上文所論述’圖10所示之 ISP前端80的實施例可包括七個資料暫存器：SIf〇、SIfl、 StatsPipeO、StatsPipel、ProcPipe、FEOut 及 Procln。因 此，NextBk欄位218可包括七個位元，其中一個位元對應 於每一資料暫存器，且其中對應於Bank 0及Bank 1之資料 暫存器係藉由分別將其各別位元值設定為0或1而選擇。因 此，在使用進行暫存器214的情況下，來源在觸發後隨即 精確地知曉哪些目的地單元將接收圖框資料，且哪些暫存 器組將用於組態作為目標之目的地單元。 另外，歸因於藉由ISP電路32支援之雙感測器組態，ISP 前端可在單感測器組態模式（例如，僅一個感測器獲取資 料）中及雙感測器組態模式（例如，兩個感測器獲取資料）中 操作。在典型單感測器組態中’來自感測器介面（諸如， SensO)之輸入資料發送至StatsPipeO(用於統計處理）及 FEProc(用於像素處理）。另外，感測器圖框亦可發送至記 憶體（SIfODMA)以供未來處理，如上文所論述。 下文在表2中描繪當在單感測器模式中操作時對應於ISP 前端80之每一來源之Next V Id欄位可被組態之方式的實 例。 SIfODMA SlflDMA StatsPipeO StatsPipel FEProc FEOut SensOGo 1 X 1 0 1 0 Sens 1 Go X 0 0 0 0 0 SensODMAGo X X 0 X X X SenslDMAGo X X X 0 X X ProcInDMAGo X X X X 0 0 表2-每來源實例之NextVld:單感測器模式 159040.doc -46- 201225631 如上文參看表1所論述，ISP前端80可經組態以使得僅某 些目的地針對特定來源係有效的。因此，表2中經標記有 「X」之目的地意欲指示：ISP前端80未經組態以允許特定 來源將圖框資料發送至彼目的地。對於此等目的地，對應 於彼目的地之特定來源之NextVld欄位的位元可始終為〇。 然而，應理解，此僅為一實施例，且實際上，在其他實施 例中，ISP前端80可經組態以使得每一來源能夠將每一可 用目的地單元作為目標。 上文在表2中所示之組態表示僅Sens〇r〇提供圖框資料的 單感測器模式。舉例而言，Sens0G〇暫存器指示目的地為 SIfODMA、StatsPipe0 及 FEPr〇c。因此，當被觸發時， SensorO影像資料之每一圖框發送至此等三個目的地。如 上文所論述，SIf0DMA可將圖框儲存於記憶體1〇8中以供 稍後處理，StatsPipeO應用統計處理以判定各種統計資料 點’且FEProc使用（例如）時間遽波及分格化儲存補償滤波 處理圖框。此外’在需要額外統計（例如，不同色彩空間 中之統計）之-些組態巾，亦可在單感測器模式期間^用 SUtsPipel(對應Nextvld設定為υ。在此等實施例中， SensorO圖框資料發送至statspipeM Statspipel兩者。此 外，如本實施例所示’僅單-感測器介面（例如，Sens0或 者Seno)在單感測器模式期間為僅有的作用中來源。 記住此，圖提供描繪用於在僅單一感測器為作用中 (例如，S_r〇)時處理ISP前端8〇中之圖框資料的方法24〇 之流程圖。儘管方法240說明（詳言之）藉由阳咖15〇進行 159040.doc -47- 201225631 之SensorO圖框資料的處理作為一實例，但應理解，此程 序可應用於ISP前端80中的任何其他來源及對應目的地單 元。始於步驟242，SensorO開始獲取影像資料且將所俘獲 之圖框發送至ISP前端80〇控制單元190可初始化對應於
SenS〇(Sens〇r〇介面）之進行暫存器的程式化，以判定目標 目的地（包括FEProc)及將使用哪些組暫存器，如在步驟244 處所示。此後，決策邏輯246判定來源觸發事件是否已發 生。如上文所論述，來自感測器介面之圖框資料輸入可利 用不同的觸發模式（’圖13至圖15)。若未偵測觸發事件，則 程序240繼續等待觸發。一旦觸發發生，下一圖框隨即變 為當前圖框，且發送至FEProc(及其他目標目的地）以供在 步驟248處處理。可使用基於在86113〇(}〇暫存器之NejaBk欄 位中所才曰疋的對應資料暫存器（pr〇cpipe)之資料參數組態 FEProc。在步驟250處完成當前圖框之處理之後，方法24〇 可返回至步驟244，此處針對下一圖框程式化Sens〇G〇暫存 器。 當ISP前端80之SensorO及Sensorl兩者皆為作用中時，統 計處理通常保持為直接的，此係因為每一感測器輸入可藉 由各別統計區塊StatsPipeO及statsPipel處理。然而，因為 ISP前端80之所說明實施例僅提供單一像素處理單元 (FEProc) ’所以FEPr〇c可經組態以在處理對應於輸 入資料之圖框與對應於Sens〇rl輸入資料之圖框之間交 替。應瞭解，在所說明實施例中，影像圖框係自FEPr〇(^ 取以避免如下情況：其巾來自—感、測器之影像資料被即時 159040.doc 201225631 處理，而來自另一感測器之影像資枓並未即時處理。舉例 而言，如下文在表3中所示（表3描繪在ISP前端80在雙感測 器模式中操作時每一來源之進行暫存器中的NextVld攔位 之一可能組態），來自每一感測器之輸入資料發送至記憶 體（SIfODMA及SlflDMA)且發送至對應統計處理單元 (StatsPipeO及 StatsPipel)。 SIfODMA SlflDMA StatsPipeO StatsPipel FEProc FEOut SensOGo 1 X 1 0 0 0 Sens 1 Go X 1 0 1 0 0 SensODMAGo X X 0 X X X SenslDMAGo X X X 0 X X ProcInDMAGo X X X X 1 0 表3-每來源實例之NextV丨d :雙感測器模式 記憶體中之感測器圖框自ProcInDMA來源發送至 FEProc，使得其基於其對應圖框速率以一速率在SensorO 與Sensorl之間交替。舉例而言，若SensorO及Sensorl皆以 30個圖框/秒（fps)之速率獲取影像資料，則其感測器圖框 可以1對1方式交錯。舉例而言，若Sensor〇(3〇 fps)以 Sensorl(15 fps)之速率之兩倍的速率獲取影像資料，則交 錯可為2對1。亦即，針對Sensorl資料之每一圖框， SensorO資料之兩個圖框自記憶體讀出。 記住此’圖18描繪用於處理具有同時獲取影像資料之兩 個感測器的ISP前端80中之圖框資料的方法252。在步驟 254處’ SensorO及Sensorl兩者開始獲取影像圖框。應瞭 解，SensorO及Sensorl可使用不同之圖框速率、解析度等 159040.doc •49- 201225631 等來獲取影像圖框。在步驟256處，將來自SensorO及 Sensorl之所獲取圖框寫入至記憶體108(例如，使用 SIfODMA及SlflDMA目的地）。接下來，來源ProcInDMA以 交替方式自記憶體108讀取圖框資料，如在步驟258處所指 示。如所論述，圖框可取決於獲取資料時之圖框速率而在 SensorO資料與Sensorl資料之間交替。在步驟260處，獲取 來自ProcInDMA之下一圖框。此後，在步驟262處，取決 於下一圖框為SensorO資料抑或Sensorl資料而程式化對應 於來源（此處為ProcInDMA)的進行暫存器之NextVld及 NextBk攔位。此後，決策邏輯264判定來源觸發事件是否 已發生。如上文所論述，可藉由啟動進行位元（例如，「觸 發即進行」模式）而觸發來自記憶體的資料輸入。因此， 一旦將進行暫存器之進行位元設定為1，觸發隨即可發 生。一旦觸發發生，下一圖框隨即變為當前圖框，且發送 至FEProc以供在步驟266處處理。如上文所論述，可使用 基於在ProcInDMA進行暫存器之NextBk欄位中所指定的對 應資料暫存器（ProcPipe)之資料參數組態FEProc。在步驟 268處完成當前圖框之處理之後，方法252可返回至步驟 260且繼續。 ISP前端80經組態以處置之另一操作事件係在影像處理 期間的組態改變。舉例而言，當ISP前端80自單感測器組 態轉變至雙感測器組態或自雙感測器組態轉變至單感測器 組態時，此事件可發生。如上文所論述，某些來源之 NextVld欄位可取決於一個抑或兩個影像感測器在作用中 159040.doc -50- 201225631 而可為不同的…匕，當感測器組態改變時，isp前端控 制早兀19〇可在所有目的地單元被新來源作為目標之 放該等目的地單元。此情形可避免無效組態(例如，將多 個來源指派至-個目的地)。在一實施例中，可藉由以下 操作而實現目的地單元之釋放：將所有進行暫存器之 NextVld欄位設定為〇，由此停用所有目的地，且啟動進行 位元。在釋放目的地單元之後，進行暫存器可取決於當前 感測器模式而重新組態，且影像處理可繼續。 根據一實施例，在圖19中展示用於在單感測器組態與雙 感測器組態之間切換的方法270。始於步驟272，識別來自 ISP前端80之特定來源之影像資料的下一圖框。在步驟274 處，將目標目的地（NextVld)程式化至對應於該來源之進行 暫存器中。接下來，在步驟276處，取決於目標目的地， 將NextBk程式化為指向與該等目標目的地相關聯之正確資 料暫存器。此後，決策邏輯278判定來源觸發事件是否已 發生。一旦觸發發生’隨即將下一圖框發送至藉由 NextVld所指定之目的地單元且藉由該等目的地單元使用 藉由NextBk所指定的對應資料暫存器來處理，如在步驟 280處所示。處理繼續直至步驟282為止，在步驟282處當 前圖框之處理完成。 隨後，決策邏輯284判定是否存在該來源之目標目的地 之改變。如上文所論述，對應於SensO及Sensl之進行暫存 器的NextVld設定可取決於一個感測器抑或兩個感測器在 作用中而變化。舉例而言’參看表2，若僅SensorO為作用 159040.doc -51 · 201225631 中的，則將SensorO資料發送至SIfODMA、StatsPipeO及 FEProc。然而，參看表3，若SensorO及Sensor 1兩者為作用 中的，則並不將SensorO資料直接發送至FEProc。實情 為，如上文所提及，SensorO及Sensorl資料寫入至記憶體 108，且藉由來源ProcInDMA以交替方式讀出至FEProc。 因此，若在決策邏輯284處未偵測目標目的地改變，則控 制單元190推斷感測器組態尚未改變，且方法270返回至步 驟276，在步驟276處將來源進行暫存器之NextBk欄位程式 化為指向用於下一圖框的正確資料暫存器，且繼續。 然而，若在決策邏輯284處偵測目的地改變，則控制單 元190判定感測器組態改變已發生。舉例而言，此情形可 表示自單感測器模式切換至雙感測器模式，或完全斷開該 等感測器。因此，方法270繼續至步驟286，在步驟286處 將所有進行暫存器之NextVld欄位的所有位元設定為0，由 此有效地停用圖框在下次觸發時至任何目的地的發送。接 著，在決策邏輯288處，進行關於是否所有目的地單元已 轉變至閒置狀態之判定。若否，則方法270在決策邏輯288 處等待，直至所有目的地單元已完成其當前操作為止。接 下來，在決策邏輯290處，進行關於影像處理是否繼續之 判定。舉例而言，若目的地改變表示SensorO及Sensorl兩 者之撤銷啟動，則影像處理在步驟292處結束。然而，若 判定影像處理將繼續，則方法270返回至步驟274且根據當 前操作模式（例如，單感測器或雙感測器）程式化進行暫存 器的NextVld欄位。如此處所示，藉由參考數字294來全體 159040.doc -52- 201225631 指代用於清除進行暫存器及目的地欄位的步驟284至292。 接下來’圖20藉由提供另一雙感測器操作模式之流程圖 (方法296)來展示另一實施例。方法296描繪如下情況：其 中-感測器（例如’ SensGrG)在作財獲取影像資料且將影 像圖框發送至FEPr〇c 15〇以供處理，同時亦將影像圖框發 送至StatsPipeO及/或記憶體1〇8(Sif〇DMA)，而另一感測器 (例如Sensorl)為非作用中的（例如，斷開），如在步驟298 處所示決朿邏輯300接著偵測Sensor 1將對下一圖框變為 作用中的以將影像資料發送至FEPr〇c的情況。若未滿足此 條件，則方法296返回至步驟298 〇然而，若滿足此條件’ 則方法296藉由執行動作294(總體而言為圖19之步驟284至 292)而繼續進行，藉以，來源之目的地攔位得以清除且在 步驟294處重新組態。舉例而言，在步驟294處，可將與 Sensorl相關聯之進行暫存器的Nextvld欄位程式化為指定 FEPr〇C作為目的地，以及StatsPipel及/或記憶體（SiflDMA)， 而可將與SensorO相關聯之進行暫存器的Nextvid欄位程式 化為清除FEProc作為目的地。在此實施例中，儘管藉由 SensorO所俘獲之圖框中的下一圖框未發送至FEPr〇c，但 SensorO可保持為作用中的且繼續將其影像圖框發送至 StatsPipeO ’如在步驟3〇2處所示，而Sensorl俘獲資料且將 資料發送至FEProc以供在步驟304處處理。因此，兩個感 測器（SensorO及Sensorl)可繼續在此「雙感測器」模式中 操作’但僅來自一感測器之影像圖框發送至FEProc以供處 理。為此實例之目的’將圖框發送至FEProc以供處理之感 159040.doc -53- 201225631 測器可被稱為「作用中感測器」，未將圖框發送至FEpr〇c 仁仍將資料發送至統計處理單元的感測器可被穩鼻「丰作 用中感測器」，且根本並未獲取資料之感測器稱可為被= 「非作用中感測器」》 前述技術之一益處在於：因為統計繼續針對半作用中感 測器（Sen—)被獲取，所以在下次半作用中感測器轉變至 作用中狀態且當前作用中感測器變至半作用中 或非作用中狀態時，半作用中感測器可開始在—圖框内獲 取資料，此係因為歸因於影像統計之繼續收集，色彩乎衡 及曝光參數可已為可用的◊此技術可被稱為影像感測器之 「熱切換」’且避免與影像感測器之「冷起動」相關聯的 缺點（例如，在無統計資訊可用之情況下起動）。此外，為 了卽省電力，因為每一來源為非同步的（如上文所提及卜 所以半作用中感測器可在半作用中週期期間在減少之時脈 及/或圖框速率下操作。 在繼續圖10之ISP前端邏輯80所描繪之統計處理及像素 處理操作的更詳細描述之前，據信關於可結合當前揭示之 技術使用的若干類型之記憶體定址格式的簡要介紹以及各 種ISP圖框區域之界定將幫助促進對本標的的更好理解。 現參看圖21及圖2 2，分別說明可應用於自（多個）影像感 測器90所接收及儲存至記憶體（例如，108)中之像素資料的 線性定址模式及發光塊式定址模式。在所描繪實施例申， 可基於64個位元組之主機介面區塊請求大小。應瞭解，其 他實施例可利用不同的區塊請求大小（例如，32個位元 159040.doc -54- 201225631 組、128個位元組等等）。在圖21所示之線性定址模式中， 影像樣本以順序次序位於記憶體中。術語「線性跨距」 (linear stride)指定2個鄰近垂直像素之間的以位元組為單 位的距離。在本實例中’平面之開始基本位址對準至64位 元組邊界，且線性跨距可為64之倍數（基於區塊請求大 小）。 在發光塊式模式格式之實例中，如圖22所示，影像樣本 首先順序地配置於「發光塊」（tile)中，其接著順序地儲存 籲 於§己憶體中。在所說明實施例中，每一發光塊可為256位 元組寬乘16列高。術語「發光塊跨距」（tile stride)應被理 解為指代2個鄰近垂直發光塊之間的以位元組為單位的距 離。在本實例中，處於發光塊式模式中之平面的開始基本 位址對準至4096位元組邊界（例如，發光塊之大小），且發 光塊跨距可為4096的倍數。 記住此，在圖23中說明可在影像來源圖框内界定之各種 圖框區域。提供至影像處理電路32之來源圖框的格式可使 用上文所論述之發光塊式抑或線性定址模式，如可利用 8、10、12、14或16位元精確度下的像素格式。如圖23所 示’影像來源圖框306可包括感測器圖框區域3〇8、原始圖 框區域310及作用中區域312。感測器圖框308通常為影像 感測器90可提供至影像處理電路32之最大圖框大小。原始 圖框區域310可定義為感測器圖框308之發送至ISP前端處 理邏輯80的區域。作用中區域312可定義為來源圖框3〇6之 一部分，其通常在原始圖框區域3 10内，針對特定影像處 159040.doc •55· 201225631 理操作對其執行處理。根據本發明技術之實施例，作用中 區域312可為相同的或針對不同之影像處理操作可為不同 的》 根據本發明技術之態樣，ISP前端邏輯80僅接收原始圖 框310〇因此，為本論述之目的，Isp前端處理邏輯之全 域圖框大小可假設為原始圖框大小，如藉由寬度3 14及高 度3 16判定。在一些實施例中，自感測器圖框3〇8之邊界至 原始圖框310的位移可藉由控制邏輯84判定及/或維持。舉 例而言，控制邏輯84可包括可基於關於感測器圖框3〇8所 指疋之輸入參數（諸如，χ位移318及丫位移32〇)判定原始圖 框區域310的韌體。此外，在一些狀況下，Isp前端邏輯 内之處理單元或ISP管道邏輯82可具有經界定之作用中區 域，使得在原始圖框中但在作用中區域3 12外部的像素將 不會被處理，亦即，保持未改變。舉例而言，可基於相對 於原始圖框310之X位移326及y位移328而界定具有寬度322 及间度3 24的針對特定處理單元之作用中區域312。此外， 在並未特定地界定作用中區域之情況下，影像處理電路32 之貫施例可假设作用中區域3 12與原始圖框3 10相同（例 如，X位移326及y位移328皆等於0)。因此，為對影像資料 所執行之影像處理操作的目的，可關於原始圖框31〇或作 用中區域3 12之邊界定義邊界條件。另外，在一些實施例 中’可藉由在記憶體中識別開始及結束位置而非開始位置 及視窗大小資訊來指定視窗（圓框）。 在一些實施例中，ISP前端處理單元（FEproc)80亦可藉由 159040.doc •56· 201225631 重疊之垂直條帶來支援處理影像圖框，如圖24所示。舉例 而。本實例中之影像處理可以三遍（藉由左側條帶 (StnPe〇)、中間條帶（StriPel)及右側條帶（Stripe2))發生。 此清形可允許ISP前端處理單元8〇以多個遍次處理較寬之 〜像，而無需增大行緩衝器大小，此技術可被稱為「跨距 定址 j (stride addressing)。 當藉由多個垂直條帶處理影像圖框時，在有一定程度重 疊之情況下讀取輸入圖框以允許足夠的濾波器内容背景重 疊，使得在以多個遍次對以單遍讀取影像之間存在極小或 無差異。舉例而言，在本實例中，具有寬度SrcWidthO之 Stnpe0與具有寬度SrcWidthl之Stripel部分地重疊，如藉 由重疊區域330所指示。類似地，stripel亦在右側上與具 有寬度SrCWidth2之StdPe2重疊，如藉由重疊區域332所指 不。此處’總跨距為每一條帶之寬度的總和（SrcWidth〇、
SrcWidthl、SrcWidth2)減去重疊區域330及332之寬度 (334、336)。當將影像圖框寫入至記憶體（例如，1〇8)時， 界疋作用中輸出區域，且僅寫入輸出作用中區域内部的資 料。如圖24所示，在寫入至記憶體時，基於ActiveDst〇、 ActiveDstl及ActiveDst2之非重疊寬度寫入每一條帶。 如上文所論述’影像處理電路32可直接自感測器介面 (例如’ 94)接收影像資料，或可自記憶體108(例如，〇μΑ 記憶體）接收影像資料。在自記憶體提供傳入資料之情況 下，影像處理電路32及ISP前端處理邏輯80可經組態以提 供位元組交換’其中來自記憶體之傳入像素資料可在處理 159040.doc -57· 201225631 之前進行位元組交換。在一實施例中，交換碼可用以指示 來自記憶體之傳入資料的鄰近雙字組、字組、半字組或位 元組是否被交換。舉例而言，參看圖25，可使用四位元交 換碼對16位元組（位元組〇_15)資料組執行位元組交換。 如圖所示，交換碼可包括四個位元，其自左至右可被稱 為bit3、bit2、bitl及bit〇e當所有位元設定為〇時如藉由 參考數字338所示，不執行位元組交換。當bh3設定為丄 時，如藉由參考數字340所示，交換雙字組（例如，8個位 元組）〇舉例而言，如圖25所示，用藉由位元組8_15所表示 之雙子組交換藉由位元組〇-7所表示的雙字組。若bh2設定 為1，如藉由參考數字342所示，則執行字組（例如，4個位 元組）交換。在所說明實例中，此情形可導致藉由位元組8_ 11所表不之字組以藉由位元組12_15所表示的字組交換， 且藉由位元組0 - 3所表示之字組以藉由位元組4 _ 7所表示的 字組交換。類似地，若bitl設定為i，如藉由參考數字344 所示，則執行半字組（例如，2個位元組）交換（例如，位元 組以位元組2_3交換等），且若bit〇設定為丨，如藉由參考 數子346所示，則執行位元組交換。 在本實施例中，藉由以有序方式評估交換碼之位元3、 2、1及〇而執行交換。舉例而言，若位元3及2設定為值1， 則首先執行雙字組交換（bit3)，繼之以字組交換（咖卜因 此，如圖25所示，當交換碼設定為「1111」時，最終結果 為傳入資料自小端序格式交換至大端序格式。 接下來根據某些所揭示實施例更詳細地論述可藉由用 159040.doc 201225631 於原始影像資料（例如，拜耳RGB資料）、RGB色彩資料及 (YCC、明度/色度資料）之影像處理電路32支援的用於 影像像素資料之各種記憶體格式。首先，論述可藉由影像 處理電路32之實施例支援的在目的地/來源圖框中之原始 影像像素（例如，在解馬賽克之前的拜耳資料）的格式。如 所提及’某些實施例可支援影像像素在8、ig、Η、Μ及 16位元精確度下的處理。在原始影像資料之内容背景中， 8、1〇、12、14及16位元原始像素格式在本文中可分別被 稱為 RAWS、RAW10、RAW12、Raw1qrawi6格式。在 圖26中以圖形解封裝形式展示展示RAW8、RAW10、
Raw12、讀14及RAW16格式中之每—者可儲存於記憶 體中之方式的實例。針對具有大於8個位元（且並非8位元 之倍數）之位元精確度的原始影像格式，亦可以封裝格式 儲存像素資料。舉例而言’圖27展示RAWl()影像像素可儲 存於3己憶體中之方式的實例。類似地，圖28及圖Μ說明 RAW12及RAW14f彡像像素可藉㈣存於記憶體巾之實例。 如下文將進—步論述，當將影像資料寫人至記憶體/自記 憶體讀取影像資料時，與感測器介面94相關聯之控制暫存 器可定義目的地/來源像素格式，無論像素係處於封裝抑 或解封裝格式、定址格式（例如，線性或發光塊式）及交換 碼。因此，像素資料藉由lsp處理電路32讀取及解譯之方 式可取決於像素格式。 影像信號處理(ISP)電路32亦可支援感測器介面來源/目 的地圖框（例如’ 31G)中之某些格式的刷色彩像素。舉例 159040.doc •59· 201225631 而言，RGB影像圖框可自感測器介面接收（例如，在感測 器介面包括機上解馬赛克邏輯之實施例中）且保存至記憶 體108。在一實施例中，當RGB圖框被接收時，ISP前端處 理邏輯80(FEProc)可繞過像素及統計處理。僅藉由實例， 影像處理電路32可支援以下RGB像素格式：RGB-565及 RGB-888。在圖30中展示RGB-565像素資料可儲存於記憶 體中之方式的實例。如所說明，RGB-565格式可以RGB次 序提供交錯之5位元紅色色彩分量、6位元綠色色彩分量及 5位元藍色色彩分量的一平面。因此，總共16個位元可用 以表示 RGB-565 像素（例如，{R0，GO，B0}或{Rl，G1， B1})。 如圖31所描繪，RGB-888格式可包括以RGB次序之交錯 之8位元紅色、綠色及藍色色彩分量的一平面。在一實施 例中，ISP電路32亦可支援RGB-666格式，其通常以RGB次 序提供交錯之6位元紅色、綠色及藍色色彩分量的一平 面。在此實施例中，當選擇RGB-666格式時，可使用圖3 1 所示之RGB-888格式將RGB-666像素資料儲存於記憶體 中，但其中每一像素左側對齊且兩個最低有效位元（LSB) 設定為0。 在某些實施例中，ISP電路32亦可支援允許像素具有延 伸之範圍及浮點值精確度的RGB像素格式。舉例而言，在 一實施例中，ISP電路32可支援圖32所示之RGB像素格 式，其中紅色（R0)、綠色（G0)及藍色（B0)分量表達為8位元 值，具有共用的8位元指數（E0)。因此，在此實施例中， 159040.doc -60- 201225631 藉由R〇、GO、BO及E0所定義之實際紅色（R，）、綠色（G，）及 藍色（B，）值可表達為： r，=R0[7:0]*2aE0[7:0] G' = G0[7:0]*2aE0[7:0] Β'=ΒΟ[7：〇]*2λΕΟ[7:0] 此像素格式可被稱為RGBE格式，其有時亦被稱作Radiance 影像像素格式。 圖33及圖34說明可藉由ISP電路32支援之額外RGB像素 籲 格式。特定言之，圖33描繪可儲存具有5位元共用指數之9 位το紅色、綠色及藍色色彩分量的像素格式。舉例而言， 每一紅色、綠色及藍色像素之上八個位元[8:丨]以各別位元 組儲存於記憶體中。額外位元組用以儲存5位元指數（例 如’ E0[4:0])及每一紅色、綠色及藍色像素的最低有效位 元[0]。因此’在此實施例中，藉由r〇、G〇、B0及E0所定 義之實際紅色（R，）、綠色（G1)及藍色（B·)值可表達為： R'=R0[8:0]*2AE0[4:0] ® G'=G0[8:0]*2AE0[4:0] Β，=Β0[8:0]*2ΛΕ0[4:0] 此外’圖33所說明之像素格式亦為靈活的，原因在於其可 與圖31所示之RGB-888格式相容。舉例而言，在一些實施 例中’ISP處理電路32可處理具有指數分量之全rgb值， 或亦可以類似於RGB-888格式之方式僅處理每一 rgb色彩 分量的上8位元部分[7:1] 〇 圖34描繪可儲存具有2位元共用指數之位元紅色、綠 159040.doc -61 - 201225631 色及藍色色彩分量的像素格式。舉例而言，每一紅 、·巴、綠 色及藍色像素之上8位元[9:2]以各別位元組儲存於記情體 中。額外位元組用以儲存2位元指數（例如，E〇[1:〇])及每 一紅色、綠色及藍色像素的最低有效2位元[1:〇]。因此， 在此實施例中，藉由R0、GO、B0及E0所定義之實際紅色 (R')、綠色（G')及藍色（B·)值可表達為： R'=R0[9:0]*2AE0[1:0] G'=G0[9:0]*2AE0[1：0] B'=B0[9:0]*2AE0[1:0] 另外’如同圖33所示之像素格式，圖34所說明之像素格式 亦為靈活的’原因在於其可與圖31所示之rgb-888格式相 容。舉例而言，在一些實施例中，ISP處理電路32可處理 具有指數分量之全RGB值，或亦可以類似於rgB-888格式 之方式僅處理每一 RGB色彩分量的上8位元部分（例如， [9:2])。 ISP電路32亦可進一步支援感測器介面來源/目的地圖框 (例如’ 310)中之某些格式的YCbCr(YUV)明度及色度像 素。舉例而言，YCbCr影像圖框可自感測器介面接收（例 如’在感測器介面包括機上解馬赛克邏輯及經組態以將 RGB影像資料轉換為YCC色彩空間之邏輯的實施例中）且 保存至記憶體108。在一實施例中’當YCbCr圖框被接收 時’ ISP前端處理邏輯80可繞過像素及統計處理。僅藉由 實例’影像處理電路32可支援以下YCbCr像素格式： YCbCr-4:2:0 8, 2平面；及YCbCr-4:2:2 8, 1平面。 159040.doc 62- 201225631 YCbCr-4:2:0，2平面像素格式可在記憶體中提供兩個單 獨的影像平面，一個用於明度像素且一個用於色度像 素（Cb、Cr)，其中色度平面使cb及〇像素樣本交錯。另 外，色度平面可在水平（x)及垂直（y)方向兩者上被子取樣 . 一分之一。在圖35中展示展示YCbCr-4:2:0，2平面資料可 儲存於記憶體中之方式的實例，其描繪用於儲存明度（γ) 樣本之明度平面347及用於儲存色度（Cb、Cr)樣本的色度 平面348。展示於圖36中之YCbCr-4:2:2 8，1平面可包括交 籲 錯之明度（γ)及色度（Cb、Cr)像素樣本之一影像平面，其 中色度樣本在水平（X)及垂直（y)方向兩者上被子取樣二分 之一。在一些實施例中，ISP電路32亦可藉由使用具有捨 位（例如，10位元資料之兩個最低有效位元捨去）之上述8位 元格式將像素樣本保存至記憶體來支援1 〇位元YCbCr像素 格式。此外，應瞭解，亦可使用上文在圖3〇至圖34中所論 述之RGB像素格式中的任一者來儲存YC1C2值，其中γ、 C1及C2分量中之每一者係以與尺、G&B分量相似的方式儲 • 存。 返回參考圖10所示之ISP前端處理邏輯8〇，提供至記憶 體108之各種讀取及寫入通道❶在一實施例中，讀取/寫入 通道可共用共同資料匯流排，該資料匯流排可使用諸如進 階可擴展介面（AXI)匯流排或任何其他合適類型之匯流排 (AHB、ASB、APB、ATB等）的進階微控制器匯流排架構 來提供。取決於如上文所論述可經由控制暫存器判定之影 像圖框資訊（例如’像素格式、位址格式、封裝方法），位 159040.doc •63- 201225631 址產生區塊（其可實施為控制邏輯84之部分）可經組態以將 位址及叢發大小資訊提供至匯流排介面。藉由實例，位址 計算可取決於各種參數，諸如像素資料經封裝抑或解封 裝、像素資料格式（例如，RAW8、RAW10、RAW12、 RAW14、RAW16、RGB 或YCbCr/YUV格式）、使用發光塊 式抑或線性定址格式，影像圖框資料相對於記憶體陣列之 X位移及y位移，以及圖框寬度、高度及跨距。可用於計算 像素位址之其他參數可包括最小像素單元值（MPU)、位移 遮罩、每MPU值之位元組（BPPU)，及MPU值之Log2 (L2MPU)。根據一實施例，下文所示之表4說明用於經封 裝及經解封裝之像素格式的前述參數》 格式 MPU (最小像素單 元） L2MPU (MPU 之 Log2) 位移遮罩 BPPU (每MPU之位 元組） RAW8 解封裝 1 0 0 1 RAW16 解封裝 1 0 0 2 RAW10 封裝 4 2 3 5 解封裝 1 0 0 2 RAW12 封裝 4 2 3 6 解封裝 1 0 0 2 RAW14 封裝 4 2 3 7 解封裝 1 0 0 2 RGB-888 1 0 0 4 RGB-666 1 0 0 4 RGB-565 1 0 0 2 YUV-4:2:0(8位元） 2 1 0 2 YUV-4:2:0(10位元） 2 1 0 2 YUV-4:2:2(8位元） 2 1 0 4 YUV-4:2:2(10位元） 2 1 0 4 表4·像素位址計算參數（MPU、L2MPIJ、BPPU) 應理解，MPU及BPPU設定允許ISP電路32估定需要讀取 之像素的數目以便讀取一像素’即使在並不需要所有讀取 159040.doc • 64· 201225631 資料時亦如此。亦即，MPU及BPPU設定可允許ISP電路32 以與記憶體位元組對準（例如，8個位元（1位元組）之倍數用 以儲存像素值）及與記憶體位元組未對準（例如，像素值係 使用少於或大於8個位元（1位元組）之倍數來儲存，亦即， RAW10、RAW12等）兩者的像素資料格式來讀取。 參看圖37，說明展示在線性定址下儲存於記憶體中之影 像圖框350之位置的實例，其中每一區塊表示64個位元組 (如上文在圖21中所論述）。在一實施例中，以下偽碼說明 可藉由控制邏輯實施以在線性定址中識別所儲存圖框之開 始區塊及區塊寬度的程序：
BlockWidth=LastBlockX-BlockOffsetX+l; wherein BlockOffsetX=(((OffsetX » L2MPU)*BPPU) » 6) LastBlockX=((((OfFsetX+Width-1) » L2MPU)*BPPU+ BPPU-1)» 6)
BlockStart=OffsetY*Stride+BlockOffsetX 其中Stride表示以位元組為單位之圖框跨距且為64之倍 數。舉例而言，在圖37中，SrcStride及DstStride為4，從 而意謂64個位元組之4個區塊。參看上文之表4, L2MPU及 BPPU之值可取決於圖框350中之像素的格式。如圖所示， 一旦已知BlockOffsetX，隨即可判定BlockStart。可隨後使 用 BlockOffsetX 及 LastBlockX 來判定 BlockWidth ， BlockOffsetX及LastBlockX可使用對應於圖框350之像素格 式的L2MPU及BPPU的值來判定。 在圖38中描繪在發光塊式定址下之類似實例，其中來源 159040.doc • 65- 201225631 影像圖框（此處藉由參考數字352來提及）儲存於記憶體中且 重疊Tile 0、Tile 1、Tile η及Tile n+1的一部分。在一實施 例中，以下偽碼說明可藉由控制邏輯實施以在發光塊式定 址中識別所儲存圖框之開始區塊及區塊寬度的程序 BlockWidth=LastBlockX-BlockOffsetX+l; wherein BlockOffsetX=(((OffsetX » L2MPU)*BPPU) » 6) LastBlockX=((((OffsetX+Width-l)» L2MPU)*BPPU+ BPPU-1)» 6)
BlockStart=((OffsetY » 4)* (Stride » 6)+ (BlockOfFsetX » 2)*64+OffsetY[3:0]*4+ (BlockOffsetX[l:0]) 在上文所描繪之計算中，表達式「（OffsetY»4)*(Stride>> 6)」可表示到達影像圖框位於記憶體中之發光塊列的@ & 之數目。表達式「（BlockOffsetX>>2)*64」可表示所儲存 影像圖框在X方向上位移之區塊的數目。表達式 「OffsetY[3:0]*4」可表示到達定位有影像圖框之開始位 址的發光塊内之列的區塊之數目。此外，表達1 「BlockOffsetX[l:〇]」可表示到達對應於影像圖框之開始 位址的發光塊内之X位移的區塊之數目。另外，在圖38~ 說明之實施例中，用於每一發光塊之區塊的數目 (BlocksPerTile)可為64個區塊，且每區塊之位元組的數目 (BytesPerBlock)可為64個位元組。 如上文在表4中所示，針對以RAW10、RAW12及rAW14 封裝格式所儲存之像素，四個像素分別構成五個、六個或 159040.doc -66- 201225631
七個位元組（BPPU)之最小像素單元（MPU)。舉例而言，參 考圖27所示之RAW10像素格式實例，四個像素P0-P3之 MPU包括5個位元組，其中像素P0-P3中之每一者的上8個 位元儲存於四個各別位元組中，且該等像素中之每一者的 下2個位元組儲存於32位元位址Olh的位元0-7中。類似 地，返回參看圖28，使用RAW12格式之四個像素P0-P3的 MPU包括6個位元組，其中像素P0及P1之下4個位元儲存於 對應於位址〇〇h之位元16-23的位元組中且像素P2及P3之下 4個位元儲存於對應於位址Olh之位元8-15的位元組中。圖 29將使用RAW14格式之四個像素P0-P3的MPU展示為包括7 個位元組，其中4個位元組用於儲存MPU之每一像素的上8 個位元且3個位元組用於儲存MPU之每一像素的下6個位 元。 使用此等像素格式，在圖框行之結束時具有部分MPU (其中使用MPU之小於四個像素（例如，當行寬度模4為非 零時））為可能的。當讀取部分MPU時，可忽略未使用之像 素。類似地，當將部分MPU寫入至目的地圖框時，未使用 之像素可寫入有零值。此外，在一些例子中，圖框行之最 後MPU可能不對準至64位元組區塊邊界。在一實施例中， 未寫入在最後MPU之後且直至最後64位元組區塊之結束的 位元組。 根據本發明之實施例，ISP處理電路32亦可經組態以提 供溢位處置。舉例而言，溢位條件（亦被稱為「滿溢」）可 在如下某些情形下發生：其中ISP前端處理邏輯80自其自 159040.doc -67- 201225631 己之内部處理單元、自下游處理單元（例如，ISP管線82及/ 或ISP後端處理邏輯12〇)，或自目的地記憶體（例如，影像 資料待寫入之處）接收反壓力。當像素資料快於一或多個 處理區塊能夠處理資料或快於資料可寫入至目的地（例 如，汜憶體1〇8)被讀入（例如，自感測器介面抑或記憶體） 時’溢位條件可發生。 如下文將進一步論述，讀取記憶體及寫入至記憶體可促 進溢位條件。然而，由於輸入資料經儲存，因此在溢位條 件之狀況下，ISP電路32可簡單地停止輸入資料之讀取直 至溢位條件復原為止。然而，當直接自影像感測器讀取影 像資料時’「貫況」資料通常不可停止，此係由於影像感 測器通常即時地獲取影像資料。舉例而言，影像感測器 (例如’ 90)可根據時序信號基於其自己的内部時脈操作， 且可經組態而以某一圖框速率（諸如，15或3〇個圖框/秒 (fPs))輸出影像圖框。至18]?電路32及記憶體1〇8之感測器 輸入可由此包括輸入佇列，該等輸入佇列可在傳入之影像 資料經處理（藉由ISP電路32)或寫入至記憶體（例如，1〇8) 之前緩衝該資料。因此，若影像資料在輸入佇列處快於其 可讀出於該佇列且經處理或儲存（例如，寫入至記憶體）而 被接收，則溢位條件可發生。亦即，若緩衝器/佇列為 滿’則額外之傳入像素不可被緩衝，且取決於所實施之溢 位處置技術可被丟棄。 圖39展示ISP處理電路32之方塊圖，且聚焦於可根據一 實施例提供溢位處置之控制邏輯84的特徵。如所說明，與 159040.doc -68 - 201225631
SensorO 90a及Sensorl 90b相關聯之影像資料可自記憶體 108讀入（分別藉由介面174及176)至lsp前端處理邏輯 80(FEPr〇c) ’或可直接自各別感測器介面提供至Isp前端處 理邏輯80。在後者狀況下，在發送至Isp前端處理邏輯8〇 之前’來自影像感測器90a及90b的傳入之像素資料可分別 傳遞至輸入佇列400及402。 當溢位條件發生時，發生溢位之（多個）處理區塊（例如， 區塊80、82或120)或記憶體（例如，1〇8)可提供信號（如藉 鲁 由信號405、407及408所指示）以設定中斷請求（IRQ)暫存 器404中的位元。在本實施例中，IRQ暫存器4〇4可實施為 控制邏輯84之部分。另外，可針對Sensor〇影像資料及 Sensorl影像資料中之每一者實施單獨的IRQ暫存器4〇4。 基於儲存於IRQ暫存器404中之值，控制邏輯84可能能夠判 疋ISP處理區塊80、82、120或記憶體log内之哪些邏輯單 元產生溢位條件。邏輯單元可被稱為「目的地單元」，此 係由於其可構成像素資料所發送至的目的地。基於溢位條 ® 件，控制邏輯84亦可（例如，經由韌體/軟體處置）掌控哪些 圖框被丟棄（例如’未寫入至記憶體抑或未輸出至顯示器 以供檢視）。 一旦偵測溢位條件，攜載溢位處置之方式隨即可取決於 ISP前端係自記憶體108抑或自影像感測器輸入佇列（例 如’緩衝器）400、402(其在一實施例中可為先進先出 (FIFO)佇列）讀取像素資料。在一實施例中，當輸入像素資 料係經由（例如）相關聯之DMA介面（例如，174或176)自記 159040.doc -69· 201225631 憶體108讀取時，若ISP-前端由於所偵測之溢位條件（例 如，經由使用IRQ暫存器404之控制邏輯8句而自任何下游 目的地區塊接收反壓力，則ISP-前端將停止像素資料之讀 取’該等下游目的地區塊可包括ISP管線82、ISP後端處理 邏輯120，或在ISP前端邏輯80之輸出寫入至記憶體1〇8的 情況下包括記憶體108。在此情形中，控制邏輯84可藉由 停止像素資料自記憶體108之讀取直至溢位條件復原為止 而防止溢位。舉例而言，當引起溢位條件之下游單元設定 IRQ暫存器404中的指示溢位不再發生之對應位元時，可用 信號通知溢位復原。藉由圖40之方法410的步驟412-420大 體上說明此程序之一實施例。 儘管可通常在感測器輸入佇列處監視溢位條件，但應理 解’許多額外佇列可存在於ISP子系統32之處理單元（例 如’包括isp前端邏輯80、ISP管線82，以及ISP後端邏輯 120之内部單元）之間。另外，ISP子系統32之各種内部單 元亦可包括行緩衝器，該等行緩衝器亦可充當佇列。因 此’ ISP子系統32之所有佇列及行緩衝器可提供緩衝。因 此’當處理區塊之特定鏈中的最後處理區塊為滿（例如， 其行緩衝器及任何中間佇列為滿）時，反壓力可施加至先 前（例如，上游）處理區塊等等，使得反壓力傳播通過邏輯 鏈直至其到違感測器介面（此處可監視溢位條件）為止。因 此，s在感測器介面處發生溢位時，其可意謂所有下游佇 列及行緩衝器為滿。 如圖40所示’方法410在區塊412處開始，此處將用於當 159040.doc 201225631 前圖框之像素資料自記憶體讀取至isp 決策邏輯4M接著判定是否"别端處理單元80。 t "μ/ 在溢位條件4上文所論 述’可藉由判定該(等)IRQ暫存器4〇4中之 估定二若未_溢位條件，財法彻返回至步驟412^ 續自备前圖框讀入像素。若# 、 杜目，丨古土, 右藉由决策邏輯414偵測溢位條
，則方法4H)停止自記憶體讀取當前圖框之像素，如在 ^416處所示。接下來，在決策邏輯川處，判定溢位條 牛疋否已復原。若溢位條件仍持續，則方法41〇在決策邏 輯418處等待直至溢位條件復原為止。若決策邏輯侧旨示 溢位條件已復原，則方法彻繼續進行至區塊且繼續自 s己憶體讀取當前圖框的像素資料。 當溢位條件在輸人像素資料自該（等）感測器介面讀入之 同時發生時’甲斷可指示哪些下游單元（例如，處理區塊 或目的地記憶體)產生溢位。在一實施例令，可基於兩種 情形提供溢位處置。在第一情形中，溢位條件在一影像圖 框期間發生’但在後續影像圖框之開始之前復原。在此狀 況下’來自影像感測器之輸入像素被吾棄直至溢位條件復 原為止，且空間在對應於影像感測器之輸入佇列中變得可 用。控制邏輯84可提供計數器406,計數器4〇6可追縱經丟 棄像素及/或經丟棄圖框之數目。當溢位條件復原時，可 用未定義像素值（例如，全丨（例如，用於14位元像素值之 11111111111111)、全〇，或程式化至資料暫存器中設定未 定義像素值為何的值）來替換經丟棄之像素，且下游處理 可繼續。在另一實施例中，可用先前未溢位像素（例如， I59040.doc •71- 201225631 Π 衝器中之最後(良好)像素)來替換經丢棄之像 框中所月m確數目個像素(例如，對應於在完整圖 邏輯二的多個像素)發送至聊前端處理 輸出用於正自感理邏輯8°能夠在溢位發生時 、^廊入仵列讀入之圖框的正確數目個像 言0 儘管正禮數目個像素可在此第一情形下藉由聊前端輸 ，但：決於在溢位條件期間所吾棄及替換之像素的數 目，可貫施為控制邏輯84之部分的軟體處置（例如，勒體） 可選擇丢棄（例如’排除）圖框以防發送至顯示器及/或寫入 至。己憶體。此判定可基於（例如）與可接受之 限值相比的經丢棄像素計數器撕之值。舉例而言=溢 位條件僅在圖框期間簡短地發生使得僅相對小量之像素被 丢棄（例如’且用未定義或虛設值替換；例如，1G_20個像 素或更少），則控制邏輯84可選擇顯示及/或儲存此影像而 不管該小數目個經丟棄之像素，即使替換像素之出現可在 所得影像中非常簡短地表現為微小假影亦如此。然而，歸 因於該小數目個替換像素，此假影可通常未引起注意或可 由使用者在邊上感知。亦即，任何此等假影歸因於來自簡 紐溢位條件之未定義像素的存在可能不會使影像之美學品 質顯著降級（例如，任何此降級為最小限度的或對人眼而 言為可忽略的）。 在第二情形中，溢位條件可保持存在至後續影像圖框之 開始中〇在此狀況下’當前圖框之像素亦如同上文所述之 159040.doc •72· 201225631 第清形而丢棄及計數。然而，若溢位條件在偵測VSYNC 上升邊緣(例如’指示後續圖框之開始)後仍存在，則ISP前 ^處理邏輯80可經組態以拖延下一圖框，由此丟棄整個下 -圖框。在此情形令’下一圖框及後續圖框將繼續被丟 棄直至溢位復原為止。一旦溢位復原，先前之當前圖框 (例如’在第-次偵測溢位時所讀取之圖框)隨即可用未定 義像素值替換其經丢棄像素，由此允許isp前端邏輯輸 出用於彼圖框的正確數目個像素。此後，下游處理可繼 續。就經丟棄圖框而言，控制邏輯84可進一步包括對經丟 棄圖框之數目計數之計數器。此資料可用以調整時序以用 於音訊-視訊同步。舉例而言，針對在3〇如下所俘獲之視 Λ，每一圖框具有大約33毫秒之持續時間。因此，若三個 圖框歸因於溢“丢棄’則控制邏輯84可經組態以調整音 訊-視訊同步參數來考量可歸於經丟棄圖框之大約99毫秒 (33毫秒χ3個圖框）的持續時間。舉例而言，為了補償可歸 因於經丟棄圖框之時間，控制邏輯84可藉由重複一或多個 先前圖框而控制影像輸出。 在圖41中說明展示可在自感測器介面讀取輸入像素資料 時發生之上文所論述之情形的程序43〇之一實施例。如圖 所不，方法430在區塊432處開始，此處將用於當前圖框之 像素資料自感測器讀入至ISP前端處理單元8〇。決策邏輯 434接著判定是否存在溢位條件。若不存在溢位，則方法 430繼續讀入當前圖框之像素（例如，返回至區塊432)。若 決策邏輯434判定存在溢位條件，則方法43〇繼續至區塊 159040.doc _73· 201225631 :31，此處丟棄當前圖框之下-傳入像素。接下來，決策 邏輯438狀當前圖框是否已結束且下—圖框是否已開 舉例而s ’在—實施例中，此可包括偵測贈職號 升邊緣°若感測器仍發送當前圖框，則方法430繼 續至决策邏輯44G，其判定原先在邏輯叫處㈣測之溢位 條，是否仍存在。若溢位條件尚未彳U，則方法430繼續 進灯至區塊442 ’此處累加經丢棄像素計數器（例如，以考 量在區塊436處所丢棄之傳入像素）。該方法接著返回至區 塊436且繼續。
若在決策邏輯438處，偵測當前圖框已結束且感測器正 發送下-圖框（例如’偵測VSYNC上升），則方法4纖續 進行至區塊450，1只要溢位條件保持，則丢棄下一圖框 及後續圖框之所有像素（例如，藉由決策邏輯⑸所示）。如 上文所’述’單獨之計數器可追蹤經去棄圖框之數目，此 可用以調整音訊·視訊同步參數。若決策邏輯W指示溢位 條件已復原’則㈣應於來自首先發生溢位條件的初始圖 框之經丢棄像素之數目的多個未定義像素值來替換來自彼 初始圖框的經丢棄像素，如藉由經丢棄像素計數器來指 不。如上文所提及，未定義像素值可為全1、全G、程式化 至資^暫存器中之替換值，或可採取在溢位條件之前讀取 之先前像素（例如，在偵測溢位條件之前讀取的最後像素） 的值因此，此情形允許用正確數目個像素來處理初始圖 框，且在區塊446處，下游影像處理可繼續，其可包括將 初始圖框寫入至記憶體。如上文亦論述’取決於在圖框中 159040.doc •74· 201225631 所丟棄之像素的數目，控制邏輯84可選擇在輸出視訊資料 時排除抑或包括該圖框（例如’若經丟棄像素之數目在可 接受之經丢棄像素臨限值以上或以下應瞭解，可針對 ISP子系統32之每一輸入佇列400及402單獨地執行溢位處 置。 地 藉由描緣方法460之流程圖在圖42中展示可根據本發明 實施之溢位處置的另一實施例。此處，以與圖*丨所示相同 的方式來處置在當前圖框期間發生但在當前圖框結束之前 復原的用於溢位條件之溢位處置，且因此，彼等步驟已由 此用相似的參考數字432-446來編號。圖42之方法46〇與圖 41之方法430之間的差異關於在溢位條件繼續至下一圖框 中時的溢位處置。舉例而言’參考決策邏輯438，當溢位 條件繼續至下一圖框中時，並非如在圖41之方法43〇中丟 棄下一圖框’而是方法460實施區塊462，其中清除經丢棄 像素計數器，清除感測器輸入仔列，且用信號通知控制邏 輯84丢棄部分當前圖框。藉由清除感測器輸入佇列及經去 棄像素計數器，方法460準備好獲取下一圖框（其現在變.為 當刖圖框）’從而使方法返回至區塊432。應瞭解，可將用 於此當前圖框之像素讀取至感測器輸入仵列中。若溢位條 件在輸入佇列變滿之前復原，則下游處理繼續。然而，若 溢位條件持續，則方法460將自區塊436繼續（例如，開始 丟棄像素，直至溢位復原抑或下一圖框開始為止）。 如上文所提及，電子裝置10亦可提供與影像資料（例 如，經由具有影像感測器90之成像裝置30)同時之音訊資 159040.doc • 75- 201225631 例如’經由被提供作為輸入結構u中之-者的音訊俘 =置）的俘獲。舉例而言，如圖43中圖解地所示，音訊 資料㈣及影像資料472可表示藉由電子裝置同時俘獲之視 戒及音訊資料。音訊資料47Q可包括隨時間⑴而俘獲之音 :樣本474,且類似地’影像資料472可表示隨時間t而俘 2-系列影像圖框。影像資料472之每—樣本（此處藉由 參考數字476來指代）可表示靜止影像圖框。因此，當隨時 間而時間連續地檢視靜止影像圖框(例如，每秒特定數目 個圖框，諸如每秒1 5 - ] fWlB si ir-、J· 母办15 30個圖框）時，檢視者將感知到移動 影像之外觀，由此提供葙印咨 权供視訊資枓。當音訊資料470被獲取 且表示為數位資料時，其可儲存為表示在相等時間間隔處 的：訊信號之振幅之樣本（例如，474)的二進位值。此外， 儘管在圖43中展示 馮具有離散分割區474，但應瞭解，立 訊資料在實際實施中可具有足夠快以使得人耳將音訊資二 470感知為連續聲音的取樣速率。 在視訊資料472之播放期間，對應音訊資料㈣亦可被播 放，由此允許檢視者不僅檢視所俘獲事件之視訊資料而且 亦聽到對應於所俘獲事件的聲音1想地，以时方式來 播放視訊資料472及音訊資料。舉例而言，若音訊樣本 在此處指定為原先在時間以處出現的_，則在理想播放 條件下，原先在時間tA處所俘獲之影像圖框與音訊樣本 仙同時輪出，若未達成同步，則檢視者/傾聽者 可注意到音訊與視訊資料之㈣時間延遲或移位。舉例而 言，假設音訊樣本474a與原先在時間t。處所俘獲之影像圖 159040.doc -76 · 201225631 框476c —起輸出，時間t〇在時間上早於時間、。在此狀况 下，音訊資料47。「先於」視訊資料472,且使用者可體驗 在自時間U聽到音訊樣本與看見其預期之對應視訊樣本（自 時間U之影像圖框476a)之間的延遲，該延遲為時間 之間的差。類似地，假設音訊樣本474a與自時間^之八影像0 圖框476b 一起輸出，時間tB在時間上遲於時間錢者 狀況下’音訊資料470「後於」視訊資料仍，且使用者可 體驗在時間U處看見視訊樣本(476a)與自時間、聽到其對 9 應音訊樣本之間的延遲，該延遲為時間U|^tB之間的差。 此等類型之延遲有時被稱為「與語言同步的」誤^。鹿瞭 解，後兩種情形可不利地影響使用者體驗。為達成音訊_ 視訊同步，系統通常經組態以使得針對同步問題之任何補 償將音訊相比於視訊列入優先，例如，若同步問題存在， 則影像圖框可被丟棄或重複而不更改音訊。 在-些習知系統中，使用圖框中斷之開始(例如，基於 # VSYNC信號）來執行音訊與視訊資料之同步。當此中斷發 生⑶示㈣框之開始）時’處理器可執行中斷服務常式來 為中斷服務（例如，清除位元）’且對應於中斷由處理器服 務時之時戮與彼圖框相關聯。應瞭解，在中斷請求盘中斷 由處理器服務之時間之間通常存在某一潛時。因此’與特 定影像圖框相關聯之時戮可反映此潛時，且由此可能不會 實際表示圖框實際上開始之精確時間。另外，此潛時可取 決於處理器負載及頻寬而為可變的，此可進一步使音訊· 視訊同步問題變複雜。 159040.doc -77- 201225631 如上文所論述，ISP前端邏輯8G可在其自己之時脈域内 ㈣H㈣步介面提供至感測H介面94’以支援具有不 同大小且具有不同時序要求的感測器。為提供音訊與視訊 資料之同步，ISP處理電路32可利用阶前端區塊來提供計 數器，該計數器可用以產生與所俘獲之影像圖框相關聯的 時戮。舉例而t，參看圖44 ’四個暫存器（包括計時器組 態暫存器490、時間碼暫存器492、—時間碼暫存器 494及Sensorl時間碼暫存器496)，其中全部可用以至少部 分地基於用於ISP前端處理邏輯8〇之時脈在一實施例中提 供時戳功能。在一實施例中，暫存器49〇、492、494及4% 可包括32位元暫存器。 時間組態暫存器490可經組態以提供值>^以，該值Ncik 可用以提供用於產生時戳碼之計數。在一實施例中，Ncik 可為在0至1 5之間變化之4位元值》基於NClk，指示當前時 間碼之計時器或計數器可每2ANClk個時脈循環累加值丨（基 於ISP前端時脈域）。當前時間碼可儲存於時間碼暫存器 492中’由此提供具有32位元之解析度的時間碼。時間碼 暫存器492亦可藉由控制邏輯84來重設。 簡要地參看圖10，針對每一感測器介面輪入Sif〇及 Sifl，可在對垂直同步（VSYNC)信號偵測上升邊緣時（或若 取決於組態VSYNC之方式而偵測下降邊緣）取樣時間碼暫 存器4 9 2，由此指示新圖框之開始（例如，在垂直消隱間隔 的結束時）。對應於VSYNC上升邊緣之時間碼可取決於提 供影像圖框所自之感測器（SensorO或Sensorl)而儲存於時 159040.doc • 78 · 201225631 間碼暫存器494抑或496中，由此提供指示當前圖框俘獲之 俘獲開始之時間的時戳。在一些實施例中，來自感測器之 VSYNC信號可具有經程式化或可程式化延遲。舉例而言， 若圖框之第一像素延遲《個時脈循環，則控制邏輯84可經 組態以（諸如）藉由以硬體提供位移或使用軟體/韌體補償而 補償此延遲。因此，時戳可自VSYNC上升邊緣產生，其中 加有經程式化延遲。在另一實施例中，可使用具有可程式 化延遲的VSYNC信號下降邊緣來判定對應於圖框之開始的 時戳。 隨著當前圖框經處理’控制邏輯84自感測器時間碼暫存 器（494或496)讀取時戳，且時戳可與視訊影像圖框相關聯 作為與該影像圖框相關聯之後設資料中的參數。此情形係 更清楚地展示於圖45中，圖45提供影像圖框476及其相關 聯之後設資料498的圖解視圖，後設資料498包括自適當之 時間碼暫存器（例如，用於SensorO之暫存器494或用於 Sensorl之暫存器496)讀取的時戳500。在一實施例中，當 藉由圖框中斷之開始觸發時，控制邏輯84可接著自時間竭 暫存器讀取時戳。因此’藉由ISP處理電路32所俘獲之每 一影像圖框可基於VSYNC信號具有相關聯之時戳。控制電 路或韌體（其可實施為ISP控制邏輯84之部分或電子裝置1〇 之單獨控制單元的部分）可使用影像圖框時戳來對準或同 步一組對應音訊資料，由此達成音訊_視訊同步。 在一些實施例中’裝置10可包括經組態以處置音訊資料 (例如’音訊資料470)之處理的音訊處理器。舉例而言，立 159040.doc -79- 201225631 二在此Λ 整合，或可為晶載系統處理裝置的 器二如1 中，可藉由與音訊處理器分離之處理 輯84之部分）_的音訊處判及影像處 電路32了基於獨立之時脈而操作。舉例而言，可 =鎖=路(pll)來產生時脈。因此，為音訊·視訊同步 1二=0可能需要能夠使影像時戳與音訊時戮相關。 相關。舉例而言，主處理器可同步其自己的時脈與 曰讯處理器之時脈及ISP電路32之時脈， 理 器與ISP電路32之夂&丨拄邮 i疋曰讯處理 異，此差異隨即可用以使音訊之資。—旦已知此差 由们“ 資科（例如，470)之音訊時戳 與影^料（例如’ 472)之影像圖框時戳相關。 32:3施財’控制邏輯84亦可經組態以（諸如）在達到 2位疋時間碼之最大值時處置迴繞情況，且 =要額外位元(例如，元)來提供準確值。為= 且Γ;:99Γ型之迴繞可在四數字計數器上在累加值_ /歸因於四數字限制而變為0000而非10_時發 儘S控制邏輯84可能能夠重設時間碼 況在仍俘獲視訊階段之同時發生時進行此可為:― 輯，今、羅短因此’在此等例子中’控制邏輯84可包括邏 元、而虚要 冑產生較尚精確度之時戳(例如，64位 置迴繞情況。軟體可產生較高精確度之時戳，該 I59040.doc 201225631 等時戮可寫入至影像圖框後設資料直至時間碼暫存器视 被重設為止。在—實施例中，軟體可經組態以偵測迴繞且 將自l繞晴況產生之時間差加至較高解析度計數器。舉例 °在實施例中，當針對3 2位元計數器偵測迴繞情況 時，軟體可對32位元計數器之最大值（來考量迴繞）與藉由 32位7G 數H所指示之當前時間值求和且將結果儲存於較 高解析度計數器（例如，大於32位元）中。在此等狀況下， 高解析度計數器令之結果可寫入至影像後設資料資訊，直 • 至32位元計數器被重設為止。 圖46描繪大體上描述上文所論述之音訊_視訊同步技術 的方法51〇。如圖所示，方法510在步驟512處開始，其中 自影像感測器（例如，Sens〇r〇抑或Sens〇rl)接收像素資 料。接下來，在決策邏輯514處，進行關於VSYNc信號是 否指不新圖框之開始的判定。若未偵測新圖框，則方法 510返回至步驟512且繼續自當前影像圖框接收像素資料。 若在決策邏輯514處偵測新圖框，則方法51〇繼續至步驟 516，此處取樣時間碼暫存器（例如，暫存器492)以獲得對 應於在步驟514處所偵測之VSYNC信號之上升（或下降）邊 緣的時戳值。接下來，在步驟518處，將時戳值儲存至對 應於提供輸入像素資料之影像感測器的時間碼暫存器（例 如’暫存器494或496^隨後，在步驟520處，使時戳與新 的影像圖框之後設資料相關聯，且此後，影像圖框後設資 料中之時戳資訊可用於音訊_視訊同步。舉例而言，電子 裝置10可經組態以藉由以使得對應音訊與視訊輸出之間的 159040.doc -81 - 201225631 任打延遲貫質上最小化之方式將視訊 圖框之時戮)對準至對應音訊資料而提供4:母一個別 舉例而言，如上文所論述，裝㈣之主處步。 使音訊時戮與視訊時戮相關的方式。在：：二以判定 訊資料早於視訊資料，則影像圖框可經音 影像圖框「趕卜立a龙 某^允許正確之 資料，則聲像圖i“R料串流，且若音訊資料後於視訊 串流。像圖框可經重複以允許音訊資料「趕上」視訊 繼續至圖47至tct> rfe.
圃7至圖50, lsp處理邏輯或子系統η亦可經4 供閃光同步。舉例而言，當使用閃光模組時，可:! 低光照⑽辅助影像場景之照明。藉由實例，當< -先條件下俘獲影像場景時，閃光之使用可為有益的“ ，用任何合適照„(諸如，LE_光裝置或㈣光裝眉 等）來提供閃光。 在本實施例中，ISP子系統32可包括經組態以控制閃光 模組在作用中之時序及’或間隔的閃光控制器》應瞭解， 通常需要控制閃光模組在作用中之時序及持續時間，使得籲 閃光間隔在目標圖框（例如，待俘獲之影像圖框）之第一像 素經俘獲之前開始且在目標圖框之最後像素經俘獲之後但 在後續連續影像圖框之開始之前結束。此情形幫助確保目 軚圖框内之所有像素在影像場景正被俘獲之同時曝光至類 似照明條件。 參看圖47 ’根據本發明之一實施例說明展示實施為ISP 子系統32之部分且經組態以控制閃光模組552的閃光控制 159040.doc -82- 201225631 器550之方塊圖。在-些實施例中，閃光模組552可包括-個以上閃光裝置。舉例而言’在某些實施例中，閃光控制 器可』組態以提供預閃光（例如，用於紅眼減少），繼之 '主門光預Pa]光及主閃光事件可為順序的，且可使用相 同或不同之閃光裝置來提供。 在所說明實施例中，可基於自影像感測器及鴨所提 供之時序資訊來控制閃光模組说的時序。舉例而言，可 使用滾動快門技術來控制影像感測器之時序，藉此使用在 影像感測H(例如’ 9(^及_)之像素陣列之上掃描的縫隙 光孔來掌控積分時間。使用可經由感測器介面94a及 94b(其中每一者可包括感測器_側介面548及前端_側介面 549)提供至ISP子系統32之感測器時序資訊（此處展示為參 考數字556)，控制邏輯84可將適當之控制參數554提供至 閃光控制器550，該等控制參數554可接著藉由閃光控制器 550用於啟動閃光模組552 β如上文所論述，藉由使用感測 器時序資訊556，閃光控制器556可確保閃光模組在目標圖 框之第一像素經俘獲之前被啟動且針對目標圖框之持續時 間保持啟動，其中閃光模組在目標圖框之最後像素經俘獲 之後且在下一圖框之開始（例如，VSYNC上升）之前被撤銷 啟動。此程序可被稱為下文進一步論述之「閃光同步」技 術。 另外，如在圖47之實施例中所示，控制邏輯84亦可利用 來自ISP則端80之統汁資料（此處展示為參考數字^5^)來判 定對應於目標圖框之影像場景中的照明條件針對使用閃光 159040.doc •83- 201225631 模組是否為適當的。舉例而言，ISP子系統32可利用自動 曝光來嘗试藉由調整積分時間及/或感測器增益維持目標 曝光位準（例如，光位準）。然而，應瞭解，積分時間不可 長於圖框時間。舉例而言，針對在3〇 fps下所獲取之視訊 資料，母一圖框具有大約3 3毫秒之持續時間。因此，若不 可使用最大積分時間來達成目標曝光位準，則亦可施加感 測器增益。然而，若積分時間及感測器增益兩者之調整不 能達成目標曝光（例如，若光位準小於目標臨限值），則閃 光控制器可經組態以啟動閃光模組。此外，在一實施例 中，積分時間亦可經限制以避免運動模糊。舉例而言，儘 管積分時間可延伸達至圖框之持續時間，但其在一些實施 例中可被進一步限制以避免運動模糊。 如上文所論述，為了確保閃光之啟動在目標圖框之整個 持續時間内照明該目標圖框（例如，閃光在目標圖框之第 一像素之前接通且在目標圖框之最後像素之後斷開），Isp 子系統32可利用感測器時序資訊556來判定啟動/撤銷啟動 閃光552之時間。 圖48用圖形展示描繪來自影像感測器9〇之感測器時序信 號可用以控制閃光同步的方式。舉例而言，圖48展示可藉 由影像感測器90a或90b中之一者提供之影像感測器時序信 號556的一部分。信號556之邏輯高部分表示圖框間隔。舉 例而言，第一圖框（FRAME N)係藉由參考數字570表示， 且第二圖框（FRAME N+1)係藉由參考數字572表示。第一 圖框570開始之實際時間係藉由信號556在時間^^如，〇處 159040.doc • 84 - 201225631 :上升邊緣指示(例如’其中「r」指定上升邊緣且「aj指 疋時序信號556之「實際」態樣），且第-圖框570結束之 實際時間係藉由信號556在時間—的下降邊緣指 厂、（丨如其中f」指定下降邊緣）。類似地，第二圖框 572開始匕之實際時間係藉由信號556在時間tVSYNC_ral處之上 升邊緣才日不’ J'第二圖框572結束之實際時間係藉由信號 在時間tVSYNCfal處的下降邊緣指示。第一圖框與第二 圖框之間的間隔574可被稱為消隱間隔（例如，垂直消隱）， 其可允許影像處理電路（例如，isp子系統32)識別影像圖框 結束及開始的時間。應瞭解，本圖所示之圖框間隔及垂直 消隱間隔未必按比例繪製。 如圖48所示’信號556可表示自影像感測器90之視點而 。的實際時序。亦即’信號556表示圖框實際上藉由影像 感測器獲取之時序。然而，隨著感測器時序資訊提供至影 像處理系統32之下游組件，延遲可引人至感測器時序信號 中。舉例而s ’信號576表示自感測器9Q與lsp前端處理邏 輯80之間的介面邏輯94之感測器.側介面之視點可見的 延遲時序信號（延遲達第一時間延遲578)^號58〇可表示 自前端-側介面549之視點的延遲感測器時序信號，其在圖 48中展示為相對於感測器_側介面時序信號572延遲達第二 時間延遲582，且相對於原本感測器時序信號556延遲達第 三時間延遲584，第三時間延遲584等於第一時間延遲 與第二時間延遲582之總和。接下來，隨著信號58〇自介面 94之前端-側549提供至ISP前端處理邏輯8〇(FEpr〇c)，可賦 159040.doc • 85 - 201225631 予額外延遲，使得自ISP前端處理邏輯8〇之視點看見延遲 信號588。特定言之，藉由ISP前端處理邏輯8〇看見之信號 588在此處展示為相對於延遲信號58〇(前端_側時序信號）延 遲達第四時間延遲590，且相對於原本感測器時序信號556 延遲達第五時間延遲592，第五時間延遲592等於第一時間 延遲578、第二時間延遲582及第四時間延遲59〇之總和。 為控制閃光時序之目的，閃光控制器55〇可利用對isp前 端可用之第一信號，該第一信號因此相對於實際感測器時 序信號556移位了最小量之延遲時間。因此，在本實施例修 中，閃光控制器550可基於感測器時序信號58〇判定閃光時 序參數，如自感測器_至_ISP介面94之前端·側549之視點所 見。因此，在本實例中藉由閃光控制器55〇使用之信號596 可與彳§號580相同。如圖所示，延遲信號596(相對於信號 556延遲達延遲時間584)包括位於與第一圖框57〇相關之時 間tVSYNC_rd0與tVSYNC_fd〇(例如，其中「d」表示「延遲」）之 間及與第二圖框572相關之時間tvsYNc_rdi與tvsYNL如之間 的圖框間隔。如上文所論述，通常需要在圖框之開始之前 _ 且在圖框之持續時間内啟動閃光（例如，在圖框之最後像 素之後撤銷啟動閃光）以確保針對整個圖框照明影像場 景，且考量閃光可在啟動期間需要以達成全強度（其可為 微秒（例如，100-800微秒）至幾毫秒（例如，1-5毫秒）之數量 級）的任何暖機時間》然而’由於藉由閃光控制器55〇所分 析之化號596相對於實際時序信號556延遲，因此在判定閃 光時序參數時考慮此延遲。 159040.doc -86- 201225631 舉例而言，假設閃光待啟動來照明第二圖框572之影像 場景，tVSYNCrdl處之延遲之上升邊緣在tVSYNC_ral處的實際 上升邊緣之後出現。因此，使閃光控制器550使用延遲之 上升邊緣tVSYNC rdl來判定閃光啟動開始時間可為困難的， 此係由於延遲之上升邊緣tVSYNC rdl在第二圖框572已開始 之後（例如’在信號556之tVSYNc_ral之後）出現。在本實施例 中，閃光控制器550可替代地基於先前圖框之結束（此處為 時間tVSYNC fd0處之下降邊緣）判定閃光啟動開始時間。舉 例而言’閃光控制器550可將時間間隔600(其表示垂直消 隱間隔574)加至時間tVSYNC_fd〇，以計算對應於圖框572之 延遲之上升邊緣時間tVSYNC_rdl的時間。應瞭解，延遲之上 升邊緣時間tVSYNC_rdl在實際上升邊緣時間tvsYNc μ(信號 556)之後出現，且因此，自時間tvsYNc_fd〇與消隱間隔時間 600的總和減去對應於信號58〇之時間延遲584的時間位移 598(OffSetl)。此在時間tvSYNC_ral處產生與第二圖框5?2之 開始同時開始的閃光啟動開始時間。然而，如上文所提 及，取決於所提供之閃光裝置的類型（例如，氙、LEd 等），閃光模組552可體驗在閃光模組被啟動時與閃光裝置 達到其全光度時之間的暖機時間。暖機時間之量可取決於 所使用之閃光裝置的類型（例如，氙裝置、Led裝置等）。 因此’為考量此等暖機時間，在時間ίν3γΝ〇處，可自第 二圖框572之開始減去可經程式化或預設（例如，使用控制 暫存器)的額外位移602(OffSet2)。此將閃光啟動開始時間 移動回至時間由此確保閃光在藉由影像感測器所獲 159040.doc •87- 201225631 取之圖框572的開始之前被啟動（若需要照明場景）。用於判 疋閃光啟動時間之此程序可使用下文之公式來表達： tflash_start_frarael=tvSYNC_fdO + tvert_blank_i„t-t〇ffSetl-t〇ffSet2 在所說明實施例中，閃光之撤銷啟動可在閃光控制器信 號596之時間tvSYNC_fdl發生，其限制條件為時間tvsYNc_fd丨 在圖框572之後的圖框（例如，圖48中未展示之圖框n+2)之 開始之前出現’如藉由對感測器時序信號556之時間6〇5所 指不°在其他實施例中，閃光之撤銷啟動可在信號596之 時間tVSYNC_fdl之後但在下一圖框之開始之前（例如，在指 示圖框N+2之開始的對感測器時序信號556之後續VS YNC 上升邊緣之前）的時間（例如，位移6〇6)發生，或可在緊接 在時間tVSYNC fdl之前的間隔608内發生，其中間隔608小於 Offset 1(598)的量。應瞭解，此確保閃光針對目標圖框（例 如’圖樞572)之整個持續時間保持接通。 圖49描續用於根據圖48所示之實施例判定對電子裝置1 〇 之閃光啟動開始時間的程序61 8。在區塊620處開始，獲取 來自影像感測器之感測器時序信號（例如，5 56)且將其提供 至閃光控制邏輯（例如，閃光控制器550)，該閃光控制邏輯 可為電子裝置10之影像信號處理子系統（例如，32)的部 分。感測器時序信號提供至閃光控制邏輯，但可相對於原 本時序信號（例如’ 556)延遲。在區塊622處，判定感測器 時序信號與延遲感測器時序信號（例如，596)之間的延遲 (例如’延遲584)。接下來，在區塊624處識別請求閃光照 明之目標圖框（例如，圖框572)。為判定應啟動閃光模組 159040.doc * 88 - 201225631 (例如’ 552)以確保閃光在目標圖框之開始之前在作用中的 時間’程序618接著繼續進行至區塊626，此處判定對應於 如藉由遲時序^號所指示的在目標圖框之前的圖框之結 束的第時間（例如’時間tVSYNC_fd〇)。此後，在區塊628 處判疋圖框之間的消隱間隔之長度且將其加至在區塊 626處所判定之第一時間以判定第二時間。接著自第二時 間減去在區塊622處所判定之延遲，如在區塊630處所示， 以判疋第二時間。如上文所論述，此根據非延遲感測器時 序仏號將閃光啟動時間設定為與目標圖框之實際開始重 合。 為了確保閃光在目標圖框之開始之前為作用中的，自第 三時間減去位移（例如，6〇2、〇ffset2)，如在區塊632處所 不，以判定所要之閃光啟動時間。應瞭解，在一些實施例 中，來自區塊632之位移可能不僅確保閃光在目標圖框之 刖接通而且亦補償閃光在最初啟動與達到全光度之間可能 需要之任何暖機時間。在區塊634處，在區塊632處所判定 之閃光開始時間啟動閃光552。如上文所論述且在區塊636 中所示，閃光可針對目標圖框之整個持續時間保持接通， 且可在目標圖框之結束之後撤銷啟動閃光，使得目標圖框 中之所有像素經受類似的照明條件。儘管上文在圖48及圖 49令所述之實施例已論述使用單一閃光應用閃光同步技 術，但應進一步瞭解，此等閃光同步技術亦可適用於具有 兩個或兩個以上閃光裝置（例如，兩個LED閃光）之裝置的 實施例。舉例而言，若利用一個以上閃光模組，則以上技 159040.doc -89- 201225631 術可應用於兩個閃光模組，使得每一閃光模組在圖框之開 。之前藉由p;光控制器啟動且針對圖框之持續時間保持接 通（例如’閃光模組可能未必針對相同的圖框被啟動）。 田使用裝置10獲取影像時，可應用本文所述之閃光時序 技術。舉例而言， 在一實施例中，可在影像獲取期間使用 預閃光技術。舉例而言，當相機或影像獲取應用程式在裝 置10上在作用中時，該應用程式可以厂預覽」模式操作。 在預覽模式中，該（等）影像感測器（例如，90)可為預覽目 的（例如’顯示於顯示器28上）而獲取可藉由褒置1G之ISP子 系統32處理的影像資料圖框，但圖框可能直至俘獲請求藉 由使用者起始以將裝置1〇置於「俘獲」模式中才實際上得 以俘獲或儲存。藉由實例，此可經由裝置1〇上之實體俘獲 按紐或軟俘獲独（其可經由軟體實施為圖形使用者介面 之口 P为且顯不於裝置1 〇之+ 55 n - 罝之顯^上且回應制者介面輸入 (例如，觸控式螢幕輸人）)之使用者啟動而發生。 因為閃光在預覽模式期間通常並非作用中的，所以影像 場景之突然啟動及影像場景使用閃光之照明可在一些狀況 下相對於並未藉由閃光照明之相同影像場景顯著更改特定 場景之某些影像統計（諸如’與自動白平衡統計等相關之 彼等影像統計）。因此’為了改良用以處理所要目標圖框 之統計’在-實施例中’預閃光操作技術可包括接收使用 者請求以俘獲請求閃光照明之影像圖框，在裝置1〇仍處於 預覽模式的同時在第-時間使用閃光來照明第一圖框，及 在下一圖框之開始之前更新統計(例如，自動白平衡統 159040.doc -90· 201225631 計）。裝置ι〇可進入俘獲模式且在閃光啟動之情況下使用 經更新統計俘獲下一圖框’由此提供改良之影像/色彩準 確度。 圖50更詳細地描繪說明此程序640之流程圖。程序640在 區塊642處開始，其中接收對使用閃光來俘獲影像之請 求。在區塊644處，啟動（例如，可使用圖48及圖49所示之 技術來計時）閃光以在裝置1 〇仍處於預覽模式之同時照明
第一圖框。接下來，在區塊646處，基於自經照明之第一 圖框所獲取之統計來更新諸如自動白平衡統計的影像統 計。此後，在區塊648處，裝置1〇可進入俘獲模式且使用 來自區塊646之經更新影像統計來獲取下一圖框。舉例而 言’經更新影像統計可用以判定白平衡增益及/或色彩校 正矩陣（CCM)，該等白平衡增益及/或色彩校正矩陣（CCM) 可藉由韌體（例如，控制邏輯84)使用來程式化isp管線82。 因此，可藉由ISP管線82使用基於來自區塊646之經更新影 像統計所判定的一或多個參數處理在區塊648處所獲取的 圖框（例如，下一圖框）。 在另一實施例t，當藉由間光俘獲影像圖框時，可應用 來自非閃光影像場景（例如，在無閃光之情況下所獲取或 預覽)的色彩性質。應瞭解，非閃光影像場景通常相對於 藉由閃光照明之影像場景展現更好的色彩性質。缺而，問 光之使用可相對於非閃光影像提供減少之雜訊及改良之亮 度（例如，在低光條件下）°“，閃光之❹亦可導致閃 光影像中之色財的-些色彩表現出相對於相㈣景之非 159040.doc 91 201225631 閃光影像稍微變淡（wash outp因此，在一實施例中，為 了保持閃光影像之低雜訊及亮度的益處同時亦部分地保持 來自非閃光影像之色彩性質中的一些色彩性質，裝置1〇可 經組態以在無閃光之情況下分析第一圖框以獲得其色彩性 質。接著，裝置10可使用閃光俘獲第二圖框且可使用來自 非閃光tz像之色彩性質將色彩調色板轉移技術應用於閃光 影像。 在某些實施例中，經組態以實施上文所論述之閃光技術 中之任一者的裝置10可為具有整合式或外部成像裝置之一 型號的 iPod®、iPhone®、iMac® 或 MacBook® 計算裝置， 其全部自Apple Inc.可得。此外，成像/相機應用程式可為 亦來自Apple Inc.之一版本的Camera⑧、iM〇vie⑧或 PhotoBooth®應用程式。 繼續至圖51，根據本發明技術之一實施例，說明isp前 端像素處理邏輯150(先前論述於圖1〇中）的更詳細視圖。如 圖所不，isp前端像素處理邏輯15〇包括時間濾波器65〇及 分格化儲存補償濾波器652。時間濾波器65〇可接收輸入影 像信號SifO、Sifl、FEProcIn，或預先處理之影像信號（例 如180 1 84)中之一者，且可在執行任何額外處理之前 對原始像素資料進行操作。舉例而言，時間濾波器65〇可 最初處理影像資料以藉由平均化時間方向上之影像圖框來 減小雜訊。分格化儲存補償濾波器652(下文更詳細地論述 其）可對來自影像感測器（例如，9〇a、9〇b)之經分格化儲存 之原始影像資料應用按比例縮放及再取樣，以維持影像像 159040.doc •92· 201225631 素的均勻空間分佈。 時間據波器650基於運動及亮度特性可為像素適應性 的。舉例而言’當像素運動為高時，可減小濾波強度以便 避免所得經處理影像中的「尾部」或「重像假影」之出 現’而可在摘測極少運動或未偵測運動時增大濾波強度。 另外’亦可基於亮度資料（例如，明度）來調整濾波強度。 舉例而言’隨著影像亮度增加，濾波假影可變得使人眼更 易察覺。因此，當像素具有高亮度等級時，可進一步減小 濾波強度。 在應用時間濾波時’時間濾波器650可接收參考像素資 料（Rin)及運動歷史輸入資料（mn)，參考像素資料（Rin)及 運動歷史輸入資料（Hin)可來自先前濾波之圖框或原本圖 框。使用此等參數，時間濾波器65〇可提供運動歷史輸出 資料（Hout)及濾波像素輸出（Y〇ut)。濾波像素輸 出Yout接 著傳遞至分格化儲存補償濾波器652 ’分格化儲存補償濾 波器652可經組態以對濾波像素輸出Y〇ut執行一或多個按 比例縮放操作以產生輸出信號FEPr〇c〇ut。經處理像素資 料FEProcOut可接著轉遞至ISP管道處理邏輯82，如上文所 論述。 參看圖52，根據第一實施例，說明描繪可藉由圖5丨所示 之時間濾波器執行之時間濾波程序654的程序圖。時間濾 波器650可包括2分接頭濾波器，其中至少部分地基於運動 及亮度資料以每像素為基礎適應性地調整濾波器係數。舉 例而言，可比較輸入像素x⑴（其中變數「t」表示時間值） 159040.doc •93 _ 201225631 與先前m框或先前原本圖框中的參考像素咖）， 以在可含有滤波器係數之運動歷史表（Μ)655中產生運動索 引查找。另外，基於運動歷史輸入資料叫），可判定對 應於當前輸入像素X⑴之運動歷史輸出h(t)。 。可基於運動差量机⑶來判定運動歷史輸出h⑴及滤波 器係數K，其中（j，i)表示當前像素咖取空間位置的座 標。可藉由判定針對相同色彩之三個水平並列像素的原本 像素與參考像素之㈣三個絕對差量之最大值來計算運動 差量（j，i，t)舉例而5，簡要地參看圖53，說明對應於原 本輸入像素660、661及662之三個並列參考像素⑸、州 及659的空間位置。在—實施例中，可使用以下公式基於 此4原本及參考像素來計算運動差量： dU,U) = m^3[abs(xU,i~2,t)-r(j /_2 (abs(x(j\ i + 2, 〇 - r(J, i + 2, t~ i))j (la) 下文在圖55中進-步說明描繪用於判定運動差量值之此技 術的流程圖。此外，應理解，如上文在方程式U中（且下 文在圖55中）所示的用於計算運動^量值之技術僅意欲提 供用於判定運動差量值的一實施例。 在其他實施例中，可坪估相同色彩像素的陣列以判定運 動差量值。舉例而言’除了在方程式la中所提及之三個像 素之外，用於判疋運動差量值之—實施例可包括亦評估在 來自上兩列（例如’ j_2 ;假設拜耳圖案）參考像素6的、 及662之相同色彩像素與其對應並列像素，以及在來自下 159040.doc 201225631 兩列（例如，j + 2 ·’假設拜耳圖案）參考像素66〇、66i及662 的相同色彩像素與其對應並列像素之間的絕對差量。舉例 而言，在一實施例中，運動差量值可表達如下： d(j, i, 〇 = max 9[abs(x(j, i r(j, i-2,t-1)),
(absW,U)-rU,i,t-l)X (.abs(x〇\i + 2,〇 - r{j,i + 2, i -1)), {abs{x{j - 2,i - 2, t) - r(J ~2,i-2,t-1)), (abs(x(j ~ 2,i,t) - r{j - 2jj -1)), {abs{x{j -2,/ + 2,/)- r{j -2,i + 2,t-1)), (abs(x(j + 2, i - 2, r) - r(j + 2,1-2,/-1)) (abs(x(j + 2, /,/)- r{j + 2, /, t -1)), (abs(x(J + 2,i+2,t)~ r(j + 2,i+2,t-1))] 藉由方程式1_描繪之實施例中，可藉由比較4 相同色彩像素之3χ3睁列與位於該3χ3陣列（例如，若計凄 不同色彩之像素，則實際上為拜耳色彩圖案的Μ陣列 中心處之當前像素(661)之間的絕對差量來判定運 值。應瞭解’可分析當前像細如，661)位於陣列^ 處的相同色彩像素之任何合適的二維陣列(例如 ！ 有同:列中之所有像素的陣列（例如，方程式 ^ -仃中之所有像素的陣列)，以判定運：门 儘管運動差量值可被判定為絕對差量之最大值(例Γ如 方程一所示)，但在其他實施例，，運動 了選擇為絕對差量的均值或中值1 用於其他類型之彩色㈣陣列(例如，二術:可應
等)，日尤立炒旅1 ' CYGM )且不思欲對拜耳圖案為排他性的。 返回參看圖52, 一旦判定運動差量值 前像素（例如，處於空間 θ由對當 罝⑽）之運動差量d(t)與運動歷 159040.doc -95· 201225631 史輸入h(t-l)求和來計算可用以自運動表（]^)655選擇濾波 器係數κ的運動索引查找。舉例而言，濾波器係數κ可判 定如下： K = M[d 〇·, I, t) + h{j, i, t -1)] (2a) 另外，可使用以下公式來判定運動歷史輸出h(t): 接下來’可使用當前輸入像素乂(〇之亮度來產生明度表 (L)656十的明度索引查找。在一實施例中，明度表可含有 可介於0與1之間且可基於明度索引選擇的衰減因子。可藉 由將第一濾波器係數K乘以明度衰減因子來計算第二攄波 器係數K，，如以下方程式所示： K，=KxL[xU，i,t)] (4a) 可接著將K，之判定值用作時間濾波器650的濾波係數。 如上文所論述’時間濾波器650可為2分接頭濾波器。另 外’時間濾波器650可組態為使用先前濾波之圖框的無限 脈衝回應（IIR)渡波器或組態為使用先前原本圖框的有限脈 衝回應（FIR)濾波器。時間濾波器650可使用以下公式使用 當前輪入像素x(t)、參考像素r(t-l)及濾波器係數K1來計算 濾波輸出像素y(t)(Yout): y{j, i, t) = r(j, iti-l)+K' 〇 - r(J, i, t -1)) (5a) 如上文所論述，可逐像素地執行圖52所示之時間濾波程序 654 °在一實施例中，同一運動表Μ及明度表L可用於所有 159040.doc -96- 201225631 色彩分量（例如，R、G及Β)β另外，_些實施例可提供繞 過機制，其中可（諸如）回應於來自控制 來繞過時間滤波。此外，如下文將關於圖57及二= 時間攄波器650之-實施例可針對影像資料之每—色彩分 I利用單獨的運動及明度表。 可鑒於圖54來更好地理解參看圖52及圖53所描述之時間 遽波技術的實施例，圖54根據上文所描述之實施例描繪說 明方法664的流程圖。方法664始於步驟665 ,在步驟 處，藉由時間濾波系統654接收位於影像資料之當前圖框 之空間位置（j，i)處的當前像素x(t),在步驟666處，至少部 分地基於來自影像資料之先前圖框（例如，緊接在當前圖 框前的影像圖框）的一或多個並列參考像素（例如，γ(μ)) 來判定當前像素X⑴之運動差量值d(t)c用於在步驟666處 判定運動差量值d(t)的技術在下文參看圖55被進一步解 釋，且可根據如上文所示之方程式la來執行。 一旦獲得來自步驟666之運動差量值d(t)，隨即可使用該 運動差量值d(t)及對應於來自先前圖框之空間位置（』，丨）的運 動歷史輸入值h(t-i)來判定運動表查找索引，如在步驟667 中所示。另外，儘管未圖示，但一旦已知運動差量值 d(t)，隨即亦可（例如）藉由使用上文所示之方程式在步驟 667處判定對應於當前像素χ(ί)的運動歷史值“^。此後， 在步驟668處，可使用來自步驟667之運動表查找索引自運 動表655選擇第；慮波器係數K。可根據方程式2&來執行運 動表查找索引之判定及第一濾波器係數κ自運動表的選 159040.doc -97- 201225631 擇，如上文所示。 接下j，在步驟669處，可自明度表656選擇衰減因子。 T 'j而„ B月度表656可含有在大約。與】之間的範圍内之 哀減因子’且可將當前像素χ⑴之值用作查找索引而自明 度表656選擇衰減因子。一旦選擇衰減因子，隨即可在步 驟_處❹所選狀衰減因子及第―錢器係數κ(來自 步驟68)來判定第二滤波器係數κ,，如上文在方程式中 所示。接著，在步驟671處，基於第二滤波器係數尺,（來自 步驟669)、並列參考像素r㈤）之值及當前輸入像素X⑴的 值來判疋對應於該輸人像素χ⑴的時間渡波輸出值y⑴。舉 在貫施例中，可根據方程式5 a來判定輸出值 y(t) ’如上文所示。 參看圖55 ’根據一實施例更詳細地說明來自方法664的 用於判定運動差量值d⑴之步驟666。詳言之，運動差量值 d(t)之判定可通常對應於丨文根冑方程式⑽騎的操 作。如圖所不，步驟666可包括子步驟672至675 ^始於子 步驟672 ’識別作為當前輸入像素χ⑴的具有相同色彩值之籲 一組三個水平鄰近像素。藉由實例，根據圖53所*之實施 例’影像資料可包括拜耳影像資料，且該三個水平鄰近像 素可包括當前輸入像素x⑴（661)、在當前輸入像素661之 左侧的相同色彩之第二像素66〇，及在當前輸入像素661之 右側的相同色彩之第三像素。 接下來’在子步驟673處，識別對應於該所選擇組之三 個水平鄰近像素660、661及662的來自先前圖框之三個並 159040.doc -98 · 201225631 列參考像素657、658及659。使用所選擇之像素66〇、661 及662以及該三個並列參考像素657、及659，在子步驟 674處判疋在該二個所選擇像素66〇、66丨及中之每—者 分別與其對應並列參考像素657、658及659之間的差之絕 對值。隨後，在子步驟675處，將來自子步驟674之三個差 的最大值選擇為當前輸入像素x(t)的運動差量值d(t)。如上 文所論述，圖55(其說明在方程式〗a中所示之運動差量值 計算技術）僅意欲提供一實施例。實際上，如上文所論 述，可使用當前像素定中心於陣列中之相同色彩像素的任 何合適二維陣列來判定運動差量值（例如，方程式邝）。 在圖56中進一步描繪用於將時間濾波應用於影像資料之 技術的另一實施例。舉例而言，因為針對影像資料之不同 色彩分量的信雜比可為不同的，所以可將增益施加至當前 像素，使得當前像素在自運動表655及明度表656選擇運動 及明度值之前增量。藉由施加係色彩相依之各別增益，信 雜比可在不同的色彩分量當中更一致。僅藉由實例，在使 用原始拜耳影像資料之實施中，紅色及藍色色彩通道與綠 色（Gr及Gb)色彩通道相比可通常為更敏感的。因此，藉由 將適當之色彩相依性增益施加至每一經處理像素，在每一 色彩分量之間的信號對雜訊變化可通常減少，藉此尤其減 少重像假影以及在自動白平衡增益之後跨越不同色彩的一 致性。 記住此，圖56提供描繪根據此實施例的用於將時間濾波 應用於藉由前端處理單元150所接收之影像資料之方法676 159040.doc -99- 201225631 的流程圖。始於步驟677,藉由時間濾波系统654接收位於 影像資料之當前圖框之空間位置（j，i)處的當前像素x(t)。在 步驟678處，至少部分地基於來自影像資料之先前圖框（例 如，緊接在當前圖框前的影像圖框）的一或多個並列參考 像素（例如，巾，來判定當前像素χ⑴之運動差量值咐）。 步驟678可類似於圖54之步驟666，且可利用上文在方程式 1中所表示的操作。 接下來，在步驟679處，可使用運動差量值d(t)、對應於 來自先前圖框之空間位置（Li)(例如，對應於並列參考像素 屮-1))的運動歷史輸入值，及與當前像素之色彩相關 聯的增益來判定運動表查找索引。此後，在步驟_處， 可使用在步驟679處所判定之運動表查找索引自運動表655 選擇第一濾波器係數Κ»僅藉由實例，在一實施例中，濾 波器係數K及運動表查找索引可判定如下： K = M[gain[c}^d{j,i,t) + h(J,i,t-1))], (2b) 其中Μ表不運動表，且其中gain[c]對應於與當前像素之色 彩相關聯的增益。另外，儘管圖56中未圖示，但應理解， 當前像素之運動歷史輸出值h(t)亦可被判定且可用以將時 間濾波應用於後續影像圖框（例如，下一圖框）的並列像 素。在本實施例中，可使用以下公式來判定當前像素x(t) 之運動歷史輸出h(t): KJXt)=d〇\U)+K[h(j,i,t -1)- du,U)] (3b) 接下來，在步驟681處，可使用基於與當前像素x(t)之色 159040.doc • 100· 201225631 彩相關聯的增益（gain[c])所判定之明度表查找索引自明度 表656選擇衰減因子。如上文所論述，儲存於明度表中之 衰減因子可具有自大約〇至1之範圍。此後，在步驟682 處’可基於衰減因子（來自步驟681)及第一濾波器係數 K(來自步驟680)來計算第二濾波器係數尺，。僅藉由實例， 在一實施例中，第二濾波器係數κ，及明度表查找索引可判 定如下： 尺，=m[細伞]χ办⑶] (4b) 接下來’在步驟683處，基於第二濾波器係數κ，（來自步 驟682)、並列參考像素Γ(ί_υ之值及當前輸入像素x(t)的值 來判定對應於該輸入像素x(t)的時間濾波輸出值y(t)。舉例 而言，在一實施例中，輸出值y(t)可判定如下： yU,h〇=x〇\u〇+(5b) 繼續至圖57，描繪時間濾波程序384之另一實施例。此 處’可以類似於圖56所論述之實施例的方式實現時間渡波 程序384，惟如下情形除外：代替將色彩相依性增益（例 如，gain[c])施加至每一輸入像素且使用共用之運動及明 X表針對每色彩分量提供單獨的運動及明度表。舉例 而言’如圖57所示’運動表⑸可包括對應於第—色彩之 運動表655a、對應於第二色彩之運動表“讣及對應於第n 色彩的運動表咖’其中η取決於在原始影像資料中存在 的色彩之數目。類似地，明度表656可包括對應於第一色 彩之明度表伽、對應於第二色狀明度表656b及對應於 159040.doc 201225631 第n色彩的明度表656e。因此，在原始影像資料為拜耳影 像資料之實施例令，可針對紅色、藍色及綠色色彩分量中 之每一者提供三個運動及明度表。如下文所論述’濾波係 數κ及衰減因子之選擇可取決於針對當前色彩(例如，當前 輸入像素之色彩）所選擇的運動及明度表。 在圖58中展示說明用於使用色彩相依性運動及明度表進 行時間濾波之另-實施例的方法685。應瞭解，可藉由方 法685所使用之各種計算及公式可類似於圖54所示之實施 例’但在針對每-色彩選擇特定運動及明度表之情況下， 或類似於圖56所示的實施例’藉由色彩相依性運動及明度 表之選擇來替換色彩相依性gain[c]的使用。 始於步驟686，藉由時間濾波系統684(圖57)接收位於影 像資料之當前圖框之空間位置（』，〇處的當前像素x(t)。在步 驟687處，至少部分地基於來自影像資料之先前圖框（例 如，緊接在當前圖框前的影像圖框）的一或多個並列參考 像素（例如，r(t_丨））來判定當前像素x(t)之運動差量值d(t)。 步驟687可類似於圖54之步驟666，且可利用上文在方程式 1中所示的操作。 接下來，在步驟688處，可使用運動差量值d(t)及對應於 來自先前圖框之空間位置（j，i)(例如，對應於並列參考像素 r(t_l))的運動歷史輸入值來判定運動表查找索引。此 後，在步驟689處，可基於當前輸入像素之色彩自可用運 動表（例如，655a、655b、655c)中之一者選擇第一濾波器 係數K。舉例而言，一旦識別適當之運動表，隨即可使用 159040.doc -102- 201225631 在步驟688中所判定之運動表查找索引來選擇第一濾波器 係數K。 在選擇第一濾波器係數K之後，選擇對應於當前色彩之 明度表，且基於當前像素x(t)之值自所選擇的明度表選擇 衰減因子，如在步驟690處所示。此後，在步驟691處，基 於衰減因子（來自步驟690)及第一濾波器係數κ(步驟689)來 判定第二濾波器係數κ，。接下來，在步驟692處，基於第 一;慮波器係數Κ’（來自步驟691)、並列參考像素r(t_ 1)之值 及當前輸入像素X (t)的值來判定對應於該輸入像素χ (t)的時 間濾波輸出值y(t)。儘管圖58所示之技術可能實施而言為 更昂貴的（例如，歸因於儲存額外運動及明度表所需的記 憶體），但在一些例子中，其可關於重像假影及在自動白 平衡增益之後跨越不同色彩之一致性提供另外的改良。 根據其他實施例，藉由時間濾波器650所提供之時間渡 波程序可利用色彩相依性增益與用於將時間濾波應用於輸 入像素之色彩特定運動及/或明度表的組合。舉例而言， 在一個此實施例中，可針對所有色彩分量提供單一運動 表，且可基於色彩相依性增益來判定用於自運動表選擇第 一濾波係數（κ)的運動表查找索弓丨（例如，如圖56所示，步 驟679至680)，儘管明度表查找索引可能不具有施加至其 之色彩相依性增益，但可用以取決於當前輸入像素之色彩 自多個明度表中的一者選擇亮度衰減因子（例如，如圖58 所示，步驟690)。或者，在另一實施例中，可提供多個運 動表，且運動表查找索引（未施加色彩相依性増益）可用以 159040.doc •103· 201225631 自對應於當前輸入像素之色彩的運動表選擇第一濾波係數 (K)(例如，如圖58所示，步驟689)，同時可針對所有色彩 分量提供單一明度表，且其中可基於色彩相依性增益來判 定用於選擇亮度衰減因子的明度表查找索引（例如，如圖 56所示，步驟681至682)。此外，在利用拜耳彩色濾光片 陣列之一實施例中，可針對紅色（R)及藍色（B)色彩分量中 之每-者提供-運動表及/或明度纟，同時可針對兩個綠 色色彩分量（Gr及Gb)提供共同的運動表及/或明度表。 時間濾波器650之輸出可隨後發送至分格化儲存補償濾籲 波器(BCF)652，分格化儲存補償濾波器(BCF)652可經組態 以處理影像像素以補償歸因於藉由該（等）影像感測器9〇a或 90b進行之分格化儲存所引起的色彩樣本的非線性置放⑽ 如，不均勻空間分佈），使得可正確地操作取決於色彩樣 本之線性置放的在ISP管道邏輯82中之後續影像處理操作 (例如，解馬赛克等）。舉例而言，現參看圖，描繪拜耳 影像資料之全解析度樣本693。此可表示藉由耦接至isp前 端處理邏輯80之影像感測請a(或，所俘獲的全解析度 φ 樣本原始影像資料。 應瞭解|某些影像俘獲條件下，將藉由影像感測器 9〇a所俘獲之全解析度影像資料發送至isp電路以以供處理 可此並非實際的。舉例而言，當俘獲視訊資料時，為了自 人眼之觀點保留流體移動影像之外觀’可能需要至少大約 3〇個圖框/秒的㈣速率l若全解析度樣本之每一 圖框中所含有的像素資料之量超過在以30個圖框/秒取樣 159040.doc •104_ 201225631 時ISP電路32的處理能力，則分格化儲存補償濾波可結合 藉由影像感測器90a進行之分格化儲存來應用以減少影像 信號的解析度同時亦改良信雜比。舉例而言，如上文所論 述’可應用諸如2x2分格化儲存之各種分格化儲存技術來 藉由平均化原始圖框310之作用中區域312中之周圍像素的 值來產生「經分格化儲存」原始影像像素。 參看圖60，根據一實施例說明影像感測器9〇a之實施 例’其可經組態以分格化儲存圖59之全解析度影像資料 693以產生圖61所示的對應之經分格化儲存原始影像資料 70(^如圖所示，影像感測器9〇a可俘獲全解析度原始影像 資料693。分格化儲存邏輯699可經組態以將分格化儲存應 用於全解析度原始影像資料693以產生經分格化儲存原始 影像資料700 ’經分格化儲存原始影像資料700可使用感測 器介面94a而提供至ISP前端處理邏輯8〇，感測器介面 94a(如上文所論述）可為smiA介面或任何其他合適並列或 串列相機介面。 如圖61所說明，分格化儲存邏輯699可將2x2分格化儲存 應用於全解析度原始影像資料693。舉例而言，關於經分 格化儲存影像資料700，像素695、696、697及698可形成 拜耳圖案’且可藉由平均化來自全解析度原始影像資料 693之像素的值予以判定。舉例而言參看圖$ 9及圖6 ^兩 者，經分格化儲存〇1*像素695可被判定為全解析度Gr像素 695a-695d之平均值或均值。類似地，經分格化儲存尺像素 696可被判定為全解析度R像素696a696d之平均值經分 159040.doc 201225631 格化儲存B像素697可被判定為全解析度B像素697a-697d之 平均值’且經分格化儲存Gb像素698可被判定為全解析度 Gb像素698a-698d之平均值。因此，在本實施例中，2χ2分 格化儲存可提供一組四個全解析度像素，該等像素包括經 平均化以導出位於藉由該組四個全解析度像素形成之正方 形之中心處之經分格化儲存像素的左上部（例如，695&)、 右上部（例如，695b)、左下部（例如，695c)及右下部（例 如，695d)像素。因此，圖61所示之經分格化儲存拜耳區 塊694含有四個「超級像素」（suPerpixel)，該等超級像素 表示圖59之拜耳區塊694a_694d中所含有的丨6個像素。 除了減少空間解析度之外，分格化儲存亦提供減少影像 信號中之雜訊的附加優點。舉例而言，無論何時將影像感 測器(田例如，9〇a)曝光至光信號’皆可存在與影像相關聯的 某一量之雜訊，諸如，光子雜訊。此雜訊可為隨機或系統 的，且其亦可來自多個來源。因此，可依據信雜比來表達 藉由影像感測器俘獲之影像中所含有的資訊之^舉例而 言，每當影像藉由影像感測器90a俘獲且傳送至處理電路 (諸如，ISP電路32)時，在像素值中可存在某種程度之雜 訊’此制為讀取及傳送影像㈣之程相有地將「讀取 雜訊」引入至影像信號中。此「讀取雜訊」可為隨機的且 通常為不可避免的。藉由使用四個像素之平均值，通常可 減少雜訊（例如，光子雜訊）而不管雜訊之來源。 因此’當考慮圖59之全解析度影像資料693時，每一拜 耳圖案(2x2區塊)694a_694d含有4個像素，該等像素中之每 159040.doc -106· 201225631 者3有^號及雜訊分量。若單獨地讀取在（例如）拜耳 = •中之每—像素，則存在四個信號分量及四個雜訊 刀量然而’藉由應用分格化儲存（如圖59及圖61所示）以 使得四個像素（例如，_、⑽、695c、695d)可藉由經 分格化儲存影像資料中之單—像素（例如，695)表示，可將 藉由全解析度影像資料693中之四個像素佔據的相同面積 讀取為具有雜訊分量之僅__個例子的單—像素，由此改良 信雜比。 此外’儘管本實施例將圖6Q之分格化儲存邏輯699描緣 為以應用2x2分格化儲存程彳，但應瞭解，分格化 儲存邏輯699可經組態以應隸何合適類型的分格化健存 程序’諸如，3x3分格化儲存、垂直分格化儲存、水平分 格化儲存，等等。在-些實施例t，影像感測器90a可經 組態以在影像俘獲程序期間於不同分格化儲存模式之間選 擇。另外，在其他實施例中，影像感測器9〇a亦可經組態 以應用可被稱為「跳過」（skipping)之技術，其中代替平 均像素樣本，邏輯699自全解析度資料693僅選擇某些像素 (例如，每隔一個像素、每隔3個像素，等等）以輸出至lsp 月’J端80以供處理。此外，儘管圖6〇中僅展示影像感測器 9〇a，但應瞭解，可以類似方式實施影像感測器9〇b。 亦如圖61所描繪，分格化儲存程序之一效應在於：經分 格化儲存像素的空間取樣可能並未相等地間隔。在一些系 統中，此空間失真導致頻疊（例如，鋸齒狀邊緣），其通常 為不合需要的。此外，因為ISP管道邏輯82中之某些影像 159040.doc -107· 201225631 處理步驟可取決於色彩樣本之線性置放以便正確地操作， 所以可應用分格化儲存補償濾波器（BCF)652以執行經分格 化儲存像素的再取樣及重新定位，使得經分格化儲存像素 在空間上均勻地分佈。亦即，BCF 652基本上藉由再取樣 樣本（例如，像素）之位置而補償不均勻空間分佈（例如，圖 61所示）。舉例而言，圖62說明在藉由BCF 652處理之後經 分格化儲存影像資料702的經再取樣部分，其中含有均勻 分佈之經再取樣像素704、705、7〇6及7〇7的拜耳區塊7〇3 分別對應於來自圖61之經分格化儲存影像資料7〇〇的經經 分格化儲存像素695、696、697及698。另外，在利用跳過 (例如，代替分格化儲存）之實施例中，如上文所提及，圖 61所示之空間失真可能不存在。在此狀況下，bcf 652可 充當低通濾波器以減少可在藉由影像感測器9〇a使用跳過 時引起的假影（例如，頻疊）。 圖6 3展示根據一實施例的分格化儲存補償濾波器6 5 2之 方塊圖。BCF 652可包括分格化儲存補償邏輯7〇8，分格化 儲存補償邏輯7 0 8可處理經分格化儲存像素7 〇 〇以分別使用 水平按比例縮放邏輯7 〇 9及垂直按比例縮放邏輯7丨〇來應用 水平及垂直按比例縮放，以再取樣及重新定位經分格化儲 存像素700,使得其係以空間均勻分佈而配置，如圖“所 示。在一實施例中，藉由BCF 652執行之該（等）按比例縮 放操作可使用水平及垂直多分接頭多相濾波予以執行。舉 例而§ ’濾波程序可包括自輸入來源影像資料（例如，藉 由影像感測器90a提供之經分格化儲存影像資料7〇〇)選擇 I59040.doc -108· 201225631 適當像素、將所選擇像素中之每—者乘以—濾波係數，及 對所得值進行加總以在所要目的地處形成輸出像素。 用於按比例縮放操作_之像素的選擇（其可包括相同色 彩之中心像素及周圍相鄰像素）可使用單獨微分分析器7ii 予以判定，一個微分分析器711用於垂直按比例縮放且一 個微分分析器711用於水平按比例縮放。在所描繪實施例 中，微分分析器711可為數位微分分析器（DDA)，且可經組 態以在垂直及水平方向上於按比例縮放操作期間控制當前 輸出像素位置。在本實施例中，第一DDA(被稱為7Ua)在 水平知：比例縮放期間用於所有色彩分量，且第二Dda(被 稱為711 b)在垂直按比例縮放期間用於所有色彩分量。僅 藉由實例，可將DDA 711提供作為含有2補數定點數之32 位元資料暫存器，該數在整數部分中具有16個位元且在小 數中具有16個位元。16位元整數部分可用以判定輸出像素 之當前位置。DDA 711之小數部分可用以判定當前索引或 階段’其可基於當前DDA位置之像素間小數位置（例如， 對應於輸出像素之空間位置）。索引或階段可用以自一組 濾波器係數表712選擇一組適當係數。另外，可使用相同 色彩像素而每色彩分量地進行濾波。因此，可不僅基於當 前DDA位置之階段而且基於當前像素之色彩來選擇濾波係 數。在一實施例中，8個階段可存在於每一輸入像素之 間’且因此’垂直及水平按比例縮放組件可利用8深度係 數表’使得16位元小數部分的高位序3個位元用以表達當 前階段或索引。因此，如本文所使用，術語「原始影像」 159040.doc 109· 201225631 資料或其類似者應被理解為指代藉由丨一感測器（彩色滤 光片陣列圖案（例如，拜耳）上覆於該感測器）獲取之多色彩 影像資料’彼等資料在一個平面中提供多個色彩分量。在 另一實施例中，單獨DD A可用於每一色彩分量。舉例而 言’在此等實施例中，BCF 652可自原始影像資料提取r、 B、Gr及Gb分量，且處理每一分量作為單獨平面。 在操作中，水平及垂直按比例縮放可包括初始化 711 ’及使用DDA 711之整數及小數部分來執行多分接頭多 相濾波。儘管單獨地且藉由單獨DDA執行，但水平及垂直 按比例縮放操作係以類似方式執行。步進值或步長（用於 水平按比例縮放之DDAStepX及用於垂直按比例縮放之 DDAStepY)判定在判定每一輸出像素之後dDA值 (currDDA)累加之量，且使用下一 currDDA值來重複多分接 頭多相濾波。舉例而言，若步進值小於〗，則按比例放大 影像，且若步進值大於丨，則按比例縮小影像。若步進值 等於1，則無按比例縮放發生。此外，應注意，相同或不 同步長可用於水平及垂直按比例縮放。 輸出像素係藉由BCF 652以與輸入像素相同之次序而產 生（例如，使用拜耳圖案）^在本實施例中，輸入像素可基 於其排序而分類為偶數或奇數"舉例而言，參看圖64，說 明基於各種DDAStep值（列714-718)之輸入像素位置（列713) 及對應輸出像素位置之圖形描繪。在此實例中，所描繪列 表不原始拜耳影像資料中之一列紅色（R)及綠色（Gr)像素。 出於水平濾波目的，列7 j 3中在位置〇〇處之紅色像素可被 159040.doc •110- 201225631 認為偶數像素，列713中在位置1G處之綠色像素可被認為 奇數像素，等等。對於輸出像素位置，可基於DDA川之 小數部分（下部16個位元）中的最低有效位元來判定偶數及 奇數像素。舉例而言，在假設丨25之DDAStep的情況下， 如列715所示，最低有效位元對應於DDA之位元14，此係 因為此位元提供〇.25之解析度。因此，在DDa位置 (cUn*DDA)〇.〇處之紅色輸出像素可被認為偶數像素（最低有 效位兀（位元14)為〇)，在(^1>1*1)1)八i 〇處之綠色輸出像素（位 7014為1)，等等。此外，儘管關於在水平方向上之濾波（使 用DDAStepX)來論述圖64，但應理解，可關於垂直滤波 (使用DDAStepY)以相同方式應用偶數及奇數輸入及輸出 像素的判定。在其他實施例中，DDA 711亦可用以追蹤輸 入像素之位置（例如，而非追蹤所要輸出像素位置）。此 外，應瞭解’可將DDAStepX及DDAStepY設定為相同或不 同值。此外’在假設使用拜耳圖案的情況下，應注意，取 決於（例如）哪一像素位於作用中區域3丨2内之隅角處，藉由 BCF 652使用之開始像素可為Gr、Gb、R或B像素中的任一 者。 記住此，偶數/奇數輸入像素用以分別產生偶數/奇數輸 出像素。在假定輸出像素位置於偶數與奇數位置之間交替 的情況下，藉由分別將DDA捨位至偶數或奇數輸出像素位 置之最接近的偶數或奇數輸入像素位置（基於DDAStepX彡 來判定用於滤波目的之中心來源輸入像素位置（在本文中 被稱為「currPixel」）。在DDA 71 la經組態以使用16個位 159040.doc -111 · 201225631 元來表示整數且使用16個位元來表示小數之實施例中，可 使用下文之方程式6a及6b針對偶數及奇數currD]DA位置來 判定 currPixel : 可基於下式之位元[31:16]來判定偶數輸出像素位置： (currDDA+1.0) & OxFFFE.OOOO (c 、 (6a) 可基於下式之位元[31:16]來判定奇數輸出像素位置： (currDDA)| 0x0 〇〇 1.0000 (6b)
基本上，以上方程式呈現捨位操作，藉以，將偶數及奇 數輸出像素位置（如藉由currDDA所判定）分別針對 currPixe丨之選擇而捨位至最近的偶數及奇數輸入像素位 置。 另外，亦可在每一 currDDA位置處判定當前索引或階段 (currlndex)。如上文所論述，索引或階段值表示輸出像素 位置相對於輸入像素位置之小數像素間位置。舉例而古， =-實施例中’可在每一輸入像素位置之間界定請階 段。舉例而言’再次參看圖64，8個索引值0-7提供於在位 置0.0處之第-紅色輸人像素與在位置2 〇處之下—紅色輪 入像素之間。類似地，8個索引值0_7提供於在位置處之 第一綠色輸人像素與在位置3.G處之下—綠色輸人像素之 間。在—實施例中’可分別針對偶數及奇數輸出像素位置 根據下文之方程式〜及7b來判定⑶出‘值： 可基於下式之位;Ft[16:14]來判定偶數輸出像素位置： (currDDA+0.125) « (7a) ° 土於下式之位元[16:14]來判定奇數輸出像素位置 】59040.doc -112- 201225631 (currDDA+1.125) (7b) 對於奇數位置，額外的i像素移位等效於將為四之位移加 至用於奇數輸出像素位置的係數索引，以考慮不同色彩分 量之間相對於DDA 711的索引位移。 一旦已在特定currDDA位置處判定叫打朽狀丨及currIndex， 濾波程序隨即可基於currPixel(所選擇之中心輸入像素）來 選擇一或多個相鄰的相同色彩像素。藉由實例，在水平按 比例縮放邏輯709包括5分接頭多相濾波器且垂直按比例縮 放邏輯710包括3分接頭多相濾波器之實施例中，可針對水 平濾波選擇在水平方向上於currPixel之每一侧上的兩個相 同色彩像素（例如，-2、-1、〇、+1、+2)，且可針對垂直濾 波選擇在垂直方向上於currPixel之每一側上的一個相同色 彩像素（例如，-1、〇、+1)。此外，currIndex可用作選擇索 引以自濾波器係數表712選擇適當濾波係數以應用於所選 擇像素。舉例而言，在使用5分接頭水平/3分接頭垂直濾 波實施例的情況下，可針對水平濾波提供五個8深度表， 且可針對垂直濾波提供三個8深度表。儘管被說明為bcf 652之部分，但應瞭解，在某些實施例中，濾波器係數表 712可儲存於與BCF 652實體地分離之記憶體（諸如，記憶 體108)中。 在更詳細地論述水平及垂直按比例縮放操作之前，下文 之表5展示如使用不同DDAStep值（例如，可應用於 DDAStepX或DDAStepY)基於各種DDA位置所判定之 currPixel 及currIndex值之實例。 159040.doc -113- 201225631 輪出像素 (偶數或 奇數） DDA Step 1.25 DDA Step 1.5 DDA Step 1.75 DDA Step 2.0 curr DDA curr Index curr Pixel curr DDA curr Index curr Pixel curr DDA curr Index curr Pixel curr DDA curr Index curr Pixel 0 0.0 0 0 0.0 0 0 0.0 0 0 0.0 0 0 1 1.25 1 1 1.5 2 1 1.75 3 1 2 4 3 0 2.5 2 2 3 4 4 3.5 6 4 4 0 4 1 3.75 3 3 4.5 6 5 5.25 1 5 6 4 7 0 5 4 6 6 0 6 7 4 8 8 0 8 1 6.25 5 7 7.5 2 7 8.75 7 9 10 4 11 0 7.5 6 8 9 4 10 10.5 2 10 12 0 12 1 8.75 7 9 10.5 6 11 12.25 5 13 14 4 15 0 10 0 10 12 0 12 14 0 14 16 0 16 1 11.25 1 11 13.5 2 13 15.75 3 15 18 4 19 0 12.5 2 12 15 4 16 17.5 6 18 20 0 20 1 13.75 3 13 16.5 6 17 19.25 1 19 22 4 23 0 15 4 16 18 0 18 21 4 22 24 0 24 1 16.25 5 17 19.5 2 19 22.75 7 23 26 4 27 0 17.5 6 18 21 4 22 24.5 2 24 28 0 28 1 18.75 7 19 22,5 6 23 26.25 5 27 30 4 31 0 20 0 20 24 0 24 28 0 28 32 0 32 表5 :分格化儲存補償濾波器-currPixe丨及currlndex計 算之DDA實例 為了提供一實例，令吾人假設選擇1.5之DDA步長 (DDAStep)(圖 64 之列 716)，其中當前 DDA位置（currDDA) 始於0，其指示偶數輸出像素位置。為了判定currPixel， 可應用方程式6a，如下文所示： currDDA=0.0(偶數） 0000 0000 0000 0001.0000 0000 0000 0000 (currDDA+1.0) (AND) 1111 1111 1111 1110.0000 0000 0000 0000 (OxFFFE.OOOO) =0000 0000 0000 0000.0000 0000 0000 0000 currPixel(被判定為結果之位元[31:161)=0 ; 因此，在currDDA位置0.0(列716)處，用於濾波之來源輸 入中心像素對應於在列713之位置0.0處的紅色輸入像素。 為了判定在偶數currDDA 0.0處之currlndex，可應用方 •114- 159040.doc 201225631 程式7a，如下文所示： currDDA=0.0(偶數） 0000 0000 0000 0000.0000 0000 0000 0000 (currDDA) + 0000 0000 0000 0000.0010 0000 0000 0000 (0.125) = 0000 0000 0000 0000.0010 0000 0000 0000 currlndex(被判定為結果之位元[16:14])=[000]=0 ; 因此，在currDDA位置0·0(列716)處，0之currlndex值可用 以自濾波器係數表712選擇濾波係數。 隹 因此，可基於在currDDA 0·0處所判定之currPixel及 currlndex值來應用遽波（其可取決於DDAStep係在X(水平） 抑或Y(垂直）方向上而可為垂直或水平的），且使DDA 711 累加 DDAStep( 1.5)，且下一 currPixel及 currlndex值得以判 定。舉例而言，在下一currDDA位置1.5(奇數位置）處，可 使用方程式6b判定currPixel，如下： currDDA=0.0(奇數） 0000 0000 0000 0001 . 1000 0000 0000 0000 (currDDA) • (OR) 0000 0000 0000 0001.0000 0000 0000 0000 (0x0001 ·0000) = 0000 0000 0000 0001.1000 0000 0000 0000 currPixel(被判定為結果之位元[31:16] )= 1 ; 因此，在currDDA位置1.5(列716)處，用於遽波之來源輸 入中心像素對應於在列713之位置1.0處的綠色輸入像素。 此外，可使用方程式7b來判定在奇數currDDA 1.5處之 currlndex，如下文所示： 159040.doc -115- 201225631 currDDA=1.5(奇數) 0000 0000 0000 0001 . 1000 0000 0000 0000 (currDDA) + 0000 0000 0000 0001 . 0010 0000 0000 0000 (1.125) = 0000 0000 0000 0010.1010 0000 0000 0000 currlndex(被判定為結果之位元[16:14])=[010]=2 ; 因此，在currDDA位置1.5(列716)處，2之currlndex值可用 以自濾波器係數表712選擇適當濾波係數。可由此使用此 等currPixel及currlndex值來應用滤波（其可取決於DDAStep 係在X(水平）抑或Y(垂直）方向上而可為垂直或水平的）。
接下來，再次使DDA 711累加DDAStep(1.5)，從而產生 3.0之currDDA值。可使用方程式6a來判定對應於currDDA 3.0之currPixel，如下文所示： currDDA=3.0(偶數) 0000 0000 0000 01⑻.0000 〇〇〇〇 〇〇〇〇 〇〇〇〇 (cuitDDA+1.0) (AND) 1111111111111110 · 0000 0000 〇〇〇〇 〇〇〇〇 (OxFFFE.OOOO)
= 0000 0000 0000 0100.0000 0000 0000 0000 currPixel(被判定為結果之位元[31:16])=4 ; 因此，在currDDA位置3.0(列716)處，用於濾波之來源輸 入中心像素對應於在列713之位置4.0處的紅色輸入像素。 接下來，可使用方程式7a來判定在偶數currDDA 3.0處 之currlndex，如下文所示： currDDA=3.0(偶數） 0000 0000 0000 0011. 〇〇〇〇 〇〇〇〇 〇〇〇〇 〇〇〇〇 (currDDA) + 〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇.〇〇ίο〇〇〇〇〇〇〇〇〇〇〇〇 (0.125) 159040.doc -116- 201225631 = 0000 0000 0000 0011.0010 0000 0000 0000 currlndex(被判定為結果之位元[16:14])=[ 100]=4 ; 因此，在currDDA位置3.0(列716)處，4之currlndex值可用 以自濾波器係數表712選擇適當濾波係數。應瞭解’可繼 續針對每一輸出像素而使DDA 711累加DDAStep，且可使 用針對每一 currDDA值所判定之currPixel及currlndex來應 用濾波（其可取決於DDAStep係在X(水平）抑或Y(垂直）方向 上而可為垂直或水平的）。 如上文所論述，currlndex可用作選擇索引以自渡波器係 數表712選擇適當濾波係數以應用於所選擇像素。濾波程 序可包括獲得圍繞中心像素（currPixel)之來源像素值、將 所選擇像素中之每一者乘以基於currlndex自滤波器係數表 712所選擇之適當濾波係數，及對結果求和以獲得在對應 於currDDA之位置處輸出像素之值。此外，因為本實施例 在相同色彩像素之間利用8個階段，所以在使用5分接頭水 平/3分接頭垂直濾波實施例的情況下，可針對水平濾波提 供五個8深度表，且可針對垂直濾波提供三個8深度表。在 一實施例中，係數表輸入項中之每一者可包括具有3個整 數位元及13個小數位元之16位元2補數定點數。 此外，在假設拜耳影像圖案的情況下’在一實施例中， 垂直按比例縮放分量可包括四個單獨之3分接頭多相濾波 器，每一色彩分量（Gr、R、B及Gb)—個濾波器。3分接頭 濾波器中之每一者可使用DDA 711以控制當前中心像素之 步進及係數之索引，如上文所描述。類似地’水平按比例 159040.doc -117- 201225631 縮放分量可包括四個單獨之5分接頭多相濾波器’每一色 彩分量（Gr、R、B及Gb) —個濾波器。5分接頭瀘、波器令之 每一者可使用DDA 711以控制當前中心像素之步進（例如， 經由DDAStep)及係數之索引。然而’應理解’在其他實施 例中，可藉由水平及垂直純量利用更少或更多的分接頭。 對於邊界狀況’用於水平及垂直濾波程序中之像素可取 決於當前DDA位置（currDDA)相對於圖框界限（例如’藉由 圖23中之作用中區域312界定的界限）之關係。舉例而言’ 在水平濾波中’若currDDA位置與中心輸入像素之位置 (SrcX)及圖框之寬度（SrcWidth)(例如，圖23之作用中區域 3 12的寬度322)相比指示DDA 711接近於界限’使得不存在 足夠像素來執行5分接頭濾波，則可重複相同色彩之輸入 界限像素。舉例而言，若所選擇之中心輸入像素係在圖框 之左側邊緣處，則中心像素可針對水平濾波被複製兩次。 若中心輸入像素靠近圖框之左側邊緣，使得僅一個像素在 中心輸入像素與左側邊緣之間可用，則出於水平濾波目 的，該一個可用像素被複製，以便將兩個像素值提供至中 心輸入像素之左側。此外，水平按比例縮放邏輯7〇9可經 組態以使得輸入像素（包括原本像素及經複製像素）之數目 不能超過輸入寬度。此可表達如下：
StartX=(((DDAInitX+0x0001.0000) & 0xFFFE.0000)»16) EndX=((PDAInitX+DDAStepX*(BCFOutWidth-l))|()x0001.0000)»16) EndX-StartX <= SrcWidth-1 其中，DDAInitX表示DDA 711之初始位置，DDAStepX表 159040.doc -118 - 201225631 示在水平方向上之DDA步進值，且BCFOutWidth表示藉由 BCF 652輸出之圖框的寬度。 對於垂直濾波，若currDDA位置與中心輸入像素之位置 (SrcY)及圖框之寬度（SrcHeight)(例如，圖23之作用中區域 3 12的寬度322)相比指示DDA 711接近於界限，使得不存在 足夠像素來執行3分接頭濾波，則可重複輸入界限像素。 此外，垂直按比例縮放邏輯710可經組態以使得輸入像素 (包括原本像素及經複製像素）之數目不能超過輸入高度。 此可表達如下：
StartY=(((DDAInitY+0x0001.0⑻0) & 0xFFFE.0000)»16) EndY=((PDAImtY+DDAStepY*(BCFOutHeight-l))|0x0001.0000)»16) EndY-StartY <= SrcHeight-1 其中，DDAInitY表示DDA 711之初始位置，DDAStepY表 示在垂直方向上之DDA步進值，且BCFOutHeight表示藉由 BCF 652輸出之圖框的寬度。 現參看圖65，描繪根據一實施例的用於將分格化儲存補 償濾波應用於藉由前端像素處理單元150所接收之影像資 料之方法720的流程圖。應瞭解，圖65所說明之方法720可 應用於垂直及水平按比例縮放兩者。始於步驟721，初始 化DDA 711，且判定DDA步進值（其可對應於用於水平按比 例縮放之DDAStepX及用於垂直按比例縮放的 DDAStepY)。接下來，在步驟722處，基於DDAStep判定當 前DDA位置（currDDA)。如上文所論述，currDDA可對應於 輸出像素位置。使用currDDA，方法720可自可用於分格化 159040.doc •119· 201225631 儲存補償滤波之輸入像素資料判定中心像素（currPixel)以 判定在currDDA處的對應輸出值，如在步驟723處所指示。 隨後’在步驟724處’可基於currDD A相對於輸入像素之小 數像素間位置（例如’圖64之列713)來判定對應於currDDA 的索引（currlndex)。藉由實例，在DDA包括16個整數位元 及16個小數位元之實施例中’可根據方程式6a及6b判定 currPixe卜且可根據方程式7&及7b判定currIndex，如上文 所示。儘管16位元整數/16位元小數組態在本文中描述為 一實例，但應瞭解，可根據本發明技術利用DDA 711的其 他組態。藉由實例，DDA 711之其他實施例可經組態以包 括12位元整數部分及20位元小數部分、14位元整數部分及 18位元小數部分，等等。 一旦判定currPixel及currlndex，隨即可針對多分接頭瀘 波選擇圍繞currPixel的相同色彩之來源像素，如藉由步驟 725所指示。舉例而言，如上文所論述’一實施例可在水 平方向上利用5分接頭多相滤波（例如，在currPixel之每一 側上選擇2個相同色彩像素），且可在垂直方向上利用3分 接頭多相濾波（例如，在currPixel之每一側上選擇丨個相同 色彩像素）。接下來’在步驟726處，一旦選擇來源像素， 隨即可基於currlndex自BCF 652之濾波器係數表712來選擇 濾波係數® 此後’在步驟727處’可將濾波應用於來源像素，以判 定對應於藉由currDDA所表示之位置的輸出像素之值。舉 例而言’在一實施例中’來源像素可乘以其各別滤波係 159040.doc •120· 201225631 數，且結果可被求和以獲得輸出像素值。在步驟727處應 用濾波之方向可取決於DDAStep係在X(水平）抑或Y(垂直） 方向上而可為垂直或水平的。最終，在步驟263處，在步 驟728處使DDA 711累加DDAStep，且方法720返回至步驟 722，藉以，使用本文所論述之分格化儲存補償濾波技術 來判定下一輸出像素值。 參看圖66，根據一實施例更詳細地說明來自方法720的 用於判定currPixel之步驟723。舉例而言，步驟723可包括 判定對應於currDDA(來自步驟722)之輸出像素位置係偶數 抑或奇數的子步驟729。如上文所論述，可基於DDAStep 基於currDDA之最低有效位元判定偶數或奇數輸出像素。 舉例而言，在1.25之DDAStep的情況下，1.25之currDDA值 可判定為奇數’此係因為最低有效位元（對應於DDA 711之 小數部分的位元14)具有值1。針對2·5之currDDA值，位元 14為0，由此指示偶數輸出像素位置。 在決策邏輯730處’進行關於對應於currDDA之輸出像 素位置係偶數抑或奇數之判定。若輸出像素為偶數’則決 策邏輯730繼續至子步驟731，其中藉由使currDDA值累加1 且將結果捨位至最近的偶數輸入像素位置而判定 currPixel，如藉由上文之方程式6a所表不。右輸出像素為 奇數，則決策邏輯730繼續至子步驟732 ’其中藉由將 currDDA值捨位至最近的奇數輸入像素位置而判定 currPixel，如藉由上文之方程式6b所表不。可接者將 currPixel值應用於方法720之步驟725以選擇用於濾波的來 159040.doc • 121· 201225631 源像素，如上文所論述。 亦參看圖67，根據一實施例更詳細地說明來自方法720 的用於判定currlndex之步驟724。舉例而言，步驟724可包 括判定對應於currDDA(來自步驟722)之輸出像素位置係偶 數抑或奇數的子步驟733。可以與圖66之步驟729類似之方 式執行此判定。在決策邏輯734處，進行關於對應於 currDDA之輸出像素位置係偶數抑或奇數之判定。若輸出 像素係偶數，則決策邏輯734繼續至子步驟73 5,其中藉由 使currDDA值累加一個索引步進從而基於DDA 711之最低 位序整數位元及兩個最高位序小數位元判定currlndex來判 定currlndex。舉例而言，在8個階段提供於每一相同色彩 像素之間且DDA包括16個整數位元及1 6個小數位元之實施 例中，一個索引步進可對應於〇_ 125，且currlndex可基於 累加0.125之currDDA值的位元[16:14]來判定（例如，方程 式7a)。若輸出像素係奇數，則決策邏輯734繼續至子步驟 736，其中藉由使currDDA值累加一個索引步進及一個像素 移位且基於DDA 711之最低位序整數位元及兩個最高位序 小數位元判定currlndex來判定currlndex。因此，在8個階 段提供於每一相同色彩像素之間且DDA包括1 6個整數位元 及16個小數位元之實施例中，一個索引步進可對應於 0.125，一個像素移位可對應於1.0(至下一相同色彩像素的 8個索引步進之移位），且currlndex可基於累加1.125之 currDDA值的位元[16:14]來判定（例如，方程式7b)。 儘管當前所說明之實施例提供BCF 652作為前端像素處 159040.doc -122- 201225631
理#心(>之組件’但其他實施例可將⑽㈣併入至脱 管㈣之原始影像資料處理管線中，如下文進一步論述， ISP管道82可包括有缺陷像素價測/校正邏輯、增益/位移/ 補償區塊、雜訊減少邏輯、透鏡遮光校正邏輯及解馬赛克 邏輯。此外，在前述有缺陷像素债測/校正邏輯、增益/位 移/補償區塊、雜訊減少邏輯、透鏡遮光校正邏輯並不依 賴於像素之線性置放的實施例中，⑽㈣可併有解馬赛 克邏輯以執行分格化儲存補償據波且在解馬赛克之前重新 定位像素’㈣因為解馬赛克通常依賴於像素的均勾空間 定位。舉例而言’在-實施例中，⑽652可併入於感測 器輸入與解馬赛克邏輯之間的任何處，其中時間濾波及/ 或有缺陷像素偵測/校正在分格化儲存補償之前應用於原 始影像資料。 如上文所論述，BCF 652之輸出（其可為具有空間均勻分 佈之影像資料（例如，圖62之樣本7〇2)的輸出FEPr〇c〇ut (109))可轉遞至ISP管道處理邏輯a以供另外處理。然而， 在將此論述之焦點移至ISP管道處理邏輯82之前，將首先 提供可藉由可貫施於ISP前端邏輯80中之統計處理單元（例 如，142及144)所提供的各種功能性之更詳細描述。 返回參考統計處理單元I42及I44之一般描述，此等單元 可經組態以收集關於俘獲且提供原始影像信號（Sif〇及Sifl) 之影像感測器的各種統計，諸如與自動曝光、自動白平 衡、自動聚焦、閃爍偵測、黑階補償及透鏡遮光校正等等 相關的統計。在進行此時，統計處理單元142及144可首先 159040.doc •123- 201225631 將一或多種影像處理操作應用於其各別輸入信號Sif0(來自
SensorO)及 Sifl(來自 Sensorl) 〇 舉例而言’參看圖68，根據一實施例說明與Sens〇r〇 (90a)相關聯之統計處理單元142的更詳細方塊圖視圖。如 圖所不，統計處理單元142可包括以下功能區塊：有缺陷 像素偵測及校正邏輯738、黑階補償（BLC)邏輯739、透鏡 遮光校正邏輯740、逆BLC邏輯741及統計收集邏輯742。 下文將論述此等功能區塊中之每一者。此外，應理解，與
Sensorl(90b)相關聯之統計處理單元144可以類似方式實 籲 施。 最初，選擇邏輯146之輸出（例如，Sif〇或SifIn〇)係藉由 前端有缺陷像素校正邏輯738接收。應瞭解，「有缺陷像 素j可被理解為指代在該（等）影像感測器9〇内的未能準確 地感測光位準的成像像素。有缺陷像素可歸於多個因素， 且可包括「熱J (或洩漏）像素、「卡點」像素及「無作用像 素」。「熱」像素通常表現為亮於在相同空間位置處提供 同量之光的無缺陷像素。熱像素可歸因於重設失效及/ 冋洩漏而產生。舉例而言，熱像素可相對於無缺陷像素 見同於正*的電荷H且由此可表現為亮於無缺陷 素另外’「無作用」及「卡點」像素可為在製造及/或 配程序期間污染影像感測器之雜質(諸如，灰塵或其他 蹤材料)的結果’其可引起某些有缺陷像素暗於或亮於 缺陷像素’或可引起有缺陷像素固定於特定值而不管其 際上所曝光至之光的量。另外，無作用及卡點像素亦可 159040.doc •124- 201225631 在影像感測器之操作期間發生的電路失效引起。藉由實 例，卡點像素可表現為始、終接通（例如，完全充電）且由此 表現為更亮的，而無作轉素表現為始終斷開。 ISP前端邏輯80中之有缺陷像素偵測及校正（DPDC)邏輯 7^38可在有缺陷像素在統計㈣（例如，742)中被考慮之前 校正（例如，替換有缺陷像素值）有缺陷像素。在―實施例 中，針對每一色彩分量（例如，拜耳圖案之R、B、Gr及Gb) 獨立地執行有缺陷像素校正。通常，前端DPDC邏輯738可 提供動態缺陷校正，其中有缺陷像素之位置係基較用相 同色彩之㈣像相計算的方向性梯度而自動地判定。應 理解，在給定時間像素特性化為有缺陷可取決於相鄰像素 中之影像資料的意義上，缺陷可為「動態的」。藉由實 例，，若始終接通為最大亮度的卡點像素之位置係在較亮之 色彩或白色為主導之當前影像區域中，則該卡點像素可能 不會被視為有缺陷像素。相反地，若卡點像㈣在黑色或 較B之色I為主導的當前影像區域中，則該卡點像素可在 藉由DPDC邏輯738處理期間識別為有缺陷像素且相應地校 正0 DPDC邏輯738可在#前像素之每—側上利用相同色彩的 或多個X平相鄰像素，以使用像素至像素方向性梯度判 定田刖像素疋否有缺陷。若當前像素被識別為有缺陷，則 可藉由水平相鄰像素之值來替換有缺陷像素的值。舉例而 °在—實施例中’在原始圖框310(圖23)邊界内部之相同 色先的五個水平相鄰像素被使用，其中該五個水平相鄰像 159040.doc •125- 201225631 素包括當前像素及任一側上的兩個相鄰像素。因此，如圖 69所說明，針對給定色彩分量C及針對當前像素ρ ,可藉由 DPDC邏輯738來考慮水平相鄰像素Ρ0、PI、Ρ2及Ρ3。然 而，應注意，取決於當前像素p之位置，當計算像素至像 素梯度時並未考慮在原始圖框31〇外部的像素。 舉例而言，如圖69所示，在「左側邊緣」狀況743下， 當前像素P係在原始圖框310之最左側邊緣處，且因此並 未考慮在原始圖框310外部之相鄰像素P0&P1，從而僅留 下像素P、P2及P3(N=3)。在「左側邊緣+1」狀況744下， 當前像素P係遠離原始圖框3 1 〇之最左側邊緣的一個單位像 素，且因此，並未考慮像素p〇。此情形僅留下像素ρι、 P、P2及P3(N=4)。此外’在「居中」狀況745下，在當前 像素P之左側上的像素P0及P1以及在當前像素p之右側上的 像素P2及P3係在原始圖框3 10邊界内，且因此，在計算像 素至像素梯度時考慮所有相鄰像素p〇、Pl、P2及 P 3 (N- 5)。另外’隨著接近原始圖框31〇之最右側邊緣，可 遇到類似狀況746及747 »舉例而言，在「右側邊緣_丨」狀 況746的情況下，當前像素P係遠離原始圖框31〇之最右側 邊緣的一個單位像素，且因此，並未考慮像素P3(n=4)。 類似地，在「右側邊緣」狀況747下，當前像素p係在原始 圖框3 10之最右側邊緣處，且因此，並未考慮相鄰像素p2 及P3兩者（N=3)。 在所說明實施例中’針對圖片邊界（例如，原始圖框 3 10)内之每一相鄰像素（k=〇至3)，像素至像素梯度可計算 159040.doc •126· 201225631 如下： Q-，叱灸幻（僅針對原始圖框内之灸）（8) 旦已判定像素至像素梯度，隨即可藉由DPDC邏輯738 執行有缺陷像素❹j如下。首先，假設，若某—數目個其 梯度Gk處於或低於特定臨限值（藉由變數dpfTh所表示），則 像素有缺陷。因此’針對每—像素，累積處於或低於臨限 值dprTh之在圖片邊界内部的相鄰像素之梯度之數目的計 數（C)藉由實例，針對原始圖框3 1 〇内部之每一相鄰像 素，處於或低於臨限值dprTh之梯度Gk的所累積計數c可計 算如下··
N 0=Σ (Gt^dprTh), k (9) (僅針對原始圖框内之幻 應瞭解，取決於色彩分量，臨限值dprTh可變化。接下 來，若所累積計數C被判定為小於或等於最大計數（藉由變 數dprMaxC所表示），則像素可被認為有缺陷。下文表達此 邏輯： 若（C^dprMaxC)，則像素有缺陷。 （1〇) 使用多個替換慣例來替換有缺陷像素。舉例而言，在一 實施例中，有缺陷像素可藉由在其緊左側之像素P1來替 換。在邊界條件（例如，P1係在原始圖框310外部）下，有 缺陷像素可藉由其緊右側之像素P2來替換。此外，應理 解，可針對接連之有缺陷像素偵測操作來保持或傳播替換 值。舉例而言’參考圖69所示之該組水平像素，若⑼或耵 159040.doc •127· 201225631 先前藉由DPDC邏輯738識別為有缺陷像素，則其對應替換 值可用於當前像素P的有缺陷像素偵測及替換。 為了概述上文所論述之有缺陷像素偵測及校正技術，描 繪此程序之流程圖提供於圖70中且藉由參考數字748指 代《如圖所示，程序748始於步驟749，在步驟749處接收 當前像素（P)且識別一組相鄰像素。根據上文所描述之實 施例，相鄰像素可包括來自當前像素之相反側的相同色彩 分量之兩個水平像素（例如，p〇、ρι、P2&p3)。接下來， 在步驟750處，關於原始圖框31〇内之每一相鄰像素計算水 平像素至像素梯度，如上文之方程式8中所描述。此後， 在步驟751處，判定小於或等於特定臨限值dprTh的梯度之 數目的計數C ^如在決策邏輯752處所示，若c小於或等於 dprMaxC，則處理748繼續至步驟753，且將當前像素識別 為有缺陷。接著在步驟754處使用替換值來校正有缺陷像 素。另外，返回參考決策邏輯752，若c大於dprMaxC，則 程序繼續至步驟755，且將當前像素識別為無缺陷，且其 值並未改變。 應注意，在ISP前端統計處理期間所應用之有缺陷像素 偵測/校正技術可比在ISP管道邏輯82中所執行的有缺陷像 素偵測/校正不穩固。舉例而言，如下文將更詳細地論 述’除了動態缺陷校正之外’在ISP管道邏輯82中所執行 的有缺陷像素偵測/校正亦進一步提供固定缺陷校正，其 中有缺陷像素的位置係先驗已知的且載入於一或多個缺陷 表中。此外，ISP管道邏輯82中之動態缺陷校正亦可考慮 159040.doc -128- 201225631 在水平及垂直方向兩者上的像素梯度，且亦可提供斑點 (speckling)之偵測/校正’如下文將論述。 返回至圖68，接著將DPDC邏輯738之輸出傳遞至黑階補 償（BLC)邏輯73 9。BLC邏輯739可對用於統計收集之像素 針對每一色彩分量「c」（例如，拜耳之R、B、^及仍)獨 立地提供數位增益、位移及裁剪。舉例而言，如藉由以下 運算來表達，當前像素之輸入值首先位移有正負號之值， 且接著乘以增益。 籲 Y = iX + 〇[c))xG[c], (ιι) 其中X表不針對給定色彩分量c(例如，R、B、&或Gb)之 輸入像素值，0[c]表示針對當前色彩分量e的有正負號之 16位元位移，且G[c]表示色彩分量〇之增益值。在實施 例中，增益G[c]可為具有2個整數位元及14個小數位元之 16位元無正負號數（例如，浮點表示中的214)，且可藉由 捨位來施加增益G[c]。僅藉由實例，增益G[c]可具有介於〇 φ 至4X(例如，輸入像素值的4倍）之間的範圍。 接下來，如藉由下文之方程式12所示，計算值γ(其為有 正負號的）可接著裁剪為最小值及最大值範圍： 7=(7<min[c]) ? min[c] : (7>max[c]) ? max[c] . γ 〇2) 變數min[c]及max[c]可分別表示針對最小及最大輪出值 的有正負號之16位元「裁煎值」。在—實施例中，blc邏 輯739亦可經組態以每色彩分量地維持分別剪裁至高於及 低於最大值及最小值之像素之數目的計數。 159040.doc -129- 201225631 隨後，將BLC邏輯739之輸出轉遞至透鏡遮光校正（LSC) 邏輯740。LSC邏輯740可經組態以每像素地施加適當增益 以補償強度下降，其通常與自成像裝置30之透鏡88之光學 中心的距離粗略地成比例。應瞭解，此等下降可為透鏡之 幾何光學的結果。藉由實例，具有理想之光學性質的透鏡 可模型化為入射角之餘弦的四次冪cos4(e)，被稱為cos4定 律。然而，因為透鏡製造並非完美的，所以透鏡中之各種 不規則性可引起光學性質偏離所假設的cos4模型。舉例而 言’透鏡之較薄邊緣通常展現最多的不規則性。另外，透 籲 鏡遮光圖案中之不規則性亦可為並未與彩色陣列濾光片完 全對準之影像感測器内的微透鏡陣列之結果。此外，在一 些透鏡中之紅外線（IR)濾光片可使得下降為照明體相依 的’且因此，可取決於所偵測之光源來調適透鏡遮光增 益。 參看圖71 ’說明描繪針對典型透鏡之光強度對像素位置 的二維量變曲線756。如圖所示，靠近透鏡之中心757的光 強度逐漸朝向透鏡之隅角或邊緣758下降。圖71所描繪之 ❿ 透鏡遮光不規則性可藉由圖72更好地說明，圖41展示展現 光強度朝向隅角及邊緣之下降的影像759之有色圖式。特 定言之’應注意’在影像之近似中心處的光強度表現為亮 於影像之隅角及/或邊緣處的光強度。 根據本發明技術之實施例，透鏡遮光校正增益可被指定 為每色彩通道(例如，拜耳濾光片之Gr、R、B、Gb)之增益 的二維柵格。增益栅格點可以固定水平及垂直間隔分佈於 159040.doc •130· 201225631 原始圖框3 10(圖23)内。如上文在圖23中所論述，原始圖框 310可包括作用中區域312，作用中區域312界定針對特定 影像處理操作對其執行處理的區域。關於透鏡遮光校正操 作’作用中處理區域（其可被稱為LSC區域）界定於原始圖 框區域310内。如下文將論述，LSC區域必須完全在增益 概格邊界内部或在增益柵格邊界處，否則結果可為未定義 的。 舉例而言’參看圖73,展示可界定於原始圖框31〇内之 籲 LSC區域760及增益柵格76卜LSC區域76〇可具有寬度762 及高度763，且可藉由x位移764及y位移765相對於原始圖 框3 10之邊界來界定。亦提供自柵格增益761之基礎^“至 LSC區域760中之第一像素769的柵格位移（例如，栅格乂位 移766及柵格y位移767) ^此等位移可針對給定色彩分量處 於第一栅格間隔内。可分別針對每一色彩通道獨立地指定 水平（X方向）柵格點間隔770及垂直（y方向）柵格點間隔 771 〇 籲 如上文所論述，在假設拜耳彩色濾光片陣列之使用的情 況下，可定義柵格增益之4個色彩通道（R、b、Gr及Gb)。 在一實施例中’總共4K(4096)個柵格點可為可用的，且針 對每一色彩通道，可（諸如）藉由使用指標來提供柵格增益 之開始位置的基本位址《此外，水平（77〇)及垂直（771)柵 格點間隔可依據在一個色彩平面之解析度下的像素界定， 且在某些實施例中，可在水平及垂直方向上針對藉由2的 幕（諸如’藉由8、16、32、64或128等）所分離之柵格點間 159040.doc •131 - 201225631 隔來提供。應瞭解，㈣利用2的冪，可達成使用移位（例 如，除法）及加法運算之增益内插的有效實施。使用此等 參數’正當影像感測器修剪區域改變時，可使用相同的增 益值。舉例而言，僅少數參數需要被更新以對準柵格點與 經修剪區域（例如，更新柵格位移77〇及771)而非更新所有 柵格增益值。僅藉由實例’當在數位變焦操作期間使用修 剪時，此可為有料。此外，儘管圖73之實施例所示的增 益柵格761描繪為具有大體上相等間隔之柵格點，但應理 解，在其他實施例中，栅格點可能未必相等地間隔。舉例 而。，在一些實施例中，柵格點可不均勻地（例如，以對 數形式）分佈，使得柵格點較少集中於Lsc區域76〇的中 心，但朝向LSC區域760之隅角更集中，通常在透鏡遮光 失真更顯著之處。 根據當前所揭示之透鏡遮光校正技術，當當前像素位置 位於LSC區域760之外部時，不施加增益（例如，像素未改 變地通過）。當當前像素位置係處於增益柵格位置處時， 可使用在彼特定柵格點處的增益值。然而，當當前像素位 置係處於柵格點之間時，可使用雙線性内插來内插增益。 下文提供針對圖74上之像素位置「G」内插增益的3 一實 例0 如圖74所示，像素G係在栅格點G〇、&、⑺及⑺之 間’拇格點GO、G1、似⑺可分別對應於相對於當前像 素位置G之左頂部、右頂部、左底部及右底部增益。柵格 間隔之水平及垂直大小係分別藉由又及γ表示。另外，丨丨及 159040.doc •132· 201225631 jj分別表示相對於左頂部增益GO之位置的水平及垂直像素 位移。基於此等因子，對應於位置G之增益可由此内插如 下： σ _ (G0(7 - jj){X - ii)) + (Gl(Y - jj)(ii)) + (G2(jj)(X - /〇) + (G3(ii)Uj))
XY (13a) 上文之方程式13a中的項可接著組合以獲得以下表達： c风仏耶-y(i神測+顺⑻⑽+现耶-⑼⑽+哪·]
_ XY φ (13b) 在一實施例中，可累加地執行内插方法，而非在每一像素 處使用乘數，由此減少計算複雜性。舉例而言，項（ii)(jj) 可使用可在增益柵格761之位置（0，0)處初始化為0的加法 器而實現，且每當將當前行數增大達一個像素時使項 (ii)(jj)累加當前列數。如上文所論述，由於可將X及Y之值 選擇為2的冪，故可使用簡單移位運算來實現增益内插。 因此，僅在柵格點G0(而非在每一像素處）需要乘數，且僅 • 需要加法運算來判定剩餘像素之内插增益。 在某些實施例中，在柵格點之間的增益之内插可使用14 位元精確度，且柵格增益可為具有2個整數位元及8個小數 位元的無正負號之10位元值（例如，2.8浮點表示）。在使用 此慣例的情況下，增益可具有介於0與4X之間的範圍，且 在柵格點之間的增益解析度可為1/256。 透鏡遮光校正技術可藉由圖75所示之程序772進一步說 明。如圖所示，程序772始於步驟773，在步驟773處相對 159040.doc -133· 201225631 於圖73之LSC區域760的邊界判定當前像素之位置。接下 來，決策邏輯774判定當前像素位置是否係在LS(：區域76〇 内。若當前像素位置係在LSC區域760外部，則程序772繼 續至步驟775，且無增益施加至當前像素（例如，像素未改 變地通過）。 若當前像素位置係在LSC區域760内，則程序772繼續至 決策邏輯776，在決策邏輯776處進一步判定當前像素位置 是否對應於增益栅格761内的柵格點。若當前像素位置對 應於栅格點’則選擇在彼栅格點處之增益值且將其施加至 當前像素’如在步驟777處所示。若當前像素位置不對應 於柵格點’則程序772繼續至步驟778，且基於定界栅格點 (例如，圖74之GO、Gl、G2及G3)來内插增益。舉例而 言’可根據方程式13a及13b來計算内插增益，如上文所論 述。此後，程序772在步驟779處結束，在步驟779處將來 自步驟778之内插增益施加至當前像素。 應瞭解’可針對影像資料之每一像素重複程序772 ^舉 例而言，如圖76所示，說明描繪可施加至LSC區域（例如， 760)内之每一像素位置之增益的三維量變曲線。如圖所 示’歸因於在影像之隅角780處之光強度的較大下降，施 加於該等隅角處的增益可通常大於施加至影像之中心781 的增益’如圖71及圖72所示。在使用當前所描述之透鏡遮 光校正技術的情況下’可減少或實質上消除影像中之光強 度下降的出現。舉例而言’圖77提供來自圖72之影像759 之有色圖式可在透鏡遮光校正被應用之後出現之方式的實 159040.doc •134· 201225631 二圖所示’與來自圖72之原本影像相*，整體光強度 通常跨越轉更均…較言之，在料之近財心處的 光強度可實質上料在影像之隅角及/或邊緣處的光強度 值。另外’如上文所提及’在一些實施例中，内插增益計 算（方程式！3413b)可藉由利用依序行及列累加結構而用 柵格點之間的加性「差量」進行替換。應瞭解，此情形減 少計算複雜性。
在其他實施例.中，除了使用柵格增益之外，亦使用隨自 影像中心之距離而按比例縮放的每色彩分量之全域增益。 影像之中心可被提供作為輸人參數，且可藉由分析^一照 a月之影像中每-影像像素的光強度振幅予以估計。在所識 別之中心像素與當前像素之間的徑向距離可接著用以獲得 線性按比例縮放之徑向增益Gr，如下文所示： 其中Gp[c]表不每一色彩分量c(例如，拜耳圖案之r b、 • Gl^Gb分量）之全域增益參數，且其中R表示在中心像素與 當前像素之間的徑向距離。 ~ 參看圖78，其展示上文所論述之LSC區域760，距離汉可 使用若干技術予以計算或估計。如圖所示，對應於影像中 心之像素C可具有座標（Xg，yQ)，且當前像素G可具有座標 (xg, yG)。在一實施例中，LSC邏輯74〇可使用以下方程式 來計算距離R : ^=y(xe ~ χ〇)2+(^σ - 159040.doc 05) -135- 201225631 在另一實施例中，下文所示之較簡單之估計公式可用以 獲得R之估計值。 R = axmax(abs{x〇 ~x〇iabs(y0-y0)) +fixmiaiabsixa-x^abs^-y^) (16) 在方程式16中’估計係數α及β可按比例縮放為8位元值。 僅藉由實例’在一實施例中，a可等於大約123/128且β可 等於大約51/128以提供R之估計值。在使用此等係數值的 情況下’最大誤差可為大約4%，其中中值誤差為大約 1.3%。因此，即使估計技術可比在判定r時利用計算技術 (方程式15)稍微不準確，誤差容限仍足夠低以使得估計值參 或R適於針對當前透鏡遮光校正技術來判定徑向增益分 量。 徑向增益Gr可接著乘以當前像素之内插柵格增益值g(方 程式13a及13b)，以判定可施加至當前像素之總增益。輸 出像素Y係藉由將輸入像素值χ乘以總增益而獲得，如下 文所示： 1 ) (17) 因=據本發明技術’可僅使用内插增益、内插增益及 從向增益分量兩者來執行透鏡遮光校正。或者，亦可僅使 用徑向增益而結合補償徑向 透鏡遮光校正。舉例而〜tr向表來實現 H 5代替矩形增益柵格76丨（如圖73 所不），可提供具有在徑向及 用万向上疋義增益之满齡個 柵格點的徑向增益柵格。 田判疋施加至在LSC區域 760内並不與徑向栅格點 之者對準之像素的增益時， 159040.doc •136- 201225631 可使用圍封像素之四個栅格點來應用内插以判定適當的内 插透鏡遮光增益。 參看圖79，藉由程序782說明在透鏡遮光校正中内插及 徑向增益分量之使用。應注意，程序782可包括類似於上 文在圖75中所描述之程序772的步驟。因此，已藉由相似 參考數字而對此等步驟編號。始於步驟773，接收當前像 素且判定其相對於LSC區域760之位置。接下來，決策邏 輯774判定當前像素位置是否係在lsc區域760内。若當前
像素位置係在LSC區域760外部’則程序782繼續至步驟 775，且無增益施加至當前像素（例如，像素未改變地通 過）方▲則像素位置係在LSC區域760内，則程序782可同 時繼續至步驟783及決策邏輯776 〇首先參考步驟783，擷 取識別影像之中心的資料。如上文所論述，判定影像之中 心可包括在均一照明下分析像素之光強度振幅。舉例而 。此刀析可在校準期間發生。因此，應理解，步驟783 未必涵蓋重複地計算用於處理每—像素之影像的中心，而 可指㈣取先前所判定之影像中心的資料（例如，座標）。 識另i ’以像之中〜，程序782隨即可繼續至步驟784，其 中判定在影像中心與當前像素位置之間的距離⑻。如1 賴論述’可計算（方程式15)或估計（方程式難之值。接 著’在步驟785處’可使用對應於當前像素之色彩分量的 距離R及全域增益參數來計算徑向增益分量叫方程式 M)。徑向增益分量Gr可用以判定總增益，如下文將在步 驟787中論述。 159040.doc -137- 201225631 返回參考決策邏輯776，判定當前像素位置是否對應於 增益柵格76〗内之柵格點。若當前像素位置對應於柵格 點，則判定在彼柵格點處之增益值，如在步驟786處所 示若¥前像素位置不對應於拇格點，則程序繼續至 步驟778，且基於定界栅格點（例如，圖74之別、 及G3)來計算内插增益。舉例而言，可根據方程式⑴及 13b來計算内插增益’如上文所論述。接下來，在步驟787 處，基於在步驟785處所判定之徑向增益以及柵格增益（步 驟786)或内插增益（778)中之—者來判定總增益。應瞭解， 此可取決於決策邏輯776在程序782期間採取哪一分支。接 著將總增益施加至當前像素，如在步驟處所示。又， 應注意，如同程序772 ’亦可針對影像資料之每一像素重 複程序782。 控向增益結合柵格增益之使用可提供各種優點。舉例而 言’使用徑向增益會允許針對所有色彩分量使用單一共同 增益柵格。此情形可極大地減少儲存每一色彩分量之單獨 增益柵格所需要的總儲存空間。舉例而言，在拜耳影像感 測器中，針對R、B、&及仍分量中之每一者使用單一增 益栅格可將增益栅格資料減少達大約75%。應瞭解，柵格 增益資料之此減少可減小實施成本’此係因為柵格增益資 料表可考慮影像處理硬體中之記憶體或晶片面積的顯著部 分。此外’取決於硬體實施’單一組之增益拇格值的使用 可提供其他優點’諸如’減少整體晶片面積（例如，諸如 當增益柵格值儲存於晶片上記憶體中時），及減少記憶體 159040.doc -138- 201225631 頻寬要求（例如，諸如當增益柵格值儲存於晶片外外部記 憶體中時）。 在詳盡地描述圖68所示之透鏡遮光校正邏輯74〇的功能 性後，隨後將LSC邏輯740之輸出轉遞至逆黑階補償（IBLC) 邏輯741。IBLC邏輯741針對每一色彩分量（例如，R、B、 Gr及Gb)獨立地提供增益、位移及裁剪，且通常執行blc 邏輯739之逆功能。舉例而言，如藉由以下運算所示，輪 入像素之值首先乘以增益且接著位移達有正負號之值。 ® Y = (XxG[c]) + 〇[c], 其中X表示針對給定色彩分量c(例如，R ' B、&或Gb)之 輸入像素值，0[c]表示當前色彩分量c的有正負號之16位 元位移，且G[c]表示色彩分量〇之增益值。在一實施例 中，增益G[c]可具有介於大約〇至4χ(為輸入像素值又的4 倍）之間的範圍》應注意，此等變數可為上文在方程 中所論述之相同變數^可使用（例如）方程式12將計算值γ • 裁剪至最小值及最大值範圍。在一實施例中，IBLC邏輯 741可經組態以每色彩分量地維持分別剪裁至高於及低於 最大值及最小值之像素之數目的計數。 此後，IBLC邏輯741之輸出藉由統計收集區塊742接 收，統計收集區塊742可提供關於該（等）影像感測器9〇之各 種統计資料點的收集，諸如，與自動曝光（AE)、自動白平 衡（AWB)、自動聚焦（AF)、閃爍偵測等等相關的資料點。 。己住此下文關於圖80至圖97提供統計收集區塊742之某 些實施例及與其相關之各種態樣的描述。 159040.doc -139- 201225631 應瞭解’可在數位靜態相機以及視訊攝影機中獲取影像 時使用AWB、AE及AF統計。為簡單性起見，AWB、AE及 AF統計在本文中可被統稱為「3A統計」。在圖68所說明之 isp前端邏輯的實施例中，統計收集邏輯742(「3A統計邏 輯」）之架構可以硬體、軟體或其組合來實施。此外，控 制軟體或韌體可用以分析藉由3 A統計邏輯742收集之統計 資料且控制透鏡（例如，焦距）、感測器（例如，類比增益、 積分時間）及ISP管線82(例如，數位增益、色彩校正矩陣係 數）的各種參數。在某些實施例中，影像處理電路32可經 組態以在統計收集方面提供彈性，以啟用控制軟體或韌體 來實施各種AWB、AE及AF演算法。 關於白平衡（AWB)，在每一像素處之影像感測器回應可 取決於照明源，此係因為光源係自影像場景中之物件反 射。因此，記錄於影像場景中之每一像素值與光源之色溫 相關。舉例而言，圖79展示說明YCbCr色彩空間之在低色 溫及高色溫下的白色區域之色彩範圍的圖表789。如圖所 不，圖表789之X軸表示YCbCr色彩空間之藍色差異色度 (Cb)，且圖表789之y軸表示紅色差異色度（Cr)。圖表789亦 展不低色溫轴線790及高色溫軸線791。定位有轴線79〇及 791之區域792表示YCbCr色彩空間中在低色溫及高色溫下 之白色區域的色彩範圍。然而，應理解，YCbCr色彩空間 僅僅為可結合本實施例中之自動白平衡處理而使用之色彩 空間的一實例。其他實施例可利用任何合適色彩空間。舉 例而s ，在某些貫施例中，其他合適色彩空間可包括 159040.doc •140· 201225631
Lab(CIELab)色彩空間（例如，基於CIE 1976)、紅色/藍色 正規化色彩空間（例如，r/(r+2G+b)及B/(r+2g+b)色彩空 間；R/G及B/G色彩空間；cb/Y及Cr/Y色彩空間等等）。因 此’為本發明之目的’藉由3A統計邏輯742使用之色彩空 間的軸線可被稱為C1及C2(如圖80中之狀況）。 當在低色溫下照明白物件時，其可在所俘獲影像中表現 為微紅。相反地，在高色溫下所照明之白物件可在所俘獲 影像中表現為微藍。因此，白平衡之目標係調整RGB值， 使得影像對人眼表現為如同其係在規範光下取得。因此， 在與白平衡相關之成像統計的内容背景中，收集關於白物 件之色彩資訊以判定光源之色溫。一般而言，白平衡演算 法可包括兩個主步驟。第一，估計光源之色溫。第二，使 用所估計之色溫以調整色彩增益值及/或判定/調整色彩校 正矩陣之係數。此等增益可為類比與數位影像感測器增益 以及ISP數位增益之組合。 舉例而言，在一些實施例中，可使用多個不同參考照明 體來校準成像裝置30。因此，可藉由選擇對應於最緊密地 匹配當前場景之照明體的參考照明體之色彩校正係數來判 定當前場景的白點。僅藉由實例，一實施例可使用五個參 考照明體（低色溫照明體、中等低色溫照明體、中等色溫 照明體、中等高色溫照明體及高色溫照明體）來校準成像 裝置30 ^如圖81所示，一實施例可使用以下色彩校正設定 值來定義白平衡增益：水平線（Η)(模擬大約2300度之色 溫）、白熾（Α或IncA)(模擬大約2856度之色溫）、D50(模擬 159040.doc • 141- 201225631 大約5000度之色溫）、D65(模擬大約6500度之色溫）及 D75(模擬大約7500度之色溫）。 取決於當前場景之照明體，可使用對應於最緊密地匹配 當前照明體之參考照明體的增益來判定白平衡增益，舉例 而言’若統計邏輯742(下文在圖82中更詳細地描述）判定當 前照明體近似地匹配參考中等色溫照明體D5〇，則大約 1.37及1.23之白平衡增益可分別施加至紅色及藍色通道， 而近似無增益（1.0)施加至綠色通道（拜耳資料之G〇及gi)。 在一些實施例中，若當前照明體色溫係在兩個參考照明體 籲 中間’則可經由在該兩個參考照明體之間内插白平衡增益 而判定白平衡增益。此外’儘管本實例展示使用Η、a、 D50、D65及D75照明體所校準之成像裝置，但應理解，任 何合適類型之照明體可用於相機校準，諸如TL84或 CWF(螢光參考照明體）等等。 如下文將進一步論述，若干統計可被提供用於awb(包 括二維（2D)色彩直方圖），且RGB或YCC求和以提供多個可 程式化色彩範圍。舉例而言，在一實施例中，統計邏輯鲁 742可提供-組多個像素遽波器’其中該多個像素滤波器 之一子集可被選擇用於AWB處理。在一實施例中，可提供 八組滤波器（各自具有不同之可組態參數），且可自該组選 擇三組色彩範圍據波器以用於聚集發光塊統計，以及用於 聚集每一浮動視窗的統計。藉由實例，第一所選擇滤波器 可經組態以覆蓋當前色溫以獲得準確的色彩估計，第二所 選擇濾波器可經組態以覆蓋低色溫區域，且第三所選擇渡 159040.doc •142· 201225631 波器可經組態以覆蓋高色溫區域。此特定組態可啟用AWB 演算法以隨光源改變而調整當前色溫區域。此外，2D色彩 直方圖可用以判定全域及局域照明體，且判定用於累積 RGB值之各種像素濾波器臨限值。又’應理解，三個像素 濾波器之選擇意謂說明僅一實施例。在其他實施例中，可 選擇更少或更多之像素濾波器以用於AWB統計。 此外，除了選擇三個像素濾波器之外，一額外像素濾波 器亦可用於自動曝光（AE)，自動曝光（AE)通常指代調整像 素積分時間及增益以控制所俘獲影像之照度的程序。舉例 而言，自動曝光可控制藉由該（等）影像感測器設定積分時 間所俘獲的來自場景之光之量。在某些實施例中，發光塊 及照度統計浮動視窗可經由3A統計邏輯742而收集且經處 理以判定積分及增益控制參數。 此外，自動聚焦可指代判定透鏡之最佳焦距，以便實質 上最佳化影像之聚焦。在某些實施例中，可收集高頻統計 浮動視窗，且可調整透鏡之焦距以使影像聚焦。如下文進 一步論述，在一實施例中，自動聚焦調整可基於一或多個 量度（被稱為自動聚焦刻痕（AF刻痕））來利用粗略及精細調 整以使影像聚焦《此外，在一些實施例中，AF統計/刻痕 可針對不同色彩而判定，且每一色彩通道之AF統計/刻痕 之間的相對性可用以判定聚焦方向。 因此，可經由統計收集區塊742而尤其判定及收集此等 各種類型之統計。如圖所示，Sensor〇統計處理單元^42之 統計收集區塊742之輸出STATS0可發送至記憶體1〇8且投 159040.doc -143- 201225631 送至控制邏輯84 ’ 3戈者’可直接發送至控制邏輯84。此 外，應理解，統計處理單元144亦可包括提供統計 STATS1之類似組態的3A統計收集區塊，如圖1〇所示。 如上文所論述，控制邏輯84(其可為裝置l〇2isp子系統 32中的專用處理器）可處理所收集之統計資料，以判定用 於控制成像裝置30及/或影像處理電路32的一或多個控制 參數。舉例而言，此等控制參數可包括用於操作影像感測 器90之透鏡的參數（例如，焦距調整參數）、影像感測器參 數（例如，類比及/或數位增益、積分時間），以及isp管道 處理參數（例如，數位增益值、色彩校正矩陣（CCM)係 數）。另外，如上文所提及，在某些實施例中，統計處理 可以8位元之精確度發生，且由此，具有較高位元深度的 原始像素h料可按比例縮小至8位元格式以用於統計目 的。如上文所論述，按比例縮小至8位元（或任何其他較低 位元解析度）可減少硬體大小（例如，面積）且亦減少處理複 雜性’以及允許統計資料對雜訊為更穩固的（例如，使用 影像資料之空間平均化）。 s己住刖述内容’圖82為描續·用於實施3 A統計邏輯742之 一實施例的邏輯之方塊圖。如圖所示，3A統計邏輯742可 接收表示拜耳RGB資料之信號793，如圖68所示，信號793 可對應於逆BLC邏輯741之輸出。3A統計邏輯742可處理拜 耳RGB資料793以獲得各種統計794，統計794可表示3A統 計邏輯742之輸出STATS0(如圖68所示），或者，表示與 Sensorl統計處理單元144相關聯之統計邏輯的輸出 159040.doc 201225631 STATS 1。 在所說明之實施例中，為了使統計對雜訊為更穩固的， 首先藉由邏輯795平均化傳入之拜耳RGB像素793。舉例而 言，可以由四個2x2拜耳四元組（例如，表示拜耳圖案之 2x2像素區塊）組成之4M感測器像素的視窗大小來執行平 均化，且可計算4x4視窗中之經平均化的紅色（R)、綠色 (G)及藍色（B)值且將該等值轉換為8位元，如上文所提 及。關於圖83更詳細地說明此程序，圖83展示形成為四個 2x2拜耳四元組797之像素的4x4視窗796。在使用此配置的 情況下，每一色彩通道包括視窗796内之對應像素的區 塊，且相同色彩之像素可經求和及平均化以針對視窗796 内的每一色彩通道產生平均色彩值。舉例而言，在樣本 796内，紅色像素799可經平均化以獲得平均紅色值 (RAV)803，且藍色像素8〇〇可經平均化以獲得平均藍色值 (Bav)804。關於綠色像素之平均化，可利用若干技術，此 係因為拜耳圖案具有為紅色或藍色樣本之兩倍的綠色樣 本。在一實施例中，可藉由僅僅平均化Gr像素798、僅僅 平均化Gb像素8〇1或共同地平均化所有&像素798及Gb像 素801來獲得平均綠色值(Gav)8〇2。在另一實施例中每 一拜耳四元組797中之Gr像素798及Gb像素8〇1可被平均 化且母拜耳四元組797之綠色值的平均值可共同地被 進步平均化以獲得GAV 802。應瞭解，跨越像素區塊之 像素值的平均化可提供雜訊減少。此外，應理解，使用 4 4區塊作為視窗樣本僅僅意欲提供一實例。實際上，在 159040.doc -145· 201225631 其他實施例中，可利用任何合適區塊大小（例如，8x8、 16x16、32x32 等等）。 此後，按比例縮小之拜耳RGB值806輸入至色彩空間轉 換邏輯單元807及808。因為3A統計資料中之一些可在應用 色彩空間轉換之後依賴於像素，所以色彩空間轉換（esc) 邏輯807及CSC邏輯808可經組態以將降取樣之拜耳rgb值 806轉換為一或多個其他色彩空間。在一實施例中，esc 邏輯807可提供非線性空間轉換，且CSC邏輯808可提供線 性空間轉換。因此，CSC邏輯單元807及808可將原始影像 資料自感測器拜耳RGB轉換至另一色彩空間（例如， sRGBlinear、sRGB、YCbCr等等）’該另一色彩空間針對執 行用於白平衡之白點估計可為更理想或合適的。 在本實施例中，非線性CSC邏輯807可經組態以執行3x3 矩陣乘法，繼之以執行實施為查找表之非線性映射，且進 一步繼之以執行具有附加位移的另一 3x3矩陣乘法。此情 形允許3A統計色彩空間轉換針對給定色溫來複製lsp管線 82中之RGB處理的色彩處理（例如’施加白平衡增益應 用色彩校正矩陣、應用RGB伽瑪調整，及執行色彩空間轉 換）。其亦可提供拜耳RGB值至更色彩一致之色彩空間（諸 如，CIELab)或上文所論述之其他色彩空間中之任—者（例 如，YCbCr、紅色/藍色正規化色彩空間，等等）的轉換。 在一些條件下，Lab色彩空間針對白平衡操作可為更合適 的’此係因為色度相對於亮度為更線性的。 如圖82所示’來自拜耳RGB按比例縮小信號8〇6之輸出 159040,doc -146· 201225631 像素係藉由第一3x3色彩校正矩陣（3 A_CCM)處理，該第一 3x3色彩校正矩陣（3A—CCM)在本文中係藉由參考數字809 指代》在本實施例令，3A_CCM 809可經組態以自相機 RGB色彩空間（camRGB)轉換至線性sRGB校準空間 (sRGBlinear)。下文藉由方程式19-21提供可在一實施例中使 用之可程式化色彩空間轉換： sRUnear=max(0, min(255, (3A_CCM_00*R+3A_CCM_01*G+3A_CCM_02*B))); (19) sGiine^maxCO, min(255, (3A_CCM_10*R+3A_CCM_11*G+3A_CCM_12*B))); φ (20) sBiinear=max(05 min(255, (3A_CCM_20*R+3A_CCM_21*G+3A_CCM_22*B))); (21) 其中3 A_CCM_00-3 A_CCM_22表示矩陣809之有正負號係 數。因此，藉由首先判定紅色、藍色及綠色降取樣拜耳 RGB值與所應用之對應3A_CCM係數的總和，且接著在該 值超過255或小於0時將此值裁剪至0抑或255(8位元像素資 料之最小及最大像素值），可判定sRGBlinear色彩空間之 sRlinear、sGlinear及sBiinear分量中的每一者。所得之 ® sRGBlinear值在圖82中藉由參考數字810表示為3A_CCM 809 的輸出。另外，3A統計邏輯742可維持sRlinear、sGlinear及 sBlinear分量中之每一者的經裁剪像素之數目的計數，如下 文所表達： 3A_CCM_R_clipcount_low : sRiinear像素之數目 <0裁剪 3A_CCM_R_clipcount_high : sRiinear像素之數目 >255裁剪 3A_CCM_G_clipcount_low ·· sGlinear像素之數目 <0裁剪 3A_CCM_G_clipcount_high : sGiinear像素之數目 >255裁剪 159040.doc -147- 201225631 3A_CCM_B_clipcount_low ·· sBhn伽像素之數目 <〇裁剪 3A_CCM_B_dipC〇unt—high : sBlinear像素之數目 >255裁剪 接下來，可使用非線性查找表811來處理sRGBiin…像素 以產生sRGB像素812。查找表811可含有8位元之輸 入項’其中每—表輸人項值表示—輸出位準。在—實施例 中，查找表811可包括65個均勻分佈之輸入項，其中表索 引表不步進為4之輸入值。當輸入值落在間隔之間時，線 性地内插輸出值。 、
應瞭解’ sRGBS彩空間可表示針對給^白點藉由成像 裝置3 0(圖7)產生之最終影像的色彩空間，此係因為白平衡 統計收集係在藉由影像裝置產生之最終影像的色彩空間中 執行在貫施例中，可藉由基於（例如）紅色對、綠色及/或 藍色對綠色比率來匹配影像場景之特性與―或多個參考照 月體而判定白.點。舉例而言，一參考照明體可為DM，其 為用於模擬日光條件之CIE標準照明體。除了 D65之外， 亦可針對其他Μ參考照明體來執行成像裝置3G之校準， 平衡判疋程序可包括判定當前照明體使得可基於對 應校準點針對當前照明體來調整處理（例如，色彩平衡）。 藉由實例’在一實施例中’除了 D65之外，亦可使用冷白 螢光（CWF)參考照明體、TL84參考照明體（另—螢光源）及 CA(或A)參考照明體（其模擬白熾照明）來校準成像裝置30 及A統„}·邏輯742。另外，如上文所論述，對應於不同色 舰之各種其他照明體（例如，Η、IncA、D5〇、〇65及D75等 D亦可$於相機校準中以用於白平衡處理。因此，可藉 159040.doc •148- 201225631 由分析影像場景且判定哪一參考照明體最緊密地匹配當前 照明體源而判定白點。 仍參考非線性CSC邏輯807，查找表811之sRGB像素輸出 812可藉由第二3x3色彩校正矩陣813(在本文中被稱為 3A_CSC)進一步處理。在所描繪之實施例中，3A_CSC矩 陣813被展示為經組態以自311〇3色彩空間轉換至丫〇3(：1'色 彩空間，但其亦可經組態以將sRGB值轉換為其他色彩空 間。藉由實例，可使用以下可程式化色彩空間轉換（方程 式22-27): Y =3A_CSC_00*sR+3A_CSC_01*sG+3A_CSC_02*sB+3A_OffsetY; (22) Y =max(3 A_CSC_MIN_Y, min(3 A_CSC_MAX_Y, Y)); (23)
Cl =3 A_CSC_10*sR+3 A_CSC_11 *sG+3 A_CSC_12*sB+3 A_OffsetC 1; (24)
Cl =max(3A_CSC_MIN_Cl, min(3A_CSC_MAX_Cl, Cl)); (25) C2 =3A_CSC_20*sR+3 A_CSC_21 *sG+3 A_CSC_22*sB+3A_OffsetC2; (26) C2 =max(3A_CSC_MIN_C2, min(3A_CSC_MAX__C2, C2)); (27) 其中3A_CSC_00 - 3A_CSC_22表示矩陣813之有正負號係 數，3A_OffsetY、3A_OffsetCl 及 3A_OffsetC2表示有正負 號位移，且Cl及C2分別表示不同色彩（此處為藍色差異色 度（Cb)及紅色差異色度（Cr))。然而，應理解，C1及C2可表 示任何合適差異色度色彩，且未必需要為Cb及Cr色彩。 如方程式22-27所示，在判定YCbCr之每一分量時，將來 自矩陣813之適當係數應用於sRGB值812，且將結果與對 應位移求和（例如，方程式22、24及26)。基本上，此步驟 159040.doc •149- 201225631 為3x1矩陣乘法步驟。接著在最大值與最小值之間裁剪來 自矩陣乘法之此結果（例如，方程式23、25及27)。相關聯 之最小及最大裁剪值可為可程式化的，且可取決於（例如） 所利用之特定成像或視訊標準（例如，BT. 601或BT· 709)。 3A統計邏輯742亦可維持γ、ci及C2分量中之每一者的 經裁剪像素之數目的計數，如下文所表達： 3A_CSC_Y_clipcount_low : Y像素之數目 <3A_CSC_MIN_Y裁剪 3A_CSC_Y_cUpcount_high : Y像素之數目 >3A_CSC_MAX_Y裁剪 3A_CSC_Cl_clipcount—low : C1 像素之數目 〇a_CSC_MIN_C1 裁剪 3A_CSC_Cl_clipcount_high : C1 像素之數目>3A_CSC_MAX_C1 裁剪 3A_CSC_C2_cUpcount_low : C2像素之數目 〇A_CSC_MIN_C2裁剪 3A_CSC_C2_clipcount_high : C2像素之數目 >3A_CSC_MAX_C2裁剪 來自拜耳RGB降取樣信號806之輸出像素亦可提供至線 性色彩空間轉換邏輯808，線性色彩空間轉換邏輯808可經
組態以實施相機色彩空間轉換。舉例而言，來自拜耳RGB 降取樣邏輯795之輸出像素806可經由CSC邏輯808之另一 3x3色彩轉換矩陣（3A_CSC2)815進行處理以自感測器 RGB(camRGB)轉換至線性白平衡色彩空間（camYClC2)， 其中Cl及C2可分別對應於Cb及Cr。在一實施例中，色度 像素可藉由明度而按比例縮放，此情形在實施具有改良之 彩色一致性且對歸因於明度改變之色彩移位穩固的彩色濾 光片時可為有益的。下文在方程式28_31中提供可使用3x3 矩陣815來執行相機色彩空間轉換之方式的實例： camY =3A_CSC2_00*R+3A_CSC2_01*G+3A_CSC2_02*B+3A_Offset2Y; (28) camY =max(3A_CSC2_MIN_Y, min(3A_CSC2_MAX_Y, camY)); (29) 159040.doc • 150- 201225631 camCl =(3 A_CSC2_10*R+3 A_CSC2_11 *G+3 A_CSC2_12*B); (30) camC2 =(3 A_CSC2_20*R+3 A_CSC2_21 *G+3 A_CSC2_22*B); (31) 其中3A_CSC2_00-3A_CSC2_22表示矩陣815之有正負號係 數，3A_Offset2Y表示camY之有正負號位移，且camCl及 camC2分別表示不同色彩（此處為藍色差異色度（Cb)及紅色 差異色度（Cr))。如方程式28所示，為了判定camY，將來 自矩陣815之對應係數應用於拜耳RGB值806，且將結果與 3A_Offset2Y求和。接著在最大值與最小值之間裁剪此結 果，如方程式29所示。如上文所論述，裁剪極限可為可程 式化的。 就此而言，輸出816之camC 1及camC2像素為有正負號 的。如上文所論述，在一些實施例中，可按比例縮放色度 像素。舉例而言，下文展示一種用於實施色度按比例縮放 之技術· camCl = camCl*ChromaScale*255 / (camY ? camY: 1); (32) camC2 = camC2*ChromaScale*255 / (camY ? camY: 1); (33) 其中ChromaScale表示介於〇與8之間的浮點按比例縮放因 子。在方程式32及33中，表達（camY ? camY:l)意謂防止除 以0條件。亦即，若camY等於0，則將camY之值設定為1。 此外，在一實施例中，ChromaScale可取決於camC 1之正負 號而設定為兩個可能值中的一者。舉例而言，如下文在方 程式34中所示，若camCl為負，則可將ChomaScale設定為 159040.doc -151- 201225631 第一值（ChromaScaleO)，否則，可將其設定為第二值 (ChromaScalel):
ChromaScale=ChromaScaleO 若(camCl<0) (34)
ChromaScalel 否則 此後，加上色度位移，且裁剪camC 1及camC2色度像素 (如下文在方程式35及36中所示），以產生對應的無正負號 像素值： camCl = max(3A_CSC2_MIN_Cl, min(3A_CSC2_MAX_Cl, (camCl+3A_OfFset2Cl))) (35) camC2 = max(3A_CSC2_MIN_C25 min(3A_CSC2_MAX_C2, (camC2+3A_Offset2C2))) (36) 其中3A_CSC2_00-3A_CSC2_22為矩陣815之有正負號係 數，且3A_Offset2Cl及3A_Offset2C2為有正負號位移。此 外，針對camY、camCl及camC2所裁剪之像素的數目被計 數，如下文所示： 3A_CSC2_Y_clipcount」ow :camY 像素之數目 <3A_CSC2_MIN_Y 裁剪 3A_CSC2_Y_clipcount_high : camY像素之數目 >3A_CSC2_MAX_Y裁剪 3A_CSC2_C 1 _clipcount_low : camCl像素之數目 <3A_CSC2_MIN_C1 裁剪 3A_CSC2_Cl_clipcount_high : camCl像素之數目 >3A_CSC2_MAX_C1 裁剪 3A_CSC2_C2_clipcount_low : camC2像素之數目 <3A_CSC2_MIN_C2裁剪 3A_CSC2_C2_clipcount_high : camC2像素之數目 >3A_CSC2_MAX_C2裁剪 因此，在本實施例中，非線性色彩空間轉換邏輯807及 線性色彩空間轉換邏輯808可在各種色彩空間中提供像素 資料：sRGBlinear(信號 810)、sRGB(信號 812)、YCbYr(信號 814)及camYCbCr(信號816)。應理解，每一轉換矩陣 159040.doc •152· 201225631 809(3入_(^]^)、813(3八_〇8(：)及815(3八_€8€2)之係數以及 查找表811中之值可被獨立地設定及程式化。 仍參看圖82，來自非線性色彩空間轉換（YCbCr 814)抑 或相機色彩空間轉換（(^111¥(：1)(^816)之色度輸出像素可用 以產生二維（2D)色彩直方圖817。如圖所示，選擇邏輯818 及819(其可實施為多工器或藉由任何其他合適邏輯實施）可 經組態以在來自非線性抑或相機色彩空間轉換之明度像素 與色度像素之間選擇。選擇邏輯818及819可回應於各別控 制信號而操作，在一實施例中，該等控制信號可藉由影像 處理電路32(圖7)之主控制邏輯84供應且可經由軟體進行設 定。 針對本實例’假設選擇邏輯818及819選擇YC1C2色彩空 間轉換（814) ’其中第一分量為明度，且其中ci、c2為第 一色彩及第二色彩（例如’ Cb、Cr)。C1-C2色彩空間中之 2D直方圖817係針對一個視窗而產生。舉例而言，該視窗 可藉由行開始及寬度以及列開始及高度指定。在一實施例 中，視窗位置及大小可設定為4個像素之倍數，且32><32個 分格（bin)可用於總共1〇24個分格。分格邊界可處於固定間 隔，且為了允許色彩空間之特定區域中之直方圖收集的變 焦及平移’可定義像素按比例縮放及位移。 在位移及按比例縮放之後的C1及C2之上部5個位元（表示 總共32個值）可用以判定分格。C1&C2之分格索弓丨（在本文 中藉由Cl_index及C2一index指代）可判定如下： 159040.doc •153- 201225631 C l_index=((C 1 -C l_ofTset)»(3-Cl_scale) (37) C2_index=((C2-C2_offset)»(3-C2_scale) (38) 一旦判定索引，隨即在分格索引係在範圍[〇，3 1]中時將色 彩直方圖分格累加一 Count值（其在一實施例中可具有介於 0與3之間的值），如下文在方程式39中所示。有效地，此 允許基於明度值來加權色彩計數（例如，更重地加權較明 亮之像素，而非相等地加權每一事物（例如，加權1))。 if(Cl_index > = 0 && Cl index < = 31 && C2_index > = 0 && C2_index <= 31) (39)
StatsCbCrHist[C2_index&31][Cl_index&31] + = Count; 其中Count在此實例中係基於所選擇之明度值Y來判定。應 瞭解，可藉由分格更新邏輯區塊821來實施藉由方程式 37、38及39表示的步驟。此外，在一實施例中，可設定多 個明度臨限值以界定明度間隔。藉由實例，四個明度臨限 值（Ythd0-Ythd3)可界定五個明度間隔，其中Count值 CountO-4係針對每一間隔而界定。舉例而言，CountO-Count4可基於明度臨限值予以選擇（例如，藉由像素條件 邏輯820)，如下： if(Y< = YthdO) (40)
Count=CountO else if(Y < = Ythdl)
Count=Countl else if(Y< = Ythd2) 159040.doc •154- 201225631
Count=Count2 else if(Y< = Ythd3)
Count=Count3 else
Count=Count4 記住前述内容，圖84說明具有針對Cl及C2兩者設定為〇 之按比例縮放及位移的色彩直方圖。CbCr空間内之劃分區 表示32x32個分格（總共1024個分格）中之每一者。圖85提 供針對額外精確度之2D色彩直方圖内之變焦及平移的實 例，其中具有小矩形之矩形區域822指定32x32個分格的位 置。 在影像資料之圖框的開始，分格值初始化為0。針對進 入2D色彩直方圖817之每一像素，使對應於匹配C1C2值之 分格累加所判定之Count值（Count0-Count4)，如上文所論 述，所判定之Count值可基於明度值。針對2D直方圖817内 之每一分格，總像素計數被報告作為所收集之統計資料 (例如，STATS0)的部分。在一實施例中，每一分格之總像 素計數可具有22位元之解析度，藉以，提供等於1024x22 個位元之内部記憶體分派。 返回參看圖82，拜耳RGB像素（信號806)、sRGBlinear像 素（信號810)、sRGB像素（信號812)及YC1C2(例如， YCbCr)像素（信號814)提供至一組像素慮波器824a-c ’藉 以，RGB、sRGBlinear、sRGB、YC1C2 或 camYClC2 總和可 有條件地基於camYClC2抑或YC1C2像素條件（如藉由每一 159040.doc -155· 201225631 像素遽波器8 2 4所疋義）而累積β亦即，來自非線性色彩空 間轉換（YC1C2)之輸出抑或相機色彩空間轉換（camYC1C2) 之輸出的Y、Cl及C2值用以有條件地選擇RGB、 sRGBlinear、sRGB或YC1C2值進行累積。儘管本實施例將 3A統計邏輯742描繪為提供8個像素濾波器（pF〇_pF7)，但 應理解，可提供任何數目個像素濾波器。 圖86展示描繪像素濾波器（尤其是來自圖82之pF〇(824a) 及PF1 (824b)之實施例的功能邏輯圖。如圖所示，每一像 素濾波器824包括一選擇邏輯，該選擇邏輯接收拜耳RGB φ 像素、sRGBlinear像素、sRGB像素，及YC1C2抑或 camYClC2像素中之一者（如藉由另一選擇邏輯826所選 擇藉由實例，可使用多工器或任何其他合適邏輯來實 施選擇邏輯825及826。選擇邏輯826可選擇yC1C2抑或 camYClC2。該選擇可回應於一控制信號而進行，該控制 信號可藉由影像處理電路32(圖7)之主控制邏輯84供應及/ 或藉由軟體設定。接下來，像素濾波器824可使用邏輯827 以對照像素條件來評估藉由選擇邏輯826選擇之像 _ 素（例如’非線性抑或相機）。每一像素濾波器824可使用選 擇電路825以取決於來自選擇電路826之輸出而選擇拜耳 RGB 像素、sRGBiinear 像素、SRGB 像素及 YC1C2 或 camYClC2 像素中的一者。 在使用該評估之結果的情況下，可累積藉由選擇邏輯 825選擇之像素（828)。在一實施例中，可使用臨限值 Cl· ~min、Cl~max、C2_min、C2一max來定義像素條件，如 159040.doc -156· 201225631 圖80之圖表789所示。若像素滿足以下條件，則該像素包 括於統計中： 1. Cl min < = Cl < = Cl_max 2. C2_min < = C2 < = C2_max 3. abs ((C2_delta*Cl)-(Cl_delta*C2)+OfFset) < distance_max 4. Ymin < = Y < = Ymax 參看圖87之圖表829，在一實施例中，點830表示對應於當 前YC1C2像素資料（如藉由邏輯826所選擇）之值（C2，C1)。 # Cl_deha可被判定為Cl_l與C1_0之間的差，且C2_delta可 被判定為C2—1與C2_0之間的差。如圖87所示，點（C1_0, C2_0)及（Cl_l, C2_l)可界定Cl及C2之最小值及最大值邊 界。可藉由將Cl_delta乘以線831截取軸線C2所處之值 832(C2_intercept)來判定 Offset。因此，假設 Y、C1 及 C2 滿 足最小值及最大值邊界條件，則在所選擇之像素（拜耳 RGB、sRGBlinear、sRGB，及YClC2/camYClC2)距線831 的 距離833小於distance_max 834時，該等所選擇之像素包括 ® 於累積總和中，distance_max 834可為像素距線之距離833 乘以正規化因子： distance_max=distance*sqrt(Cl_deltaA2+C2_deltaA2) 在本實施例中，距離Cl_delta及C2_delta可具有-255至255 之範圍。因此，distance_max 834可藉由17個位元表示。 點（C1_0, C2_0)及（Cl_l，C2_l)以及用於判定distance_max 之參數（例如，（多個）正規化因子）可被提供作為每一像素 濾波器824中之像素條件邏輯827的部分。應瞭解，像素條 159040.doc -157- 201225631 件827可為可組態的/可程式化的。 儘管圖87所示之實例基於兩組點（C1_〇，C2_0)及（Cl_l， C2一1)來描繪像素條件，但在額外實施例中，某些像素濾 波器可界定供判定像素條件之更複雜的形狀及區域，舉例 而言’圖88展示一實施例，其中像素濾波器824可使用點 (C1_0，C2_0)、（dj，C2_l)、（C1一2，C2_2)及（C1」， C2—3)以及（Cl—4，C2_4)來界定五側多邊形835。每一側 83 6a-836e可定義一線條件。然而，不同於圖87所示之狀 況（例如’只要滿足distance—max，像素就可處於線83 i之 任一側上），條件可為：像素（C1，C2)必須位於線836a_836e 之侧上，使得其藉由多邊形835圍封。因此，當滿足多個 線條件之交集時，計數像素（C1，C2)。舉例而言，在圖88 中，此交集關於像素837a發生。然而，像素83几未能滿足 線836d之線條件’且因此’將不會在藉由以此方式所組態 之像素濾波器處理時計數於統計中。
在圖89所示之另一實施例中，可基於重疊形狀來判定像 素條件。舉例而言，圖89展示像素濾波器可具有使用 兩個重疊形狀（此處為分別藉由點（cl_〇, C2_〇)、（CH C2_1)、（C1-2，C2-2)及（Cl_3，C2—3)以及點（Cl_4, C2_4) (Cl—5’ C2_5)、（ci—6，C2_6)及（Cl_7，C2_7)界定 的矩形838a及隱）所定義之像素條件的方式。在此實例 中像素（Cl, C2)可藉由圍封於藉由形狀838&及8勘（例 如藉由滿足界定兩個形狀之每一線的線條件）共同地定 界之區域内而滿足藉由此像素濾波器定義的線條件。舉例 159040.doc -158· 201225631 而言’在圖89中，關於像素839a滿足此等條件。然而，像 素839b未能滿足此等條件（尤其是關於矩形838a之線84〇a 及矩形83 8b之線840b)，且因此，將不會在藉由以此方式 所組態之像素濾波器處理時計數於統計中。 針對每一像素濾波器824，基於藉由邏輯827定義之像素 條件來識別限定像素，且針對限定像素值，可藉由3A統計 引擎742來收集以下統計：32位元總和：（Rsum，Gsum，Bsum) 或（sRlinear_sum，sGiinear_sum，sBlinear_sum)，或（sRsum，sGsum， sB_)或（Ysum，cisum，C2sum)及24位元像素計數Count，該 24位元像素計數Count可表示包括於統計中之像素之數目 的總和。在一實施例中’軟體可使用該總和以在發光塊或 視窗内產生平均值。 當camYClC2像素藉由像素濾波器824之邏輯825選擇 時’可對按比例縮放之色度值執行色彩臨限值。舉例而 s ’因為在白點處之色度強度隨明度值而增大，所以隨像 素濾波器824中之明度值而按比例縮放的色度之使用可在 一些例子中提供具有改良之一致性的結果。舉例而言，最 小值及最大值明度條件可允許濾波器忽略黑暗及/或明亮 區域。若像素滿足YC1C2像素條件，則累積Rgb、 sRGBiinear、sRGB或YC1C2值。藉由選擇邏輯825對像素值 之選擇可取決於所需要之資訊的類型。舉例而言，針對白 平衡，通常選擇RGB或SRGBlinear像素。針對债測諸如天 空、草、膚色等等之特定條件，YCC或sRGB像素組可為 更合適的。 159040.doc •159· 201225631 在本實施例中，可定義八組像素條件，一 器跡m 824中之每-者相關聯。可定義—些波 以創製在Cl-C2色彩空間(圖8〇)中很可 ' ;件 域。此可基於當前照明體進行判定或估計。接 °口 以基於用於白平衡調整之_及/或B: 羊來判…白點。此外’可定義或調適一些像素條件以 執行場景分析及分類。舉例而言，一些像素壚波器咖及 視窗/發光塊可用則貞測條件，諸如，影像圖框之頂部部 分中的藍天’或影像圖框之底部部分中的綠草。此資訊亦 可用以調整白平衡。另夕卜可定義或調適-些像素條件以 領測膚色。針對此等濾波器’發光塊可用以偵測影像圖框 之具有膚色的區域。藉由識別此等區域，可藉由（例如）減 少膚色區域中之雜訊濾波器的量及/或減小彼等區域中之 視訊壓縮中的量化以改良品質來改良膚色之品質。 3A統計邏輯742亦可提供明度資料之收集。舉例而言， 來自相機色彩空間轉換（camYC1C2)之明度值camY可用於 累積明度總和統計。在一實施例中，可藉由3人統計邏輯 742收集以下明度資訊：
Ysum : camY之總和 cond(Ysum):滿足條件 Ymin<= cam Y< Ymax 之 camY之總和 Ycountl :像素之計數，其中camY<Ymin，
Ycount2 :像素之計數，其中camY>= Ymax 此處’ Ycountl可表示曝光不足之像素的數目，且Ycount 2 可表示曝光過度之像素的數目。此可用以判定影像係曝光 159040.doc •160- 201225631 過度抑或曝光不足。I ^ ^ 舉例而s ’右像素並未飽和，則 camY之總和\-5t- _ (sum) 了扣不場景中之平均明度，其可用以 成目標AE曝光。舉你丨而a ^ 羋例而S，在一實施例中，可藉由將γ 除以像素之數目來划…A sum J又平均明度β此外，藉由知曉發光塊 統計之明度/ΑΕ統計及視窗位置，可執行从計量。舉例而 言’取決於影像場景’相比於在影像之邊緣處的ΑΕ統計 更重地加權在中心視窗處之ΑΕ統計（諸如，可在肖像之狀 況下）可為合乎需要的。
在當前所說明之實施例中，3Α統計收集邏輯可經組態以 收集發光塊及視窗中之統計。在所說明之組態中，一視窗 可針對發光塊統計863而界定。該視窗可藉由行開始及寬 度以及列開始及高度指定。在一實施例中，視窗位置及大 小可選擇為四個像素之倍數，且在此視窗内，統計係聚集 於任意大小的發光塊中。藉由實例，可選擇視窗中之所有 發光塊，使得其具有相同大小。可針對水平及垂直方向獨 立地設定發光塊大小，且在一實施例中，可設定對水平發 光塊之數目的最大極限（例如，128個水平發光塊的極限）。 此外，在一實施例中，舉例而言，最小發光塊大小可設定 為8像素寬乘4像素高。下文為基於不同視訊/成像模式及 標準以獲得16 X16個發光塊之視窗的發光塊組態之一些實 例： VGA 640x480 ••發光塊間隔40x30個像素 HD 1280x720 :發光塊間隔8〇χ45個像素 HD 1920x1080 :發光塊間隔120x68個像素 159040.doc -161 - 201225631 5MP 2592x1944 :發光塊間隔162χ 122個像素 8ΜΡ 3280x2464 :發光塊間隔205χ 154個像素 關於本實施例，自八個可用像素濾波器824(PF0-PF7)， 可選擇四個以用於發光塊統計863。針對每一發光塊，可 收集以下統計： (RsumO，GsumO, B sum〇)或(sRijnear_sum〇，sGiinear_sumO，sB|inear_sumO) ’ 或
(sRsum。，sGsum。，sB sum。)或(YsumO，Cl sumO，C2sUm〇), CoUIltO (Rsuml，〇 suml，B sumi)或(sR|inear suml，sGiinear_sumi，sB|inear-Sumi)，或 (sRsuml，sGsumi，sBsumi)或(Ysunr^，Cl sumi， C2sumi)，Countl (Rsum2, Gsum2, B sum2)或($Rlinear_ _sum2, sGjinear_ _sum2，sBijnea^suij^),或 (sRsum2，sGsum2，sum2)或(Ysum2，Cl sum2，C2 sum2)，C〇UIlt2 (Rsum3, G sum3, B sum3)或(sRiinear_sum3, sG丨inear_sum3, sBiinear一sum3) ’ 或 (sRsum3，sGsum3，sBsum3)或(Ysum3, Cl sum3, C2sum3)，Count3 ’ 或
Ysum，C〇nd(YSUm)， Ycountl， Yc〇unt2(自 camY) 在上文所列出之統計中，CountO-3表示滿足對應於所選 擇之四個像素渡波器之像素條件之像素的計數。舉例而 言，若像素濾波器PF0、PF1、PF5及PF6針對特定發光塊 或視窗被選擇為該四個像素濾波器，則上文所提供之表達 可對應於Count值及對應於針對彼等濾波器所選擇（例如， 藉由選擇邏輯825)之像素資料（例如，拜耳RGB、 sRGBlinear、sRGB、YC1Y2、camYClC2)的總和。另外， Count值可用以正規化統計（例如，藉由將色彩總和除以對 應Count值）。如圖所示，至少部分地取決於所需要之統計 的類型，所選擇之像素濾波器824可經組態以在拜耳 159040.doc -162- 201225631 RGB、sRGBlinear或sRGB像素資料中之任一者或YC1C2(取 決於藉由邏輯826之選擇而為非線性或相機色彩空間轉換） 像素資料之間選擇，且判定所選擇之像素資料的色彩總和 統計。另外，如上文所論述，來自相機色彩空間轉換 (camYClC2)之明度值camY亦針對明度總和資訊予以收 集’以用於自動曝光（AE)統計。 另外，3A統計邏輯742亦可經組態以收集多個視窗之統 計861。舉例而言，在一實施例中，可使用高達八個浮動 視窗’其中任何矩形區域在每一尺寸（例如，高度X寬度） 上具有四個像素之倍數，高達對應於影像圖框之大小的最 大大小。然而，視窗之位置未必限於四個像素之倍數。舉 例而言，視窗可彼此重疊。 在本實施例中，可針對每一視窗自可用之八個像素濾波 器（PF0-PF7)選擇四個像素濾波器824。針對每一視窗之統 計可以與上文所論述之針對發光塊相同的方式予以收集。 因此，針對每一視窗，可收集以下統計861 : (RsumO，GsumO, Bsum〇)或(sRijnear_sum〇，sGiinear_sumO，sBiinear_sum〇) ’ 或
(sRsum。，sGsum。，sB sum〇)或(Ysum〇，Cl sum。，C2 sum〇)，C〇UntO (Rsuml，Gsumi，Bsum丨)或(sRHnear_sumi，sGiinear_suml, sBiinear_suml) ’ 或 (sRsumi，sGsumi，sBsumi)或(Ysum丨，Cl sumi，C2sumi), Countl (Rsum2，GsUm2, Bsum2)或(sR_iinear_sum2，sGiinear_suni2，sBiinear_sum2)，或 (sRsum2, sGsum2, sBsum2)或(Ysum2, Cl sum2, C2sum2), Count2 (K-sum3j G sum3? B sum3)或(sRiinear_ •sum3, sGiinear一sum3, sBiinear_sum3)，或 (sRsum3, sGsum3, SB sum3)或(Ysum3, Cl sum3, C2 sum3)，C〇UIlt3，或 159040.doc -163· 201225631
Ysum，cond(Y测)，Yc〇unt丨，γ咖必(自 camY) 在上文所列出之統計中，c〇unt0_3表示滿足對應於針對特 定視窗所選擇之四個像素濾波器之像素條件之像素的計 數。自八個可用像素濾波器PF〇_PF7，可針對每一視窗獨 立地選擇四個作用中像素濾波器。另外，可使用像素濾波 器或camY明度統計來收集統計組中的一者。在一實施例 中，針對AWB及AE所收集之視窗統計可映射至一或多個 暫存器。
仍參看圖82，3A統計邏輯742亦可經組態以針對相機色 彩空間轉換而使用明度值camY來獲取一視窗的明度列總 和統計859。此資訊可用以偵測及補償閃爍。閃爍係藉由 一些螢光及白熾光源中之週期性變化（通常由AC電力信號 引起）而產生。舉例而言，參看圖9〇’展示說明閃爍可由 光源中之變化引起之方式的曲線圖。閃爍偵測可由此用以 偵測用於光源之AC電力的頻率（例如，5〇沿或⑼Hz)
旦知曉頻率’隨即可藉由將影像感測器之積分時間設定為 閃爍週期之整數倍而避免閃爍。 為了债測閃燦，遍及每一列來累積相機明度⑽丫。歸 因於傳入之拜耳資料的降取樣’每-CamY值可對應於原 U ° ~ f料的4個列^ #㈣邏輯及/或勤體可接著遍及 =續圖框來執行列平均值（或更可靠地，列平均差）之頻率 刀析x判疋與特定光源相關聯之AC電力的頻率。舉例 而言，關於圖90， t2、t3及t4(例如， 影像感測器之積分時間可基於時間tl、 使得積分在對應於展現變化之照明源通 159040.doc -164- 201225631 常處於相同亮度等級時的時間發生）。 在一實施例中’可指定明度列總和視窗，且針對彼視窗 内之像素來報告統計859。藉由實例，針對1 〇80p HD視訊 俘獲’在假設1024像素高之視窗的情況下，產生256個明 度列總和（例如，歸因於藉由邏輯795之按比例縮小，每隔 四個列有一個總和），且可藉由i 8個位元來表達每一累積 值（例如，高達每列1024個樣本的8位元camY值）。 圖82之3A統計收集邏輯742亦可藉由自動聚焦統計邏輯 841提供自動聚焦（af)統計842的收集《在圖91中提供更詳 細地展示AF統計邏輯841之實施例的功能方塊圖。如圖所 示，AF統計邏輯841可包括水平濾波器843及應用於原本拜 耳RGB(未被降取樣）的邊緣偵測器844、對來自拜耳之γ的 兩個3 x3濾波器846，及對camY的兩個3 χ3滤波器847。一 般而s ’水平遽波器843每色彩分量提供一精細解析度統 計’ 3x3濾波器846可對BayerY(施加有3x1變換（邏輯845) 的拜耳RGB)提供精細解析度統計，且3 x3濾波器847可對 camY提供較粗略之二維統計（因為camY係使用按比例縮小 之拜耳RGB資料（亦即，邏輯815)而獲得）。此外，邏輯841 可包括用於整數倍降低取樣拜耳RGB資料（例如，2 X 2平均 化、4x4平均化等等）之邏輯852，且經整數倍降低取樣之 拜耳RGB資料853可使用3x3濾波器854予以濾波以產生經 整數倍降低取樣之拜耳RGB資料的經濾波輸出855。本實 施例提供16個統計視窗。在原始圖框邊界處，針對AF統計 邏輯841之濾波器而複製邊緣像素。下文更詳細地描述af 159040.doc •165- 201225631 統計邏輯841之各種組件。 首先，水平邊緣偵測程序包括針對每一色彩分量（R、 Gr、Gb、B)應用水平濾波器843，繼之以對每一色彩分量 應用可選邊緣偵測器844。因此，取決於成像條件，此組 態允許AF統計邏輯841設置為無邊緣偵測（例如，邊緣偵測 器停用）之高通濾波器，或者，設置為繼之以邊緣偵測器 (例如，邊緣偵測器啟用）的低通濾波器。舉例而言，在低 光條件下，水平濾波器843可能更易受雜訊影響，且因 此，邏輯841可將水平濾波器組態為繼之以啟用之邊緣偵 測器844的低通濾波器。如圖所示，控制信號848可啟用或 停用邊緣偵測器844。來自不同色彩通道的統計用以判定 聚焦方向以改良清晰度，此係因為不同色彩可以不同深度 聚焦。洋§之’ AF統s十邏輯841可提供用以使用粗略與精 細調整之組合（例如’至透鏡之焦距）來啟用自動聚焦控制 的技術。下文另外詳細地描述此等技術之實施例。 在一實施例中，水平濾波器可為7分接頭濾波器，且可 在方程式41及42中定義如下： 〇ut(i)=(af_horzfilt_coefifI〇]*(in(i-3)+in(i+3))+af_horzfilt_coeffIl] *(in(i-2)+in(i+2))+ (41) af_horzfilt_coefi[2]*(m(i-l)+in(i+l))+af_horzfilt_coeff[3]*in(i)) out(i)=max(-255, min(255, 〇ut(i))) (42) 此處，每一係數 af_horzfilt_coeff[〇:3]可在範圍[-2，2] 中，且i表示R、Gr、Gb或B之輸入像素索引。可在分別 為-255及255之最小值與最大值之間裁剪經濾波輸出out(i)(方 • 166 · 159040.doc 201225631 程式42)。可每色彩分量獨立地定義濾波器係數。 可選之邊緣偵測器844可遵循水平濾波器843之輸出。在 一實施例中，邊緣偵測器844可定義為： edge(i)=abs(-2*out(i-l)+2*out(i+l))+abs(-out(i-2)+out(i+2)) (43) edge(i)=max(0, min(255, edge(i))) (44) 因此，邊緣偵測器844在啟用時可基於當前輸入像素i之每 一侧上的兩個像素而輸出一值，如藉由方程式43所描繪。 可將結果裁剪至介於0與255之間的8位元值，如方程式44 所示。 取決於是否偵測邊緣，像素濾波器（例如，濾波器843及 偵測器844)之最終輸出可選擇為水平濾波器843之輸出抑 或邊緣偵測器844之輸出。舉例而言，如方程式45所示， 若偵測邊緣，則邊緣偵測器844之輸出849可為edge(i)，或 若未偵測邊緣，則邊緣偵測器844之輸出849可為水平濾波 器輸出out⑴的絕對值。 edge(i)=(af_horzfilt_edge—detected) ? edge(i): abs(out(i)) (45) 針對每一視窗，累積值edge_sum[R，Gr，Gb, B]可選擇為 (1)遍及視窗之每一像素之edge(j,i)的總和，抑或（2)遍及視 窗中之線所求和的在視窗中跨越一線之edge(i)的最大值 max(edge)。在假設4096x4096個像素之原始圖框大小的情 況下，儲存edge_sum[R，Gr，Gb，B]之最大值所需的位元之 數目為30個位元（例如，每像素8個位元，加上覆蓋整個原 159040.doc •167· 201225631 始影像圖框之視窗的22個位元）。 如所論述，用於camY明度之3x3濾波器847可包括應用 於camY的兩個可程式化3x3濾波器（被稱為F0及F1)。濾波 器847之結果轉至平方函數抑或絕對值函數。該結果係針 對兩個3x3濾波器F0及F1遍及給定AF視窗而累積，以產生 明度邊緣值。在一實施例中，在每一 camY像素處之明度 邊緣值定義如下： edgecamY_FX(j ,i)=FX* camY (46) = FX(0,0)*camY(j-l, i-l)+FX(0,l)*camY〇-ls i)+FX(0,2)*camY〇-l, i+1) + FX(l,0)*camY〇, i-l)+FX(l,l)*camY 〇, i)+FX( 1,2)*camY 〇s i+1) + FX(2,0)*camYa+l, i-l)+FX(2,l)*camY(j+l, i)+FX(2,2)*camY 〇+l, i+1) edgecamY_FX(j,i)=f(max(-255, min(255, edgecamY_FX(j,i)))) (47) f(a)=aA2 或 abs ⑷ 其中FX表示3x3可程式化濾波器F0及FI，其中有正負號係 數在範圍[-4, 4]中。索引j及i表示camY影像中之像素位 置。如上文所論述，對camY之濾波器可提供粗略解析度 統計，此係因為camY係使用按比例縮小（例如’ 4x4至1)之 拜耳RGB資料而導出。舉例而言，在一實施例中，濾波器 F0及F1可使用Scharr運算子予以設定，Scharr運算子提供 優於Sobel運算子的改良之旋轉對稱，下文展示其一實 例： '-3 0 3" -3 -10 -3' ^0 = -10 0 10 Fl = 0 0 0 -3 0 3 _ 3 10 3 _ 159040.doc • 168 - 201225631 針對每一視窗，藉由濾波器847判定之累積值850 (edgecamY—FX—sum(其中fx=FO及F1))可選擇為（1)遍及視 窗之每一像素之edgecamY_FX(j，i)的總和，抑或（2)遍及視 窗中之線所求和的在視窗中跨越一線之edgecamY_FX(j)的 最大值。在一實施例中，當f(a)設定為a^2以提供具有較精 細解析度之「較尖峰的」（peakier)統計時，edgecamY _FX_Sum可飽和至32位元值。為了避免飽和，可設定原始 圖框像素中之最大視窗大小χ*γ，使得其不超過總共 1024x1 024個像素（例如’亦即，Χ*Υ <= 1048576個像 素）°如上文所提及’ f(a)亦可設定為絕對值以提供更線性 的統計。 對拜耳Y之AF 3x3濾波器846可以與camY中之3x3濾波器 類似的方式予以定義，但其應用於自拜耳四元組（2χ2個像 素）所產生的明度值γ。首先，將8位元拜耳尺(}8值轉換至 Υ(其中可程式化係數在範圍[〇，4]中）以產生經白平衡之Υ 值，如下文在方程式48中所示： bayerY=max(05 min (255, bayerY_CoeflF[0]*R+bayerY Coeff [l]*(GrfGb)/2+ (48) _ bayerY_Coeflf[2]*B)) 如同用於camY之濾波器847，用於BayerY明度之3χ3濾 波器846可包括應用於BayerY的兩個彳程式化濾波器 (被稱為F0及F1)。渡波器846之結果轉至平方函數抑或絕 對值函數。該結果係針對兩個3χ3滤波器及Η遍及給定 視®而累積，以產生明度邊緣值。在一實施例中，在每 一 bayerY像素處之明度邊緣值定義如下： 159040.doc 201225631 edgebayerY_FX(j ,i)=FX*bayerY (49) =FX(0,0)*bayerY (j-1, i-l)+FX(0,l)*bayerY (j-1, i)+FX(0,2)*bayerY (j-1, i) + FX(l,0)*bayerY 〇, i-l)+FX(l,l)*bayerY (j, i)+FX(l,2)*bayerY 〇-l, i) + FX(2,0)*bayerY (j+1, i-l)+FX(2,l)*bayerY (j+1, i)+FX(2,2)*bayerY (j+1, i) edgebayerY_FX(j ,i) =f(max(-255, min(255, edgebayerY_FX(j,i)))) (50) f(a) =aA2 或 abs ⑻ 其中FX表示3x3可程式化濾波器F0及FI，其中有正負號係 數在範圍[-4, 4]中。索弓|j及i表示bayerY影像中之像素位 置。如上文所論述’對拜耳Y之濾波器可提供精細解析度 統計，此係因為藉由AF邏輯841接收之拜耳RGB信號未被 整數倍降低取樣。僅藉由實例’可使用以下濾波器組態中 之一者來設定濾波器邏輯846的濾波器F0及F1 : -6 10 6 10 0 -10 6 -10 -6
〇 -10' -12 0 〇 0 〇 針對每一視窗’藉由濾波器846判定之累積值 851(edgebayerY _FX_sum(其中 FX=F0 及 F1))可選擇為⑴遍 及視窗之每一像素之edgebayerY-FX(j，i)的總和’抑或（2) 遍及視窗中之線所求和的在視窗中跨越一線之edgebayerY_ FX⑴的最大值。此處’當f(a)設定為aA2時，edgebayerY_ FX sum可飽和至32位元。因此’為了避免飽和’應設定 原始圖框像素中之最大視窗大小X*Y ’使得其不超過總共 •170- 159040.doc 201225631 512><512個像素（例如，又*丫<=262144)。如上文所論述，將 f(a)設定為aA2可提供較尖峰的統計，而將f(a)設定為abs(a) 可提供更線性的統計。 如上文所論述，針對16個視窗收集AF之統計842。該等 視窗可為任何矩形區域，其中每一尺寸為4個像素之倍 數。因為每一濾波邏輯846及847包括兩個濾波器，所以在 一些例子中，一濾波器可用於遍及4個像素之正規化，且 可經組態以在垂直及水平方向兩者上滤波。此外，在一些 實施例中，AF邏輯841可藉由亮度來正規化AF統計。此可 藉由將邏輯區塊846及847之濾波器中之一或多者設定為旁 通濾波器而實現。在某些實施例中，視窗之位置可限於4 個像素之倍數，且視窗被准許重疊。舉例而言，一視窗可 用以獲取正規化值，而另一視窗可用於額外統計（諸如， 方差），如下文所論述。在一實施例中，AF濾波器（例如， 843、846、847)可能不在影像圖框之邊緣處實施像素複 製，且因此，為了使AF濾波器使用所有有效像素，可設定 AF視窗，使得其各自為來自圖框之頂部邊緣的至少4個像 素、來自圖框之底部邊緣的至少8個像素，及來自圖框之 左側/右側邊緣的至少12個像素。在所說明之實施例中， 可針對每一視窗收集及報告以下統計： 用於Gr之32位元edgeGr_sum 用於R之32位元edgeR_sum 用於B之32位元edgeB_sum 用於Gb之32位元edgeGb_sum 159040.doc -171 - 201225631 用於來自filterO(FO)之拜耳之Y的32位元edgebayerY_FO_sum 用於來自filterl(Fl)之拜耳之Y的32位元edgebayerY_Fl_sum 用於 filterO(FO)之 camY 的 32 位元 edgecamY_FO_sum 用於 filterl(Fl)之 camY 的 32 位元 edgecamY_Fl_sum 在此實施例中，儲存AF統計842所需的記憶體可為ι6(視 窗）乘以 8(Gr、R、B、Gb、bayerY_F0、bayerY 、 camY_F0、camY_Fl)乘以 32個位元。 因此，在一實施例中，每視窗之累積值可在以下各者之 間選擇：濾波器之輸出（其可組態為預設設定）、輪入像 素，或輸入像素平方。該選擇可針對16個AF視窗中之每— 者而進行，且可應用於給定視窗中的所有8個AF統計（上文 所列出）。此可用以正規化兩個重疊視窗之間的AF刻痕， 該兩個重疊視窗中之一者經組態以收集濾波器之輪出，且 其中之一者經組態以收集輸入像素總和。另外，為了在兩 個重疊視窗的狀況下計算像素方差，一視窗可經組態以收 集輸入像素總和，且另一視窗可經組態以收集輸入像素平 方總和，由此提供可計算為以下方程式的方差： Variance=(avg_pixel2)-(avg_pixel)A2 在使用AF統計的情況下，ISP控制邏輯84(圖7)可經組態 以基於粗略及精細自動聚焦「刻痕」而使用一系列焦距調 整來調整影像裝置（例如，30)之透鏡的焦距，以使影像聚 焦》如上文所論述，用於camY之3x3濾波器847可提供粗 略統計，而水平濾波器843及邊緣偵測器844可每色彩分量 提供比較精細的統計，而對BayerY之3x3濾波器846可提供 159040.doc -172- 201225631 對BayerY的精細統計。此外，對經整數倍降低取樣之拜耳 RGB信號853的3x3濾波器854可針對每一色彩通道提供粗 略統计。如下文進一步論述，可基於特定輸入信號之濾波 器輸出值（例如，用於camY、BayerY、經整數倍降低取樣 之拜耳RGB之濾波器輸出F〇&F1的總和，或基於水平/邊 緣偵測器輸出，等等）而計算AF刻痕。 圖92展不分別描繪表示粗略及精細AF刻痕之曲線858及 860的曲線圖856。如圖所示，基於粗略統計之粗略八1?刻痕 • 可跨越透鏡之焦距具有更線性的回應。因此，在任何焦點 位置處，透鏡移動可產生可用以偵測影像變得更聚焦抑或 離焦的自動聚焦刻痕之改變。舉例而言，在透鏡調整之後 粗略AF刻痕之增大可指示：焦距係在正確方向上（例如， 朝向光學焦點位置）被調整。 然而，隨著接近光學焦點位置，用於較小透鏡調整步進 的粗略AF刻痕之改變可減小，從而使得難以辨別焦點調整 的正確方向。舉例而言，如曲線圖856上所示，在粗略位 置（CP)CPl與CP2之間的粗略AF刻痕之改變係藉由△⑴表 不，其展示自CP1至CP2的粗略之增大。然而，如圖所 示’自CP3至CP4,儘管粗略^刻痕之改變^4(其通過最 佳焦點位置（OFP))仍增大，但其相對較小。應理解，沿著 焦距L之位置CP1_CP6並不意謂必要地對應於藉由自動聚 焦邏輯沿著焦距所採取的步長。亦即，可存在未圖示之在 每-粗略位置之間所採取的額外步&。所說明之位置CM· CP6僅意謂展示粗略AF刻痕之改變可隨著焦點位置接近 159040.doc -173· 201225631 OFP而逐漸減小的方式。 一旦判定OFP之近似位置（例如’基於圖92所示之粗略 AF刻痕，〇FP之近似位置可在CP3與CP5之間），隨即可評 估藉由曲線860表示之精細AF刻痕值以改進焦點位置。舉 例而言’當影像離焦時，精細AF刻痕可較平坦，使得大透 鏡位置改變不會引起精細AF刻痕之大改變。然而，隨著集 點位置接近光學焦點位置（OFP)，精細AF刻痕可在小位置 調整之情況下清晰地改變。因此，藉由在精細af刻痕曲線 860上定位峰值或頂點862，可針對當前影像場景判定 OFP。因此，總而言之，粗略AF刻痕可用以判定光學焦點 位置之大體附近，而精細AF刻痕可用以查明該附近内更確 切的位置。 在一實施例中，自動聚焦程序可藉由沿著在位置〇處開 始且在位置L處結束（展示於曲線圖856上）之整個可用焦距 獲取粗略AF刻痕而開始，且判定在各種步進位置（例如， CP1-CP6)處的粗略Af刻痕。在一實施例中，一旦透鏡之 焦點位置已到達位置L，隨即可在評估各種焦點位置處之 AF刻痕之刚將該位置重設為〇。舉例而言，此可歸因於控 制焦點位置之機械元件的線圈穩定時間。在此實施例中， 在重設為位置〇之後，焦點位置可朝向位置L·調整至首先指 示粗略AF刻痕之負改變的位置，此處，位置cp5相對於位 置CP4展現負改變Δ(：45 ^自位置cp5，焦點位置可在朝向位 置〇之方向上返回時以相對於粗略AF刻痕調整中所使用之 增量較小的增量（例如，位置Fpi、fp2、FP3等等）予以調 159040.doc •174· 201225631 整’同時搜尋精細AF刻痕曲線860中的峰值862。如上文所 論述，對應於精細AF刻痕曲線860中之峰值862的焦點位置 OFP可為當前影像場景的最佳焦點位置。 應瞭解’在AF刻痕之曲線858及860中之改變經分析以 疋位OFP的意義上，上文所描述之用於定位聚焦之最佳區 域及最佳位置的技術可被稱為「爬山法」（hU1 climbing)。 此外，儘管粗略AF刻痕（曲線858)及精細AF刻痕（曲線86〇) 之分析被展示為使用相同大小之步進用於粗略刻痕分析 (例如，CP1與CP2之間的距離）且使用相同大小之步進用於 精細刻痕分析（例如，FP1與FP2之間的距離），但在一些實 施例中’步長可取決於刻痕自一位置至下一位置的改變而 變化。舉例而言，在一實施例中，CP3與cp4之間的步長 可相對於CP 1與CP2之間的步長而減少，此係因為粗略AF 刻痕中之總差量（〜34)小於自CP1至CP2的差量（AC12)。 在圖93中說明描繪此程序之方法864。始於區塊865，沿 著自位置0至位置L(圖92)之焦距針對在各種步進處之影像 資料判定粗略AF刻痕。此後，在區塊866處，分析粗略AF 刻痕，且將展現粗略af刻痕之第一負改變的粗略位置識別 為用於精細AF刻痕分析的開始點。舉例而言，隨後，在區 塊867處，使焦點位置以較小步進返回朝向初始位置〇而步 進’其中分析在每一步進處之精細AF刻痕，直至定位af 刻痕曲線（例如，圖92之曲線860)中的峰值為止。在區塊 868處’將對應於峰值之焦點位置設定為當前影像場景的 最佳焦點位置。 159040.doc -175- 201225631 如上文所論述’歸因於機械線圈穩定時間，圖93所示之 技術的實施例可經調適以最初沿著整個焦距獲取粗略AF刻 痕’而非逐個分析每一粗略位置及搜尋最佳聚焦區域。然 而’線圈穩定時間較不重要之其他實施例可以每一步進逐 個分析粗略AF刻痕，而非搜尋整個焦距。 在某些實施例中，可使用自拜耳RGB資料所導出之經白 平衡明度值來判定AF刻痕。舉例而言，可藉由以因子2整 數倍降低取樣2x2拜耳四元組（如圖94所示）或藉由以因子4 整數倍降低取樣由四個2x2拜耳四元組組成的4x4像素區塊 (如圖95所示）而導出明度值Y。在一實施例中，可使用梯 度來判定AF刻痕《在另一實施例中，可藉由使用以“打運 算子（其提供旋轉對稱）來應用3x3變換同時最小化傅立葉 域中之加權均方角誤差而判定AF刻痕。藉由實例，下文展 不使用共同Scharr運算子（上文所論述）的對camY之粗略AF 刻痕之計算： AFScore, -3 0 3 一10 0 10
X//I 0 -10 -3]" 0 0 xin , 10 3 其中h表示經整數倍降低取樣之明度¥值。在其他實施例 中，可使用其他3 x3變換來計算粗略及精細統計兩者之AF 刻痕。 亦可取決於色彩分量而不同地執行自動聚焦調整，此係 因為光之不同波長可受透鏡不同地影響，其為水平渡波器 843獨立地應用於每一色彩分量的一原因。因此，甚至在 159040.doc -176- 201225631 透鏡中存在色像差的情況下，仍可執行自動聚焦。舉例而 吕，因為在存在色像差時紅色及藍色通常相對於綠色以不 同位置或距離而聚焦，所以每一色彩之相對AF刻痕可用以 判定聚焦方向。此在圖65中得以更好地說明，圖96展示透 鏡870之藍色、紅色及綠色通道的最佳焦點位置。如圖所 示，紅色、綠色及藍色之最佳焦點位置係分別藉由參考字 母R、G及B描繪，每一參考字母對應於一 AF刻痕其具有 當刖焦點位置872。通常，在此組態中，將最佳聚焦位置 選擇為對應於綠色色彩分量之最佳焦點位置的位置（此處 為位置G)可為合乎需要的（例如，因為拜耳RGB具有為紅 色或藍色色彩分量之兩倍的綠色色彩分量）。因此，可預 期，針對最佳焦點位置，綠色通道應展現最高的自動聚焦 刻痕。因此，基於每一色彩之最佳焦點位置的位置（其中 較接近於透鏡之位置具有較高入？刻痕），AF邏輯841及相 關聯之控制邏輯84可基於藍色、綠色及紅色之相對af刻痕 來判定聚焦方向。舉例而言，若藍色通道相對於綠色通道 具有較高AF刻痕（如圖96所示），則在不必在自當前位置 872之正方向上首先分析的情況下在負方向上(朝向影像感 測器)調整焦點位置。在一些實施例中，可執行使用色彩 相關溫度（CCT)的照明體偵測或分析。 此外’如上文所提及，亦可使用方差刻痕。舉例而言， 像素總和及像素平方總和值可針對區塊A小⑽如， 32x32個像素）而累積，且可用以導出m痕⑽如， (aVg_pixel2Havg_pixel)A2)。方差可經求和以針對每一視 159040.doc -177- 201225631 ®传至】、.悤方差刻痕。較小區塊大小可用以獲得精細方差刻 痕’且較大區塊大小可用以獲得較粗略方差刻痕。 八參考圖82之3A'统计邏輯742 ’邏輯742亦可經組態以收集 分量直方圖874及876。應瞭解，直方圖可用以分析影像中 之像素位準分佈。此針對實施某些功能(諸如，直方圖等 化）可為有用的，其中直方圖資料用以判定直方圖規範（直 方圖匹配）。藉由實例，明度直方圖可用於AE(例如，用於
調整/設定感測器積分時間），且色彩直方圖可用於AWL 在本實施财，直方圖針對每—色彩分量可為W、128、 64或32個分格(其中像素之頂部8、7、⑷個位元分別用 以判定分格），如藉由分格大小（_叫所指I舉例而 言，當像素資料為14位元時，介於〇至6之間的額外按比例 縮放因子及位移可經指定以判定像素資料之哪—範圍（例 如，哪8個位元)經收集以用於統計目的。可如下獲得分格 數目： idx=((pixel-hist_〇ffset)»(6-hist_scale) 在一實施例中，僅在分格索引係在範圍[〇，2λ(8_ BinSize)]中時，才累加色彩直方圖分格： if (idx >= 0 && idx<2^(8-BinSize))
StatsHist[idx] += Count; 在本實施例中，統計處理單元142可包括兩個直方圖單 元。此第一直方圖874(HiSt0)可經組態以在4χ4整數倍降低 取樣之後收集像素資料作為統計收集的部分。針對 可使用選擇電路880而將分量選擇為RGB、 A Ό 1 i n p a r ' 159040.doc •178· 201225631 sRGB或YC1C2。第一直方圖876(Histl)可經組態以在統計 管線之前（在有缺陷像素校正邏輯738之前）收集像素資料， 如圖96更詳細地所示。舉例而言，可藉由跳過像素而使用 邏輯882來整數倍降低取樣原始拜耳rgB資料（自146所輸 出）（以產生信號878)，如下文進一步論述。針對綠色通 道，可在Gr、Gb或Gr及Gb兩者（Gr及Gb計數皆在綠色分格 中累積）之間選擇色彩。 為了使直方圖分格寬度在該兩個直方圖之間保持相同， Histl可經組態以每隔4個像素（每隔一個拜耳四元組）收集 像素資料。直方圖視窗之開始判定直方圖開始累積之第一 拜耳四元組位置。始於此位置，針對HistbX平地及垂直地 跳過每隔一個拜耳四元組。視窗開始位置可為Histl之任何 像素位置，且因此’可藉由改變開始視窗位置來選擇藉由 直方圖計算跳過的像素。Histl可用以收集資料（藉由圖97 中之884表示），其接近於黑階以辅助區塊739處的動態黑 階補償。因此’儘管在圖97中展示為與3A統計邏輯742分 離以用於說明性目的，但應理解，直方圖876可實際上為 寫入至記憶體之統計的部分，且可實際上實體上位於統計 處理單元142内。 在本實施例中，紅色（r)及藍色（Β)分格可為2〇位元，其 中綠色（G)分格為21位元（綠色更大以適應Histi中之Gr及Gb 累積）。此允許4160乘3120個像素（12 MP)之最大圖片大 小。所需之内部記憶體大小為3x256x200)個位元（3個色彩 分量、256個分格）。 159040.doc •179· 201225631 關於記憶體格式，AWB/AE視窗、AF視窗、2〇色彩直方 圖及分量直方圖的統計可映射至暫存器以允許藉由韌體之 早期存取。在-實施例中，兩個記憶體指標可用以將統計 寫入至記憶體，-個記憶體指標用於發光塊統計⑹，且 一個記憶體指標用於明度列總和859，繼之以用於所有其 他所收集統計。所有統計寫入至外部記憶體，該外部記憶 體可為DMA記憶體。記憶體位址暫存器可為雙重緩衝的， 使知可對母一圖框指定記憶體中的新位置。 在繼續進行自ISP前端邏輯80下游之ISP管道邏輯82之詳 細論述之前，應理解，統計處理單元142及144中各種功能 邏輯區塊（例如’邏輯區塊738、739、740、741及742)以及 ISP前端像素處理單元150中各種功能邏輯區塊（例如，邏 輯區塊650及652)之配置意欲說明本發明技術之僅一個實 施例。實際上，在其他實施例中，本文所說明之邏輯區塊 可以不同排序進行配置，或可包括可執行本文並未特定地 描述之額外影像處理功能的額外邏輯區塊。此外，應理 解，在統計處理單元（例如，142及144)中所執行之影像處 理知作（諸如’透鏡遮光校正、有缺陷像素彳貞測/校正及蓴 階補償）執行於統計處理單元内以用於收集統計資料之目 的。因此，對藉由統計處理單元接收之影像資料所執行的 處理操作實際上未反映於自ISP前端像素處理邏輯150輸出 且轉遞至ISP管道處理邏輯82之影像信號109(FEProcOut) 中。 在繼續之前’亦應注意，在足夠處理時間及在本文所描 159040.doc •180- 201225631 述之各種操作之處理 下，有可能重新組態本二::求之間的類似性的情況 少整體硬體2 應理解，此情形可進-步減 :整體硬體實施成本’而且亦可增大至外 (例如，以快取/儲存中間結果/資料)。 頻寬 ISP管線（「管道」）處理邏輯
已在上文詳細地描述了 lsp前端邏㈣，本論述現將會 將焦點移至ISP管道處理邏輯82。通常，isp管道邏輯η之 ^月b係接收原始影像資料（其可自Bp前端邏輯⑼提供或自 己隐體1〇8揭取及執行額外影像處理操作（亦即，在將影 像資料輸出至顯示裝置28之前）。 在圖98中描繪展示Isp管道邏輯82之一實施例的方塊 圖。如所說明’ ISP管道邏輯82可包括原始處理邏輯9〇〇、 GB處理邏輯9〇2及YCbCr處理邏輯904。原始處理邏輯 900可執行各種影像處理操作，諸如有缺陷像素偵測及校 正、透鏡遮光校正、解馬赛克，以及施加用於自動白平衡 之增益及/或設定黑階，如下文將進一步論述。如本實施 例所示’至原始處理邏輯9〇〇之輸入信號908可為來自ISP 前端邏輯80之原始像素輸出1〇9(信號FEProcOut)或來自記 憶體108的原始像素資料112，此取決於選擇邏輯906的當 前组態。 由於執行於原始處理邏輯900内之解馬赛克操作，影像 信號輸出910可處於RGB域中，且可隨後轉遞至RGB處理 邏輯902。舉例而言，如圖98所示，RGB處理邏輯902接收 159040.doc • 181 - 201225631 信號916，信號916可為來自記憶體1〇8之輸出信號91〇或 RGB影像信號912，此取決於選擇邏輯914的當前組態。 RGB處理邏輯902可提供各種RGB色彩調整操作，包括色 彩校正（例如，使用色彩校正矩陣）、用於自動白平衡之色 彩增益的施加，以及全域色調映射，如下文將進一步論 述。RGB處理邏輯904亦可提供RGB影像資料至YCb(：r(明 度/色度）色彩空間之色彩空間轉換。因此，影像信號輸出 918可處於YCbCr域中，且可隨後轉遞至丫“^處理邏輯 904 〇 舉例而言，如圖98所示，YCbCr處理邏輯9〇4接收信號 924，信號924可為來自RGB處理邏輯902之輸出信號918或 來自記憶體108的YCbCr信號920，此取決於選擇邏輯922 的當前組態。如下文將更詳細地論述，丫“心處理邏輯 904可在YCbCr色彩空間中提供影像處理操作，包括按比 例縮放，色度抑制’明度清晰化，亮度、對比度及色彩 (BCC)調整，YCbCr伽瑪映射，色度整數倍降低取樣等 等。YCbCr處理邏輯904之影像信號輸出926可發送至記憶 體108，或可自ISP管道處理邏輯82輸出為影像信號114(圖 7)。接下來’根據圖7所描'纟會之影像處理電路32的實施 例’影像信號114可發送至顯示裝置28(直接抑或經由記憶 體108)以供使用者檢視’或可使用壓縮引擎（例如，編碼器 118)、CPU/GPU、圖形引擎或其類似者進一步處理。另 外’在ISP後端單元120係包括於影像處理電路32中（例 如，圖8)之實施例中，影像信號114可發送至ISP後端處理 159040.doc -182. 201225631 邏輯120以供額外的下游後處理。 根據本發明技術之實施例，ISP管道邏輯82可支援呈8位 元、10位元、12位元或14位元之原始像素資料的處理。舉 例而言，在一實施例中，8位元、10位元或12位元輸入資 料可在原始處理邏輯900之輸入端處轉換為14位元，且原 始處理及RGB處理操作可以14位元精確度執行。在後面的 實施例中，14位元影像資料可在RGB資料轉換至YCbCr色 彩空間之前降取樣至10位元，且YCbCr處理（邏輯904)可以 10位元精確度執行。 為了提供藉由ISP管道處理邏輯82所提供之各種功能的 全面描述，下文將依序地論述原始處理邏輯900、RGB處 理邏輯902及YCbCr處理邏輯904，以及用於執行可在邏輯 900、902及904之每一各別單元中實施的各種影像處理操 作之内部邏輯中的每一者，以原始處理邏輯900開始。舉 例而言，現參看圖99，根據本發明技術之一實施例，說明 展示原始處理邏輯900之一實施例之更詳細視圖的方塊 圖。如圖所示，原始處理邏輯900包括增益、位移及箝位 (GOC)邏輯930、有缺陷像素偵測/校正（DPDC)邏輯932、 雜訊減少邏輯934、透鏡遮光校正邏輯936、GOC邏輯938 及解馬赛克邏輯940。此外，儘管下文所論述之實例假設 使用具有該（等）影像感測器90之拜耳彩色濾光片陣列，但 應理解，本發明技術之其他實施例亦可利用不同類型的彩 色濾光片。 輸入信號908(其可為原始影像信號）首先藉由增益、位 159040.doc 183- 201225631 移及箝位（GOC)邏輯930接收。GOC邏輯930可相對於ISP前 端邏輯80之統計處理單元142的BLC邏輯739提供類似功能 且可以類似方式實施，如上文在圖68中所論述β舉例而 言’ GOC邏輯930可針對拜耳影像感測器之每一色彩分量 R、Β、Gr及Gb獨立地提供數位增益、位移及箝位（裁剪）。 特定言之，GOC邏輯930可執行自動白平衡或設定原始影 像資料之黑階。此外’在一些實施例中，G〇c邏輯93 0亦 可用以校正或補償在Gr色彩分量與Gb色彩分量之間的位 移0 在運算中，當前像素之輸入值首先位移有正負號之值且 乘以增益》此運算可使用上文之方程式丨丨所示之公式來執 行，其中X表示針對給定色彩分量R、B、Gr4Gb之輸入像 素值，0[c]表示針對當前色彩分量c的有正負號之16位元 位移，且G[c]表#色彩分量㈣增益值。可先前在統計處 理期間（例如，在isp前端區塊80中）判定G[c]的值。在一實 施例中增益G[c]可為具有2個整數位元及丨4個小數位元 之16位元無正負號數（例如，214浮點表示），且可藉由捨 位來施加增益G[十僅藉由實例，增益G⑷可具有介於〇至 4X之間的範圍。 來自方程式11之計算像素值γ(其包括增益G⑷及位 〇Μ)接著根據方㈣〗2裁剪至最小值及最大值範圍。如 文所論述，變數min⑷及max⑷可分別表示針對最小及 大輸出值的有正負號之16位元「裁剪值」。在_實施 中’ GOC邏輯93()亦可經組態以針對每—色彩分量維持 I59040.doc 201225631 別剪裁至高於及低於最大值及最小值範圍之像素之數 計數。 、 隨後，將GOC邏輯930之輸出轉遞至有缺陷像素偵測及 校正邏輯932 »如上文參看圖68(DPDC邏輯738)所論述， 有缺陷像素可歸於多個因素，且可包括「熱」（或洩漏）像 素、「卡點」像素及「無作用像素」，其中熱像素相對於無 缺陷像素展現高於正常的電荷洩漏，且由此可表現為亮於 無缺陷像素，且其中卡點像素表現為始終接通（例如，完 全充電）且由此表現為更亮的，而無作用像素表現為始終 斷開。因而’可能需要具枝夠穩固以識別且^址不同類 型之失效情形的像素偵測方案。特定言之，與前端DPDC 邏輯738(其可僅提供動態缺陷偵測/校正）相比，管道 邏輯932可提供固定或靜態缺陷㈣/校正、動態缺陷搞測/ 校正以及斑點移除。 根據當前所揭示之技術的實施例，藉由DpDC邏輯”之所 執行之有缺陷像素校正/偵測可針對每一色彩分量（例如， R、B、Gr及Gb)獨立地發生，且可包括用於偵測有缺陷像 素以及用於校正所偵測之有缺陷像素的各種操作。舉例而 °在實施例中，有缺陷像素偵測操作可提供靜態缺 陷動I、缺陷之偵測以及斑點之偵測，斑點可指代可存在 於成像感測器中的電干擾或雜訊（例如，光子雜訊）。藉由 類推，斑點可作為看上去隨機之雜訊假影而出現於影像 上，此類似於靜態缺陷可出現於顯示器（諸如，電視顯示 器）上的方式。此外，如上文所提及，在給定時間像素特 159040.doc 201225631 性化為有缺陷可取決於相鄰像素中之影像資料的意義上 動態缺陷校正被視為動態的。舉例而言，絲，终接通為最 大亮度的卡點像素之位置係在亮白色為主導之當前影像區 域中’則該卡點像素可能不會被視為有缺陷像素。相反 地，若卡點像素係在黑色或較暗之色彩為主導的當 區域中，則該卡fM象素可在藉由DPDC邏輯932處理期間識 別為有缺陷像素且相應地校正。 關於靜態缺陷偵測，比較每一像素之位置與靜態缺陷 表’該靜態缺陷表可儲存對應於已知為有缺陷之像素之位 置的資料。舉例而言，在一實施例辛，DpDc邏輯可監 視有缺陷像素之偵測（例如，使用計數器機構或暫存器）， 且若特定像素被觀測為重複地失效，則彼像素之位置儲存 至靜態缺陷表中。因此，在靜態缺陷偵測期間若判定當 前像素之位置係在靜態缺陷表中，則將當前像素識別為有 缺陷像素’且替換值得以判定且暫時儲存^在—實施例 中，替換值可為相同色彩分量之先前像素（基於掃描次序） 的值。替換值可用以在動態/斑點缺陷偵測及校正期間校 正靜態缺陷，如下文將論述，若先前像素係、在原始 圖框31G(圖23)外部，則並不使用其值，且可在動態缺陷校 正程序期間校正該靜態缺陷。此外’歸因於記憶體考慮因 素，靜態缺陷表可儲存有限數目個位置輸入項。舉例而 在實施例中，靜態缺陷表可實施為經組態以針對每 兩行影像資料儲存總共16個位置的1?11?〇佇列。然而，將使 用先前像素替換值（而非經由下文所論述之動態缺陷债測 159040.doc 201225631 程序）來校正在靜態缺陷表中所定義的位置。如上文所提 及，本發明技術之實施例亦可提供隨時間而間歇地更新靜 態缺陷表。 實施例可提供待實施於晶片上記憶體或晶片外記憶體中 的靜態缺陷表。應瞭解，使用晶片上實施可增大整體晶片 面積/大小，而使用晶片外實施可減少晶片面積/大小但 增大記憶體頻寬要求。因此，應理解，靜態缺陷表可取決 於特定實施要求（亦即，待儲存於靜態缺陷表内之像素的 總數目）而實施於晶片上抑或晶片外。 動態缺陷及斑點偵測程序可相對於上文所論述之靜態缺 陷偵測程序時間移位。舉例而言，在一實施例中，動態缺 陷及斑點偵測程序可在靜態缺陷偵測程序已分析兩個掃描 行（例如，列）之像素之後開始。應瞭解，此情形允許靜態 缺陷之識別及其各別替換值在動態/斑點偵測發生之前被 判疋。舉例而言，在動態/斑點偵測程序期間，若當前像 素先前被標記為靜態缺陷’則並非應用動態/斑點偵測操 作，而是使用先前所估定之替換值來簡單地校正靜態缺 陷。 關於動態缺陷及斑點偵測，此等程序可依序地或並行地 發生。藉由DPDC邏輯932所執行之動態缺陷及斑點偵測及 校正可依賴於使用像素至像素方向梯度的適應性邊緣偵 測。在一實施例中，DPDC:邏輯932可選擇當前像素之在原 始圖框310(圖23)内的具有相同色彩分量的八個緊鄰者。換 言之’當前像素及其八個緊鄰者p〇、P1、P2、p3、p4、 159040.doc •187- 201225631 P5、P6及P7可形成3x3區域，如下文在圖ι〇〇中所示。 然而，應注意，取決於當前像素ρ之位置，當計算像素 至像素梯度時並未考慮在原始圖框31〇外部的像素。舉例 而言，關於圖100所示之「左頂部」狀況942，當前像素ρ 係在原始圖框31〇之左頂部隅角，且因此，並未考慮在原 始圖框310之外部的相鄰像素P〇、P1、ρ2、Ρ3&ρ5，從而 僅留下像素Ρ4、Ρ6及Ρ7(Ν=3)。在「頂部」狀況944下當 前像素Ρ係在原始圖框310之最頂邊緣處，且因此，並未考 慮在原始圖框310之外部的相鄰像素ρ〇、ρι&ρ2，從而僅 留下像素Ρ3、Ρ4、Ρ5、Ρ6及Ρ7(Ν=5)。接下來，在「右頂 部」狀況946下，當前像素ρ係在原始圖框31〇之右頂部隅 角，且因此，並未考慮在原始圖框3 1〇之外部的相鄰像素 Ρ0、PI 、Ρ2、Ρ4 及 Ρ7 從而僅留下像素Ρ3、Ρ5及 Ρ6(Ν=3)。在「左側」狀況948下，當前像素ρ係在原始圖 框3 10之最左側邊緣處，且因此，並未考慮在原始圖框31〇 之外部的相鄰像素Ρ0、Ρ3及Ρ5，從而僅留下像素ρι、ρ: Ρ4、Ρ6及 Ρ7(Ν=5)。 在「中心j狀況950下，所有像素ρ〇_ρ7處於原始圖框 3 10内，且由此用於判定像素至像素梯度（Ν=8)。在「右 側」狀況952下，當前像素Ρ係在原始圖框31〇之最右側邊 緣處’且因此’並未考慮在原始圖框3丨〇之外部的相鄰像 素P2、P4及P7，從而僅留下像素p〇、pi、p3、p5及 P6(N=5)。另外，在「左底部」狀況954下，當前像素ρ係 在原始圖框310之左底部隅角，且因此，並未考慮在原始 159040.doc -188· 201225631 圖框3 10之外部的相鄰像素p〇、P3、P5、P6及P7，從而僅 留下像素PI、P2及P4(N=3)。在「底部」狀況956下，當前 像素P係在原始圖框310之最底邊緣處，且因此，並未考慮 在原始圖框310之外部的相鄰像素p5、P6及P7，從而僅留 下像素P0、PI、P2、P3及P4(N=5)。最終，在「右底部」 狀況958下，當前像素P係在原始圖框31〇之右底部隅角， 且因此’並未考慮在原始圖框31〇之外部的相鄰像素p2、 P4、P5、P6及P7 ’ 從而僅留下像素p〇、P1&P3(N=3)。
因此，取決於當前像素P之位置，在判定像素至像素梯 度時所使用之像素的數目可為3、5或8❶在所說明實施例 中’針對圖片邊界（例如，原始圖框31 〇)内之每一相鄰像素 (k=0至7)，像素至像素梯度可計算如下： ’ 〇^^7(僅針對原始圖框内之幻 (51) 另外’平均梯度Gav可計算為當前像素與其周圍像素之 平均值Pav之間的差’如藉由下文之方程式所示：
其中N=3、5或8(取決於像素位置) (52a) (52b)
Gm=abs(P-Pm) 可在判定動態缺陷狀況時使用像素至像素梯度值（方程式 51) ’且可在識別斑點狀況時使用相鄰像素之平均值（方程 式52a及52b)，如下文進一步論述。 在一實施例中，動態缺陷偵測可藉由DPDC邏輯932執行 如下。首先’假設’若某一數目個梯度（^處於或低於藉由 變數dynTh表示之特定臨限值（動態缺陷臨限值），則像素 159040.doc 201225631 有缺陷。因此，針對每—像素，累積處於或低於臨限值 dynTh之在圖片邊界内部的相鄰像素之梯度之數目的計數 (C)。臨限值dynTh可為固定臨限值分量與可取決於呈現周 圍像素之「活動」之動態臨限值分量的組合。舉例而古， 在-實施例中，dynTh之動態臨限值分量可藉由基於對平 均像素值Pav(方程式52a)與每—相鄰像素之間的絕對差求 和計算高頻分量值P4判定’如下文所說明： (52c) 在像素位於影像隅角處（N=3)或影像邊緣處…=5)之例子 中，Phf可分別乘以8/3或8/5。應瞭解，此情形確保高頻分 量Phf係基於八個相鄰像素（N=8)來正規化。 一旦判定Phf，隨即可如下文所示而計算動態缺陷偵測臨 限值dynTh : dynTh=dynTh丨+(dynTh2xPhf)， （53) 其中dynTh〗表示固定臨限值分量，且其中办叫表示動態 臨限值分量’且在方程式53中為Phf的乘數。可針對每一色 彩分量提供不同之固定臨限值分量dynThi，但針對相同色 彩之每一像素，dynTh為相同的。僅藉由實例，可設定 dynThl ’使得其至少高於影像中之雜訊的方差。 可基於影像之一些特性來判定動態臨限值分量dynTh2。 舉例而言，在一實施例中，可使用關於曝光及/或感測器 積分時間之所儲存經驗資料來判定dynTh2。經驗資料可在 影像感測器（例如，90)之校準期間被判定，且可使可針對 159040.doc 201225631 dynTh2所選擇之動態臨限值分量值與多個資料點中的每一 者相關聯。因此，基於當前曝光及/或感測器積分時間值 (其可在ISP前端邏輯8〇中之統計處理期間判定），可藉由自 所儲存經驗資料選擇對應於當前曝光及/或感測器積分時 間值之動態臨限值分量值來判定dynTh。另外，若當前曝 光及/或感測器積分時間值並不直接對應於經驗資料點中 之者則可藉由内插與當前曝光及/或感測器積分時間 值在其間下降之資料點相關聯的動態臨限值分量值來判定 dynTh2。此外，如同固定臨限值分量办以匕，動態臨限值 分量dynTh可針對每一色彩分量具有不同值。因此，複合 臨限值dynTh可針對每一色彩分量（例如，R、B、Gr、Gb) 而變化。 如上文所提及，針對每一像素，判定處於或低於臨限值 dynTh之在圖片邊界内部的相鄰像素之梯度之數目的計數 C。舉例而s，針對原始圖框3丨〇内之每一相鄰像素，處於 .或低於臨限值dynTh之梯度Gk的所累積計數c可計算如 下：
N C-Σ (^-<dynTh), (54) 〇^S7(僅針對原始圖框内之灸） 接下來，若所累積計數C被判定為小於或等於最大計數（藉 由變數dynMaxC所表示），則像素可被認為係動態缺陷。 在貫施例中，可針對N=3(隅角）、n=5(邊緣）及n=8情況 來提供dynMaxC的不同值。下文表達此邏輯： 159040.doc -191· 201225631 若（C^dynMaxC)，則當前像素p有缺陷。 （“） 如上文所提及，有缺陷像素之位置可儲存至靜態缺陷表 中。在-些實施例中’在當前像素之動態缺陷傾測期間所 計算的最小梯度值（min(Gk))可被儲存且可用以排序有缺陷 像素，使得較大之最小梯度值指示缺陷的較大「嚴重度」 且應在校正較不嚴重之缺陷之前在像素校正期間被校正。 在一實施例中，像素可能需要在儲存至靜態缺陷表中之前 在多個成像圖框之上處理（諸如，藉由隨時間而濾波有缺 陷像素的位置）。在後面的實施例中，僅在缺陷在相同位 置出現於特定數目個連續影像中時，可將有缺陷像素之位 置儲存至靜態缺陷表中。此外，在一些實施例中，靜態缺 陷表可經組態以基於最小梯度值來排序所儲存的有缺陷像 素位置。舉例而言，最高之最小梯度值可指示較大「嚴重 度」的缺陷。藉由以此方式排序位置，可設定靜態缺陷校 正之優先權’使得首先校正最嚴重或重要的缺陷。另外， 靜態缺陷表可隨時間而更新以包括新近偵測的靜態缺陷， 且基於其各別最小梯度值來相應地對其排序。 可與上文所描述之動態缺陷偵測程序並行發生的斑點偵 測可藉由判定值Gav(方程式52b)是否高於斑點偵測臨限值 SpkTh而執行。如同動態缺陷臨限值dynTh，斑點臨限值 SpkTh亦可包括固定及動態分量’分別由spkTh^spkTh2指 代。一般而言’與dynTh〗及dynTh2值相比可更「主動地」 设定固定及動態分量spkTh及spkTh2 ’以便避免錯課地偵 測在可經更重地紋理化的影像及其他（諸如，文字、植 159040.doc -192- 201225631 物、某些織物圖案等）之區域中的斑點。因此，在一實施 例中，動態斑點臨限值分量spkTh2可針對影像之高紋理區 域增大’且針對「較平坦」4更均一之區域減小。可如下 文所示而計算斑點偵測臨限值spkTh : spkTh=spkTh1+(spkTh2xPhf) . (56) 其中sPkThl表示固定臨限值分量，且其中咖叫表示動態 臨限值分量。可接著根據以下表達來判定斑點之摘測：
若（Gav>SpkTh)，則當前像素p為有斑點的 (57) -旦已識別有缺陷像素，DPDC邏輯932隨即可取決於所 偵測之缺陷的類型而應用像素校正操作。舉例而言若有 缺陷像素被識別為靜態缺陷’則該像素係藉由所儲存之替 換值替換’如上文所論述(例如’相同色彩分量之先前像 素的值）。若像素被識別為動態缺陷抑或斑點，則可如下
執行像素校正。首先，梯度被計算為在中 個方向（水平（h)方向、垂直（v)方向、對角 角負方向（dn))之第一及第二相鄰像素（例 的計算）之間的絕對差之總和，如下文所示 心像素與針對四 正方向（dp)及對 如，方程式51之 (58) (59) (60)
Gh~G 3 + G 4 Gv~G i + Ge Gdp = G2 + Gs Gdn = G〇+G7 接下來，可經由與具有最小值之方向性梯度Gh、Gv、
Gdp及Gdn相關聯的兩個相鄰像素之線性内插來判定校正像 素值Pc。舉例而言，在一實施例中 ’ 了文之邏輯敍述可表 159040.doc -193· 201225631 達Pc之計算： 若（ιηίη==(7Α) (62) 則4=兮^; 否則若（min==Gv) 否則若（min==GrfP) 則/>C=A^;; 否則若（min==Grf„) 則乓=1^·; 藉由DPDC邏輯932所實施之像素校正技術亦可提供在邊界 條件下之例外。舉例而言，若與所選擇之内插方向相關聯 之兩個相鄰像素中的一者係在原始圖框外部，則實情為取 代在原始圖框内之相鄰像素的值。因此，使用此技術，校 正像素值將等效於原始圖框内之相鄰像素的值。 應注意’藉由DPDC邏輯932在ISP管道處理期間所應用
之有缺陷像素偵測/校正技術與ISP前端邏輯8〇中的DpDC 邏輯738相比更穩固。如上文之實施例所論述，DpDC邏輯 738使用僅在水平方向上之相鄰像素僅執行.動態缺陷偵測 及校正，而DPDC邏輯932使用在水平及垂直方向兩者上之 相鄰像素提供靜態缺陷、動態缺陷以及斑點的偵測及校 正。 應瞭解，使用靜態缺陷表之有缺陷像素之位置的儲存可 k供具有較低之记憶體要求的有缺陷像素之時間淚波。舉 159040.doc -194- 201225631 Ή而-肖儲存全部影像且應用時間遽波以隨時間而識別 靜態缺陷的許多習知技術相比，本發明技術之實施例僅儲 存有缺陷像素的位置（其可通常使㈣存整個影像圖框所 需之記憶體的僅-分數來進行）。此外，如上文所論述， 最J梯度值（min(Gk))之儲存允許優先化校正有#陷像素之 位置次序（例如，以將最可見之彼等位置開始）的靜態缺陷 表之有效使用。 另卜匕括動態为量（例如，dynTh2及spkTh2)之臨限值 =使用可幫助減少錯誤缺_測，在處理影像（例如，文 子植物、某些織物圖案等）之高紋理區域時在習知影像 處理系統中常常遇到的問題。此外，用於像素校正之方向 !·生梯度（例如’ h、v、dp、dn)的使用可在錯誤缺陷侦測發 生時減少視覺假影之出現。舉例而言，在最小梯度方向上 濾波可產生仍在大多數狀況下（甚至在錯誤偵測之狀況下） 產生可接爻之結果的校正。另外，當前像素p在梯度計算 中之包括可改良梯度偵測之準確度（尤其在熱像素之狀況 下）。 藉由DPDC邏輯932所實施之上文所論述之有缺陷像素偵 測及校正技術可藉由圖1〇1至圖103中所提供的一系列流程 圖來概述。舉例而言，首先參看圖101，說明用於偵測靜 態缺陷之程序960。最初始於步驟962，在第一時間T〇處接 收輸入像素P。接下來，在步驟964處，比較像素P之位置 與儲存於靜態缺陷表中的值。決策邏輯966判定是否在靜 態缺陷表中找到像素p之位置。若P之位置係在靜態缺陷表 159040.doc -195- 201225631 中’則程序9罐續至步驟968，其中將像素p標記為靜離 缺陷且判定替換值4上文所論述，替換值可基於相同色 彩分量之先前像素（以掃描次序）的值來判^。程序_接 繼續至步驟97〇,在步驟97G處程序_繼續進行至圖ι〇2所 說明之動態及斑則貞測程序另外，若在決策邏輯_ 處，判定像素P之位置並不在靜態缺陷表中，則程序96〇繼 續進行至步驟970而不執行步驟968。 繼續至圖1〇2,在時間T1接收輸入像素p(如藉由步物 所示），以供處理以判定是否存在動態缺陷或斑點。時間 τι可表示相對於圖101之靜態缺陷偵測程序96〇的時間移 位。如上文所論述，動態缺陷及斑點偵測程序可在靜態缺 陷偵測程序已分析兩個掃描行（例如，列）之像素之後開 始，由此允許在動態/斑點偵測發生之前判定用於識別靜 態缺陷及其各別替換值的時間。 決策邏輯984判定是否先前將輸入像素p標記為靜態缺陷 (例如’藉由程序960之步驟968) ^若將P標記為靜態缺 陷，則程序980可繼續至圖1〇3所示之像素校正程序且可繞 過圖102所示之步驟的剩餘部分。若決策邏輯984判定輸入 像素P並非靜態缺陷’則程序繼續至步驟986，且識別可在 動態缺陷及斑點程序中使用的相鄰像素。舉例而言，根據 上文所論述且圖1 〇〇所說明之實施例，相鄰像素可包括像 素P之緊鄰的8個相鄰者（例如，P0-P7)，由此形成3x3像素 區域。接下來’在步驟988處，關於原始圖框310内之每一 相鄰像素計算像素至像素梯度，如上文之方程式51中所描 159040.doc • 196· 201225631 述。另外，平均梯度（Gav)可計算為當前像素與其周圍像素 之平均值之間的差，如方程式52a及52b所示。 程序980接著出現分支至用於動態缺陷偵測之步驟99〇及 用於斑點偵測之決策邏輯998。如上文所提及，在一些實 施例中，動態缺陷偵測及斑點偵測可並行地發生。在步驟 990處，判定小於或等於臨限值dynTh的梯度之數目的計數 c。如上文所描述，臨限值dynTh可包括固定及動態分量， 且在一實施例中可根據上文之方程式53來判定。若c小於 或等於最大計數dynMaxC，則程序980繼續至步驟996，且 將當前像素標記為動態缺陷。此後，程序98〇可繼續至圖 103所示之像素校正程序，下文將論述該像素校正程序。 在步驟988之後返回該分支，針對斑點偵測，決策邏輯 "8判疋平均梯度Gav是否大於斑點偵測臨限值spkTh，該 斑點偵測臨限值spkTh亦可包括固定及動態分量。若大 於臨限值spkTh，則在步驟1000處將像素p標記為含有斑 點’且此後，程序980繼續至圖103以用於有斑點像素的校 正。此外’若決策邏輯區塊992及998中之兩者的輸出為 否」’則此指示像素p不含有動態缺陷、斑點或甚至靜態 缺陷（決策邏輯984)。因此，當決策邏輯992及998之輸出皆 為「否」時’程序980可在步驟994處結束，藉以，像素p 未改變地通過’此係因為未偵測缺陷（例如，靜態、動態 或斑點）。 繼續至圖103,提供根據上文所描述之技術的像素校正 程序lou^在步驟1012處，自圖102之程序98〇接收輸入像 159040.doc -197- 201225631 素P。應注意，像素p可藉由程序1010自步驟984(靜態缺 陷）或自步驟996(動態缺陷）及1000(斑點缺陷）接收。決策 邏輯1014接著判定是否將像素!>標記為靜態缺陷。若像素p 為靜態缺陷，則程序1010繼續且在步驟1〇16處結束藉 以，使用在步驟968(圖101)處所判定之替換值來校正該靜 態缺陷。 若並未將像素P識別為靜態缺陷，則程序1〇1〇自決策邏 輯1014繼續至步驟1018，且計算方向性梯度。舉例而言， 如上文參考方程式58-61所論述，梯度可計算為中心像素 與針對四個方向（h、v、dp及dn)之第一及第二相鄰像素之 間的絕對差之總和。接下來，在步驟1〇2〇處，識別具有最 小值之方向性梯度，且此後，決策邏輯1〇22估定與最小梯 度相關聯之兩個相鄰像素中之一者是否位於影像圖框（例 如，原始圖框310)外部《若兩個相鄰像素係在影像圖框 内，則程序1010繼續至步驟1024，且藉由將線性内插應用 於該兩個相鄰像素的值而判定像素校正值（pc)，如藉由方 程式62所說明。此後，可使用内插像素校正值匕來校正輸 入像素P ’如在步驟1030處所示。 返回至決策邏輯1022，若判定該兩個相鄰像素中之一者 位於影像圖框（例如，原始圖框165)外部，則代替使用外部 像素（Pout)之值，DPDC邏輯932可藉由處於影像圖框内部 之另一相鄰像素（Pin)的值來取代P〇ut之值，如在步驟1〇26 處所示。此後，在步驟1028處，藉由内插pin之值及p〇ut2 取代值來判定像素校正值P(^換言之，在此狀況下，Pc可 159040.doc -198- 201225631 等效於Pin之值。在步驟1030處結束，使用值Pc來校正像 素P。在繼續之前，應理解，本文參考DPDC邏輯93 2所論 述之特定有缺陷像素偵測及校正程序意欲僅反映本發明技 術之一可能實施例。實際上，取決於設計及/或成本約 束，多個變化係可能的，且可添加或移除特.徵以使得缺陷 偵測/校正邏輯之整體複雜性及穩固性介於實施於lsp前端 區塊80中之較簡單的偵測/校正邏輯738與此處參考dpdc 邏輯932所論述的缺陷偵測/校正邏輯之間。
返回參看圖99，經校正之像素資料係自DpDC邏輯932輸 出，且接著藉由雜訊減少邏輯934接收以供進一步處理。 在一實施例中，雜訊減少邏輯934可經組態以實施二維邊 緣適應性低m以減少料資料巾之雜訊同時維持細 節及紋理。可基於當前照明位準來設定（例如，藉由控制 邏輯84)邊緣適應性臨限值，使得較可在低光條件下加 強。此外，如上文關於dynTh&spkTh值之判定簡要地提 及，可針對岐感測器提前判㈣訊方差使得可將雜訊減 少臨限值較為剛好高於雜訊方差，使得在雜訊減少處理 期間，在不顯著影響場景之紋理及細節（例如，避免/減少 的情況下減少雜訊。在假設拜耳彩色滤光片實 施的情況下’雜訊減少邏輯934可使用可分離之了分接頭水 -平滤波器及5分接頭m皮器獨立地處理每—色彩分量 Gr R B及Gb。在一實施例中，雜訊減少程序可 m量⑽及Gr)校正非均一性，且接著執行水平遽 波及垂直渡波而執行。 159040.doc 201225631 通常’在給定均一照明之平坦表面#情況下，綠色非均 一性（GNU)之特徵為&與Gb像素之間的梢微亮度差異。在 不校正或補償此非均__性之情況下，某些假影（諸如，「迷 呂」假影）可在解馬赛克之後出現於全色影像中。在綠色 非均一性程序期間可包括針對原始拜耳影像資料中之每一 綠色像素’判定在當前綠色像素（G1)與在當前像素之右側 及下方的綠色像素（G2)之間的絕對差是否小於GNu校正臨 限值（gnuTh)。圖i 04說明G1及G2像素在拜耳圖案之2χ2區 域中的位置。如圖所示，像素定界G1之色彩可取決於當前 綠色像素係Gb抑或Gr像素。舉例而言，若⑴係以，則G2 係Gb，在G1右側之像素為r(紅色），且在〇 1下方之像素為 B(藍色）。或者，若G1係Gb，則G2係Gr，且在G1右側之像 素為B，而在G1下方之像素為R。若G1與G2之間的絕對差 小於GNU校正臨限值，則藉*G1&G2之平均值來替換當 前綠色像素G1 ’如藉由下文之邏輯所示： 若（abs(Gl-G2)fgnuTh) ; |ij Gl = —+G2 2 應瞭解，以此方式應用綠色非均一性校正可幫助防止〇1及 G2像素跨越邊緣被平均化，由此改良及/或保持清晰度。 在綠色非均一性校正之後應用水平濾波，且水平濾波可 在一實施例中提供7分接頭水平濾波器。計算跨越每一濾 波器分接頭之邊緣的梯度，且若其高於水平邊緣臨限值 (horzTh)，則濾波器分接頭摺疊至中心像素，如下文將說 明。在某些實施例中，雜訊濾波可為邊緣適應性的。舉例 而言’水平濾波器可為有限脈衝回應（FIR)據波器，其中 159040.doc -200- 201225631 濾波器分接頭僅在中心像素與分接頭處之像素之間的差小 於取決於雜訊方差的臨限值時使用。水平濾波器可針對每 一色彩分量（R、B、Gr、Gb)獨立地處理影像資料，且可使 用未濾波值作為輸入值。 藉由實例，圖105展示一組水平像素P0至P6之圖形描 繪，其中中心分接頭位於P3處。基於圖105所示之像素， 每一濾波器分接頭之邊緣梯度可計算如下：
Eh0=abs(P0-Pl) (64) Ehl=abs(Pl-P2) (65) Eh2=abs(P2-P3) (66) Eh3=abs(P3-P4) (67) Eh4=abs(P4-P5) (68) Eh5=abs(P5-P6) (69) 邊緣梯度Eh0-Eh5可接著藉由水平濾波器組件利用來使用 下文在方程式70中所示之公式判定水平濾波輸出Ph()rz : ·
Phcz^O^ [(Eh2>horzTh[c]) ?P3 : (Ehl>hoizTh[c]) ?P2: (EhO>horzTh[c]) ? PI: P0] +
Cl x [(Eh2>horzTh[c]) ? P3 : (Ehl>horzTh[c]) ? P2 : PI] + C2>< [(Eh2>horzTh[c]) ? P3 : P2] + C3><P3 + (70) C4x [(Eh3>horzTh[c]) ? P3 : P4] + C5 x [(Eh3>horzTh[c]) ? P3 : (Eh4>horzTh[c]) ? P4 : P5] + C6x[(Eh3>horzTh[c]) ? P3 : (Eh4>horzTh[c]) ? P4 : (Eh5>horzTh[c]) ? P5 : P6]， 其中horzTh[c]為每一色彩分量c(例如，R、B、Gr及Gb)之 水平邊緣臨限值，且其中C0-C6分別為對應於像素P0-P6的 濾波器分接頭係數。水平濾波器輸出卩^^可施加於中心像 159040.doc -201 · 201225631 素p3位置處《在一實施例中，濾波器分接頭係數(：〇_(：6可 為具有3個整數位元及13個小數位元的16位元之2補數值 (浮點中之3.13)。此外，應注意，濾波器分接頭係數c〇_c6 不必相對於中心像素P3對稱。 在綠色非均一性校正及水平濾波程序之後，亦藉由雜訊 減少邏輯934應用垂直濾波。在一實施例中，垂直濾波器 操作可提供5分接頭濾波器，如圖106所示，其中垂直濾波 器之中心分接頭位於P2處。垂直濾波程序可以與上文所描 述之水平濾波程序類似的方式發生。舉例而言，計算跨越 每一濾波器分接頭之邊緣的梯度，且若其高於垂直邊緣臨 限值（vertTh) ’則滤波器分接頭指疊至中心像素p2。垂直 濾波器可針對每一色彩分量（R、B、Gr、Gb)獨立地處理影 像資料，且可使用未濾波值作為輸入值。 基於圖106所示之像素’每一濾波器分接頭之垂直邊緣 梯度可計算如下： Ev0=abs(P0-Pl) (71) Evl=abs(Pl_P2) (72) Ev2=abs(P2-P3) (73) Ev3=abs(P3-P4) (74) 邊緣梯度Ev0-Ev5可接著藉由垂直濾波器利用來使用下文 在方程式75中所示之公式判定垂直濾波輸出Pvp t :
V β ΓI
Pvert= C〇x [(Evl>vertTh[c]) ? P2 : (EvO>vertTh[c]) ? PI ： p〇] + C1x [(Evl>vertTh[c]) ? P2 : PI] + (75) C2xP2 + 159040.doc •202- 201225631 C3x[(Ev2>vertTh[c]) ? P2 : P3] + C4x[(Ev2>vertTh[c]) ? P2 : (Eh3>vertTh[c]) ? P3 : P4] > 其中vertTh[c]為每一色彩分量c(例如，r、b、Gr及Gb)之 垂直邊緣臨限值’且其中C0_C4分別為對應於圖l〇6之像素 p〇-P4的濾波器分接頭係數。垂直濾波器輸出Pvee施加於 中心像素P2位置處。在一實施例中，渡波器分接頭係數 C0-C4可為具有3個整數位元及13個小數位元的16位元之2 補數值（浮點中之3.13)。此外，應注意，濾波器分接頭係 數C0-C4不必相對於中心像素p2對稱。 另外，關於邊界條件，當相鄰像素係在原始圖框31〇(圖 23)之外部時’邊界外像素之值經複製，其中相同色彩像 素之值處於原始圖框的邊緣處。此慣例可針對水平及垂直 慮波操作兩者來實施。藉由實例，再次參看圖1 〇 5，在水 平濾波之狀況下，若像素P2為在原始圖框之最左側邊緣處 的邊緣像素’且像素卩〇及？1係在原始圖框外部，則藉由像 素P2之值來取代像素p0及^的值以用於水平濾波。 再次返回參看圖99所示之原始處理邏輯9〇〇的方塊圖， 雜訊減少邏輯934之輸出隨後發送至透鏡遮光校正（LSC)邏 輯936以供處理。如上文所論述，透鏡遮光校正技術可包 括以每像素為基礎來施加適當之增益以補償光強度之下降 (其可為透鏡之幾何光學的結果）、製造之不完美性、微透 鏡陣列及彩色陣列濾光片之對準不良，等等。此外，在一 些透鏡中之红外線（IR)濾光片可使得下降為照明體相依 的，且因此，可取決於所偵測之光源來調適透鏡遮光增 159040.doc •203 · 201225631 益。 在所描繪貫施例中，ISP管道82之LSC邏輯936可以與ISP 前端區塊80之LSC邏輯740類似的方式實施，且由此提供 大體上相同的功能’如上文參看圖71至圖79所論述。因 此’為了避免冗餘’應理解，當前所說明之實施例的L s c 邏輯936經組態而以與LSC邏輯740大體上相同的方式操 作’且因而’此處將不重複上文所提供之透鏡遮光校正技 術的描述。然而，為了大體上概述，應理解，LSC邏輯 936可獨立地處理原始像素資料串流之每一色彩分量以判 定施加至當前像素的增益。根據上文所論述之實施例，可 基於跨越成像圖框所分佈之一組所界定的增益柵格點來判 定透鏡遮光校正增益，其中在每一柵格點之間的間隔係藉 由多個像素（例如，8個像素、16個像素等）界定。若當前像 素之位置對應於栅格點，則與彼栅格點相關聯的增益值施 加至當前像素。然而，若當前像素之位置係在柵格點（例 如，圖74之G0、G1、G2AG3)之間，則可藉由柵格點（當 前像素位於其間）之内插來計算LSC增益值（方程式13&及 13b)。此程序係藉由圖75之程序772來描繪。此外，如上 文關於圖73所提及’在一些實施例中，柵格點可不均勻地 (例如，以對數形式）分佈，使得栅格點較少集中於LSC區 域760的中心’但朝向LSC區域76〇之隅角更集中，通常在 透鏡遮光失真更顯著之處。 另外，如上文參看圖78及圖79所論述，[SC邏輯930亦 可施加具有栅格增益值之徑向增益分量。可基於當前像素 159040.doc 201225631 距影像中心之距離來判定徑向增益分量（方程式14_16)。如 所提及，使用徑向增益允許針對所有色彩分量使用單一共 同增益柵格，其可極大地減少儲存用於每一色彩分量之單 獨增益柵格所需的總儲存空間。柵格增益資料之此減少可 減小實施成本，此係因為柵格增益資料表可佔據影像處理 硬體中之記憶體或晶片面積的顯著部分。 接下來，再次參看圖99之原始處理邏輯方塊圖9〇()，接 著將LSC邏輯936之輸出傳遞至第二增益、位移及箝位 • (G〇C)區塊938。G〇C邏輯938可在解馬賽克（藉由邏輯區塊 940)之前被應用，且可用以對Lsc邏輯936之輸出執行自動 白平衡。在所描繪實施例中，G〇c邏輯938可以與G〇c：邏 輯930(及BLC邏輯739)相同的方式實施。因此，根據上文 之方程式11，藉由GOC邏輯938所接收之輸入首先位移有 正負號的值且接著乘以增益。所得值接著根據方程式12裁 剪至最小值及最大值範圍。 此後，GOC邏輯938之輸出轉遞至解馬赛克邏輯94〇以供 春處理，以基於原始拜耳輸入資料產生全色（RGB)影像。應 瞭解，在每一像素經濾光以僅獲取單一色彩分量之意義 上，使用彩色濾光片陣列（諸如，拜耳濾光片）之影像感測 器的原始輸出為「不完整的」。因此，單獨針對個別像素 所收集之資料不足以判定色彩。因此，解馬赛克技術可用 以藉由針對每一像素内插丟失之色彩資料而自原始拜耳資 料產生全色影像。 現參看圖107，說明提供關於解馬赛克可應用於原始拜 159040.doc -205· 201225631 耳影像圖案1034以產生全色RGB之方式之一般綜述的圖形 程序流程692。如圖所示，原始拜耳影_ 1〇34之4><4部分 1036可針對每一色彩分量包括單獨通道，包括綠色通道 1038、紅色通道1〇40及藍色通道1042。因為拜耳感測器中 之每一成像像素僅獲取一色彩之資料，所以每一色彩通道 1038、1〇40及1042之色彩資料可為不完整的，如藉由 「？」符號所指示。藉由應用解馬赛克技術1〇44，可内插 來自每—通道之丟失的色彩樣本。舉例而t，如藉由參考 數字1046所示，内插資料G,可用以填充綠色通道上之丟失 的樣本。類似地，内插資料R，可（結合内插資料g, 1〇46)用 以填充紅色通道上之丢失的樣本（购），且内插資料&可 (結合内插資料G’ 1G46)用以填充藍色通道上之丟失的樣本 (刪)。因此，由於解馬赛克程序，每一色彩通錄、 G、B)將具有-組完全的色彩f料其可接著用以重新建 構全色RGB影像1〇52 〇 現將根據"'實施例描述可藉由解馬赛克邏輯940實施
解馬赛克技術。在綠声捐、皆L
色通道上，可使用低通方向性濾波 對已知的綠色樣本内插车生& * < 丟失的色彩樣本，且使用高通（ 梯度）濾波器對鄰近之$忽、s、# , 迎之色如通道(例如，紅色及藍色)内插 失的色彩樣本。針對紅色 巴夂藍色通道，丟失的色彩樣本 以類似方式内插，伸蕤 色值進杆口 用低通濾波對已知的紅色或 值進行。此外，在共同定位之内插的綠 基於原本拜耳色彩資^ 對綠色通道之解馬赛克 用5x5像素區塊邊緣適應性濾 159040.doc -206- 201225631 器。如下文將進一步論述，邊緣適應性濾波器之使用可基 於水平及垂直濾波值之梯度來提供連續加權，其減少在習 知解馬賽克技術中常見之某些假影（諸如，頻疊、「棋盤 形」或「彩虹」假影）的出現。 在對綠色通道解馬賽克期間，使用拜耳影像圖案之綠色 像素（Gr及Gb像素）的原本值。然而，為了獲得綠色通道之 一組完全資料，可在拜耳影像圖案之紅色及藍色像素處内 插綠色像素值。根據本發明技術，首先基於上文所提及之 • 54像素區塊在紅色及藍色像素處計算水平及垂直能量分 量（分別被稱為Eh及Εν)。Eh及Εν之值可用以自水平及垂直 濾波步驟獲得邊緣加權之濾波值，如下文進一步論述。 藉由實例，圖108說明定中心於5χ5像素區塊中於位置（】， i)處之紅色像素的Eh及以值之計算，其中』對應於一列且i 對應於一行。如圖所示，Eh之計算考慮5x5像素區塊之中 間三列（j_1、j、j + 1)，且Εν之計算考慮5x5像素區塊的中 間三行（i-1、i、i+1)。為了計算仙，乘以對應係數（例如， 針對行1-2及1+2為-1 ;針對行丨為2)之紅色行（卜2、丨、i+2)中 的像素中之每一者之總和的絕對值與乘以對應係數（例 如’針對行Μ為1 ;針對行i+1為_1}之藍色行（Μ、丨+1)中 的像素中之每一者之總和的絕對值求和。為了計算Εν，乘 以對應係數（例如，針對列】-2及』+2為·j ;針對列j為2)之紅 色歹丨（j-2、j、j+2)中的像素中之每一者之總和的絕對值與 乘以對應係數（例如’針對列〗_〗為丨；針對列j + 1為·〇之藍 色列CM、j+i)中的像素中之每一者之總和的絕對值求 159040.doc -207- 201225631 和。此等計算係藉由下文之方程式76及77說明： £/z=abs[2((P(j-l, i)+P(j, i)+P(j + l, i)) - (76) (P(j-1, i-2)+P(j, i-2)+P(j+l, i-2))- (P(j-1, i + 2)+P(j, i+2)+P(j + l, i + 2)] + abs[(P(j-l, i-l)+P(j, i-l)+P(j + l, i-1))- (P(j-1, i + l)+P(j, i+l)+P(j + l, i+1)] 五v=abs[2(p(j，i-l)+P(j，i)+p(j，i+1)) - (77) (P(j-2，i-l)+P(j-2，i)+P(j-2，i+l))- (P(j + 2, i-l)+P(j+2, i)+P(j+2, i+1] + abs[(P(j-l, i-l)+P(j-l, i)+P(j-l, i+1))- (P(j + 1, i-l)+P(j + l, i)+P(j + l, i+1)] 因此，總能量總和可表達為：Eh+Ev。此外，儘管圖i 〇8所 示之實例說明在（j，i)處之紅色中心像素之Eh及Εν的計算， 但應理解，可針對藍色中心像素以類似方式判定抓及Εν 值。 接下來’可將水平及垂直濾波應用於拜耳圖案以獲得垂 直及水平濾波值Gh& Gv，其可分別表示在水平及垂直方 向上之内插綠色值。除了使用鄰近色彩（尺或B)之方向性梯 度來在丟失之綠色樣本的位置處獲得高頻信號之外，亦可 對已知的相鄰綠色樣本使用低通濾波器來判定濾波值Gh及
Gp舉例而言，參看圖1〇9，現將說明用於判定仉之水平 内插的一實例。 如圖109所示，可在判定Gh時考慮拜耳影像之紅色行 1〇6〇的五個水平像素（R0、G1、R2、⑺及叫，其中_艾 159040.doc •208· 201225631 設為在（j，i)處的中心像素。與此等五個像素中之每一者相 關聯的濾波係數係藉由參考數字〗社_ 巧双于1UC>2知不。因此，用於中 心像素R2之綠色值（被稱gG2，）的内插可判定如下：
GT GI + G3 ~~2~ 2R2-(— + Rl ·} R2 + R^ (78) 各種數學運算可接著用以產生在下文之方程式79及8〇中所 示之G2'的表達： (79)
CiV - 2G1 + 2G3 ( AR2-RQ-R2-R7-ra 4 4-* 2Gl + 2G3 + 2i?2-j?0-/?4 - - GT — * (80) 因此，參看圖⑽及上文之方程式W，在處之綠色 值之水平内插的一般表達可導出為：
垂直攄波分量GV可以與Gh類似之方式判定。舉例而 言’參看圖U0,可在収Gv時考慮拜耳影像之紅色行 =五個垂直像素('。，、一及叫及其各別滤 波係數1068，其中R2假設為在（j，i)處的中心像素。在垂直 ^向上對已知㈣色樣本錢低料波且對紅色通道使用 尚通濾波’可針對Gv導出以下表達： 4 ' (82) 插 儘管本文所論述之實例已展示綠色值對紅色像素之内 159040.doc 201225631 但應理解，在方程式81及82中所闡述之表達亦可用於綠色 值針對藍色像素的水平及垂直内插中。 可藉由以上文所論述之能量分量（Eh及Εν)對水平及垂直 濾波器輸出（Gh及Gv)加權以產生以下方程式而判定_心像 素（j，i)的最終内插綠色值G·: G'〇,i) = (Εν、 \Eh + Evj
Gh +
Eh Eh + Ev
(83) 如上文所論述，能量分量Eh及Ev可提供水平及垂直渡波器 輸出Gh及Gv之邊緣適應性加權，其可幫助在經重新建構 之RGB影像中減少影像假影（諸如，彩虹、頻疊或棋盤形 假影）。另外，解馬赛克邏輯940可提供藉由將Eh及Εν值各 自設定為1而繞過邊緣適應性加權特徵的選項，使得Gh及 Gv得以相等地加權。 在一實施例中，上文之方程式51所示的水平及垂直加權 係數可經量化以將加權係數之精確度減少至一組r粗略」 值。舉例而言’在一實施例中’加權係數可經量化至八個 可能之權重比：1/8 、 2/8 、 3/8 、 4/8 、 5/8 、 6/8 、 7/8及 8/8。其他實施例可將加權係數量化為16個值（例如，1/16 至16/16)、32個值（1/32至32/32)，等等。應瞭解，與使用 全精確度值（例如，32位元浮點值）相比，在判定加權係數 且將加權係數應用於水平及垂直濾波器輸出時，加權係數 之量化可減少實施複雜性。 在其他實施例中，除了判定且使用水平及垂直能量分量 以將加權係數應用於水平（Gh)及垂直（Gv)濾波值之外，當 159040.doc -210- 201225631 前所揭示之技術亦可判定且利用在對角正及對角負方向上 的能量分量。舉例而言，在此等實施例中，亦可在對角正 及對角負方向上應用濾波》濾波器輸出之加權可包括選擇 兩個最高能量分量，且使用所選擇之能量分量來對其各別 濾波器輸出加權。舉例而言，在假設該兩個最高能量分量 對應於垂直及對角正方向的的情況下，垂直及對角正能量 刀量用以對垂直及對角正濾波器輸出加權以判定内插綠色 值（例如，在拜耳圖案中之紅色或藍色像素位置處）。 接下來，對紅色及藍色通道之解馬賽克可藉由在拜耳影 像圖案之綠色像素處内插紅色及藍色值、在拜耳影像圖案 之藍色像素處内插紅色值，且在拜耳影像圖案之紅色像素 處内插藍色值來執行。根據當前論述之技術，可基於已知 的相鄰之紅色及藍色像素使用低通濾波且基於共同定位之 綠色像素值使用高通濾波來内插丟失的紅色及藍色像素 值，該等綠色像素值取決於當前像素之位置可為原本或内 插值（來自上文所淪述之綠色通道解馬赛克程序）。因此， 關於此等實施例，應理解，可首先執行丟失之綠色值的内 插，使得一組完整的綠色值（原本及内插值兩者）在内插丟 失之紅色及藍色樣本時可用。 可參看圖111描述紅色及藍色像素值之内插，圖62說明 紅色及藍色解馬賽克可應用於之拜耳影像圖案的各種3x3 區塊，以及可在對綠色通道解馬赛克期間已獲得之内插綠 色值（藉由G'所指定）。首先參考區塊1〇7〇，用於Gr像素 (Gn)之内插紅色值R，u可判定如下： 159040.doc •211 - 201225631 R\,=^1^2}j2GIt-G\0-G\2) 2 2 (84) 其中G、。及G’d示内插綠色值’如藉由參考數字刪所 示。類似地，用於Gr像素（Gll)之内插藍色值〜可判定如 下： 2 2 ’ (85) 其中G〇!及〇’2丨表示内插綠色值（1〇78)。 接下來，參考中心像素係Gb像素（Gu)之像素區塊 1072，内插紅色值R，n&藍色值b、可如下文之方程式％及 8 7所示而判定： 2 2 (86) ,{2Gn-G\0-G\7) 2 2 (87) 此外，參考像素區塊1074，紅色值對藍色像素B"之内 插可判定如下： R'lt -(及〇〇 + 4 + /?20 + 及22)丨(4(7丨丨-G’nn-G’n，-C?’，n-G1，，) 4 4 ， (88) 其中G’oo、G’〇2、G’丨1、G，2〇及G，22表示内插綠色值，如藉由 參考數字1080所示。最終，藍色值對紅色像素之内插（如 藉由像素區塊1076所示）可計算如下： B\ — _(忍〇〇 + 及〇2 + 万2〇+ ¾) , (AGu—Gqq—(?02— 4 4 (89) 159040.doc -212- 201225631 儘管上文所論述之實施例依賴於色彩差異（例如，梯度） 用於判定紅色及藍色内插值，但另一實施例可使用色彩比 率來提供内插之紅色及藍色值。舉例而言，内插綠色值 (區塊1078及1080)可用以獲得拜耳影像圖案之紅色及藍色 像素位置處的色彩比率，且該等比率之線性内插可用以判 定丟失之色彩樣本的内插色彩比率^綠色值（其可為内插 值或原本值）可乘以内插色彩比率以獲得最終内插色彩 值。舉例而言，可根據下文之公式來執行使用色彩比率之 _ 紅色及藍色像素值的内插，其中方程式90及91展示Gr像素 之紅色及藍色值的内插，方程式92及93展示Gb像素之紅色 及藍色值的内插，方程式94展示紅色值對藍色像素之内 插’且方程式95展示藍色值對紅色像素的内插： (90) (當為Gr像素時所内插之R'u)
(91) (當Gil為Gr像素時所内插之Β·π) Λ，π = σιι in^0, 2 (92) (當Gu為Gb像素時所内插之•fe) 5'u = Gu / 7?、 _£κ G' 2 (93) 159040.doc -213- 201225631 dGu為〇b像素時所内插之以… 4 (對藍色像素B"所内插之尺,^)
(對紅色像素Rn所内插之B,… 一旦已針對來自拜耳影像圖案之每一影像像素内插丟失 之色彩樣本，隨即可組合紅色、藍色及綠色通道中之每一 者之色彩值的完整樣本（例如，圖1〇7之1〇46、1〇48及1〇5〇) 以產生全色RGB影像。舉例而言，返回參看圖98及圖99， 原始像素處理邏輯900之輸出910可為呈8、10' 12或14位 元格式之RGB影像信號。 現參看圖112至圖Π5，說明說明根據所揭示實施例的用 於解馬赛克原始拜耳影像圖案之程序的各種流程圖。特定 言之’圖112之程序1082描繪將針對給定輸入像素p内插哪 些色彩分量的判定《基於藉由程序丨082之判定，可執行 (例如’藉由解馬赛克邏輯940)用於内插綠色值之程序 1100(圖113)、用於内插紅色值之程序1112(圖114)或用於 内插藍色值之程序1124(圖115)中的一或多者。 以圖112開始，程序1〇82在步驟1084處在接收輸入像素P 時開始。決策邏輯1086判定輸入像素之色彩。舉例而言， 此可取決於拜耳影像圖案内之像素的位置。因此，若P被 159040.doc -214- 201225631 識別為綠色像素（例如，Gr或Gb)，則程序1082繼續進行至 步驟1088以獲得用於p之内插的紅色及藍色值。此可包括 (例如）分別繼續至圖114及圖115之程序1112及1124。若P被 識別為紅色像素，則程序1082繼續進行至步驟1〇9〇以獲得 用於P之内插的綠色及藍色值。此可包括分別進一步執行 圖113及圖115之程序11〇〇及1124。另外，若p被識別為藍 色像素，則程序1082繼續進行至步驟1092以獲得用於p之 内插的綠色及紅色值。此可包括分別進一步執行圖113及 圖114之程序11〇〇及1112。下文進一步描述程序11〇〇、 1112及1124中之每一者。 用於判定用於輸入像素P之内插綠色值的程序11〇〇說明 於圖113中且包括步驟11〇2-111〇。在步驟1102處，接收輸 入像素P(例如，自程序1082)。接下來，在步驟1104處，識 別形成5x5像素區塊之一組相鄰像素，其中p為5x5區塊之 中心。此後，在步驟1106處分析像素區塊以判定水平及垂 直能量分量。舉例而言’可分別根據用於計算別及Ev之方 程式76及77來判定水平及垂直能量分量。如所論述，能量 分量Eh及Εν可用作加權係數以提供邊緣適應性濾波，且因 此’減少某些解馬赛克假影在最終影像中的出現。在步驟 1108處’在水平及垂直方向上應用低通濾波及高通濾波以 判疋水平及垂直遽波輸出。舉例而言，可根據方程式8 j及 82來計算水平及垂直濾波輸出Gh及接下來，程序 1082繼續至步驟111〇，在步驟111〇處基於以能量分量及 Εν加權之Gh及Gv值來内插内插綠色值G，，如方程式83所 159040.doc •215· 201225631 示。 接下來，關於圖m之程序1112，紅色值之内插可始於 步驟1114，在步驟1114處接收輸人像素？（例如，自程序 觸卜在步驟1116處，識別形成3χ3像素區塊之一組相鄰 像素，其中ρ為3x3區塊之中心。此後，纟步驟處對 3X3區塊内之相鄰紅色像素應用低通濾波，且對共同定位 之綠色相鄰值應用高通濾波（步驟1120)，該等綠色相鄰值 可為藉由拜耳影像感測器所俘獲之原本綠色值，或内插值 (例如，經由圖⑴之程序1100所判定）。可基於低通及高通 濾波輸出來判定用於ρ之内插紅色值R,，如在步驟1122處 所不。取決於Ρ之色彩，可根據方程式84、％或Μ中之一 者來判定R·。 關於藍色值之内插，可應用圖115之程序1124。步驟 1126及1128與程序1112(圖114)之步驟1114及1116大體上相 同。在步驟1130處’對3x3内之相鄰藍色像素應用低通滤 波’且在步驟1132處，對共同定位之綠色相鄰值應用高通 濾波，該等綠色相鄰值可為藉由拜耳影像感測器所俘獲之 原本綠色值，或内插值（例如，經由圖113之程序11〇〇所判 疋）。可基於低通及尚通濾波輸出來判定用於p之内插藍色 值B，，如在步驟1134處所示。取決於p之色彩，可根據方 程式85、87或89中之一者來判定此外，如上文所提 及，可使用色彩差異（方程式84_89)或色彩比率（方程式9〇_ 95)來判定紅色及藍色值的内插。又，應理解，可首先執 行丟失之綠色值的内插，使得一組完整的綠色值（原本及 159040.doc •216· 201225631 内插值兩者）在内插去失之紅色及藍色樣本時可用。舉例 而言，圖113之程序11 〇〇可在分別執行圖I】#及圖115之程 序1112及1124之前應用於内插所有丟失的綠色樣本。 參看圖116至圖119,提供藉由ISP管道82中之原始像素 處理邏輯900處理之影像之有色圖式的實例。圖116描緣原 本影像場景1140，其可藉由成像裝置3〇之影像感測器9〇俘 獲。圖117展示原始拜耳影像1142，其可表示藉由影像感 測器90俘獲之原始像素資料。如上文所提及，習知解馬赛 Φ 克技術可能不提供基於影像資料中之邊緣（例如，在兩種 或兩種以上色彩之區域之間的界限）之偵測的適應性濾 波，此情形可能不合需要地在所得的經重新建構之全色 RGB影像中產生假影。舉例而言，圖丨丨8展示使用習知解 馬赛克技術所重新建構之RGB影像1144，且可包括假影， 諸如，在邊緣1148處之「棋盤形」假影1146。然而，在比 較影像1144與圖119之RGB影像115〇(其可為使用上文所描 述之解馬赛克技術所重新建構之影像的實例）的情況下， 可看出，存在於圖118中之棋盤形假影U46不存在，或至 /其出現在邊緣1148處實質上減少。因此，圖ιΐ6至圖Up 所不之影像意欲說明本文所揭示之解馬赛克技術勝於習知 方法的至少一優點。 根據本文所揭示之影像處理技術的某些態樣，可使用一 組行緩衝器來實施ISP子系統32之各種處理邏輯區塊，該 組行緩衝器可經組態以使影像資料通過各種區塊，如上文 所示。舉例而言，在-實施例中，可使用如圖i2G至圖123 159040.doc •217- 201225631 所示而配置之行緩衝器的一組態來實施上文在圖99中所論 述之原始像素處理邏輯900。特定言之，圖12〇描綠可用以 實施原始像素處理邏輯900之整個行緩衝器配置，而圖121 描繪如展示於圖120之封閉區域1162内的行緩衝器之第一 子集的較近視圖，圖122描繪可為雜訊減少邏輯934之部分 的垂直濾波器之較近視圖，且圖123描繪如展示於圖12〇之 封閉區域1164内的行緩衝器之第二子集的較近視圖。 如圖120中大體上說明，原始像素處理邏輯9〇〇可包括編 號為0-9且分別標示為參考數字U6〇a_U6〇j的一組十個行 緩衝器，以及邏輯列116〇k，邏輯列116〇k包括至原始處理 邏輯900之影像資料輸入9〇8(其可來自影像感測器或來自 記憶體）。因此，圖120所示之邏輯可包括丨丨列，其中該等 列中之10列包括行緩衝器（1160a_116〇j)e如下文所論述， 行緩衝器可藉由原始像素處理邏輯9〇〇之邏輯單元以共用 方式利用，該等邏輯單元包括增益、位移、箝位邏輯區塊 930及93 8(在圖120中分別被稱為G〇cl&G〇C2)、有缺陷像 素偵測及校正（DPC)邏輯932、雜訊減少邏輯934(在圖120 中展示為包括綠色非均一性（GNU)校正邏輯934a、7分接頭 水平濾波器934b及5分接頭垂直濾波器934c)、透鏡遮光校 正（LSC)邏輯936及解馬赛克（DEM)邏輯940。舉例而言， 在圖120所示之實施例中，藉由行緩衝器6-9(1160g-1160j) 所表不之行緩衝器下部子集可在Dpc邏輯932與雜訊減少 邏輯934之部分（包括GNU邏輯934a、水平濾波器934b，及 垂直濾波器934c之部分）之間共用。藉由行緩衝器〇_ 159040.doc •218· 201225631 5⑴60a_116Gf)所表示之行緩衝器上部子集可在垂直滤波 邏輯934c之一部分、透鏡遮光校正邏輯936、增益、位移 及#位邏輯938與解馬賽克邏輯940之間共用。 為大體上描述影像資料通過行緩衝器之移動，可表示 ISP前端處理邏輯80之輸出的原始影像資料9〇8藉由g〇ci 邏輯930首先接收及處理，此處應用適當的增益、位移及 箝位參數。GOC1邏輯930之輸出接著提供至Dpc邏輯 932。如圖所示，有缺陷像素偵測及校正處理可對行緩衝 • 器6_9發生。DPC邏輯932之第一輸出提供至（雜訊減少邏輯 934之）綠色非均一性校正邏輯93飩，其在行緩衝器 9(1160j)處發生。因此，在本實施例中，行緩衝器9(丨16〇』) 在DPC邏輯932與GNU校正邏輯934a兩者之間共用。 接下來，行緩衝器9(1160j)之輸出（在圖121中被稱為W8) k供至行緩衝器8(1160i)的輸入。如圖所示，行緩衝器8在 DPC邏輯932(其提供額外有缺陷像素偵測及校正處理）與雜 訊減少區塊934之水平濾波邏輯（93413)之間共用。如本實施 秦 例所示，水平濾波器934b可為7分接頭濾波器，如藉由圖 121中之濾、波器分接頭1165a-1165g所指示，且可組態為有 限脈衝回應（FIR)濾波器。如上文所論述，在某些實施例 中’雜訊濾波可為邊緣適應性的。舉例而言，水平渡波器 可為FIR渡波器’但其中滤波器分接頭僅在中心像素與分 接頭處之像素之間的差小於至少部分地取決於雜訊方差之 臨限值時使用。 水平濾波邏輯934b之輸出1163(圖121)可提供至垂直濾波 159040.doc •219· 201225631 邏輯934c(圖122中更詳細地說明）且提供至行緩衝器 7( 1160h)的輸入。在所說明實施例中，行緩衝器7經組態以 在將其輸入W7傳遞至行緩衝器6(116〇8)作為輸入W6之前 提供延遲（w)。如圖121所示，行緩衝器6在DpC邏輯932與 雜訊減少垂直濾、波器934c之間共用。 接下來’同時參看圖120、圖122及圖123，行緩衝器之 上部子集（即，行緩衝器〇_5(116〇a_116〇f))在雜訊減少垂直 濾波器934c(圖122所示）、透鏡遮光校正邏輯936、g〇C2邏 輯938與解馬赛克邏輯94〇之間共用。舉例而言，提供延遲 (w)之行緩衝器5(1160f)的輸出饋送至行緩衝器4(116〇e)。 垂直濾波係在行緩衝器4中執行，且行緩衝器4中之垂直濾 波器934c部分的輸出臀3饋送至行緩衝器3(U6〇d)，以及藉 由行緩衝器4所共用之透鏡遮光校正邏輯936、g〇C2邏輯 938及解馬赛克邏輯940之部分的下游。在本實施例中，垂 直濾波邏輯934c可包括五個分接頭1166a_1166e(圖122)， 但可為可組態的來以部分遞迴（無限脈衝回應（nR))及非遞 迴（FIR)模式兩者操作。舉例而言，當利用所有五個分接 頭使得分接頭1166c為中心分接頭時，垂直濾波邏輯934c 以部分IIR遞迴模式操作。本實施例亦可選擇利用該五個 分接頭中之三者（即，分接頭1166c_1166e，其中分接頭 1166d為中心分接頭）來以非遞迴（FIR)模式操作垂直濾波邏 輯934c。在一實施例中，可使用與雜訊減少邏輯934相關 聯之組態暫存器來指定垂直濾波模式。 接下來，行緩衝器3接收W3輸入信號且在將W2輸出至行 J59040.doc •220· 201225631 緩衝器2(1160c)以及藉由行緩衝器3所共用之透鏡遮光校正 邏輯936、GOC2邏輯938及解馬赛克邏輯940之部分的下游 之前提供延遲（w)。如圖所示，行緩衝器2亦在垂直渡波器 934c、透鏡遮光校正邏輯936、GOC2邏輯938與解馬賽克 邏輯940之間共用’且將輸出W1提供至行緩衝器 1(1160b)。類似地，行緩衝器1亦在垂直濾波器934c、透鏡 遮光校正邏輯936、GOC2邏輯938與解馬赛克邏輯940之間 共用，且將輸出W1提供至行緩衝器〇(U6〇a)。解馬赛克邏 輯940之輸出910可提供至RGB處理邏輯902之下游以供額 外處理’如下文將進一步論述。 應理解’描繪以共用方式配置行緩衝器以使得不同處理 單元可同時利用共用之行緩衝器的所說明實施例可顯著減 少實施原始處理邏輯900所需之行緩衝器的數目《應瞭 解’此可減少用於實施影像處理電路32所需之硬體面積， 且由此減少整體設計及製造成本。藉由實例，在某些實施 例中’用於在不同之處理組件之間共用行緩衝器的當前說 明之技術可將在與不共用行緩衝器之習知實施例相比時所 需之行緩衝器的數目減少多達4〇〇/0至50%或更多。此外， 儘管圖120所示之原始像素處理邏輯900的當前說明之實施 例利用10個行緩衝器，但應瞭解，可在其他實施例中利用 更少或更多之行緩衝器。亦即，圖120所示之實施例僅意 欲說明行緩衝器藉以跨越多個處理單元被共用之概念，且 不應解釋為將本發明技術僅限於原始像素處理邏輯900。 實際上’圖12〇所示之本發明的態樣可以isp子系統32之邏 159040.doc 221 · 201225631 輯區塊中的任一者來實施。 圖24為展示用於根據圖12〇至圖123所示之行緩衝器組 態處理原始像素資料之方法1167的流程圖。在步驟丨丨⑶處 開始，原始像素處理邏輯900之行緩衝器可接收原始像素 資料（例如’自ISP前端80、記憶體1〇8或兩者）。在步驟 1169處，將第一組增益、位移及籍位（G〇cl)參數應用於原 始像素資料。接下來，在步驟lm處，使用行緩衝器之第 一子集（例如，圖120中之行緩衝器6_9)來執行有缺陷像素 偵測及校正。此後，在步驟1171處，使用來自行緩衝器之 第-子集的至少—行緩衝器（例如，行緩衝以）來應用綠色 非均一性（GNU)校正。接下來’如在步驟⑽處所示亦 使用來自第一子集之至少一行緩衝器來應用用於雜訊減少 的水平攄波。在圖12G所示之實施例中，用以執行咖校 正及水平據波之來自第-子集的該（等）行緩衝器可為不同
方法⑽接著繼續至步驟1173，此處使用來自第一1 之至少—行緩衝器以及原始像素處理邏輯900之行緩爷 之第二子集(例如’行緩衝器〇_5)之至少一部分來應用月 雜s減/的垂直濾波。舉例而言，如上文所論述，取^ 垂直滤波模式（例如，遞迴或非遞迴），可使用行緩衝g 第二：集的—部分抑或全部。此外，在一實施例中，· 子集可包括不包括於來自步驟1170之行緩衝器之第一- 器。在步驟1174處，使用行緩衝心 集將錢遮光校正應用於原始像素資I接下來， 159040.doc -222- 201225631 步驟1175處，使用行緩衝器之第二子集以應用第二組增 益、位移及箝位（GOC2)參數，且隨後，亦使用第二組行緩 衝器以解馬賽克原始影像資料’如在步驟i丨76處所示。可 接著在步驟1177處在下游發送經解馬賽克之Κ(}Β色彩資料 以供藉由RGB處理邏輯902進行額外處理，如下文更詳細 地論述。 返回參看圖98 ’現&詳盡地描述了原始像素處理邏輯 9〇〇(其可輸出RGB影像信號910)之操作，本論述現將集中 於描述藉由RGB處理邏輯902對RGB影像信號910的處理。 如圖所示，RGB影像信號910可發送至選擇邏輯914及/或 記憶體108。RGB處理邏輯902可接收輸入信號916，其可 為來自信號910或來自記憶體1〇8如藉由信號912所示之 RGB影像資料’此取決於選擇邏輯914的組態。RGB影像 資料916可藉由RGB處理邏輯902處理以執行色彩調整操 作’包括色彩校正（例如，使用色彩校正矩陣）、用於自動 白平衡之色彩增益的施加，以及全域色調映射，等等。 在圖125中說明描繪RGB處理邏輯902之一實施例之更詳 細視圖的方塊圖。如圖所示，RGB處理邏輯902包括增 益、位移及箝位（GOC)邏輯1178、RGB色彩校正邏輯 1179、GOC邏輯1180、RGB伽瑪調整邏輯及色彩空間轉換 邏輯1182。輸入信號916首先藉由增益、位移及箝位（GOC) 邏輯1178接收。在所說明實施例中，GOC邏輯1178可施加 增益以在藉由色彩校正邏輯1179處理之前對R、G或B色彩 通道中之一或多者執行自動白平衡。 159040.doc •223 · 201225631 GOC邏輯1178可類似於原始像素處理邏輯9〇〇之G〇c邏 輯930 ,惟處理RGB域之色彩分量而非拜耳影像資料之R ' B、Gr及Gb分量除外。在運算中，當前像素之輸入值首先 位移有正負號之值0[c]且乘以增益G[c]，如上文之方程式 11所不’其中C表示R、G及B ^如上文所論述，增益G[c]可 為具有2個整數位元及14個小數位元之16位禾無正負號數 (例如，2.14浮點表示），且可先前在統計處理（例如，在 ISP前端區塊80中）期間判定增益G[c]的值。所計算之像素 值Y(基於方程式11)接著根據方程式12裁剪至最小及最大 範圍。如上文所論述，變數min[c]及max[c]可分別表示針 對最小及最大輸出值的有正負號之16位元「裁剪值」。在 一實施例中，GOC邏輯1178亦可經組態以針對每一色彩分 量R、G及B維持分別剪裁於最大值及最小值以上及以下的 像素之數目的計數。 GOC邏輯1178之輸出接著轉遞至色彩校正邏輯1179。根 據當前揭示之技術，色彩校正邏輯1179可經組態以使用色 彩校正矩陣（CCM)將色彩校正應用於rgb影像資料。在一 實施例中，CCM可為3x3 RGB變換矩陣，但在其他實施例 中亦可使用其他尺寸之矩陣（例如，4x3等等）。因此，對 具有R、G及B分量之輸入像素執行色彩校正的程序可表達 如下： [R' G' β']= 'CCM00 CCMOl CCM02 CCMIO CCMll CCMU x[r G Ή], CCM 20 CCM 21 CCM22 159040.doc -224- (96) 201225631 其中R、G及B表示輸入像素之當前紅色、綠色及藍色值， CCM00-CCM22表示色彩校正矩陣之係數，且R,、G'及B，表 示輸入像素的經校正之紅色、綠色及藍色值。因此，校正 色彩值可根據下文之方程式97-99予以計算： R'= (CCM00 xR) + (CCM01 x G) + (CCM02 x B) (97) G' = (CCMl QxR) + (CCMl 1 x G) + (CCM12xB) (98) B' = (CCA/20 x i?) + (CCM 21 x G) + (CCM22 x 5) (99) 可在ISP前端區塊80中之統計處理期間判定CCM之係數 (CCM00-CCM22)，如上文所論述。在一實施例中，可選 擇針對給定色彩通道之係數，使得彼等係數（例如，用於 紅色校正之CCM00、CCM01及CCM02)之總和等於1，此情 形可幫助維持亮度及色彩平衡。此外，通常選擇係數，使 得正增益施加至經校正之色彩。舉例而言，在紅色校正之 情況下，係數CCMOO可大於1，而係數CCM01及CCM02中 之一者或兩者可小於1。以此方式設定係數可增強所得經 校正R'值中之紅色（R)分量，同時減去藍色（B)及綠色（G)分 量中之一些。應瞭解，此情形可解決可在原本拜耳影像之 獲取期間發生之色彩重疊的問題，此係因為用於特定有色 像素之經濾光之光的一部分可「滲入」（bleed)至不同色彩 之相鄰像素中。在一實施例中，可將CCM之係數提供作為 具有4個整數位元及12個小數位元之16位元2補數（以浮點 表達為4.12)。另外，色彩校正邏輯1179可在所計算之經校 正色彩值超過最大值或低於最小值時提供該等值之裁剪。 159040.doc •225· 201225631 RGB色彩校正邏輯1179之輸出接著傳遞至另—G〇c邏輯 區塊1180。GOC邏輯1180可以與GOC邏輯1178相同的方式 予以實施且因此，此處將不重複所提供之增益、位移及 柑位功能的詳細描述。在一實施例中，在色彩校正之後應 用GOC邏輯1180可基於經校正色彩值而提供影像資料之自 動白平衡，且亦可調整紅色對綠色及藍色對綠色比率之感 測器變化。 接下來，GOC邏輯1180之輸出發送至rgb伽瑪調整邏輯 1181以供進一步處理，舉例而言，RGB伽瑪調整邏輯"Μ 可提供伽瑪校正、色調映射、直方圖匹配等等。根據所揭 示實施例，伽瑪調整邏輯1181可提供輸入RGB值至對應輸 出RGB值之映射。舉例而言，伽瑪調整邏輯可提供一組三 個查找表，R、G及B分量中之每一者一個表，藉由實例， 每一查找表可經組態以儲存10位元值之256個輸入項，每 一值表示一輸出位準。表輸入項可均勻地分佈於輸入像素 值之範圍内，使得當輸入值落在兩個輸入項之間時，可線 性地内插輸出值。在一實施例中，可複製R、g&b之三個 查找表中的每一者，使得該等查找表被「雙重緩衝」於記 憶體中，由此允許在處理期間使用一個表，同時更新其複 本。基於上文所論述之10位元輸出值，應注意，由於本實 施例中之伽瑪校正程序，14位元RGB影像信號有效地降取 樣至10個位元。 伽瑪調整邏輯1181之輸出可發送至記憶體108及/或色彩 空間轉換邏輯1182❶色彩空間轉換（csc)邏輯1182可經組 159040.doc •226· 201225631 態以將來自伽瑪調整邏輯1181之RGB輸出轉換為YCbCr格 式，其中Y表示明度分量，Cb表示藍色差異色度分量，且 Cr表示紅色差異色度分量，其中每一者可由於在伽瑪調整 操作期間RGB資料自14位元至10位元之位元深度轉換而呈 10位元格式。如上文所論述，在一實施例中，伽瑪調整邏 輯1181之RGB輸出可降取樣至10位元且由此藉由CSC邏輯 1182轉換為10位元YCbCr值，其可接著轉遞至YCbCr處理 邏輯904，下文將進一步論述此情形。 可使用色彩空間轉換矩陣（CSCM)來執行自RGB域至 YCbCr色彩空間之轉換。舉例而言，在一實施例中， CSCM可為3x3變換矩陣。可根據已知轉換方程式（諸如， BT.601及BT.709標準）來設定CSCM之係數。另夕卜，CSCM 係數可基於輸入及輸出之所要範圍而為彈性的。因此，在 一些實施例中，可基於在ISP前端區塊80中之統計處理期 間所收集的資料來判定及程式化CSCM係數。 對RGB輸入像素執行YCbCr色彩空間轉換的程序可表達 如下： [Y Cb Cr] = 'CSCM00 CSCMOl CSCM02 CSCMIO CSCMll CSCM12 CSCM20 CSCM21 CSCMll x[R G b], (100) 其中R、G及B表示呈10位元形式之輸入像素的當前紅色、 綠色及藍色值（例如，如藉由伽瑪調整邏輯1181處理）， CSCM00-CSCM22表示色彩空間轉換矩陣之係數，且Y、 Cb及Cr表示輸入像素之所得明度及色度分量。因此，Y、 159040.doc •227· 201225631
Cb及Cr之值可根據下文之方程式101-103予以計算： Y = (C5CM00 xR) + (CSCM01 x G) + (CSCM02 x B) (101)
Cb = {CSCM\0 x Λ) + {CSCM\ 1 x (?) + (C^CA/l 2 x B) (102)
Cr = {CSCM20 xR) + (CSC.M21 x G) + {CSCM22 x B) (103) 在色彩空間轉換操作之後，所得YCbCr值可自CSC邏輯 11 82輸出作為信號918，其可藉由YCbCr處理邏輯904處 理，如下文將論述。 在一實施例中，CSCM之係數可為具有4個整數位元及12 個小數位元之16位元2補數（4.12)。在另一實施例中，CSC 邏輯11 82可經進一步組態以將位移施加至Y、Cb及Cr值中 之每一者，且將所得值裁剪至最小及最大值。僅藉由實 例，在假設YCbCr值呈1 0位元形式的情況下，位移可在-512至512之範圍内，且最小值及最大值可分別為0及 1023。 再次返回參看圖98中之ISP管道邏輯82的方塊圖， YCbCr信號918可發送至選擇邏輯922及/或記憶體108。 YCbCr處理邏輯904可接收輸入信號924，其可為來自信號 918或來自記憶體108之YCbCr影像資料（如藉由信號920所 示），此取決於選擇邏輯922之組態。YCbCr影像資料924可 接著藉由YCbCr處理邏輯904處理以用於明度清晰化、色 度抑制、色度雜訊減少、色度雜訊減少，以及亮度、對比 度及色彩調整，等等。此外，YCbCr處理邏輯904可提供 在水平及垂直方向兩者上經處理影像資料之伽瑪映射及按 比例縮放。 159040.doc -228- 201225631 在圖126中說明描繪YCbCr處理邏輯904之一實施例之更 詳細視圖的方塊圖。如圖所示’ YCbCr處理邏輯904包括 影像清晰化邏輯1183、用於調整亮度、對比度及/或色彩 之邏輯1184、YCbCr伽瑪調整邏輯1185、色度整數倍降低 取樣邏輯1186及按比例縮放邏輯1187。YCbCr處理邏輯 904可經組態以使用1平面、2平面或3平面記憶體組態處理 呈4:4:4、4:2:2或4:2:0格式之像素資料。此外，在一實施 例中’ YCbCr輸入信號924可提供明度及色度資訊作為1〇 位元值。 應瞭解，對1平面、2平面或3平面之參考指代在圖片記 憶體中所利用之成像平面的數目。舉例而言，以3平面格 式，Y、Cb及Cr分量中之每一者可利用單獨的各別記憶體 平面。以2平面格式，可針對明度分量（γ)提供第一平面， 且可針對色度分量（Cb及Cr)提供交錯Cb與Cr樣本的第二平 面。以1平面格式，記憶體中之單一平面與明度及色度樣 本交錯。此外’關於4:4:4、4:2:2及4:2:0格式，可瞭解， 4:4:4格式指代該三個YCbCr分量中之每一者係以相同速率 取樣之取樣格式。以4:2:2格式，色度分量Cb&Cr係以明 度分量Y之取樣速率之一半次取樣，由此在水平方向上將 色度分量Cb及Cr的解析度減少一半。類似地，4:2:〇格式 在垂直及水平方向兩者上次取樣色度分量Cb&Cr。 YCbCr資訊之處理可發生於在來源緩衝器内所界定之作 用中來源區域内，其中該作用中來源區域含有「有效像 素資料。舉例而言，參看圖127,說明具有界定於其中之 159040.doc •229· 201225631 作用中來源區域1189的來源緩衝器1188。在所說明實例 中’來源緩衝器可表示提供10位元值之來源像素的4:4:4 i 平面格式。可針對明度（γ)樣本及色度樣本（(：1?及Cr)個別 地指定作用中來源區域1189。因此，應理解，作用中來源 區域1189可實際上包括用於明度及色度樣本之多個作用中 來源區域。可基於自來源緩衝器之基本位址（〇 〇) 119〇的 位移來判定用於明度及色度之作用中來源區域丨189的開 始。舉例而言’可藉由相對於基本位址丨丨9〇之X位移丨i 93 及y位移1196來界定明度作用中來源區域之開始位置 (Lm_X，Lm_Y) 1191。類似地，可藉由相對於基本位址 1190之X位移1194及丫位移1198來界定色度作用中來源區域 之開始位置（Ch_X，Ch一Y) 1192。應注意，在本實例中，分 別用於明度及色度之y位移1196及1198可相等。基於開始 位置1191 ’明度作用中來源區域可藉由寬度1195及高度 1200來界定，寬度1195及高度12〇〇中之每一者可分別表示 在X及y方向上的明度樣本之數目。另外，基於開始位置 1192，色度作用中來源區域可藉由寬度12〇2及高度^㈣來 界定，寬度1202及高度1204中之每一者可分別表示在x&y 方向上的色度樣本之數目。 圖128進一步提供展示明度及色度樣本之作用中來源區 域可以兩平面格式判定之方式的實例。舉例而言，如圖所 示，可藉由由相對於開始位置1191之寬度1195及高度12〇〇 所指定之區域在第一來源緩衝器1188(具有基本位址ιΐ9〇) 中界定明度作用中來源區域1189。色度作用中來源區域 159040.doc -230- 201225631 1208可界定於第二來源緩衝器ι2〇6(具有基本位址ιΐ9〇) 中’作為藉由相對於開始位置1192之寬度1202及高度12〇4 所指定的區域。 記住以上要點且返回參看圖126，YCbCr信號924首先藉 由影像清晰化邏輯丨丨83接收。影像清晰化邏輯〖丨83可經組 態以執行圖片清晰化及邊緣增強處理以增加影像中的紋理 及邊緣細節。應瞭解’影像清晰化可改良所感知的影像解 析度°然而’通常需要使影像中之現有雜訊並不偵測為紋 鲁理及/或邊緣，且由此不在清晰化程序期間放大。 根據本發明技術，影像清晰化邏輯1183可對YCbCr信號 之明度（Y)分量使用多尺度不清晰遮罩濾波器執行圖片清 晰化。在一實施例中，可提供差異尺度大小之兩個或兩個 、低通局斯;慮波器。舉例而言，在提供兩個高斯據波器 之貝施例中，自具有第二半徑（y)之第二高斯濾波器的輸出 減去具有第一半徑（X)之第一高斯濾波器的輸出（例如，高 籲 斯模糊）’其中χ大於y，以產生不清晰遮罩。$外，亦可 藉由自γ輸入減去高斯濾波器之輸出而獲得不清晰遮罩。 在某些實施例中，技術亦可提供可使用不清晰遮罩執行之 適應性核化臨限值（coring threshold)比較操作，使得基於 該（等）比較之結果，增益量可加至基本影像，該基本影像 可k擇為原本γ輸入影像或高斯濾波器中之一者的輸出， 以產生最終輸出。 參看圖129，說明描繪根據當前所揭示之技術之實施例 的用於執行影像清晰化之例示性邏輯121〇的方塊圖。邏輯 159040.doc -231- 201225631 1210表不可應用於輸入明度影像γίη之多尺度不清晰濾波 遮罩。舉例而言，士口圖所示，Yin係藉由兩個低通高斯濾 波器1212(G1)及1214(G2)接收且處理。在本實例中，據波 器1212可為3x3濾波器，且濾波器1214可為5χ5濾波器。然 而’應瞭解’在額外實施例中，亦可使用包括不同尺度之 濾波器的兩個以上高斯濾波器（例如，7χ7、9χ9等）。應瞭 解’歸因於低通濾波程序’高頻分量(其通常對應於雜訊) 可自G1及G2之輸出移除以產生「不清晰」影像(Gi〇ut及 G2out)。如下文將論述，使用不清晰輸入影像作為基本影 像允許作為清晰化濾波器之部分的雜訊減少。 3χ3间斯濾波器1212及5x5高斯濾波器1214可如下文所示 而定義：
Gl = σι,Ί G1, Gl〇 σι, 丨 σι, G2 —-L C/2 g22 G22 G22 G22' G22 G21 G2, G2, G22 G2i 〇2l G20 G2, G22 G22 〇2x G2. G2, G2, 256 256 僅藉由實例’高斯濾波器G1及G2之值可在一實施例中選 擇如下：
Gl = 28 28 28' 28 32 28 28 28 28 ~256 G2 = 9 9 9 9 9' 9 12 12 12 9 9 12 16 12 9 9 12 12 9 9 9 9 256 基於 Yin、Glout 及 G2out， 可產生三個不清晰遮罩 159040.doc •232- 201225631
Sharpl、Sharp2及Sharp3。Sharpl可被判定為自高斯滤波 器1212之不清晰影像Glout減去高斯濾波器1214之不清晰 影像G2out。因為Sharpl基本上為兩個低通濾波器之間的 差’所以其可被稱為「中頻帶」遮罩，此係因為較高頻率 之雜訊分量已在Glout及G2out不清晰影像中被濾出。另 外，可藉由自輸入明度影像Yin減去G2out而計算Sharp2， 且可藉由自輸入明度影像Yin減去Glout而計算Sharp3 »如 下文將論述，可使用不清晰遮罩Sharpl、Sharp2及Sharp3 來應用適應性臨限值核化方案。 參考選擇邏輯1216’可基於控制信號UnsharpSel選擇基 本影像。在所說明實施例中，基本影像可為輸入影像Yin 抑或滤波輸出G1 out或G2out。應瞭解，當原本影像具有高 雜訊方差（例如，幾乎與信號方差一樣高）時，在清晰化時 使用原本影像Yin作為基本影像可能不會在清晰化期間充 分地提供雜訊分量的減少。因此，當在輸入影像中偵測特 定臨限值之雜訊含量時，選擇邏輯1216可經調適以選擇低 通濾波輸出Glout或G2out中之一者（已自其減少可包括雜 訊的高頻含量）。在一實施例中，可藉由分析在lsp前端區 塊80中之統計處理期間所獲取的統計資料而判定控制信號 UnsharpSe丨之值以判定影像的雜訊含量。藉由實例，若輪 入影像Yin具有低雜訊含量，使得將可能由於清晰化程序 而不會增加表觀雜訊，則可將輸入影像Yin選擇為基本影 像（例如，UnsharpSebO)。若輸入影像Yin被判定為含有顯 著位準之雜訊，使得清晰化程序可放大雜訊，則可選擇濾 159040.doc -233 - 201225631 波影像Glout或G2out中之一者（例如，分別地， UnsharpSel = l或2)。因此，藉由應用用於選擇基本影像之 適應性技術，邏輯1210基本上提供雜訊減少功能。 接下來，可根據適應性核化臨限值方案將增益施加至 Sharpl、Sharp2及Sharp3遮罩中之一或多者，如下文所描 述。接下來’可藉由比較器區塊1218、1220及1222來比較 不清晰值Sharpl、Sharp2及Sharp3與各種臨限值 SharpThdl、SharpThd2 及 SharpThd3(未必分別）。舉例而 吕’總疋在比較器區塊1218處比較Sharpl值與 SharpThdl。關於比較器區塊丨220，可比較臨限值 SharpThd2與Sharpl抑或Sharp2，此取決於選擇邏輯1226。 舉例而言’選擇邏輯1226可取決於控制信號sharpCmp2之 狀態而選擇Sharpl或Sharp2(例如，SharpCmp2=l選擇 Sharpl ; SharpCmp2 = 0選擇 Sharp2)。舉例而言，在一實施 例中，可取決於輸入影像（Yin)之雜訊方差/含量而判定 SharpCmp2的狀態。 在所說明實施例中，設定SharpCmp2及SharpCmp3值以 選擇Sharpl通常為較佳的，除非偵測影像資料具有相對低 的雜訊量。此係因為係高斯低通濾波器G1及〇2之輸出之 間的差之Sharpl通常對雜訊較不敏感，且由此可幫助減少
SharpAmtl、SharpAmt2及SharpAmt3值歸因於「有雜訊」 影像資料中之雜訊位準波動而變化的量。舉例而言’若原 本影像具有高雜訊方差，則在使用固定臨限值時可能不會 捕捉到高頻分量中之一些，且由此其可在清晰化程序期間 159040.doc •234· 201225631 放大。因此，若輸入影像之雜訊含量係高的，則雜訊含量 中之一些可存在於Sharp2中。在此等情形中，SharpCmp2 可設定為1以選擇中頻帶遮罩Sharpl，中頻帶遮罩Sharpl如 上文所論述歸因於為兩個低通濾波器輸出之間的差而具有 減少的高頻含量且由此對雜訊較不敏感。 應瞭解，可藉由選擇邏輯1224在SharpCmp3之控制下將 類似程序應用於Sharpl抑或Sharp3的選擇。在一實施例 中，SharpCmp2及SharpCmp3可藉由預設而設定為1 (例 如，使用Sharpl)，且僅針對識別為具有大體上低之雜訊方 差的彼等輸入影像設定為0。此情形基本上提供適應性核 化臨限值方案，其中比較值（Sharp 1、Sharp2或Sharp3)之 選擇基於輸入影像之雜訊方差為適應性的。 基於比較器區塊1218、1220及1222之輸出，可藉由將有 增益之不清晰遮罩應用於基本影像（例如，經由邏輯1216 選擇）而判定清晰化之輸出影像Ysharp。舉例而言，首先 參考比較器區塊1222，比較SharpThd3與藉由選擇邏輯 1224所提供之B輸入，B輸入在本文中應被稱為 「SharpAbs」且可取決於SharpCmp3之狀態而等於Sharp 1 抑或Sharp3。若SharpAbs大於臨限值SharpThd3，則將增 益SharpAmt3施加至Sharp3，且所得值加至基本影像。若 SharpAbs小於臨限值SharpThd3，則可施加衰減增益Att3。 在一實施例中，衰減增益Att3可判定如下： 义"3 一 SharpAmtZ x SharpAbs SharpThd3 159040.doc -235- (104) 201225631 其中，SharpAbs係Sharpl抑或Sharp3，如藉由選擇邏輯 1224判定。與完全增益（SharpAmt3)抑或衰減增益（Att3)求 和之基本影像的選擇係藉由選擇邏輯1228基於比較器區塊 1222之輸出執行。應瞭解，衰減增益之使用可解決以下情 形：SharpAbs不大於臨限值（例如，SharpThd3)，但儘管如 此影像之雜訊方差仍接近給定臨限值。此情形可幫助減少 清晰與不清晰像素之間的顯著過渡。舉例而言，若在此情 形下在無衰減增益的情況下傳遞影像資料，則所得像素可 表現為有缺陷像素（例如，卡點像素）。 接下來，可關於比較器區塊1220應用類似程序。舉例而 言，取決於SharpCmp2之狀態，選擇邏輯1226可提供 Sharpl抑或Sharp2作為至比較器區塊1220之輸入，比較該 輸入與臨限值SharpThd2。取決於比較器區塊1220之輸 出，增益SharpAmt2抑或基於SharpAmt2之衰減增益Att2施 加至Sharp2且加至上文所論述之選擇邏輯1228的輸出。應 瞭解，可以類似於上文之方程式104之方式計算衰減增益 Att2，惟增益SharpAmt2及臨限值SharpThd2係關於 SharpAbs(其可選擇為Sharp 1抑或Sharp2)而施加除外。 此後，增益Sharp Amtl或衰減增益Attl施加至Sharpl， 且所得值與選擇邏輯1230的輸出求和以產生清晰化之像素 輸出Ysharp (自選擇邏輯1232)。施加增益Sharp Amtl抑或衰 減增益Attl之選擇可基於比較器區塊1218之輪出而判定， 比較器區塊1218比較Sharpl與臨限值SharpThdl。又，可 以類似於上文之方程式104之方式判定衰減增益Attl，惟 159040.doc -236- 201225631 增益SharpAmtl及臨限值SharpThdl係關於Sharpl而施加除 外。使用該三個遮罩中之每一者所按比例縮放的所得清晰 化像素值加至輸入像素Yin以產生清晰化之輸出Ysharp， 輸出Ysharp在一實施例中可裁剪至10個位元（假設YcbCr處 理以10位元精確度發生）。 應瞭解，與習知不清晰遮蔽技術相比，本發明中所闡述 之影像清晰化技術可提供改良紋理及邊緣的增強同時亦減 夕、輸出影像中之雜訊。詳言之，本發明技術在如下應用中 鲁 係非常合適的：使用（例如）CMOS影像感測器所俘獲之影 像展現不良的信雜比（諸如，使用整合至攜帶型裝置（例 如，行動電話）中之較低解析度相機在低照明條件下所獲 取的影像）。舉例而言，當雜訊方差與信號方差相當時， 難以使用固定臨限值以用於清晰化，此係因為雜訊分量中 之些可連同紋理及邊緣一起清晰化。因此，本文所提供 之技術（如上文所論述）可使用多尺度高斯濾波器對來自輸 入影像之雜訊濾波以自不清晰影像（例如，G1 〇加及G2〇ut) 鲁冑取特徵，以便提供亦展現減少之雜訊含量的清晰化之影 像。 在繼續之前，應理解，所說明之邏輯121〇意欲提供本發 明技術之僅一例示性實施例，在其他實施例中，額外或較 少之特徵可藉由影像清晰化邏輯1183提供。舉例而言，在 些貫施例中，並非施加衰減增益，而是邏輯丨2丨〇可僅傳 遞基本值。另外，一些實施例可能不包括選擇邏輯區塊 1224、1226或1216。舉例而言，比較器區塊122〇及1222可 159040.doc -237- 201225631 僅分別接收Sharp2及Sharp3值，而非分別接收來自選擇邏 輯區塊12241226的選擇輸出。儘管此等實施例可能並未 提供如圖129所示之實施-樣穩固的清晰化及/或雜訊減少 特徵’但應瞭解，&等設計選擇可為成本及/或商業相關 約束的結果。 在本實施例中，-旦獲得清晰化之影像輸出州叫，影 像清晰化邏輯1183隨即亦可提供邊緣增強及色度抑制特 徵。下文現將論述此等額外特徵中之每—者。首先參看圖 130，根據-實施例說明用於執行可在圖129之清晰化邏輯 121 0下游實施的邊緣增強之例示性邏輯】234。如圖所示， 原本輸入值Yin係藉由索貝爾（s〇bel)濾波器1236處理以供 邊緣偵測。索貝爾濾波器1236可基於原本影像之3χ3像素 區塊（下文中被稱為「Α」）判定梯度值YEdge，其中Yh為 3x3區塊的中心像素。在一實施例中，索貝爾濾波器η% 可藉由對原本影像資料捲繞以偵測水平及垂直方向上之改 變而计算YEdge。此程序係在下文於方程式105-107中展 示。 •1 0 -Γ • 1 2 1' 0 0 0 2 0-2 S = 1 0 -1 y -1 -2 -1
Gx =SxxA, Gy = Syx A,
(105) (106) (107) YEdge =GxxGy, 其中Sx及Sy分別表示用於在水平及垂直方向上之梯度邊緣 159040.doc -238- 201225631 強度债測的矩陣運算子，且其中^及…分別表示含有水平 及垂直改變導出物的梯度影像。因此，將輸出YEdge判定 為GX與Gy的乘積》 接著YEdge連同中頻帶Sharp 1遮罩一起由選擇邏輯124〇 接收’如上文在圖129中所論述β基於控制信號 EdgeCmp，在比較器區塊1238處，比較Sharpl抑或YEdge 與臨限值EdgeThd。可（例如）基於影像之雜訊含量來判定 EdgeCmp之狀態，由此提供用於邊緣彳貞測及增強的適應性 核化臨限值方案。接下來，可將比較器區塊1238之輸出提 供至選擇邏輯1242，且可施加完全增益抑或衰減增益。舉 例而言’當至比較器區塊1238之所選擇B輸入（Sharpl或 YEdge)高於EdgeThd時，YEdge乘以邊緣增益EdgeAmt，以 判定待施加之邊緣增強的量。若在比較器區塊丨23 8處之B 輸入小於EdgeThd，則衰減邊緣增益AttEdge可被施加以避 免在邊緣增強像素與原本像素之間的顯著過渡。應瞭解， 可以與上文之方程式104所示類似的方式來計算AttEdge， 但其中EdgeAmt及EdgeThd係取決於選擇邏輯1240的輸出 而施加至「SharpAbs」（其可為Sharp 1或YEdge)。因此， 使用增益（EdgeAmt)抑或衰減增益（AttEdge)所增強之邊緣 像素可加至YSharp(圖129之邏輯1210的輸出）以獲得邊緣 增強之輸出像素Yout，邊緣增強之輸出像素Yout在一實施 例中可裁剪至10個位元（假設YCbCr處理以10位元精確度發 生）。 關於藉由影像清晰化邏輯1183所提供之色度抑制特徵， 159040.doc 239· 201225631 此等特徵可在明度邊緣處使色度衰減。通常，可藉由取決 於自明度清晰化及/或上文所論述之邊緣增強步驟所獲得 的值（YSharp、Y〇ut)施加小於1之色度增益（衰減因子）而執 行色度抑制。藉由實例，圖131展示曲線圖1250，曲線圖 1250包括表示可針對對應清晰化明度值（YSharp)所選擇之 色度增益的曲線1252。藉由曲線圖1250所表示之資料可實 施為YSharp值及介於〇與1之間的對應色度增益（衰減因子） 的查找表。查找表係用以近似曲線1252。針對共同定位於 查找表中之兩個衣減因子之間的YSharp值，線性内插可應 用於對應於高於及低於當前YSharp值之YSharp值的兩個衰 減因子。此外，在其他實施例中，輸入明度值亦可選擇為 藉由邏輯1210所判定之Sharpl、Sharp2或Sharp3值中的一 者（如上文在圖129中所論述），或藉由邏輯1234所判定之 YEdge值（如圖130所論述）。 接下來，藉由亮度、對比度及色彩（BCC)調整邏輯1184 來處理影像清晰化邏輯1183(圖126)之輸出。在圖132中說 明描繪BCC調整邏輯1184之一實施例的功能方塊圖。如圖 所示’邏輯1184包括亮度及對比度處理區塊1262、全域色 調控制區塊1264及飽和度控制區塊1266。當前所說明之實 施例提供YCbCr資料以1 〇位元精確度之處理，但其他實施 例可利用不同的位元深度。下文論述區塊1262、1264及 1266中之每一者的功能。 首先參考亮度及對比度處理區塊1262，首先自明度（Y) 資料減去位移YOffset以將黑階設定為零。進行此以確保 159040.doc •240· 201225631 對比度調整不會更改黑階。接下來，明度值乘以對比度增 益值以應用對比度控制。藉由實例，對比度增益值可為具 有2個整數位元及1〇個小數位元之12位元無正負號數，由 此提供高達像素值之4倍的對比度增益範圍。此後，可藉 由自明度資料加上（或減去）亮度位移值而實施亮度調整。 藉由實例，本實施例中之亮度位移可為具有介於_5 12至 + 5 12之間的範圍之1〇位元2補數值。此外，應注意，亮度 調整係在對比度調整之後執行，以便避免在改變對比度時 使DC位移變化。此後，將初始Y〇ffset加回至經調整之明 度資料以重新定位黑階。 區塊1264及1266基於Cb及Cr資料之色調特性而提供色彩 調整。如圖所示，位移512(假設1〇位元處理）首先自cb及 Cr資料減去以將範圍定位至大約零。接著根據以下方程式 來調整色調：
Cbadj=Cb cos(e)+Cr sin ⑼， （1 〇8)
Cradj=Cr cos(0)-Cb sin(0) » (109) 其中Cbadj及Cradj表示經調整之Cb及Cr值，且其中Θ表示色 調角度，其可計算如下： arctan
(110) 以上運算係藉由全域色調控制區塊1264内之邏輯描繪，且 可藉由以下矩陣運算來表示： •Cb。,， Ka Kbl \Cb S~radj m rKb Ka\ Η 159〇4〇.d〇c -241- (111) 201225631 其中Ka=cos(e)、Kb=sin(0)，且Θ係在上文於方程式no中 定義。 接下來，飽和度控制可應用於Cbadj及Cradj值，如藉由飽 和度控制區塊1266所示。在所說明實施例中，藉由針對cb 及Cr值中之每一者施加全域飽和度乘數及基於色調之飽和 度乘數來執行飽和度控制。基於色調之飽和度控制可改良 色彩再現。色彩之色調可表示於YCbCr色彩空間中，如藉 由圖133中之色輪圖1270所示。應瞭解，可藉由將HSV色 彩空間（色調、飽和度及強度）中之相同色輪移位大約1 〇9度 而導出YCbCr色調及飽和度色輪1270。如圖所示，圖1270 包括表示在0至1之範圍内之飽和度乘數的圓周值，以 及表示Θ(如上文所定義，在介於〇至360。之間的範圍内）之 角值。每一 Θ可表示不同之色彩（例如，49。=洋紅色、 109°=紅色、229。=綠色等）。在特定色調角度θ下之色彩的 色調可藉由選擇適當之飽和度乘數S而調整。 返回參看圖132，色調角度θ(在全域色調控制區塊1264 中所計算）可用作Cb飽和度查找表1268及Cr飽和度查找表 1269的索引。在一實施例中，飽和度查找表1268及1269可 含有在自0變化至360。之色調中均勻分佈的256個飽和度值 (例如’第一查找表輸入項處於〇。且最後輸入項處於 360°)，且可經由查找表中之飽和度值恰好在當前色調角 度Θ下方及上方的線性内插而判定在給定像素處的飽和度 值s。藉由將全域飽和度值（其可為針對cb&Cr中之每一者 的全域常數）與所判定之基於色調的飽和度值相乘來獲得 159040.doc •242- 201225631 針對Cb及Cr分量中之每一者的最終飽和度值。因此，可藉 由將Cbadj及Cradj與其各別最終飽和度值相乘來判定最終經 校正cb’及cv值，如在基於色調之飽和度控制區塊1266中 所示。 此後，將BCC邏輯1184之輸出傳遞至YCbCr伽瑪調整邏 輯1185，如圖126所示。在一實施例中，伽瑪調整邏輯 1185可針對Y、Cb及Cr通道提供非線性映射功能。舉例而 言，輸入Y、Cb及Cr值映射至對應輸出值。又，在假設 • YCbCr資料係以10位元處理的情況下，可利用内插10位元 256輸入項查找表《可提供三個此等查找表，其中γ、cb 及Cr通道中之每一者有一個查找表。該256個輸入項中之 每一者可均勻地分佈，且輸出可藉由映射至索引之輸出值 恰好在當前輸入索引上方及下方的線性内插而判定。在一 些實施例t，亦可使用具有1〇24個輸入項（用於1〇位元資 料）之非内插查找表，但其可具有顯著更大的記憶體要 求。應瞭解，藉由調整查找表之輸出值，YCbCr伽瑪調整 _ 功月b亦可用以執行某些影像滤波器效應，諸如黑白、掠色 色調、負影像、曝曬等等。 接下來，色度整數倍降低取樣可藉由色度整數倍降低取 樣邏輯1186應用於伽瑪調整邏輯1185的輸出。在—實施例 中，色度整數倍降低取樣邏輯1186可經組態以執行水平整 數倍降低取樣而將YCbCr資料自4:4:4格式轉換至4:2:2格 式，其中色度（Cr及Cr)資訊係以明度資料之半速率次取 樣。僅藉由實例，可藉由將7分接頭低通濾波器（諸如，半 159040.doc •243- 201225631 頻帶蘭索士（lanczos)濾波器）應用於一組7個水平像素而執 行整數倍降低取樣，如下文所示： CO X in(i - 3) + Cl X in{i - 2) + C2 x in(i -1) + C3 x in{i) + ^_C4x in(i +1) + C5 x in(i+2)+C6x in(i + 3)
Jli-， (112) 其中in(i)表示輸入像素（cb或Cr)，且C0-C6表示7分接頭遽 波器之濾波係數。每一輸入像素具有獨立的濾波器係數 (C0-C6)，以允許色度濾波樣本之彈性相位位移。 此外，在一些例子甲，色度整數倍降低取樣亦可在無濾 波之情況下執行。當來源影像最初以4:2:2格式接收但升取 隹 樣至4:4:4格式以供YCbCr處理時，此可為有用的。在此狀 況下’所得的經整數倍降低取樣之4:2:2影像與原本影像相 同。 隨後’自色度整數倍降低取樣邏輯1186所輸出之YCbCr 資料了在自YCbCr處理區塊904輸出之前使用按比例縮放 邏輯1187來按比例縮放。按比例縮放邏輯1187之功能可類 似於在前端像素處理單元15〇之分格化儲存補償濾波器Μ〗 中的按比例縮放邏輯709、710之功能性，如上文參看圖59 φ 所响述。舉例而言，按比例縮放邏輯1187可執行水平及垂 直按比例縮放作為兩個步驟。在一實施例中，5分接頭多 相濾波器可用於垂直按比例縮放，且9分接頭多相濾波器 可用於水平按比例縮放。多分接頭多相遽波器可將自來源 影:象所選擇之像素乘以加權因子（例如，漉波器係數），且 接著對輸出求和以形成目的地像素。所選擇之像素可取決 I59040.doc •244- 201225631 於當前像素位置及渡波器分接頭之數目而選擇。舉心 言，在垂直5分接頭濾波器之情況下，當前像素之每一垂 直側上的兩個相鄰像素可被選擇，且在水平9分接頭濾波 器之情況下，當前像素之每一水平側上的四個相鄰像：可 被選擇。滤波係數可自查找表提供，且可藉由當前像素門 小數位置判定。接著自YCbCr處理區塊9〇4輸出按比㈣ 放邏輯1187之輸出926。
返回至圖經處理輸出信號似可發送至記憶體⑽， 或根據圖7所不之影像處理電路32的實施例，可作為影像 信號114自聊管道處理邏輯82輸出至顯示硬體（例如〜顯 示器28)以供使用者檢視’或至壓縮引擎⑽，編碼器 118)。在-些實施例中，影像信號114可藉由圖形處理單 元及二或壓縮引擎進一步處理’且在解壓縮且提供至顯示 器之前被儲存。另夕卜，—或多個圖框緩衝器亦可被提供以 控制輸出至顯示器之影像資料的緩衝，尤其關於視訊影像 資料。此外，在提供ISP後端處理邏輯12〇之實施例㈠列 如’圖8)中’可在下游發送影像信W14以賴外之後處 理步驟’如以下章節令將論述。 ISP後端處理邏輯 上文已詳細描述了1卯前端邏輯80及ISP管線82,本論述 現將焦點移至上文在圖8中所描繪之isp後端處理邏輯 120 ^如上文所論述’ ISp後端邏輯12〇通常用以接收藉由 ISP s線82所提供或來自記憶體1〇8之經處理影像資料(信 號124)，且執行額外的影像後處理操作（亦即，在將影像資 I59040.doc -245· 201225631 料輸出至顯示裝置28之前）。 在圖134中描繪展示ISP後端邏輯120之一實施例的方塊 圖。如所說明，ISP後端處理邏輯120可包括特徵偵測邏輯 22〇〇，局域色調映射邏輯（LTM)2202，亮度、對比度及色 彩調整邏輯2204，按比例縮放邏輯2206及後端統計單元 2208。特徵偵測邏輯2200在一實施例中可包括面部偵測邏 輯，且可經組態以識別影像圖框中之面部/面部特徵的（多 個）位置’此處藉由參考數字2201所示。在其他實施例 中’特徵偵測邏輯2200亦可經組態以偵測其他類型之特徵 (諸如，影像圖框中之物件的隅角）的位置。舉例而言，此 資料可用以識別連續影像圖框中之特徵的位置以便判定圖 框之間的全域運動之估計，其可接著用以執行某些影像處 理操作（諸如，影像對位）。在一實施例中，隅角特徵及其 類似者之識別針對組合多個影像圖框之演算法（諸如，在 某些高動態範圍（HDR)成像演算法中）以及某些全景拼接演 算法可尤其有用。 為簡單性起見，特徵偵測邏輯22〇〇將在下文之描述中被 稱為面部_邏輯H應理解，邏輯2不欲僅限於 面部㈣邏輯’且可經組態以代替面部特徵或除了面部特 徵之外亦偵測其他類型之特徵。舉例而言，在一實施例 中，邏輯2200可❹】隅角特徵（如上文所論述），且特徵偵 測邏輯2200之輸出2201可包括隅角特徵。 面部伯測邏輯細可經組態以接收藉由ISP管線82所提 供之YCX：影像資料114或可自按比例縮放邏輯纖接收減 159040.doc -246- 201225631 少解析度影像（藉由信號2207所表示），且偵測對應於所選 擇之影像資料的影像圖框内之面部及/或面部特徵之地點 及位置《如圖134所示’至面部偵測邏輯22〇〇之輸入可包 括選擇電路2196 ’選擇電路2196自ISP管線82接收YCC影 像資料114且自按比例縮放邏輯2206接收減少解析度影像 2207。可藉由ISP控制邏輯84(例如，執行韌體之處理器）提 供之控制信號可判定哪一輸入提供至面部偵測邏輯22〇〇。 面部/面部特徵之所偵測位置（此處藉由信號2 2 〇丨所表示） 可作為回饋資料提供至一或多個上游處理單元以及一或多 個下游單元。藉由實例’資料22〇1可表示面部或面部特徵 出現於本影像圖框内之位置。在一些實施例中，資料22〇 i 可包括減少解析度變換影像，該影像可提供用於面部偵測 之額外資訊。此外，在一些實施例中，面部偵測邏輯22〇〇 "T利用面部偵測演算法（諸如，Viola-Jones面部/物件彳貞測 演算法），或可利用適用於偵測影像中之面部特徵的任何 其他演算法、變換，或圖案偵測/匹配技術。 在所說明實施例中’面部偵測資料2201可回饋至控制邏 輯84 ’控制邏輯84可表示執行用於控制影像處理電路32之 勒體的處理器。在一實施例中，控制邏輯84可將資料22〇丄 k供至則端統δ十控制迴路（例如，包括圖1〇之isp前端邏 輯的前端統計處理單元（142及144))，藉此統計處理單元 142或144可利用回饋資料2201來定位適當的（多個）視窗及/ 或選擇用於自動白平衡、自動曝光及自動聚焦處理之特定 發光塊。應瞭解’改良含有面部特徵之影像區域的色彩 159040.doc •247· 201225631 及/或色調準確度可產生表現為使檢視者更審美愉快的影 像。如下文將進一步論述’資料2201亦可提供至LTM邏輯 22〇2、後端統計單元2208以及編碼器/解碼器區塊丨丨8。 LTM邏輯2202亦可自ISP管線82接收YCC影像資料114。 如上文所論述’ LTM邏輯2202可經組態以將色調映射應用 於影像資料114。應瞭解’色調映射技術可用於影像處理 應用中以將一組像素值映射至另一組。在輸入影像及輸出 影像具有相同之位元精確度之例子中，色調映射可能並非 必要的，但一些實施例可在無壓縮之情況下應用色調映射 以便改良輸出影像中的對比度特性（例如，以使明亮區域 表現為較暗且黑暗區域表現為較亮）。然而，當輸入影像 及輸出影像具有不同之位元精確度時，可應用色調映射以 將輸入影像值映射至輸入影像之輸出範圍的對應值。舉例 而言，場景可具有25,000:1或更大之動態範圍，而壓縮標 準可為顯示目的允許低得多的範圍（例如，256:1)，且有時 為印刷而允許甚至更低的範圍（例如，1〇〇:1)。 因此，僅藉由實例，色調映射在一情形中可為有用的， 諸如當表達為1〇位元或更大之精確度的影像資料待以較低 精確度格式輸出（諸如，8位元JPEG影像）時。另外，當應 用於高動態範圍（HDR)影像時，色調映射可為尤其有用 的。在數位影像處理中’藉由以不同之曝光位準獲取場景 之多個影像且組合或合成影像以產生具有高於可使用單次 曝光達成之動態範圍的動態範圍之影像，可產生影 像。此外，在-些成像系統中，影像感測器（例如，感測 159040.doc •248- 201225631 器90a、90b)可經組態以獲取HDR影像而無需組合多個影 像來產生複合HDR影像。 所說明實施例之LTM邏輯2202可利用可基於影像圖框内 之局域特徵判定的局域色調映射運算子（例如，空間變化 的）。舉例而言，局域色調映射運算子可為基於區域的， 且可基於影像圖框之特定區域内的内容而局域地改變。僅 藉由實例’局域色調映射運算子可基於梯度域HDR壓縮、 相片色調複製或Retinex®影像處理。
應瞭解’當應用於影像時’局域色調映射技術可通常產 生具有改良之對比度特性且可相對於使用全域色調映射所 處理之影像表現為使檢視者更審美愉快的輸出影像。圖 135及圖136說明與全域色調映射相關聯之缺點中的一些。 舉例而言，參看圖135，曲線圖2400表示具有輸入範圍 2401之輸入影像至輸出範圍24〇3的色調映射。輸入影像中 之色調的範圍係藉由曲線2402表示，其中值2404表示影像 之明亮區域且值2406表示影像的黑暗區域。 藉由貫例，在一實施例中，輸入影像之範圍24〇丨可具有 12位元精確度（0-4095)，且可映射至具有8位元精確度（〇_ 255，例如，JPEG影像）的輸出範圍24〇3。圖135展示線性 色調映射程序，其中曲線24〇2線性地映射至曲線241〇 ^如 所說明，圖135所示之色調映射程序的結果導致對應於輸 入影像之明亮區域的範圍24〇4壓縮至較小範圍24 i 2，且亦 對應於輸入景夕像之黑暗區域的範圍24〇6壓缩至較小範 圍2414。黑暗區域(例如’陰影)及明亮區域之色調範圍的 159040.doc -249- 201225631 減小可能不利地影響對比度性質’且可表現為使檢視者審 美不愉快。 參看圖136，如圖i76a所示，解決與「明亮」範圍24〇4 之壓縮（麗縮至範圍2412)及「黑暗」範圍24〇6之壓縮（壓縮 至範圍24U)相關聯的問題之—方法係、使用非線性色調映 射技術。舉例而言，在圖136中，使用非線性「s」形曲線 (或S曲線）2422映射表示輸入影像之色調曲線24〇2。由於 非線性映射，輸入範圍2404之明亮部分映射至輸出範圍 2424之明亮部分，且類似地，輸入範園24〇6之黑暗部分映 射至輸出範圍2426的黑暗部分。如圖所示，圖136之輸出 影像的明亮範圍2424及黑暗範圍2426大於圖135之輸出影 像的明亮範圍2412及黑暗範圍2414，且由此保留輸入影像 之更多明亮及黑暗内容。然而，歸因於圖i 3 6之映射技術 的非線性（例如，S曲線）態樣，輸出影像之中間範圍值 2428可表現得較平坦，其亦可使檢視者審美不愉快。 因此，本發明之實施例可使用局域色調映射運算子實施 局域色調映射來處理當前影像圖框的離散區段，該影像圖 框可基於影像内之局域特徵（諸如，亮度特性）分割為多個 區域。舉例而言，如圖137所示，藉由ISP後端邏輯120所 接收之影像圖框的部分2430可包括明亮區域2432及黑暗區 域2434。藉由實例’明亮區域2432可表示影像之光區域 (諸如’天空或地平線），而黑暗區域可表示相對較黑暗之 影像區域（諸如’前景或風景局域色調映射可針對區域 2432及2434中之每一者單獨應用以產生相對於上文所論述 159040.doc •250· 201225631 之全域色調映射技術保留輸入影像之更大動態範圍的輸出 影像，由此改良局域對比度且提供使檢視者更審美愉快的 輸出影像。 在圖13 8及圖139中藉由實例展示局域色調映射可在本實 施例中實施之方式的實例。特定言之，圖138描繪可在一 些例子中導致有限輸出範圍之習知局域色調映射技術’且 圖139描繪可藉由LTM邏輯2202實施的可使用全輸出範圍 的適應性局域色調映射程序（即使輸入範圍之一部分未藉 由影像圖框使用）。 首先參看圖138，曲線圖2440表示將局域色調映射應用 於較南位元精確度之輸入影像以產生較低位元精確度的輸 出影像。舉例而言，在所說明實例中，較高位元精確度之 輸入影像資料可為經色調映射以產生8位元輸出（具有256 個輸出值（例如，0-255))(此處藉由範圍2444表示）的12位元 影像資料（具有4096個輸入值（例如，值〇_4〇95))(如藉由範 圍2442表示）。應理解，位元深度僅意謂提供實例，且不 應解釋為以任何方式限制。舉例而言，在其他實施例中， 輸入影像可為8位元、10位元、14位元或16位元等，且輸 出影像可具有大於或小於8位元精確度的位元深度。 此處’假設局域色調映射所應用於之影像區域僅利用全 輸入動態範圍之一部分’諸如藉由值0_丨〇23所表示的範圍 2448。舉例而言，此等輸入值可對應於圖Π7所示之黑暗 區域2434的值。圖138展示4096(12位元）輸入值至256(8位 元）輸出值的線性映射。因此’在自〇變化至4〇95之值映射 159040.doc -251 - 201225631 至輸出動態範圍2444之值0-255的同時，全輸入範圍2442 之未使用部分2450(值1024-4095)映射至輸出範圍2444的部 分2454(值64-255) ’藉此僅留下輸出值〇_63(輸出範圍2444 之部分2452)可用於表示輸入範圍的經利用部分2448(值〇_ 1023)。換言之，此線性局域色調映射技術不考慮是否映 射未使用值或值範圍。此導致輸出值（例如，2444)之一部 分（例如，2C4)經分派以用於表示實際上不存在於本局域 色調映射操作（例如，曲線圖2440)所施加至之影像圖框區 域（例如，2434)中的輸入值，藉此減少可用以表達存在於 經處理當前區域中之輸入值（例如，範圍2448)的可用輸出 值（例如，2452) » 記住前述内容，圖139說明可根據本發明之實施例實施 的局域色調映射技術。此處，在執行輪入範圍2442(例 如，12位元）至輸出範圍2444(例如，8位元）之映射之前， LTM邏輯2202可經組態以首先判定輸入範圍2442的經利用 範圍。舉例而言，假設區域為大體上黑暗區域，對應於在 彼區域内之色彩的輸入值僅可利用全範圍2442的子範圍， 諸如2448(例如，值0_1023p亦即，子範圍以^表示存在 於經處理影像圖框之特定區域中的實際動態範圍。因此， 由於值1024-4095(未使用之子範圍245〇)未用於此區域中， 因此經利用範圍2448可首先經映射且擴展以利用全範圍 2442，如藉由擴展程序2472所示。亦即，因為值ι〇24_ 4095未用於經處理影像的當前區域内，所以其可用以表達 經利用部分（例如’ 0-1023)β結果’可使用額外值（此處近 159040.doc -252· 201225631 似為額外輸入值的三倍）來表達輸入範圍之經利用部分 2448 〇 接下來，如藉由程序2474所示，擴展之經利用輸入範圍 (擴展至值0-4095)可隨後映射至輸出值〇_255(輸出範圍 244句。因此，如圖139所描繪，由於首先擴展輸入值之經 利用範圍2448來使用全輸入範圍（0-4095)，可使用全輸出 範圍2444(值0-255)而非輸出範圍之僅一部分（如圖138所 不）來表達輸入值的經利用範圍2448。 在繼續之前，應注意，儘管被稱為局域色調映射區塊， 但LTM邏輯2202亦可經組態以在一些例子中實施全域色調 映射舉例而言，在影像圖框包括具有大體上均一特性之 影像場景（例如，天空之場景）的情況下，色調映射所應用 於之區域可包括整個圖框。亦即，同一色調映射運算子可 應用於圖框的所有像素。返回至圖134，LTM邏輯2202亦 可自面部偵測邏輯2200接收資料2201，且在一些例子中可 利用此資料來識別當前影像圖框内的被應用色調映射之一 或多個局域區域。因此，來自應用上文所述之局域色調映 射技術中之一或多者的最終結果可為使檢視者更審美愉快 的影像。 LTM邏輯2202之輸出可提供至亮度、對比度及色彩調整 (BCC)邏輯2204。在所描繪實施例中，BCC邏輯22〇4可與 ISP管線之YCbCr處理邏輯9〇4的BCC邏輯1184大體上相同 來實施，如圖132所示，且可提供大體上類似之功能性來 提供亮度、對比度、色調及/或飽和度控制。因此，為避 159040.doc -253- 201225631 免冗餘’本實施例之BCC邏輯2204並未在此處再描述，但 應被理解為與圖132之先前所述的BCC邏輯1184相同。 接下來’按比例縮放邏輯2206可接收BCC邏輯2204之輸 出，且可經組態以按比例縮放表示當前影像圖框的影像資 料。舉例而言，當影像圖框之實際大小或解析度（例如， 以像素為單位）不同於預期或所要輸出大小時，按比例縮 放邏輯2206可相應地按比例縮放數位影像以達成所要大小 或解析度的輸出影像《如圖所示，按比例縮放邏輯22〇6之 輸出126可發送至顯示裝置28以供使用者檢視或發送至記 憶體108。另外，輸出126亦可提供至壓縮/解壓縮引擎118 以用於編碼/解碼影像資料。經編碼之影像資料可以壓縮 格式儲存且接著稍後在顯示於顯示器28裝置上之前被解壓 縮。 此外，在一些實施例中，按比例縮放邏輯22〇6可使用多 個解析度按比例縮放影像資料。藉由實例，當所要之輸出 影像解析度為720P(1280 X 720個像素）時，按比例縮放邏 輯可相應地按比例縮放影像圖框以提供72〇p輸出影像，且 亦可提供可充當預覽或縮圖影像的較低解析度影像。舉例 而口在裝置上執行之應用程式（諸如，在多個型號之 iPhone®上可用之「Ph〇t〇s」應用程式或在某些型號之 iPhone®、MacBook®及iMac⑧電腦（全部自 Apple Inc 可得） 上可用的iPhoto®及iMovie®應用程式）可允許使用者檢視 儲存於電子裝置10上之視訊或靜止影像之預覽版本的清 單。在選擇所儲存影像或視訊後，電子裝置即可以全解析 159040.doc •254- 201225631 度顯示及/或播放所選擇的影像或視訊。 在所說明實施例中，按比例縮放邏輯2206亦可將資訊 2203提供至後端統計區塊2208，後端統計區塊2208可利用 按比例縮放邏輯2206以用於後端統計處理。舉例而言，在 一實施例中’後端統計邏輯2208可處理按比例縮放之影像 資訊2203以判定用於調變與編碼器i丨8相關聯之量化參數 (例如’每巨集區塊之量化參數）的一或多個參數，編碼器 118在一實施例中可為11.264/吓£0編碼器/解碼器。舉例而 言，在一實施例中’後端統計邏輯2208可藉由巨集區塊分 析影像以判定每一巨集區塊的頻率含量參數或分值。舉例 而言，在一些實施例中，後端統計邏輯2206可使用諸如子 波壓縮、快速傅立葉變換或離線餘弦變換（DCT)之技術來 判定每一巨集區塊的頻率分值。使用頻率分值，編碼器 118可能能夠調變量化參數以跨越構成影像圖框之巨集區 塊達成（例如）大體上均勻之影像品質。舉例而言，若頻率 含量之向方差存在於特定巨集區塊中，則可更主動地對彼 巨集區塊施加壓縮《如圖134所示，按比例縮放邏輯2206 亦可藉由至選擇電路2196(其可為多工器或某其他合適類 型之選擇邏輯）之輸入將減少解析度影像（此處藉由參考數 字2207來表示）提供至面部偵測邏輯22〇〇。因此，選擇電 路2196之輸出2198可為來自ISP管線82之YCC輸入114抑或 來自按比例縮放邏輯2206的按比例縮小之YCC影像2207。 在一些實施例中，後端統計資料及/或編碼器118可經組 態以預測及彳貞測場景改變。舉例而言，後端統計邏輯22〇8 159040.doc -255 - 201225631 可經組態以獲取運動統計。編碼器118可嘗試藉由比較當 前圖框與先前圖框之藉由後端統計邏輯22〇8所提供的運動 =冲（其可包括某些量度（例如，亮度））而預測場景改變。 當量度之差大於特定臨限.值時，預測到場景改變，後端統 十邏輯2208可用k號通知場景改變。在一些實施例中，可 使用加權預測，此係由於固定臨限值歸因於可藉由裝置1〇 俘獲及處理之影像的多樣性可能並非始終理想的。另外， 亦可取决於經處理影像資料的某些特性而使用多個臨限 值。 如上文所論述，面部偵測資料22〇1亦可提供至後端統計 邏輯2208及編瑪器118，如圖134所示。此處，後端統計資 料及/或編碼器i i 8可在後端處理期間利用面部偵測資料 2201連同巨集區塊頻率資訊。|例而言’量化可針對對應 於影像圖框内之面部之位置的巨集區塊減小，如使用面部 债測資料22G1所判定，由此改良存在於使裝置辦 顯示之影像中的經編碼之面部及面部特徵的視覺外觀及整 體品質。 現參看圖140 ,根據一實施例說明展示LTM邏輯22〇2之 更詳細視圖的方塊圖。如圖所示，在首先將來自isp管線 82之YC1C2影像資料114轉換為伽瑪校正之rgb線性色彩 空間之後，應用色調映射。舉例而言，如圖14〇所示，邏 輯2208可首先將YC1C2(例如，YCbCr)資料轉換至非線性 sRGB色彩空間。在本實施例中，LTM邏輯22〇2可經組態 以接收具有不同之子取樣特性的YCC影像資料。舉例而 159040.doc •256· 201225631 言，如藉由至選擇邏輯2205(例如，多工器）之輸入114所 示，LTM邏輯2202可經組態以接收YCC 4:4:4全資料、 YCC 4:2:2色度子取樣資料，或YCC 4:2:0色度子取樣資 料。針對子取樣YCC影像資料格式，可應用升轉換邏輯 2209在子取樣YCC影像資料藉由邏輯2208轉換至sRGB色 彩空間之前將子取樣YCC影像資料轉換至YCC 4:4:4格 式。 經轉換sRGB影像資料（此處藉由參考數字2210表示）可接 著藉由邏輯2212轉換為10381^^色彩空間（其為伽瑪校正線 性空間）。此後，經轉換RGBlinear影像資料2214提供至LTM 邏輯2216，LTM邏輯2216可經組態以識別影像圖框中之共 用類似亮度的區域（例如，圖137之2432及2434)且將局域色 調映射應用於彼等區域。如本實施例所示，LTM邏輯2216 亦可自面部偵測邏輯2200(圖134)接收參數2201，該等參數 2201可指示當前影像圖框内的存在面部及/或面部特徵之 地點及位置。
在將局域色調映射應用於RGBlinear資料2214之後，藉由 首先使用邏輯2222將經處理RGBlinear*像資料2220轉換回 至sRGB色彩空間，且接著使用邏輯2226將sRGB影像資料 2224轉換回為YC1C2色彩空間，經處理影像資料2220接著 轉換回為YC1C2色彩空間。因此，經轉換YC1C2資料 2228(在應用色調映射之情況下）可自LTM邏輯2202輸出且 提供至BCC邏輯2204，如上文在圖134中所論述。應瞭 解，可使用類似於將解馬赛克之RGB影像資料轉換為ISP 159040.doc -257- 201225631 管線82之RGB處理邏輯902中的YC1C2色彩空間之技術來 實施將影像資料114轉換為在ISP後端LTM邏輯區塊2202内 所利用的各種色彩空間，如上文在圖125中所論述。此 外，在YCC經升轉換（例如’使用邏輯2209)之實施例中， YC1C2資料可藉由邏輯2226降轉換（子取樣）。另外，在其 他實施例中，此子取樣/降轉換亦可藉由按比例縮放邏輯 2206而非邏輯2226來執行。
儘管本實施例展示自YCC色彩空間轉換至srgB色彩空 間且接著轉換至SRGB linear 色彩空間之轉換程序，但其他實 施例可利用差分色彩空間轉換或可使用冪函數來應用近似 變換。亦即，在一些實施例中，轉換至近似線性之色彩空 間針對局域色調映射目的可為足夠的。因此，使用近似變 換功忐，此等實施例之轉換邏輯可至少部分地簡化（例 如，藉由移除對色彩空間轉換查找表的需要在另一實 施例中，亦可在對人眼而言感知更好的色彩空間（諸如， Lab色彩空間）中執行局域色調映射。 圖141及圖142展示描繪根據所揭示實施例的用於使用 ISP後端處理邏輯120處理影像資料之方法的流程圖。首先 參看圖Ml ’描繪大體上說明藉由lsp後端處理邏輯對 影像資料之處理的方法2230。在步驟2232處開始，方法 2230自ISP管線82接收YCC影像資料。舉例而言，如上文 所响述，所接收之YCC影像資料可處於YCbCr明度及色度 色彩工間接下來，方法2232可出現分支至步驟2234及 2238中之每者。在步驟2234處，可處理所接收之代^影 159040.doc •258· 201225631 像資料以偵測當前影像圖框内之面部及/或面部特徵的位 置/地點。舉例而言，參看圖134，可使用面部偵測邏輯 2200來執行此步驟’面部偵測邏輯2200可經組態以實施面 P偵'則肩算法（諸如，Viola-Jones)。此後，在步驟2236 處，可將面部偵測資料（例如，資料2201)提供至ISP控制邏 輯84作為對isp削端統計處理單元ία或丨44之回饋，以及 提供至LTM邏輯區塊2202、後端統計邏輯2208及編碼器/解 碼器邏輯118 ’如圖134所示。 在可至少部分地與步驟2234同時發生之步驟2238處，處 理自ISP管線82所接收之YCC影像資料以應用色調映射。 此後，方法2230繼續至步驟2240，藉此進一步處理Ycc影 像資料（例如，2228)以供亮度、對比度及色彩調整（例如， 使用BCC邏輯2204^隨後，在步驟2242處，將按比例縮 放應用於來自步驟2240之影像資料以便將該影像資料按比 例縮放至一或多個所要大小或解析度。另外，如上文所提 及，在一些實施例令，亦可應用色彩空間轉換或子取樣 (例如，在YCC資料經升取樣以供局域色調映射之實施例 中）以產生具有所要取樣的輸出影像。最終，在步驟2244 處，可顯示按比例縮放之YCC影像資料以供檢視（例如， 使用顯示裝置28)或可將其儲存於記憶體1〇8中以供稍後檢 視。 圖142更詳細地說明圖141之色調映射步驟2238。舉例而 言，步驟2238可以子步驟2248開始，其中首先將在步驟 2232處所接收之YCC影像資料轉換至汰〇8色彩空間。如 159040.doc -259- 201225631 上文所論述及圖140所示’ 一些實施例可在經子取樣之 YCC影像資料轉換至sRGB空間之前提供該資料的升轉 換。此後，在子步驟2250處，將SRGB影像資料轉換至伽 瑪校正線性色彩空間RGBlinear。接下來，在子步驟2252 處，藉由ISP後端LTM邏輯區塊2202之色調映射邏輯2216 將色調映射應用於RGBlinear資料。可接著將來自子步驟 2252之經色調映射之影像資料自RGBnnear色彩空間轉換回 至sRGB色彩空間，如在子步驟2254處所示。此後，在子 步驟2256處，可將sRGB影像資料轉換回至Ycc色彩空 間，且方法2230之步驟2238可繼續至步驟224〇，如圖141 所論述。如上文所提及，圖142所示之程序2238僅意欲為 用於以適用於局域色調映射之方式應用色彩空間轉換的一 程序。在其他實施例中，近似線性轉換亦可代替所說明之 轉換步驟而應用。 應理解，僅藉由實例在本文中提供上文所述且與有缺陷 像素偵測及校正、透鏡遮光校正、解馬赛克及影像清晰化 相關的各種影像處理技術。因此’應理解，本發明不應被 解釋為僅限於上文所提供之實例》實際上，本文所描纟會之 例示性邏輯在其他實施例中可經受多個變化及/或額外特 徵。此外，應瞭解，可以任何合適方式來實施上文所論述 之技術。舉例而言，影像處理電路32且尤其是181>前端區 塊80及ISP管道區塊82之組件可使用硬體（例如，合適組熊 之電路）、軟體（例如，經由包括儲存於一或多個有形電腦 可讀媒體上之可執行程式碼的電腦程式），或經由使用硬 159040.doc -260· 201225631 體元件與軟體元件兩者之組合來實施。 已藉由實例展示上文所描述之特定實施例，且應理解’ 此等實施例可能容易經受各種修改及替代形式。應進一步 理解’申請專利範圍不意欲限於所揭示之特定形式，而是 涵蓋屬於本發明之精神及範疇的所有修改、等效物及替代 例0 【圖式簡單說明】 圖1為描繪電子裝置之一實例之組件的簡化方塊圖，該 電子裝置包括經組態以實施本發明中所闡述之影像處理技 術中之一或多者的成像裝置及影像處理電路； 圖2展示可實施於圖丨之成像裝置中的拜耳彩色濾光片陣 列之2 X 2像素區塊的圖形表示； 圖3為根據本發明之態樣的呈膝上型計算裝置之形式的 圖1之電子裝置的透視圖； 圖4為根據本發明之態樣的呈桌上型計算裝置之形式的 圖1之電子裝置的前視圖； ^ 圖5為根據本發明之態樣的呈手持型攜帶型電子裝置之 形式的圖1之電子裝置的前視圖； 圓6為圖5所示之電子裝置的後視圖； 圖7為說明根據本發明之態樣的包括前端影像信號處理 (ISP)邏輯及ISP管道處理邏輯的圖丨之影像處理電路之 施例的方塊圖； 圖8為說明根據本發明之態樣的包括前端影像信號處理 (isp)邏輯、ISPf道（管線）處理邏輯及isp後端處理邏輯的 159040.doc -261- 201225631 圖1之影像處理電路之另—實施例的方塊圖； 圖9為描繪根據本發明之態樣的用於使用圖7抑或圖8之 影像處理電路處理影像資料之方㈣流程圖； 圖10為展不根據本發明之態樣的可實施於圖7或圖8中之 ISP前端邏輯之—實施例的更詳細方塊圖； 圖11為描繪根據—實施例的用於處理圖之前端邏 輯中之影像資料的方法之流程圖； 圖12為說明根據—實施例的可用於處理聊前端邏輯中 之影像資料的雙重緩衝暫存器及控制暫存器之一組態的方 塊圖； 圖13至圖15為描繪根據本發明技術之實施例的用於觸發 影像圖框之處理之不同模式的時序圖； 圖16為根據-實施例更詳細地料控制暫存器的圖式，· 圖17為描繪用於在圖1()之lsp前端邏輯係、在單感測器模 式中操作時使帛别端像素處理單元來處理影像圖框之方法 的流程圖； 圖18為描繪用於在圖1〇之财前端邏輯係在雙感測器模 式中操作時使用前端像素處理單元來處理影I圖框之方法 的流程圖； 圖1。9為描繪用於在圖1〇之咖前端邏輯係在雙感測器模 式中操作時使用前端像素處理單元來處理影像圖框之方法 的流程圖； 圖2 0為描緣根據—實施例的兩個影像感測器為作用中之 方法的流程圖’但其中第一影像感測器正將影像圖框發送 159040.doc •262· 201225631 至前端像素處理單元，而第二影像感測器正將影像圖框發 送至統計處理單元，使得在第二影像感測器於稱後時間繼 〇像圖框發送至前端像素處理單元時第二感測器之成 像統計立即可用。 圖21為根據本發明之態樣的可應用於儲存於圖丨之電子 裝置之記憶冑中的像素格式之線性記憶體定址格式的圖形 描繪； 圖22為根據本發明之態樣的可應用於儲存於圖丨之電子 φ I置之a己憶體中的像素格式之發光塊式記憶體定址格式的 圖形描繪； 圖23為根據本發明之態樣的可界定於藉由影像感測器所 俘獲之來源影像圖框内之各種成像區域的圖形描繪； 圖24為用於使用ISP前端處理單元來處理影像圖框之重 疊的垂直條帶的技術之圖形描繪； 圖25為描繪根據本發明之態樣的可使用交換碼將位元組 交換應用於來自記憶體之傳入影像像素資料之方式的圖 •式； 圖26至圖29展示根據本發明之實施例的可藉由圖7或圖8 之影像處理電路支援的原始影像資料之記憶體格式的實 例； 圖3 0至圖34展示根據本發明之實施例的可藉由圖7或圖8 之影像處理電路支援的全色RGB影像資料之記憶體格式的 實例； 圖35至圖36展示根據本發明之實施例的可藉由圖7或圖8 159040.doc -263· 201225631 之影像處理電路支援的明度/色度影像資料（YUV/YC1C2) 之記憶體格式的實例； 圖3 7展示根據本發明之態樣的以線性定址格式判定記憶 體中之圖框位置之方式的實例； 圖3 8展示根據本發明之態樣的以發光塊定址格式判定記 憶體中之圖框位置之方式的實例； 圖39為根據本發明之一實施例的描繪可執行溢位處置之 方式的圖8之ISP電路的方塊圖； 圖40為描繪根據本發明之態樣的用於在溢位條件於影像 像素資料正自圖片記憶體讀取之同時發生時的溢位處置之 方法的流程圖； 圖41為描繪根據本發明之一實施例的用於在溢位條件於 影像像素㈣正自影像感測ϋ介面讀人之同時發生時的溢 位處置之方法的流程圖； 圖42為描繪根據本發明之另—實施例的用於在溢位條 於影像像素資料正自影像感測H介面讀人之同時發生時 溢位處置之另一方法的流程圖； 圖43 k供可藉由圖1之電 如 电卞裒置俘獲及儲存之影像（例 ，視訊）及對應音訊資料之圖形描繪； 於同步圖43之音 圖43之視訊資料 設資料的部分儲
圖44說明根據一實施例的可用以提供用 訊及視訊資料之時戳的一組暫存器； 圖45為根據本發明之態樣的可經俘獲為 之部分且展示時戳資訊可作為影像圖框後 存之方式的影像圖框之簡化表示； 159040.doc • 264 - 201225631 圖46為描繪根據一實施例的用於基於vs ync信號使用時 戳來同步影像資料與音訊資料之方法的流程圖； 圖47為根據本發明之一實施例的描繪可執行閃光時序控 制之方式的圖8之ISP電路的方塊圖； 圖4 8描繪根據本發明之一實施例的用於判定閃光啟動及 撤銷啟動時間的技術； 圖49為描繪用於基於圖48所示之技術判定閃光啟動時間 之方法的流程圖； 圖50為描繪根據本發明之態樣的用於使用預閃光來在使 用閃光獲取影像場景之前更新影像統計之方法的流程圖； 圖51為提供根據本發明之態樣的如圖1〇之18?前端邏輯 所不的ISP前端像素處理單元之一實施例之更詳細視圖的 方塊圖； 圖52為說明根據一實施例的時間濾波可應用於藉由圖51 所示之ISP前端像素處理單元所接收之影像像素資料的方 式之程序圖； 圖53說明可用以判定圖52所示之時間濾波程序之一或多 個參數的一組參考影像像素及一組對應當前影像像素； 圖54為說明根據一實施例的用於將時間濾波應用於一組 影像資料之當前影像像素之程序的流程圖； 圖55為展示根據一實施例的用於計算運動差量值以供圖 5 4之Μ前影像像素之時間j慮波使用的技術之流程圖； 圖56為說明根據另一實施例的用於將時間濾波應用於包 括影像資料之每一色彩分量之不同增益的使用的一組影像 159040.doc -265- 201225631 資料之當前影像像素之另-程序的流程圖； 5:7為說明根據另一實施例的時間濾波技術利用藉由圖 —一不之料處理單元所接㈣影像像素資料之 母一色彩分量之單獨運動及明度表的方式之程序圖； 圖58為說明根據另—實施例的用於將時間濾波應用於使 =圖5 7所不之運動及明度表的—組影像資料之當前影像像 素之程序的流程圖； 圖59描繪根據本發明之態樣的可藉由影像感測器俘獲之 全解析度原始影像資料的樣本； 圖60說明根據本發明之—實施例的影像感測器，該影像 感測器可經組態以將分格化儲存應用於圖59之全解析度原 始影像資料以輸出經分格化儲存之原始影像資料的樣本； 圖61描繪根據本發明之態樣的可藉由圖6 〇之影像感測器 提供之經分格化儲存之原始影像資料的樣本； 圖62描繪根據本發明之態樣的在被再取樣之後藉由分格 化儲存補償濾波器提供之來自圖61的經分格化儲存之原始 影像資料； 圖63描繪根據一實施例的可實施於圖5丨之ISp前端像素 處理單元中的分格化儲存補償濾波器； 圖64為根據本發明之態樣的可應用於微分分析器以選擇 用於分格化儲存補償濾波之中心輸入像素及索引/階段的 各種步長之圖形描繪； 圖65為說明根據一實施例的用於使用圖63之分格化儲存 補償濾波器來按比例縮放影像資料之程序的流程圖； 159040.doc -266 - 201225631 圖66為說明根據一實施例的用於判定針對藉由圖〇之分 格化儲存補償濾波器所進行之水平及垂直濾波的當前輸入 來源中心像素之程序的流程圖； 圖67為說明根據一實施例的用於判定針對藉由圖之分 格化儲存補償濾波器所進行之水平及垂直濾波的用於選擇 濾波係數之索引之程序的流程圖。 圖68為展示根據本發明之態樣的如圖1〇所示的可實施於 ISP前端處理邏輯中之統計處理單元之一實施例的更詳細 方塊圖； 圖69展示根據本發明之態樣的可在藉由圖⑽之統計處理 單元所進行的統計處理期間應用用於偵測且校正有缺陷像 素之技術時考慮的各種影像圖框邊界狀況； 圖70為說明根據一實施例的用於在統計處理期間執行有 缺陷像素偵測及校正之程序的流程圖； 圖71展示描繪成像裝置之習知透鏡之光強度對像素位置 的三維量變曲線； 圖72為展現跨越影像之非均一光強度的有色圖式該非 均一光強度可為透鏡遮光不規則性的結果； 圖73為根據本發明之態樣的包括透鏡遮光校正區域及增 益柵格之原始成像圖框的圖形說明； 圖74說明根據本發明之態樣的藉由四個定界栅格增益點 所封閉之影像像素之增益值的内插； 圖75為說明根據本發明技術之一實施例的用於判定可在 透鏡遮光校正操作期間應用於成像像素之内插增益值之程 159040.doc -267- 201225631 序的流程圖； 圖76為描繪根據本發明之態樣的可在執行透鏡遮光校正 時應用於展現圖71所示之光強度特性之影像的内插增益值 的三維量變曲線； 圖7 7展示根據本發明之態樣的在透鏡遮光校正操作被應 用之後展現改良之光強度均一性的來自圖72之有色圖式； 圖78用圖形說明根據一實施例的在當前像素與影像之中 心之間的徑向距離可計算且用以判定用於透鏡遮光校正之 徑向增益分量的方式； 圖79為說明根據本發明技術之一實施例的來自增益栅格 之徑向增益及内插增益藉以用以判定可在透鏡遮光校正操 作期間應用於成像像素之總增益之程序的流程圖； 圖80為展示色彩空間中之白色區域及低色溫轴與高色溫 轴的圖表； 圖81為展示根據一實施例的白平衡增益可經組態以用於 各種參考照明體條件之方式的表； 、 圖82為展示根據本發明之一實施例的可實施於〖π前端 處理邏輯中之統計收集引擎的方塊圖； 圖83說明根據本發明之態樣的原始拜耳細資料 樣； 圓84描繪根據-實施例的可藉由圖82之統計收集引擎收 集的二維色彩直方圖； 圖85描繪二維色彩直方圖内之變焦及平移； 圖86為展示根據-實施例的用於實施統計收集引擎之像 I59040.doc -268- 201225631 素渡波器之邏輯的更詳細視圖； 圖87為根據—實施例的C1-C2色彩空間 可基於針對像素濾波器所定義之像素條件而：：素的位置 圖形描繪； °干估之方式的 圖⑽為根據另一實施例的c【· c 2色彩空 置可基於針對像錢波器所定義之像素條 ，、的位 的圖形描繪； 、 °平估之方式
圖89為根據又一實施例⑽心色彩空間内 置可基於針轉錢波㈣定義之像素條 之方^ 的圖形描繪； 卞估之方式 圖9〇為展示根據一實施例的影像感測器積分時間 定以補償閃爍之方式的曲線圖； 圖91為展示根據一實施例的可實施於圖82之統計收集引 擎中且經組態以收集自動聚焦統計之邏輯的詳細方塊圖； 圖92為描繪根據一實施例的用於使用粗略及精細自動聚 焦刻痕值執行自動聚焦之技術的曲線圖； 圖93為描繪根據一實施例的用於使用粗略及精細自動聚 焦刻痕值執行自動聚焦之程序的流程圖； 圖94及圖95展示原始拜耳資料之整數倍降低取樣以獲得 經白平衡明度值； 圖96展示根據一實施例的用於使用每一色彩分量之相關 自動聚焦刻痕值執行自動聚焦的技術； 圖97為根據一實施例的圖68之統計處理單元的更詳細視 圖’其展示拜耳RGB直方圖資料可用以輔助黑階補償的方 159040.doc •269· 201225631 式； 圖8為展示根據本發明之態樣的圖7之up管道處理邏輯 之一實施例的方塊圖； 圖99為展示根據本發明之態樣的可實施於圖之I”管 道處理邏輯中的原始像素處理區塊之一實施例的更詳細視 園， 圖1 〇〇展示根據本發明之態樣的可在藉由圖99所示之原 始像素處理區塊所進行的處理期間應用用於價測且校正有 缺陷像素之技術時考慮的各種影像圖框邊界狀況； 圖1 〇 1至圖103為描繪根據一實施例的可執行於圖99之原 始像素處理區塊令的用於價測且校正有缺陷像素之各種程 序的流程圖； 圖展示根據本發明之態樣的可在藉由圖99之原始像 素處理邏輯所進行的處理期間應用綠色非均一性校正技術 時内插之拜耳衫像感測器之2x2像素區塊中的兩個綠色像 素的位置； 圖105說明根據本發明之態樣的包括中心像素及可用作 用於雜訊減少之水平濾波拜序之部分的相關聯水平相鄰像 素之一組像素； 圖106說明根據本發明之態樣的包括中心像素及可用作 用於雜訊減少之垂直濾波程序之部分的相關聯垂直相鄰像 素之一組像素； 圖107為描繪解馬賽克可應用於原始拜耳影像圖案以產 生全色RGB影像之方式的簡化流程圖； 159040.doc -270- 201225631 圖108描繪根據一實施例的可在拜耳影像圖案之解馬赛 克期間針對·内插綠色值導出水平能量分量及垂直能量分量 所自的拜耳影像圖案之一組像素； 圖1 〇 9展示根據本發明技術之態樣的濾波可在拜耳影像 圖案之解馬赛克期間所應用於以判定内插綠色值之水平分 量的一組水平像素； 圖11 〇展示根據本發明技術之態樣的濾波可在拜耳影像 圖案之解馬賽克期間所應用於以判定内插綠色值之垂直分 量的一組垂直像素； 圖111展示根據本發明技術之態樣的濾波可在拜耳影像 圖案之解馬賽克期間所應用於以判定内插紅色值及内插藍 色值的各種3X3像素區塊； 圖112至圖115提供描繪根據一實施例的用於在拜耳影像 圖案之解馬賽克期間内插綠色'紅色及藍色值之各種程序 的流程圖； 圖116展示可藉由影像感測器俘獲且根據本文所揭示之 解馬赛克技術之態樣處理之原本影像場景的有色圖式； 圖117展示圖116所示之影像場景之拜耳影像圖案的有色 圖式； 圖118展示使用習知解馬賽克技術基於圖i i 7之拜耳影像 圖案所重新建構之RGB影像的有色圖式； 圖Π9展示根據本文所揭示之解馬賽克技術之態樣自圖 117的拜耳影像圖案所重新建構之RGB影像的有色圖式； 圖120至圖123描繪根據一實施例的可在實施圖99之原妗 159040.doc -271· 201225631 之組態及配置；
像素處理區塊時使用的行緩衝器 圖124為展示根據一實施例的 圖127為根據本發明之態樣的如界定於使用【平面格式之 來源緩衝器内的明度及色度之作用中來源區域的圖形描 圖12 8為根據本發明之態樣的如界定於使用2平面格式之 來源緩衝器内的明度及色度之作用中來源區域的圖形描 繪； 圖129為說明根據一實施例的如圖126所示之可實施於 YCbCr處理區塊中之影像清晰化邏輯的方塊圖； 圖13 0為說明根據一實施例的如圖12 6所示之可實施於 YCbCr處理區塊中之邊緣增強邏輯的方塊圖； 圖131為展示根據本發明之態樣的色度衰減因子對清晰 化明度值之關係的曲線圖； 圖132為說明根據一實施例的如圖I26所示之可實施於 YCbCr處理區塊中之影像亮度、對比度及色彩（BCC)調整 邏輯的方塊圖； 圖133展示在YCbCr色彩空間中之色調及飽和度色輪， 159040.doc -272- 201225631 該色調及飽和度色輪界定可在圖132所示之BCC調整邏輯 中的色彩調整期間應用之各種色調角及飽和度值； 圖134為展示根據本發明之態樣的可經組態以執行ISp管 線之下游的各種後處理步驟的圖8之Isp後端處理邏輯之一 實施例的方塊圖； 圖135為展示習知全域色調映射技術之圖形說明； 圖136為展示另一習知全域色調映射技術之圖形說明；
圖137描繪根據本發明之態樣的影像之區域可針對應用 局域色調應用技術分段的方式； 圖138用圖形說明習知局域色調映射可導致輸出色調範 圍之有限利用的方式； 圖139用圖形說明根據本發明之實施例的用於局域色調 映射之技術； 圖140為展示根據本發明之態樣的可經組態以實施圖ι34 之isp後端邏輯中之色調映射程序的局域色調映射1/1]^[邏 輯之一實施例的更詳細方塊圖； 圖141為展示根據一實施例的用於使用圖134之ISP後端 處理邏輯處理影像資料之方法的流程圖；及 圖142為展示根據一實施例的用於使用圖140所示之LTM 邏輯應用色調映射之方法的流程圖。 【主要元件符號說明】 10 系統/電子裝置 12 輸入/輸出（I/O)埠 12a 專屬連接埠 159040.doc -273 - 201225631 12b 12c 14 16 18 20 22 24 26 28 30 32 40 42 50 52 54 56 58 60 64 66 68 音訊連接埠 I/O埠 輸入結構 處理器 記憶體裝置/記憶體 非揮發性儲存器/非揮發性儲存裝置/記憶體 擴充卡/儲存裝置 網路連接裝置/網路裝置 電源 顯示器/顯示裝置 成像裝置/相機 影像處理系統/影像處理電路/影像信號處理 系統/ISP子系統 膝上型電腦 外殼/罩殼/「首頁」螢幕 桌上型電腦 圖形使用者介面（「GUI」） 圖形圖示 圖示停駐區 圖形視窗元件 手持型攜帶型裝置/攜帶型手持型電子裝置 系統指示器 相機應用程式 相片檢視應用程式 159040.doc -274- 201225631 70 音訊輸入/輸出元件 72 媒體播放器應用程式 74 音訊輸出傳輸器/音訊輸入/輸出元件 80 前端像素處理單元/影像信號處理（ISP)前端處 理邏輯/ISP前端處理單元（FEProc) 82 ISP管道處理邏輯 84 控制邏輯/控制邏輯單元 88 透鏡 90 數位影像感測器 90a 第一感測器/第一影像感測器 90b 第二感測器/第二影像感測器 92 輸出 94 94a 94b 96 98 100 102 104 106 108 109 110
感測器介面 感測器介面 感測器介面 原始影像資料/原始影像像素資料 原始像素資料 原始影像資料 統計資料 控制參數 控制參數 記憶體 輸出信號 輸出信號 159040.doc -275 - 201225631 112 114 115 116 117 118 119 120 122 124 126 142 144 146 148 150 152 154 156 158 160 162 164 輸入信號 信號/輸出/資料/YCC影像資料 信號 信號 信號 壓縮/解壓縮引擎/壓縮引擎或「編碼 碼器/解碼器單元 信號 ISP後端處理邏輯單元/ISP後端邏輯 信號 輸入/信號 信號/輸出 統計處理單元/選擇邏輯區塊 統計處理單元/選擇邏輯區塊 選擇邏輯 選擇邏輯 前端像素處理單元（FEProc) 選擇邏輯/選擇邏輯區塊 信號 信號/輸入 信號 信號 信號 信號 159040.doc -276- 201225631
166 信號/輸入 168 信號 170 信號 172 信號 174 信號/輸入 176 信號 178 信號 180 經預處理影像信號 182 信號 184 經預處理影像信號 186 選擇邏輯單元 188 選擇邏輯單元 190 前端控制單元 210 資料暫存器組 210a 資料暫存器1 210b 資料暫存器2 210c 資料暫存器3 210d 資料暫存器η 212 資料暫存器組 212a 資料暫存器1 212b 資料暫存器2 212c 資料暫存器3 212d 資料暫存器η 214 進行暫存器/控制暫存器 159040.doc •277· 201225631 216 「NextVld」欄位 218 「NextBk」欄位 220 當前或「作用中」暫存器/作用中唯讀暫存器 222 CurrVld 欄位 224 CurrBk 欄位 226 觸發事件
228 資料信號VVALID 230 脈衝/當前圖框
232 間隔/垂直清空間隔（VBLANK) 234 圖框間隔 236 脈衝/下一圖框 238 「進行」位元 306 影像來源圖框 308 感測器圖框區域 310 原始圖框區域 312 作用中區域
314 寬度 316 南度 318 X位移 320 y位移 322 寬度 324 高度 326 X位移 328 y位移 159040.doc 278. 201225631
330 重豐區域 332 重疊區域 334 寬度 336 寬度 347 明度平面 348 色度平面 350 影像圖框 352 來源影像圖框 400 輸入佇列 402 輸入仔列 404 中斷請求（IRQ)暫存器 405 信號 406 計數器 407 信號 408 信號 470 音訊資料 472 影像資料 474 音訊樣本/離散分割區 474a 音訊樣本 476 樣本 476a 影像圖框 476b 影像圖框 476c 影像圖框 490 計時器組態暫存器 159040.doc •279· 201225631 492 時間碼暫存器 494 SensorO時間碼暫存器 496 Sensorl時間碼暫存器 498 後設資料 500 時戳 548 感測器-側介面 549 前端-側介面 550 閃光控制器 552 閃光模組 554 控制參數 556 感測器時序資訊 558 統計資料 570 第一圖框 572 第二圖框/感測器-側介面時序信號 574 垂直消隱間隔 576 信號 578 第一時間延遲 580 感測器時序信號 582 第二時間延遲 584 第三時間延遲/延遲時間 588 延遲信號 590 第四時間延遲 592 第五時間延遲 596 延遲信號/閃光控制器信號 159040.doc •280-
201225631 598 時間位移 600 時間間隔/消隱間隔時間 602 位移 604 時間 605 時間 606 位移 608 間隔 650 時間濾波器 652 分格化儲存補償濾波器 655 運動歷史表（M) 655a 對應於第一色彩之運動表 655b 對應於第二色彩之運動表 655c 對應於第η色彩的運動表 656 明度表（L) 656a 對應於第一色彩之明度表 656b 對應於第二色彩之明度表 656c 對應於第η色彩之明度表 657 參考像素 658 參考像素 659 參考像素 660 原本輸入像素 661 原本輸入像素 662 原本輸入像素 684 時間濾波系統 159040.doc •281 · 201225631 693 全解析度樣本/全解析度影像資料 694 經分格化儲存拜耳區塊 694a 拜耳區塊/拜耳圖案 694b 拜耳區塊/拜耳圖案 694c 拜耳區塊/拜耳圖案 694d 拜耳區塊/拜耳圖案 695 經分格化儲存Gr像素 695a 全解析度Gr像素 695b 全解析度Gr像素 695c 全解析度Gr像素 695d 全解析度Gr像素 696 經分格化儲存R像素 696a 全解析度R像素 696b 全解析度R像素 696c 全解析度R像素 696d 全解析度R像素 697 經分格化儲存B像素 697a 全解析度B像素 697b 全解析度B像素 697c 全解析度B像素 697d 全解析度B像素 698 經分格化儲存Gb像素 698a 全解析度Gb像素 698b 全解析度Gb像素 159040.doc -282-
201225631
698c 全解析度Gb像素 698d 全解析度Gb像素 699 分格化儲存邏輯 700 經分格化儲存原始影像資料 702 樣本 703 拜耳區塊 704 經再取樣像素 705 經再取樣像素 706 經再取樣像素 707 經再取樣像素 708 分格化儲存補償邏輯 709 水平按比例縮放邏輯 710 垂直按比例縮放邏輯 711 微分分析器 712 濾波器係數表 713 列 714 列 715 列 716 列 717 列 718 列 738 有缺陷像素偵測及校正邏輯 739 黑階補償（BLC)邏輯 740 透鏡遮光校正邏輯 159040.doc •283 - 201225631 741 逆BLC邏輯 742 統計收集邏輯/統計收集區塊/3 A統計邏輯 743 「左側邊緣」狀況 744 「左側邊緣+ 1」狀況 745 「居中」狀況 746 「右側邊緣-1」狀況 747 「右側邊緣」狀況 756 三維量變曲線 757 中心 758 隅角或邊緣 759 影像 760 LSC區域 761 增益柵格 762 寬度 763 商度 764 X位移 765 y位移 766 柵格X位移 767 柵格y位移 768 基礎 769 第一像素 770 水平（X方向）柵格點間隔 771 垂直（y方向）柵格點間隔 780 隅角 159040.doc •284- 201225631
781 789 790 792 793 794 795 796 797 798 799 800 801 802 803 804 806 807 808 809 810 811 中心 圖表 低色溫軸線 區域 信號/拜耳RGB資料/拜耳RGB像素 統計 拜耳RGB降取樣邏輯 視窗/樣本 拜耳四元組 Gr像素 紅色像素 藍色像素 Gb像素 平均綠色值（Gav) 平均紅色值（Rav) 平均藍色值（Bav) 按比例縮小之拜耳RGB值/降取樣之拜耳RGB 值/拜耳RGB按比例縮小信號/輸出像素 色彩空間轉換邏輯單元/色彩空間轉換（CSC) 邏輯 色彩空間轉換邏輯單元/CSC邏輯 第一 3x3色彩校正矩陣（3A_CCM) sRGBlineai^ /sRGBlinear像素 /信號 非線性查找表 159040.doc -285 - 201225631 812 813 814 815 816 817 818 819 820 821 822 824a 824b 824c 825b 826a 826b 827a 827b 828a 828b 829 830 831 sRGB像素/信號 第二3x3色彩校正矩陣 信號 3 x3色彩轉換矩陣（3 A_CSC2) 輸出 二維（2D)色彩直方圖 選擇邏輯 選擇邏輯 像素條件邏輯 φ 分格更新邏輯區塊 矩形區域 像素濾波器 像素渡波器 像素遽波器 選擇邏輯/選擇電路 選擇邏輯/選擇電路 選擇邏輯/選擇電路 · 像素條件邏輯 像素條件邏輯 像素 像素 圖表 點 線 159040.doc -286- 201225631
832 值 833 距離 834 distance_max 835 五側多邊形 836a 側/線 836b 側/線 836c 側/線 836d 側/線 836e 側/線 837a 像素 837b 像素 838a 矩形 838b 矩形 839a 像素 839b 像素 840a 線 840b 線 841 自動聚焦統計邏輯 842 自動聚焦（AF)統計 843 水平濾波器 844 邊緣偵測器 845 邏輯 846 3x3濾波器 847 3x3濾波器 159040.doc -287- 201225631 848 849 850 851 852 852b 853 854 855 856 858 859 860 861 862 863 870 872 874 876 878 880 882 控制信號 輸出 累積值 累積值 邏輯 邏輯 經整數倍降低取樣之拜耳RGB資料/經整數倍 降低取樣之拜耳RGB信號 3x3濾波器 經濾波輸出 曲線圖 曲線 明度列總和統計 曲線 統計 峰值或頂點 發光塊統計 透鏡 當前焦點位置 分量直方圖 分量直方圖 信號 選擇電路 邏輯 159040.doc •288- 201225631 884 資料 900 原始像素處理邏輯 902 RGB處理邏輯 904 YCbCr處理邏輯 906 選擇邏輯 908 輸入信號/影像資料輸入/原始影像資料 910 影像信號輸出/輸出信號/RGB影像信號 912 RGB影像信號
914 選擇邏輯 916 輸入信號/RGB影像資料 918 影像信號輸出/輸出信號 920 YCbCr 信號 922 選擇邏輯 924 信號 926 影像信號輸出 930 增益、位移及箝位（GOC)邏輯 932 有缺陷像素偵測/校正（DPDC)邏輯 934 雜訊減少邏輯 934a 綠色非均一性（GNU)校正邏輯 934b 7分接頭水平濾波器/水平濾波邏輯 934c 5分接頭垂直濾波器/垂直濾波邏輯 936 透鏡遮光校正邏輯 938 GOC邏輯/第二增益、位移及箝位（GOC)區塊 940 解馬赛克邏輯 159040.doc -289- 201225631 942 「左頂部」狀況 944 「頂部」狀況 946 「右頂部」狀況 948 「左侧」狀況 950 「中心」狀況 952 「右側」狀況 954 「左底部」狀況 956 「底部」狀況 958 「右底部」狀況 1034 原始拜耳影像圖案 1036 4x4部分 1038 綠色通道 1040 紅色通道 1042 藍色通道 1044 解馬赛克技術 1046 内插資料G' 1048 内插資料R' 1050 内插資料W 1052 全色RGB影像 1060 紅色行 1062 濾波係數 1064 紅色行 1068 濾波係數 1070 區塊 159040.doc -290- 201225631
1072 像素區塊 1074 像素區塊 1076 像素區塊 1078 内插綠色值 1080 内插綠色值 1140 原本影像場景 1142 原始拜耳影像 1144 RGB影像 1146 「棋盤形」假 1148 邊緣 1150 RGB影像 1160a 行緩衝器 1160b 行緩衝器 1160c 行緩衝器 1160d 行緩衝器 1160e 行緩衝器 1160f 行緩衝器 1160g 行緩衝器 1160h 行緩衝器 1160i 行緩衝器 1160j 行緩衝器 1160k 邏輯列 1162 封閉區域 1163 輸出 159040.doc -291 - 201225631 1164 1165a 1165b 1165c 1165d 1165e 1165f 1165g 1166a 1166b 1166c 1166d 1166e 1178 1179 1180 1181 1182 1183 1184 1185 1186 1187 1188 封閉區域 濾波器分接頭 濾波器分接頭 濾波器分接頭 濾波器分接頭 濾波器分接頭 濾波器分接頭 濾波器分接頭 分接頭 φ 分接頭 分接頭 分接頭 分接頭 增益、位移及箝位（GOC)邏輯 RGB色彩校正邏輯 GOC邏輯 RGB伽瑪調整邏輯 籲 色彩空間轉換邏輯 影像清晰化邏輯 用於調整亮度、對比度及/或色彩之邏輯 YCbCr伽瑪調整邏輯 色度整數倍降低取樣邏輯 按比例縮放邏輯 來源緩衝器/第一來源緩衝器 159040.doc -292· 201225631 1189 作用中來源區域/明度作用中來源區域 1190 基本位址（0,0) 1191 開始位置（Lm_X，Lm_Y) 1192 開始位置（Ch_X，Ch_Y) 1193 X位移 1194 X位移 1195 寬度 1196 y位移 1198 y位移 1200 高度 1202 寬度 1204 高度 1206 第二來源緩衝器 1208 色度作用中來源區域 1210 邏輯 1212 低通高斯濾波器（G1) 1214 低通高斯濾波器（G2) 1216 選擇邏輯 1218 比較器區塊 1220 比較器區塊 1222 比較器區塊 1224 選擇邏輯 1226 選擇邏輯 1228 選擇邏輯 159040.doc -293 - 201225631 1230 選擇邏輯 1232 選擇邏輯 1234 邏輯 1236 索貝爾滤波器 1238 比較器區塊 1240 選擇邏輯 1242 選擇邏輯 1250 曲線圖 1252 曲線 1262 亮度及對比度處理區塊 1264 全域色調控制區塊 1266 飽和度控制區塊 1268 Cb飽和度查找表 1269 Cr飽和度查找表 1270 色輪圖/YCbCr色調及飽和度色輪 2196 選擇電路 2198 輸出 2200 特徵偵測邏輯 2201 輸出/信號/資料/參數 2202 局域色調映射邏輯（LTM) 2203 影像資訊 2204 亮度、對比度及色彩調整邏輯 2205 選擇邏輯 2206 按比例縮放邏輯 159040.doc -294-
201225631 2207 信號/減少解析度影像 2208 後端統計單元 2209 升轉換邏輯 2210 經轉換sRGB影像資料 2212 邏輯 2214 經轉換RGBlinear*像資料 2216 LTM邏輯 2220 經處理RGBlinear影像資料 2222 邏輯 2224 sRGB影像資料 2226 邏輯 2228 經轉換YC1C2資料 2400 曲線圖 2401 輸入範圍 2402 曲線 2403 輸出範圍 2404 值/範圍 2406 值/範圍 2410 曲線 2412 較小範圍 2414 較小範圍 2422 非線性「S」形曲線（或S曲線） 2424 輸出範圍 2426 輸出範圍 159040.doc -295- 201225631 2428 中間範圍值 2430 部分 2432 明亮區域 2434 黑暗區域 2440 曲線圖 2442 全輸入範圍 2444 輸出動態範圍 2448 範圍/經利用部分/子範圍 2450 未使用部分/未使用之子範圍 2452 部分 2454 部分 Sharp 1 不清晰遮罩 Sharp2 不清晰遮罩 Sharp3 不清晰遮罩
159040.doc -296·
Claims (1)
- 201225631 七、申請專利範圍： 理影像資料之方 1 · 一種用於使用一影像信號處理系統來處 法，其包含： 使用一數位影像感測器以獲取包含表与 办像場景之 複數個原始像素的原始影像資料； 將該等原始像素提供至包含一組行緩衝 瓦W 之一原始影 像處理管線；使用該原始影像處理管線來處理該等原始像素，其中 使用該原始影像處理管線來處理該等原始像素包含： 使用以邏輯之一 輯將一第一組增益 素； 第一行所實施的增益、位移及箝位邏 、位移及箝位參數應用於該等原始像 使用藉由使用邏輯之一第一行及該組行緩衝器之一第 一子集所實施的有缺陷像素校正邏輯以將一有缺陷像素 校正操作應用於該等原始像素； 使用藉由使用該組行緩衝器所實施之雜訊減少邏輯以 將雜訊減少應用於該等原始像素； 使用藉由使用該組行緩衝器之—第二子集所實施的透 鏡遮光校正邏輯以將透鏡遮光校正應用於該等原始像 素； 使用行緩衝器之該第二子集將一第二組增益、位移及 箝位參數應用於該等原始像素；及 使用藉由使用行緩衝器之該第二子集所實施的解馬赛 克邏輯以將該等原始像素解馬赛克為對應彩色RGB像 159040.doc 201225631 素。 2. 如請求項1之方法，其中使用藉由使用該組行緩衝器所 實施之該雜訊減少邏輯以將雜訊減少應用於該等原始像 素包含： 使用藉由使用來自行緩衝器之該第一子集之至少一行 緩衝器所實施的一水平濾波器以將水平濾波應用於該等 原始像素；及 使用藉由使用來自行緩衝器之該第一子集之至少一行 緩衝器及行緩衝器之該第二集合之至少一部分所實施的 垂直濾波器以應用垂直濾、波。 3. 如凊求項2之方法，其中該等原始像素包含具有一第一 綠色色彩分量及一第二綠色色彩分量之原始拜耳像素。 如凊求項3之方法，其中使用藉由使用該組行緩衝器所 實施之該雜訊減少邏輯以將雜訊減少應用於該等原始像 素進一步包含：使用藉由使用來自行緩衝器之該第一子 集之至）一行緩衝器所實施的綠色非均一性（GNU)校正 邏輯以將綠色非均一性校正應用於該等原始像素。 如月长項4之方法，其中將綠色非均一性校正應用於該 等原始像素包含·· 針對一第一綠色像素，識別該等原始拜耳像素中之像 ββ»。 、 Χ2陣列，該2Χ2陣列包含該第一綠色像素及一第 表色像素，其中該第一綠色像素對應於該第一綠色色 彩刀量且该第二綠色像素對應於該第二綠色色彩分量； 判尺該第一綠色像素之值與該第二綠色像素之值之間 I59040.doc •2· 201225631 的差之一絕對值； 判疋該絕對值疋否小於一綠色非均一性臨限值；及 右該絕對值小於該綠色非均一性臨限值，則用等於該 第綠色像素之該值及該第二綠色像素之該值之均值的 一值來替換該第一綠色像素之該值。6. 如二求項2之方法，其中該水平濾波器包含一 7分接頭遽 波器’且其中應用水平濾、波包含將該7分接頭濾波器之 係數應用於七個水平鄰近相同色彩原始像素。 7. 如凊求項2之方法’丨中該垂直濾波器包含經組態而以 一遞迴模式及-非遞迴模式操作之m皮器。 8.如。月求項7之方法，其中將垂直渡波應用於該等原始偉 素包含在該垂直遽波器以該遞迴模式操作時將該垂直滤 、。操作為5分接頭遞迴m，且在該垂直渡波器 以^非遞迴模式操作時將該垂直渡波器操作為-3分接 頭非遞迴濾波器。 9· 一種影像信號處理系統，其包含： :一影像處理管線’其包含—原始像素處理單元，其 器素處理單經組態以處理使用-數位影像感 RGB像素之原始像素^將該等原始像素轉換為對應彩 一第一子隼且包Λ邏輯之一第—列以及包含行緩衝器 .器；、及仃緩衝器之-第二子集的複數個行缓 其中行緩衝器 第一列接收一第 之該第一子集包含經組態以自邏輯之該 -輸出的一第—行緩衝器、經組態以自 159040.doc 201225631 該第一行緩衝器接收一第二輸出的一第二行緩衝器、經 組態以自該第二行缓衝器接收一第三輸出的一第三行緩 衝器、經組態以自該第二行緩衝器接收一第四輸出的— 第四行緩衝器，及經組態以自該第四行緩衝器接收—第 五輸出的一第五行緩衝器； 其中行緩衝器之該第二子集包含經組態以自該第五行 緩衝器接收一第六輸出的一第六行緩衝器、經組態以自 該第六行緩衝器接收一第七輸出的一第七行緩衝器、經 組態以自該第七行緩衝器接收—第八輸出的一第八行緩 衝器、經組態以自該第八行緩衝器接收_第九輸出的一 第九行緩衝器，及經組態以自該第九行緩衝器接收_第 十輸出的一第十行緩衝器》 H).如請求項9之影像信號處理系統，纟中該原始像素處理 單元包含： 一第-增益、位料箝位邏輯，錢使用邏輯之該第 一列而實施； 概像素校正及偵測單元，其係使用邏輯之該第— 列、該第一行緩衝器、該第_ Λ禾_仃緩衝器、該第三行緩 器及該第四行緩衝器而實施； 雜訊減少邏輯，其#你田、_ 再係使用邏輯之該第一列、該第一杆 緩衝器、該第二杆键彳私哭 仃緩衝盗、該第三行緩衝器、該第四 緩衝器、該第五杆键拖：吳 仃緩衝15、該第六行緩衝器、該第七并 緩衝器、該第八行镑俺哭 仃緩衝、該第九行緩衝器及該 緩衝器而實施； π T订 I59040.doc 201225631 透鏡遮光校正邏輯，其係使用該第六行緩衝器、該第 七行緩衝器、該第八行緩衝器、該第九行緩衝器及該第 十行緩衝器而實施； 一第二增益、位移及箝位邏輯，其係使用該第六行緩 衝器、該第七行緩衝器、該第八行緩衝器、該第九行緩 衝器及該第十行緩衝器而實施；及 解馬赛克邏輯，其係使用該第六行緩衝器、該第七行 緩衝器、該第八行緩衝器、該第九行緩衝器及該第十行 缓衝器而實施。 11.如请求項1G之影像信號處理系、統，#中該雜訊減少邏輯 包含： 綠色非均一性（GNU)校正邏輯，其係使用邏輯之該第 一列及該第一行緩衝器而實施； 水平雜訊減少滤波器’其係使用該第二行緩衝器而 實施；及 垂直雜》fl減少濾波器，其係使用該第二行緩衝器、 該第三行緩衝器、該第四行緩衝器、該第五行緩衝器、 該第六行緩衝器、該第七行緩衝器、該第人行緩衝器、 該第九行緩衝器及該第十行緩衝器而實施。 12·如請求項U之影像信號處理系统，其中該垂直雜訊減少 遽波器經組態而以一無限脈衝回應（nR)模式及一有限脈 衝回應（FIR)模式操作。 α如請求項12之影㈣號處理系統，其中當以該IIR模式操 作時’ 4垂直雜訊減少滤波器操作為使用該第二行緩衝 159040.doc 201225631 益、該第二行緩衝器、該第四行緩衝器、該第五行緩衝 器 '該第六行緩衝器、該第七行緩衝器、該第八行緩衝 器、該第九行緩衝器及該第十行緩衝器所實施之一 5分 接頭濾波器；且 其中當以該FIR模式操作時，該垂直雜訊減少渡波器 操作為使用該第二行緩衝器、該第三行緩衝器、該第四 行緩衝器、該第五行緩衝器及該第六行緩衝器所實施之 一 3分接頭濾波器。 I4.如請求項11之影像信號處理系統，其中該水平濾波器包 含一 7分接頭有限脈衝回應（FIR)濾波器，其中該等濾波 器分接頭中之每一者係僅在一中心像素與該濾波器分接 頭處之一像素之間的差小於至少部分地取決於雜訊方差 之一臨限值時才被使用。 •如明求項9之影像信號處理系統，其中該影像處理管線 包含： RGB像素處理單元，其經組態以接收藉由該原始像 素處理單元所提供之該等彩色rgb像素且將該等彩色 RGB像素轉換為—明度及色度色彩空間之對應明度及色 度像素；及 一明度及色度像素處理單元，其經組態以接收且處理 藉由i RGB像素處理單元所提供之該等明度及色度像 素。 16· —種用於實祐— 、 影像信號處理系統之一原始處理管線之 方法，其包含： 159040.doc 201225631 提供經組態以接收使用一影像感測器所獲取之原始影 像像素的邏輯之一第一行；提供包含行緩衝器之一第一子集及行緩衝器之一第二 子集的行緩衝器之一配置，其中行緩衝器之該第一子集 包含-第-行緩衝器、-第二行緩衝器、一第三行緩衝 器、一第四行緩衝器及一第五行緩衝器，且其中邏輯之 該第二子集包含—第六行緩衝器、—第七行緩衝器、一 第八行緩衝器…第九行緩衝器及__第十行緩衝器；及 π璉铒之該第一行之一輸出以通信方式耦接至該第一 行緩衝器之-輸人、使該第—行緩衝器之—輸出以通作 方式輕接至該第二行緩衝器之—輸人、使該第二行緩衝 器之一輸出以通信方式耦接至該第三行緩衝器之一輸 入、-使該第三行緩衝器之-輸出以通信方式耗接至該第 四仃緩衝器之-輸人、使該第四行緩衝器之—輸出以通 信方式輕接至該第五行緩衝器之—輸人、使該第五行緩 衝器之-輸出以通信方式耗接至該第六行緩衝器之—輸 =、使該第六行緩衝器之-輸出以通信方式㈣至J =衝器之-輸入、使該第七行緩衝器之一輸出以通 ;麵接至該第八行緩衝器之-輸入、使該第八行緩 衝益之-輸出以通信方式_至該第九行緩衝器之 ==該第九行緩衝器之—輸出以通信方式輕接至該 第十仃緩衝器之一輸入； 該等原始影像 其中該原始像素處理管線經組態以處理 像素以產生對應RGB影像像素。 159040.doc 201225631 17. 如請求項16之方法，其中使用邏輯之該第一行以實施一 第一增益、位移及箝位邏輯、有缺陷像素校正邏輯之一 第一部分，及綠色非均一性（GNU)校正邏輯之—第一部 分； 其中使用行緩衝器之該第一子集以實施該有缺陷像素 校正邏輯之一第一部分、該gnu校正邏輯之一第二部 分、一水平雜訊減少濾波器，及一垂直雜訊減少濾波器 之一第一部分；且 其中使用行緩衝器之該第二子集以實施該垂直雜訊減 少濾波器之一第二部分、透鏡遮光校正邏輯、一第二增 益、位移及箝位邏輯，及解馬赛克邏輯。 18. 如請求項17之方法，其中使用邏輯之該第一行、該第一 行緩衝器、該第二行緩衝器、該第三行緩衝器及該第四 行緩衝器來實施該有缺陷像素校正邏輯。 19如吻求項17之方法，其中使用該第二行緩衝器來實施該 水平雜訊減少濾波器。 20. 如凊求項17之方法，其中使用行緩衝器之該第一子集之 該第二行緩衝器、該第三行缓衝器、該第四行緩衝器及 該第五行緩衝器以及行緩衝器之該第二子集之該第六行 缓衝器、该第七行緩衝器、該第八行緩衝器、該第九行 缓衝器及該第十行緩衝器來實施該垂直雜訊減少濾波 器。 21. —種電子裝置，其包含： 一影像感測器，其經組態以獲取包含表示一影像場景 159040.doc 201225631 之複數個原始像素的原始影像資料； 一影像信號處理子系統；及 -感測器介©，其經組態以將該等原始像素自該影像 感測器提供至該影像信號處理子系統，其中該影像信號 處理子系統包含具有-原始像素處理單元之—影像像素 處理管線’該原始像素處理單元包含： 第增益、位移及箝位邏輯，其係使用邏輯之一 第一列而實施；行緩衝器之-第-子集’其包含一第一行緩衝器、 第一行緩衝器、-第二行緩衝器、一第四行緩衝器及 一第五行緩衝器； 行緩衝器之-第二子集，其包含一第六行緩衝器、 -第七行緩衝器、一第八行緩衝器、一第九行緩衝器及 一第十行緩衝器； 有缺陷像素校正及偵測單元，其係使用邏輯之該第 -列及行緩衝器之該第一子集之至少一部分而實施； 雜訊減少邏輯，其係使用邏輯之該第一列、行緩衝 器之該第一子集及行緩衝器之該第二子集而實施； 透鏡遮光校正邏輯，其係使用行緩衝器之該第二子 集而實施； -第二增益、位移及箝位邏輯’其係使用行緩衝器 之該第二子集而實施；及 解馬賽克邏輯’其係使用行緩衝器之該第二子集而 實施’其中該解馬赛克邏輯經組態以將該等原始像素轉 159040.doc 201225631 換為RGB像素。 22.如請求項21之電子裝置，其t邏輯之該第一列之一輸出 提供至該第一行緩衝器之一輸入，其中該第一行緩衝器 之一輸出提供至該第二行緩衝器之一輸入，其中該第二 行緩衝器之一輸出提供至該第三行緩衝器之一輸入，其 中該第三行緩衝器之一輸出提供至該第四行緩衝器之一 輸入，其中該第四行緩衝器之一輸出提供至該第五行緩 衝器之一輸入，其中該第五行緩衝器之一輸出提供至該 第六行緩衝器之一輸入，其中該第六行緩衝器之一輸出 提供至該第七行緩衝器之一輸入，其中該第七行緩衝器 之一輸出提供至該第八行緩衝器之一輸入，其中該第八 行緩衝器之一輸出提供至該第九行緩衝器之一輸入，其 中該第九行緩衝器之一輸出提供至該第十行緩衝器之一 輸入。 23. 如請求項21之電子裝置，其中該雜訊減少邏輯包含： 一水平濾波器，其係使用來自行緩衝器之該第一子集 之至少一行緩衝器而實施；及 ' 一垂直濾波器，其係使用行緩衝器之該第二集合及行 緩衝器之該第一子集之至少一部分而實施。 24. 如#求項21之電子裝置，其包含一控制暫存器，其中該 垂直濾波器經組態以在該控制暫存器指示一第一狀態時 以-遞迴模式操作，且在該控制暫存器指示—第二狀態 時以一非遞迴模式操作。 25·如請求項24之電子裝置1中當以該遞迴模式操作時， 159040.doc •10· 201225631該垂直濾波器充當使用該第二行缓衝器、該第三行緩衝 器、該第四行緩衝器、該第五行緩衝器、該第六行緩衝 器、該第七行緩衝器、該第八行緩衝器、該第九行緩衝 器及該第十行緩衝器所實施之一 5分接頭濾波器，且其 中當以該非遞迴模式操作時，該垂直濾波器充當使用該 第二行緩衝器、該第三行緩衝器、該第四行緩衝器、該 第五行緩衝器及該第六行緩衝器所實施之一;3分接頭渡 波器。 159040.doc
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/895,396 US8508612B2 (en) | 2010-09-30 | 2010-09-30 | Image signal processor line buffer configuration for processing ram image data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201225631A true TW201225631A (en) | 2012-06-16 |
| TWI492609B TWI492609B (zh) | 2015-07-11 |
Family
ID=44645232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW100135692A TWI492609B (zh) | 2010-09-30 | 2011-09-30 | 用於處理原始影像資料之影像信號處理器行緩衝器組態 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8508612B2 (zh) |
| KR (1) | KR101296035B1 (zh) |
| CN (1) | CN102547162B (zh) |
| TW (1) | TWI492609B (zh) |
| WO (1) | WO2012044432A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI493532B (zh) * | 2013-04-02 | 2015-07-21 | Mstar Semiconductor Inc | 顯示控制裝置與顯示控制方法 |
| TWI496116B (zh) * | 2012-07-19 | 2015-08-11 | Omnivision Tech Inc | 由量化控制改良解碼器效能的方法與系統 |
| US9313412B2 (en) | 2012-11-26 | 2016-04-12 | Pixart Imaging, Inc. | Image sensor and operating method thereof |
| TWI671684B (zh) * | 2018-12-14 | 2019-09-11 | National Pingtung University Of Science & Technology | 影像監視方法及系統 |
| TWI766652B (zh) * | 2020-04-22 | 2022-06-01 | 美商豪威科技股份有限公司 | 用於具有相位檢測自動對焦像素的影像感測器之靈活曝光控制 |
| TWI822482B (zh) * | 2022-11-23 | 2023-11-11 | 大陸商北京集創北方科技股份有限公司 | 任意倍率圖像放大模塊、顯示驅動晶片、顯示裝置以及資訊處理裝置 |
Families Citing this family (80)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2771851C (en) | 2011-04-12 | 2018-07-24 | Research In Motion Limited | Camera flash for improved color balance |
| US9264760B1 (en) * | 2011-09-30 | 2016-02-16 | Tribune Broadcasting Company, Llc | Systems and methods for electronically tagging a video component in a video package |
| US9031319B2 (en) | 2012-05-31 | 2015-05-12 | Apple Inc. | Systems and methods for luma sharpening |
| US9142012B2 (en) | 2012-05-31 | 2015-09-22 | Apple Inc. | Systems and methods for chroma noise reduction |
| US8917336B2 (en) | 2012-05-31 | 2014-12-23 | Apple Inc. | Image signal processing involving geometric distortion correction |
| US8953882B2 (en) | 2012-05-31 | 2015-02-10 | Apple Inc. | Systems and methods for determining noise statistics of image data |
| US11089247B2 (en) | 2012-05-31 | 2021-08-10 | Apple Inc. | Systems and method for reducing fixed pattern noise in image data |
| US9077943B2 (en) | 2012-05-31 | 2015-07-07 | Apple Inc. | Local image statistics collection |
| US8817120B2 (en) | 2012-05-31 | 2014-08-26 | Apple Inc. | Systems and methods for collecting fixed pattern noise statistics of image data |
| US9025867B2 (en) | 2012-05-31 | 2015-05-05 | Apple Inc. | Systems and methods for YCC image processing |
| US9743057B2 (en) | 2012-05-31 | 2017-08-22 | Apple Inc. | Systems and methods for lens shading correction |
| US9014504B2 (en) | 2012-05-31 | 2015-04-21 | Apple Inc. | Systems and methods for highlight recovery in an image signal processor |
| US8872946B2 (en) | 2012-05-31 | 2014-10-28 | Apple Inc. | Systems and methods for raw image processing |
| US9105078B2 (en) | 2012-05-31 | 2015-08-11 | Apple Inc. | Systems and methods for local tone mapping |
| US9332239B2 (en) | 2012-05-31 | 2016-05-03 | Apple Inc. | Systems and methods for RGB image processing |
| US8878862B2 (en) | 2012-08-22 | 2014-11-04 | 2236008 Ontario Inc. | Composition manager camera |
| US9001160B2 (en) | 2012-09-04 | 2015-04-07 | Apple Inc. | Frame timing synchronization for an inline scaler using multiple buffer thresholds |
| US9576397B2 (en) | 2012-09-10 | 2017-02-21 | Blackberry Limited | Reducing latency in an augmented-reality display |
| KR20140039920A (ko) * | 2012-09-25 | 2014-04-02 | 삼성전자주식회사 | 영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기 |
| US9413981B2 (en) * | 2012-10-19 | 2016-08-09 | Cognex Corporation | System and method for determination and adjustment of camera parameters using multi-gain images |
| CN103065277A (zh) * | 2012-12-21 | 2013-04-24 | 深圳市创维群欣安防科技有限公司 | 数字图像信息处理方法及装置 |
| US9042643B2 (en) * | 2013-06-20 | 2015-05-26 | Himax Imaging Limited | Method for demosaicking |
| CN104918044B (zh) * | 2014-03-14 | 2019-05-17 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| US9218651B2 (en) * | 2014-05-14 | 2015-12-22 | Novatek (Shanghai) Co., Ltd. | Image processing method for dynamically adjusting luminance and contrast of image |
| TWI538515B (zh) * | 2014-10-31 | 2016-06-11 | 晶相光電股份有限公司 | 影像感測裝置與缺陷像素檢測與補償方法 |
| US9749548B2 (en) | 2015-01-22 | 2017-08-29 | Google Inc. | Virtual linebuffers for image signal processors |
| US10348936B2 (en) * | 2015-01-30 | 2019-07-09 | Hp Indigo B.V. | Measuring color and calibrating printers |
| US10839494B2 (en) | 2015-02-13 | 2020-11-17 | Light Blue Optics Ltd | Timeline image capture systems and methods |
| US9756268B2 (en) * | 2015-04-23 | 2017-09-05 | Google Inc. | Line buffer unit for image processor |
| US10291813B2 (en) | 2015-04-23 | 2019-05-14 | Google Llc | Sheet generator for image processor |
| US10095479B2 (en) | 2015-04-23 | 2018-10-09 | Google Llc | Virtual image processor instruction set architecture (ISA) and memory model and exemplary target hardware having a two-dimensional shift array structure |
| US9785423B2 (en) | 2015-04-23 | 2017-10-10 | Google Inc. | Compiler for translating between a virtual image processor instruction set architecture (ISA) and target hardware having a two-dimensional shift array structure |
| US9965824B2 (en) | 2015-04-23 | 2018-05-08 | Google Llc | Architecture for high performance, power efficient, programmable image processing |
| US9769356B2 (en) * | 2015-04-23 | 2017-09-19 | Google Inc. | Two dimensional shift array for image processor |
| US9772852B2 (en) | 2015-04-23 | 2017-09-26 | Google Inc. | Energy efficient processor core architecture for image processor |
| US9911174B2 (en) * | 2015-08-26 | 2018-03-06 | Apple Inc. | Multi-rate processing for image data in an image processing pipeline |
| US9787922B2 (en) | 2015-08-31 | 2017-10-10 | Apple Inc. | Pixel defect preprocessing in an image signal processor |
| US10440299B2 (en) * | 2015-09-04 | 2019-10-08 | Apple Inc. | Correcting pixel defects based on defect history in an image processing pipeline |
| US9830150B2 (en) | 2015-12-04 | 2017-11-28 | Google Llc | Multi-functional execution lane for image processor |
| US10313641B2 (en) | 2015-12-04 | 2019-06-04 | Google Llc | Shift register with reduced wiring complexity |
| CN115037929A (zh) * | 2016-02-03 | 2022-09-09 | Oppo广东移动通信有限公司 | 运动图像解码装置、编码装置、以及预测图像生成装置 |
| US10387988B2 (en) | 2016-02-26 | 2019-08-20 | Google Llc | Compiler techniques for mapping program code to a high performance, power efficient, programmable image processing hardware platform |
| US10204396B2 (en) | 2016-02-26 | 2019-02-12 | Google Llc | Compiler managed memory for image processor |
| US10380969B2 (en) | 2016-02-28 | 2019-08-13 | Google Llc | Macro I/O unit for image processor |
| US20180005346A1 (en) | 2016-07-01 | 2018-01-04 | Google Inc. | Core Processes For Block Operations On An Image Processor Having A Two-Dimensional Execution Lane Array and A Two-Dimensional Shift Register |
| US20180007302A1 (en) | 2016-07-01 | 2018-01-04 | Google Inc. | Block Operations For An Image Processor Having A Two-Dimensional Execution Lane Array and A Two-Dimensional Shift Register |
| US20180005059A1 (en) | 2016-07-01 | 2018-01-04 | Google Inc. | Statistics Operations On Two Dimensional Image Processor |
| US10546211B2 (en) | 2016-07-01 | 2020-01-28 | Google Llc | Convolutional neural network on programmable two dimensional image processor |
| KR101878891B1 (ko) * | 2016-08-31 | 2018-07-16 | 주식회사 인트로메딕 | 캡슐 내시경에서의 영상 처리 방법, 캡슐 내시경 장치, 캡슐 내시경 장치와 연동하는 수신기, 수신기의 영상 처리 방법 및 캡슐 내시경 시스템 |
| US10187637B2 (en) | 2017-03-07 | 2019-01-22 | Filmic Inc. | Inductive micro-contrast evaluation method |
| US10412410B2 (en) * | 2017-08-14 | 2019-09-10 | Google Llc | Compound motion-compensated prediction |
| CN108234970B (zh) * | 2018-01-04 | 2021-05-21 | 努比亚技术有限公司 | 一种图像处理方法、终端及计算机可读存储介质 |
| US10681266B2 (en) * | 2018-06-12 | 2020-06-09 | Carl Zeiss Ag | Method, apparatus, and system for processing digital images |
| US10547863B1 (en) | 2018-08-10 | 2020-01-28 | Apple Inc. | Image statistics for motion detection |
| CN109360263B (zh) * | 2018-10-09 | 2019-07-19 | 温州大学 | 一种面向资源受限移动设备的实时软阴影生成方法及装置 |
| KR102669938B1 (ko) * | 2019-01-09 | 2024-05-27 | 삼성전자주식회사 | 이미지 처리 프로세서, 이미지 처리 시스템 및 이미지 처리 프로세서의 동작 방법 |
| KR20200094500A (ko) * | 2019-01-30 | 2020-08-07 | 삼성전자주식회사 | 이미지 프레임 데이터에 포함된 라인 데이터를 복수의 구간들로 처리하는 전자 장치 및 방법 |
| KR102594526B1 (ko) * | 2019-03-27 | 2023-10-25 | 애플 인크. | 피드백 루프 및 다수의 전력 상태들을 갖는 센서 시스템 아키텍처 |
| TWI703872B (zh) * | 2019-05-15 | 2020-09-01 | 瑞昱半導體股份有限公司 | 影像色彩還原與增強電路 |
| CN111988592B (zh) * | 2019-05-22 | 2023-06-27 | 瑞昱半导体股份有限公司 | 影像色彩还原与增强电路 |
| GB2578523B (en) * | 2019-09-25 | 2021-08-11 | Dualitas Ltd | Holographic projection |
| WO2021074867A1 (en) * | 2019-10-16 | 2021-04-22 | Cerebras Systems Inc. | Advanced wavelet filtering for accelerated deep learning |
| CN111064963A (zh) * | 2019-11-11 | 2020-04-24 | 北京迈格威科技有限公司 | 图像数据解码方法、装置、计算机设备和存储介质 |
| KR102350610B1 (ko) | 2019-12-26 | 2022-01-14 | 고려대학교 산학협력단 | 두 단계 U-Net 구조 기반의 어긋난 데이터를 이용한 raw에서 RGB로의 매핑 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| CN111402145B (zh) * | 2020-02-17 | 2022-06-07 | 哈尔滨工业大学 | 一种基于深度学习的自监督低照度图像增强方法 |
| CN111818239B (zh) * | 2020-03-12 | 2023-05-02 | 成都微光集电科技有限公司 | 一种图像传感器中镜头阴影校正方法 |
| US11451713B2 (en) | 2020-05-15 | 2022-09-20 | Rockwell Collins, Inc. | Autogaining of color pattern filtered sensors to ensure color fidelity |
| CN113810593B (zh) * | 2020-06-15 | 2023-08-01 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111741601B (zh) * | 2020-07-09 | 2021-07-30 | 复旦大学 | 一种通用的可配置的有源基板电路结构 |
| KR20220015114A (ko) * | 2020-07-30 | 2022-02-08 | 삼성전자주식회사 | 이미지를 처리하기 위한 전자 장치 및 그의 동작 방법 |
| CN114079733A (zh) * | 2020-08-12 | 2022-02-22 | 茂傑国际股份有限公司 | 多功能摄影装置 |
| CN113256872B (zh) * | 2020-12-31 | 2024-02-02 | 深圳怡化电脑股份有限公司 | 图像传感器参数配置方法、装置、计算机设备及存储介质 |
| KR20220148423A (ko) * | 2021-04-29 | 2022-11-07 | 삼성전자주식회사 | 이미지의 노이즈를 감소하는 노이즈 저감 방법 및 노이즈 저감 장치 |
| JP2022188985A (ja) * | 2021-06-10 | 2022-12-22 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| CN113747060B (zh) * | 2021-08-12 | 2022-10-21 | 荣耀终端有限公司 | 图像处理的方法、设备、存储介质 |
| US11936992B2 (en) | 2022-01-18 | 2024-03-19 | Apple Inc. | Multi-mode demosaicing for raw image data |
| US11856311B1 (en) * | 2022-08-25 | 2023-12-26 | Aspinity, Inc. | Motion detection based on analog video stream |
| CN116091329B (zh) * | 2022-08-31 | 2023-10-20 | 荣耀终端有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN115689895B (zh) * | 2023-01-01 | 2023-04-07 | 武汉图科智能科技有限公司 | 基于Lanczos插值的上采样硬件处理系统 |
| CN116912132B (zh) * | 2023-09-11 | 2023-12-26 | 归芯科技(深圳)有限公司 | Bayer域3DNR图像去噪方法及其装置 |
Family Cites Families (89)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4589089A (en) | 1978-05-30 | 1986-05-13 | Bally Manufacturing Corporation | Computer-peripheral interface for a game apparatus |
| US4475172A (en) | 1978-05-30 | 1984-10-02 | Bally Manufacturing Corporation | Audio/visual home computer and game apparatus |
| US4464788A (en) * | 1979-09-10 | 1984-08-07 | Environmental Research Institute Of Michigan | Dynamic data correction generator for an image analyzer system |
| US4369430A (en) * | 1980-05-19 | 1983-01-18 | Environmental Research Institute Of Michigan | Image analyzer with cyclical neighborhood processing pipeline |
| US4799677A (en) | 1983-09-02 | 1989-01-24 | Bally Manufacturing Corporation | Video game having video disk read only memory |
| US4979738A (en) | 1983-12-06 | 1990-12-25 | Midway Manufacturing Corporation | Constant spatial data mass RAM video display system |
| US4605961A (en) | 1983-12-22 | 1986-08-12 | Frederiksen Jeffrey E | Video transmission system using time-warp scrambling |
| US4742543A (en) | 1983-12-22 | 1988-05-03 | Frederiksen Jeffrey E | Video transmission system |
| US4682360A (en) | 1983-12-22 | 1987-07-21 | Frederiksen Jeffrey E | Video transmission system |
| US4694489A (en) | 1983-12-22 | 1987-09-15 | Frederiksen Jeffrey E | Video transmission system |
| US4743959A (en) | 1986-09-17 | 1988-05-10 | Frederiksen Jeffrey E | High resolution color video image acquisition and compression system |
| DE69018231T2 (de) | 1989-08-08 | 1995-11-09 | Sanyo Electric Co | Kamera mit selbsttätiger scharfeinstellung. |
| US5227863A (en) | 1989-11-14 | 1993-07-13 | Intelligent Resources Integrated Systems, Inc. | Programmable digital video processing system |
| US5272529A (en) | 1992-03-20 | 1993-12-21 | Northwest Starscan Limited Partnership | Adaptive hierarchical subband vector quantization encoder |
| US5247355A (en) | 1992-06-11 | 1993-09-21 | Northwest Starscan Limited Partnership | Gridlocked method and system for video motion compensation |
| DE69333288T2 (de) | 1992-09-01 | 2004-08-26 | Apple Computer, Inc., Cupertino | Verbesserte vektorquantisierung |
| JP2931520B2 (ja) | 1993-08-31 | 1999-08-09 | 三洋電機株式会社 | 単板式カラービデオカメラの色分離回路 |
| US6122411A (en) | 1994-02-16 | 2000-09-19 | Apple Computer, Inc. | Method and apparatus for storing high and low resolution images in an imaging device |
| JP3392573B2 (ja) * | 1994-03-31 | 2003-03-31 | 株式会社東芝 | 試料検査装置及び方法 |
| US5694227A (en) | 1994-07-15 | 1997-12-02 | Apple Computer, Inc. | Method and apparatus for calibrating and adjusting a color imaging system |
| US5764291A (en) | 1994-09-30 | 1998-06-09 | Apple Computer, Inc. | Apparatus and method for orientation-dependent camera exposure and focus setting optimization |
| US5496106A (en) | 1994-12-13 | 1996-03-05 | Apple Computer, Inc. | System and method for generating a contrast overlay as a focus assist for an imaging device |
| US5640613A (en) | 1995-04-14 | 1997-06-17 | Apple Computer, Inc. | Corrective lens assembly |
| US6011585A (en) | 1996-01-19 | 2000-01-04 | Apple Computer, Inc. | Apparatus and method for rotating the display orientation of a captured image |
| US5867214A (en) | 1996-04-11 | 1999-02-02 | Apple Computer, Inc. | Apparatus and method for increasing a digital camera image capture rate by delaying image processing |
| US5809178A (en) | 1996-06-11 | 1998-09-15 | Apple Computer, Inc. | Elimination of visible quantizing artifacts in a digital image utilizing a critical noise/quantizing factor |
| US6031964A (en) | 1996-06-20 | 2000-02-29 | Apple Computer, Inc. | System and method for using a unified memory architecture to implement a digital camera device |
| US6157394A (en) | 1996-08-29 | 2000-12-05 | Apple Computer, Inc. | Flexible digital image processing via an image processing chain with modular image processors |
| US5991465A (en) | 1996-08-29 | 1999-11-23 | Apple Computer, Inc. | Modular digital image processing via an image processing chain with modifiable parameter controls |
| US6028611A (en) | 1996-08-29 | 2000-02-22 | Apple Computer, Inc. | Modular digital image processing via an image processing chain |
| US5790705A (en) | 1996-09-13 | 1998-08-04 | Apple Computer, Inc. | Compression techniques for substantially lossless digital image data storage |
| US6141044A (en) | 1996-09-26 | 2000-10-31 | Apple Computer, Inc. | Method and system for coherent image group maintenance in memory |
| US6198514B1 (en) | 1998-02-27 | 2001-03-06 | Apple Computer, Inc. | Color misconvergence measurement using a common monochrome image |
| US20020135683A1 (en) * | 1999-12-20 | 2002-09-26 | Hideo Tamama | Digital still camera system and method |
| JP2001281529A (ja) | 2000-03-29 | 2001-10-10 | Minolta Co Ltd | デジタルカメラ |
| JP2001298368A (ja) * | 2000-04-14 | 2001-10-26 | Sakai Yasue | 圧縮方法及び装置、伸長方法及び装置、圧縮伸長システム、記録媒体 |
| US6954193B1 (en) | 2000-09-08 | 2005-10-11 | Apple Computer, Inc. | Method and apparatus for correcting pixel level intensity variation |
| US7027665B1 (en) * | 2000-09-29 | 2006-04-11 | Microsoft Corporation | Method and apparatus for reducing image acquisition time in a digital imaging device |
| US6745012B1 (en) | 2000-11-17 | 2004-06-01 | Telefonaktiebolaget Lm Ericsson (Publ) | Adaptive data compression in a wireless telecommunications system |
| US6959044B1 (en) | 2001-08-21 | 2005-10-25 | Cisco Systems Canada Co. | Dynamic GOP system and method for digital video encoding |
| US7170938B1 (en) | 2001-08-21 | 2007-01-30 | Cisco Systems Canada Co. | Rate control method for video transcoding |
| US6933971B2 (en) | 2002-05-14 | 2005-08-23 | Kwe International, Inc. | Reconstruction of color components in digital image processing |
| CN100335964C (zh) | 2002-08-07 | 2007-09-05 | 松下电器产业株式会社 | 聚焦装置 |
| US7633506B1 (en) | 2002-11-27 | 2009-12-15 | Ati Technologies Ulc | Parallel pipeline graphics system |
| US7277595B1 (en) | 2003-01-06 | 2007-10-02 | Apple Inc. | Method and apparatus for digital image manipulation to remove image blemishes |
| WO2004088992A1 (ja) | 2003-03-28 | 2004-10-14 | Olympus Corporation | 画像処理装置及び画像処理プログラム |
| US7310371B2 (en) | 2003-05-30 | 2007-12-18 | Lsi Corporation | Method and/or apparatus for reducing the complexity of H.264 B-frame encoding using selective reconstruction |
| US7327786B2 (en) | 2003-06-02 | 2008-02-05 | Lsi Logic Corporation | Method for improving rate-distortion performance of a video compression system through parallel coefficient cancellation in the transform |
| US7483058B1 (en) | 2003-08-04 | 2009-01-27 | Pixim, Inc. | Video imaging system including a digital image sensor and a digital signal processor |
| US7324595B2 (en) | 2003-09-22 | 2008-01-29 | Lsi Logic Corporation | Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction |
| US7602849B2 (en) | 2003-11-17 | 2009-10-13 | Lsi Corporation | Adaptive reference picture selection based on inter-picture motion measurement |
| US7548258B2 (en) | 2003-11-21 | 2009-06-16 | Arecont Vision Llc. | High resolution network video camera with massively parallel implementation of image processing, compression and network server |
| US7362804B2 (en) | 2003-11-24 | 2008-04-22 | Lsi Logic Corporation | Graphical symbols for H.264 bitstream syntax elements |
| JP2005159957A (ja) * | 2003-11-28 | 2005-06-16 | Mega Chips Corp | 色補間方法 |
| US7362376B2 (en) | 2003-12-23 | 2008-04-22 | Lsi Logic Corporation | Method and apparatus for video deinterlacing and format conversion |
| US7345708B2 (en) | 2003-12-23 | 2008-03-18 | Lsi Logic Corporation | Method and apparatus for video deinterlacing and format conversion |
| US7515765B1 (en) | 2004-01-30 | 2009-04-07 | Apple Inc. | Image sharpness management |
| US7231587B2 (en) | 2004-03-29 | 2007-06-12 | Lsi Corporation | Embedded picture PSNR/CRC data in compressed video bitstream |
| EP1605400A1 (en) | 2004-06-11 | 2005-12-14 | STMicroelectronics S.r.l. | Processing pipeline of pixel data of a color image acquired by a digital sensor |
| US7620103B2 (en) | 2004-12-10 | 2009-11-17 | Lsi Corporation | Programmable quantization dead zone and threshold for standard-based H.264 and/or VC1 video encoding |
| US7576783B2 (en) | 2005-02-04 | 2009-08-18 | Hau Hwang | Confidence based weighting for color interpolation |
| US7612804B1 (en) | 2005-02-15 | 2009-11-03 | Apple Inc. | Methods and apparatuses for image processing |
| US7949044B2 (en) | 2005-04-12 | 2011-05-24 | Lsi Corporation | Method for coefficient bitdepth limitation, encoder and bitstream generation apparatus |
| US8031766B2 (en) | 2005-08-02 | 2011-10-04 | Lsi Corporation | Performance adaptive video encoding with concurrent decoding |
| US7881384B2 (en) | 2005-08-05 | 2011-02-01 | Lsi Corporation | Method and apparatus for H.264 to MPEG-2 video transcoding |
| US8155194B2 (en) | 2005-08-05 | 2012-04-10 | Lsi Corporation | Method and apparatus for MPEG-2 to H.264 video transcoding |
| US8045618B2 (en) | 2005-08-05 | 2011-10-25 | Lsi Corporation | Method and apparatus for MPEG-2 to VC-1 video transcoding |
| US8208540B2 (en) | 2005-08-05 | 2012-06-26 | Lsi Corporation | Video bitstream transcoding method and apparatus |
| US7903739B2 (en) | 2005-08-05 | 2011-03-08 | Lsi Corporation | Method and apparatus for VC-1 to MPEG-2 video transcoding |
| US7596280B2 (en) | 2005-09-29 | 2009-09-29 | Apple Inc. | Video acquisition with integrated GPU processing |
| JP4487902B2 (ja) * | 2005-11-09 | 2010-06-23 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| TWI285500B (en) | 2005-11-11 | 2007-08-11 | Primax Electronics Ltd | Auto focus method for digital camera |
| US7551214B2 (en) | 2005-12-01 | 2009-06-23 | Megachips Lsi Solutions Inc. | Pixel interpolation method |
| US20070153093A1 (en) * | 2005-12-30 | 2007-07-05 | Mediatek Incorporation | Apparatus and method for image capturing with an image scaling unit to scale a portion of an image |
| US7860334B2 (en) * | 2006-02-09 | 2010-12-28 | Qualcomm Incorporated | Adaptive image filter for filtering image information |
| JP5183880B2 (ja) | 2006-03-14 | 2013-04-17 | ソニー株式会社 | カラーフィルタおよび撮像素子 |
| US8970680B2 (en) | 2006-08-01 | 2015-03-03 | Qualcomm Incorporated | Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device |
| US7944485B2 (en) * | 2006-08-30 | 2011-05-17 | Micron Technology, Inc. | Method, apparatus and system for dynamic range estimation of imaged scenes |
| US7893975B2 (en) * | 2006-10-13 | 2011-02-22 | Apple Inc. | System and method for processing images using predetermined tone reproduction curves |
| US7773127B2 (en) | 2006-10-13 | 2010-08-10 | Apple Inc. | System and method for RAW image processing |
| JP4254841B2 (ja) | 2006-10-20 | 2009-04-15 | ソニー株式会社 | 撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理プログラム |
| US20080253652A1 (en) | 2007-04-10 | 2008-10-16 | Aricent Inc. | Method of demosaicing a digital mosaiced image |
| US8564687B2 (en) | 2007-05-07 | 2013-10-22 | Nvidia Corporation | Efficient determination of an illuminant of a scene |
| WO2009064537A1 (en) * | 2007-11-15 | 2009-05-22 | Marvell World Trade Ltd. | Method and system for noise management for spatial processing in digital image/video capture systems |
| US8035704B2 (en) | 2008-01-03 | 2011-10-11 | Aptina Imaging Corporation | Method and apparatus for processing a digital image having defective pixels |
| US8405727B2 (en) | 2008-05-01 | 2013-03-26 | Apple Inc. | Apparatus and method for calibrating image capture devices |
| US8358351B2 (en) * | 2009-06-05 | 2013-01-22 | Apple Inc. | Automatic tone mapping for cameras |
| US8259198B2 (en) * | 2009-10-20 | 2012-09-04 | Apple Inc. | System and method for detecting and correcting defective pixels in an image sensor |
| US8638342B2 (en) * | 2009-10-20 | 2014-01-28 | Apple Inc. | System and method for demosaicing image data using weighted gradients |
-
2010
- 2010-09-30 US US12/895,396 patent/US8508612B2/en active Active
-
2011
- 2011-08-31 WO PCT/US2011/049996 patent/WO2012044432A1/en active Application Filing
- 2011-09-30 TW TW100135692A patent/TWI492609B/zh not_active IP Right Cessation
- 2011-09-30 KR KR1020110100308A patent/KR101296035B1/ko active IP Right Grant
- 2011-09-30 CN CN201110305710.1A patent/CN102547162B/zh not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI496116B (zh) * | 2012-07-19 | 2015-08-11 | Omnivision Tech Inc | 由量化控制改良解碼器效能的方法與系統 |
| US9313412B2 (en) | 2012-11-26 | 2016-04-12 | Pixart Imaging, Inc. | Image sensor and operating method thereof |
| TWI493532B (zh) * | 2013-04-02 | 2015-07-21 | Mstar Semiconductor Inc | 顯示控制裝置與顯示控制方法 |
| TWI671684B (zh) * | 2018-12-14 | 2019-09-11 | National Pingtung University Of Science & Technology | 影像監視方法及系統 |
| TWI766652B (zh) * | 2020-04-22 | 2022-06-01 | 美商豪威科技股份有限公司 | 用於具有相位檢測自動對焦像素的影像感測器之靈活曝光控制 |
| US11356626B2 (en) | 2020-04-22 | 2022-06-07 | Omnivision Technologies, Inc. | Flexible exposure control for image sensors with phase detection auto focus pixels |
| TWI822482B (zh) * | 2022-11-23 | 2023-11-11 | 大陸商北京集創北方科技股份有限公司 | 任意倍率圖像放大模塊、顯示驅動晶片、顯示裝置以及資訊處理裝置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8508612B2 (en) | 2013-08-13 |
| WO2012044432A1 (en) | 2012-04-05 |
| US20120081578A1 (en) | 2012-04-05 |
| KR20120061034A (ko) | 2012-06-12 |
| CN102547162A (zh) | 2012-07-04 |
| CN102547162B (zh) | 2014-10-01 |
| TWI492609B (zh) | 2015-07-11 |
| KR101296035B1 (ko) | 2013-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW201225631A (en) | Image signal processor line buffer configuration for processing raw image data | |
| TWI606728B (zh) | 用於處理影像信號的系統及方法 | |
| TWI504265B (zh) | 用於影像信號處理之溢出控制技術 | |
| TWI433532B (zh) | 使用具有後端處理邏輯之影像信號處理器處理影像資料之系統及方法 | |
| TWI484818B (zh) | 於影像信號處理系統中同步音訊及視訊資料之技術 | |
| US8508621B2 (en) | Image sensor data formats and memory addressing techniques for image signal processing | |
| TW201216720A (en) | Flexible color space selection for auto-white balance processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |