TW200904204A - Methods, systems and apparatuses for high-quality green imbalance compensation in images - Google Patents

Description

200904204 九、發明說明： 【發明所屬之技術領域】 本發明之具體實施例係關於用於成像器内之綠色不平衡 補償的方法、系統及裝置。 【先前技術】 成像器，例如電荷耦合器件（CCD)、互補金氧半導體 (c刪)及其他裝置，廣泛用於成像應用，包括數位相機 及攝影機。CMOS成像器電路包括聚焦平面像素陣列，各 像素包括光感測器’例如光閘極、光導體、光電晶體或光 二極體’其用於在基板之指^部分内累積光生電荷。各像 素具有形成於基板上或内之電荷儲存區域，其係連接至作 為讀出電路之部分的輸出電晶體之閘極。可將電荷儲存區 域構造成浮動擴散區域。某些成像器電路中，各像素可包 至夕個電子器件，例如用於將電荷從光感測器傳輸至 儲存區域之電晶體，以及—器件，通常亦係電晶體，其用 於將儲存區域重設至電荷傳輸前之預定電荷位準。 CMOS成像器中，像素之主動元件執行以下功能：⑴光 子至電荷轉換；（2)影像電荷之累積；（3)將儲存區域重設 為熟知狀態（4)將電荷傳輸至儲存區域；（5)用於讀出之 像素的選擇；/6)代表像素重設位準及像素電荷之信號的輸 及放大田光電荷從初始電荷累積區域移動至儲存區域 被放大通吊藉由一源極隨耦器輪出電晶體將儲存區域 之電荷轉換為一像素輸出電壓。 示範性CMOS成像電路、其處理步驟及成像電路之各種 130480.doc 200904204 復〇s元件功能的詳細說明在（例美國專爿第6,14〇，㈣ 號，美國專利第6,204,524號；美國專利第⑽號；美 國專利第6,326,652號；美國專利第6,333,2〇5號；美國專利 第6,37M68號；以及美國專利第M52,59i號〇以說明， 其全部讓渡給Micron Teehn()1()gy公司。上述專利之各者的 揭示内容以引用的方式全部併入本文中。 CMOS成像器通常具有包含光感測器之像素陣列，其中 各像素產生對應於在將影像聚焦於像素陣列上時撞擊該元 件之光強度的信號。接著可將信號數位化並儲存，例如， 用於監視器上之對應影像的顯示，或者用於提供硬拷貝影 像或另外用於提供關於捕捉之影像的資訊。藉由各像素產 生之信號量值與撞擊個別光感測器之光強度成比例。 為使光感測H捕捉彩色影像，其必需能夠分離地偵測捕 捉之影像的色彩成分。例如，當使用貝爾⑽㈣圖案時， 如圖1内所示’藉由個別紅色、綠色及藍色像素（即各像素 僅對-個顏色或光譜帶敏感)偵測具有對應於紅色、綠色 或藍色之波長的光子。為使此情況發生，通常將濾色器陣 列（CFA)放置於像素陣列前方’以便各像素依據特定圖案 接收其相關聯濾波器之顏色的光，例如圖】之貝爾圖案 10。其他濾色器陣列圖案在本技術中亦係熟知的，並且亦 可應用。 如圖1所示，貝爾圖案10係重複紅色（R)、綠色及藍 色（b)濾j器之陣列。紅色像素係由紅色遽波器覆蓋之像 素；同樣地’藍色像素或綠色像素係分別由藍色或綠色濾 130480.doc 200904204 波器覆蓋之像素。圖1之像素可由座標Pi j識別，以識別像 素陣列内之像素的顏色及位置，其中p指示顏色（R為紅 色，B為藍色，G為綠色）’ i指示列位置，而j指示行位 置。例如，—列1 5包括行一内之綠色像素GU1及行二内之 紅色像素尺1，2。同樣，下一列20包括行一内之藍色像素β2 ι 及行二内之綠色像素G2,2。 在貝爾圖案10内，紅色像素Π、綠色像素13及藍色像素 12係配置成交替紅色u及綠色13像素位於像素陣列之一列 内而父替藍色12及綠色1 3像素位於下一列20内。該等 =替列1 5、20在整個像素陣列中重複。因此，當讀出成像 器時，用於一列（即列1 5)之像素序列讀取GRGRGR等，用 於下一列（即列20)之序列讀取BGBGBG等。雖然圖}描述僅 具有十列及十行之陣列，像素陣列通常具有數百或數千列 及行之像素。 田相郇像素彼此干涉時，像素陣列之像素可經歷干涉或 串擾…形式之此類干涉係光學串擾。其他形式之此干涉 包括電串擾。串擾可導致捕捉之影像内的不同問題，其中 個係稱為綠色不平衡之現象，其發生於像素陣列之一綠 色通道内的像素在相同照明位準下提供不同於像素陣列之 其他綠色通道内的像素之輪出信號時。 參考圖2說明光學串擾之範例。圖2說明在像素陣列之像 :4〇的-部分前方具有貝爾圖案1〇之遽色器陣列35的一部 分。例如’為將像素4〇定位於像素陣列之周邊上來 鏡（例如相機透鏡）之光射線3G可以傾斜角度進人。圖2中， 130480.doc 200904204 例如，以傾斜角度通過紅色遽波器36之紅色頻譜内的照明 2質上影響綠色像素43之回應。此係由於光射線30係以此 -角度進入’其使得通過紅色濾波器36之光實際上撞擊綠 象素3而非期望之紅色像素。相同類型之效應亦發生 於鄰近藍色像素定位的綠色像素。光學串擾對特定像素之 影響量值與數個因素成函數關係，例如其包括像素與其相 鄰像素間之距離以及光感測器與覆蓋微透鏡間之距離。光 ¥串擾可影響整個像素陣列中之像素，並且其效應並不限 於位於周邊之像素。然而，干涉量值將取決於光射線之入 射角度，因此在整個像素陣列中根據像素在像素陣列内之 位置變化。 當產生於一像素之光感測器内之電荷行進以在相鄰像素 處予以收集4以其他方式影響相鄰像素之信號時，發生電 串^。此串擾導致經由光债測器件轉換之信號間的干涉。 '工色及藍色像素與綠色相鄰像素之串擾干涉可導致綠 色-紅色像素及綠色-藍色像素顯現為不同，甚至不同地回 應相同位準之光刺激。此事件稱為綠色不平衡。綠色 '红 色像素係在相同列内顯現為紅色像素之綠色像素，例如圖 J 5 ' •彔色_藍色像素係在相同列内顯現為藍色像素之 綠色像素，例如_之列20。綠色.紅色及綠色_藍色像素顯 為不同，因為藍色像素對綠色_藍色像素將具有不同於 紅色像素對於綠色紅色像素的影響。此依次使兩個綠色 通道之像素具有不同串擾效應。 綠色不平衡之存在可降級影響品質，除非採取專用步驟 130480.doc 200904204 以抵消影像處理期間的效應。 捕捉的影像可導致綠色^ = ’從均勾照射之白色場 像素m彡像處理㈣ Ίσ應不同於綠色·藍色 板正此效應，回摩變争一 為覆蓋在捕捉之影像上的 σ應變更了顯- ^ m ^ ^ 棋盤圖案，或者為其他形式 之办像假影。因此，最好 飞 办也也 &像處理期間的綠色-藍声 與綠色-紅色像素間的不 ^ £ j+十衡。理想中， 償後將綠色-藍色盥綷$ , 在、、杀色不千衡補 化…色像素信號的串擾成分正規 化’此時顯示之影像中 ^ p… 像中的串擾之任何效應將不再明顯。 σ存在各種计鼻方法以補 部相鄰運算之方法。現有^ 平衡’包括使用局 ρ綠色平衡方法改善影像品 亦可產生大量不合需要之影像假影。因此，需要為 綠色不平衡補償遞送高品質纟士 為 的方法。 貝、、α果而不添加不合需要之假影 【實施方式】 以下詳細說明將參考附圖，該等附圖形成本發明的一部 分並在附圖中藉由圖解方式顯示本發明的特定具體 例該等具體實施例係說明到充分的細節來使得熟習此項

技術人士可以製造祐伟I 以x便用本發明，並且應瞭解可作出結 構、邏輯或程序變化。特定言之，以下說明中，藉由流； 圖說明處理。某些實例中’在其他步驟後之步驟可以不同 序列反轉’或者可同時發生’除隨後程序步驟需要先前程 序步驟存在的情形夕卜可將流程圖中說明之程序實施心 素處理管線電路’其係提供於固態成像器器件之影像處理 器令。可使用硬體組件實施像素處理管線電路，=括 130480.doc 200904204 =C二行程式之處理器或其他信號處理硬體及/或處理 tm、、、吉構或者任何其組合。 一 以下說明中，僅出於方便目的 与之好眚m ⑨明關於c则影像感測 ::體實施例’然而’所揭示之具體實施例對 平衡補償具有更寬可應用性。像素輸出^的綠色不 如前所述，傳統技術對於補償成像器内之綠色不平衡内 係熟知的。如前所述，@1顯示具有貝爾渡色器圖宰10之 像素陣列的一部分。-般而…熟知技術中的綠色不平 衡補償期間，對於各像素p,;j，在具有綠色Μ器（例如 Μ之陣列中，局部綠色平衡演算法計算局部綠色平衡校 正項目〜。綠色平衡校正項目可考慮光學及/或電串擾。 错由將此綠色平衡校正項目應用於像素回應信號調整綠色 像素信號，從而補償串擾效應並校正捕捉之影像。局部綠 色平衡方法之實施方案的—範例在共同待審申請案 1咖，865中揭示，標題為”提供綠色·綠色不平衡補償之 方法、裝置及系統（METHOD, AppARATUS and SYS爾 PROVIDING GREEN-GREEN IMBALANCE COMPENSATION)··， 2〇07年4月12日申請（"，865申請案”），其全部揭示内容以引 用的方式併入本文。 現在說明用於為特定像素Pu計算局部綠色平衡校正項目 △μ的一可能方法。此方法在，865申請案中予以詳細說明。 一般而言，局部綠色平衡方法根據用於周圍綠色像素之像 素信號值的平均值決定校正項目。周圍綠色像素可係大小 130480.doc 】0- 200904204

MxN之像素核心25的形式，例如，圖丄中顯示為5χ5像素核 〜。如等式（1)至（3)所示計算用於像素核心25(例如圖丄内 之G3,3)之中心内之像素的校正項目： ⑴ G3>5+G51+g„ + g,s 9 (2) ;以及 (3) Δ,. J 2 從等式（1)至（3)可看Λ，首先計算兩個平均值。&係在校 正像素（例如圖Μ之所有綠色士色像素）時作為局部（例如 相同ΜχΝ像素核心内）且屬於相同綠色通道的像素信號 (GU)之平均值。Sg2係在校正像素（例如^内之所有綠色 2Γ)時作為局部且屬於另—綠色通道之像素信號的 千均值。 接著可根據兩個計算之平灼佶 m…1及、之間的關係，如 荨式（4)、（5)或（6)之一計算用於位於 定綠色像素之校正像素信號： ^ ^的給 ⑷若sG1>sG2，則p、，j=Pi，丨〜丨；或 (5)若 SG1<SG2，則 K，广pi，j + |〜丨；或 ⑹若SG丨=SG2，則p、j==pi』， 其中P’U代表校正像素信號，p :像:信號，…鋪等式(3)計算之校正器= 用&正之像素位於中心、的對應像素核，。針對像素陣列内 130480.doc 200904204 之各像素依此方式計算校正項目，例如像素核心係用於 像素仏，3。因此，隨著像素核心25橫跨像素陣列向下移動 時’权正像素核心25之中心的綠色像素。 應瞭解&方法僅為局部綠色不平衡補償方法之—範 例。此類型用於局部綠色不平衡補償之估計方法在均勾參 像區域内亦有用。然而，較銳利、較高顏色對比度邊緣之/ 存在可在料校正項目Άΐ人較大錯誤。料錯誤隨 考高對比度邊緣周圍的拉鏈效應或色邊在校正影像内變得 明顯。其他類型之影傻個旦< 介 土<〜像假衫亦可發生，同時為局部綠色不 平衡估計及校正使用此類型之方法。 所揭示之具體實施例藉由將校正項目^限制於預定限 度内改善此類型的基於平均值之局部綠色不平衡補償方 法’以便最小化不需要之影像假影。使校正項目屬於預定 限度（在成像器像素陣列及/或相機校準期間決定）内需要減 小高對比度邊緣對局部綠色不平衡 ' 丁铒仅正凟舁法之影響。限 制綠色平衡校正項目之所揭示且體皆 句，、體實施例亦可使用不同於 本文所述者之計算綠色平衡校正 施。 員目〜之其他方法來實 依據所揭示之具體實施例，如以 卜寺式（7)至（9)所示限 制估計局部綠色平衡校正項目: ⑺當時，^W+bPQS; ⑻當岣j+bneg時’Δ、，〜 (9)當 ，△、，〜j， 其中Δ,，」代表估計局部綠色平衡校正 二Μ， π曰（由任何可用綠色 130480.doc -12- 200904204 不平衡補償方法決定’例如先前所述者），〜代表有限綠 色平衡校正項目，而aneg、bneg、ap〇s&b_係常數。常數取 決於正在校正之像素的各種性質以及用以捕捉影像之感測 器及相機光學元件。常數係在成像器及/或相機校準期間 決定，下文將詳細論述。應注意，校正項目限於上限與下 限之間，如等式（10)所示： 、 (l〇) A"--i^aneg*pi,J + bneg<A'i>j<ap〇s*pijj + bp〇s = Ap〇s_ij , 其中、“」·係綠色平衡校正項目上之負限度，而△⑷係 正限度。正及負限度分別係由計算^^數 導出’其係在成像ϋ像素陣列及域相機校準期間決定。 當估計局部綠色平衡校正項目〜在該等限度〜叫及 乂心外部時’應用限度以決定有限校正項目^。若^計 局邛’彔色平衡杈正項目已滿足等式(1〇)之關係⑼如…」已 在限度與△，」，』間）’則*需要校正項目之限制，並 且有限綠色平衡校正項目等於估計局部綠色平衡校正項 、，田使用等式（4)及（5)以計算校正像素信號及完整綠色 ▲衡補償時’所揭不之具體實施例接著用有限綠色平衡 校正項目Δ Uj替代估計局部綠色平衡校正項目△“。針對像 素陣列之所有綠色像素，依此方式計算有限綠色平衡 項目Δ、』。 應：於等式〇 〇)之校正項目限度係如下導 。-般而言，像素串擾之量與物件之曝光及頻譜反射比 數函：關：。特定言之，光學串擾通常係曝光之線性函 ’其依次與像細應線性相關。因此，假定光學串擾成 130480.doc 13 200904204 分實質上主導電串擾成分’則像素串擾係像素回應之線性 函數。如先刚所淪述，綠色不平衡可由像素中之光學或電 串擾造成。成像藉由具有特定頻譜特性之光源照射的白色 平坦場之相機導致線性像素回應，不論頻譜特性（§)如 何。像素回應可視為無串擾及像素間串擾的兩個曝光成分 之和。藉由像素陣列設計，非串擾成分相對於曝光呈線 (·生若發生串擾，顏色串擾成分之量因此應係曝光之線性 函數串擾成分（aneg、ap()s)之斜率取決於發光體的頻譜特 性及成像之物件的頻譜反射比之特定選擇。因此，任何真 實景物中，綠色不平衡之量係曝光之線性函數，且斜率取 決於從成像之物件反射的光之頻譜。 如圖3中所見，對於給定像素，可發現最大正限度Η， aP〇s*Pu ’與最大負限度62，aneg*pi』，使得對於從成像之 物件反射的光之所有光譜，所有相依性符合 anegtpijSA'ijSapo’pi』。理論上，該等限度改善綠色不平衡 調整。然而，實際應用中，像素回應可非確切地係曝光之 線性函數。因此，使用稍微更一般之公式，如上等式（10) 所示，其包括選擇成解決可能之較小非線性的偏移（b^, bp〇s) 〇 參數aneg、bneg、％。5及、⑺係在用於成像器像素陣列或用 於使用陣列之相機的校準程序期間決定。此可以實驗方式 或使用模擬來完成。影響給定成像器陣列内之像素的像素 串擾量可或不取決於像素陣列内之特定像素的位置。例 如，像素陣列可僅經歷電串擾，其不會與陣列内之像素位 130480.doc -14- 200904204 置成函數關係。若像素串擾與像素陣列内之像素位置不成 函數關係’則決定單一參數組(aneg、、、‘及、)。若 像素串擾與像素陣列内之像素位置成函數關係，則決定複 數組參數，各像素位置有—組（W 〜及 P〇S_l，J^更吊見地，像素串擾與像素陣列内之像素位置成 函數關係，因此使用複數組參數。 圖4中以流程圖形式說明用於成像器之校準程序，其中 像素串擾量與像素陣列内之像素位置不成函數關係。此校 準程序決定用於綠色平衡校正項目限制之單一參數組。步 驟sio中，將相機曝光設定於固定值。步驟s2〇中，成像器 (例如相機）成像-測試物件，其具有設計者期望相機在使 用期間遇$彳及成像的所有可能頻譜反射比。典型實驗中， 測试物件將係熟知的Maebeth色圖；較佳的係使用具有較 大補綴集合之數位相機版本。步驟S2〇中，使用覆蓋操作 之期望色溫範圍之-組發光體獲取影像，例如在6500K、 4100Κ、3100Κ及2800Κ下。此校準技術中，其中假定像素 位置不影響串$，色圖之放置無關，因為像素串擾未視為 與陣列内之像素位置成函數關係。 在步驟S辦，針對各頻譜回應增加祕灿色圖之照 明’並使料式⑴至（3)決定估計局㈣色平衡校正項目 △U。頻譜回應說明光感測器對不同波長之光學輕射的敏 感度狀’、即發光體色溫。接著，步驟_中，針對像素回應 W异為較小局部相鄰者之一平均值）描緣估計局部綠色平 衡校正項目〜之值，並將線性函數擬合描繪之資料。步 130480.doc 200904204 驟S 5 0中，針對久^^从 十對各頻谱回應計算線性函數之斜率a bu。對於Macbethll # Μ , Λ μ及偏移 咖圖表，藉丨Macbeth圖表上之該 用於獲取測續旦;ί作. 、、’補k與 1 dm發光體的㈣決定 應。步_〇中，藉由決定正及負限度函數 = 函數決定參數^^^。正限度函數；；且= 函數w⑻使得Wp)始終等 所有像素值p之所古从4 ； 數係線性函數f / X . 負函 哲 neg(p)=aneg p+bw，使得fneg(P)始終小於或 荨於用於所有傻去枯 有像素值p之所有估計負限度函數 式⑴）及⑽所示計算參數： ^ # (U)〜'及bneg，使得對於所有值i、j及p， P + bnegQneg i /ρ + ΐ5]^」〗，同時藉由㈠列如）最小 化用於所有P之和（IWP+bneg|)最小化綠色不平衡 校正之總體侵襲性； GO ap(^bp()s係最小值使得對於所有值丨、j及p， p P p°s~ap〇s」，j*P+bposJ，j ’同時藉由（例如）最小 化用於所有p之和（丨ap〇s*p+b㈣丨）最小化綠色不平衡 校正之總體侵襲性。 、 接著在步驟S70中儲在p 储存已決疋參數，以便稍後用於在影像 處理期間決定綠色平输避廢s Q 、 邑千衡補償項目上之限度。或者，可儲存 其他參數，其用於分巧―莫 性等式。 、#又疋義可用以校準已決定參數之非線 圖5中以流程圖形式說明用於成像器像素陣列之校準程 序，其中像素串擾量與像㈣列内之像素位置成函數關 130480.doc •16· 200904204 1。此校準程序決定用於各像素位置α，j)之-經參數 (neg_,’J bneg—M、ap〇s」，j、bpw」，j)，以便用於限制綠色平衡 校正項目。圖5内具有相同參考數字之步驟係以與上文來 考圖4所述者相同的方式實行。圖5包括額外步驟：將測試 物件移動至相對於藉由成像器成像的景物之新位置（步驟 S18)’以及重複步驟㈣至咖，直至已成像最後位置（步 驟S24)。將測試物件’例如心咖化色圖放置於欲成像 之各種位置，例如角落、側面及成像器中心。在步驟 S61(使用等式⑴）及（12))決定複數組參數（w % aP〇S」，j及bpnj)，為放置Macbeth色圖之各位置計算一組。 在步驟S70中儲存參數，以便梢後在影像處理期間使 用。或者，可儲存能夠分段產生非線性等式之參數，線性 等式定義綠色不平衡校正參數。理論上，對於像素位置影 曰、'亲色不平衡校正之實施方案’可為像素陣列内之各綠色 像素位置決定並儲存-組參數H實際實施方案中， 可儲存祕形式之參數’其僅指定數點内之值例如用於 陣列角落、側面及中心。然後可使用雙線性内插法決定用 於保留位置之值。 (x〇，y〇，X,，y丨）之視窗。此視窗中，夂 u > wp〇S，入 bP〇s係值定的。在視窗外部（例如朝 丨（列如朝向影像周邊），參數根據 或者’可將參數設定為常數，其等於整個陣列中的最大 正及負值’以實質上簡化實施方案。然而，使用此方法將 導致未以最佳方式限制於陣列特定區域内的校正項目。 亦可使用該等方法之組合設定參數。定義覆蓋影像中心 ap〇s 及 130480.doc 17 200904204 距視窗之距離增加，例如〜。8=&15。8+心{)。5((；^，(^)。此泉數# 定方法係基於此觀察：綠色不平衡通常在影像周邊最強， 因此該等位置需要更多校正。等式（13)及（14)中顯示 dapos(dx，dy)之兩種校正方法。應注意，關於其他三個參數 aneg、bneg及匕口“採用相同方法。 (13) dapoddxdyhdapos /dx+dapos ^dy。 (14) dapos(dx，dy)=max(dapc)S x*dx+dapos y*dy)。

其中對於各等式（13)及（14)，當x<x〇時，dx=x0-x ;當χ>χ] 枯，dX = X-X丨；當 y<y。時，dy = y〇_y ;當 y〉” 時，= y —^。 一旦已校正成像器，影像處理期間使用儲存之參數，以 在捕捉之影像的綠色像素上實施綠色不平衡補償。圖峨 示根據所揭示之具體實*例的、綠色不+衡補償方法。圖7 說明用於決定校正項目之正及負限度、及、的方法。圖 8說明實施圖ό及7之方法的系統。 參考圖6 ’在步驟S8〇中，根據任何熟知方法決定估計局 部綠色平衡校正項目〜。接著，在步驟S90中，決定校正 項目之上限及下限Apos」，j及。重要的係應注意，當 局部估計綠色平衡校正項目ρ尤 貝㈢匕在預疋限度内時，有限校正 項目可與估計局部綠辛h χ ΤΕ α 1 q、衣邑十衡杈正項目相同，如先前所論 述。步驟S100中，決宗古KP & i τ ^ 决疋有限綠色平衡校正項目Δ，υ。接 著，步驟S 1 1 0中，蔣古uP说Λ τ , f有限、4色平衡校正項目Δ，υ應用於像 素信號。此可在圖8之限制器154内完成。 圖7之方法中 複數個參數組， ’已為整個陣列中之各種位置決定並儲存 如上文參考圖5所論述。步驟S120尹，將 130480.doc 200904204 用於欲校正串擾之綠 器15〇(圖8)。接著，圖像素的像素位置（1，J)輸入限度計算 b 圍繞像素位置之四個參數j、 Μ %义及、〜，」）的四個最近可用值係在步驟S i 3 〇中 於參數表151中找到。步驟難中，雙線W52決定 ^於像素位置（1，j)之參數的值。步驟S15G中，使用在步驟 △ 〇及等式（10)決定的參數在△，、^計算器⑸内決定 P — 0 AneU。此具體實施例中，藉由等式（10)内之 g_等取代aneg。已根據圖5在整個陣列中針對複數個像 素校準計算參數3 , neg」，j ' bH_i、apos」，j及 bpos i j。 圖8相位置相依校正項目限度之硬體實施方案，其包 括用於計f位置相依參數一。〜」〜―。美」，」 之限度汁算器15G。可在表151内儲存在成像器像素陣列校 準（圖4及5)期間決定的參數。該表具有表㈣應參數之值 項目如大小KxL之格柵，其中K遠小於μ且L遠小於 Ν例如，可為覆蓋於像素陣列上之粗略5χ5格柵上的點指 疋參數，而非指定各像素pi j之值。接著可藉由雙線性内插 法計算用於針對未儲存對應參數之像素位置限制綠色平衡 权正項目之參數’如參考圖7所述。 或者’可使用來自無内插之查找表之參數，或者從單— 參數組（如參考圖4所決定）或從儲存之參數決定校正項目之 限度ApcjS J，j及Aneg—i，j，其可用於分段產生非線性等式，誃 等非線性等式可產生依次用於產生限度△ 參數。 」之 圖9說明晶片上系統（SOC)成像器100之方塊圖，其可使 130480.doc •19· 200904204 用任何類型之影像感測技術、CCD、CMOS等，並且其實 施先前所述方法。 成像J 100包含感測裔核心2〇〇，其與連接至輸出介面 130之影像處理器電路11〇通信。鎖相迴路（pLL)244用作感 測益核心200之時脈。負責影像及顏色處理之影像處理器 電路11 0包括内插線緩衝益112、抽樣器（decimat〇r)線緩衝 器114及顏色處理管線】2〇。顏色處理管線i 2〇在其他裝置 中包括限度計算器150及圖8内所示的限制器154。顏色處 理管線120之功能之一係根據上述具體實施例實行綠色不 平衡補償。亦可將影像處理器電路丨丨0實施為DSP或主機電 腦。 輸出介面130包括輸出先進先出（FIF〇)並列緩衝器132及 串列行動工業處理介面（MIPI)輸出134，特別係在行動電 話環境中將成像器100用於相機中時。使用者可藉由在成 像器100晶片内的組態暫存器内設定暫存器選擇串列輸出 或並列輸出。内部匯流排140將唯讀記憶體（ROM)142、微 控制器144及靜態隨機存取記憶體（SraM)146連接至感測 器核心200、影像處理器電路110及輸出介面13〇。唯讀記 憶體（ROM)l 42或SRAM 146可充當用於一或多組儲存參數 值（例如aneg_u、bneg—i，j、apt>s_i，j及bp^ ij)之儲存位置，或者 用於說明可獲得該等值之分段式非線性等式的參數之儲存 位置。 圖10說明可用於成像器100(圖9)内的感測器核心200。 在一項具體實施例中，感測器核心200包括像素陣列202。 130480.doc -20- 200904204 藉由綠色1/綠色2通道204，其輸出對應於像素陣列2〇2之 兩個綠色通道的像素輪出信號，並透過紅色/藍色通道 206，其包含對應於像素陣列2〇2之紅色及藍色通道的像素 輸出信號，將像素陣列2〇2連接至類比處理電路2〇8。 儘&僅說明兩個通道2〇4、2〇6，有效地存在兩個綠色通 道、.亲色-紅色及綠色-藍色以及紅色及藍色通道。在不同 時間（使用通道204)讀出綠色U即綠色-紅色）及綠色2(即綠

色-藍色）信號，並且在不同時間（使用通道206)讀出紅色及 藍色信號。類比處理電路208將經處理綠色"綠色2信號 G1/G2輸出至第一類比至數位轉換器（adc)2i4，並且將經 處理紅色/藍色信號R/B輪出至第二類比至數位轉換器 川。將兩個類比至數位轉換器214、216之輸出傳送至數 位處理電路230。 將藉由時序及控制電路24〇控制之列及行解碼器2ιι、 2〇9以及列及行電路212、2㈣接至像素陣列2〇2或 作為其部分’以制像料㈣2捕捉料4序及控制 電路24G使用控制暫存器242以決定如何控制像素陣列202

及其他組件。如上文所與ψ DT 文所知出，PLL 244充當用於感測器核 心2 0 0内之組件的時脈。 像素陣列202包含按預定齡曰 > 預疋數目之仃及列配置的複數個像 素。對於CMOS成像n，藉由_列選擇線同時開啟像素陣 列2〇2中各狀所有像素，並藉由—行選擇線將該列内各 订之像素選擇性地輸出至行輸出線上。為整個像素陣列 2〇2提供複數個列及行線。回應於列解碼器2ιι藉由列驅動 I30480.doc 21 200904204 器電路212選擇性地啟動列擇娱始 u机莉外選擇線，並回應於行解碼器2〇9 藉由行驅動器2 1 〇選擇性地勤_叙& 、伴r王地啟動仃選擇線。因此，為各像 素提供一列及行位址。時序及控制電路24〇控制列及行解 碼器2U、209 ’其用於選擇用於像素讀出之適當列及行 線，以及列及行驅動器電路212、21()，其將驅動電壓施加 於選定列及行線之驅動電晶體。 各行包含類比處理電路208内之取樣電容器及開關，其 讀取用於選定像素之像素重設信號Vm及像素影像信號 Vsig。由於感測器核心2〇〇使用綠色"綠色2通道及分離 紅色/藍色通道206，類比處理電路2〇8將具有為綠色1/綠色 2及紅色/藍色像素輸出信號儲存々“及％^信號之能力。 藉由包含在類比處理電路208内之差動放大器提供差動信 號（vm-vsig)。針對各像素輸出信號產生此差動信號 Vs4)。因此，信號G1/G2及R/B係代表個別像素輸出信號 值之差動信號，其係藉由個別類比至數位轉換器2i4、216 數位化。類比至數位轉換器214、216供應數位化〇1/〇2及 R/B像素輪出信號至數位處理電路23〇 ’其形成數位影像輸 出（例如10位元數位輸出）。將輸出傳送至影像處理器電路 11〇(圖9)以便進一步處理。影像處理器電路11〇將對捕捉之 影像的數位像素輸出信號值實行綠色不平衡補償以及其他 操作。儘管已說明用於提供捕捉之影像的像素輪出信號之 CMOS感測器核心，亦可使用其他固態成像器感測器核心 架構及讀出器件，例如CCD及其他器件。 影像處理器電路1丨〇之顏色處理管線1 2〇對在此處接收之 130480.doc -22- 200904204

像素輸出信號實行若干操作 例，可使用可用於（例如）R0M 之儲存器（例如暫存器）内的一 補償。 。根據本文所述之具體實施 142、SRAM 146或其他形式 組儲存參數實行綠色不平衡 亦可使用決定校正項目限度之軟體實施方案。軟 方案除了係在儲存於記憶體媒體 也 ώ , j钒仃代碼寫入並藉 執仃外’在功能上與硬體實施方案相同。 如先前所論述，藉由勃# 4· — 士 ⑽内之硬… 處理器，藉由處理管線 理系祐胺 4者猎由兩者之組合，或藉由獨立處 '、‘、’將具體實施例實施為像辛 之部分。 々诼京輸出4唬處理管線11〇 可將具體實施例實施為相機之 蒂媸 + 土 β 卩刀例如數位相機或攝 …機或者其他影像獲取系統 徬始給處m J册具實施為用於影 ，'輯應用之獨立或插件軟體 考圖一程序實施為電腦指令::應::作= 二=於儲存媒體上並且可在處理器上執行。儲存之參 ^ 以便用於電腦影像處理系統内。 歹，圖1 1說明作為數位相機哎摄Kϋ。 ^ . 仰讽4攝影機系統800之部分 的處理器系統，其使用如 X圓δ所說明的晶片上 !〇〇,該成像器100提供上述吟 ”、’ 益 出作缺, 上述、.亲色不平衡補償及其他像素輸 出4口號才父正。處理♦祐台k杏 U 糸統包括處理器805(顯示為CPU)，盆實 施系統（例如相機800)功能，且 、 ^ 徑制衫像流。處理器805 與系統之其他元件耦合， ^ , 栝以·機存取記憶體820、可卸 除式記憶體825，例如快Μ # u 砰 决閃或碟片記憶體，-或多個輸入/ 130480.doc -23- 200904204 輸出器件810，其用於輸入資料或顯示資料及/或影像，以 及成像器100至匯流排815，其可為鏈接處理器系統組件之 一或多個匯流排或橋接器。相機800進一步包括透鏡835， 當啟動快門釋放按紐840時其使光可傳遞至成像器1〇〇。 相機系統800係具有可包括成像器之數位電路的處理系 . 統之一範例。若不作限制，則此系統可包括一電腦系統、 相機系統、掃描器、機器視覺、車輛導航、視訊電話、監 广 視系統、自動聚焦系統、星體追蹤儀系統、動作偵測系 統、景》像穩定化系統及影像處理後系統。 雖然已詳細說明所述具體實施例，應容易地瞭解本發明 並不限於所揭示之具體實施例。相反可修改具體實施例以 併入先則未說明的任何數目之變更、修改、替代或等效配 置。 【圖式簡單說明】 圖1顯示貝爾濾色器圖案。 Q 圖2顯示光學串擾之範例。 圖3係顯示用於綠色不平衡補償之像素回應對校正項目 限度的曲線圖。 圖4係顯示根據所揭示之具體實施例的成像器校準之方 ' 法的流裎圖。 圖5係顯示根據所揭示之具體實施例的成像器校準之額 外方法的流程圖。 圖6係顯示根據所揭示之具體實施例用於實行綠色不平 衡補彳員之方法的流程圖。 •24- 1 3048〇.<Jq, 200904204 圖7係顯示根據所揭示之具體實施例用於決定校正項 限度之方法的流程圖。 圖8係所揭示之具體實施例之限度計算器的方塊圖。 圖9係實施所揭示之具體實施例的晶片上系統成像器 方塊圖。 a 之

圖10係用於圖9成像器内之感測器核心的範例。 圖11係根據所揭示之具體實施例構造的處理系統，例 數位相機或攝影機系統。 【主要元件符號說明】 如

10 貝爾圖案 11 紅色像素 12 藍色像素 13 綠色像素 15 列 20 列 25 像素核心 30 光射線 35 遽色器陣列 36 紅色濾波器 40 像素 43 綠色像素 100 成像器 110 影像處理器電路/處 112 内插線緩衝器 理管線 130480.doc -25- 200904204 114 抽樣器線緩衝器 120 顏色處理管線 130 輸出介面 132 先進先出並列緩衝器 134 串列行動工業處理介面輸出 140 内部匯流排 142 唯讀記憶體 144 微控制器 146 靜態隨機存取記憶體 150 限度計算器 152 雙線性内插器 153 △pos、Aneg計算器 154 限制器 200 感測器核心 202 像素陣列 204 綠色1/綠色2通道 206 紅色/藍色通道 208 類比處理電路 209 行解碼器 210 行驅動電路 211 列解碼器 212 列驅動器電路 214 第一類比至數位轉換器 216 第二類比至數位轉換器 130480.doc -26- 200904204 230 數位處理電路 240 時序及控制電路 242 控制暫存器 244 鎖相迴路 800 數位相機或攝影機系統/相機系統 805 處理器 810 輸入/輸出器件 815 匯流排 820 隨機存取記憶體 825 可卸除式記憶體 835 透鏡 840 快門釋放按鈕 130480.doc -27·

Claims (1)

1. 200904204 十、申請專利範圍： ι· -種處理對應於-影像之複數個像素信號的方法，其包 含： Ο Ο 決定用於各綠色像素信號之一估計綠色平衡校正 目； 一藉由根據-組參數限制該估計綠色平衡校正項目而決 疋用於各綠色像素信號之一有限綠色平衡校正 以及 《 « , 藉由將該有限綠色平衡妨D _ 衡木又正項目應用於該綠色像 唬而調整各綠色像素信號。 。 求項1之方法’其中限制該估計綠色平衡校 、步包含將-上限及一下限之至少一者 綠色平衡校正項目。 3·如請求項2之方法，其中誃 決定❶ °x等上限及下限係從該組參數 4·如請求項1之方法，苴中兮，▲ 得。 ^中έ亥組參數係從一儲存位置獲 5·如凊求項4之方法，其中誃 其分別與該複數個像素信；：存位置包括複數組參數， “請求们之方法…：之不同者相關聯。 進一步包含： ~疋該估計綠色平衡校正項目 項 正項目 應用於該估計 道的 決定圍繞正在處理之1定像素且屬於—第一綠色 像素核心内之像素卢 ~ 特定像素屬於該第-綠色^^之一第一平均值，其中 通 該 130480.doc 200904204 弟 綠色通道之一像素 決定圍繞該特定像素且屬於 核心内的像素信號之一第二平均值；以及 根據該第一平均值與該第二平均值之間的一差異決定 該估計綠色平衡校正項目。 方法…該估計綠色平衡校正項目係決 疋，Ά ，其中Sgi係該第一平均值且&係該第 二平均值。 8·如請求項2之方法，其中將該上限或該下限應用於該估 计綠色平衡校正項目導致該有限綠色平衡校正項目大於 或等於該下限並且小於或等於該上限。 9，如請求項2之方法，其中該組 妖匕枯 ap〇s、bpos、aneg及 neg ’並且係儲存於一儲存位置 Φ r T apos^ aneg係斜 率’而匕陶及匕㈣係在一校車鞀皮 ^ n ^ 杈羊程序期間決定的函數截距， :及=參數與㈣定像素錢、捕捉該影像之-感測 :及捕捉該影像之—相機的相機光學元件之至少一者相 其中藉由如下應用該組參 — >数决疋该4上限及下限： △po’apo’pi j+bpos ;以及 ^neg —aneg*pij + bneg > 以及其中Δρ〇3係該上限，A —你土 ΔηΜ係該下限，而P..传一牡 疋像素信號。 叩特 10.如請求項6之方法，盆 -、干調整該等像辛 將該有限局部綠色平衡…號進一步W 信號： ^項目如下應用於各綠色像素 130480.doc 200904204 當該第一平均值大於該第二 备兮m *仏 十勺值時’ η广; ，田邊第一十均值小於該第二平均值時， P i，j=Pi，j+|Au| ;以及 當該第-平均值等於該第二平均值時，p，， 其中p、，j係該經調整像素信號，Pij係一特定像素作 唬，係該有限局部綠色 ^ 丨夺邑十衡权正項目，並且i及j代表 該特定、綠色像素在一像素陣列内t _位置。 π -如請求項1之方法，苴中 、、且參數與-特定綠色像素信 ::陣列位置、捕捉該影像之-感測器及捕捉該影像 之-相機的相機光學元件之至少一者相關。 12.如請求項〗之方法，其中該組 得： 双货轉由以下方式獲 針對各參數從一儲存位置獲得' 近正在調整之_ ，/、、最接 以及 求邑像素的-陣列位置相關聯； 使用内插法以決定用 各參數。 肖於正在調整之該特定綠色像素的 13. 如#求項12之方法其巾該内插法係 14. 一種操作一成偾 雙線性内插法。 戍像系統之方法，該方法包含· 獲得複數個測試影像； . 從該等測試影像發展用於限制 目之參數’·以及 巴不千衡顏色校正項 將該等參數儲存於一成像器内 色不平衡校正。 用於该成像器之綠 130480.doc 200904204 15·^求項14之方法，其中針對個別複數個不同色溫照明 狀況之至少一者獲得該複數個測試影像。 16. ^f項以方法，其中在相對於-成像器陣列之個別 複數個位置獲得該複數個測試影像。 17. H求項14之方法，其中獲得包括複數個顏色之一測試 物件的該複數個測試影像。 18. 如明求項14之方法，其中發展該等參數進一步包含. Ο 決定用於各測試影像之_估計局部綠色平衡校正項 目； 相對於用於各測試影像之一像素回應而為該估計局部 綠色平衡校正項目決定資料點； 使—線性函數擬合用於各測試影像之該等資料點； 為各測試影像決定可能參數組；以及 選擇該適當參數組以用於各測試影像之校正項目限 制。 19.如=求項18之方法’其中為各測試影像決定可能參數組 包含決定擬合於用於各測試影像之該等資料點的該線性 函數之一斜率及一截距。 2〇·如請求項18之方法，其中選擇該適當可能參數組以用於 校正項目限制包含選擇該等可能參數組，其產生最大正 及最大負綠色不平衡估計。 21.如凊求項14之方法，其中針對複數個像素位置重複該方 法。 22·如喷求項21之方法，其進一步包含儲存複數個適當參數 130480.doc 200904204 組以用於校正項 項目限制，其令該複數組參數之各組係與 一像素陣列内之-特定像素位置相關。 23_ —種成像器件，其包含·· 一像素陣m於捕捉—影像及提供像素信號； -儲存器件，其用於儲存至少一組參數；以及 一處理電路’其用於處理藉由該陣列產生並且對應於 、已捕捉办像之像素輸出信號’該處理電路經組態用 UK 決定用於各綠色像素輸出㈣之—估計綠色平衡校 正項目； 藉由限制該估計綠色平衡校正項目決定用於各綠色 像素輸出信號之-有限綠色平衡校正項目；以及 藉由將該有限綠辛单+ ^ 巴十衡杈正項目應用於該綠色像素 仏號調整各綠色像素輸出信號。 24. 如請求項23之成像器件，其中 、Τ限制5亥估计綠色平衡校正 項目進一步包含將一L up n 艾。“等i限及一下限之至少一者應用於該 估计綠色平衡校正項目，其中從該組參數決定該等上 及下限。 25, 如請求項23之成像器件，其中從-儲存位置獲得用於各 綠色像素信號之該組參數。 26·如請求項25之成像器件’其中該儲存位置包括複數組來 數，其分別與該等像素輪出信號之不同者相關聯。> 27·如請求項24之成像器件，其中將該上限或該下限應用於 該估計綠色平衡校正項目導致該有限綠色平衡校正項目 130480.doc 200904204 大於或等於該下限並且小於或等於該上限。 28·如請求項24之成像器件，其中該組參數包括匕 aneg及bneg，並且係儲存於一儲存位置 〆 apos& aneg 係斜率，而bpjbneg係在一校準程序期間決定的函數截 距’並且該等參數與該特定綠色像素信號、捕捉該影像 之一感測器及捕捉該影像之一相機的相機光學元件之至 少一者相關， 其中決定該等上限及下限包含如下應㈣組參數= △pofapo/pij+bpos ;以及 ieg' ianeg*Pisj + bn eg 並且其中厶㈣係該上限，而Δηβ係該下限。 29.如請求項23之成像器件，其中決定該估計綠色平衡校正 項目進一步包含： 決定圍、繞正在處理t 一特定綠色像t且屬於一第一綠 色通道的一像素核心内之像素輸出信號之一第一平均 值，其中該特定綠色像素屬於該第一綠色通道； 決定圍繞該特定綠色像素且屬於一第二綠 ζ通道之一 像素核心内的像素輸出信號之一第二平均值；以及 根據該第-平均值與該第二平均值之間的一差異決定 s亥估計綠色平衡校正項目。 30·如請求項29之成像器件’其中調整該等像素輸出信號進 —步Μ㈣綠色平衡校正項目如下應用於該綠色 像素輸出信號： 當該第-平均值大於該第二平均值時， 130480.doc 200904204 當該第-平均值小於該第二平均值時、 以及 當該第—平均值等於㈣：平均值時，ρν=ρ..， 其中〜係該經調整像素信號，Rj係一特定^色像辛 輸出信號’ Δμ係該有限局部綠色平衡校正項目，並且丨 及j代表該特定綠色像素在該像素陣列内之一位置。 31•如請求項23之成像器件，其中該組參數與_特定綠色像 Γ 素信號之一陣列位置、抽扣y # 置捕捉忒影像之一感測器及捕捉該 影像之一相機的相機光學元件之至少一者相關。 32. 如請求項23之成像器件’其中 T及、、且參數係藉由以 獲得： 八 針對各參數從一儲存位晉摧·彡β 砵仔位置獲仔一組可用值，其與最接 近正在調整之一特定綠色像素的一 斤幻丨早列位置相關聯；以及 使用内插法以決定用於f Α 1 用於正在冑整之該特定綠色像素的 該組參數。 33. 如請求項32之成像器件，其中 ，、T ”哀内插法係一雙線性内插 法。 3 4. —種數位相機，其包含： 一像素陣列，其用於捕捉透過—透鏡接收之—影像； 一儲存區域，其用於儲存至少一組參數丨以及 =像素陣列處理電路，其制該至少—組參數並且經 組態用以決有限綠色平衡校正項目以及使用該有 限綠色平衡校正項目調整用於—捕捉之影像的綠色像素 信號，其中藉由使用該至少-組參數限制—估計綠色平 130480.doc 200904204 衡校正項目決定該有限綠色平衡校正項目。 35·如請求項34之數位相機，其中在成像器校準期間決定該 至少一組參數並且將其儲存於該儲存區域内。 / 如請求項34之數位相機，其中該估計綠色平衡校正項目 係限制成該有限綠色平衡校正項目大於或等於—下限並 且小於或等於-上限，其中從該至少_組參數決定㈣ 下限及上限。 C L 37·如請求項36之數位相機’其中該組參數包括、、、、 aneg及bneg，並且係儲存於一儲存位置内盆 7 〆、τ 3_卩05及 aneg 係斜率’而bpjbneg係在一校準程序期間決定的函數截 距，並且料參數與㈣定綠色像素㈣、捕捉該影像 之一感測器及捕捉該影像之—相機的相機光學元件之至 少一者相關， 其中藉由如下應用該組參數決定該等上限及下限： △pofapo/pij+bpw;以及 △neg-aneg*p丨，j + bneg ’ 其中ΔΡ』該上限，Aneg係該下限，而ρ;】係該綠色像 素信號。 38· —種儲存媒體，其包含： -組指令，其係儲存於該媒體上並且可在—處理器上 執行以實行以下動作： " 為與-捕捉之影像相關聯的各綠色像素信號決定— 估計綠色平衡校正項目，其中決定該估計綠色平衡校 正項目包含： 130480.doc 200904204 決定圍繞正在處理之一特定綠色像素且屬於一第 綠色通道的—像素核心内之像素信號之-第一平 均值’其中該特定像素屬於該第—綠色通道； 决疋圍繞該特定綠色像素且屬於一第二綠色通道 之一像素核的像素信號H平均值；以及 根據該第-平均值與該第二平均值之間的一差異 決定該估計綠色平衡校正項目； 藉由限制該估計綠色平衡校正項目而決定用於各綠色 像素信號之一有限綠色平衡校正項目，其係藉由將一上 限及-下限之至少—者應用於該估計綠色平衡校正項 目’其中從-組參數決定該等上限及下限，該組參數與 一，定綠色像素信號之—陣列位置、捕捉該影像之一感 測》。及捕捉該影像之一相機的相機光學元件之至少一者 相關，以及該組參數係藉由以下方式獲得： 針對各參數從一儲存位置獲得一組可用值，其與最 接近正在調整之該特定綠色像素的一陣列位置相關 聯；以及 使用内插法以決定用於正在調整之該綠色特定像素 的該組參數；以及 β藉由將該有限綠色平衡校正項目應用於該綠色像素信 號調整各綠色像素信號。 130480.doc