TWI450594B

TWI450594B - 串色影像處理系統和提高清晰度的方法

Info

Publication number: TWI450594B
Application number: TW100124827A
Authority: TW
Inventors: Guansong Liu; Jizhang Shan; Lu Gao; Hongiun Li
Original assignee: Omnivision Tech Inc
Priority date: 2010-07-14
Filing date: 2011-07-13
Publication date: 2014-08-21
Also published as: CN102376083B; EP2408210B1; EP2408210A3; EP2408210A2; US8457393B2; US20120014591A1; TW201225680A; CN102376083A

Description

串色影像處理系統和提高清晰度的方法

本發明大體上屬於一種影像處理方法。具體言之，其係一種串色影像處理系統和提高清晰度的方法。

一個影像模組包括至少一個透鏡和一個影像感測器。影像感測器檢測到的影像顯示於顯示器上。一般而言，影像傳感器具有三種類型的檢測元件，每個檢測元件提供關於原色(如紅(R)、綠(G)、藍(B)中的一種)的色彩強度值(color intensity value)，相應地，感測器向顯示器提供R、G、B個別色影像，每一個別色影像都是具有每一個別色之色彩強度值的像素的組合。

在某些情況下，透鏡具有色差，導致原色像素中的偏差。相應地，透鏡所形成的單一R、G、B個別色影像並未成像于同一焦平面上。如果影像感測器的位置進行調整以優化R影像，檢測到的R影像將會變得清晰，而檢測到的G影像和B影像則不會。

為了使所有的R、G、B影像都變得清晰，有時候檢測到的R、G、B影像在投向顯示器之前，要先進行處理及電子校正。目前有許多方法可以利用最清晰影像中得到的資訊對不清晰的影像進行校正。值得欣慰的是，一些方法嘗試尋找最清晰的影像(在R、G、B中)以校正不夠清晰的影像。大體上，這些方法涉及提高銳度(sharpness,或稱清晰度)的串色(cross-color)影像處理。

在現有技術中，這些串色影像處理方法相當複雜，且經常不精確。例如，與物體到成像器的距離有關，R、G、B中最清晰的影像可能變化。即，在一個單獨的影像中，近物的最清晰的個別色影像(R、G或B)與遠物的最清晰的個別色影像(R、G或B)是不同的；因而，無法界定一複色影像(composite color image，或稱複合色彩影像)中那個最清晰的個別色影像(R、G或B)。儘管某些串色影像處理中的問題可以通過替代方法解決，例如通過將影像分成幾個區域，但這導致了較長時間的計算處理。

在本發明的一實施方式中，本發明提供了一種將檢測的複色影像進行處理、以形成處理後的複色影像的方法，該方法包括：將檢測的複色影像檢測為一複數個個別色影像，每一個別色影像包括該影像中一複數個(a plurality of)像素之每一像素的一複數個檢測的色彩之一的色彩強度值。該方法還包括識別影像中圍繞某一像素的像素窗(a window of pixels)，並從圍繞該像素之各像素的、所檢測的色彩強度值，計算出每一檢測的色彩的權重因數係數。該方法還包括計算對應於每一非選定色彩的原色貢獻(raw color contributions)；用相應的權重因數係數，乘以選定色彩的每一檢測的色彩強度值和對應於非選定色彩的原色貢獻，以形成加權的色彩貢獻；使加權的色彩貢獻相加，以形成該像素的處理後的色彩強度值。

在本發明的另一實施方式中，本發明提供了一種用於處理檢測的複色影像以形成處理後的複色影像的方法；對於影像中一複數個像素的每一像素，該方法包括如下的處理步驟：(1).識別該影像中圍繞該像素的像素窗；(2).從圍繞該像素之各像素檢測的色彩強度值，計算出每一檢測的色彩的權重因數係數；(3).計算對應於每個非選定色彩的原色貢獻；(4).用相應的權重因數係數，乘以選定色彩的每一檢測的色彩強度值和對應於非選定色彩的原色貢獻，以形成加權的色彩貢獻；(5).使加權的色彩貢獻相加，以形成該像素處理後的色彩強度值。

在本發明的又一實施方式中，本發明提供了一種影像感測器，其包括光學成像元件、影像感測器和影像處理器。影像處理器利用影像感測器檢測的複色影像進行處理，形成處理後的複色影像。對於檢測到的複色影像的每一像素，該處理包括如下步驟：(1).識別該影像中圍繞該像素的像素窗；(2).從圍繞該像素之各像素檢測的色彩強度值，計算出每一檢測的色彩的權重因數係數；(3).計算對應於每個非選定色彩的原色貢獻；(4).用相應的權重因數係數，乘以選定色彩的每一檢測的色彩強度值和對應於非選定色彩的原色貢獻，以形成加權的色彩貢獻；(5).使加權的色彩貢獻相加，以形成該像素處理後的色彩強度值。

此處所公開的是用於提高清晰度的串色影像處理系統和方法，其利用計算處理，而不需要搜索最清晰的影像。例如，一彩色影像感測器具有形成單一R、G、B色彩影像的R、G、B像素。單一R、G、B色彩影像中的一個可能清晰，而另外兩個影像可能不清晰。由最清晰的影像得到的資訊可用於校正不清晰的影像；然而，經常不知道R、G、B中的哪一個是最清晰的影像。

在本發明的一實施方式中，修正第一色彩的像素，以使其最終處理後的色彩強度值為以下的線性組合：其本身所檢測到的色彩強度值、由像素窗(window)中第二色彩的像素的所檢測到的色彩強度值得到的值、以及由該像素窗中第三色彩的像素的所檢測到的色彩強度值得到的值，其分別具有第一係數、第二係數、第三係數。第一係數與像素窗中第一色彩的像素的平均梯度成比例，第二係數與像素窗中第二色彩的像素的平均梯度成比例，第三係數與像素窗中第三色彩的像素的平均梯度成比例。

例如，像素窗為9×9的像素窗，待修正的像素位於像素窗的中心。通過將中心像素移動到下一個像素(該像素可能為不同的色彩)，來移動像素窗。對於所有或者大部分像素重複進行該處理，除對於該像素窗中的不同像素結構進行調整外。

相應地，處理後的單一R、G、B影像具有較大的平均梯度，或者在處理後的複色影像中銳度較高，即使沒有對R、G、B中最清晰的影像進行確定，從而相對於現有技術中的串色影像處理技術，大幅減少了計算負擔。利用檢測到的所有三種原色之個別色影像的貢獻進行線性組合，提高了最終處理後的複色影像的清晰度，同時也避免了丟失每種個別色影像的原始資訊。

在本發明的另一實施方式中，第一係數與高頻遮罩(high frequency mask)和像素窗中第一色彩像素所檢測到的色彩強度值的內積的大小成比例；第二係數與高頻遮罩和像素窗中第二色彩像素所檢測到的色彩強度值的內積的大小成比例；第三係數與高頻遮罩和像素窗中第三色彩像素所檢測到的色彩強度值的內積的大小成比例。

在本發明的又一實施方式中，第一係數與像素窗中第一色彩像素所檢測到的色彩強度值的局部對比度成比例；第二係數與像素窗中第二色彩像素所檢測到的色彩強度值的局部對比度成比例；第三係數與像素窗中第三色彩像素所檢測到的色彩強度值的局部對比度成比例。

圖1顯示了串色處理系統20，其對物體22拍照。系統20具有光學成像元件24、影像感測器26、處理器28、選擇性的顯示器30、選擇性的儲存單元32。光學成像元件24在影像感測器26上對物體22進行光學成像。光學成像元件24可以是簡單透鏡、複合透鏡、具有人為的過度色差的特殊設計的透鏡、衍射光學器件(DOE)、上述幾種的組合，或者能對物體光學成像的任何結構。

影像感測器26進行檢測，並將光強度轉化為表示檢測到的色彩強度值的電信號。例如，影像感測器26為CMOS影像感測器，其形成為檢測元件的陣列。每個檢測元件在光學成像元件24所成影像的特定點提供對應於光強度的色彩強度值。此處，位於影像上給定點的所有三種色彩的色彩強度值作為“像素”，所有像素的和則作為“複合影像”。處理器28處理對應於影像感測器26檢測到的複色影像的電信號。如果系統20包括顯示器30，則可以顯示處理後的複色影像。如果系統20包括儲存單元32，則處理器28處理後的複色影像可以儲存於儲存單元32中。

影像感測器26形成檢測元件陣列。在一實施例中，檢測元件40如圖2所示，其排列成若干行和若干列。影像感測器26中可以有數以百計或千計的行和列。影像感測器26的檢測元件將照在其上的入射光強度轉化為代表了在被檢測到的影像的相應位置檢測到的光強度值的電信號。每個檢測元件都對一種色彩敏感，例如紅(R)、綠(G)、藍(B)。或者，檢測元件也可以對另一套不同的色彩敏感，例如青(C)、品紅(M)、黃(Y)，或其他色彩。檢測元件的色彩敏感性可以通過在檢測元件上設置色彩篩檢程式來進行限定。如圖2所示，檢測元件陣列經常使用拜爾圖樣(Bayer pattern)。根據拜爾圖樣，一套四檢測元件包括一個R檢測元件、一個B檢測元件、兩個G檢測元件。雖然拜爾圖樣被做為一實施例，本發明公開的內容並不不限於拜爾圖樣。

為了說明，當系統20對物體22拍照(圖1所示)時，影像感測器26檢測到三個個別色影像(例如一個R影像、一個G影像、一個B影像)，以形成檢測到的複色影像。R影像由R檢測元件生成，G影像由G檢測元件生成，B影像由B檢測元件生成(圖2所示)。三個檢測到的個別色影像提供給處理器28進行處理(這樣在本實施例中，影像感測器26將每個像素檢測到的色彩強度值提供給處理器28)。之後，處理後的複色影像又被顯示於顯示器30。

由影像感測器26所檢測到的三個個別色影像可能彼此不相同，其區別可能由物體22的色彩內容所導致；另一方面，該區別可能由於光學成像元件24形成的個別色影像不同而導致。例如，其可能由光學成像元件24的固有特性所導致，例如色差；或者光學成像元件24可能被特意設計為由不同的色彩形成不同的影像。

在一實施方式中，處理器28生成處理後的複色影像，該複色影像修正三種檢測到的個別色影像以提高相似度，例如通過調整每種個別色影像的清晰度而不顯著改變色彩內容。例如，假定物體22是一個黃色的蘋果，其被系統20成像。注意，紅色加綠色即形成黃色，因此影像感測器26生成了該黃色蘋果的一個紅色個別色影像和該黃色蘋果的一個綠色個別色影像。在該實施例中，假定蘋果的紅色影像清晰而蘋果的綠色影像不清晰，因為光學成像元件24是在不同的平面上形成的紅色和綠色影像(例如，紅色焦平面和綠色焦平面)，而影像感測器26位於紅色焦平面上。這樣，本實施例的處理器28通過將綠色影像修正為像紅色影像一樣清晰以生成處理後的影像(如下面段落所述)，以達到當處理後的紅色和綠色影像合併，黃色蘋果的最終影像可能比未處理的影像清晰。然而，蘋果的色彩不會有明顯的改變。

因而，當光學成像元件(例如透鏡)具有色差，其在不同的焦點距離形成單一的紅色、綠色、藍色影像，這使檢測到的複色影像模糊。為了生成清晰的彩色影像，傳統的方法是將透鏡設計為具有最小色差或減少的色差(即消色差透鏡)。相對於帶有色差的透鏡，消色差透鏡對於各種色彩的焦平面，例如其紅色焦平面、綠色焦平面、藍色焦平面，是不分開地，或者只按一較小距離分開。當利用此處所公開的方法，雖然被檢測到的彩色影像可能因某些被檢測的色彩而變糊，但可以在處理器中經影像處理而得以改進，所以設計者可能忽略透鏡的色差。進一步地，如前所述，透鏡甚至可能被設計為具有過度色差，在這樣的透鏡中，紅色、綠色、藍色的焦平面顯著分離。如同消色差透鏡設計，增加色差的透鏡設計技術為現有技術。結果，在某些特定色彩焦平面上被檢測到的色彩影像可能變糊。通過使用此處所公開的方法，在紅色、綠色、藍色焦平面上所有被檢測的色彩影像可以被修正為在所有的紅色、綠色、藍色上形成的清晰色彩影像。換言之，只要成像系統檢測到的影像是在至少一種色彩的清晰聚焦情況下生成影像，那麼，使用此處所公開的方法，對具有色差的透鏡所生成影像進行處理，將有效按比例成像系統的焦深(depth of focus)或景深(depth of field)。

在一實施方式中，處理器28所進行的處理為，通過生成一個處理後的影像(該處理後的影像是基於其鄰近像素的檢測的色彩強度值、對修正影像資料中每一像素所檢測到的色彩強度值進行修正而形成的)，以生成處理後的複色影像。例如，如圖2所示，待處理的像素42被圍繞像素42的9×9的像素窗44內的所有像素影響。像素42位於9×9的像素窗44的中心。其他尺寸大小的像素窗也在本發明的範圍之內；例如，某些其他可能的像素窗大小規格包括對稱的或非對稱的、奇數的或偶數的。儘管該像素位於像素窗內，但待處理的像素可能不在非對稱像素窗的中心，或具有偶數個像素的像素窗的中心。因此，雖然本實施例中使用9×9的像素窗，在某些情況下，其可能是優化的和優選的像素窗尺寸，但在其他情況下可能適用和優選完全不同的像素窗尺寸。

圖3所示的實施例顯示了位於像素窗44中央的藍色像素42。如圖所示，像素42被標記為B₅₅ ，代表其在像素窗44中的位置。像素B₅₅ 處理後的值或最終值B_final ，同時也代表像素B₅₅ 處理後的色彩強度值，是選定色彩(即藍色)和非選定色彩(即紅色和綠色)的加權色彩貢獻(weighted color contribution)之和。特別地，B_final 是像素B₅₅ (B_B )檢測到的B值、像素窗中對應於R值的原色貢獻(B_R )和像素窗中對應於G值的原色貢獻(B_G )的線性組合：

B _final =|w _B |^a ‧B _B +|w _R |^a ‧B _R +|w _G |^a ‧B _G ，　(1)

其中，|wB|^a 、|wR|^a 、|wG|^a 是線性組合的權重因數係數，wB、wR、wG為權重因數，其定義則如後文討論。這樣，|w _B |^a ‧B _B 為像素窗44中對應於檢測到的藍色強度值的權重色彩貢獻，|w _R |^a ‧B _R 為像素窗44中對應於檢測到的紅色強度值的權重色彩貢獻，|w _G |^a ‧B _G 為像素窗44中對應於檢測到的綠色強度值的權重色彩貢獻。指數“a”為大於1的正實數。為了描述的清楚簡要，“a”在下面的實施例中是一致的(unity)。在一些實施方式中，“a”可以是1.2、1.5、1.7、2、3....或任何大於1或等於1的正實數。增加“a”的值即增加了更好聚焦的個別色影像對最終影像的貢獻，因為如下文所討論，更好聚焦的個別色影像比相對差聚焦的影像具有更大的相應權重因數“w”。因此，增加“a”值即增加了最終影像或複色影像的銳度(清晰度)。然而，如果“a”值過大，複色影像將會包括高頻雜訊(noise)和/或不希望的銳度邊界。相應地，在某些實施方式中，“a”等於1，提供了介於影像清晰度和最小影像缺陷之間的可接受的折中。

像素B₅₅ 處的檢測到的B值可以認為是B的初始檢測到的色彩強度值，其與最終B值或處理後的色彩強度B值相對。B_B 、B_R 、B_G 定義為：

其中R ⁱ 為位於B₅₅ 位置的R強度插值，其由像素窗中選定的R像素檢測到的強度值計算。可用標準方程或特殊方程計算R ⁱ 。G ⁱ 為位於B₅₅ 位置的G強度插值，其由像素窗中選定的G像素檢測到的強度值計算。可用標準方程或特殊插值函數來計算G ⁱ 。

Δ_RB 是色彩差項，其根據像素窗中檢測到的B強度值與檢測到的R強度值的差值修正R ⁱ 。例如，Δ_RB 可能為像素窗或像素窗的一部分中B像素強度值的平均值與R像素強度值的平均值的差。類似地，Δ_GB 是色彩差項，其根據像素窗中檢測到的B強度值與檢測到的G強度值的差值修正G ⁱ 。例如，Δ_GB 可能為像素窗或像素窗的一部分中B像素強度值的平均值與R像素強度值的平均值的差。在某些其他的實施方式中，每個色彩差項是兩個不同色彩像素的加權平均值的差。例如，在這樣的實施方式中，Δ_RB 是像素窗或像素窗的一部分中B像素強度值的加權平均值和R像素強度值的加權平均值之差。例如，平均值進行加權可以基於到被修正的像素的距離，其中，距離被修正的像素更近的像素，其權重大於距離被修正的像素更遠的像素。

在一實施方式中，權重因數的定義決定了處理器28的輸出。例如，權重因數可以與像素窗中的個別色影像的平均梯度成比例。平均梯度越大，權重因數越大(在本實施方式中)。這樣，R、G、B三種個別色影像中具有最大平均梯度的一個，將比其他兩個具有較小平均梯度的個別色影像，對選定像素值的最終處理後的色彩強度值具有更大的貢獻(即，方程式1)。另一方面，具有較小平均梯度的個別色影像具有較小的貢獻。結果，最終的三個處理後的影像將具有大的平均梯度。換言之，在處理後的像素窗中，如果R、G、B三種個別色影像中的一個是清晰的(具有最大的平均梯度)，而其他個別色影像不清晰(具有較小的平均梯度)，像素窗中所有的處理後的R、G、B影像最終都是清晰的(具有較大的平均梯度)。

例如，權重因數可以由下列公式計算：

其中grad表示梯度，Bgrad、Rgrad、Ggrad分別為像素窗中B、R、G像素檢測到的色彩強度值的平均梯度，例如，

其中V和H分別表示縱向和橫向。參考圖3，

以及

簡要起見，方程式(5)和方程式(6)未列出括弧內所有的20個梯度項。參考圖3，R_grad 和G_grad 可以用通過分別用R和G代替所有的B值，以同樣的方式計算。另外，方程式(5)和方程式(6)可以僅僅包括選定的梯度項。

用這種方式，可以得到B₅₅ 或者像素42的處理後的色彩強度值，B_final 。B_final 可選擇性地進行歸一化處理。通過調整之後，可以對所有的個別色影像的所有像素或大部分像素重複的處理。

在另一實施方式中，當遮罩(mask)實際小於像素窗，權重因數可以與高頻遮罩和像素窗中單一原色的檢測的色彩強度值的內積的大小成比例；當遮罩實際大於像素窗，權重因數可以與高頻遮罩和擴大的像素窗中單一原色的檢測到的色彩強度值的內積的大小成比例。高頻遮罩用於推導影像的高頻內容。特別是，如遮罩所定義，高頻遮罩和給出影像的檢測到的色彩強度值的內積，提供了影像的高頻內容。例如，單獨的頻率餘弦遮罩和影像的檢測到的色彩強度值的內積能推導出影像在遮罩頻率的餘弦分量。

具有大的高頻內容的影像通常比具有小的高頻內容的影像清晰。相應地，高頻遮罩和所給影像的檢測到的色彩強度值的內積可能指示相關影像的清晰度，因此，內積越大，與影像相關的權重因數越大。這樣，R、G、B三種個別色影像中具有最高內積(inner product)的一個，將比其他兩個具有較低內積的個別色影像，對選定像素值的最終處理後的色彩強度值具有更大的貢獻(即，方程式1)。另一方面，具有較低內積的個別色影像具有較小的貢獻。結果，最終的三個處理後的影像將具有高的內積。換言之，在處理後的像素窗中，如果R、G、B三種個別色影像中的一個是清晰的(具有帶有高頻遮罩的高的內積)，而其他個別色影像不清晰(具有帶有高頻遮罩的低的內積)，像素窗中所有的處理後的R、G、B影像最終都是清晰的(具有帶有高頻遮罩的高的內積)。

例如，權重因數可以由下列方程式計算：

其中，IP代表內積，B_IP 、R_IP 、G_IP 分別為像素窗B、R、G像素檢測到的色彩強度值和高頻遮罩的內積。例如，一個5×5的高頻遮罩給出如下：

高頻遮罩M_HF 是固定的遮罩，其獨立于單一R、G、B色彩影像的高頻組成(component)。高頻遮罩通常具有週期性和對稱性的二維模式，例如方程式(8)中所示的例子。當然，也可以使用其他的高頻遮罩，例如具有餘弦模式的遮罩。由給出的高頻遮罩推導出的高頻組成取決於遮罩的傅利葉變換。

兩個連續函數A(x,y)和B(x,y)的內積給出如下：

Inner Product =∫∫A (x ,y )B (x ,y )dxdy 　(9)

如果A_ij 和B_ij 是離散函數，內積為

參考圖3，遮罩可以按比例(scaled)以使B像素與遮罩匹配，並且像素B₅₅ 位於遮罩的中心。相應地，B_IP 可以定義為：

B _IP =m ₁₁ B ₁₁ +m ₁₂ B ₁₃ +m ₁₃ B ₁₅ +m ₁₄ B ₁₇ +m ₁₅ B ₁₉ +m ₂₁ B ₃₁ +m ₂₂ B ₃₃ +m ₂₃ B ₃₅ +m ₂₄ B ₃₇ +m ₂₅ B ₃₉ +m ₃₁ B ₅₁ +m ₃₂ B ₅₃ +m ₃₃ B ₅₅ +m ₃₄ B ₅₇ +m ₃₅ B ₅₉ +m ₄₁ B ₇₁ +m ₄₂ B ₇₃ +m ₄₃ B ₇₅ +m ₄₄ B ₇₇ +m ₄₅ B ₇₉ +m ₅₁ B ₉₁ +m ₅₂ B ₉₃ +m ₅₃ B ₉₅ +m ₅₄ B ₉₇ +m ₅₅ B ₉₉ 　(11)

參考圖3，為了計算R_IP ，按比例後的M_HF 可以相對於像素窗44改變以使鄰近像素B₅₅ 的R像素位於按比例後的遮罩的中心。例如，按比例後的遮罩可以相對於像素窗44改變以使R₆₆ 位於遮罩的中心。相應地，R_IP 可以定義為：

R _IP =m ₁₁ R ₂₂ +m ₁₂ R ₂₄ +m ₁₃ R ₂₆ +m ₁₄ R ₂₈ +m ₁₅ R ₂₁₀ +m ₂₁ R ₄₂ +m ₂₂ R ₄₄ +m ₂₃ R ₄₆ +m ₂₄ R ₄₈ +m ₂₅ R ₄₁₀ +m ₃₁ R ₆₂ +m ₃₂ R ₆₄ +m ₃₃ R ₆₆ +m ₃₄ R ₆₈ +m ₃₅ R ₆₁₀ +m ₄₁ R ₈₂ +m ₄₂ R ₈₄ +m ₄₃ R ₈₆ +m ₄₄ R ₈₈ +m ₄₅ R ₈₁₀ +m ₅₁ R ₁₀₂ +m ₅₂ R ₁₀₄ +m ₅₃ R ₁₀₆ +m ₅₄ R ₁₀₈ +m ₅₅ R ₁₀₁₀ 　(12)

再次參考圖3，為了計算G_IP ，按比例後的M_HF 可以相對於像素窗44改變以使鄰近像素B₅₅ 的G像素位於按比例後的遮罩的中心。例如，按比例後的遮罩可以相對於像素窗44改變以使G₅₆ 位於遮罩的中心。為了與按比例後的遮罩匹配，必須省略位於選定的兩列G像素之間的一列。相應地，G_IP 可以定義為：

G _IP =m ₁₁ G ₁₂ +m ₁₂ G ₁₄ +m ₁₃ G ₁₆ +m ₁₄ G ₁₈ +m ₁₅ G ₁₁₀ +m ₂₁ G ₃₂ +m ₂₂ G ₃₄ +m ₂₃ G ₃₆ +m ₂₄ G ₃₈ +m ₂₅ G ₃₁₀ +m ₃₁ G ₅₂ +m ₃₂ G ₅₄ +m ₃₃ G ₅₆ +m ₃₄ G ₅₈ +m ₃₅ G ₅₁₀ +m ₄₁ G ₇₂ +m ₄₂ G ₇₄ +m ₄₃ G ₇₆ +m ₄₄ G ₇₈ +m ₄₅ G ₇₁₀ +m ₅₁ G ₉₂ +m ₅₂ G ₉₄ +m ₅₃ G ₉₆ +m ₅₄ G ₉₈ +m ₅₅ G ₉₁₀ 　(13)

另外，方程式(7)中的R_IP 可以是方程式(12)中所示的幾個R_IP 值的平均值，例如，當像素R₄₄ 、R₄₆ 、R₆₄ 、R₆₆ 分別位於遮罩的中心時的值。在一實施方式中，方程式(7)中的R_IP 是方程式(12)中所示的幾個R_IP 值的平均值，其高頻遮罩集中於距離像素B₅₅ 橫向和/或縱向少於10個像素的兩個或多個位置。相似地，方程式(7)中的G_IP 可以是方程式(13)中所示的幾個G_IP 值的平均值，例如，當像素G₄₅ 、G₅₄ 、G₅₆ 、G₆₅ 分別位於遮罩的中心時的值。在一實施方式中，方程式(7)中的G_IP 是方程式(13)中所示的幾個G_IP 值的平均值，其高頻遮罩集中於距離像素B₅₅ 橫向及/或縱向少於10個像素的兩個或多個位置。在一實施方式中，方程式(7)中的B_IP 也可以是方程式(11)中所示的幾個B_IP 值的平均值，例如，當像素B₅₅ 、B₅₃ 、B₅₇ 、B₃₅ 、B₇₅ 分別位於遮罩的中心時的值。在一實施方式中，方程式(7)中的B_IP 是方程式(12)中所示的幾個B_IP 值的平均值，其高頻遮罩集中於距離像素B₅₅ 橫向及/或縱向少於10個像素的兩個或多個位置。

用這種方式，可以得到B₅₅ 或者像素42的處理後的色彩強度值，B_final 。B_final 可選擇為規範化。通過調整之後，可以對所有的藍、紅、綠個別色影像的所有像素或大部分像素重複的處理，以形成處理後的複色影像。

在另一實施方式中，權重因數可以與像素窗中相應的個別色影像的局部對比度成比例。局部對比度越高，權重因數越大。這樣，R、G、B三種個別色影像中具有最高局部對比度的一個，將比其他兩個具有較低局部對比度的個別色影像，對選定像素值的最終處理後的色彩強度值具有更大的貢獻(即，方程式1)。另一方面，具有較低局部對比度的個別色影像具有較小的貢獻。結果，最終的三個處理後的影像將具有高的局部對比度。換言之，在處理後的像素窗中，如果R、G、B三種個別色影像中的一個是清晰的(具有高的局部對比度)，而其他個別色影像不清晰(具有低的局部對比度)，像素窗中所有的處理後的R、G、B影像最終都是清晰的(具有高的局部對比度)。

例如，權重因數可以定義為：

其中LC代表局部對比度。B_LC 、R_LC 、G_LC 分別為B、R、G像素的局部對比度。

例如，像素窗中B像素的局部對比度可以如下導出。首先，確定像素窗中B像素的色彩強度值的平均M_B 值。然後像素窗中的B像素被分為兩組，Group1和Group2，如下：

影像B的局部對比度可以定義為：

B _LC =M _B (Group 1)-M _B (Group 2)　(16)

其中，M_B (Group1)和M_B (Group2)分別為Group1和Group2中的B像素的色彩強度值的平均值。局部對比度也可以有其他定義。

R_LC 和G_LC 也可以用同樣的方式表示。用這種方式，可以得到B₅₅ 或者像素42的處理後的色彩強度值，B_final 。B_final 可選擇性為歸一化的。通過調整之後，可以對所有的藍、紅、綠個別色影像的所有像素或大部分像素重複的處理，以形成處理後的複色影像。

進一步舉例，圖4所示為，為了修正像素52的像素窗54，其中像素52為R像素。圖5所示為，為了修正像素62的像素窗64，其中像素62為具有橫向相鄰的B像素的G像素。圖6所示為，為了修正像素72的像素窗74，其中像素72為具有橫向相鄰的R像素的G像素。其處理與上文所給的B像素的實施例相似，每個處理流程可以做相應的調整，例如對於已選定的色彩(即圖4所示實施例中的紅色、圖5和圖6所示實施例中的綠色)和對於非選定的原色(即圖4所示實施例中的綠色和藍色、圖5和圖6所示實施例中的紅色和藍色)。

上述實施方式和/或方法顯示了可能的實施方式及/或方法的一些實施例。用於定義權重因數的其他實施方式和/或方法也是可以的。上述方法的一個優點是：不需要知道R、G、B個別色影像的相對清晰度，就可以校正所有的R、G、B影像，以提供每種色彩的清晰影像。

雖然在前述的實施例中，已經假定方程式(1)中的指數“a”為1，可以理解的是，前述實施例中“a”可為任何等於或者大於1的正實數，例如，a=1.2、1.5、1.7、2、3.....。

如圖所示，圖7-10顯示了基於上述平均梯度演算法(方程式3-6)處理前和處理後的影像。輸入地，檢測到的複色影像如圖10(A)所示。輸入的色彩影像尺寸是1340×1133(分別計算每一種色彩)並且具有256級。如圖7(A)所示，從複色影像中得到由藍色像素形成的藍色的個別色影像。該得到的藍色影像的尺寸為670×566，並且具有256級。相似地，如圖8(A)所示，從複色影像中得到由綠色像素形成的綠色的個別色影像。該得到的綠色影像的尺寸為670×566，並且具有256級。應該注意的是有兩個綠色的影像，每一個的尺寸都是670×566。如圖9(A)所示，從複色影像中得到由紅色像素形成的紅色的個別色影像。該得到的紅色影像的尺寸為670×566，並且具有256級。

圖7(A)顯示了清晰的影像，意味著物體位於或接近於藍色波長的焦點，圖9(A)顯示了模糊的影像，意味著物體位於紅色波長的焦點之外。圖8(A)顯示出綠色影像的品質介於藍色影像和紅色影像之間。經過基於平均梯度演算法的處理之後，如圖7(B)所示，處理後的藍色影像本質上不變；如圖9(B)所示，處理後的紅色影像顯著改善；如圖8(B)所示，處理後的綠色影像也得到改善。然後將處理後的藍色、綠色、紅色影像合併，得到如圖10(B)所示的色彩輸出或者處理後的複色影像。綜上所述，圖10(A)所示的模糊的影像得到校正或去模糊化，生成圖10(B)所示的清晰的彩色影像。

特徵的組合

上述特徵以及後面的請求項可以用不偏離此處範圍的多種方式進行組合。下面的實施例披露了一些可能的組合：(A1)一種處理檢測到的複色影像以生成處理後的複色影像的方法，其可包括將檢測到的複色影像檢測為一複數個別色影像，每個個別色影像包括一複數個檢測到的色彩關於影像中每一複數個像素的檢測到的色彩強度值。對於檢測到的複色影像的每一個給出的像素，該方法可以包括在檢測到的複色影像識別一個像素窗，該像素窗圍繞給出的像素。對於一組個別色影像的選定的色彩，該組檢測到的色彩的其他色彩為非選定的色彩，該方法可包括：(i)從圍繞給定像素的像素檢測到的色彩強度值，計算每一組檢測到的色彩對於給定像素的權重因數係數；(ii)計算對應於每個非選定色彩的原色貢獻；(iii)用相應的權重因數係數，分別乘以選定色彩的每個檢測到的色彩強度值和對應於非選定色彩的原色貢獻，以形成加權的色彩貢獻；(iv)使加權的色彩貢獻相加，以形成選定色彩對於給定像素的處理後的色彩強度值。該方法可以對所有檢測到的色彩、及影像中所有的像素的處理後的色彩強度值實施，以形成處理後的複色影像。

(A2)在(A1)的方法中，計算任一組檢測到的色彩對給定像素的權重因數係數，可以包括：對於任一組檢測到的色彩，提高權重因數的常用指數之冪次的絕對值，該常用指數為正實數，以生成每一個權重因數係數。

(A3)在(A2)的方法中，常用指數(common exponent)可以等於1。

(A4)在(A1)至(A3)任一個的方法中，計算權重因數係數可以包括：在相應的色彩中，在像素窗內，計算每一檢測到的色彩對給定像素的權重因數為與相應色彩強度值的平均梯度成比例。

(A5)在(A1)至(A3)任一個的方法中，計算權重因數係數可以包括：對於選定色彩計算權重因數為，與高頻遮罩和集中於給定像素的選定色彩的檢測到的色彩強度值的內積的大小成比例。

(A6)在(A1)至(A3)或(A5)任一個的方法中，計算權重因數係數可以包括：分別對於非選定的色彩，計算權重因數為與高頻遮罩和相應非選定色彩的檢測到的色彩強度值的內積的大小成比例，其中相應非選定的色彩集中於相應非選定的色彩最接近給定像素的像素。

(A7)在(A1)至(A3)或(A6)任一個的方法中，計算權重因數係數可以包括：對於選定色彩，計算權重因數為與高頻遮罩和選定色彩的檢測到的色彩強度值的內積的平均值的大小成比例；其中選定色彩集中於一複數個位置，該位置距離給定像素橫向及/或縱向均少於十個像素。

(A8)在(A1)至(A3)、(A5)或(A7)任一個的方法中，計算權重因數係數可以包括：分別對於非選定的色彩計算權重因數為，與高頻遮罩和分別非選定色彩的檢測到的色彩強度值的內積的平均值的大小成比例；其中分別非選定的色彩集中於一複數個位置，該位置距離給定像素橫向及/或縱向均少於十個像素。

(A9)在(A1)至(A3)任一個的方法中，計算權重因數係數可以包括：對相應的色彩計算每一個權重因數，該權重因數與像素窗內相應色彩的像素的局部對比度成比例。

(A10)在(A9)的方法中，計算權重因數係數可以包括：計算相應色彩的給出色彩的局部對比度，該局部對比度為第一群像素的色彩強度值的平均值與第二群像素的色彩強度值的平均值之差，對於相應的色彩，(a)第一群包括位於像素窗內的相應色彩的像素，該像素的色彩強度值大於位於像素窗內的相應色彩的像素的色彩強度值的平均值，(b)第二群包括位於像素窗內的相應色彩的像素，該像素的色彩強度值小於或等於位於像素窗內的相應色彩的像素的色彩強度值的平均值。

(A11)在(A1)至(A10)任一個的方法中，計算對應於每一非選定的色彩的原色貢獻可以包括：(a)對於每一個非選定的色彩，在給定像素位置的強度值插值，以形成位於該位置的每一個非選定色彩的強度值插值；(b)對每個非選定的色彩關於選定的色彩，計算相應選定色彩的差項；(c)對於每個非選定色彩的相應選定色彩的差項與每個非選定色相應的強度值插值相加，以得到對應於每個非選定色彩的原色貢獻。

(A12)在(A11)的方法中，對每個非選定的色彩關於選定色彩計算相應的選定色彩差項可以包括：計算每個分別選定的色彩差項為(1)像素窗中選定色彩的檢測到的色彩強度值的平均值，與(2)像素窗中每個分別非選定色彩的檢測到的色彩強度值的平均值，二者之差。

實施串色影像處理的設備可以實施(A1)至(A12)的任何方法。

在不脫離本發明的範圍的前提下，可以對上述方法和系統做出許多改變。應該注意的是，上面的描述包括的內容或者相關附圖顯示的內容只應作為說明性的解釋，而不應限制本發明。後面的申請專利範圍的目的是覆蓋這裏描述的所有的通用的或特定的特徵，以及本方法或系統的範圍的所有陳述，該陳述落入申請專利範圍的範圍之內。

20．．．串色處理系統

22．．．物體

24．．．光學成像元件

26．．．影像感測器

28．．．處理器

30．．．顯示器

32．．．儲存單元

40．．．檢測元件

42、52、62、72．．．像素

44、54、64、74．．．像素窗

圖1顯示了一種用於提高清晰度的串色處理系統；

圖2顯示了一種像素陣列之例子；

圖3顯示了一種用於修正位於像素窗中央的B像素值的9×9像素窗之例子；

圖4顯示了一種用於修正位於像素窗中央的R像素值的9×9像素窗之例子；

圖5顯示了一種用於修正位於像素窗中央的G像素值的9×9像素窗之例子，其中位於像素窗中央的G像素具有橫向相鄰的R像素；

圖6顯示了一種用於修正位於像素窗中央的G像素值的9×9像素窗之例子，其中位於像素窗中央的G像素具有橫向相鄰的B像素；

圖7(A)顯示了一種處理前的藍色影像之例子；

圖7(B)顯示了圖7(A)處理後的藍色影像；

圖8(A)顯示了一種處理前的綠色影像之例子；

圖8(B)顯示了圖8(A)處理後的綠色影像；

圖9(A)顯示了一種處理前的紅色影像之例子；

圖9(B)顯示了圖9(A)處理後的紅色影像；

圖10(A)顯示了一種處理前的色彩輸入影像之例子；

圖10(B)顯示了圖10(A)處理後的色彩影像。