TWI557686B - 校正影像色偏之方法與相關裝置 - Google Patents

校正影像色偏之方法與相關裝置 Download PDF

Info

Publication number
TWI557686B
TWI557686B TW103130951A TW103130951A TWI557686B TW I557686 B TWI557686 B TW I557686B TW 103130951 A TW103130951 A TW 103130951A TW 103130951 A TW103130951 A TW 103130951A TW I557686 B TWI557686 B TW I557686B
Authority
TW
Taiwan
Prior art keywords
image
channel
correction
auxiliary
corrected
Prior art date
Application number
TW103130951A
Other languages
English (en)
Other versions
TW201523515A (zh
Inventor
王牧歌
賢哲 李
Original Assignee
聯發科技（新加坡）私人有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技（新加坡）私人有限公司 filed Critical 聯發科技（新加坡）私人有限公司
Publication of TW201523515A publication Critical patent/TW201523515A/zh
Application granted granted Critical
Publication of TWI557686B publication Critical patent/TWI557686B/zh

Links

Classifications

    • G06T5/77—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Description

校正影像色偏之方法與相關裝置
本發明係關於一種用於校正影像色偏(color artifact)之方法及相關裝置，且特別是有關於一種能夠藉由複數個基底(bases)適應性地合成校正圖(correction maps)，並對應地校正影像之方法及相關裝置。
對現代資訊社會而言，具有整合影像系統而可擷取靜態及/或動態影像(視頻)之電子裝置而已變成流行、普遍及不可或缺的，例如行動電話、智慧型手機、可穿戴裝置、平板電腦、可攜式電腦、手持式電腦、數位照相機、數位攝錄影機、導航機、互動玩具、遊戲主機、遠端會議終端機、監控系統等。為符合輕量及小巧之需求，可採用CMOS感測器及微小光學(透鏡)模組以形成嵌入式影像系統。然而，這種影像系統會受色偏影響，例如透鏡色影偏差(lens color shading，或簡稱為色影偏差，color shading)。
色影偏差係為一種普遍存在於數位影像系統之已知色偏，且在CMOS感測器所擷取之影像中特別明顯。當影像系統擷取一均勻照明的灰色牆壁之影像時，吾人會期望得到一均勻地灰色影像。然而，此擷取影像將顯示從影像中心至影像角落及邊緣的強度不均勻及色彩不均勻。一般而言，在擷取影像中，強度不均勻會導致影像邊緣及角落比影像中心更暗。這是由影像成形之軸線外(off axis)幾何因素導致的，會使光線向影像邊緣衰減。
再者，色彩不均勻亦存在於擷取影像中。影像色彩 之色相(hue)與色度(chroma)會逐漸地從影像中心向外改變，但不一定遵循一徑向對稱圖案，也不一定會依固定衰減率而衰減。這種色彩不均勻之色偏可被稱為色影偏差。色影偏差會大幅降低影像色彩品質。
請參考第1圖，其所示意的是不同色彩之色偏。如第1圖之三維表面所示，擷取影像之綠色頻道(每個像素之綠色成分之分佈)會有不均勻，其會於影像之邊緣及角落衰減，即使此影像應該是均勻的。第1圖亦包括一剖面圖以示意綠色、藍色及紅色頻道之不均勻。由第1圖可知，不同的色彩頻道會有不同的不均勻。相較於綠色及藍色頻道，紅色頻道朝向邊緣之衰減會更嚴重。
於遠離影像中心之位置之整體逐漸衰減，可被視為漸暈(vignetting)或亮度衰減(falloff)。不同色彩頻道之不同衰減導致影像的色彩失真。為了校正整體衰減及色影偏差，可藉由影像信號處理(ISP)而將額外增益應用至此些色彩頻道，以補償衰減均勻性。在任一空間位置上，因為任何兩個色彩頻道的衰減程度可以是不同的，所以此些校正增益應補償在不同色彩頻道之間的衰減差異。
色影偏差之形成肇因於數種因素，包括透鏡漸暈、像素漸暈、像素串擾及IR-截止濾光鏡之特性等等。透鏡漸暈係為光學透鏡之固有光學特性。通過光學透鏡之光會從中心衰減至透鏡之周邊。理論上的分析顯示影像輻照度的衰減率會呈餘弦函數之四次乘冪，雖然真正的透鏡不一定遵循此餘弦四次乘冪定律。透鏡漸暈則對強度不均勻有重大影響。
色影偏差之另一因素係為像素結構之像素漸暈，亦即，輻照度因像素結構而衰減。像素漸暈會受多種因素影響，例如像素布局設計或微透鏡之結構。
像素串擾亦為色影偏差的肇因之一。像素串擾此一現象係指某一像素之信號會錯誤地被另一像素拾取，通常發生在 不同的色彩頻道間。像素串擾可包括光學串擾及電子串擾。它們的最終效果是類似的，會使某一色彩頻道之信號洩漏至另一色彩頻道。串擾可以是相互的。
為了屏蔽掉紅外光，影像系統會採用IR-截止濾光鏡。然而，對某些型式之IR-截止濾光鏡而言，有效的截止頻率並不會隨光入射角改變而保持常數。由透鏡中心至透鏡周邊會有一波長偏移。如果光之波長接近IR-截止濾光鏡的截止頻率，則在透鏡周邊會比透鏡中心阻擋更多光。因此，相較於綠色及藍色頻道的信號，紅色頻道信號在影像角落及邊緣的衰減更大。
色影偏差之特徵對光源之型式是敏感的；更明確而言，對入射光之光譜成分是敏感的。亦即，當在不同光源下擷取影像時，影像會經歷不同的不均勻，即使當被擷取之場景是相同時也是如此。不同型式之透鏡-感測器組合亦可導致不同特徵之色影偏差。再者，由於製程變異，相同批次之不同單元間也會有特徵相異的色影偏差，即使在相同光源下。因此，對影像系統而言，色影偏差校正是必要的。
傳統上，色影偏差校正是經由複雜的校準而達成。為了校正影像系統之色影偏差，需將該影像系統暴露至一均勻的照明光場，接著，在數種不同種類的光源下分別擷取影像，並直接測量擷取影像中的不均勻，以取得數組衰減圖。每組衰減圖係對應至一種光源，包括不同色彩頻道之衰減圖。據此，可為各光源準備一色影校正圖，以在各光源下反轉不均勻。在校準之後，對應於不同光源之色影校正圖係儲存於影像系統中。當擷取一影像時，此種習知之影像系統首先會試圖確認目前暴露在何種光源下，據以選擇一對應的色影校正圖，以校正擷取影像之色影偏差。
一般而言，要針對許多種光源提供許多色影校正圖，才會有較佳的機率能使任一場景的光源均剛好符合這些色影校正圖的其中一。然而，實際上，色影偏差校準會受限於裝置可用度、記憶體需求、系統資源容量、時間需求、生產力及成本考 量。事實上，因生產線上的考量，會期望降低色影校準所需的遞迴，但也會因此折衷色影偏差校正之效果。此外，在一相同生產批次中的不同單元會具有獨特的色影偏差特徵，所以需要對每個單元個別校準。然而，對每個單元執行校準是十分昂貴的。
正確確認光源種類亦是一種嚴峻的挑戰，因為消費電子裝置之影像系統對光源波長細節的解析能力不足。此外，即使不是不可能，也很難以列舉足夠種類的光源，因為真實世界的光源混合了來自不同距離、不同入射角及不同強度之不同來源的光，包括自然輻射源、多種人造輻射源、反射體及散射體。
不正確的光源識別及/或缺乏適當的色影校正圖，將導致錯誤色影偏差校正。舉例而言，校正後影像可能會使影像中心變成微紅色，因為紅色頻道被過度補償。
本發明提供一種低成本高效益之技術來校正色影偏差。依據本發明，可精簡色影偏差校準所涉及的大量勞力與成本，同時達到高畫質。
本發明之一目的是提供一種可校正一影像Isc之色偏之方法，包括：提供複數個基底V[1]至V[N1]；依據一中間影像I及基底V[1]至V[N1]計算複數個係數(純量)a[1]至a[N1]，其中，中間影像I係關聯於影像Isc；以係數a[1]至a[N1]分別加權基底V[1]至V[N1]，並加總加權的基底a[1]*V[1]至a[N1]*V[N1]，據以產生一校正圖m1，例如，m1=(a[1]*V[1]+...+a[N1]*V[N1])；以及，依據校正圖m1校正影像Isc，據以提供一校正影像I'。
各基底V[n](對n=1至N1)可為中間影像I之每個像素p(x,y)提供一基本校正值V[n](x,y)；各係數a[n]關聯於基底V[n]。因為校正圖m1係由乘積a[1]*V[n]至a[N1]*V[N1]之疊加所合成，所以校正圖m1可為中間影像I之每個像素p(x,y)提供一校正值m1(x,y)。
相同批次之不同單元(影像系統)，或甚至不同設計(例如，光學模組、感測器及相關電路之不同組合的不同設計)之不同影像系統，可使用同一組基底V[1]至V[N1]；基於相一組基底V[1]至V[N1]，運用不同組係數a[1]至a[N1]便可合成不同的校正圖m1，以便適應性地校正不同特徵的色影偏差，無論是由設計、裝配、製造，及/或光源所導致的。舉例而言，如果一相同影像系統在兩個不同光源之下擷取兩個影像，則可由兩組係數a[1]至a[N1]分別基於相同基底V[1]至V[N1]而產生兩個校正圖m1，以校正該兩個影像。同樣地，兩個影像系統可使用各自的係數a[1]至a[N1]，基於相同基底V[1]至V[N1]來產生各自的校正圖，以便校正由兩個影像系統分別擷取之影像。
在一實施例中，中間影像I係為影像Isc。或者，此方法可更包括：在影像Isc上執行一特徵萃取以得到中間影像I，且影像Isc與中間影像I之尺寸可以是不同的。舉例而言，中間影像I可包括xi*yi像素，而影像Isc可包括xs*ys像素，且尺寸(xi,yi)及(xs,ys)可以是不同的。舉例而言，影像Isc之尺寸可大於影像I之尺寸，例如，xs>xi及/或ys>yi。為了得到中間影像I，在影像Isc上所執行之特徵萃取可包括：對影像Isc進行縮放、重新取樣及/或局部平均(例如，塊平均)。
此方法可更包括：依據校正圖m1，提供一輔助校正圖msc1，以使輔助校正圖msc1可為影像Isc之每個像素p(x,y)提供一校正值msc1(x,y)。亦即，雖然校正圖m1可以具有尺寸xi*yi以提供xi*yi個校正值給中間影像I之xi*yi個像素，但輔助校正圖msc1可具有尺寸xs*ys以提供xs*ys個校正值給影像Isc之xs*ys個像素。在「中間影像I即影像Isc」的實施例中，輔助校正圖msc1可以是校正圖m1。在「中間影像I與影像Isc之尺寸不同」的實施例中，輔助校正圖msc1可由校正圖m1推導得知，例如：對校正圖m1執行插補法(如內插)而得到輔助校正圖msc1。
本發明之方法可更包括：依據影像Isc的複數個色 彩頻道計算一輔助頻道C1。提供校正影像I'之步驟可包括：依據校正圖m1與輔助頻道C1計算一校正輔助頻道C1'，並依據校正輔助頻道C1'建立校正影像I'之一校正色彩頻道c1'。一影像之「頻道」用於代表一種能為該影像(例如Isc或I)之每個像素p(x,y)提供一數值的分佈；舉例而言，輔助頻道C1可提供一數值C1(x,y)給影像Isc之每個像素p(x,y)。同樣地，一影像之「色彩頻道」可用於表示影像之一色彩(原色)成分分佈；舉例而言，一影像之綠色色彩頻道(或簡稱為綠色頻道)可描述該影像之每個像素的綠色成分。在一色彩比率式實施例中，影像Isc之輔助頻道C1可由影像Isc之一預設色彩頻道c1除以影像Isc之一參考色彩頻道c0而計算得知，亦即，C1=(c1/c0)，或等效地，C1(x,y)=(c1(x,y)/c0(x,y))。相似地，校正輔助頻道C1'可由校正影像I'之一校正色彩頻道c1'除以影像I'之另一個色彩頻道c0'之比率所定義，亦即，C1'=(c1'/c0')。色彩頻道c0及c0'可以具有相同色彩，例如，綠色；色彩頻道c1及c1'可以具有相同色彩，例如，紅色或藍色。
延續C1=(c1/c0)之色彩比率式實施例，校正輔助頻道C1'可由輔助頻道C1乘以輔助校正圖msc1而計算求得，亦即，C1'=C1*msc1，或等效地，C1'(x,y)=C1(x,y)*msc1(x,y)。在一實施例中，校正影像I'之色彩頻道c0'可被設定成等於影像Isc之色彩頻道c0(例如，c0'(x,y)=c0(x,y))，而建立校正影像I'之校正色彩頻道c1'可因此包括：將影像Isc之參考色彩頻道c0乘以校正輔助頻道C1'；亦即，c1'=c0*C1'，或等效地，c1'(x,y)=(c0(x,y)*C1'(x,y))。如果將色彩頻道c0'設定成等於c0，則因為校正輔助頻道C1'是由(c1'/c0')所定義，所以校正輔助頻道C1'亦等於(c1'/c0)；另一方面，校正輔助頻道C1'可藉由C1'=C1*msc1=(c1/c0)*msc1而計算出，因此C1'=(c1'/c0)=(c1/c0)*msc1，及c1'=c1*msc1；亦即，校正影像I'之色彩頻道c1'可等效地由影像Isc之同色色彩頻道c1乘以輔助校正圖msc1所形成，亦即，c1'= c1*msc1。
在一對數色彩比率式實施例中，輔助頻道C1的計算係對影像Isc之一預設色彩頻道c1除以影像Isc之一參考色彩頻道c0之比率(c1/c0)取一對數log(.)；亦即，C1=log(c1/c0)，或等效地，C1(x,y)=log(c1(x,y)/c0(x,y))。相似地，校正輔助頻道C1'可由校正影像I'之校正色彩頻道c1'除以影像I'之色彩頻道c0'之比率之對數所定義，亦即，C1'=log(c1'/c0')。在校正時，校正輔助頻道C1'可由輔助頻道C1與輔助校正圖msc1之加總而計算出；亦即，C1'=(C1+msc1)，或C1'(x,y)=(C1(x,y)+msc1(x,y))。當影像I'之色彩頻道c0'被選擇成等於影像Isc之色彩頻道c0時，建立校正影像I'之校正色彩頻道c1'可包括：將影像Isc之參考色彩頻道c0乘以校正輔助頻道C1'之逆對數exp(.)；亦即，c1'=c0*exp(C1')，或等效地，c1'(x,y)=c0(x,y)*exp(C1'(x,y))。針對色彩頻道c0'被設定成等於色彩頻道c0之情況，因為校正輔助頻道C1'根據定義等於log(c1'/c0')，所以校正輔助頻道C1'亦等於log(c1'/c0)；另一方面，因為C1'=(C1+msc1)=(log(c1/c0)+msc1)=log(c1*exp(msc1)/c0)，所以C1'=log(c1'/c0)=log(c1*exp(msc1)/c0)，亦即，c1'=c1*exp(msc1)；亦即，校正影像I'之校正色彩頻道c1'可等效地由影像Isc之同色頻道c1乘以輔助校正圖msc1之逆對數exp(.)所形成，亦即，c1'=c1*exp(msc1)。
於色彩比率式實施例中使用的基底V[1]至V[N]可以不同於對數色彩比率式實施例中使用的基底V[1]至V[N]。換言之，雖然此兩種實施例均可藉由基底之線性疊加而形成校正圖，但是各種實施例可採用不同的基底。
舉例而言，係數a[1]至a[N1]的求解係使其能將一目標函數U(A1,V1,I)最小化；目標函數U(A1,V1,I)接收一組候選係數ac[1]至ac[N1](集體表示為一組集合A1)，基底V[1]至V[N1](集體表示為一集合V1)與中間影像I作為輸入。亦即，在不同 組候選係數集合之間，如果某一組候選係數被當作是集合A1而輸入至目標函數U(A1,V1,I)時可使目標函數U(A1,V1,I)最小，則該組候選係數可被選擇成為係數a[1]至a[N1]。目標函數U(A1,V1,I)可包括一第一成本函數U1(A1,V1,I)及一第二成本函數U2(A1,mA)。
舉例而言，第一成本函數U1(A1,V1,I)可反映均勻性。舉例而言，第一成本函數U1(A1,V1,I)可定義為：對中間影像I之所有像素p(x,y)累加一加權的局部項w1(x,y)*u1(x,y；A1,V1,I)。各局部項u1(x,y；A1,V1,I)關聯於中間影像I之像素p(x,y)，且可表示為：一準校正輔助頻道Cd1'在像素p(x,y)之空間梯度▽之範(norm)的q次乘冪，亦即，u1(x,y；A1,V1,I)=∥▽Cd1'(x,y；A1,V1,I)∥n q，其中，範∥.∥n可以是一n-範(n-norm)。準校正輔助頻道Cd1'係依據中間影像I及一準校正圖mc1所制訂，準校正圖mc1可表示為：以輸入的候選係數ac[1]至ac[N1]加權基底V[1]至V[N1]後之加總；亦即，mc1=(ac[1]*V[1]+...+ac[N1]*V[N1])。
在一實施例中，「將準校正輔助頻道Cd1'關聯於準校正圖mc1及中間影像I之一輔助頻道Ca1」的關係，可以相同於「將校正輔助頻道C1'關聯於輔助校正圖msc1及影像Isc之輔助頻道C1」的關係。在色彩比率式實施例或對數色彩比率式實施例中，輔助頻道Ca1可分別定義為：Ca1=(ca1/ca0)或log(ca1/ca0)，其中頻道ca1及ca0係為中間影像I之兩個色彩頻道，色彩頻道ca1及c1可具有相同色彩(同色)，而色彩頻道ca0及c0可具有相同色彩。因此，在C1=(c1/c0)及C1'=(C1*msc1)之色彩比率式實施例中，準校正輔助頻道Cd1'表示為Cd1'=(Ca1*mc1)；另一方面，在C1=log(c1/c0)及C1'=(C1+msc1)之對數色彩比率式實施例中，準校正輔助頻道Cd1'可表示為Cd1'=(Ca1+mc1)。
因為每個加權局部項u1(x,y；A1,V1,I)係以一加權項 w1(x,y)加權，所以，如果中間影像I之某一像素p(x,y)係位於高空間變化之區域中，則可利用加權項w1(x,y)將對應局部項u1(x,y；A1,V1,I)從第一成本函數U1(A1,V1,I)中排除、過濾或抑制。因此，加權項w1(x,y)可依據一梯度項G1(x,y)而定，梯度項G1(x,y)可等於(或基於下述而計算)∥▽Ca1(x,y)∥n、∥▽ca1(x,y)∥n、∥▽ca0(x,y)∥n或∥▽L(x,y)∥n；其中，項目L(x,y)表示中間影像I於像素p(x,y)之亮度。在一實施例中，如果位於一既定像素p(x,y)之梯度項G1(x,y)大於一閾值，則可將像素p(x,y)之加權項w1(x,y)設定為0；如果梯度項G1(x,y)小於此閾值，則將加權項w1(x,y)設定為1。亦即，依據梯度項G1(x,y)是否小於一閾值，可選擇性地將加權項w1(x,y)設定為兩個不同的常數0及1。在另一種實施例中，則可將加權項w1(x,y)之數值設定在0及1之間，包含0及1兩數；對一較大的梯度項G1(x,y)而言，將其對應的加權項w1(x,y)分配至一較小數值，亦即，較接近0之數值。所有像素p(x,y)之加權項w1(x,y)係共同被通稱為一加權圖(weighting map)w1。
第二成本函數U2(A1,mA)可代表集合A1之候選係數ac[1]至ac[N1]與一集合mA之參考係數ma[1]至ma[N1]之間的差異。舉例而言，集合A1可表示為N1*1行向量(column vector)一，列出候選係數ac[1]至ac[N1]；集合mA可表示為另一個N1*1行向量，列出參考係數ma[1]至ma[N1]；據此，第二成本函數U2(A1,mA)可以用Ld1*(A1-mA)T*Vcd*(A1-mA)表示，其中，項目Ld1可以是一平衡係數；因為向量差異(A1-mA)亦是一N1*1行向量，所以項目Vcd可以是一N1*N1正定或非負定矩陣。集合mA可代表一先驗資訊(a priori information)。
除了校正圖m1=a[1]*V[1]+…+a[N1]*V[N1]之實施例以外，在另一實施例中，校正圖m1可以表示為m1=a0*V[0]+a[1]*V[1]+…+a[N1]*V[N1]，其包括了一額外基底V[0]，以一常數係數a0加權，並與其他基底的加權聯合地建立校正圖m1。舉例而言，係數a0可固定地設定為1，主要關鍵在於：用於加權基 底V[0]之係數a0並不會因目標函數之最佳化而變。
在一實施例中，可以只計算單一輔助頻道C1以求解單一組之係數a[1]至a[N1]，以得到單一校正圖m1、單一輔助校正圖msc1以及單一校正輔助頻道C1'，據以對校正影像I'之單一色彩頻道c1'(例如紅色色彩頻道)進行校正，而校正影像I'之其他色彩頻道(例如藍色及綠色色彩頻道)可設定成和原始影像Isc之同色色彩頻道相等。
在另一種實施例中，則可計算多個輔助頻道(例如C1及C2)以分別求解多組之係數，例如a[1]至a[N1]及b[1]至b[N2]，據以得到多個校正圖(例如m1及m2)，多個輔助校正圖(例如msc1及msc2)，與多個校正輔助頻道(例如C1'及C2')，並據以相應地校正多個色彩頻道，例如校正影像I'之c1'及c2'(例如一紅色色彩頻道及一藍色色彩頻道)，而校正影像I'之其餘色彩頻道。
舉例而言，此方法可更包括：依據影像Isc之數個色彩頻道計算一第二輔助頻道C2，依據此中間影像I(或一第二中間影像，其係針對影像Isc執行一第二特徵萃取而求得)及基底V[1]至V[N2]計算複數個第二係數b[1]至b[N2]，以第二係數b[1]至b[N2]加權相對應之基底V[1]至V[N2]並予以加總以產生一第二校正圖m2，並更進一步依據此第二校正圖m2提供校正影像I'，例如，依據第二校正圖m2及第二輔助頻道C2計算一第二校正輔助頻道C2'，並依據此第二校正輔助頻道C2'建立校正影像I'之一第二校正色彩頻道c2'。第二輔助頻道C2可由(c2/c0)、(c0/c2)、log(c2/c0)或log(c0/c2)所定義，其中頻道c2係影像I中除色彩頻道c0及c1以外之另一色彩頻道。色彩頻道c1及c2可以具有不同色彩，例如色彩頻道c1可以是影像I中藍色色彩頻道及紅色色彩頻道兩者的其中之一，色彩頻道c2可以是另一個。數量N2可等於或異於形成校正圖m1時所用的數量N1。
於色彩比率式實施例(第二輔助頻道C2可定義為 (c2/c0)或(c0/c2))中使用之基底V[1]至V[N2]，可以不同於對數色彩比率式實施例(第二輔助頻道C2可定義為log(c2/c0)或log(c0/c2))中的基底V[1]至V[N2]。換言之，雖然兩種實施例皆可藉由基底之線性疊加形成第二校正圖，但是各種實施例可採用不同的基底。
舉例而言，求解第二係數b[1]至b[N2]係使其能將一第二目標函數H(B1,V2,I)最小化，第二目標函數H(B1,V2,I)可包括一第三成本函數H1(B1,V2,I)及一第四成本函數H2(B1,mB)；例如H(B1,V2,I)=H1(B1,V2,I)+H2(B1,mB)。第三成本函數H1(B1,V2,I)可定義為：對中間影像I(或第二中間影像)之所有像素p(x,y)累加第二加權局部項w2(x,y)*u2(x,y；A2,V2,I)其中，輸入集合B1用以代表一組第二候選係數bc[1]至bc[N2]，輸入集合V2則代表基底V[1]至V[N2]。各第二局部項u2(x,y；A2,V2,I)係關聯於中間影像I(或第二中間影像)的各像素，且可表示為：一第二準校正輔助頻道Cd2'於像素p(x,y)之空間梯度▽之範的q次乘冪，亦即u2(x,y；A2,V2,I)=∥▽Cd2'(x,y；B1,V2,I)∥n q。第二準校正輔助頻道Cd2'是依據中間影像I(或第二中間影像)及一準校正圖mc2所訂，準校正圖mc2可訂為：以第二候選係數bc[1]至bc[N2]加權基底V[1]至V[N2]後之加總，亦即mc2=(bc[1]*V[1]+...+bc[N2]*V[N2])。
舉例而言，依據第二輔助頻道Ca2是否由色彩比率(例如Ca2=(ca2/ca0)或(ca0/ca2))，或由對數色彩比率(例如Ca2=log(ca2/ca0)或log(ca0/ca2))所定義，第二準校正輔助頻道Cd2'可由Cd2'=Ca2*mc2或Cd2'=(Ca2+mc2)計算；其中頻道ca2及ca0可以是中間影像I之不同色彩頻道，中間影像I之頻道ca2與影像Isc之頻道c2可以具有相同色彩。輔助頻道C1及第二輔助頻道C2的定義可以相同或相異；例如，輔助頻道C1可由log(c1/c0)所得，而輔助頻道C2可由(c2/c0)或(c0/c2)所得。
用於加權各第二局部項u2(x,y；A2,V2,I)之加權項 w2(x,y)可依據一第二梯度項G2(x,y)而定，其可基於∥▽Ca2(x,y)∥n、∥▽ca2(x,y)∥n或w1(x,y)等而制訂。
若將集合B1表示為一N2*1行向量，列出候選係數bc[1]至bc[N2]，並將集合mB表示為另一N2*1行向量，列出參考係數mb[1]至mb[N2]，則第四成本函數H2(B1,mB)可表示為H2(B1,mB)=Ld2*(B1-mB)T*Vcd2*(B1-mB)，其中項目Ld2可以是一純量平衡係數；因為向量差異(B2-mB)亦是一N2*1行向量，所以項目Vcd2可以是一N2*N2正定或非負定矩陣。集合mB可表示一先驗資訊。
影像Isc可以是完整靜態照片或視頻中的完整圖框；或者，影像Isc可以是完整照片或完整圖框的一部分；在得到校正影像I'之後，校正影像I'係用於校正該完整照片或圖框之該部分。
本發明之一目的是提供一種用於校正一影像Isc之色差之裝置，包括存取電路、校正控制器及校正器。存取電路可取得基底V[1]至V[N1]。校正控制器耦接存取電路，並能夠：依據影像Isc(或中間影像I)計算係數a[1]至a[N1]，並產生一校正圖m1。校正器耦接校正控制器，且能依據校正圖m1校正影像Isc，據以提供一校正影像I'。
校正控制器更可依據影像Isc之色彩頻道計算一輔助頻道C1。校正器可依據校正圖m1與輔助頻道C1計算一校正輔助頻道C1'，並依據校正輔助頻道C1'來為校正影像I'建立一校正色彩頻道c1'，據以提供校正影像I'。
舉例而言，校正控制器可將影像Isc之一預設色彩頻道c1除以影像Isc之一參考色彩頻道c0以界定輔助頻道C1；校正器則可將輔助頻道C1乘以一個關聯於校正圖m1的輔助校正圖msc1，據以計算校正輔助頻道C1'，並將影像Isc之參考色彩頻道c0乘以校正輔助頻道C1'來建立校正色彩頻道c1'。
舉例而言，校正控制器可對影像Isc之一預設色彩 頻道c1除以影像Isc之一參考色彩頻道c0之比率取對數，據以計算輔助頻道C1；校正器則可由輔助頻道C1與輔助校正圖msc1的加總來計算校正輔助頻道C1'，並將影像Isc之參考色彩頻道c0乘以校正輔助頻道C1'之逆對數來建立此校正色彩頻道c1'。
校正控制器更可規劃為依據影像Isc及基底V[1]至V[N2]來計算第二係數b[1]至b[N2]；經由第二係數b[1]至b[N2]分別加權基底V[1]至V[N2]，並予以加總，據以產生一第二校正圖m2。校正器的更可依據此第二校正圖m2來提供校正影像I'。校正控制器更可依據影像Isc之數個色彩頻道來計算一第二輔助頻道C2。校正器更可依據第二校正圖m2及第二輔助頻道C2計算一第二校正輔助頻道C2'，據以提供校正影像I'，包括：依據第二校正輔助頻道C2'來為校正影像I'建立一第二校正色彩頻道c2'。
校正控制器可依據目標函數U(A1,V1,I)的最小化來求解係數a[1]至a[N1]，目標函數U(A1,V1,I)接收複數個候選係數ac[1]至ac[N1](以一組合A1代表)、一個與影像Isc相關的中間影像I以及基底V[1]至V[N1](以一組合V1代表)作為輸入。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式，作詳細說明如下：
I‧‧‧中間影像
I'，Ia’‧‧‧校正影像
Isc‧‧‧影像
Iw'‧‧‧影像
m1、m2‧‧‧校正圖
msc1‧‧‧輔助校正圖
V[.]、V[1]至V[N1]、V[1]至V[N2]‧‧‧基底
a[1]至a[N1]‧‧‧係數
10‧‧‧影像感測器
20‧‧‧色影偏差校正器
30‧‧‧自動白平衡模組
40‧‧‧逆色影裝置
50‧‧‧影像信號處理器
60‧‧‧校正控制器
70‧‧‧時域平滑裝置
80‧‧‧乘法器
90‧‧‧存取電路
92‧‧‧資料庫
100‧‧‧影像校正流程
102至114‧‧‧步驟
200‧‧‧影像系統
第1圖示意的是色影偏差。
第2圖及第3圖示意的是依據本發明一實施例之色影偏差校正。
第4圖示意的是依據本發明一實施例之色影偏差校正流程圖。
第5圖概要顯示一種依據本發明一實施例之色影偏差校正裝置，整合於一影像系統。
為了初始化一影像Isc之色影偏差校正，首先可將一色訊頻道轉換應用至影像Isc之原色(prime color)頻道，以便產生適合補償色影偏差的一或多個輔助頻道(例如色訊頻道，chrominance channel)。一影像之「色彩頻道」可用以代表該影像的一個色彩成分分佈；舉例而言，影像Isc之綠色色彩頻道可描述影像Isc的每個像素p(x,y)的綠色成分。類似地，「輔助頻道」或「色訊頻道」中之「頻道」可表示「能為一影像的每個像素p(x,y)提供一對應數值」的分佈；舉例而言，影像Isc的一個輔助頻道C1可提供一數值C1(x,y)給影像Isc之每個像素p(x,y)。
有數種可用的色訊頻道轉換能用以將原色頻道轉換為輔助頻道，例如，輔助頻道C1可為R/B、G/B、R/G、log(R/B)、log(G/B)或log(R/G)，其中，頻道R、G與B可分別為影像Isc之紅色、綠色及藍色色彩頻道。輔助頻道C1可以是藉由RGB-至-YUV或RGB-至-YCbCr轉換等而得到之色訊頻道。不論是選用兩色彩頻道之任一線性比率(例如R/B等)或選用兩個色彩頻道之比率之對數(例如log(R/B))或其他數學運算，均未改變問題之本質，兩者都應被為本發明所涵蓋。舉例而言，為了校正色影偏差之不均勻性，可針對原始影像Isc之偏心像素與中央像素分別應用較大增益及相對較小的增益，以得到一校正影像I'。在原始影像Isc之中心，任何兩個色彩頻道之間的比率較佳地係實質上維持與校正影像I'相等。在不背離本發明所揭露的範疇之下，通常知識之領域內技術人士可想像並應用各種算數定義來定義輔助頻道。
將前述色訊轉換應用在原始影像Isc的諸個色彩頻道上，可在亮度-色訊空間中為影像Isc得出一LCC頻道組，頻道L代表一亮度頻道，而兩個頻道CC代表兩個輔助頻道C1及C2。舉例而言，頻道c0、c1及c2可為影像Isc的紅色、綠色及藍色色彩頻道中的相異三個，在一色彩比率式實施例中，頻道C1可等於(c1/c0)，而頻道C2可等於(c2/c0)或(c0/c2)：C1(x,y)= (c1(x,y)/c0(x,y))及C2(x,y)=(c2(x,y)/c0(x,y))或(c0(x,y)/c2(x,y))。另一方面，在一對數色彩比率式實施例中，此頻道C1可由log(c1/c0)所計算，而C2可由log(c2/c0)或log(c0/c2)所計算：C1(x,y)=log(c1(x,y)/c0(x,y))及C2(x,y)=log(c2(x,y)/c0(x,y))或log(c02(x,y)/c2(x,y))。
請參考第2圖，其所示意的是依據本發明一實施例之色影偏差校正。影像Isc之色偏可經由一中間影像I而被校正。中間影像I可以是影像Isc本身，或是對影像Isc執行一特徵萃取所得，以使影像Isc與中間影像I的尺寸可以是不同的。舉例而言，中間影像I可包括xi*yi像素，而影像Isc可包括xs*ys像素，且尺寸(xi,yi)及(xs,ys)可以是不同的。舉例而言，影像Isc之尺寸可大於影像I之尺寸，例如，xs>xi及/或ys>yi。為了得到中間影像I，針對影像Isc所執行之特徵萃取可包括：對影像Isc進行縮放(例如放大或縮小)、重新取樣(例如增取樣或減取樣)及/或局部平均(例如塊平均)。舉例而言，要以塊平均從影像Isc得到此中間影像I，影像Isc之每個xn*yn鄰近像素可被聚集為一區塊，所以影像Isc可劃分出(xs/xn)*(ys/yn)個區塊。每個區塊之像素值可被平均，以得到中間影像I之單一像素值。中間影像I之尺寸(xi,yi)可等於(xs/xn,ys/yn)。
依據中間影像I及一組預設之基底V[1]至V[N1]，可計算一組係數a[1]至a[N1]。可分別以係數a[1]至a[N1]加權基底V[1]至V[N1]，並予以加總，據以產生一校正圖m1，例如m1=(a[1]*V[1]+...+a[N1]*V[N1])。因此，可依據校正圖m1校正影像Isc，據以提供校正影像I'。在一實施例中，校正影像I'之提供係依據校正圖m1與影像I之輔助頻道C1計算一校正輔助頻道C1'，並依據校正輔助頻道C1'建立校正影像I'的一校正色彩頻道c1'。
每個基底V[n](對n=1至N1)係為中間影像I之每個像素p(x,y)提供一基本校正值V[n](x,y)，每個係數a[n]係關聯於基底V[n]。因為校正圖m1係藉由乘積a[1]*V[n]至a[N1]*V[N1] 之疊加而合成，所以校正圖m1可為中間影像I之每個像素p(x,y)提供一校正值m1(x,y)。在另一種實施例中，校正圖m1係為下述之加總：m1=V[0]+a[1]*V[1]+…+a[N1]*V[N1]，亦即，可在建立校正圖額外附加一個以常數係數1加權的基底V[0]。
色彩比率式實施例中使用之基底V[1]至V[N]，可以不同於對數色彩比率式實施例中使用之基底V[1]至V[N]。換言之，雖然此兩種實施例皆可藉由基底之線性疊加而形成校正圖m1，但是各種實施例可採用不同的基底。
依據校正圖m1，可提供一輔助校正圖msc1，以使輔助校正圖msc1能為影像Isc之每個像素p(x,y)提供一校正值msc1(x,y)。亦即，校正圖m1可以是尺寸xi*yi以提供xi*yi校正值給此中間影像I的xi*yi個像素，輔助校正圖msc1則可以是尺寸xs*ys，以提供xs*ys校正值給影像Isc之xs*ys個像素。在「中間影像I係為影像Isc」之實施例中，輔助校正圖msc1可以是校正圖m1。在「中間影像I與影像Isc之尺寸不同」的本實施例中，輔助校正圖msc1可由校正圖m1導出，例如說是對校正圖m1執行插補法。
因為原始影像Isc具有三個色彩頻道c0、c1及c2，所以校正影像I'亦具有三個(校正)色彩頻道c0'、c1'及c2'。在一實施例中，色彩頻道c1及c1'可以具有相同色彩，例如說是同為紅色或同為藍色；相似地，色彩頻道c0及c0'可以具有相同色彩，例如說是同為綠色，而色彩頻道c2及c2'可以具有相同色彩，亦即，除色彩頻道c0及c1之外的色彩。
用以將色彩頻道c0、c1及/或c2關聯至影像Isc的輔助頻道C1之色訊頻道轉換，亦可被用來將校正影像I'之色彩頻道c0'、c1'及/或c2'關聯至輔助頻道C1'。因此，得出校正輔助頻道C1'，可據以建立校正色彩頻道c1'。同樣地，將頻道c0、c1及/或c2關聯至影像Isc的輔助頻道C2的關係，則可用以定義一種將頻道c0'、c1'及/或c2'關聯至影像I'之另一輔助頻道C2'的關 係。因為色彩頻道可藉由色訊頻道轉換而轉換至輔助頻道，所以校正輔助頻道可藉由色訊頻道轉換之逆變換被轉換回校正色彩頻道。
在頻道C1等於(c1/c0)之色彩比率式實施例中，校正輔助頻道C1'可同樣地表示為(c1'/c0')。在這種實施例中，校正輔助頻道C1'可由輔助頻道C1乘以輔助校正圖msc1而計算得知，亦即，C1'=C1*msc1，或等效地，C1'(x,y)=(C1(x,y)*msc1(x,y))。因此，校正色彩頻道c1'可藉由下述求得：c1'=(c0'*C1')=(c0'*(c1/c0)*msc1)。如果校正影像I'之色彩頻道c0'係被設定成等於原始影像Isc之色彩頻道c0，則色彩頻道c1'可以由c1'=(c1*msc1)所形成。
在頻道c1等於log(c1/c0)之對數色彩比率式實施例中，校正輔助頻道C1'可同樣地表示為log(c1'/c0')。在這種實施例中，校正輔助頻道C1'可由輔助頻道C1與輔助校正圖m1之加總而計算得知，亦即，C1'=C1+msc1，或等效地，C1'(x,y)=(C1(x,y)+msc1(x,y))。因此，校正色彩頻道c1'可藉由c1'=c0'*exp(C1')=c0'*(c1/c0)*exp(msc1)而得到，於此的exp(.)係為log(.)之反函數。如果校正影像I'之色彩頻道c0'係被設定成等於原始影像Isc之色彩頻道c0，則色彩頻道c1'可以由c1'=(c1*exp(msc1))所求得。
如下述方程式eq1a所示，在一實施例中，係數a[1]至a[N1]的求解係使其可將一目標函數U(A1,V1,I)最小化，而此目標函數U(A1,V1,I)係接收一組候選係數ac[1]至ac[N1](合稱為一集合A1)，基底V[1]至V[N1](合稱為一集合組V1)與中間影像I作為輸入。
亦即，在不同組之候選係數ac[1]至ac[N1]之間，當某一組候選係數被輸入至目標函數U(A1,V1,I)作為集合A1時，該組候選係數可使目標函數U(A1,V1,I)最小化，則該組候選係數可被選擇成為 係數a[1]至a[N1]。
目標函數U(A1,V1,I)可包括一第一成本函數U1(A1,V1,I)及一第二成本函數U2(A1,mA)；例如，U(A1,V1,I)=U1(A1,V1,I)+U2(A1,mA)。
在一實施例中，第一成本函數U1(A1,V1,I)可表示一準校正輔助頻道Cd1'在局部區域內的空間變化均勻性，其中，準校正輔助頻道Cd1'係將組合A1中之候選係數用以校正一輔助頻道Ca1所得到的校正結果。應用至影像Isc的色彩頻道c1以得到輔助頻道C1的色訊頻道轉換，亦可被應用至中間影像I之一色彩頻道ca1以得到輔助頻道Ca1。舉例而言，在色彩比率式實施例或對數色彩比率式實施例，輔助頻道Ca1可分別表示為Ca1=(ca1/ca0)或log(ca1/ca0)，其中頻道ca1及ca0係為中間影像I之色彩頻道，其中，色彩頻道ca1及c1可以具有相同色彩，色彩頻道ca0及c0可以具有相同色彩。準校正輔助頻道Cd1'係依據此中間影像I及一準校正圖mc1所形成，而此準校正圖mc1係將加總輸入候選係數ac[1]至ac[N1]對基底V[1]至V[N1]的加權結果；亦即，mc1=(ac[1]*V[1]+...+ac[N1]*V[N1])。
易言之，當一組候選係數ac[1]至ac[N1]輸入至第一成本函數U1(A1,V1,I)時，可藉由mc1=(ac[1]*V[1]+...+ac[N1]*V[N1])而形成準校正圖mc1，並利用準較正圖mc1來校正中間影像I之輔助頻道Ca1，以產生一對應的準校正輔助頻道Cd1'；如果頻道Cd1'在各局部區域的空間變化均勻性為最小，則此組之候選係數ac[1]至ac[N1]便可被選擇成係數a[1]至a[N1]。
如下述方程式eq1b所示，第一成本函數U1(A1,V1,I)可於中間影像I中累計所有像素p(x,y)之加權局部項w1(x,y)*u1(x,y；A1,V1,I)。
如下述方程式eq1c所示，每個局部項u1(x,y；A1,V1,I)係對應於中間影像I的各像素p(x,y)，且可表示為：準校正輔助頻道Cd1'於像素p(x,y)處的空間梯度▽的範的q次乘冪，其中範∥.∥n可以是一向量n-範。
u1(x,y；A1,V1,I)=∥▽Cd1'(x,y；A1,V1,I)∥n q--(eq1c)
空間梯度運算子▽可以是一數值運算子；譬如，(Cd1'(x,y))可包括一x方向分量及一y方向分量，前者代表一差異(Cd1'(x+dx,y)-Cd1'(x,y))或(Cd1'(x,y)-Cd1'(x-dx,y))，而後者代表一差異(Cd1'(x,y+dy)-Cd1'(x,y)或(Cd1'(x,y)-Cd1'(x,y-dy))，其中，dx及dy係為在兩個鄰近像素之間的x方向距離及y方向距離。
因為每個局部項u1(x,y；A1,V1,I)由一加權項w1(x,y)予以加權，如果中間影像I之像素p(x,y)係位於高空間變化之區域中，可利用加權項w1(x,y)將局部項u1(x,y；A1,V1,I)從第一成本函數U1(A1,V1,I)中排除或抑制。因此，加權項w1(x,y)可依據一梯度項G1(x,y)(未顯示於第2圖中)而決定，梯度項G1(x,y)可等於(或基於下述而計算出)：∥▽Ca1(x,y)∥n、∥▽ca1(x,y)∥n、∥▽ca0(x,y)∥n或∥▽L(x,y)∥n，項目L(x,y)表示中間影像I於像素p(x,y)之亮度。在一實施例中，如果位於一既定像素p(x,y)之梯度項G1(x,y)大於一閾值，則此像素p(x,y)之加權項w1(x,y)可設定為0；如果梯度項G1(x,y)小於此閾值，則此加權項w1(x,y)可設定為1。亦即，依據梯度項G1(x,y)是否小於一閾值，加權項w1(x,y)可選擇性地設定為兩個不同的常數0及1。在另一實施例中，每個加權項w1(x,y)之數值係設定在0及1之間，包含0及1兩數；對一數值較大的梯度項G1(x,y)而言，則使加權項w1(x,y)的數值較小，亦即，為較接近0之數值。所有像素p(x,y)之加權項w1(x,y)可共同合稱為一加權圖w1。
在一實施例中，由準校正圖mc1將頻道Ca1校正為頻道Cd1'之原理，可同樣地用以由輔助校正圖msc1將頻道c1校正為頻道c1'。因此，在頻道c1及C1'等於(c1/c0)及(C1*msc1)之 色彩比率式實施例中，準校正輔助頻道Cd1'可同樣地表示為Cd1'=(Ca1*mc1)。在C1=log(c1/c0)及C1'=(C1+msc1)之對數色彩比率式實施例中，準校正輔助頻道Cd1'可同樣地表示為Cd1'=(Ca1+mc1)。
如前所述，除了第一成本函數U1(A1,V1,I)以外，目標函數U(A1,V1,I)亦可包括代表一第二成本函數U2(A1,mA)，用以反映在集合A1之候選係數ac[1]至ac[N1]與一集合mA之參考係數ma[1]至ma[N1]間的差異。若將集合A1表示N1*1行向量以列出候選係數ac[1]至ac[N1]，並將集合mA表示為另一N1*1行向量以列出參考係數ma[1]至ma[N1]，則第二成本函數U2(A1,mA)可用下述方程式eq1d表示。
U2(A1,mA)=Ld1*(A1-mA)T*Vcd*(A1-mA)--(eq1d)
其中，項目Ld1可以是一平衡係數；因為向量差異(A1-mA)亦是一N1*1行向量，所以項目Vcd可以是一N1*N1的正定或非負定矩陣。集合mA可表示一先驗資訊；舉例而言，當藉由方程式eq1a至eq1d而為一目前中間影像I(t)之一目前校正圖m1(t)計算一目前集合A(t)之係數a[1]至a[N1]時，集合mA可以是一或數個先前集合之係數的平均或加權加總，例如A(t-3*dt)、A(t-2*dt)及A(t-1*dt)，其係分別用來求得中間影像I(t-3*dt)、I(t-2*dt)及I(t-1*dt)所用的校正圖m1(t-3*dt)、m1(t-2*dt)及m1(t-1*dt)。
易言之，第二成本函數U2(A1,mA)可表示集合A1與移動平均(population mean，即集合mA，由一或多個先前影像校正所得)間的正規化距離平方。第二成本函數U2(A1,mA)之目的，係要利用係數分佈的先驗知識約束當前解(即目前集合A(t))，以使目前組A(t)中之係數a[1]至a[N1](其可使目前中間影像I(t)之目標函數U(A1,V1,I(t))最小化)可以被約束在先驗知識所預測的合理範圍之內。利用一平滑項目(smoothing term，例如第二成本函數U2(A1,mA))來使目標函數U(A1,V1,I(t))更規律是一種重要的機制；藉此，若對目標函數U(A1,V1,I(t))之輸入有 小改變，也不會導致解答上的大改變。本發明的一實施樣態係用於處理大量生產中的「單元-對-單元」變化。以先驗的統計知識作為約束，可以彈性且有效地達成該目的。
用於計算係數a[1]至a[N1]以形成校正圖m1之方程式eq1a，若不是具有一封閉形式(解析形式)的求解方法，就是可藉由疊代或其他最佳化演算法而求解。
除了校正圖m1=a[1]*V[1]+…+a[N1]*V[N1]之實施例以外，在另一種實施例中，校正圖m1可以表示為m1=a0*V[0]+a[1]*V[1]+…+a[N1]*V[N1]，其包括了一額外基底V[0]，以一常數係數a0加權，並與其他基底的加權聯合地建立出校正圖m1。舉例而言，係數a0可固定地設定為1，主要關鍵在於：用於加權基底V[0]之係數a0並不會因目標函數之最佳化而變。
如以前所討論的，在一實施例中，相較於影像Isc(與影像I'、輔助校正圖msc1以及頻道c1、C1'及c0至c2)之尺寸(xs,ys)而言，中間影像I(與關於方程式eq1a至eq1d之基底V[.]、校正圖m1以及頻道Cd1'、Ca1及ca0至ca2)可以屬於較小尺寸(xi,yi)。這種配置可降低求解係數a[1]至a[N1]所需的計算，簡化實施的複雜度。亦即，待校正之影像Isc可被轉換至一較小的中間影像I，以求解係數a[1]至a[N1]並提供較小尺寸之校正圖m1，接著，可將較小的校正圖m1擴張為一較大的輔助校正圖msc1(例如對校正圖m1進行內插)，以校正影像Isc。
在色影偏差校正之一實施例中，係計算單一輔助頻道C1以求解單一組之係數a[1]至a[N1]，可求得單一校正圖(m1或msc1)及單一校正輔助頻道C1'，以相應地對校正影像I'之單一色彩頻道c1'(例如一紅色色彩頻道)進行校正，而校正影像I'之其他色彩頻道(例如藍色及綠色色彩頻道)可設定成等於此原始影像Isc之同色頻道；或者，影像I'之頻道C2'可設定成等於影像Isc之頻道C2。
在色影偏差校正之另一實施例中，則可計算多個輔助頻道(例如C1及C2)以分別求解多個組之係數，例如a[1]至a[N1]及b[1]至b[N2]，可求得多個校正圖(例如m1(或msc1)及m2(或msc2))以及多個校正輔助頻道(例如C1'及C2')，以相應地校正多個色彩頻道，例如，校正影像I'之頻道c1'及c2'，而校正影像I'之其餘色彩頻道，例如，綠色色彩頻道，則可設定成等於原始影像Isc之同色色彩頻道。請參考第3圖，其所示意的是依據本發明一實施例之色影偏差校正，其係計算兩個校正圖m1及m2以校正原始影像Isc之兩個輔助頻道C1及C2(未顯示)，並用於產生兩個校正輔助頻道C1'及C2'(未顯示)用以建立校正影像I'(未顯示)。
除了像第2圖一樣計算係數a[1]至a[N1]與校正圖m1，第3圖更包括：依據中間影像I(或藉由對影像Isc執行一第二特徵萃取所得到之一第二中間影像)及基底V[1]至V[N2]來計算複數個第二係數b[1]至b[N2]，將第二係數b[1]至b[N2]分別加權基底V[1]至V[N2]並予加總以產生第二校正圖m2，並更進一步地依據第二校正圖m2提供校正影像I'，例如，藉由對校正圖m2進行內插以得到一第二輔助校正圖msc2，並依據第二校正圖m2(或第二輔助校正圖msc2)及第二輔助頻道C2來計算第二校正輔助頻道C2'，並依據第二校正輔助頻道C2'來建立校正影像I'之第二校正色彩頻道c2'。
數量N2可等於或不等於形成校正圖m1之數量N1。舉例而言，所有可利用基底的數量可以等於總數量N_total，即基底V[1]至V[N_total]，數量N1係小於或等於總數量N_total，且數量N2亦小於或等於總數量N_total。亦即，供不同輔助頻道用之不同校正圖，可運用「所有可利用基底」的不同或相同子集來加以合成。
使用於色彩比率式實施(第二輔助頻道C2依據(c2/c0)或(c0/c2)定義)之基底V[1]至V[N2]，可以不同於對數色 彩比率式實施例(第二輔助頻道C2依據log(c2/c0)或log(c0/c2)定義)中使用的基底V[1]至V[N2]。換言之，雖然這兩種實施例均可藉由基底之線性疊加形成第二校正圖，但是各種實施例可採用不同的基底。
如方程式eq2a所示，求解第二係數b[1]至b[N2]係使一第二目標函數H(B1,V2,I)最小化：
第二目標函數H(B1,V2,I)可包括一第三成本函數H1(B1,V2,I)及一第四成本函數H2(B1,mB)；例如H(B1,V2,I)=H1(B1,V2,I)+H2(B1,mB)。
如在下述方程式eq2b中所表示的，第三成本函數H1(B1,V2,I)可表示為：對中間影像I之所有像素p(x,y)之累計一加權第二局部項w2(x,y)*u2(x,y；B1,V2,I)；輸入集合B1代表一組第二候選係數bc[1]至bc[N2]，而輸入集合V2代表基底V[1]至V[N2]：
如由下述方程式eq2c所說明的，每個第二局部項u2(x,y；B1,V2,I)係關聯於中間影像I之一像素，且可表示為：一第二準校正輔助頻道Cd2'於像素p(x,y)之空間梯度▽之範之q次乘冪：u2(x,y；A2,V2,I)=∥▽Cd2'(x,y；A1,V2,I)∥n q--(eq2c)
第二準校正輔助頻道Cd2'係依據中間影像I及一準校正圖mc2所定義，準校正圖mc2可表示為：輸入候選係數bc[1]至bc[N2]分別加權基底V[1]至V[N2]之加總；亦即，mc2=(bc[1]*V[1]+...+bc[N2]*V[N2])。
舉例而言，依據第二輔助頻道C2是否由色彩比率(例如C2=(c2/c0)或(c0/c2))，或由對數色彩比率(例如C2=log(c2/c0)或log(c0/c2))所得到，第二準校正輔助頻道Cd2'可表 示為Cd2'=Ca2*mc2或Cd2'=(Ca2+mc2)；色彩頻道ca2及c2可以具有相同色彩。應注意到輔助頻道Ca1及Ca2的定義可相同或不同；例如，輔助頻道Ca1可由log(ca1/ca0)求得，而輔助頻道ca2可由(ca2/ca0)或(ca0/ca2)求得。
類似於加權項w1(x,y)之設定，用於加權各第二局部加權項u2(x,y；A2,V2,I)之加權項w2(x,y)，可依據一第二梯度項G2(x,y)而決定，第二梯度項G2(x,y)可等於∥▽Ca2(x,y)∥n、∥▽ca2(x,y)∥n或w1(x,y)等。
若將集合B1中的候選係數bc[1]至bc[N2]排列為N2*1行向量，將集合mB中的參考係數mb[1]至mb[N2]排列為N2*1行向量，第四成本函數H2(B1,mB)可表示為下述方程式：H2(B1,mB)=Ld2*(B1-mB)T*Vcd2*(B1-mB)--(eq2d)
其中，項目Ld2可以是純量平衡係數；因為向量差異(B2-mB)亦是一N2*1行向量，所以項目Vcd2可以是一N2*N2的正定或非負定矩陣。集合mB可表示一先驗資訊；舉例而言，當藉由方程式eq2b至eq2d來為目前中間影像I(t)的目前校正圖m2(t)計算一目前集合B(t)的係數b[1]至b[N1]時，項目mB可以是一或數個先前集合之係數之平均或加權加總，例如B(t-3*dt)，B(t-2*dt)及B(t-1*dt)，其分別被用來提供先前中間影像I(t-3*dt)、I(t-2*dt)及I(t-1*dt)所用之校正圖m2(t-3*dt)、m2(t-2*dt)及m2(t-1*dt)。
除了求解基底V[1]至V[N2]之係數b[1]至b[N2]來計算校正圖m2之外，也可利用其他演算法以得到校正圖m2。舉例而言，校正圖m2也可由數個候選校正圖中選出，選擇的依據可以是光源識別的結果，或是校正圖m1的特性，例如範、空間平均、空間變量、空間最大、最小、最大及最小之比較、空間低通濾波結果、空間帶通濾波結果、空間高通濾波結果或空間頻譜…等等；若該特性滿足第一條件(例如在第一範圍中)，則將第一候選校正圖選擇為校正圖m2；若該特性滿足第二條件，則將第二候選校正圖選擇為校正圖m2等等，或者，若校正圖m1之特 性滿足第一條件，則校正圖m2藉由求解方程式eq2a而計算得出；如果校正圖m1之特性滿足第二條件，則校正圖m2從一個或多個候選校正圖中選出。
除了校正圖m2=b[1]*V[1]+…+b[N2]*V[N2]之實施例以外，在另一種實施例中，校正圖m2可以表示為m2=b0*V[0]+b[1]*V[1]+…+b[N2]*V[N2]，其包括了一額外基底V[0]，以常數係數b0加權，並與其他基底的加權聯合地建立出校正圖m2。舉例而言，係數b0可固定地設定為1，主要關鍵在於：用於加權基底V[0]之係數b0並不會因目標函數之最佳化而變。
於第2圖及第3圖之本實施例中，影像Isc可以是一完整靜態照片或視頻中的一完整圖框；或者，影像Isc可以是一完整照片或圖框的一部分，例如一中心部分或一個由使用者定義的部分；在得到校正影像I'之後，校正影像I'係用於校正該完整照片或圖框之該部分。
在前述的第2圖與第3圖實施例中，在計算局部項u1(x,y；A1,V1)所採用之(數值)梯度運算子▽、計算加權項w1(x,y)所採用之(數值)梯度運算子▽、計算第二局部項u2(x,y；A2,V2)使用的(數值)梯度運算子▽及/或計算第二加權項w2(x,y)時用的(數值)梯度運算子▽可以是相同或不同的。此梯度運算子可以代換為下述的其中之一：空間變化、統計變量、鄰近分割的子區塊或像素之空間差異、局部開窗區域之空間頻譜分析等。
在一實施例中，除了原始影像Isc、基底V[1]至V[N1]與集合mA提供的資訊之外，基底V[1]至V[N1]之係數a[1]至a[N1]之求解可以不需要額外的先驗資訊。亦即，求解時可假設每個係數a[n]的數值係從負無限大到正無限大。或者，當求解基底V[1]至V[N1]之係數a[1]至a[N1]時，也可考慮額外的先驗資訊；舉例而言，可為每個係數a[n]提供一預設範圍R[n]以約束係數a[n]之可能數值，以及/或者，可為係數a[1]至a[N1]提供一組期望值當作是初始猜測，使方程式eq1a之最小化可較快地收斂及/或正確 地收斂，例如，不會落入局部最小值的陷阱。每個範圍R[n]可為係數a[n]提供：單一有限(finite)的上限，單一有限的下限，或上限與下限兩者。對係數a[1]至a[N1]中的一個或數個而言，對應的數值範圍可以是由從負無限大延伸至正無限大。同樣地，當求解方程式eq2a以得出基底V[1]至V[N2]之係數b[1]至b[N1]時，亦可提供一額外先驗資訊。
請參考第4圖，其所示意的是依據本發明之實施例之一影像校正流程100；以第2圖之實施例作例，流程100之主要步驟可描述如下。
步驟102：開始流程100以校正一影像Isc。
步驟104：提供複數個基底V[1]至V[N1]。
步驟106：提供一目標函數U(A1,V1,I)，其係待最小化以求解一組係數a[1]至a[N1]，可包括：藉由一色訊頻道轉換得到輔助頻道Ca1，並計算加權圖w1，為中間影像I的每個像素p(x,y)提供加權項w1(x,y)(方程式eq1b)。舉例而言，各像素p(x,y)之加權項w1(x,y)可依據梯度項G1(x,y)而決定，而該梯度項可依據中間影像I的頻道Ca1在像素p(x,y)的空間梯度而計算得知。在一實施例中，加權項w1(x,y)係依據此梯度項是否少於一閾值，而選擇性設定為兩個不同的常數(例如1或0)。
步驟108：求解方程式eq1a，例如使目標函數U(A1,V1,I)最小化，據以計算複數個係數a[1]至a[N1]，每個係數a[n]關聯於一基底V[n]。
步驟110：以係數a[1]至a[N1]分別加權基底V[1]至V[N1]並予以加總，據以產生校正圖m1，例如m1=(a[1]*V[1]+...+a[N1]*V[N1])。
步驟112：依據校正圖m1來校正影像Isc，據以產生校正影像I'。舉例而言，可由校正圖m1導出一輔助校正圖msc1，並依據輔助校正圖msc1與頻道c1而計算一校正輔助頻道C1'。在一色彩比率式實施例中，頻道c1可以等於影像Isc之兩 的頻道C1'，可建立一校正色彩頻道c1'，以形成校正影像I'之一色彩頻道。
步驟114：結束流程圖100。
於第4圖之實施例中，係求得單一校正圖m1以提供單一校正輔助頻道C1'(與衍生的單一校正色彩頻道c1')給校正影像I'。在另一種使用兩個(或更多)校正輔助頻道(例如利用C1'及C2')的實施例中，步驟106、108及110可重複兩次(或更多次)，以分別提供兩個(或更多)目標函數U(A1,V1,I)及H(B1,V2,I)(第3圖)，得到兩組(或更多)係數a[1]至a[N1]及b[1]至b[N2]，產生兩個(或更多)校正圖m1及m2(與衍生的輔助校正圖msc1及msc2)，並相應地計算兩個(或更多)校正輔助頻道C1'及C2'，用以在步驟112中建立校正影像I'。或者，可同時準備多個目標函數、同時得到多組之係數，及/或同時產生多個校正圖。
請參考第5圖，其所示意的是依據本發明一實施例的影像系統200。影像系統200包括影像感測器10、色影偏差校正器20、自動白平衡模組(Auto White Balance Module,AWB)30、逆色影裝置40、影像信號處理器50、適應性色影之校正控制器(Adaptive Shading Correction Controller,ASC)60、選擇性增設的時域平滑裝置70，選擇性增設的乘法器80以及存取電路90，用於存取資料庫92。校正器20、校正控制器60與存取電路90可形成一影像校正裝置，內嵌於影像系統200中，可實施第2圖或第3圖所顯示的實施例。
影像感測器10擷取一輸入影像作為一原始影像Isc，原始影像Isc會傳輸至校正器20以對其進行色影偏差校正。校正器20耦接至影像感測器10，可依據校正圖m1而校正中間影像I，據以產生校正影像Ia'，中間影像I係關聯於影像Isc。自動白平衡模組30耦接至校正器20，可針對校正影像Ia'執行自動白平衡並提供一影像Iw'。影像信號處理器50耦接自動白平衡模組30， 可對影像Iw'執行其他必要的影像處理，以產生影像輸出，用以顯示在螢幕(未顯示)上。逆色影裝置40亦耦接至自動白平衡模組30，可對影像Iw'執行逆色影偏差校正以復原出原始中間影像I，例如將一反校正圖應用在影像Iw'上，因為影像Iw'已被校正器20進行色影偏差校正。
存取電路90耦接校正控制器60，並可得到複數個基底V[1]至V[N1]，每個基底V[n]可提供一基本校正值V[n](x,y)給影像I之每個像素p(x,y)。舉例而言，多個基底V[.]，包括基底V[1]至V[N1]，可儲存於非揮發性資料庫92(例如ROM，EEPROM或快閃記憶體)或載入至揮發性資料庫92(例如SRAM或DRAM)，且存取電路90係讀取資料庫92以得到這些基底。校正控制器60耦接逆色影裝置40與存取電路90，可依據中間影像I及基底V[1]至V[N1]計算係數a[1]至a[N1]，並以係數a[1]至a[N1]分別加權基底V[1]至V[N1]，予以加總，據以產生校正圖m1。
色彩比率式實施例中使用的基底V[1]至V[N]可以不同於對數色彩比率式實施例中使用的基底V[1]至V[N]。換言之，雖然此兩種實施例皆可藉由基底之線性疊加而形成校正圖，但是各種實施例可採用不同的基底。
時域平滑裝置70耦接校正控制器60，可對校正圖m1執行時域平滑，以避免校正圖m1在短時間之內劇烈地改變，因為時域上急速改變的校正圖會在影像信號處理器50的輸出影像造成閃爍。舉例而言，為目前影像產生之目前校正圖可以和先前影像的先前校正圖一併加權平均。乘法器80耦接於校正控制器60與校正器20之間，可將校正控制器60提供的校正圖乘以一亮度增益(luma gain)。時域平滑裝置70與乘法器80可被省略。時域平滑裝置70可實現(或支援)方程式eq1d中的第二成本函數U2(A1,mA)及/或方程式eq2c中的第四成本函數H2(B1,mB)。
對色影偏差校正而言，校正控制器60更可依據影像Isc的諸色彩頻道計算一輔助頻道C1，且校正器20可依下述提供校正影像I'：依據校正圖m1與輔助頻道C1來計算一校正輔助頻道C1'，並依據校正輔助頻道C1'來建立校正影像I'之一校正色彩頻道c1'。
為了實施色彩比率式實施例，校正控制器60可將影像Isc之一色彩頻道c1除以影像Isc之另一個色彩頻道c0來計算輔助頻道C1，且校正器20可將輔助頻道C1乘以輔助校正圖msc1來計算校正輔助頻道C1'，並可將一色彩頻道c0'乘以校正輔助頻道C1'來建立校正色彩頻道c1'。
為了實施對數色彩比率式實施例，校正控制器60可對影像Isc之一色彩頻道c1除以影像Isc之另一個色彩頻道c0之比率取一對數，據以計算輔助頻道C1；校正器20可加總輔助頻道C1與輔助校正圖msc1，以計算校正輔助頻道C1'，並可將一色彩頻道c0'乘以校正輔助頻道C1'之逆對數來建立校正色彩頻道c1'。
如果必要的話，影像系統200可採用第3圖例子中所示的多頻道校正。不僅產生校正圖m1之係數a[1]至a[N1]，校正控制器60更可依據中間影像I與諸基底計算其他組係數，例如，對應於基底V[1]至V[N2]的額外一組係數b[1]至b[N2]，並可用各組係數加權對應基底來產生額外校正圖，例如，加總b[1]*V[1]至b[N2]*V[N2]以產生校正圖m2。據此，校正器20可依據多個校正圖(例如校正圖m1及m2)提供校正影像I'。存取電路90可讀取不同組係數對應的基底，例如說是取得係數b[1]至b[N2]對應的基底V[1]至V[N2]。
除了輔助頻道C1與校正輔助頻道C1'以外，校正控制器60更可依據影像Isc之諸色彩頻道計算其他輔助頻道，例如一輔助頻道C2；因此，校正器20可藉由下述方式提供校正影像I'：分別依據各校正圖(例如m1及m2)與各輔助頻道(例如C1 及C2)來計算多個校正輔助頻道(例如C1'及C2')，並依據這些校正輔助頻道來建立校正影像I'之多個校正色彩頻道(例如c1'及c2')。
如第2圖及第3圖所示，校正控制器60可使目標函數U(A1,V1,I)最小化來求解係數a[1]至a[N1]，目標函數U(A1,V1,I)接收集合A1之候選係數，中間影像I及諸基底(合稱集合V1)作為輸入。
在資料庫92中，一個、某些或所有基底V[.]可被儲存為二維矩陣；其中，一個、某些或所有基底V[.]可以是在壓縮後儲存於資料庫92中。對壓縮的基底而言，存取電路90或校正控制器60可將被壓縮的基底解壓縮。
於第5圖之實施例中，因為自動白平衡模組30在進行白平衡時會針對影像I提供的有用資訊(例如統計資訊)，故校正控制器60可設於自動白平衡模組30後方，以利用自動白平衡模組30提供的資訊。
應注意到，相同的生產批次或相同設計之不同單元(影像系統)，或甚至不同設計(如不同組合之光學模組、感測器及相關電路)的不同的影像系統，均可利用同一組基底V[.]，以校正不同光源下所擷取的影像。雖然在不同光源下由不同影像系統所擷取之影像需要不同的校正圖，但是不同組係數可施用在同一組基底V[.]上以計算出不同的校正圖，以適應設計、裝配、製造及/或光源之變化。
舉例而言，如果一相同影像系統在兩種不同光源之下擷取兩個影像，則可得到兩組係數a[1]至a[N1]，並用同一組基底V[1]至V[N1]分別產生兩個校正圖m1，以分別校正該兩影像。同樣地，兩個影像系統可各自應用個別的係數a[1]至a[N1]，並用同一組基底V[1]至V[N1]產生個別的校正圖，以校正這兩個影像系統分別擷取的影像。再者，如第3圖之例子所示，亦可利用同一組基底(或選自於同組基底之不同子集)來產生多個校正圖， 用以校正同一影像之多個色彩頻道。
欲得到諸基底V[.]，可先收集複數個樣本校正圖，然後在這些樣品校正圖上應用降維(dimension reduction)。樣本校正圖的來源可以是：針對各種光源下由各種單元(影像系統)所擷取的影像進行實驗室校準所得到之校正圖。在應用降維後，可找出由一組基底所展開(span)的子空間，亦即，該些基底可經由線性疊加而合成出(或者，在一可接受誤差內，趨近)該些樣品校正圖之任何一個。而這些基底就可被用來實現第2圖及第3圖之實施例。降維技術可以是：離散餘弦變換、小波變換(wavelet transform)、主成份分析(principal component analysis)、廣義主成份分析(generalized principal component analysis)、獨立成份分析(independent component analysis)或稀疏表示(sparse representation)等。
雖然第5圖所顯示之影像系統200包括影像感測器10以提供原始影像Isc，但本發明可廣泛應用在各種影像處理系統，由儲存媒體及/或網路等各種來源接收待校正影像Isc。
雖然第2圖至第5圖所顯示之實施例係藉由係數加權基底來合成校正圖，但所合成者亦可以是中間影像I之不均勻性(衰減圖樣，fall-off pattern)，例如第1圖所顯示之綠色頻道不均勻。應注意到，衰減圖樣及校正圖兩者可相互推導；因此，它們應被等效地處理並可被交替地使用。亦即，校正一影像之色影偏差可包括：找出一組(或多組)係數以合成此影像之一個(或多個)衰減圖案，據以計算一個(或多個)可補償衰減圖樣的校正圖，然後校正原始影像。
總而言之，本發明可在不同的影像系統間共享同組基底，不再需要(或可大幅簡化)針對每個影像系統進行昂貴、反複、耗時、高資源需求及技術上無法令人滿意的個別校準；藉由動態上求解相關的係數，本發明可適應地有效克服裝配、製造及光源的變異。因此，本發明可提高影像系統之畫質，並減少其 成本。
綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧流程
102至114‧‧‧步驟

Claims (38)

  1. 一種用以校正一影像之色偏之方法，包含：提供複數個基底，各該基底用來為一中間影像的各像素提供一基本校正值，該中間影像關聯於該影像；依據該中間影像計算複數個係數，各該係數關聯於該些基底的其中之一；以該些係數分別加權該些基底，並予以加總，據以產生一校正圖；以及依據該校正圖校正該影像，據以提供一校正影像。
  2. 如申請專利範圍第1項所述之方法，更包含：依據該影像的複數個色彩頻道計算一輔助頻道；其中，提供該校正影像包含：依據該校正圖與該輔助頻道計算一校正輔助頻道；以及依據該校正輔助頻道來建立該校正影像之一校正色彩頻道。
  3. 如申請專利範圍第2項所述之方法，其中該輔助頻道係界定為將該影像之一預設色彩頻道除以該影像之一參考色彩頻道。
  4. 如申請專利範圍第3項所述之方法，其中該參考色彩頻道係為該影像之一綠色色彩頻道，而該預設色彩頻道係為該影像之一紅色色彩頻道或藍色色彩頻道。
  5. 如申請專利範圍第2項所述之方法，更包括以下步驟：依據該校正圖提供一輔助校正圖；其中該校正輔助頻道係為將該輔助頻道乘以該輔助校正圖。
  6. 如申請專利範圍第5項所述之方法，其中該校正圖與該輔助校正圖具有不同尺寸。
  7. 如申請專利範圍第2項所述之方法，其中，建立該校正影像之該校正色彩頻道包含：將該影像之一參考色彩頻道乘以該校正輔助頻道。
  8. 如申請專利範圍第7項所述之方法，其中該參考色彩頻道係為該影像之一綠色色彩頻道，而該校正色彩頻道係為該校正影像之一紅色色彩頻道或一藍色色彩頻道。
  9. 如申請專利範圍第2項所述之方法，其中該輔助頻道係界定為對該影像之一預設色彩頻道除以該影像之一參考色彩頻道之比率取一對數。
  10. 如申請專利範圍第9項所述之方法，其中該參考色彩頻道係為該影像之一綠色色彩頻道，而該預設色彩頻道係為該影像之一紅色色彩頻道或一藍色色彩頻道。
  11. 如申請專利範圍第2項所述之方法，更包含：依據該校正圖提供一輔助校正圖；其中該校正輔助頻道係界定為加總該輔助頻道與該輔助校正圖。
  12. 如申請專利範圍第11項所述之方法，其中該校正圖與該輔助校正圖具有不同尺寸。
  13. 如申請專利範圍第2項所述之方法，其中建立該校正影像之該校正色彩頻道包含：將該影像之一參考色彩頻道乘以該校正輔助頻道之逆對數。
  14. 如申請專利範圍第13項所述之方法，其中該參考色彩頻道係為該影像之一綠色色彩頻道，而該校正色彩頻道係為該校正 影像之一紅色色彩頻道或一藍色色彩頻道。
  15. 如申請專利範圍第1項所述之方法，更包括以下步驟：依據該影像及該些基底計算複數個第二係數，各第二係數關聯於該些基底之其中一；以該些第二係數分別加權該些基底並予以加總，據以產生一第二校正圖；以及依據該第二校正圖來提供該校正影像。
  16. 如申請專利範圍第15項所述之方法，更包含：依據該影像之數個色彩頻道計算一第二輔助頻道；其中，提供該校正影像更包含：依據該第二校正圖及該第二輔助頻道計算一第二校正輔助頻道；以及依據該第二校正輔助頻道為該校正影像建立一第二校正色彩頻道。
  17. 如申請專利範圍第1項所述之方法，其中，提供該校正影像包含：將該影像之一色彩頻道乘以一輔助校正圖，據以替該校正影像建立一同色的色彩頻道；該輔助校正圖係依據該校正圖所提供。
  18. 如申請專利範圍第1項所述之方法，其中，提供該校正影像包含：將該影像之一色彩頻道乘以一輔助校正圖之逆對數，據以替該校正影像建立一同色的色彩頻道；該輔助校正圖係依據該校正圖所提供。
  19. 如申請專利範圍第1項所述之方法，其中該些係數之求 解係使該些係數可將一目標函數最小化，該目標函數接收複數個候選係數、該中間影像以及該些基底作為複數個輸入。
  20. 如申請專利範圍第19項所述之方法，其中該目標函數包含一第一成本函數，該第一成本函數係表示為複數個加權的局部項之加總，以及各該局部項關聯於該中間影像之一像素，且表示為一準校正輔助頻道於該關聯像素之空間梯度之範的乘冪；以及該準校正輔助頻道係依據該中間影像及一準校正圖所制訂，而該準校正圖係由該些候選係數分別加權該些基底後之加總所制訂。
  21. 如申請專利範圍第19項所述之方法，其中該目標函數包含一第二成本函數，該第二成本函數係代表該些候選係數與複數個參考係數之間的差異。
  22. 一種用以校正一影像之色偏之裝置，包含：一存取電路，用以取得複數個基底，各該基底用來為該影像之各像素提供一基本校正值；一校正控制器，耦接該存取電路，用以：依據該影像計算複數個係數，各該係數關聯於該些基底的其中之一；以及以該些係數分別加權該些基底，並予以加總，據以產生一校正圖；以及一校正器，耦接至該校正控制器，用以依據該校正圖校正該影像，據以提供一校正影像。
  23. 如申請專利範圍第22項所述之裝置，其中該校正控制器更依據該影像之複數個色彩頻道計算一輔助頻道，且該校正器藉由下述提供該校正影像： 依據該校正圖與該輔助頻道計算一校正輔助頻道；以及依據該校正輔助頻道來建立該校正影像之一校正色彩頻道。
  24. 如申請專利範圍第23項所述之裝置，其中該校正控制器係界定該輔助頻道為將該影像之一預設色彩頻道除以該影像之一參考色彩頻道。
  25. 如申請專利範圍第23項所述之裝置，其中該校正器係界定該校正輔助頻道為將該輔助頻道乘以一輔助校正圖，該輔助校正圖係依據該校正圖所提供。
  26. 如申請專利範圍第23項所述之裝置，其中該校正器藉由將該影像之一參考色彩頻道乘以該校正輔助頻道以建立該校正色彩頻道。
  27. 如申請專利範圍第23項所述之裝置，其中該校正控制器係界定該輔助頻道為對將該影像之一預設色彩頻道除以該影像之一參考色彩頻道之比率取一對數。
  28. 如申請專利範圍第23項所述之裝置，其中該校正器係界定該校正輔助頻道為加總該輔助頻道及一輔助校正圖，該輔助校正圖係依據該校正圖所提供。
  29. 如申請專利範圍第23項所述之裝置，其中該校正器藉由將該影像之一參考色彩頻道乘以該校正輔助頻道之逆對數以建立該校正色彩頻道。
  30. 如申請專利範圍第22項所述之裝置，其中該校正控制器更規劃以：依據該影像及該些基底計算複數個第二係數，各該第二係數 關聯於該些基底的其中之一；以及以該些第二係數分別加權該些基底並予以加總，據以產生一第二校正圖；以及該校正器更依據該第二校正圖來提供該校正影像。
  31. 如申請專利範圍第30項所述之裝置，其中該校正控制器更依據該影像之數個色彩頻道計算一第二輔助頻道；且該校正器係更藉由下述提供該校正影像：依據該第二校正圖及該第二輔助頻道來計算一第二校正輔助頻道；以及依據該第二校正輔助頻道為該校正影像建立一第二校正色彩頻道。
  32. 如申請專利範圍第22項所述之裝置，其中該校正控制器係使一目標函數最小化以求解該些係數，該目標函數接收複數個候選係數、一中間影像及該些基底以作為複數個輸入，其中該中間影像係關聯於該影像。
  33. 如申請專利範圍第32項所述之裝置，該目標函數包括一第一成本函數，其係表示為複數個加權的局部項之加總，以及各該局部項關聯於該中間影像之一像素，且可表示為一準校正輔助頻道於該關聯像素之空間梯度之範的乘冪；以及該準校正輔助頻道係依據該中間影像及一準校正圖而被制訂，而該準校正圖係由該些候選係數分別加權該些基底後之加總所制訂。
  34. 如申請專利範圍第33項所述之裝置，其中該準校正輔助頻道係界定為一輔助頻道與該準校正圖之乘積；該輔助頻道係依據該中間影像之複數個色彩頻道而求得。
  35. 如申請專利範圍第33項所述之裝置，其中該準校正輔助頻道係界定為一輔助頻道與該準校正圖之加總；該輔助頻道係依據該中間影像之複數個色彩頻道而求得。
  36. 如申請專利範圍第33項所述之裝置，其中，各該加權的局部項係由一加權項所加權，該加權項係依據一梯度項而定，且該梯度項之求算係基於該輔助頻道於各該局部項關聯之像素的空間梯度。
  37. 如申請專利範圍第36項所述之裝置，其中該加權項係依據該梯度項是否小於一閾值，而選擇性地設定為兩個不同的常數。
  38. 如申請專利範圍第32項所述之裝置，其中該目標函數包括一第二成本函數，該第二成本函數代表該些候選係數與複數個參考係數之間的差異。
TW103130951A 2013-09-09 2014-09-09 校正影像色偏之方法與相關裝置 TWI557686B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361875216P 2013-09-09 2013-09-09
US14/341,870 US9443322B2 (en) 2013-09-09 2014-07-28 Method and associated apparatus for correcting color artifact of image

Publications (2)

Publication Number Publication Date
TW201523515A TW201523515A (zh) 2015-06-16
TWI557686B true TWI557686B (zh) 2016-11-11

Family

ID=51518545

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103130951A TWI557686B (zh) 2013-09-09 2014-09-09 校正影像色偏之方法與相關裝置

Country Status (8)

Country Link
US (1) US9443322B2 (zh)
EP (1) EP2846530A3 (zh)
JP (1) JP5859080B2 (zh)
KR (1) KR101663871B1 (zh)
CN (1) CN104424626B (zh)
BR (1) BR102014022192A2 (zh)
IN (1) IN2014MU02870A (zh)
TW (1) TWI557686B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3185534B1 (en) * 2015-12-23 2020-02-12 Robert Bosch Gmbh Camera device with red halo reduction
TWI578787B (zh) 2016-03-18 2017-04-11 圓展科技股份有限公司 具有自動白平衡功能的攝影裝置與自動白平衡的校正方法
CN108204979B (zh) * 2016-12-19 2020-10-27 网易（杭州）网络有限公司 用于试纸检测设备中光源校准的方法和装置
US10286688B2 (en) 2017-01-25 2019-05-14 Ricoh Company, Ltd. Liquid discharge apparatus, liquid curing method, and computer program product
CN106910224B (zh) * 2017-02-27 2019-11-22 清华大学 宽视场高分辨显微成像中像感器阵列标定方法
CN107564047B (zh) * 2017-09-12 2020-10-20 北京小米移动软件有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN109788261B (zh) * 2017-11-15 2021-06-22 瑞昱半导体股份有限公司 颜色偏移校正方法及装置
TWI638336B (zh) * 2017-11-22 2018-10-11 瑞昱半導體股份有限公司 影像增強方法及影像增強裝置
CN110910822B (zh) * 2019-11-27 2021-03-16 深圳市华星光电半导体显示技术有限公司 一种oled补偿方法、补偿装置及计算机可读存储介质
US11475594B1 (en) * 2019-12-03 2022-10-18 Gopro, Inc. Systems and methods for dynamic optical element detection
CN111429534B (zh) * 2020-02-17 2020-11-13 深圳市六六六国际旅行社有限公司 一种图像偏色矫正方法及装置
CN112365555A (zh) * 2020-10-26 2021-02-12 北京计算机技术及应用研究所 基于组稀疏正则化的全变分高能闪光照相密度反演方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5818525A (en) * 1996-06-17 1998-10-06 Loral Fairchild Corp. RGB image correction using compressed flat illuminated files and a simple one or two point correction algorithm
TW200816830A (en) * 2006-09-29 2008-04-01 Sony Taiwan Ltd A method of color matching applied on the image apparatus
TW200838324A (en) * 2007-01-05 2008-09-16 Silicon Optix Inc Color and geometry distortion correction system and method
TW200925492A (en) * 2007-12-03 2009-06-16 Omnivision Tech Inc Image sensor apparatus and method for scene illuminant estimation
TW201116248A (en) * 2009-11-06 2011-05-16 Nat Univ Chung Cheng Method for reconstructing color images
TW201305965A (zh) * 2011-07-18 2013-02-01 Novatek Microelectronics Corp 影像處理方法
CN102957877A (zh) * 2011-08-26 2013-03-06 卡西欧计算机株式会社 图像处理装置以及图像处理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07307877A (ja) * 1994-05-13 1995-11-21 Mitsubishi Electric Corp 赤外線撮像装置
JP2008177794A (ja) 2007-01-17 2008-07-31 Sharp Corp 撮像装置の色シェーディング補正装置、撮像装置および撮像装置の色シェーディング補正方法
JP2008277926A (ja) 2007-04-25 2008-11-13 Kyocera Corp 画像データ処理方法と該方法を用いた撮像装置
JP2009088800A (ja) 2007-09-28 2009-04-23 Nikon Corp カラー撮像装置
US20090091660A1 (en) * 2007-10-08 2009-04-09 Yu-Wei Wang Method and apparatus for processing color components of pixel through adding white light adaptively
EP2101207A1 (en) * 2008-03-12 2009-09-16 Deutsche Thomson OHG Method for correcting chromatic aberration
JP2010103642A (ja) * 2008-10-21 2010-05-06 Toshiba Corp シェーディング補正装置
US8876290B2 (en) * 2009-07-06 2014-11-04 Wavetec Vision Systems, Inc. Objective quality metric for ocular wavefront measurements
EP2484119A4 (en) * 2009-09-29 2013-10-30 Hewlett Packard Development Co WHITE BALANCE CORRECTION IN A CAPTURED DIGITAL IMAGE
JP5528173B2 (ja) * 2010-03-31 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
JP5681589B2 (ja) 2011-08-18 2015-03-11 富士フイルム株式会社 撮像装置及び画像処理方法
JP5868076B2 (ja) * 2011-08-31 2016-02-24 キヤノン株式会社 画像処理装置及び画像処理方法
JP2013118598A (ja) 2011-12-05 2013-06-13 Canon Inc 撮像装置のシェーディング補正方法、及び撮像装置
JP5911296B2 (ja) * 2011-12-22 2016-04-27 オリンパス株式会社 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
CN102867295B (zh) * 2012-08-06 2015-10-21 电子科技大学 一种彩色图像颜色校正方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5818525A (en) * 1996-06-17 1998-10-06 Loral Fairchild Corp. RGB image correction using compressed flat illuminated files and a simple one or two point correction algorithm
TW200816830A (en) * 2006-09-29 2008-04-01 Sony Taiwan Ltd A method of color matching applied on the image apparatus
TW200838324A (en) * 2007-01-05 2008-09-16 Silicon Optix Inc Color and geometry distortion correction system and method
TW200925492A (en) * 2007-12-03 2009-06-16 Omnivision Tech Inc Image sensor apparatus and method for scene illuminant estimation
TW201116248A (en) * 2009-11-06 2011-05-16 Nat Univ Chung Cheng Method for reconstructing color images
TW201305965A (zh) * 2011-07-18 2013-02-01 Novatek Microelectronics Corp 影像處理方法
CN102957877A (zh) * 2011-08-26 2013-03-06 卡西欧计算机株式会社 图像处理装置以及图像处理方法

Also Published As

Publication number Publication date
CN104424626B (zh) 2017-07-21
US20150071535A1 (en) 2015-03-12
IN2014MU02870A (zh) 2015-10-09
US9443322B2 (en) 2016-09-13
JP2015053057A (ja) 2015-03-19
KR101663871B1 (ko) 2016-10-07
BR102014022192A2 (pt) 2015-12-01
JP5859080B2 (ja) 2016-02-10
CN104424626A (zh) 2015-03-18
EP2846530A2 (en) 2015-03-11
TW201523515A (zh) 2015-06-16
EP2846530A3 (en) 2015-04-22
KR20150029590A (ko) 2015-03-18

Similar Documents

Publication Publication Date Title
TWI557686B (zh) 校正影像色偏之方法與相關裝置
US11849224B2 (en) Global tone mapping
JP6818015B2 (ja) マルチスコピック雑音削減およびハイ・ダイナミック・レンジのためのシステムおよび方法
CN110660088B (zh) 一种图像处理的方法和设备
CN103327342B (zh) 具有透明滤波器像素的成像系统
TWI505720B (zh) 用於自動白平衡處理之彈性色彩空間選擇
US20160364841A1 (en) Color filter array scaler
US20150042833A1 (en) Systems and Methods for Synthesizing High Resolution Images Using a Set of Geometrically Registered Images
US20120287286A1 (en) Image processing device, image processing method, and program
CN106131460A (zh) 成像装置、成像系统和信号处理方法
TWI737979B (zh) 圖像去馬賽克裝置及方法
WO2019104047A1 (en) Global tone mapping
US9270872B2 (en) Apparatus, systems, and methods for removing shading effect from image
US20180115757A1 (en) Mesh-based auto white balancing
CN104410786A (zh) 图像处理设备和图像处理设备的控制方法
US20140192222A1 (en) White balance adjusting method with scene detection and device thereof
JP5330291B2 (ja) 信号処理装置及び撮像装置
CN113132562A (zh) 镜头阴影校正方法、装置及电子设备
TWI536765B (zh) 具有透明濾波器像素之成像系統
Wachira et al. An ordinal direction driven gradient-based RGBW CFA demosaicking technique using a bayerisation process and polyomino theory
CN108114913B (zh) 一种滤光片的选取方法及装置
TWI617198B (zh) 具有透明濾波器像素之成像系統
TWI601427B (zh) 具有透明濾波器像素之成像系統
TWI382745B (zh) 影像擷取裝置及其增益表單建立單元與建立方法
Gheorghe et al. A self-profiling image noise and edge enhancement filter

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees