TWI649724B - 確定圖像的光源和對圖像進行色覺適配的方法及設備 - Google Patents

確定圖像的光源和對圖像進行色覺適配的方法及設備 Download PDF

Info

Publication number
TWI649724B
TWI649724B TW107104182A TW107104182A TWI649724B TW I649724 B TWI649724 B TW I649724B TW 107104182 A TW107104182 A TW 107104182A TW 107104182 A TW107104182 A TW 107104182A TW I649724 B TWI649724 B TW I649724B
Authority
TW
Taiwan
Prior art keywords
light source
value
image
coordinate
adaptation
Prior art date
Application number
TW107104182A
Other languages
English (en)
Other versions
TW201830335A (zh
Inventor
李盈儀
賢哲 李
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/425,113 external-priority patent/US10224004B2/en
Priority claimed from US15/675,221 external-priority patent/US20180176420A1/en
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201830335A publication Critical patent/TW201830335A/zh
Application granted granted Critical
Publication of TWI649724B publication Critical patent/TWI649724B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本發明公開了一種確定圖像的光源和對圖像進行色覺適配的方法及設備。確定圖像的光源的方法包括：計算該圖像的一組候選光源中的每一個的指示值，其中每一個該候選光源由在色度坐標系中的相應的坐標對(p,q)來描述；確定該候選光源的該指示值的閾值；識別具有不大於該閾值的該指示值的該候選光源的子集；以及對於該子集中的所有候選光源，計算該相應的坐標對的加權平均，獲得在該色度坐標系中描述該圖像的該光源的平均坐標對。

Description

確定圖像的光源和對圖像進行色覺適配的方法及設備
本發明所揭露之實施例有關於彩色攝影、數碼相機、彩色打印和數字彩色圖像處理領域。
所有用戶的彩色顯示設備都經過校準，以便於在顏色通道的紅色(R)=綠色(G)=藍色(B)時，顯示的色彩為標準的“白點”色度，根據國際照明委員會(International Commission on Illumination，簡稱CIE)標準，其大部分為D65或D50。使用互補性氧化金屬半導體(complementary metal-oxide semiconductor，CMOS)或者電荷耦合元件(charge-coupled device，CCD)的數字彩色相機對RGB通道具有不同的敏感度，從而導致原始圖像具有某種偏色(例如，偏綠)。此外，物體的顏色會因為光源的顏色(例如鎢絲燈或日光)和周圍的物體的彼此反射作用而變化。因此，在處理和以合適的顏色再現顯示圖像前，常常需要調節原始圖像的“白點”。白點的調節被稱為白平衡(white balance，WB)，其通常通過對顏色通道應用適當的增益來實現，這樣圖像中的中性物 件(例如黑色，灰色和白色)被呈現為大致相等的R、G、B值。在數字相機中，白點可以被手動或者自動調節。自動白平衡(Automatic white balance，AWB)因此是彩色成像應用中的重要操作。
大多數傳統的AWB算法依賴於自然場景的一些物理特徵(例如色域)和統計特徵(例如平均顏色分佈)。傳統的AWB算法對場景內容的統計比較敏感，常常遇到以下一個或多個難點：1)主色色偏影響結果，2)當圖像中沒有中性色時，預估出現錯誤的概率很高，3)錯誤的相機校正可能會導致場景統計與相機使用的統計不同，4)需要大量的參考標準當訓練樣本來建立可靠的統計，以及，5)算法的性能受到相機的批量生產中的元件與元件的差異的影響。因此，非常需要開發出一種對多場景內容更加具有穩健性且相對不敏感的AWB技術。
依據本發明的示範性實施例，提出一種饋通信號傳輸裝置/方法以及相關饋通信號傳輸電路以解決上述問題。
本發明提供一種確定圖像的光源和對圖像進行色覺適配的方法及設備。
在一個實施例中，提供一種確定圖像的光源的方法。該方法包括：計算圖像的一組候選光源中的每一個候選光源的指示值，其中每一個候選光源都由在色度坐標系中的相應的坐標對(p,q)來描述；確定候選光源的指示值的閾值；識別具有不大於閾值的指示值的候選光源的子集；以及對於該子集 中的所有候選光源，計算該相應的坐標對的加權平均，獲得用於在該色度坐標系中描述該圖像的該光源的平均坐標對。
在另一個實施例中，提供一種對圖像進行色覺適配的方法。該方法包括：計算圖像的光源，其中光源由在色度坐標系中的坐標對(p,q)來描述；識別圖像中景物的亮度級；使用至少部分地根據適配要求和圖像中景物的亮度級推導出的一個或多個適配度，來調整光源的坐標對(p,q)以獲得適配光源；以及將圖像的顏色適配於該適配光源。
在又一個實施例中，提供一種確定圖像的光源的設備。該設備包括：存儲器，用於存儲圖像；以及耦接於存儲器的圖像處理管道。圖像處理管道用於：計算圖像的一組候選光源中的每一個候選光源的指示值，其中每一個候選光源由在色度坐標系中的相應的坐標對(p,q)來描述；確定該候選光源的指示值的閾值；識別具有不大於閾值的指示值的候選光源的子集；以及對於子集中的所有候選光源，計算相應的坐標對的加權平均，獲得用於在色度坐標系中描述該圖像的光源的平均坐標對。
在再一個實施例中，提供一種對圖像進行色覺適配的設備。該設備包括：存儲器，用於存儲圖像；以及耦接於存儲器的圖像處理管道。圖像處理管道用於：計算圖像的光源，其中光源由在色度坐標系中的坐標對(p,q)來描述；識別圖像中景物的亮度級；使用至少部分地根據適配要求和圖像中景物的亮度級推導出的一個或多個適配度，來調整光源的坐標對(p,q)以獲得適配光源；以及將圖像的顏色使適配於該適配 光源。
本發明的實施例改善了AWB計算的結果。另外，可以根據給定的規範有效地執行色覺適配。在下面的描述中將詳細解釋實施例的優點。
100‧‧‧圖像處理管道
110‧‧‧AWB模組
120‧‧‧色彩校正矩陣模組
130‧‧‧灰度校正模組
140‧‧‧顯示器
150‧‧‧設備
160‧‧‧存儲器
300、500、700‧‧‧AWB模組
310、510‧‧‧預處理單元
320‧‧‧投影平面計算器
330‧‧‧投影面積計算器
340、730‧‧‧比較器
345‧‧‧偏置值
350‧‧‧增益調整單元
380‧‧‧MPA計算器
515‧‧‧區塊劃分單元
540‧‧‧加權平均單元
600‧‧‧MPA方法
610~640‧‧‧步驟
720‧‧‧差值計算器
780‧‧‧MTV計算器
800‧‧‧MPA方法
810~880‧‧‧步驟
900‧‧‧方法
910~940‧‧‧步驟
1181‧‧‧MPA計算器
1101‧‧‧平均計算器
1182‧‧‧MTV計算器
1200‧‧‧方法
1210~1240‧‧‧步驟
1310‧‧‧適配要求
1320‧‧‧Ap曲線
1410、1420‧‧‧AWB模組
1450‧‧‧色覺適配模組
1500‧‧‧方法
1510~1540‧‧‧步驟
第1A圖是本發明提供的一實施例中執行色彩校正的圖像處理管道的示例；第1B圖是本發明一實施例中的包括第1A圖所示的圖像處理管道的設備的形式的系統；第2圖是本發明一實施例中的在垂直於光源向量的平面上的兩個顏色表面的投影的示例；第3圖是本發明提供的一實施例中的用於執行最小投影面積(minimum projected area，MPA)方法的自動白平衡模組的結構圖；第4A、4B和4C圖是本發明一實施例中的使用三種不同候選光源的投影結果；第5圖是本發明一實施例中的執行區塊MPA方法的自動白平衡模組的結構示意圖；第6圖是本發明一實施例中的MPA方法的流程圖；第7圖是本發明一實施例中的執行最小總變差(minimum total variation，MTV)方法的自動白平衡模組的結構示意圖；第8圖是本發明另一實施例中的MTV方法的流程圖；第9圖是本發明一實施例中的用於自動白平衡的方法的流 程示意圖；第10圖是本發明一實施例中的在一定範圍的G/R比率，其中指示值小於閾值的示例；第11A圖是本發明一實施例中的MPA計算器的示例；第11B圖是本發明一實施例中的MTV計算器的示例；第12圖是本發明一實施例中的用於確定圖像光源的方法的流程圖；第13圖是本發明一實施例中的適配要求的圖表示意圖；第14A圖是本發明一實施例中的AWB模組的示例；第14B圖是本發明另一實施例中的AWB模組的示例；第15圖是本發明一實施例中的基於一組亮度級的適配要求而對圖像進行色覺適配的方法的流程圖。
在下面的描述中，陳述了很多具體細節。然而，可以理解的是，本發明的實施例可以在沒有這些具體細節的情況下實施。在其他實施例中，眾所周知的電路、結構和技術沒有被詳細說明，以免模糊對本說明書的理解。然而，所屬領域中具有習知技術者可以理解，可以在沒有這些具體情節的情況下實踐本發明。所屬領域中具有習知技術者通過所具有的描述將能夠無需過度的實驗而實現適當的功能。
本發明提供基於表面反射分解的系統和方法來執行自動白平衡(automatic white balance，AWB)。當與基於傳統的AWB算法的系統和方法相比，該系統和方法具有穩健性且對場景內容相對不敏感。該系統和方法不依賴詳細的場景統 計或用於訓練的大量圖像資料庫。在下文中，描述了最小投影面積方法(minimum projected area，MPA)和最小總變差(minimum total variation，MTV)方法，這兩者都基於將表面反射分解為鏡面反射分量和漫反射分量，並且基於鏡面反射分量的消除。
如本文中所使用的，術語“三色值”或等同的“RGB值”或“RGB通道”，是指彩色圖像的三個顏色值(紅、綠、藍)。術語“光源(illuminant)”和“光源(light source)”可互換使用。此外，色度圖像指的是色彩差異圖像，其可通過獲取一個色彩通道和另一個色彩通道之間的差異計算出，或者可以通過色彩通道的線性組合之間的差異來計算出。
第1A圖是本發明的一實施例中，執行色彩校正的圖像處理管道(image processing pipeline)100的示例。圖像處理管道100包括AWB模組110，其接收原始RGB值作為輸入，並且輸出白平衡校正後的RGB值。原始RGB值可以由圖像傳感器、相機、錄像機等生成。AWB模組110的操作將會在下文參考第2圖-9進行詳細解釋。圖像處理管道100還包括色彩校正矩陣(color correction matrix，CCM)模組120，色彩校正矩陣120對從AWB模組110輸出的RGB值執行3×3矩陣計算。CCM模組120可以降低圖像傳感器的光譜特性和標準的色彩設備(例如，標準RGB彩色顯示器)的光譜響應之間的差異。圖像處理管道100還可以包括圖像灰度校正模組130，其對從CCM模組120輸出的RGB值應用非線性函數來補償顯示設備的非線性亮度效應。圖像處理管道100的輸出是 準備好用於顯示的標準RGB(standard RGB，sRGB)的值的集合。在一個實施例中，圖像處理管道100包括多個處理元件(例如，算術邏輯單元(Arithmetic and Logic Units，ALU)、通用處理器、專用電路，或者上述的任何組合)，用於實現AWB模組110、CCM模組120和圖像灰度校正模組130的功能。
第1B圖是本發明一實施例中包括第1A圖所示的圖像處理管道100的設備150的系統結構示意圖，除了圖像處理管道100之外，設備150包括存儲器160，其用於存儲圖像資料或者將被圖像處理管道100處理的中間圖像資料，設備150還包括顯示器140，顯示器140用於顯示具有標準RGB值的圖像。可以理解的是，設備150還可以包括其他額外的部件，包括但不限於：圖像傳感器、一個或者多個處理器、用戶接口、網絡接口等。在一個實施例中，設備150可以是數碼相機，或者，設備150可以是諸如計算機、筆記本電腦、智能手機、智能手錶之類的計算和/或通信設備的一部分。
在描述AWB模組110的實施例之前，首先解釋AWB模組110的操作所根據的原理是有利於理解的。
令f(θ；λ)為雙向光譜反射分佈函數(bidirectional spectral reflectance distribution function，BSRDF)，其中θ代表所有的角度相關因子(angle-dependent factor)，而λ代表光的波長。大多數有色物體表面的BSRDF可以被描述為兩個反射分量的組合，這兩個反射分量為界面反射(鏡面)分量和本體反射(漫反射)分量。界面反射(interface reflection)通常是非選擇性的，即其對所有具有可見光波長的光進行同樣的反射。 這個模型被稱為中性界面反射(neutral interface reflection，NIR)模型。基於NIR模型，BSRDF f(θ；λ)可以表示為：f(θ；λ)=ρ(λ)h(θ)+ρ s k(θ)， (1)其中ρ(λ)是漫反射率因子(diffuse reflectance factor)，ρ s 鏡面反射率因子(specular reflectance factor)，h(θ)和k(θ)是兩個反射率因子的角度相關函數。NIR模型的關鍵特徵在於每種反射分量中的光譜因子和幾何因子是完全分開的。
假定L(λ)是光源的光譜功率分佈，S r (λ)、S g (λ)和S b (λ)是三個傳感器基礎(即，光譜響應函數)。RGB色彩空間可以推導為：R=ʃL(λ)f(θ；λ)S r (λ)dλ=h(θ)ʃL(λ)ρ(λ)S r (λ)dλ+ρ s k(θ)ʃL(λ)S r (λ)dλ，G=h(θ)ʃL(λ)ρ(λ)S g (λ)dλ+ρ s k(θ)ʃL(λ)S g (λ)dλ，B=h(θ)ʃL(λ)ρ(λ)S b (λ)dλ+ρ s k(θ)ʃL(λ)S b (λ)dλ。 (2)
令L r =ʃL(λ)S r (λ)dλ，L g =ʃL(λ)S g (λ)dλ，L b =ʃL(λ)S b (λ)dλ， ，，。
於是，R=L r [ρ r h(θ)+ρ s k(θ)]，G=L g [ρ g h(θ)+ρ s k(θ)]，B=L b [ρ b h(θ)+ρ s k(θ)]， (3)其中，L r 、L g 和L b 是光源的三色值，RGB色彩空間可以改寫為如下所示的矩陣形式：
令 v 1和 v 2是RGB空間中的兩個獨立向量。如果將RGB值投影到 v 1和 v 2所生成的平面 V 上，投影坐標將為
令 L =[L r L g L b ]T為光源向量，在[ v 1 v 2] T L =0時，等式(5)中的第二項消失。這意味著當平面 V 垂直於光源向量 L 時，鏡面反射分量被消除。
第2圖是本發明一實施例中將兩個表面的顏色投影到平面 V 的示例。根據NIR模型，在給定的表面(例如，S1)上的每個顏色向量是鏡面反射分量(由光源向量 L 表示)和漫反射分量(由 C 1表示)的線性組合。S1的所有顏色與 L 和 C 1在同一個平面上。類似的，另一個表面(例如S2)的所有顏色與 L 和 C 2在同一平面上。因此，同一光源下的所有顏色所在的平面上共享共同向量 L 。如果所有顏色都沿光源向量 L 投影，則它們的投影將形成多條線，且這多條線在一點處相交，該點為光源向量的投影點。如果投影的方向不是沿著光源向量 L 的方向，(即，如果 V 不垂直於 L )，則鏡面分量不被消除。在這種情況下，投影的顏色將不再在平面 V 上形成線，但是會在平面 V 的二維區域上展開。該二維區域被稱為平面 V 上的投影面積。當 v 1和 v 2正交時可以計算出該二維區域的面積。當 v 1和 v 2變化時，平面 V 隨之變化。通過改變 v 1和 v 2，當平面 V 垂直於光源向量 L 時，投影面積會變為最小。使用 v 1和 v 2中特定 的哪一個作為基礎向量並不重要，因為它們都會產生實質相同的結果。
在AWB計算中，真實光源的光源向量 L 是未知的。MPA方法通過選擇不同的候選光源來改變平面 V 。從候選光源的選出的光源向量 L =(L r ，L g ，L b )，可以計算出正交的基礎向量 v 1和 v 2，並且也可以計算出給定圖像在由 v 1和 v 2生成的平面上的投影面積。當選擇的光源向量 L 最接近該圖像的真實光源時，投影面積最小。
在一個實施例中，正交的基礎向量可以被參數化如下：
當α=L g /L r ，且β=L g /L b 時，平面 V (α，β)垂直於 L 。
在一個實施例中，因為搜索所有可能的平面 V (α,β)是非常耗時的，光源的搜索範圍被縮窄到光源更可能發生的子空間。縮小搜索範圍也有利於減少找到錯誤光源的可能性。在一個實施例中，搜索範圍可以被設置為在預期的應用領域中的用戶圖像中(consumer image)經常發生的一組光源。術語“用戶圖像”指的是通常可以在內容用戶使用的圖像顯示設備上看到的彩色圖像。或者或另外，可以使用日光軌跡(daylight locus)和黑體輻射軌跡(blackbody radiator locus)的適當混合。這個混合可以提供覆蓋了用戶圖像中大多數的光源的光源軌跡。為了搜索到圖像的光源，用MPA方法為沿著光源軌跡的一組 候選光源中的每一個候選光源計算圖像的投影面積。產生最小的投影面積的候選光源就是場景光源(即，真實光源)的最佳估計，且圖像根據該場景光源的最佳估計被白平衡。在一個實施例中，MPA方法尋找最小投影面積的表達式如下所示：argmin α,β w(α,β)Area(α,β)， (8)其中，w(α,β)是偏置函數(bias function)，Area(α,β)是在平面 V (α,β)投影的面積，該面積是通過 v 1(α,β)和 v 2(α,β)生成的。該偏置函數可以用於修改投影面積，從而改善MPA方法的性能。該偏置函數依賴於總體場景光源分佈，而不是場景內容。因此，相同的偏置函數可以適用於相機校準後的任何相機模型。偏置函數w(α,β)的詳細內容將在稍後提供。在其他實施例中，可以省略偏置函數(即，設定為1)。
第3圖是本發明提供的一實施例中用於執行MPA方法的AWB模組300的結構圖。AWB模組300是第1A圖中所示的AWB模組110的一個示例。AWB模組300包括預處理單元310，預處理單元310用於處理輸入圖像的原始RGB資料以移除過度曝光、曝光不足和飽和的像素。移除這些像素可以提升AWB的計算速度並可減少噪點。在一個實施例中，如果一個像素的R值、G值和B值中的一個或多個的色彩通道大於閾值時，則認為該像素是過度曝光，則移除該像素。在這些像素被移除後，預處理單元310可以通過將圖像劃分為多組相鄰像素，並計算每一組中的相鄰像素的三色值的加權平均值，來對輸入圖像進行分組平均。每一個組的權重可以是一或其他數值。在一個實施例中，在計算出分組平均之後，預處理單元310 可以從圖像中移除曝光不足的像素。如果一個像素的R值、G值和B值之和高於第一閾值，則該像素被過度曝光；如果一個像素的R值、G值和B值之和低於第二閾值，則該像素曝光不足。預處理單元310也可以從圖像中移除飽和像素。如果一個像素的R值、G值和B值之一低於預定閾值，則該像素飽和。
在一個實施例中，在移除過度曝光、曝光不足和/或飽和的像素和分組平均操作之後，預處理單元310可以對圖像進行子採樣以產生預處理圖像。預處理後的圖像被提供給AWB模組300中的MPA計算器380，用於MPA計算。
在一個實施例中，MPA計算器380包括投影平面計算器320和投影面積計算器330。投影平面計算器320計算兩個正交向量 v 1和 v 2， v 1和 v 2生成了垂直於候選光源的光源向量 L (L r ,L g ,L b )的平面。在一個實施例中，當α和β的值已經被給出或者從候選光源中計算出時，投影平面計算器320可以根據等式(6)和(7)計算出 v 1和 v 2。
在確定投影平面之後，投影面積計算器330將預處理圖像中的每一個像素的RGB值投影到該投影平面。投影的結果是落在投影平面上的點的集合。如果每種顏色被表示為單點，那麼投影的結果將在投影平面上產生一組散亂的點，如第4A、4B和4C圖的所示，第4A、4B和4C圖中的每一幅圖式都是採用不同的候選光源進行投影的結果。當沿著真實光源向量進行投影時，局部的點的密度變更高。然而，計算點的密度需要大量的計算。在一個實施例中，投影平面被分成一組空間倉(spatial bins)(例如正方形)。當一個或多個像素投影到 正方形中時，計數該正方形。計數的正方形的數量可以作為投影面積的估算結果。
參考第4A、4B和4C圖，在每一個示例中，“x”標記代表圖像中所有像素的投影點。當候選光源越接近真實光源，被“x”標記的投影的總面積就越小。每一個示例都採用了由不同正交基礎向量 v 1和 v 2所描述的不同的候選光源。第4B圖所示的投影面積119面積最小，因此其相應的候選光源在三個候選光源中最接近真實光源。
請再次參閱第3圖，在投影面積計算器330計算出一組不同候選光源的投影面積之後，比較器340比較這些投影面積的大小並識別產生最小投影面積的候選光源。在一個實施例中，在比較之前，比較器340可以將每一個投影面積與前文所述的偏置函數相乘，以作為改進AWB結果的選項，在本實施例中示為偏置值345(即，權重)。偏置值345可以基於在用戶圖像中光源沿著光源軌跡的頻率的先驗知識來決定。也就是說，偏置值345代表的是場景光源分佈的先驗知識，而不與場景內容相關。在一個實施例中，每一個候選光源都與一個偏置值相關聯，該偏置值可以被表示為函數w(α,β)，其中α和β是候選光源的色彩比率。從一種相機模型到另一種相機模型，偏置值是穩定不變的。
在比較器340識別出產生最小投影面積的候選光源之後，增益調整單元350根據候選光源的色彩比率α和β調整輸入圖像的色彩增益。
對於具有多個不同顏色的物體的圖像，當投影沿 著光源向量時，投影面積通常是最小的，然而對於只有單個主色的圖像，當主色的鏡面反射分量或者漫反射分量被消除時，才會出現最小投影面積。為了更好地處理這種顏色種類很少的圖像，搜索範圍被限制在僅由於鏡面反射分量被消除而不是漫反射分量被消除所引起的最小投影面積。一種方法是在色度空間中搜索這些靠近潛在光源的所在位置的候選光源。因此，沿著穿過已知光源的群體(population)的光源軌跡搜索到最小投影面積。
在一個實施例中，色度坐標系(p,q)可以在較小失真的色度區域中的參數化光源軌跡的分佈。該坐標系(p,q)被定義為： 其中，r=R/(R+G+B)，g=G/(R+G+B)，b=B/(R+G+B)。
對於候選光源(L r ,L g ,L b )，其(p,q)坐標系可以通過將等式(9)中的R、G、B值更換為L r 、L g 、L b 值來決定。
可以通過擬合(fitting)由參考相機在不同光源下獲取的色彩資料獲得光源軌跡。例如，對來自三種光源(陰影、日光和鎢絲燈)光線進行曲線擬合可以提供非常好的光源軌跡。在一個實施例中，一個給定的光源軌跡可以由二階多項式函數在(p,q)域中表示，其具有如下的形式：q=a i p 2+a 2 p+a 3. (10)
給定(p,q)的值，如下所示的等式用於計算(r,g,b)：
色彩比率α和β可以通過如下所示的等式獲得：
因此，給出沿著光源軌跡的(p,q)，可以計算色彩比率α和β。正交向量 v 1(α,β)和 v 2(α,β)可以使用等式(6)和(7)計算出。並且圖像投影到由 v 1(α,β)和 v 2(α,β)所展開的平面 V 上的面積也可以計算。
當場景被單個主光源照射時，MPA方法可以準確地估算出光源。但是，有些場景有不止一個光源。在一個實施例中，區塊MPA方法被用於處理這樣的多光源場景。使用區塊MPA方法，就是將圖像分成幾個區塊，並將MPA方法應用於每一個區塊。
第5圖是本發明一實施例中執行區塊MPA方法的AWB模組500。AWB模組500是第1A圖中所示的AWB模組110的一個示例。AWB模組500包括預處理單元510，預處理單元510還包括區塊劃分單元515，區塊劃分單元515用於將輸入圖像劃分為多個區塊。預處理單元510在每一個區塊上執行與第3圖中所示的預處理單元310相同的像素移除操作，預處理單元510移除過度曝光，曝光不足和飽和的像素。預處理單元510還在移除像素操作之後確定每一個區塊是否具有足夠數量的像素(例如，10個像素)來進行MPA方法。如果具有足夠像素的區塊數量小於閾值數量(例如，區塊總數的一半)， 則預處理單元510將圖像重新劃分為更少數量的區塊，使得圖像中的新區塊的數量大於閾值數量。
在一個實施例中，AWB模組500包括一個或多個MPA計算器310 MPA計算器310用於在每一個區塊上執行MPA方法。每一個區塊的結果都被加權平均單元540收集，加權平均單元540首先對色度坐標p進行平均，然後基於給定光源軌跡的擬合曲線(例如(10)中的二階多項式函數)找出另一個色度坐標q。在一個實施例中，加權平均單元540給每一個區塊都應用一個權重。例如，具有主要物件的區塊的權重可能高於其他區塊。在其他實施例中，加權平均單元540可以對所有的區塊應用相同的權重。加權平均單元540的輸出是結果候選光源或其代表候選光源。然後增益調整單元350根據結果候選光源的色彩比率α和β調整輸入圖像的色彩增益。
第6圖是本發明一實施例中在彩色圖像上執行的MPA方法600的流程圖。MPA方法600可以由諸如第1B圖的設備150的設備執行；更具體地說，MPA方法600可以由第1A圖的AWB模組110、第3圖的AWB模組300和/或第5圖的AWB模組500執行。
在MPA方法600中，設備首先開始對圖像進行預處理以獲得預處理像素，每一個預處理像素由三色值表示，三色值包括紅(red，R)值，綠(green，G)值和藍(blue，B)值(步驟610)。對於一組候選光源中的每一個候選光源，設備執行如下操作：計算與候選光源的三色值的向量垂直的投影平面(步驟620)，將每一個預處理像素的三色值投影到計算出的 投影平面以獲取投影面積(步驟630)。將候選光源中投影面積最小的一個識別為結果光源(resulting illuminant)(步驟640)。設備可以使用結果光源的色彩比率調整圖像的色彩增益。
根據另一個實施例，可以使用MTV方法來執行AWB方法，該MTV方法也基於與MPA方法相同的原理：通過設法消除鏡面反射分量。根據NIR模型，可以從給定的圖像中，通過縮放一個顏色通道並與另一個顏色通道相減，來創建一對色度圖像(αC 1-C 2)和(βC 3-C 2)。(C 1 ,C 2 ,C 3)是三色值(R,G,B)的線性變換。
(αC 1-C 2)和(βC 3-C 2)都是圖像中空間位置的函數。兩個色度圖像可以表示為：(αC 1-C 2)=[(αa 11-a 21)L r ρ r +(αa 12-a 22)L g ρ g +(αa 13-a 23)L b ρ b ]h(θ)+[(αa 11-a 21)L r +(αa 12-a 22)L g +(αa 13-a 23)L b ]ρ s k(θ)，(βC 3-C 2)=[(βa 31-a 21)L r ρ r +(βa 32-a 22)L g ρ g +(βa 33-a 23)L b ρ b ]h(θ)+[(βa 31-a 21)L r +(βa 32-a 22)L g +(βa 33-a 23)L b ]ρ s k(θ)。(14)
當α=(a 21 L r +a 22 L g +a 23 L b )/(a 11 L r +a 12 L g +a 13 L b )且β=(a 21 L r +a 22 L g +a 23 L b )/(a 31 L r +a 32 L g +a 33 L b )時：(αC 1-C 2)=[(αa 11-a 21)L r ρ r +(αa 12-a 22)L g ρ g +(αa 13-a 23)L b ρ b ]h(θ)，(βC 3-C 2)=[(βa 31-a 21)L r ρ r +(βa 32-a 22)L g ρ g +(βa 33-a 23)L b ρ b ]h(θ)。(15)
對於(αC 1-C 2)和(βC 3-C 2)，鏡面反射分量都被消除。當消除發生時，由於鏡面反射分量引起的調製消失，所以 (αC 1-C 2)和(βC 3-C 2)的總變差大大減小。只剩下漫反射分量的信號調製。
通過沿著給定的光源軌跡搜索，MTV方法可以找到候選光源，該候選光源由色彩比率α和β表示，使得總變差在接下來的表示中最小化。可以使用等式(11)和(12)從給定的光源軌跡上的給定的點(p,q)計算出色彩比率α和β。本實施例中的總變差可以表示為等式(14)中的兩個色度圖像的絕對梯度大小之和：
需要注意的是，二維圖像的梯度是具有x分量和y分量的向量。為了提升計算效率，可以使用簡化的一維近似總變差：
在一個實施例中，如果任何一個相鄰像素都由於過度曝光、曝光不足或顏色飽和而已經被移除，則從總變差計算中排除該像素的梯度。
第7圖是本發明一實施例中執行MTV方法的自動白平衡模組700的結構示意圖。AWB模組700是第1A圖的AWB模組110的另一個示例。AWB模組700包括預處理單元310，預處理單元310用於處理輸入圖像的原始RGB資料以移除過度曝光、曝光不足和飽和的像素。AWB模組700還包括MTV計算器780，MTV計算器780在一組候選光源中搜索最小總變差的變化的解決方案。更具體地說，MTV計算器780 還包括差值計算器720和比較器730。差值計算器720計算每一個候選光源的總變差，比較器730比較差值計算器720計算的結果以識別出最小總變差。在一個實施例中，比較器730在比較前可以將每一個總變差乘以偏置值345(即，權重)。偏置值345可以基於在用戶圖像中光源沿著光源軌跡的頻率的先驗知識來確定。也就是說，偏置值345表示場景光源分佈的先驗知識，並且與場景內容無關。在一個實施例中，每一個候選光源與一個偏置值相關聯，該偏置值可被表示為函數w(α,β)，其中α和β是候選光源的色彩比率，從一個相機模型到另一個相機模型，偏置值保持穩定。
在比較器730識別出產生最小總變差的候選光源之後，增益調節單元350使用候選光源的色彩比率α和β調節輸入圖像的色彩增益。實驗結果表明，MTV方法在單個主光源以及多個光源的場景下表現良好。
第8圖是本發明另一實施例中在彩色圖像上執行的MTV方法800的流程圖。在本實可替代施例中，在計算總變差的過程中採用線性變換來計算三色值。MTV方法800可以由諸如第1B圖中所示的設備150的設備來執行，更具體地，MTV方法800可以由第1A圖中所示的AWB模組110和/或第7圖中所示的AWB模組700來執行。
在MPA方法800中，設備首先開始對圖像進行預處理以獲得多個預處理像素，每一個預處理像素由三色值表示，三色值包括紅(R)值，綠(G)值和藍(B)值的(步驟810)。對於一組候選光源中的每一個候選光源，設備計算預處理像素 中的相鄰像素之間的三色值總變差值(步驟820)。計算總變差值的步驟包括如下操作：計算三色值的線性變換以獲得三個變換值(步驟830)；計算第一縮放因子和第二縮放因子，第一縮放因子和第二縮放因子用於表示候選光源的兩個色彩比率(步驟840)；通過獲取按第一縮放因子縮放的第一變換值與第二變換值之間的差值(difference)來構建第一色度圖像(步驟850)；通過獲取按第二縮放因子縮放的第三變換值與第二變換值之間的差值來構建第二色度圖像(步驟860)；以及通過將第一色度圖像的絕對梯度大小和第二色度圖像的絕對梯度大小相加來計算總變差(步驟870)。在計算出所有候選光源的總變差之後，設備選擇在所有總變差中值最小的總變差相應的候選光源(步驟880)。
第9圖是本發明一實施例中對圖像執行自動白平衡的方法的流程示意圖。方法900可以由諸如第1B圖所示的設備150的設備來執行；更具體地，方法900可以由第1A圖所示的AWB模組110，第3圖所示的AWB模組300，第5圖所示的AWB模組500和/或第7圖所示的AWB模組700來執行。
在方法900中，設備首先開始對圖像進行預處理以獲得多個預處理像素，每一個預處理像素由三色值表示，三色值包括紅(R)值，綠(G)值和藍(B)值(步驟910)。對於一組候選光源中的每一個候選光源，設備計算其包括鏡面反射分量和漫反射分量的指示值(步驟920)。然後設備識別出多個候選光源中的一個候選光源為結果光源，其相應的指示值是 所有候選光源中的最小指示值，其中，最小指示值相應於鏡面反射分量的消除(步驟930)。根據從結果光源推導出的色彩比率，設備調製圖像的色彩增益(步驟940)。在一個實施例中，指示值是如第6圖中所示的MPA方法600中所描述的投影面積，在其他實施例中，指示值是如第8圖中所示的MTV方法800所描述的總變差值。
在接下來的描述中，將展示MPA和MTV方法的改進。該改進的目的在於使得計算出的圖像的光源更接近真實光源，例如當多個候選光源生成的投影區域(或者總變差)具有相似的大小；也就是說，它們在數值上的差異可能在誤差範圍內。因此，將PQ色度域(PQ domain)中的這些候選光源的坐標值進行平均以生成平均光源，而不是將這些候選光源中的一個作為圖像的光源。在一個實施場景中，當圖像中大量的像素位於用於獲取候選光源的光源軌跡上，或者在該光源軌跡的閾值距離內，該方法可能是有用的。在這種情況下，通過MPA方法計算出的最小投影面積和通過MTV方法計算出的最小總變差可能是不穩定的，且平均光源可能比在計算中產生最小投影面積(或者最小總變差)的候選光源更接近真實光源。在本文的描述中，術語“平均值”可與“加權平均值”可互換使用，其中權重可以是1或另一數值；例如從關於候選光源的先驗知識推導出的概率值。例如，如果在用戶圖像群體中第一候選光源比第二候選光源更加頻繁地出現，則第一候選光源的概率值可能高於第二候選光源的概率值。
為了簡化描述，在接下來的描述中術語“指示值” 用於指代MPA方法中的“投影面積”、MTV方法中的“總變差”以及它們各自的加權值中的任何一個。第10圖是將MPA方法應用到圖像上的結果的示例，其中對於一定範圍的G/R比率，指示值(例如，加權面積)保持基本相同，其中每個G/R比率都代表候選光源。在本實施例中，真實光源的指示值不是最小指示值，但是真實光源的指示值和最小指示值均低於閾值(T)。在一個實施例中，將所有指示值小於或者不大於閾值(T)的候選光源用來計算平均光源，並且平均光源可以是通過平均計算相應的候選光源的p和q的坐標值來獲得的。平均光源可以作為圖像的光源。
在一個實施例中，閾值(T)可以是指示值的最大值和最小值之間的值，例如T=V_min+，其中V_min是候選光源生成的所有指示值中的最小指示值，小於指示值的最大值和最小值之間的差值。在一些情況下，可以大於零，例如當生成最小指示值的候選光源不是邊界候選光源時。需要注意的是這裡的術語“邊界”是指p坐標邊界，因為使用q坐標邊界來計算閾值(T)可能引起在計算平均光源的結果中產生顯著的誤差。
在一些情況下，可以是零，例如當邊界候選光源中的一個生成最小指示值時，和/或當最小指示值和第二最小指示值之間的差值大於容忍範圍時。通過坐標對(p,q)來描述邊界候選光源，其中p坐標值處於包括色度坐標系中的所有候選光源的時間或空間(interval or space)的邊界處。例如，如果所有的候選光源位於由p坐標值範圍參數化的(p,q)空間中的 一維曲線上，則在光源軌跡上具有最小和最大的p坐標值的候選光源是邊界候選光源。如果所有候選光源位於由p坐標值範圍和q坐標值範圍描述的二維色度空間中，則具有最小和最大的p坐標值的候選光源是邊界候選光源。
因此，閾值T的通式可以是：T=min[(V_min+k(V_max-V_min)),V_boundary]，其中k是0與1之間的值(例如，k=0.125)，V_min是最小指示值，V_max是最大指示值，V_boundary表示如上文中定義的邊界候選光源生成的邊界指示值。
第11A圖是本發明一實施例中MPA計算器1181的示例。MPA計算器1181是第3圖和第5圖中的MPA計算器380的可替代示例。如前文中所述，投影平面計算器320和投影面積計算器330計算每個候選光源的投影面積。比較器340比較投影面積或加權投影面積，確定閾值(T)，並識別投影面積或加權投影面積不大於T的那些候選光源。MPA計算器1181還包括平均計算器1101，用於計算識別出的候選光源的平均值。這些候選光源中的每一個都由在色度坐標系中的相應坐標對(p,q)來描述。平均計算器1101分別對這些相應的p坐標值和相應的q坐標值進行平均，以確定平均p坐標值(p avg)和平均q坐標值(q avg)。由色度坐標系中的平均坐標對(p avg,q avg)識別或描述的結果平均光源，可以作為用於隨後的圖像處理(例如，AWB處理)的圖像的光源。
類似的，第11B圖是本發明一實施例中MTV計算器1182的示例。MTV計算器1182是第7圖中的MTV計算器 780的可替代示例。如前文中所述，差值計算器720計算每個候選光源的總變差。比較器730比較總變差或加權總變差，確定閾值(T)，並識別那些總變差或加權總變差不大於T的候選光源。MTV計算器1182還包括平均計算器1102，用於計算識別出的候選光源的平均值。這些候選光源中的每一個都由在色度坐標系中的相應坐標對(p,q)來描述。平均計算器1102分別對這些相應的p坐標值和相應的q坐標值進行平均，以確定平均p坐標值(p avg)和平均q坐標值(q avg)。圖像的光源由色度坐標系中的平均坐標對(p avg,q avg)來識別或描述。
第12圖是本發明一實施例中用於確定圖像的光源的方法1200的流程圖。方法1200可以由諸如第1B圖中所示的設備150的設備來執行，更具體地，方法1200可以由第11A圖的MPA計算器1181或第11B圖的MTV計算器1182來執行。
在方法1200中，設備首先開始計算圖像的一組候選光源中的每一個的指示值(步驟1210)，每個候選光源由在色度坐標系中的相應的坐標對(p,q)来描述。設備確定候選光源的指示值的閾值(步驟1220)；並且識別出具有不大於閾值的指示值的候選光源的子集(步驟1230)。對於子集中的所有候選光源，設備對相應的坐標對進行平均以獲得在色度坐標系中描述圖像的光源的加權平均坐標對(步驟1240)。更具體地說，該設備可以分別對這些相應的p坐標值和相應的q坐標值進行平均，以確定平均p坐標值(p avg)和平均q坐標值(q avg)。圖像的光源由色度坐標系中的加權平均坐標對(p avg,q avg)來識 別或描述。
在一些實施例中，如上文中所計算的圖像的光源可以根據用戶的要求或規範(specification)進行調整。用戶可以要求圖像在成像設備(例如，照相機)上再現，這樣所得圖像的白平衡被調整得適合顧客的顏色偏好。在一個實施例中，在色度坐標系中執行色覺適配(chromatic adaption)；也就是說，在PQ色度域中執行適配。在PQ色度域中的色覺適配比LMS色彩空間中的計算複雜度簡單許多，LMS色彩空間也稱為人體感光體響應色彩空間(其中“L”代表長波長敏感度，“M”代表中等波長敏感度，“S”代表短波長敏感度，視錐細胞反應)。LMS色彩空間中的色覺適配通常需要多次3x3矩陣轉換。
用戶可以指定目標RGB顏色。例如，用戶可以提供若干內含灰卡(gray card)的原始圖像，以及相應的目標內含灰卡的圖像。灰卡可以是任何百分比灰色或適合作為參考點的任何顏色。根據用戶給出的圖像，可以針對這些圖像中景物的亮度級(luminance level)，計算原始圖像中(p origin,q origin)的值和目標圖像中(p adapt,q adapt)的值，其中(p origin,q origin)分別是色覺適配前光源的p坐標值和q坐標值；(p adapt,q adapt)分別是色覺適配後光源的p坐標值和q坐標值。
基於從用戶規範推導出的(p origin,q origin)和(p adapt,q adapt)，可以使用以下由等式(18)表示的模型來確定適配度Ap和Aq。
其中p D65和q D65分別是標準光源D65的p坐標值和q 坐標值。在可替代的實施例中，可以使用諸如D50、光源E或任何其他優選的光源之類的不同的默認光源的p坐標值和q坐標值來代替p D65和q D65。在一個實施例中，用戶規範所要求的和從用戶的規範中導出的適配度Ap可以包括多個Ap值範圍，每個範圍相應於一個亮度級。同樣的方法也適用於適配度Aq。
第13圖是本發明一實施例中的適配要求1310的圖表示意圖。圖表中的橫軸表示亮度級(LA)，縱軸是p坐標的適配度Ap。輸入圖像中景物的亮度級(LA)可以通過圖像被拍攝時相機的曝光時間、焦距、光圈大小和信號增益計算出。在本實施例中，圖表通過由x標記的三個垂直堆棧(vertical stack)來指定適配要求1310，其中每個堆棧指示相應的亮度級的Ap值的範圍。Ap值的範圍可以由如上所述的用戶提供的圖像結合等式(18)來生成。儘管在本實施例中適配要求1310為3個相應的亮度級指定了Ap值的範圍，可以理解的是，可選擇的適配要求可以為任何數量的亮度級指定Ap值的範圍。
在一個實施例中，作為LA的函數的單調遞增(monotonically increasing)Ap曲線1320可由曲線擬合來生成，這樣Ap曲線1320在三個給定的亮度級處通過所有三個Ap範圍。在本實施例中，Ap曲線1320可以以下面的形式表示：
參數x1、x2和x3可以通過已知的曲線擬合方法來生成。類似的，用戶的要求可以包括另一個圖表，該圖表作為LA的函數，為q坐標的適配度Aq指定適配要求。例如，Aq曲線可以表示為：
參數x4、x5和x6可以通過已知的曲線擬合方法來生成。在一個可替代的實施例中，等式(19)和(20)可以包括不同數量的參數。
如上文中所述的，可以通過坐標對(p,q)來描述在色度坐標系中的光源，並且可以根據圖像中景物的亮度級(LA)和該亮度級的適配度(Ap)或者適配度(Ap和Aq)，來調整該光源。利用適配曲線1320，可以使用等式(18)根據給定的(p origin,q origin)找到圖表中的任何亮度級的適配光源(p adapt,q adapt)。
在一個實施例中，等式(18)可以用來找到相應於p origin T1或者p origin T2的情況下的適配光源(p adapt,q adapt)，其中T1和T2標記了邊界點，超過該邊界點，圖像的顏色就需要調整。對於T1<p origin<T2,Ap=Aq=1；因此p adapt =p origin 且q adapt =q origin 。
在另一個實施例中，(18)的模型可以基於q adapt 通常對Aq不敏感的觀察結果來簡化。因此，接下來以等式(21)表示的模型，可以用於在p origin T1或者p origin T2的情況下找到適配光源(p adapt,q adapt)：
其中，q offset 是q origin和光源軌跡之間的距離，a1、a2和a3是光源軌跡的係數(參見等式(10))。結合上文中所述的等式(18)，諸如D50、光源E或任何其他優選的光源之類的不同默認光源的p坐標值和q坐標值可以用來代替p D65 and q D65。對於T1<porigin<T2,Ap=Aq=1；因此p adapt =p origin 且q adapt =q origin 。
在一些場景中，用戶的規範可以轉換為包括曲線擬合的多個區域的PQ色度域，並且為每個區域生成不同的單調遞增Ap曲線。例如，當用戶的規範轉換為PQ色度域時，可以指定LA=10時，Ap的範圍為[0,0.1]；LA=11時，Ap的範圍為[0.5,0.6]；LA=40時，Ap的範圍為[0.3,0.4]。在這種情況下，單獨一個單調遞增的曲線不能滿足所有要求的範圍。因此，可以使用多個區域，其中每個區域包括單獨一個單調遞增的曲線能夠滿足的Ap的範圍或者資料點。
例如，區域的邊界可以由p origin定義，例如區域1：p origin<T1；區域2：T1 p origin<T2；...；區域n：Tn-1 p origin<Tn；區域(n+1)：p origin Tn。
針對每個區域i的色覺適配模型可以表示為：
其中，且其中xi1、xi2和xi3是基於用戶規範通過曲線擬合找到的。結合如上文中所述的等式(18)和(21)，諸如D50、光源E或任何其他優選的光源之類的不同默認光源的p坐標值和q坐標值可以用來代替p D65和q D65。區域之間的過渡是連續的，這樣一些輕微的偏移不會引起由於適配不同而導致的可見的顏色變化。
第14A圖是本發明一實施例中的AWB模組1410。AWB模組1410包括耦接於色覺適配模組1450的第11A圖中的MPA計算器1181(或第3圖中的MPA計算器380)，色覺適配模組1450進一步耦接於結合上文中描述的第3圖、第5 圖和第7圖中的增益調節單元350，增益調節單元350調整輸入圖像的色彩增益。儘管圖中僅示出了一個MPA計算器，但是在一些實施例中，結合上文中第5圖所述，AWB模組1410可以包括多個MPA計算器380或1181，每一個MAP計算器為輸入圖像的一個區塊計算光源(或平均光源)。色覺適配模組1450為了調整光源的(p,q)值而計算p adapt和q adapt。
第14B圖是本發明另一實施例中的AWB模組1420。AWB模組1420包括耦接於色覺適配模組1450的第11B圖中的MTV計算器1182(或第7圖中的MTV計算器780)，色覺適配模組1450進一步耦接於增益調節單元350。色覺適配模組1450為了調整光源的(p,q)值而計算p adapt和q adapt。
第15圖是本發明一實施例中基於一組亮度級的適配要求而對圖像進行色覺適配的方法1500的流程圖。方法1500可以由諸如第1B圖中的設備150的設備來執行；更具體地，方法1500可以由第14A圖中的AWB模組1410或第14B圖中的AWB模組1420來執行。
在方法1500中，設備首先開始計算圖像的光源(步驟1510)，其中光源由在色度坐標系中的坐標對(p,q)來描述。設備識別圖像中景物的亮度級(步驟1520)；以及使用至少部分地根據適配要求和圖像中景物的亮度級推導出的適配度，來調整光源的坐標對(p,q)，以獲得適配光源(步驟1530)。設備將圖像的顏色適配於適配光源(步驟1540)。
參考第1A圖、第1B圖、第3圖、第5圖、第7圖、第11A圖、第11B圖、第14A圖和第14B圖中的實施例 來描述第6圖、第8圖、第9圖、第12圖和第15圖中的流程圖中的操作。然而，應當理解的是，流程圖中的操作可以被本發明中除了參考第1A圖、第1B圖、第3圖、第5圖、第7圖、第11A圖、第11B圖、第14A圖和第14B圖中所討論的實施例以外的實施例來執行，且第1A圖、第1B圖、第3圖、第5圖、第7圖、第11A圖、第11B圖、第14A圖和第14B圖中所討論的實施例可以執行與參考流程圖所討論的操作不同的操作。雖然流程圖示出了由本發明的某些實施例執行的操作的特定順序，但是應當理解的是，這樣的順序是示例性的(例如，替代實施例可以以不同順序執行操作，組合某些操作，重疊某些操作等)。
區別於現有技術，本發明通過計算一組候選光源中的每一個候選光源的指示值，其中每一個候選光源都由相應的坐標對(p,q)在色度坐標系中描述；確定候選光源的指示值的閾值；識別具有不大於閾值的指示值的候選光源的子集；以及對於該子集中的所有候選光源，計算該相應的坐標對的加權平均值，獲得用於在該色度坐標系中描述該圖像的該光源的平均坐標對，這樣可以找到最接近圖像的真實光源，降低白平衡對場景內容的敏感度，使得白平衡方法更加穩定。再根據計算出的光源識別圖像的光源的亮度級；使用根據適配要求和圖像中景物的亮度級推導出的一個或多個適配度來至少部分地調整光源的坐標對(p,q)以獲得適配光源；以及調節圖像的顏色使其適合適配光源。這樣可以根據給定的規範有效地執行色覺適配。
這裡已經描述了各種功能組件或區塊。如所屬領域中具有習知技術者將理解的，功能區塊將優選地通過電路(專用電路或在一個或多個處理器和編碼指令的控制下操作的通用電路)來實現，其通常包括晶體管，晶體管被配置為根據這裡所描述的功能和操作來控制電路的操作。
儘管本發明已經通過若干實施例進行了描述，但是所屬領域中具有習知技術者將認識到，本發明不限於所描述的實施例，並且可以在所附權利要求的精神和範圍內進行修改和變更來實施。因此該描述被認為是說明性的而不是限制性的。

Claims (22)

  1. 一種確定圖像的光源的方法，包括：計算該圖像的一組候選光源中的每一個的指示值，其中每一個該候選光源由在色度坐標系中的相應的坐標對(p,q)來描述；確定該候選光源的該指示值的閾值；識別具有不大於該閾值的該指示值的該候選光源的子集；以及對於該子集中的所有候選光源，計算該相應的坐標對的加權平均，獲得在該色度坐標系中描述該圖像的該光源的平均坐標對(p avg，q avg)。
  2. 如申請專利範圍第1項所述之方法，其中，計算該相應的坐標對的加權平均的步驟進一步包括：分別對相應的p坐標值和相應的q坐標值進行平均，以確定平均p坐標值(p avg)和平均q坐標值(q avg)，其中該平均坐標對(p avg，q avg)在該色度坐標系中描述該圖像的該光源。
  3. 如申請專利範圍第1項所述之方法，其中，該指示值是通過將該圖像投影到垂直於表示候選光源的三色值的向量的投影平面上而產生的投影面積。
  4. 如申請專利範圍第1項所述之方法，其中，該指示值是相鄰像素之間的三色值的總變差，其中計算該總變差的步驟進一步包括：計算該三色值的線性變換以獲得三個變換值；計算第一縮放因子和第二縮放因子，該第一縮放因子和該 第二縮放因子用於表示該候選光源的兩個色彩比率；通過獲取按該第一縮放因子縮放後的第一變換值與第二變換值之間的差值來構建第一色度圖像；通過獲取按該第二縮放因子縮放後的第三變換值與該第二變換值之間的差值來構建第二色度圖像；以及通過將該第一色度圖像的絕對梯度大小和該第二色度圖像的絕對梯度大小相加來計算該總變差。
  5. 如申請專利範圍第1項所述之方法，其中，當該指示值中的最小值由不是邊界候選光源之一的候選光源生成時，該閾值被設置為高於該指示值中的最小值，其中每個該邊界候選光源具有位於該色度坐標系中包括該圖像的所有該候選光源的區間或空間的邊界處的p坐標值。
  6. 如申請專利範圍第1項所述之方法，其中，當該指示值中的最小值由邊界候選光源之一的候選光源來產生時，該閾值被設置為該指示值中的該最小值，其中每個該邊界候選光源具有位於該色度坐標系中包括該圖像的所有該候選光源的區間或空間的邊界處的p坐標值。
  7. 一種對圖像進行色覺適配的方法，包括：計算該圖像的光源，其中該光源由在色度坐標系中的坐標對(p,q)來描述；識別該圖像中景物的亮度級；使用至少部分地根據適配要求和該圖像中景物的該亮度級推導出的一個或多個適配度，來調整該光源的該坐標對(p,q)，以獲得適配光源；以及 將該圖像的顏色適配於該適配光源。
  8. 如申請專利範圍第7項所述之方法，其中，該調整該坐標對的步驟進一步包括：根據用於該亮度級的適配度來縮放該光源的p坐標值；以及將縮放後的該p坐標值添加縮放(1-該適配度)的倍數的默認光源的p坐標值，以獲取該適配光源的適配p坐標值。
  9. 如申請專利範圍第8項所述之方法，其中，通過評估該適配p坐標值的函數，來計算該適配光源的適配q坐標值。
  10. 如申請專利範圍第7項所述之方法，其中，該方法進一步包括：根據用於該亮度級的適配度來縮放該光源的q坐標值；以及將縮放後的該q坐標值添加縮放(1-該適配度)的倍數的默認光源的q坐標值，以獲取該適配光源的適配q坐標值。
  11. 如申請專利範圍第7項所述之方法，其中，該方法進一步包括：基於該適配要求，計算該p坐標值的不同區域的不同適配曲線；以及在計算該圖像的該光源之後，根據該光源的該p坐標值識別該區域之一和該適配曲線之一，以用於計算該適配光源。
  12. 一種用於確定圖像的光源的設備，包括：存儲器，用於存儲該圖像；以及圖像處理管道，耦接於該存儲器，用於：計算該圖像的一組候選光源中的每一個的指示值，其中每 一個該候選光源由在色度坐標系中的相應的坐標對(p,q)來描述；確定該候選光源的該指示值的閾值；識別具有不大於該閾值的該指示值的該候選光源的子集；以及對於該子集中的所有候選光源，計算該相應的坐標對的加權平均，獲得在該色度坐標系中描述該圖像的該光源的平均坐標對(p avg，q avg)。
  13. 如申請專利範圍第12項所述之設備，其中，當計算該相應的坐標對的該加權平均時，該圖像處理管道進一步用於：分別對相應的p坐標值和相應的q坐標值進行平均，以確定平均p坐標值(p avg)和平均q坐標值(q avg)，其中該平均坐標對(p avg，q avg)在該色度坐標系中描述該圖像的該光源。
  14. 如申請專利範圍第12項所述之設備，其中，該指示值是通過將該圖像投影到垂直於表示候選光源的三色值的向量的投影平面上而產生的投影面積。
  15. 如申請專利範圍第12項所述之設備，其中，該指示值是相鄰像素之間的三色值的總變差，當計算該總變差時，該圖像處理管道進一步用於：計算該三色值的線性變換以獲得三個變換值；計算第一縮放因子和第二縮放因子，該第一縮放因子和該第二縮放因子用於表示該候選光源的兩個色彩比率；通過獲取按該第一縮放因子縮放後的第一變換值與第二變換值之間的差值來構建第一色度圖像； 通過獲取按該第二縮放因子縮放後的第三變換值與該第二變換值之間的差值來構建第二色度圖像；以及通過將該第一色度圖像的絕對梯度大小和該第二色度圖像的絕對梯度大小相加來計算該總變差。
  16. 如申請專利範圍第12項所述之設備，其中，當該指示值中的最小值由不是邊界候選光源之一的候選光源生成時，該閾值被設置為高於該指示值中的該最小值，其中每個該邊界候選光源具有位於該色度坐標系中一個包括該圖像的所有該候選光源的區間或空間的邊界處的p坐標值。
  17. 如申請專利範圍第12項所述之設備，其中，當該指示值中的該最小值由邊界候選光源之一的候選光源產生時，該閾值被設置為該指示值中的該最小值，其中每個該邊界候選光源具有位於該色度坐標系中一個包括該圖像的所有該候選光源的區間或空間的邊界處的p坐標值。
  18. 一種對圖像進行色覺適配的設備，包括：存儲器，用於存儲該圖像；以及圖像處理管道，耦接於該存儲器，用於：計算該圖像的光源，其中該光源由在色度坐標系中的坐標對(p,q)來描述；識別該圖像中景物的亮度級；使用至少部分地根據該適配要求和該圖像中景物的該亮度級推導出的一個或多個適配度，來調整該光源的該坐標對(p,q)，以獲得適配光源；以及將該圖像的顏色適配於該適配光源。
  19. 如申請專利範圍第18項所述之設備，其中，當調整該坐標對時，該圖像處理管道進一步用於：根據用於該亮度級的適配度來縮放該光源的p坐標值；以及將縮放後的該p坐標值添加到縮放(1-該適配度)的倍數的默認光源的p坐標值，以獲取該適配光源的該適配p坐標值。
  20. 如申請專利範圍第19項所述之設備，其中，當調整該坐標對時，該圖像處理管道進一步用於：通過評估該適配p坐標值的函數，來計算該適配光源的適配q坐標值。
  21. 如申請專利範圍第18項所述之設備，其中，當調整該坐標對時，該圖像處理管道進一步用於：根據用於該亮度級的適配度來縮放該光源的q坐標值；以及將縮放後的該q坐標值添加縮放(1-該適配度)的倍數的該默認光源的q坐標值，以獲取該適配光源的適配q坐標值。
  22. 如申請專利範圍第18項所述之設備，其中，當調整該坐標對時，該圖像處理管道進一步用於：基於該適配要求，計算該p坐標值的不同區域的不同適配曲線；以及在計算該圖像的該光源之後，根據該光源的該p坐標值識別該區域之一和該適配曲線之一，以用於計算該適配光源。
TW107104182A 2017-02-06 2018-02-06 確定圖像的光源和對圖像進行色覺適配的方法及設備 TWI649724B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/425,113 2017-02-06
US15/425,113 US10224004B2 (en) 2017-02-06 2017-02-06 Automatic white balance based on surface reflection decomposition
US15/675,221 2017-08-11
US15/675,221 US20180176420A1 (en) 2016-12-20 2017-08-11 Automatic white balance based on surface reflection decomposition and chromatic adaptation

Publications (2)

Publication Number Publication Date
TW201830335A TW201830335A (zh) 2018-08-16
TWI649724B true TWI649724B (zh) 2019-02-01

Family

ID=63239431

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107104182A TWI649724B (zh) 2017-02-06 2018-02-06 確定圖像的光源和對圖像進行色覺適配的方法及設備

Country Status (2)

Country Link
CN (1) CN108462865A (zh)
TW (1) TWI649724B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI766492B (zh) * 2020-12-22 2022-06-01 鴻海精密工業股份有限公司 光源確定方法、裝置、電腦裝置及儲存介質

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544483B (zh) * 2018-12-26 2021-09-24 深圳朗田亩半导体科技有限公司 视频图像亮度、对比度增强方法及装置
WO2020142871A1 (zh) * 2019-01-07 2020-07-16 华为技术有限公司 图像的白平衡处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090180686A1 (en) * 2008-01-16 2009-07-16 Tomer Schwartz Method for chromatic adaptation of images
TW201007132A (en) * 2008-06-25 2010-02-16 Tomtom Int Bv Method and apparatus for trajectory display
TW201602998A (zh) * 2011-05-13 2016-01-16 皮克斯特隆尼斯有限公司 顯示裝置及用於產生圖像於其上的方法
TWI550581B (zh) * 2010-12-17 2016-09-21 杜比實驗室特許公司 用於影像顯示之方法及設備、電腦可讀儲存媒體、及計算裝置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007060118A (ja) * 2005-08-23 2007-03-08 Casio Comput Co Ltd 投影装置及び投影制御方法
WO2009041171A1 (ja) * 2007-09-26 2009-04-02 Toshiba Lighting & Technology Corporation 照明装置
CN101282489B (zh) * 2008-04-24 2010-11-10 北京中星微电子有限公司 一种光源检测设备和方法及图像处理方法
US8497871B2 (en) * 2008-10-21 2013-07-30 Zulch Laboratories, Inc. Color generation using multiple illuminant types
WO2010132237A1 (en) * 2009-05-11 2010-11-18 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
CN101794565B (zh) * 2010-03-31 2013-12-11 青岛海信电器股份有限公司 一种图像显示方法、装置及系统
US8503771B2 (en) * 2010-12-20 2013-08-06 Samsung Techwin Co., Ltd. Method and apparatus for estimating light source
CN102737610B (zh) * 2011-03-31 2015-02-11 青岛海信电器股份有限公司 一种光源亮度调整方法、装置及显示设备
JP6045378B2 (ja) * 2012-05-10 2016-12-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090180686A1 (en) * 2008-01-16 2009-07-16 Tomer Schwartz Method for chromatic adaptation of images
TW201007132A (en) * 2008-06-25 2010-02-16 Tomtom Int Bv Method and apparatus for trajectory display
TWI550581B (zh) * 2010-12-17 2016-09-21 杜比實驗室特許公司 用於影像顯示之方法及設備、電腦可讀儲存媒體、及計算裝置
TW201602998A (zh) * 2011-05-13 2016-01-16 皮克斯特隆尼斯有限公司 顯示裝置及用於產生圖像於其上的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI766492B (zh) * 2020-12-22 2022-06-01 鴻海精密工業股份有限公司 光源確定方法、裝置、電腦裝置及儲存介質

Also Published As

Publication number Publication date
CN108462865A (zh) 2018-08-28
TW201830335A (zh) 2018-08-16

Similar Documents

Publication Publication Date Title
US10535125B2 (en) Dynamic global tone mapping with integrated 3D color look-up table
US11849224B2 (en) Global tone mapping
Afifi et al. When color constancy goes wrong: Correcting improperly white-balanced images
US10542243B2 (en) Method and system of light source estimation for image processing
US9479750B2 (en) Spectral synthesis for image capture device processing
EP2227898B1 (en) Image sensor apparatus and method for scene illuminant estimation
TW201830337A (zh) 對圖像執行自動白平衡的方法和設備
US9342872B2 (en) Color correction parameter computation method, color correction parameter computation device, and image output system
US11277595B2 (en) White balance method for image and terminal device
US9961236B2 (en) 3D color mapping and tuning in an image processing pipeline
TWI649724B (zh) 確定圖像的光源和對圖像進行色覺適配的方法及設備
CN109587466B (zh) 颜色阴影校正的方法和装置
Kao et al. Design considerations of color image processing pipeline for digital cameras
US20180176420A1 (en) Automatic white balance based on surface reflection decomposition and chromatic adaptation
US20180176528A1 (en) Light locus generation for automatic white balance
EP3063931A1 (en) Two-dimensional color transformations for wide gamut workflows in digital cameras
US9036030B2 (en) Color calibration of an image capture device in a way that is adaptive to the scene to be captured
Lam et al. Automatic white balancing using luminance component and standard deviation of RGB components [image preprocessing]
CN115426487B (zh) 色彩校正矩阵调整方法、装置、电子设备及可读存储介质
CN113271450B (zh) 白平衡调整方法、影像处理装置与影像处理系统
Jo et al. Adaptive white point extraction based on dark channel prior for automatic white balance
KR20020088645A (ko) 조명 적응적 컬러 보정 장치 및 그 방법
US10068346B2 (en) Color distance determination
Wang et al. A robust embedded vision system feasible white balance algorithm
CN116389699A (zh) 一种颜色校正方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees