TWI551150B - 電子照相機之自動白平衡之自動化自我訓練之裝置及方法 - Google Patents

電子照相機之自動白平衡之自動化自我訓練之裝置及方法 Download PDF

Info

Publication number
TWI551150B
TWI551150B TW103109185A TW103109185A TWI551150B TW I551150 B TWI551150 B TW I551150B TW 103109185 A TW103109185 A TW 103109185A TW 103109185 A TW103109185 A TW 103109185A TW I551150 B TWI551150 B TW I551150B
Authority
TW
Taiwan
Prior art keywords
white balance
color
electronic camera
automatic white
images
Prior art date
Application number
TW103109185A
Other languages
English (en)
Other versions
TW201436581A (zh
Inventor
劉長猛
Original Assignee
豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 豪威科技股份有限公司 filed Critical 豪威科技股份有限公司
Publication of TW201436581A publication Critical patent/TW201436581A/zh
Application granted granted Critical
Publication of TWI551150B publication Critical patent/TWI551150B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6077Colour balance, e.g. colour cast correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

電子照相機之自動白平衡之自動化自我訓練之裝置及方法
本發明係有關於電子照相機,特定而言係有關於電子照相機之自動白平衡之自動化自我訓練之裝置及方法。
白平衡係為從電子照相機所擷取之影像移除不切實際的色偏之程序,以使這些影像提供一場景之一真實色彩表現。舉例而言,場景中人眼顯現白色之物體係藉由對一影像感測器之初始輸出進行白平衡而呈現白色。人眼非常擅長於不同光源之下判斷什麼是白色的,但影像感測器要這樣做往往有很大困難,且常產生難看的藍色、橘色或綠色色偏。不同的發光體(亦即光源)具有它們獨特的光譜特性。一既定發光體之光譜特性可以其色溫為其代表。一光源之色溫係為將可比較的色調之光放射至光源之一理想的黑體輻射器之溫度。色溫表示白光之相對溫暖或涼爽。當色溫上升時,光能增加。因此,由發光體所放射之光之波長變得更短,亦即,移向可見光譜之藍色部分,且色彩色調變得更冷。
擷取一既定發光體所照明之一場景的影像之影像感測器首先將產生具有受發光體之色溫影響之色彩之影像。因此,許多電子照相機使用自動白平衡(Automatic White Balance,AWB)以依據發光體校正影像感測器之色彩輸出。為了應用AWB,電子照相機必須具有供每個發光體用之AWB參數,常表示為色彩通道之增益。一電子照相機之AWB單元首先決定要使用何種發光體來照明場景。接著,AWB單元應用那個發光體之AWB參數至場景之影像,以提供具有此場景之色彩之更真實表現之一影像。
一般而言,為了產生供電子照相機用之一組AWB參數,電子照相機在表示實際使用中所遭遇的發光體範圍的各種色溫照明條件之下,擷取一灰色物體(例如一特別製作的灰卡)之影像。舉例而言,影像係在四個不同的參考 發光體之下被擷取:一D65光源,其對應至中午日光並具有6504度之色溫;一冷白螢光(CWF)燈管,其具有4230度K之色溫;一TL84螢光燈管,其具有4000 K之色溫;以及光源A(白熾鎢燈),其具有2856 K之色溫。理想上,具有AWB功能之電子照相機之製造商,應為製造的每個電子照相機執行這種校準程序。然而,這種實施方式通常太昂貴。影像感測器工業中之常見作法係在各種照明條件之下校正一個或一小數目之電子照相機,其稱為黃金模組(golden module),然後將所產生之AWB參數組應用到所有其他影像感測器。然而,由於光譜特性之差異(例如,量子效率之光譜特性、彩色濾光片陣列與影像感測器之紅外線截止濾光片),使得感測器間的差異本質上存在。因此,對所有其他影像感測器使用黃金模組AWB參數組會頻繁地導致錯誤。
在一實施例中,一種電子照相機中之自動白平衡之校正方法包含:(a)從在一第一發光體之下電子照相機所擷取之各個複數個現實場景之各個第一複數個影像獲得複數個第一色彩值;(b)調用一關於至少部分的現實場景之一真實色彩值之假設;以及(c)基於真實色彩值與第一色彩值之平均值之間的差異,決定供包含第一發光體之各個複數個發光體用之複數個最終自動白平衡參數。
在一實施例中,一電子照相機裝置包含:(a)一影像感測器,用以擷取現實場景之現實影像;(b)一非揮發性記憶體,具有數個機器可讀取指令,這些指令包含一部分校正的自動白平衡參數組及數個自動白平衡自我訓練指令;以及(c)一處理器,用於依據自我訓練指令處理現實影像以產生一完全校正的自動白平衡參數組,其中完全校正的自動白平衡參數組是電子照相機特有的。
D65、TL84、CWF、A‧‧‧發光體
100‧‧‧例示方案
110‧‧‧電子照相機
120‧‧‧自我訓練模組
130‧‧‧AWB參數組
140‧‧‧使用者
150‧‧‧現實場景
200‧‧‧示意圖
210‧‧‧橫軸線
212‧‧‧縱軸線
220、222、224、226‧‧‧AWB參數
300‧‧‧電子照相機
310‧‧‧影像感測器
320‧‧‧物鏡
330‧‧‧處理器
340‧‧‧記憶體
350‧‧‧(機器可讀取)指令
360‧‧‧資料儲存
380‧‧‧介面
385‧‧‧電源供應部
390‧‧‧外殼
400‧‧‧記憶體
450‧‧‧指令
451‧‧‧(色彩值萃取)指令
452‧‧‧色彩比率計算指令
453‧‧‧色彩比率對AWB參數計算指令
454‧‧‧發光體識別指令
455‧‧‧臉部偵測指令
456‧‧‧(AWB參數轉換)指令
460‧‧‧資料儲存
461‧‧‧影像儲存
462‧‧‧色彩值儲存
463‧‧‧色彩比率儲存
464‧‧‧初始AWB參數組
480‧‧‧假設
481‧‧‧灰色世界假設指令
482‧‧‧通用人臉色調假設指令
500‧‧‧方法
510至560‧‧‧步驟
600‧‧‧示意圖
620、622、624及626‧‧‧AWB參數
700‧‧‧示意圖
722、724及726‧‧‧最終AWB參數
730‧‧‧旋轉
740‧‧‧縮放
770‧‧‧線
800‧‧‧方法
810至840‧‧‧步驟
900‧‧‧方法
910至950‧‧‧步驟
1000‧‧‧示意圖
1010‧‧‧範圍
1100‧‧‧方法
1125至1150‧‧‧步驟
1200‧‧‧方法
1210至1240‧‧‧步驟
圖1顯示依據一實施例之關於包含一自我訓練模組之電子照相機自動化自我訓練之一例示方案100。
圖2係顯示依據一實施例之供複數個例示發光體用之例示AWB參數之示意圖。
圖3顯示依據一實施例之包含一供AWB參數之自動化自我訓練用之模組之一例示電子照相機。
圖4顯示依據一實施例之包含一供AWB參數之自動化自我訓練用之模組之電子照相機之一例示記憶體。
圖5顯示依據一實施例之用以校正一供電子照相機用之AWB參數組之一種例示方法,其經由現實場景取像而部分利用電子照相機之自動化自我訓練。
圖6係顯示依據一實施例之用於例示的複數個發光體之圖5之方法中所執行之一例示轉換之示意圖,其中一基礎AWB參數組係轉換成一初始AWB參數組。
圖7係顯示依據一實施例之用於例示的複數個發光體之圖5之方法中所執行之一例示轉換之示意圖,其中一初始AWB參數組係轉換成一最終AWB參數組。
圖8顯示依據一實施例之用以經由灰卡之取像校正一供參考發光體用之AWB參數之一種例示方法。
圖9顯示依據一實施例之藉由使用一灰色世界假設來執行圖5之方法之自動化自我訓練部分之一種例示方法。
圖10係顯示依據一實施例之用以確認一例示發光體之一種例示方法之示意圖。
圖11顯示依據一實施例之藉由使用一通用人臉色調假設來執行圖5之方法之自動化自我訓練部分之一種例示方法。
圖12顯示依據一實施例之用以經由人臉樣本組之取像校正一供參考發光體用之AWB參數之一種例示方法。
於此揭露的是用以校正一電子照相機之AWB參數之裝置及方法,其部分依據照相機在被一實際使用者初始使用期間之自動化自我訓練。自動化自我訓練完成AWB校準程序以提供一完全校正的AWB功能,同時使製造商免於成本過高的校準花費。AWB校準程序包含至少三個主要步驟。首先,一黃金模組電子照相機係用於產生一基礎AWB參數組,其涵蓋具有一色溫範圍之發光體。基礎AWB參數組係被應用至所有與黃金模組電子照相機相關的電子照相機,舉例而言,所有相同型號之照相機或所有來自相同的生產運轉之照相機。接著,供單一參考發光體(例如D65發光體)用之AWB參數係為了每一個別的電子照相機作校正。在這個步驟之後,照相機被運送給一使用者。最後,供另一 個發光體用之第二AWB參數係在被使用者正常使用期間,經由電子照相機之自動化自我訓練而被校正。在經由自動化自我訓練校準第二AWB參數之後,整組之AWB參數係依據兩個經校正的AWB參數進行轉換。
圖1顯示關於一電子照相機110之自動化自我訓練之一例示方案100。電子照相機包含一自我訓練模組120及一AWB參數組130。使用者擷取數個現實場景150之複數個影像。自我訓練模組120分析現實場景150之影像以更新AWB參數組130從一初始AWB參數組(由電子照相機提供)更新至一最終AWB參數組(用來對自動化自我訓練之後所擷取的影像進行自動白平衡)。在一實施例中,初始AWB參數組係為從一相關的黃金模組電子照相機之校準獲得之基礎AWB參數組。在另一實施例中,初始AWB參數組係為依據製造商所進行之電子照相機110的局部校準而藉由調整基礎AWB參數組所獲得之一AWB參數組,基礎AWB參數組係從一相關的黃金模組電子照相機之校準獲得。
圖2係顯示供複數個例示發光體用之例示AWB參數之示意圖200。示意圖200包含供各個發光體D65、TL84、CWF及A用之AWB參數220、222、224及226。在一實施例中,AWB參數220、222、224及226係為藉由擷取在發光體D65、TL84、CWF及A之下的影像,而從一黃金模組電子照相機之校準獲得之基礎AWB參數。示意圖200將AWB參數220、222、224及226置放在一由橫軸線210及縱軸線212延伸的二維空間中。假設色彩係由一影像感測器所輸出之三個原色分量(例如最常使用於電子照相機中之RGB影像感測器的紅色(R)、綠色(G)及藍色(B))之相對強度所定義。橫軸線210及縱軸線212之每一者表示一色彩比率。由橫軸線210及縱軸線212所延伸的空間中的一點表示一有序對[x,y]之色彩比率。有序對之色彩比率定義一色彩構成。有序對之色彩比率之例子包含[G/B,G/R]、[R*B/G2,B/R]、[log(G/B),log(G/R)]、[log(R*B/G2),log(B/R)]及其導函數。在下文中,假設有序對之色彩比率係為[G/B,G/R]。在不背離本發明之範疇之下,可使用其他有序對之色彩比率,例如以上所述者與其他組之原色。
如由示意圖200中之AWB參數220、222、224及226之散布所得以明瞭,各個發光體D65、TL84、CWF及A具有不同的色彩構成。舉例而言,發光體D65(標示為220)係被移向可見光譜之藍色端,而發光體A(標示為226)係被移向可見光譜之紅色及綠色部分。發光體TL84、CWF及A係比發光體D65 更紅及更不顯現藍色。這顯示出依據照明場景之發光體對電子照相機所擷取之影像進行適當的白平衡之重要性。舉例而言,如果影像未被白平衡,則在發光體A之下所擷取之影像可顯現具有一紅色色偏。對在發光體A之下所擷取之影像進行白平衡,係依據與示意圖200中之發光體A相關的有序對之色彩比率而藉由修正影像之色彩來達成。在有序對係為[G/B,G/R]之上述假設之下,影像之藍色及紅色色彩分量係乘以橫軸線210及縱軸線212之各個色彩比率。藉由依據色彩比率G/B及G/R描述發光體的特徵,示意圖200或其任何等同的圖式或非圖式表現可合宜地提供要用來對此影像進行白平衡之色彩增益。有序對之其他例子(例如[R*B/G2,B/R])將在一簡單的代數操作之後提供相同的色彩增益。
圖3顯示一例示電子照相機300。電子照相機300係為圖1之電子照相機110之一實施例,並包含圖1之自我訓練模組120。電子照相機300包含一影像感測器310,用以藉由一物鏡320擷取形成於其上之影像。電子照相機300更包含一處理器330、一記憶體340及一介面380。處理器330係在通訊上耦接至影像感測器310、記憶體340及介面380。記憶體340包含圖1之AWB參數組130、數個機器可讀取指令350及資料儲存360。記憶體340可包含揮發性及非揮發性記憶體兩者。在某些實施例中,指令350及AWB參數組130係儲存於記憶體340之非揮發性部分中,而資料儲存360之部分係設置在揮發性記憶體中。處理器330依據指令350處理影像感測器310所擷取之影像。電子照相機300更包含一選擇性的電源供應部385及一外殼390,用以分別供電及環境保護電子照相機300之元件。在電子照相機300之自動白平衡之自動化自我訓練期間,影像感測器310所擷取之影像,係依據包含在指令350中之自我訓練指令而由處理器330處理,用以更新AWB參數組130從一最初提供的AWB參數組更新到一最終AWB參數組。
舉例而言,處理器330依據指令350分析所擷取的影像,且基於此將認為適合AWB自我訓練之影像儲存至資料儲存360。當適合AWB自我訓練之一足夠數目之影像已被儲存至資料儲存360時,處理器330依據指令350分析所儲存的影像以決定最終AWB參數組。在這個處理期間,處理器330所產生之暫時數值及結果可被儲存至資料儲存360,或維持在一未顯示於圖3之工作記憶體中。處理器330接著將最終AWB參數組儲存為AWB參數組130。
處理器330、指令350及資料儲存360一起構成圖1之自我訓練 模組120之一實施例。處理器330、指令350及資料儲存360全部可執行其他與AWB自我訓練無關之功能。處理器330可依據指令350對完成自我訓練之後所擷取之影像進行自動白平衡。在使用之一個例子中,在AWB自我訓練期間所擷取之所有影像係儲存至資料儲存360。在完成AWB自我訓練之後,所有經儲存的影像可依據指令350及使用最終AWB參數組130而被處理器330進行自動白平衡。因此,AWB自我訓練期間所擷取之影像經過適當地自動白平衡的版本,可變成對電子照相機300之使用者為可獲得的。
影像感測器310所擷取且選擇性地由處理器330進行白平衡之影像,係可經由介面380輸出至一使用者。介面380可包含例如一顯示器及一有線或無線通訊埠。介面380可進一步用來接收指令及其他來自一外部源(例如一使用者)之資料。
圖4顯示一例示記憶體400,其係為電子照相機300(圖3)之記憶體340之一實施例。記憶體400包含AWB參數組130(圖1及3)、數個指令450以及資料儲存460。指令450係為指令350(圖3)之一實施例。指令450包含數個元件,其中某些元件的作用將於本說明書中隨後被討論。指令450包含色彩值萃取指令451,用以從影像萃取出色彩資訊,譬如表示為如與圖2相關所討論的原色之強度。指令450包含色彩比率計算指令452,用以基於藉由使用色彩值萃取指令451而決定之色彩值計算色彩比率,例如與圖2相關所討論者。指令450包含色彩比率對AWB參數計算指令453,用以從藉由使用色彩比率計算指令452而決定之色彩比率推導出AWB參數,如與圖2相關所討論者。指令450更包含:數個發光體識別指令454,用以確認例如電子照相機300(圖3)之影像感測器310擷取影像時所位處其下之發光體;數個臉部偵測指令455,用以偵測這類影像中的人臉;以及數個AWB參數轉換指令456,用以將由一黃金模組校準或一局部校正、最初提供的AWB參數組所產生的一基礎AWB參數組轉換成一最終AWB參數組。一處理器,例如處理器330(圖3),執行指令451至456。記憶體400更包含基於現實場景之影像而在自動化AWB自我訓練中所利用之數個假設480。假設480可包含灰色世界假設指令481及/或通用人臉色調假設指令482。
資料儲存460係為資料儲存360(圖3)之一實施例。資料儲存460包含影像儲存461、色彩值儲存462及色彩比率儲存463。一處理器,例如圖3之處理器330,可存取所有這些儲存元件。影像儲存461係儲存由一影像感測器 (譬如圖3之影像感測器310)所擷取之影像。色彩值儲存462係儲存依據色彩值萃取指令451由例如圖3之處理器330所產生之色彩值。色彩比率儲存463係用來儲存依據色彩比率計算指令452由例如圖3之處理器330所產生之色彩比率。
在某些實施例中,資料儲存460更包含一初始AWB參數組464,其係為一局部校正的AWB參數組,局部校正的AWB參數組不是由製造商隨電子照相機(例如電子照相機300(圖3))提供,就是從製造商隨電子照相機提供之資訊中推導出。在這類實施例中,AWB參數組130係為經由一相關的黃金模組電子照相機之校準所獲得之基礎AWB參數組。依據AWB參數轉換指令456,初始AWB參數組464可基於基礎AWB參數組130及製造商提供儲存於記憶體400中的資訊,而譬如由處理器330(圖3)產生。在其他實施例中,具有記憶體400之電子照相機例如電子照相機300(圖3)係由製造商提供且伴隨有AWB參數組130,其係為從電子照相機之一局部校準所產生的初始AWB參數組。於此情況下,初始AWB參數組464是不需要的。
圖5顯示用以經由現實場景之取像利用電子照相機之自動化自我訓練來校正供電子照相機用之AWB參數組之一種例示方法500。自動化自我訓練可在電子照相機之正常使用期間由一使用者所執行,並完成一由照相機製造商所執行之局部校準。方法500係被實施在譬如圖1之電子照相機110或圖3之電子照相機300中。
在步驟510中,一基礎AWB參數組係從在數個發光體之下的一相關的黃金模組電子照相機之校準獲得。圖2之示意圖200顯示一例示的基礎AWB參數組,其具有供四個個別的發光體D65、TL84、CWF及A用之四個AWB參數220、222、224及226。在一例子中,電子照相機300(圖3)之製造商將基礎AWB參數組儲存至電子照相機300以作為AWB參數組130(圖1及3)。電子照相機300之處理器330接著可依需要從記憶體340取得AWB參數組130。
在步驟520中,電子照相機在一參考發光體之下擷取影像,其中參考發光體係為用於產生在步驟510中所獲得之基礎AWB參數組之數個發光體中之其中一者。舉例而言,在將電子照相機300(圖3)運送給一使用者之前,它的製造商藉由使用電子照相機300在D65發光體之下擷取複數個影像。在步驟530中,分析在步驟520中所擷取之影像,以決定供參考發光體用之AWB參數, 其中AWB參數係專為電子照相機(例如電子照相機300(圖3))而校正。
在步驟540中,步驟510中所獲得之基礎AWB參數組係轉換成一初始AWB參數組,以使供參考發光體用之初始AWB參數係為在步驟530中所獲得之那個AWB參數。在一實施例中,步驟540係由製造商執行,且所產生之初始AWB參數組係儲存至電子照相機(例如電子照相機300(圖3))以作為例如AWB參數組130(圖1及3)。在另一實施例中,在步驟530中所產生之供參考發光體用的初始AWB參數係儲存至電子照相機,例如儲存至電子照相機300(圖3)之記憶體340(圖3)。於本實施例中,步驟510中所獲得之基礎AWB參數組亦儲存至電子照相機,譬如儲存至電子照相機300(圖3)之AWB參數組130(圖1及3)。基礎AWB參數組到初始AWB參數組之轉換係接著在電子照相機之機板上被執行。舉例而言,具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300(圖3)之處理器330(圖3),係依據AWB參數轉換指令456執行AWB參數組130之轉換。處理器330(圖3)然後將所產生之AWB參數組儲存至記憶體400(圖4)以作為初始AWB參數組464(圖4)。
在步驟550中,現實場景之影像係藉由使用電子照相機而被擷取。步驟550譬如係由一使用者執行,該使用者使用具有被實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300(圖3)擷取現實場景之影像。處理器330(圖3)接收來自影像感測器310(圖3)之現實影像,且不是將現實影像儲存至影像儲存461(圖4),就是將它們維持在工作記憶體中以供在後續步驟555中之進一步處理。在步驟555中,電子照相機分析步驟550中所擷取之現實影像。在一既定、第一發光體之下所擷取之現實影像,係用於校正供第一發光體用之AWB參數。第一發光體係為用於產生在步驟510中所獲得之基礎AWB參數組之數個發光體中之其中一者,或一實質上類似於其之發光體。第一發光體係與步驟530中所使用之參考發光體不同。步驟555譬如是由具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300(圖3)之處理器330(圖3)執行。處理器330(圖3)分析從影像感測器310(圖3)所接收或從影像儲存461(圖4)取得之影像。接著,處理器330(圖3)依據發光體識別指令454(圖4)分析現實影像,並選擇在例如發光體A之下所擷取之現實影像,以供依據指令450(圖4)進一步的處理,以決定供發光體A用之校正的AWB參數。步驟550及555可與步驟540同時或依順序被執行。
在步驟560中,在步驟540中所產生之初始AWB參數組係依據供第一發光體用之AWB參數在步驟555中所產生之校準而進一步被轉換。這會產生專為這種特定電子照相機校正之最終AWB參數組。最終AWB參數組包含分別在步驟540及555中所產生之供參考發光體及第一發光體用之校正的AWB參數。步驟560譬如是由具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300(圖3)之處理器330(圖3)執行。處理器330(圖3)從AWB參數組130(圖1及3)或初始AWB參數組464取得初始AWB參數組。然後,處理器330(圖3)依據AWB參數轉換指令456(圖4)轉換初始AWB參數組。
步驟550、555及560構成供電子照相機用之AWB參數校準之自動化自我訓練部分。
圖6係顯示用於例示的複數個發光體之方法500之步驟540(圖5)中所執行之一例示轉換之示意圖600。示意圖600顯示在步驟510(圖5)中所獲得之基礎AWB參數之轉換,以形成在步驟540(圖5)中之初始AWB參數組,其中轉換係在如與圖2相關所討論的色彩比率參數空間中執行。示意圖600有關於圖2之示意圖200,其中示意圖200顯示基礎AWB參數組。步驟530(圖5)提供一AWB參數給專為討論中的電子照相機所校正之參考發光體。在示意圖600中,參考發光體被假設成是D65發光體。在步驟540(圖5)中,基礎AWB參數組係被轉移,以將供發光體D65用之基礎AWB參數之位置(標示為220)改變至在步驟530(圖5)中所獲得之供發光體D65用之特別校正的AWB參數之位置(標示為620)。這會導致一初始AWB參數組,其由供D65發光體用之特別校正的AWB參數620以及供各個發光體TL84、CWF及A用之經轉移的AWB參數622、624及626所構成。
圖7係顯示用於例示的複數個發光體之方法500之步驟560(圖5)中所執行之一例示轉換之示意圖700。示意圖700係有關於示意圖600(圖6),其中圖6之AWB參數620、622、624及626構成初始AWB參數組。步驟560(圖5)將初始AWB參數轉換成一最終AWB參數組,其包含特別校正的AWB參數620及一供步驟555(圖5)中所產生之發光體A用之特別校正的AWB參數726。未使用討論中的電子照相機特別校正之剩下的AWB參數係因此被轉換。在示意圖600所示之非限制實例中,初始AWB參數組係藉由一旋轉730並跟隨著一縮放740而被轉換。旋轉730繞著一與特別校正的AWB參數620一致的旋轉軸線 旋轉初始AWB參數組。縮放740沿著線770按比例縮放經旋轉的參數組,以使AWB參數620未受縮放影響,且初始AWB參數626結束於特別校正的AWB參數726之位置。因此,初始AWB參數622及624係被旋轉並按比例縮放,以產生最終AWB參數722及724。結果係為一最終AWB參數組,其由供各個發光體D65、TL84、CWF及A用之最終AWB參數620、722、724及726所構成。
在某些實施例中,如示意圖600(圖6)及700(圖7)之例子所顯示,在方法500之步驟540及560(圖5)中所執行之轉換,係藉由在二維色彩比率空間中將矩陣操作應用至一AWB參數組而執行。方法500之步驟540及560(圖5)可藉由各別使用兩個不同的矩陣操作而執行,其中一矩陣包含步驟540(圖5)之轉換,而另一矩陣包含步驟560(圖5)之轉換。或者,方法500之步驟540及560(圖5)之轉換係利用單一矩陣操作而執行,其中所應用之矩陣係為與步驟540(圖5)及560(圖5)之轉換相關的兩個不同矩陣之乘積。
在一實施例中,在步驟540中所產生之初始AWB參數組係進一步被轉移,以將供參考發光體用之AWB參數置放於執行轉換之座標系統之原點。參見示意圖600(圖6)之例子,AWB參數620、622、624及626係被轉移,以使AWB參數620係位於原點。這簡化了在步驟560(圖5)中所執行之初始AWB參數組之後續操作。
用於電子照相機之完整的AWB校準程序係如同一基礎AWB參數組之照相機特定轉換。供參考發光體用之AWB參數之特定校準(圖5之步驟530)係提供一第一錨點,而經由自動化自我訓練所獲得之另一AWB參數之特定校準(圖5之步驟555)係提供一第二錨點。在某些實施例中,於AWB參數之特定校準所使用之兩個發光體係位於色溫範圍之相反極端。這可改善最終AWB參數組之準確度。
圖8顯示用於執行方法500之步驟520及530(圖5)之一種例示方法800。在屬於步驟520(圖5)之一實施例之步驟810中,影像係由一參考發光體所照明之一灰卡之電子照相機所擷取。舉例而言,圖3之電子照相機300擷取由D65發光體所照明之一灰卡之影像。在步驟820中,決定灰卡之每個影像之色彩。於一實施例中,在電子照相機之機板上的功能執行步驟820。舉例而言,具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300(圖3)之處理器330,係依據色彩值萃取指令451(圖4)處理所擷取的影像。在另一實施例中,步 驟820係藉由使用電子照相機(例如,電子照相機300(圖3))外部之功能(譬如於製造工廠之設備)而執行。步驟820可在電子照相機之完全裝配之前執行。在步驟830中,步驟820中所獲得之色彩係予以平均,以決定由參考發光體所照明之灰卡之影像的一平均色彩。步驟830可在電子照相機(例如,電子照相機300(圖3))外部執行。或者,步驟830可依據指令350(圖3)而譬如由電子照相機300之處理器330(圖3)在電子照相機之機板上執行。
步驟830中所獲得之平均色彩可以與灰卡之實際色彩不同。舉例而言,平均色彩可被移向紅色或藍色。在步驟840中,供參考發光體用之AWB參數係被校正,以使校正的AWB參數在被應用至步驟830中所決定之平均色彩時,會產生灰色色彩,亦即,灰卡之實際色彩。於一實施例中,步驟840係在電子照相機之機板上執行。舉例而言,電子照相機300之處理器330(圖3)依據指令350(圖3)執行步驟840。在另一實施例中,步驟840係在電子照相機外部執行。
方法800說明步驟810、820及830中的影像處理,步驟810處理之所有影像,接著步驟820處理所有影像,接著步驟830處理所有影像。在不背離本發明之範疇之下,影像反而可連續地由步驟810、820及830中之兩個後續步驟,或由步驟810、820及830全部進行處理。
圖9顯示用於執行方法500之步驟555(圖5)之一種例示方法900。方法900係為基於現實影像之自動化自我訓練之一部分,並利用所謂的灰色世界假設。灰色世界假設係敘述給定一具有足夠的色彩變化量之影像,其原色分量(例如R、G及B分量)之平均值應平均為一共同的灰階值。通常,這種假設係為一合理的近似法,乃因任何既定現實場景通常具有很多色彩變化。然而,單一現實場景可具有一並未平均為一灰階值之色彩構成,譬如主要由藍天所構成之場景。然而,在電子照相機之正常使用期間,照相機將可能會擷取種類繁多的現實場景之影像,以使複數個所擷取的影像之平均色彩的確是灰色。
在步驟910中,為每個電子照相機所擷取之現實影像決定一色彩值。在一實施例中,一現實影像之色彩值係為影像之平均色彩。步驟910譬如是由具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300(圖3)之處理器330執行。處理器330(圖3)不是接收來自影像感測器310(圖3)之影像,就是從影像儲存461(圖4)取得影像,並依據色彩值萃取指令451(圖4)處理這些影 像。在步驟920中,評估在步驟910中所獲得之色彩值,以確認在第一發光體之下所擷取之現實影像。在一實施例中,具有在第一發光體所照明之灰卡之色彩值之一特定範圍內之相關色彩值之現實影像,被視為是在第一發光體之下擷取。步驟920譬如是由具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300(圖3)之處理器330執行。處理器330(圖3)從色彩值儲存462(圖4)取得色彩值,並依據發光體識別指令454(圖4)處理這些色彩值,用以確認在例如發光體A之下所擷取之現實影像。接著,處理器330(圖3)將在第一發光體之下所擷取之現實影像或其紀錄儲存至影像儲存461(圖4),及/或將與其相關的色彩值儲存至色彩值儲存462(圖4)。
圖10係顯示用於一例示的第一發光體(示意圖200之發光體A(圖2))之方法900之步驟920(圖9)之示意圖1000。除了進一步顯示靠近AWB參數226之色彩值之一範圍1010以外,示意圖1000係與圖2之示意圖200相同,靠近AWB參數226之色彩值係被解釋成源自在發光體A之下所擷取之現實影像。
回到圖9,在步驟930中,決定在第一發光體之下所擷取之現實影像之平均色彩值,其中貢獻平均值之現實影像係為步驟920中所識別的那些影像。步驟920譬如係由具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300(圖3)之處理器330執行。處理器330(圖3)從色彩值儲存462(圖4)取得適當的色彩值,並依據色彩值萃取指令451(圖4)中之指令計算平均色彩值。
步驟940調用上述所討論之灰色世界假設。舉例而言,具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300(圖3)之處理器330調用灰色世界假設。處理器330(圖3)從記憶體400之指令450取得灰色世界假設指令481。在步驟950中,藉由使用在步驟940中所調用之灰色世界假設,來決定供第一發光體用之照相機專用校正AWB參數。依據灰色世界假設,決定供第一發光體用之照相機專用校正AWB參數,以使AWB參數在被應用至在第一發光體之下所擷取之現實影像時,產生屬於灰色之現實影像之一平均色彩。在某些實施例中,在步驟930中所獲得之平均色彩值係以色彩比率表示。舉例而言,平均色彩比率係表示為一有序對之色彩比率,其定義三原色分量之相對強度,如與圖2相關所討論者。接著,可從有序對之色彩比率計算出照相機專用校正AWB參數。步驟950譬如係由具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300(圖3)之處理器330執行。處理器330(圖3)從色彩值儲存462(圖 4)取得色彩值,依據色彩比率計算指令452(圖4)中之指令導出色彩比率,並將色彩比率儲存至色彩比率儲存463(圖4)。接著,處理器330(圖3)依據色彩比率對AWB參數計算指令453(圖4)處理儲存於色彩比率儲存463(圖4)中之色彩比率,以產生供第一發光體用之照相機專用校正AWB參數。
方法900說明步驟910及920中之影像處理,步驟910處理所有影像,接著是步驟920處理所有影像。在一實施例中,電子照相機(譬如電子照相機300(圖3))係預先被設定組態,以在執行方法900之前擷取某個數目(譬如100或1000)之現實影像。在不背離本發明之範疇之下,現實影像反而可連續地由步驟910及920所處理,而不是首先對所有現實影像執行步驟910,然後對所有現實影像執行步驟920。這可被延伸至步驟550(圖5)、步驟910及步驟920之順序性能,其允許電子照相機(例如圖3之電子照相機300)連續評估方法900之後續步驟之性能可得到的可用資料之數量。此外,步驟550(圖5)以及步驟910及920中的影像之循序擷取及處理係允許減少儲存需求。只有從影像萃取出之色彩值之儲存係為自我訓練所需要,而不是儲存全部影像。在一例子中,在步驟550(圖5)中,具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300(圖3)擷取一影像。處理器330(圖3)執行這個影像之步驟910及920。如果影像係在第一發光體之下擷取,則處理器330(圖3)依據色彩值萃取指令451(圖4)決定影像之一色彩值。處理器330(圖3)將此色彩值儲存至色彩值儲存462(圖4)。
在一實施例中,在步驟920中識別某個數目(譬如50或500)之現實影像之後,電子照相機(例如圖3之電子照相機300)立即預先被設定組態以繼續至步驟930。在某些實施例中,自我訓練係逐漸地發生。因為電子照相機所擷取之影像之數目增加,所以步驟550(圖5)、步驟910及920以及步驟560(圖5)係執行多次。因為灰色世界假設之準確度隨著電子照相機所取像之不同場景之數目增加,所以這導致一逐漸改善的最終AWB參數組。在進一步的實施例中,由步驟550(圖5)、步驟910及920以及步驟560(圖5)所構成之自我訓練,係在整個電子照相機之壽命期間定期地被重複。
圖11顯示用於執行方法500之步驟555(圖5)之一種例示方法1100。方法900係為基於現實影像之自動化自我訓練之一部分並利用所有人臉,不管人種或族群為何,本質上具有相同的面部色調。色調係有關於色彩感覺並表示一色彩係類似於一組原色或與一組原色不同之程度。色調可以例如R、G及 B之原色分量表示,如以Preucil之方程式所說明:
除了方法1100包含確認現實影像中之人臉,並利用一通用人臉色調之假設以導出一AWB參數以外,方法1100係類似於利用灰色世界假設之方法900(圖9)。
方法1100之前兩個步驟係為方法900之步驟910及920(圖9)。在執行步驟910及920之後,方法1100繼續至步驟1125。在使用一臉部偵測演算法時,步驟1125選擇在步驟920中被識別為在第一發光體之下所擷取之現實影像子集合,其更包含至少一人臉。步驟1125譬如是由具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300(圖3)之處理器330執行。處理器330(圖3)從影像儲存461(圖4)取得在步驟920中所識別之現實影像,並依據臉部偵測指令455(圖4)處理現實影像。處理器330(圖3)接著將在第一發光體之下所擷取且更包含至少一人臉之現實影像或這些影像之紀錄儲存至影像儲存461(圖4)。在步驟1130中,在步驟1125中所選擇之現實影像中人臉之平均色彩,係依據色彩值萃取指令451而譬如由具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300之處理器330(圖3)而決定。
步驟1140調用上述所討論之通用人臉色調假設。舉例而言,通用人臉色調假設係由具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300(圖3)之處理器330所調用。處理器330(圖3)從記憶體400之指令450取得通用人臉色調假設指令482。在步驟1150中,藉由使用在步驟1140中所調用之通用人臉色調假設,來決定供第一發光體用之照相機專用校正AWB參數。依據通用人臉色調假設,設定供第一發光體用之照相機專用校正AWB參數,使得在被應用至在第一發光體之下所擷取且包含至少一人臉之現實影像時,產生屬於通用人臉色調之現實影像中的人臉之一平均色調。注意人臉之平均色調可藉由使用上述所討論的Preucil之方程式而從平均色彩萃取出。在某些實施例中,在步驟1130中所獲得之平均色彩係以色彩比率表示。舉例而言,平均色彩比率係表示為一有序對之色彩比率,其定義三原色分量之相對強度,如與圖2相關所討論者。接著,可從有序對之色彩比率計算出照相機專用校正AWB參數。步驟1150譬如是由具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機 300(圖3)之處理器330執行。處理器330(圖3)從色彩值儲存462(圖4)取得色彩,依據色彩比率計算指令452(圖4)導出色彩比率,並將色彩比率儲存至色彩比率儲存463(圖4)。接著,處理器330(圖3)依據色彩比率對AWB參數計算指令453(圖4)處理儲存於色彩比率儲存463(圖4)中之色彩比率,以產生供第一發光體用之照相機專用校正AWB參數。
方法1100說明步驟910、920及1125中之影像處理,步驟910處理所有影像,接著是步驟920處理所有影像,接著步驟1125處理所有影像。在一實施例中,電子照相機(例如圖3之電子照相機300)係預先被設定組態,以在執行方法1100之前擷取某個數目(譬如100或1000)之現實影像。在不背離本發明之範疇之下,現實影像可連續地被步驟910、920及1125之兩個後續步驟,或步驟910、920及1125全部所處理,而不是經由步驟910、920及1125傳播全組之現實影像作為一群組。這可延伸至步驟550(圖5)、步驟910、步驟920以及步驟1125之順序性能,其允許電子照相機(例如圖3之電子照相機300)連續評估方法1100之後續步驟之性能可得到的可用資料之數量。此外,步驟550(圖5)以及步驟910、920及1125中的影像之循序擷取及處理係允許減少儲存需求。只有從影像萃取出之色彩值之儲存係為自我訓練所需要,而不是儲存全部影像。在一例子中,在步驟550(圖5)中,具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300(圖3)擷取一影像。處理器330(圖3)接著針對這個影像執行步驟910及920,且如果適合的話,執行步驟1125。如果影像係在第一發光體之下擷取且包含至少一人臉,則處理器330(圖3)依據色彩值萃取指令451(圖4)萃取出一代表影像中之人臉之色調之色彩值。處理器330(圖3)將這個色彩值儲存至色彩值儲存462(圖4)。
在一實施例中,當某個數目(譬如50或500)之現實影像已在步驟1125中被識別時,電子照相機(例如,圖3之電子照相機300)係預先被設定組態以繼續至步驟1130。在某些實施例中,自我訓練係逐漸地發生。因為電子照相機所擷取之影像之數目增加,所以步驟550(圖5)、步驟910、920及1125以及步驟560(圖5)被執行多次。因為電子照相機所取像之不同場景之數目增加,所以這可導致一逐漸改善的最終AWB參數組。在進一步的實施例中,由步驟550(圖5)、步驟910、920及1125以及步驟560(圖5)所構成之自我訓練係在整個電子照相機之壽命期間定期地被重複。
與基於灰色世界假設之自我訓練相比較而言,基於通用人臉色調假設之自我訓練可能需要較小數目之現實影像,以提供供第一發光體用之AWB參數之精確校準。此乃因為每一個人的人臉具有非常接近通用人臉色調之色調,雖然其很可能需要大批現實影像以達到一灰色之平均色彩構成。另一方面,電子照相機(例如,圖3之電子照相機300)可由一使用者採用主要用來擷取並未包含人臉之現實場景之影像。在某些實施例中,電子照相機(例如,圖3之電子照相機300)包含灰色世界假設指令與通用人臉色調假設指令兩者,並將依據所擷取之影像之類型選擇兩個假設之任一者。
圖12顯示用於執行方法500之步驟520及530(圖5)之一種例示方法1200。方法1200係替代圖8之方法800。方法1200利用通用人臉色調之假設以校正供參考發光體用之AWB參數。在步驟1210中,電子照相機擷取由一參考發光體所照明之一組樣本人臉、實際的臉或其複製之影像。舉例而言,圖3之電子照相機300擷取由D65發光體所照明之一組樣本人臉之影像。在步驟1220中,決定一樣本人臉之每個影像之色彩。於一實施例中,在電子照相機之機板上的功能執行步驟1220。舉例而言,具有實施為記憶體340(圖3)之記憶體400(圖4)之電子照相機300之處理器330(圖3),係依據臉部偵測指令455(圖4)處理所擷取的影像以將人臉定位在影像中。處理器330(圖3)接著依據色彩值萃取指令451(圖4)處理與一人臉相關的影像部分。在另一實施例中,步驟1220係藉由使用電子照相機(例如,電子照相機300(圖3))外部之功能(舉例而言於製造工廠之設備)而執行。步驟1220可在完全裝配電子照相機之前執行。在步驟1230中,步驟1220中所獲得之色彩係予以平均,以決定在參考發光體之下所擷取之影像中的人臉之一平均色彩。步驟1230可在電子照相機(例如,電子照相機300(圖3))外部執行。或者,步驟1230可依據指令350(圖3)而譬如由電子照相機300之處理器330(圖3)在電子照相機之機板上執行。
步驟1230中所獲得之平均色彩可表示一不同於通用人臉色調之色調。舉例而言,與人臉的色調相比較而言,色調可被移向紅色或藍色。在步驟1240中,校正供參考發光體用之AWB參數,以使校正的AWB參數在被應用至步驟1230中所決定之平均色彩時,產生一代表通用人臉色調之色彩。於一實施例中,步驟1240係在電子照相機之機板上執行。舉例而言,電子照相機300之處理器330(圖3)依據指令350(圖3)執行步驟1240。在另一實施例中,步驟1240 係在電子照相機外部執行。
方法1200說明步驟1210及1220中的影像處理,步驟1210處理所有影像,接著步驟1220處理所有影像。在不背離本發明之範疇之下,影像反而可連續地由步驟1210及1220所處理。
特徵的組合
在不背離本發明之範疇之下,上述特徵與以下所主張的那些特徵可以各種方式作結合。舉例而言,將領會者為,於此所說明之電子照相機中的自動白平衡之自動化自我訓練之一個裝置或方法之實施態樣,係可合併或交換於此所說明之電子照相機中的自動白平衡之自動化自我訓練之另一裝置或方法之特徵。下述例子說明上述實施例之可能、非限制性的組合。應清楚得知者為,在不背離本發明之精神與範疇之下,可針對本文之方法及裝置做出許多其他改變及修改。
(A)一種電子照相機中之自動白平衡之校正方法,可包含:(i)從在一第一發光體之下上述電子照相機所擷取之各個複數個現實場景之各個第一複數個影像獲得複數個第一色彩值;(ii)調用關於至少部分的該等現實場景之一真實色彩值之假設;及(iii)基於在上述真實色彩值與該等第一色彩值之平均值之間的差異,決定複數個最終自動白平衡參數。
(B)如(A)所表示之方法,複數個最終自動白平衡參數可與包含上述第一發光體之各個複數個發光體相關聯。
(C)如(A)及(B)所表示之方法,複數個最終自動白平衡參數可包含供上述第一發光體用之一最終第一自動白平衡參數。
(D)如(C)所表示之方法,上述決定步驟可包含基於上述真實色彩值與該等第一色彩值之平均值之間的差異,決定上述最終第一自動白平衡參數。
(E)如(C)及(D)所表示之方法,可更包含轉換包含供上述第一發光體用之一初始第一自動白平衡參數之複數個初始自動白平衡參數,用以產生上述複數個最終自動白平衡參數,其中上述初始第一自動白平衡參數係轉換成上述最終第一自動白平衡參數。
(F)如(A)至(E)所表示之方法,上述獲得步驟可包含從數個現實場景之上述電子照相機所擷取之一超集合的影像中選擇上述第一複數個影像,其中上述第一複數個影像中之每個影像係在上述第一發光體之下所擷取。
(G)如(A)至(F)所表示之方法,該等第一色彩值之每一者可為上述各個影像之一平均色彩。
(H)如(G)所表示之方法,上述真實色彩值可為上述複數個現實場景之一平均色彩,上述平均色彩係為灰色。
(I)如(A)至(F)所表示之方法,上述第一複數個影像之每一者可包含至少一人臉,上述等第一色彩值之每一者可定義上述至少一人臉之一平均色調。
(J)如(I)所表示之方法,上述真實色彩值可為上述複數個現實場景中之人臉之一平均色調,上述平均色調係為一通用人臉色調。
(K)如(I)及(J)所表示之方法,上述獲得步驟可包含從數個現實場景之上述電子照相機所擷取之一超集合的影像中選擇上述第一複數個影像,其中上述第一複數個影像中之每個影像係在上述第一發光體之下所擷取並包含至少一人臉。
(L)如(K)所表示之方法,上述獲得步驟可更包含將一臉部偵測常式應用至上述超集合的影像。
(M)如(E)至(L)所表示之方法,該等第一影像之每一者可具有由一第一、第二及第三原色所定義之色彩,上述轉換步驟係在由一有序對之一第一色彩比率及一第二色彩比率所延伸之一二維空間中執行,其中上述第一與第二色彩比率一起定義上述第一、第二及第三原色之該等相對值。
(N)如(M)所表示之方法,上述轉換步驟可包含旋轉並按比例縮放在上述二維空間之內的上述初始白平衡參數組。
(O)如(M)及(N)所表示之方法,上述有序對可為[第二原色/第三原色,第二原色/第一原色]、[第一原色*第三原色/第二原色^2,第三原色/第一原色]、[Log(第二原色/第三原色),Log(第二原色/第一原色)]、[Log(第一原色*第三原色/第二原色^2),Log(第三原色/第一原色)],或其導函數。
(P)如(C)至(O)所表示之方法,上述複數個初始自動白平衡參數可包含供一第二發光體用之一初始第二自動白平衡參數,上述方法可更包含藉由下述步驟來決定上述複數個初始自動白平衡參數:(i)獲得包含供上述第二發光體用之一基礎第二自動白平衡參數之複數個基礎自動白平衡參數;(ii)校正上述基礎第二自動白平衡參數以產生其校正值;及(iii)轉換上述基礎自動白平衡參數 組以產生上述初始自動白平衡參數組,其中上述初始第二自動白平衡參數係為上述校正值。
(Q)如(P)所表示之方法,上述校正步驟可包含由上述電子照相機擷取在上述第二發光體之下的一或多個場景之一第二複數個影像,使得上述校正值在被應用以白平衡上述第二複數個影像時,產生屬於灰色之上述第二複數個影像之一平均色彩。
(R)如(P)所表示之方法,上述校正步驟可包含由上述電子照相機擷取在上述第二發光體之下的一或多個場景之一第二複數個影像,其中上述一或多個場景之每一者包含一人臉,上述校正值在被應用以白平衡上述第二複數個影像時,產生屬於一通用人臉色調之上述人臉之一平均色調。
(S)如(P)至(R)所表示之方法,上述複數個基礎自動白平衡參數可由一第二電子照相機所擷取之數個影像所決定。
(T)一種電子照相機裝置,可包含:(i)一影像感測器,用以擷取數個現實場景之數個現實影像;(ii)一非揮發性記憶體,包含數個機器可讀取指令,該等指令包含一部分校正的自動白平衡參數組及數個自動白平衡自我訓練指令;及(iii)一處理器,用於依據該等自我訓練指令處理該等現實影像以產生一完全校正的自動白平衡參數組,其中上述完全校正的自動白平衡參數組係為上述電子照相機裝置特有的。
(U)如(T)所表示之裝置,該等自我訓練指令可包含關於該等現實場景之一假設。
(V)如(U)所表示之裝置,上述假設可包含複數個該等現實場景之上述平均色彩係為灰色之一假設。
(W)如(V)所表示之裝置,上述假設可包含數個人臉之上述色調係為一通用人臉色調之一假設。
(X)如(T)至(W)所表示之裝置,該等自我訓練指令可包含數個照明識別指令,當上述照明識別指令由上述處理器執行時,會確認在一第一發光體之下所擷取之一子集合之該等現實影像。
(Y)如(X)所表示之裝置,數個自動白平衡參數轉換指令,當上述自動白平衡參數轉換指令由上述處理器執行時,會基於藉由使用該等照明識別指令所識別之該等影像之分析,將一部分校正的自動白平衡參數組轉換成一完 全校正的自動白平衡參數組。
(Z)如(T)至(Y)所表示之裝置,該等自我訓練指令可更包含數個臉部偵測指令,當上述臉部偵測指令由上述處理器執行時,會確認數個現實影像中之數個人臉。
在未脫離本發明之範疇下,可以對上述方法及裝置進行修改或變更。應注意者為,在以上說明書所述及後附圖式中所顯示應僅為舉例性,而非為限制性者。後附之申請專利範圍係可涵蓋所述之一般及特定特徵以及本發明之方法及裝置之範圍的所有陳述,而本發明之方法及裝置的範圍中的所有陳述在文義上皆應落於申請專利範圍之範圍。
500‧‧‧方法
510至560‧‧‧步驟

Claims (19)

  1. 一種電子照相機中之自動白平衡之校正方法,包含:從在一第一發光體之下該電子照相機所擷取之各個複數個現實場景之各個第一複數個影像獲得複數個第一色彩值,該電子照相機包含複數個初始自動白平衡參數,該複數個初始自動白平衡參數僅具有一個預先校正自動白平衡參數,該預先校正自動白平衡參數係與一參考發光體相關聯,該參考發光體不同於該第一發光體;調用一關於至少部分的該等現實場景之一真實色彩值之假設;及基於該真實色彩值、該等第一色彩值之平均值及該初始自動白平衡參數,決定供各個複數個發光體用之複數個最終自動白平衡參數,該複數個發光體包含該第一發光體及該參考發光體。
  2. 如申請專利範圍第1項所述之電子照相機中之自動白平衡之校正方法,其中該複數個最終自動白平衡參數包含供該第一發光體用之一最終第一自動白平衡參數,該決定步驟包含:基於該真實色彩值與該等第一色彩值之平均值之間的差異,決定該最終第一自動白平衡參數;以及轉換該複數個初始自動白平衡參數,用以產生該複數個最終自動白平衡參數,該複數個初始自動白平衡參數包含供該第一發光體用之一初始第一自動白平衡參數,該初始第一自動白平衡參數係轉換成該最終第一自動白平衡參數。
  3. 如申請專利範圍第1項所述之電子照相機中之自動白平衡之校正方法,其中該獲得步驟包含:從數個現實場景之該電子照相機所擷取之一超集合的影像中選擇該第一複數個影像,該第一複數個影像中之每個影像係在該第一發光體之下所擷取。
  4. 如申請專利範圍第1項所述之電子照相機中之自動白平衡之校正方法,其中:該等第一色彩值之每一者係為該各個影像之一平均色彩;及該真實色彩值係為該複數個現實場景之一平均色彩,該假設是該平均色彩係為灰色。
  5. 如申請專利範圍第1項所述之電子照相機中之自動白平衡之校正方法,其中:該第一複數個影像之每一者包含至少一人臉;該等第一色彩值之每一者定義該至少一人臉之一平均色調;及該真實色彩值係為該複數個現實場景中之人臉之一平均色調,該假設是該平均色調係為一通用人臉色調。
  6. 如申請專利範圍第5項所述之電子照相機中之自動白平衡之校正方法,其中:該獲得步驟包含從數個現實場景之該電子照相機所擷取之一超集合的影像中選擇該第一複數個影像,該第一複數個影像中之每個影像係在該第一發光體之下所擷取並包含至少一人臉。
  7. 如申請專利範圍第6項所述之電子照相機中之自動白平衡之校正方法,其中該獲得步驟更包含將一臉部偵測常式應用至該超集合的影像。
  8. 如申請專利範圍第2項所述之電子照相機中之自動白平衡之校正方法,其中:該等第一影像之每一者具有由一第一原色、一第二原色及一第三原色所定義之色彩;及該轉換步驟係在由一有序對之一第一色彩比率及一第二色彩比率所延伸之一二維空間中執行,該第一色彩比率與該第二色彩比率一起定義該第一原 色、該第二原色及該第三原色之相對值。
  9. 如申請專利範圍第8項所述之電子照相機中之自動白平衡之校正方法,其中該轉換步驟包含:旋轉並按比例縮放在該二維空間之內的該初始白平衡參數組。
  10. 如申請專利範圍第8項所述之電子照相機中之自動白平衡之校正方法,其中該有序對係為[第二原色/第三原色,第二原色/第一原色]、[第一原色*第三原色/(第二原色)^2,第三原色/第一原色]、[Log(第二原色/第三原色),Log(第二原色/第一原色)]、[Log(第一原色*第三原色/(第二原色)^2),Log(第三原色/第一原色)],或其導函數。
  11. 如申請專利範圍第2項所述之電子照相機中之自動白平衡之校正方法,更包含藉由下述步驟來決定該複數個初始自動白平衡參數:從第二電子照相機所擷取的數個影像獲得複數個基礎自動白平衡參數,該複數個基礎自動白平衡參數包含供該參考發光體用之一基礎自動白平衡參數;從該電子照相機所擷取的影像校正該基礎自動白平衡參數以產生該預先校正自動白平衡參數;及轉換該基礎自動白平衡參數組以產生該初始自動白平衡參數組,該初始第二自動白平衡參數係為該預先校正自動白平衡參數。
  12. 如申請專利範圍第11項所述之電子照相機中之自動白平衡之校正方法,其中:該校正步驟包含由該電子照相機擷取在該參考發光體之下的一或多個場景之第二複數個影像;及該預先校正自動白平衡參數在被應用以白平衡該第二複數個影像時,產生該第二複數個影像之一平均色彩,該平均色彩係為灰色。
  13. 如申請專利範圍第11項所述之電子照相機中之自動白平衡之校正方法,其 中:該校正步驟包含:由該電子照相機擷取在該參考發光體之下的一或多個場景之一第二複數個影像,該一或多個場景之每一者包含一人臉;及該預先校正自動白平衡參數在被應用以白平衡該第二複數個影像時,產生該人臉之一平均色調,該平均色調係為一通用人臉色調。
  14. 一種電子照相機裝置,包含:一影像感測器,用以擷取數個現實場景之數個現實影像;一處理器;以及一非揮發性記憶體,包含(a)一部分校正的自動白平衡參數組,該部分校正的自動白平衡參數組由複數個初始自動白平衡參數所組成,該初始自動白平衡參數僅具有一個預先校正自動白平衡參數,該預先校正自動白平衡參數係與一參考發光體相關聯,以及(b)數個機器可讀取自動白平衡自我訓練指令,當該機器可讀取自動白平衡自我訓練指令由該處理器執行時,會處理該等現實影像的子集合以產生一完全校正的自動白平衡參數組,該完全校正的自動白平衡參數組係為該電子照相機裝置特有的,該等現實影像的該子集合係在一第一發光體之下所擷取,該第一發光體不同於該參考發光體。
  15. 如申請專利範圍第14項所述之電子照相機裝置,其中該等自動白平衡自我訓練指令包含關於該等現實場景之一假設。
  16. 如申請專利範圍第15項所述之電子照相機裝置,其中該假設包含複數個該等現實場景之該平均色彩係為灰色之一假設。
  17. 如申請專利範圍第15項所述之電子照相機裝置,其中該假設包含數個人臉之該色調係為一通用人臉色調之一假設。
  18. 如申請專利範圍第14項所述之電子照相機裝置,其中該等自動白平衡自我訓練指令包含:數個照明識別指令,當該照明識別指令由該處理器執行時,會確認在該第一發光體之下所擷取之該等現實影像的該子集合;及數個自動白平衡參數轉換指令,當該自動白平衡參數轉換指令由該處理器執行時,會基於藉由使用該等照明識別指令所識別之該等影像之分析,將該部分校正的自動白平衡參數組轉換成該完全校正的自動白平衡參數組。
  19. 如申請專利範圍第18項所述之電子照相機裝置,其中該等自動白平衡自我訓練指令更包含數個臉部偵測指令,當該臉部偵測指令由該處理器執行時,會確認數個現實影像中之數個人臉。
TW103109185A 2013-03-13 2014-03-13 電子照相機之自動白平衡之自動化自我訓練之裝置及方法 TWI551150B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201361780898P 2013-03-13 2013-03-13

Publications (2)

Publication Number Publication Date
TW201436581A TW201436581A (zh) 2014-09-16
TWI551150B true TWI551150B (zh) 2016-09-21

Family

ID=51525701

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103109185A TWI551150B (zh) 2013-03-13 2014-03-13 電子照相機之自動白平衡之自動化自我訓練之裝置及方法

Country Status (4)

Country Link
US (1) US9270866B2 (zh)
CN (1) CN104320641B (zh)
HK (1) HK1203011A1 (zh)
TW (1) TWI551150B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187810B (zh) * 2014-11-11 2017-06-06 怀效宁 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置
CN104780353B (zh) * 2015-03-26 2017-11-07 广东欧珀移动通信有限公司 一种图像处理方法及装置
US10145733B2 (en) 2015-09-02 2018-12-04 Qualcomm Incorporated Auto-calibrating light sensor data of a mobile device
EP3637763B1 (en) * 2017-06-30 2021-06-02 Huawei Technologies Co., Ltd. Colour detection method and terminal
US10719729B2 (en) 2018-06-06 2020-07-21 Perfect Corp. Systems and methods for generating skin tone profiles
US10863059B2 (en) 2018-06-26 2020-12-08 Microsoft Technology Licensing, Llc Environmental-based spatial color uniformity correction by using statistical distribution of camera modules
CN109151457B (zh) * 2018-08-30 2021-02-12 Oppo广东移动通信有限公司 一种图像处理方法及装置、终端、存储介质
CN108833870A (zh) * 2018-09-20 2018-11-16 陕西土豆数据科技有限公司 一种基于倾斜摄影相机的白平衡算法
KR20210094253A (ko) 2020-01-21 2021-07-29 삼성전자주식회사 이미지 센서의 캘리브레이션 모듈, 이미지 센서 및 크로스토크를 캘리브레이션하는 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030052978A1 (en) * 2001-06-25 2003-03-20 Nasser Kehtarnavaz Automatic white balancing via illuminant scoring autoexposure by neural network mapping
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
US7421121B2 (en) * 2005-02-08 2008-09-02 Micron Technology, Inc. Spectral normalization using illuminant exposure estimation
US20110279710A1 (en) * 2010-05-12 2011-11-17 Samsung Electronics Co., Ltd. Apparatus and method for automatically controlling image brightness in image photographing device
US20120189191A1 (en) * 2011-01-26 2012-07-26 Yungjin Bai Methods for matching gain and color for stereoscopic imaging systems

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7570881B2 (en) * 2006-02-21 2009-08-04 Nokia Corporation Color balanced camera with a flash light unit
JP4702635B2 (ja) * 2007-07-17 2011-06-15 富士フイルム株式会社 オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置
CN101282489B (zh) * 2008-04-24 2010-11-10 北京中星微电子有限公司 一种光源检测设备和方法及图像处理方法
CN102957918B (zh) * 2011-08-31 2014-12-31 联咏科技股份有限公司 显示影像的白平衡方法
CN102685513A (zh) * 2012-05-21 2012-09-19 信利光电(汕尾)有限公司 一种白平衡的处理方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030052978A1 (en) * 2001-06-25 2003-03-20 Nasser Kehtarnavaz Automatic white balancing via illuminant scoring autoexposure by neural network mapping
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
US7421121B2 (en) * 2005-02-08 2008-09-02 Micron Technology, Inc. Spectral normalization using illuminant exposure estimation
US20110279710A1 (en) * 2010-05-12 2011-11-17 Samsung Electronics Co., Ltd. Apparatus and method for automatically controlling image brightness in image photographing device
US20120189191A1 (en) * 2011-01-26 2012-07-26 Yungjin Bai Methods for matching gain and color for stereoscopic imaging systems

Also Published As

Publication number Publication date
CN104320641A (zh) 2015-01-28
US20140267782A1 (en) 2014-09-18
TW201436581A (zh) 2014-09-16
HK1203011A1 (zh) 2015-10-09
CN104320641B (zh) 2017-04-12
US9270866B2 (en) 2016-02-23

Similar Documents

Publication Publication Date Title
TWI551150B (zh) 電子照相機之自動白平衡之自動化自我訓練之裝置及方法
Nguyen et al. Training-based spectral reconstruction from a single RGB image
JP6974397B2 (ja) 測定装置
TWI769509B (zh) 使用一相機系統來特徵化環境照明之方法,電腦可讀媒體,及相機系統
TWI539812B (zh) 用於電子照相機之自動白平衡方法
JP5174307B2 (ja) カラー信号処理
CN113170028B (zh) 生成基于机器学习的成像算法的图像数据的方法
JP6257551B2 (ja) 色忠実環境補正装置および色忠実環境補正方法
CN104751195A (zh) 利用参考图像的图像处理
US20150131902A1 (en) Digital Image Analysis
WO2015141233A1 (ja) 色忠実環境補正装置および色忠実環境補正方法
TWI588779B (zh) 用於電子照相機之自動白平衡系統
US11877827B2 (en) Method and system to assess teeth shade in an uncontrolled environment
TWI512682B (zh) 影像處理系統及色彩飽和度補償方法
JP5824423B2 (ja) 照明光色推定装置、照明光色推定方法及び照明光色推定プログラム
Stanco et al. Computer graphics solutions for pottery colors specification
WO2012020381A1 (en) Method and apparatus for recognizing an interesting object
CN111435986B (zh) 源图像数据库的获取方法、训练装置及电子设备
US9251567B1 (en) Providing color corrections to photos
Kawakami et al. Color estimation from a single surface color
TWI626394B (zh) 照明系統
JP2023083877A (ja) 色補正データ作成装置、色補正データ作成装置の制御方法、及びプログラム
CN117221741A (zh) 图像白平衡调整方法、装置、电子设备及存储介质
Bianco et al. Adaptive Illuminant Estimation and Correction for Digital Photography
Bianco et al. Towards the design of low cost colorimetric imaging device