TW202123684A - 用於特徵化環境照明之系統 - Google Patents

用於特徵化環境照明之系統 Download PDF

Info

Publication number
TW202123684A
TW202123684A TW109129500A TW109129500A TW202123684A TW 202123684 A TW202123684 A TW 202123684A TW 109129500 A TW109129500 A TW 109129500A TW 109129500 A TW109129500 A TW 109129500A TW 202123684 A TW202123684 A TW 202123684A
Authority
TW
Taiwan
Prior art keywords
spectrum
scene
flash
color
light
Prior art date
Application number
TW109129500A
Other languages
English (en)
Other versions
TWI769509B (zh
Inventor
甘特 席斯
朱利葉斯 科瑪
Original Assignee
德商Ａｍｓ傳感器德國有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 德商Ａｍｓ傳感器德國有限公司 filed Critical 德商Ａｍｓ傳感器德國有限公司
Publication of TW202123684A publication Critical patent/TW202123684A/zh
Application granted granted Critical
Publication of TWI769509B publication Critical patent/TWI769509B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/505—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour produced by lighting fixtures other than screens, monitors, displays or CRTs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本發明提供一種相機系統，其具有一多光譜感測器，該多光譜感測器可組合一閃光燈使用以判定環境照明之一光譜而無需一分開的量測。接著此可用來對在具有或沒有閃光燈之情況下擷取之一影像進行色彩校正。

Description

用於特徵化環境照明之系統
本說明書係關於特徵化環境照明。
由一相機擷取之一影像之外觀受環境照明影響。例如，儘管人類色彩感知展現色彩恆定性，但一白色物件在紅光中將被一相機視為紅色。
瞭解環境照明之光譜將實現基於照明之色彩修改。此可能但無需涉及色彩校正，諸如白平衡。瞭解環境照明之光譜亦可支援其他類型之影像後處理。
期望能夠針對彩色環境照明對一影像之效應而校正一相機，但此很困難，因為問題欠約束。一種方法係假定色譜在一成像場景(「灰色世界」)上平均化為灰色；另一方法係假定一最亮像素係白色且因此擷取環境照明之一光譜。然而，此兩兩者在一些場景中失敗。一光譜儀可用來直接量測環境照明源之一光譜，但此係不切實際的。可能要求一使用者手動地選擇環境照明之一類型，但此係麻煩的。
本說明書大體上係關於用於特徵化環境照明，例如用於對由相機擷取之影像進行色彩校正之系統，例如相機系統。在實施方案中，使用一多光譜感測器及一相機閃光燈單元重構環境光之一光譜。
在一個態樣中，描述一種使用一相機系統來特徵化環境照明之方法。該相機系統可包含用來擷取一場景之一視圖之一影像感測器、用來提供該場景之照明之一照明器(例如一相機閃光燈單元)及用來在複數個波長通道中擷取來自該場景之光之一光譜之一多光譜感測器。該照明器及該多光譜感測器可為一相機之部分或與該相機相關聯。該相機系統可例如為一智慧型電話之部分。
該方法可包括在除環境照明以外該閃光燈亦操作以照明該場景時，使用該多光譜感測器擷取來自該場景之光之一第一光譜。該方法可進一步包括在該閃光燈未操作且由該環境照明來照明該場景時，使用該多光譜感測器擷取來自該場景之光之一第二光譜。擷取該第一光譜及該第二光譜之順序係不相關的。
該方法可進一步包括判定表示一場景閃光燈光譜之在該第一光譜與該第二光譜之間的一差。該場景閃光燈光譜可表示在沒有該環境照明之情況下由該閃光燈照明時之該場景之一光譜。該方法可進一步包括使用該閃光燈照明之一光譜補償該場景閃光燈光譜以判定一經色彩補償之場景閃光燈光譜。該經色彩補償之場景閃光燈光譜可表示當針對該閃光燈照明之該光譜進行補償時之該場景之一平均反射率光譜。例如，該經色彩補償之場景閃光燈光譜可表示在白光下之影像像素之一「真實」平均色彩。
該方法可進一步包括使用該經色彩補償之場景閃光燈光譜處理來自該場景之光之該第二光譜以估計該環境照明之一光譜。該環境照明之該光譜可由環境照明資料來定義，該環境照明資料定義在複數個不同波長資料點處之該環境照明之一光位準，例如一照度或輻照度。
近似地，由該多光譜感測器在一波長下看到之光位準可由在彼波長下之照明位準與在彼波長下之場景反射率之一乘積來定義。因此，在一些實施方案中，使用該經色彩補償之場景閃光燈光譜處理來自該場景之光之該第二光譜可包括將表示在一組各自波長點之各者處之光之該第二光譜之一組值之各者除以在該各自波長點處之該經色彩補償之場景閃光燈光譜之一對應值。
在一些實施方案中，使用該經色彩補償之場景閃光燈光譜處理來自該場景之光之該第二光譜以估計該環境照明之一光譜包括將光之該第二光譜之一表示除以該經色彩補償之場景閃光燈光譜。
在一些實施方案中，該方法可進一步包括針對該多光譜感測器之一回應補償該第一光譜及該第二光譜之各者。
在一些實施方案中，該多光譜感測器具有n個波長通道。該第一光譜及第二光譜可由長度n 之各自第一光譜向量及第二光譜向量(後文係
Figure 02_image007
；
Figure 02_image009
)來表示。判定該第一光譜與該第二光譜之間的該差可包括將該第一光譜及該第二光譜向量之一者自另一者減去以判定一場景閃光燈光譜向量(後文係
Figure 02_image001
)。
在一些實施方案中，儘管並非本質上，但該閃光燈照明之該光譜由長度m 之一閃光燈照明向量(後文係
Figure 02_image011
)來表示，其中m 表示由該光譜定義之(離散)波長點之一數目。在各波長通道之該等波長點處之該多光譜感測器之一敏感度可由一
Figure 02_image013
敏感度矩陣(後文係
Figure 02_image015
)來定義。使用該閃光燈照明之該光譜補償該場景閃光燈光譜可包括將該場景閃光燈光譜向量乘以由該敏感度矩陣及該閃光燈照明向量之一組合定義之一(
Figure 02_image013
)矩陣(後文係
Figure 02_image017
)以獲得表示該經色彩補償之場景閃光燈光譜之一經色彩補償之場景閃光燈光譜向量(後文係
Figure 02_image003
)。該矩陣可藉由判定該敏感度矩陣與該閃光燈照明向量之一乘積之一逆矩陣來判定，或其可以另一方式，例如藉由一校準程序來判定。
在一些實施方案中，該方法可進一步包括將該第二光譜向量乘以該敏感度矩陣之一逆矩陣以獲得一經感測器補償之第二光譜向量(後文係
Figure 02_image019
)。該方法接著可進一步包括將該經感測器補償之第二光譜向量除以該經色彩補償之場景閃光燈光譜向量。
在一些實施方案中，該多光譜感測器具有至少四個波長通道。例如，該多光譜感測器可具有＞6，例如6至8個波長通道。該多光譜感測器可為一非成像感測器。
該方法可進一步包括使用該環境照明之該經估計光譜來調適該相機的一RGB (紅綠藍)至CIE (國際照明委員會) XYZ變換矩陣。例如，該標準(3x3)變換矩陣(自例如sRGB至CIE-XYZ)之元素之值可經修改以補償該環境照明之一色彩，例如用於色彩校正，諸如白平衡。
在一些應用中，該方法可包含使用該影像感測器來擷取一影像。例如，可與該第一光譜或該第二光譜同時擷取該影像(因為已知該閃光燈照明之一光譜，所以在此兩個時間知道該照明之光譜)。接著可使用該環境照明之該經估計光譜來對該影像進行色彩校正，例如同時進行影像擷取。
再者或代替地，該方法可包含將表示該環境照明之該經估計光譜之資料與表示該經擷取影像之影像資料儲存在一起，例如以供稍後在色彩校正中使用。例如，使一未經校正影像及資料(該環境照明之該經估計光譜)可用可能係有用的，該未經校正影像及資料可用來在一稍後階段修改該影像中之色彩例如以嘗試不同類型或程度之色彩校正。此後處理可在該相機系統上及/或隨後例如在一分開本端機器或遠端伺服器上執行。
在一些實施方案中，該方法用於一智慧型電話或其他行動裝置之相機系統。該方法接著可使用本端或遠端處理器實施，或在本端處理器與遠端處理器之間共用。
再者或代替地，該方法可包含處理該環境照明之該經估計光譜以將主環境照明分類成一組離散類別之一者，例如螢光燈照明、LED照明、鎢/白熾燈照明、日光照明等之一或多者。在一些應用中，可能僅存在兩種此類別例如以識別是否已在「困難」或人工照明下或在自然照明或日光下擷取一影像。此資訊可用來控制一影像之擷取(例如曝光時間)及/或控制一經擷取影像之後續修改。
在實施方案中，將該主環境照明分類成一組離散類別之一者可包括正規化該環境照明之該經估計光譜且比較此光譜與一或多個參考光譜，例如以判定至該或各參考光譜之一距離度量。該經識別照明類別可為具有至其參考光譜的最小距離度量之照明類別。
該方法之一些實施方案可包含處理該環境照明之該經估計光譜以判定特徵化該環境照明之一色彩(例如在CIE u’, v’色彩空間中)或色溫(例如相關色溫CCT)之照明資料。接著可將該照明資料與來自該影像感測器之影像資料儲存在一起及/或使用該照明資料來對一經擷取影像進行色彩校正。
在另一態樣中，描述一種相機系統。該相機系統可包括以下項之一或多者：用來擷取一場景之一視圖之一影像感測器、用來提供該場景之閃光燈照明之一照明器(例如一閃光燈單元)及用來在複數個波長通道中擷取來自該場景之光之一光譜之一多光譜感測器。該相機系統亦可包括一影像處理子系統。
該影像處理子系統可經組態以在除環境照明以外該閃光燈亦操作以照明該場景時，使用該多光譜感測器擷取來自該場景之光之一第一光譜。該影像處理子系統可進一步經組態以在該閃光燈未操作且由該環境照明來照明該場景時，使用該多光譜感測器擷取來自該場景之光之一第二光譜。該影像處理子系統可進一步經組態以判定表示一場景閃光燈光譜之在該第一光譜與該第二光譜之間的一差，其中該場景閃光燈光譜表示在沒有該環境照明之情況下由該閃光燈照明時之該場景之一光譜。該影像處理子系統可進一步經組態以使用該閃光燈照明之一光譜補償該場景閃光燈光譜以判定一經色彩補償之場景閃光燈光譜，其中該經色彩補償之場景閃光燈光譜表示當針對該閃光燈照明之該光譜進行補償時之該場景之一平均反射率光譜。該影像處理子系統可進一步經組態以使用該經色彩補償之場景閃光燈光譜處理來自該場景之光之該第二光譜以估計該環境照明之一光譜。
在上文所描述之系統/方法之一些實施方案中，自該閃光燈輸出之光之一位準(例如照度或輻照度)可大致相同於環境光之位準(例如照度或輻照度)例如至20倍以內(即，一者應係另一者的20倍大或小)。
在另一態樣中，提供一種使用一相機系統之方法，該方法包括使用一感測器擷取光譜，及處理該經擷取光譜之至少一部分以產生與該經擷取光譜相關之資料。
在另一態樣中，提供一種系統，例如一相機系統，其包括：一感測器，其經組態以擷取光譜；及一處理系統，其經組態以處理該經擷取光譜之至少一部分且產生與該經擷取光譜相關之資料。
該相機系統可經組態以由控制該系統之一或多個處理器之軟體或由可在一或多個積體電路上或例如使用軟體及硬體之一組合之專用硬體(例如電子電路)來實施上文所描述之特徵及態樣。
因此，亦提供經組態以實施如上文所描述之一方法之(專用)硬體，例如電子電路。
進一步提供用來實施如上文所描述之一系統及方法之處理器控制程式碼，即在由一處理器(電腦)執行時致使該處理器實施如上文所描述之一系統或執行如上文所描述之一方法之處理器控制程式碼。可將該程式碼提供為透過一網路或在一或多個電腦可讀媒體(例如一或多個實體資料載體，諸如一磁碟或程式化記憶體，諸如非揮發性記憶體(例如快閃記憶體)或唯讀記憶體(韌體))上傳輸之一信號。用來實施該系統/方法之實例之程式碼及/或資料可包括以一習知程式設計語言(解釋或編譯)(諸如C)之源程式碼、目標程式碼或可執行程式碼，或組合程式碼，或用於一硬體描述語言之程式碼。用來實施系統之程式碼及/或資料可經分佈於彼此進行通信之複數個耦合組件之間。
上文所描述之方法及系統潛在地應用於除相機之外的電子裝置中，特定而言沒有諸如一投射器之一影像感測器之一電子裝置。在此等情況中，該影像感測器可被省略且該相機系統可更恰當地稱為環境照明特徵化系統。
下文僅以實例方式闡述該系統之此等及其他態樣之細節。
為了在彩色環境照明下恰當地擷取或表示一色彩需要瞭解環境光光譜。例如，在偏紅(reddish)環境照明下，一白色表面將看似偏紅，但在白光照明下將係一偏紅表面。
本說明書描述一種具有一多光譜感測器之相機系統，該多光譜感測器可組合一閃光燈以判定環境照明之一光譜而無需進行一分開的量測。此接著可用來對在具有或沒有閃光燈之情況下擷取之一影像進行色彩校正，例如以執行自動白平衡。該相機系統可形成一消費性電子裝置(諸如一相機、行動電話、平板電腦、膝上型電腦或其他裝置)之部分。然而，該系統之變體無需擷取一影像，例如該系統之一變體可在一投射器中用來投射一經色彩校正之影像。
圖1a展示一相機系統100，其在此實例中係具有一可選顯示器104 (儘管為了方便起見而單獨展示)之一行動裝置102之部分。相機系統100包含一影像感測器106及一多光譜感測器108。一般而言但不一定，此等指向類似方向，使得多光譜感測器108看到由該影像感測器擷取之光。多光譜感測器108可具備一漫射器例如以增加其視場，或具備一孔徑例如以限制其視場。
在實施方案中，多光譜感測器108包括一n 通道感測器，其中n ≥4(例如n=6至8)定義該多光譜感測器之波長通道之一數目。在本說明書中，自多光譜感測器108擷取之資料稱為光譜，即使在一些實施方案中其可定義光譜之僅四個點。
圖1b展示具有8個光學通道之一合適實例多光譜感測器(ams AS7341)之光譜回應；以nm為單位之波長在x軸上。多光譜感測器108可覆蓋整個可見光波長範圍，例如自＜450 nm至＞700 nm，例如380 nm至780 nm；在一些實施方案中，其敏感度可擴展至紫外線(UV)或近紅外線(NIR)。多光譜感測器108可為具有界定波長通道之光學濾光片之一感測器，例如一矽光電二極體感測器。該等濾光片可為例如聚合物、電漿子及/或干涉濾光片；其等可包含用以阻擋UV及/或NIR之一或多個濾光片。
相機系統100亦包含用以直接或間接照明由多光譜感測器108觀看之一場景之一閃光燈110。閃光燈110可包括例如一或多個LED (發光二極體)。
多光譜感測器108之視場(FOV)及閃光燈110之FOV (嚴格地講，照明場)應重疊，且在實施方案中係類似的。多光譜感測器108、閃光燈110及影像感測器106可在行動裝置102上彼此實體上鄰近。
相機系統100包含一影像處理子系統120。在實施方案中，此經組態以例如經由線126控制閃光燈110，以提供場景之閃光燈照明，且例如經由線124擷取來自多光譜感測器108之資料，該資料表示來自場景之光之一光譜。影像處理子系統120亦可與影像感測器106協作以例如經由線128擷取場景之一影像，且視情況處理經擷取影像。在實施方案中，影像處理子系統120與相機系統100整合在一起(儘管在圖1中單獨展示)。
在實施方案中，影像處理子系統120經組態以控制閃光燈且擷取及處理來自多光譜感測器108之資料以便估計照明場景之環境光之一光譜。影像處理子系統120具有在行動裝置102內部之一輸出130。輸出130及通常如本說明書中所描述之一輸出可包括例如影像處理子系統120之一電連接件或一暫存器。
可將環境照明之光譜提供為影像處理子系統120之一顯式輸出，即輸出130可提供定義一光譜之資料。再者或代替地，影像處理子系統120可進一步處理環境照明之光譜例如以將環境照明分類成一組離散類別之一者，例如表示不同類型之照明，諸如以下項之一或多者：螢光燈照明、LED照明、鎢/白熾燈照明及日光照明。輸出130接著可包括識別環境照明所分類成之類別之資料。
影像處理子系統120可實施為硬體、軟體(如在此所使用其包含韌體)或兩者之一組合。如圖1中所繪示，非揮發性記憶體122儲存處理器控制程式碼以控制影像處理子系統120之一處理器以執行稍後所描述之操作以估計環境照明之光譜，且視情況執行其他任務，諸如對環境照明進行分類及對一經擷取影像進行色彩補償。
圖2展示用於使用圖1之相機系統100來判定定義環境照明之一光譜之資料之一程序。該程序開始於使用多光譜感測器108擷取兩個光譜，其中一者具有及另一者沒有照明場景之閃光燈，且接著處理此等光譜以判定環境照明之一光譜。
因此，在步驟202，該程序控制，例如觸發閃光燈以照明場景且在除環境照明以外閃光燈亦操作以照明場景時使用多光譜感測器擷取來自場景之光之一第一光譜。
一般而言，一場景之色彩可由場景之反射率(即場景中之反射表面之色彩(「目標色彩」))與照明(即照明場景之光之色彩)之一乘積來描述。
第一光譜可由尺寸n 之一第一光譜向量
Figure 02_image007
來表示，該向量之各元素對應於n 通道多光譜感測器之一波長通道。在此，
Figure 02_image007
表示經偵測之多光譜感測器信號。此包括場景照明、場景之環境光照明及場景之閃光燈照明之一組合，藉由場景之目標色彩修改(乘以場景之目標色彩)，其再乘以在閃光燈照明之各波長分量下之場景之一反射率(參見後文)。
在步驟204，該程序在閃光燈未操作且僅由環境照明來照明場景時使用多光譜感測器擷取來自場景之光之一第二光譜。
第二光譜可由尺寸n 之一第二光譜向量
Figure 02_image009
來表示，該向量之各元素對應於n 通道多光譜感測器之一波長通道。在此，
Figure 02_image009
表示經偵測之多光譜感測器信號，該信號包括由場景之目標色彩修改(乘以)之場景之環境光照明。
步驟202及204可以任何順序執行。
在步驟206，該程序判定第一光譜與第二光譜之間的一差。此表示當由閃光燈在沒有環境照明之情況下照明時如由多光譜感測器將偵測到之場景之一光譜，在此稱為場景閃光燈光譜。場景閃光燈光譜可由一n 維場景閃光燈光譜向量
Figure 02_image001
來表示，其中：
Figure 02_image021
為了避免不精確性，此差不應過小。例如，閃光燈之一輻照度可更大，例如比環境光之一輻照度至少大5%左右。本文中所描述之技術之實施方案特別適合於室內應用。
知道由閃光燈照明時之場景之光譜，即場景閃光燈光譜向量
Figure 02_image001
，且知道閃光燈照明之光譜，可判定場景之(平均)目標色彩。目標色彩由當針對閃光燈照明之光譜進行補償時之場景之一平均反射率光譜來表示。
閃光燈照明之光譜可由一m 維閃光燈照明向量
Figure 02_image011
來表示，其中m 表示由光譜定義之波長點之一數目，例如定義閃光燈在m 個不同波長之各者下之一光學輸出。在一LED閃光燈包括各處於一不同波長之m 個LED之情況下，例如一白色LED閃光燈，閃光燈照明向量可定義在各LED波長下之光學輸出。光學輸出可被定義為在各波長下之輻照度，或可以任意單位定義。
因此，在步驟208，該程序可使用閃光燈照明之光譜補償場景閃光燈光譜以判定一經色彩補償之場景閃光燈光譜。
一般而言，由於場景閃光燈光譜係閃光燈照明之光譜與目標色彩之一乘積，因此可藉由將場景閃光燈光譜除以閃光燈照明之光譜來復原真實目標色彩。然而，在實踐中，此可能涉及將場景閃光燈光譜向量乘以一矩陣
Figure 02_image017
，該矩陣
Figure 02_image017
係自一敏感度矩陣
Figure 02_image023
(表示多光譜感測器108之一波長相依敏感度)與閃光燈照明向量之一組合導出。
真實目標色彩(即經色彩補償之場景閃光燈光譜)可由一m維經色彩補償之場景閃光燈光譜向量
Figure 02_image003
來表示，該向量
Figure 02_image003
定義在閃光燈照明向量之m 個不同波長之各者下之場景之一真實色彩(平均反射率)。接著，例如
Figure 02_image025
其中上標
Figure 02_image027
表示一矩陣轉置。
一般而言(儘管不一定)，該感測器之n 個波長通道可能與閃光燈照明之m 個波長不一致。因此，可為多光譜感測器108定義一
Figure 02_image013
敏感度矩陣
Figure 02_image015
。該敏感度矩陣可定義在表示閃光燈照明之光譜之m 個波長之各者下之n 個感測器波長通道之各者之敏感度。該敏感度矩陣對於多光譜感測器108可為已知的或可藉由校準來判定。
在一些實施方案中，矩陣
Figure 02_image017
表示在閃光燈照明之光譜下量測之多光譜感測器之敏感度之一逆矩陣。此可為自
Figure 02_image029
敏感度矩陣
Figure 02_image023
及m 維閃光燈照明向量
Figure 02_image011
產生之一矩陣之一偽逆矩陣或維納逆矩陣。自
Figure 02_image015
及
Figure 02_image011
產生之矩陣(其可稱為
Figure 02_image031
)可藉由將
Figure 02_image015
之各m 維行逐元素乘以
Figure 02_image011
來產生。例如，
Figure 02_image031
之第i 行可具有元素
Figure 02_image033
，其中
Figure 02_image035
。
替代地，矩陣
Figure 02_image017
可藉由校準來判定，例如藉由在零環境光下依各分開的波長m 照明一場景，例如一白墻。
藉由判定以下方程式，可將矩陣
Figure 02_image017
判定為一偽逆矩陣：
Figure 02_image037
藉由判定以下方程式，可將矩陣
Figure 02_image017
判定為一維納逆矩陣：
Figure 02_image039
其中
Figure 02_image041
係一平滑矩陣，例如：
Figure 02_image043
Figure 02_image045
與將
Figure 02_image017
判定為一偽逆矩陣相比，將
Figure 02_image017
判定為一維納逆矩陣更具代表性。其他方法亦可用來判定
Figure 02_image017
。
接著，該程序可使用真實目標色彩(即經色彩補償之場景閃光燈光譜向量
Figure 02_image003
)來估計環境照明之一光譜(步驟210)。此可使用當場景僅由環境照明來照明場景時獲得之第二光譜，如由第二光譜向量
Figure 02_image009
所表示。
在一實例實施方案中，一第二矩陣
Figure 02_image047
表示感測器敏感度之一逆矩陣。在此情況下，可將
Figure 02_image047
判定為特徵化多光譜感測器108之光譜敏感度之
Figure 02_image029
敏感度矩陣
Figure 02_image015
之一偽逆矩陣或維納逆矩陣。
因此，可將一m 維經感測器補償之第二光譜向量
Figure 02_image019
判定為：
Figure 02_image049
其中上標
Figure 02_image027
再次表示一矩陣轉置。在此，
Figure 02_image019
表示針對多光譜感測器108之回應進行補償之第二(僅環境光)光譜之一量測。
環境照明之光譜可由具有針對m 個波長之各者之一值之一m 維向量
Figure 02_image005
來表示。此可藉由將經感測器補償之第二光譜向量
Figure 02_image019
逐元素除以經色彩補償之場景閃光燈光譜向量
Figure 02_image003
來判定：
Figure 02_image051
該程序可將環境照明之光譜提供為一輸出及/或該程序接著可對環境照明之類型(類別)進行分類(步驟212)。存在可完成此之諸多方式，例如判定一組模板或參考光譜之哪一者與經量測光譜最佳匹配。該分類可簡單地旨在區分自然照明與人工照明或亦可嘗試判定人工照明之一特定類型(類別)。
對環境照明進行分類之一優點在於，此可允許更精確地判定環境光光譜：一相對少點可用於對環境光光譜進行分類但一旦已知環境照明之類型，便可應用更好的色彩補償。
作為一實例，在一種用來對環境照明之類型進行分類之方法中，首先正規化環境照明之經量測光譜，例如
Figure 02_image053
其中
Figure 02_image055
係
Figure 02_image005
之元素之均值。一組i 個參考光譜可被表示為一
Figure 02_image057
矩陣
Figure 02_image059
，其中i 索引一參考光譜且m 索引波長。此等可以相同方式正規化以判定一組經正規化參考光譜
Figure 02_image061
：
Figure 02_image063
其中
Figure 02_image065
係參考光譜i 之
Figure 02_image059
之元素之均值。該組參考光譜可經儲存於非揮發性記憶體122中。
接著可判定環境照明之經量測光譜與參考光譜之各者之間的一積分偏差
Figure 02_image067
，例如
Figure 02_image069
其中
Figure 02_image071
表示取一絕對值且
Figure 02_image073
表示對
Figure 02_image075
求和。接著可藉由判定與參考光譜之最佳匹配來判定環境照明之類型，即
Figure 02_image077
，i之值最小化
Figure 02_image067
。
再者或代替地，可處理環境照明之經量測光譜以判定環境照明在一色彩空間中(在一色度圖上)之一位置，諸如在CIE u’, v’色彩空間中之一位置。
再者或代替地，可處理環境照明之經量測光譜以判定環境照明之色溫，例如相關色溫CCT。
可將此資訊提供為自系統輸出之一照明資料。
照明資料可與來自影像感測器之影像資料儲存在一起，及/或用來對一經擷取影像進行色彩校正，或以某一其他方式使用。例如，可處理在低CCT環境光下擷取之一影像以便看似在其他(例如標準)照明(諸如D65日光)下被擷取。
再者或代替地，可將特徵化真實目標色彩，即獨立於環境光之資料提供為自系統輸出之一資料。例如，該系統可輸出經色彩補償之場景閃光燈光譜向量
Figure 02_image003
。此可用來例如判定一目標(諸如一牆上之油漆)之真實色彩，以克服色彩匹配時之同色異譜。
圖3a展示D65日光300、一低CCT鹵素燈302、一白色LED 304及一螢光燈306之實例環境光光譜；以nm為單位之波長在x軸上。圖3b至圖3d分別展示在鹵素、D65及LED照明下之相同「亮皮膚」色彩之光譜。該色彩在鹵素照明下看似更偏紅。額外效應源自該相機之RGB濾光片特性。
CIE 1931及CIE 1964色彩空間被設計成更佳匹配人類視覺且具有相關聯色彩匹配功能。此等可被認為定義三個光偵測器對於CIE三刺激值XYZ (近似藍色、綠色及紅色)之敏感度曲線。一
Figure 02_image079
矩陣定義一特定影像感測器自RBG至XYZ之一轉換。如上文所描述，針對本文中所描述之系統之實施方案，此亦可考量環境照明之光譜(其可被視為對RGB感測器特性之一修改)。
圖4a至圖4g展示使用上文所描述之方法判定一環境光光譜且重構一場景之真實(平均)色彩之步驟之一實例繪圖。圖4a展示一目標色彩(洋紅)之光譜，圖4b展示一環境D65日光光譜，圖4c展示在D65照明下之目標色彩之一經偵測光譜(
Figure 02_image009
)，圖4d展示一白色LED閃光燈光譜，且圖4e展示在閃光燈照明及D65環境照明下之目標色彩之一經偵測光譜(
Figure 02_image007
)。該實例計算
Figure 02_image021
且接著判定在環境光下之目標色彩之經感測器補償之光譜
Figure 02_image019
，如圖4f中所展示。圖4g展示目標色彩(即真實色彩)之經重構光譜
Figure 02_image019
-可見，圖4g非常類似於圖4a。在圖4h中展示經重構環境光光譜
Figure 02_image081
；為了比較，在圖4i中展示由同一多光譜感測器108對圖4a之D65光譜之一直接量測。可見該技術係非常精確的。
概括而言，已描述一種藉由在具有及沒有閃光燈之情況下量測一影像場景來計算環境光之一光譜之方法。該方法包括藉由使用一第一矩陣運算(為直接量測而最佳化)來重構在環境光下之場景之一平均反射率色彩(A)；藉由使用一第二矩陣運算(為色彩量測且相對於一閃光燈之已知光譜而最佳化)來重構場景之平均反射率色彩(B)；及將環境光光譜計算為A與B之間的差。
可藉由與針對典型光源之一組預期經重構資料進行比較來偵測環境光源之類型，例如藉由計算光譜偏差且找到具有最低偏差之參考光源光譜，例如使用一最小平方法或光譜之間的絕對差之一總和。
該方法可用於一相機中之環境白平衡，及/或用於自例如一(感測器)像素之RGB值至一標準色彩空間(例如XYZ)之特定轉換矩陣，及/或用來提供影像擷取後處理之額外影像資訊。
本文已例如在一實施例組合地描述或描繪之方法及系統之特徵可單獨或以子組合來實施。可組合來自不同實施例之特徵。因此，本說明書中所揭示或所闡釋之各特徵可單獨或與本文中所揭示或所闡釋之任何其他特徵以任何適當組合併入本發明中。方法步驟不應被視為要求例如其等被描述或描繪之一特定順序，例如除非此被具體陳述。一系統可經組態以藉由提供處理器控制程式碼及/或專用或程式化硬體(例如，電子電路)以實施一任務來執行該任務。
已依據實施例描述方法及系統之態樣，但此等實施例僅係闡釋性的且發明申請專利範圍不限於彼等實施例。
例如，該系統可用於一電子裝置中，諸如一投射器、膝上型電腦或智慧型家用裝置(諸如一智慧型揚聲器)，在該情況下可省略成像感測器。在此等應用中，該系統仍可稱為相機系統，此係因為其包含一光感測器，即多光譜感測器，儘管不一定係一成像感測器。在此等應用中，該系統可被使用來例如對一經顯示影像進行色彩校正。
鑑於本發明，熟習此項技術者將能夠做出經考慮落入發明申請專利範圍之範疇內之修改及替代物。
100:相機系統 102:行動裝置 104:顯示器 106:影像感測器 108:多光譜感測器 110:閃光燈 120:影像處理子系統 122:非揮發性記憶體 124:多光譜資料擷取線 126:閃光燈控制線 128:影像擷取線 130:輸出 202:控制閃光燈以照明場景且擷取第一光譜 204:在環境照明下擷取來自場景之第二光譜 206:判定第一光譜與第二光譜之間的一差
Figure 02_image001
208:進行色彩補償以判定場景之真實平均色彩
Figure 02_image003
210:使用真實彩色來估計環境照明之光譜
Figure 02_image005
212:對環境照明之類型進行分類 300:D65日光光譜 302:低CCT鹵素燈光譜 304:白色LED光譜 306:螢光燈光譜
圖1a及圖1b展示用於特徵化環境照明之一相機系統及該系統之一多光譜感測器之回應。
圖2展示用於特徵化環境照明之一程序。
圖3a至圖3d展示實例環境光光譜及其等對一色彩之光譜之效應。
圖4a至圖4i繪示判定一環境光光譜之步驟。
在圖式中，類似參考符號指示類似元件。
202:控制閃光燈以照明場景且擷取第一光譜
204:在環境照明下擷取來自場景之第二光譜
206:判定第一光譜與第二光譜之間的一差D TF
208:進行色彩補償以判定場景之真實平均色彩R T (λ)
210:使用真實彩色來估計環境照明之光譜R A (λ)
212:對環境照明之類型進行分類

Claims (15)

  1. 一種使用一相機系統來特徵化環境照明之方法，該相機系統具有用來擷取一場景之一視圖之一影像感測器、用來提供該場景之閃光燈照明之一閃光燈及用來在複數個波長通道中擷取來自該場景之光之一光譜之一多光譜感測器，該方法包括： 在除環境照明以外該閃光燈亦操作以照明該場景時，使用該多光譜感測器擷取來自該場景之光之一第一光譜(
    Figure 03_image007
    )； 在該閃光燈未操作且由該環境照明來照明該場景時，使用該多光譜感測器擷取來自該場景之光之一第二光譜(
    Figure 03_image009
    )； 判定表示一場景閃光燈光譜(
    Figure 03_image001
    )之在該第一光譜與該第二光譜之間的一差，其中該場景閃光燈光譜表示在沒有該環境照明之情況下由該閃光燈照明時之該場景之一光譜； 使用該閃光燈照明之一光譜(
    Figure 03_image083
    )補償該場景閃光燈光譜以判定一經色彩補償之場景閃光燈光譜(
    Figure 03_image085
    )，其中該經色彩補償之場景閃光燈光譜表示當針對該閃光燈照明之該光譜進行補償時之該場景之一平均反射率光譜；及 使用該經色彩補償之場景閃光燈光譜處理來自該場景之光之該第二光譜以估計該環境照明之一光譜(
    Figure 03_image087
    )。
  2. 如請求項1之方法，其中使用該經色彩補償之場景閃光燈光譜處理來自該場景之光之該第二光譜包括將表示在一組各自波長點之各者處之光之該第二光譜之一組值(
    Figure 03_image089
    )之各者除以在該各自波長點處之該經色彩補償之場景閃光燈光譜(
    Figure 03_image085
    )之一對應值。
  3. 如請求項1之方法，其中使用該經色彩補償之場景閃光燈光譜處理來自該場景之光之該第二光譜以估計該環境照明之一光譜包括將光之該第二光譜(
    Figure 03_image089
    )之一表示除以該經色彩補償之場景閃光燈光譜(
    Figure 03_image085
    )。
  4. 如請求項3之方法，其進一步包括針對該多光譜感測器之一回應(
    Figure 03_image017
    ；
    Figure 03_image047
    )補償該第一光譜及該第二光譜之各者。
  5. 如請求項1之方法，其中該多光譜感測器具有n 個波長通道，其中該第一光譜及該第二光譜由長度n 之各自第一光譜向量及第二光譜向量(
    Figure 03_image007
    ；
    Figure 03_image009
    )來表示，且其中判定該第一光譜與該第二光譜之間的該差包括將該第一光譜向量及該第二光譜向量之一者自另一者減去以判定一場景閃光燈光譜向量(
    Figure 03_image001
    )。
  6. 如請求項5之方法，其中該閃光燈照明之該光譜由長度m 之一閃光燈照明向量(
    Figure 03_image083
    )來表示，其中m 表示由該光譜定義之波長點之一數目；其中在各波長通道之該等波長點處之該多光譜感測器之一敏感度由一
    Figure 03_image091
    敏感度矩陣(
    Figure 03_image093
    )來定義；且其中使用該閃光燈照明之該光譜補償該場景閃光燈光譜包括將該場景閃光燈光譜向量(
    Figure 03_image001
    )乘以由該敏感度矩陣及該閃光燈照明向量之一組合定義之一矩陣(
    Figure 03_image017
    )以獲得表示該經色彩補償之場景閃光燈光譜之一經色彩補償之場景閃光燈光譜向量(
    Figure 03_image085
    )。
  7. 如請求項6之方法，其進一步包括將該第二光譜向量(
    Figure 03_image009
    )乘以該敏感度矩陣(
    Figure 03_image047
    )之一逆矩陣以獲得一經感測器補償之第二光譜向量(
    Figure 03_image089
    )，及將經感測器補償之第二光譜向量除以該經色彩補償之場景閃光燈光譜向量(
    Figure 03_image085
    )。
  8. 如請求項1至7中任一項之方法，其中該多光譜感測器具有至少四個波長通道。
  9. 如請求項1至7中任一項之方法，其進一步包括使用該環境照明之該經估計光譜來調適該相機的一RGB至CIE XYZ變換矩陣。
  10. 如請求項1至7中任一項之方法，其進一步包括使用該影像感測器來擷取一影像，以及i)使用該環境照明之該經估計光譜來對該影像進行色彩校正及/或ii)將表示該環境照明之該經估計光譜之資料與表示該經擷取影像之影像資料儲存在一起。
  11. 如請求項1至7中任一項之方法，其進一步包括處理該環境照明之該經估計光譜以將該環境照明分類成一組離散類別之一者，及由該相機取決於該環境照明之該類別控制影像擷取及影像處理之一或兩者。
  12. 如請求項1至7中任一項之方法，其進一步包括處理該環境照明之該經估計光譜以判定特徵化該環境照明之一色彩或色溫之照明資料，以及i)使用該照明資料來對該影像進行色彩校正及/或ii)將該照明資料與來自該影像感測器之影像資料儲存在一起。
  13. 如請求項1至7中任一項之方法，其進一步包括判定一色彩變換矩陣，其中該色彩變換矩陣包括經調適以補償該環境照明之該經估計光譜的自一RGB變換為一CIE XYZ色彩空間之一矩陣。
  14. 一種處理器控制程式碼或一種或多種儲存處理器控制程式碼之電腦可讀媒體，該處理器控制程式碼用來實施如請求項1至7中任一項之方法。
  15. 一種相機系統(100)，其包括： 一影像感測器(106)，其用來擷取一場景之一視圖； 一閃光燈(110)，其用來提供該場景之閃光燈照明； 一多光譜感測器(108)，其用來在複數個波長通道中擷取來自該場景之光之一光譜； 一影像處理子系統(120)，其經組態以： 在除環境照明以外該閃光燈亦操作以照明該場景時，使用該多光譜感測器擷取來自該場景之光之一第一光譜(
    Figure 03_image007
    )； 在該閃光燈未操作且由該環境照明來照明該場景時，使用該多光譜感測器擷取來自該場景之光之一第二光譜(
    Figure 03_image009
    )； 判定表示一場景閃光燈光譜(
    Figure 03_image001
    )之在該第一光譜與該第二光譜之間的一差，其中該場景閃光燈光譜表示在沒有該環境照明之情況下由該閃光燈照明時之該場景之一光譜； 使用該閃光燈照明之一光譜(
    Figure 03_image083
    )補償該場景閃光燈光譜以判定一經色彩補償之場景閃光燈光譜(
    Figure 03_image085
    )，其中該經色彩補償之場景閃光燈光譜表示當針對該閃光燈照明之該光譜進行補償時之該場景之一平均反射率光譜；及 使用該經色彩補償之場景閃光燈光譜處理來自該場景之光之該第二光譜以估計該環境照明之一光譜(
    Figure 03_image087
    )。
TW109129500A 2019-08-28 2020-08-28 使用一相機系統來特徵化環境照明之方法，電腦可讀媒體，及相機系統 TWI769509B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962892793P 2019-08-28 2019-08-28
US62/892,793 2019-08-28
GBGB2011144.9A GB202011144D0 (en) 2019-08-28 2020-07-20 Systems for characterizing ambient illumination
GB2011144.9 2020-07-20

Publications (2)

Publication Number Publication Date
TW202123684A true TW202123684A (zh) 2021-06-16
TWI769509B TWI769509B (zh) 2022-07-01

Family

ID=72339036

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109129500A TWI769509B (zh) 2019-08-28 2020-08-28 使用一相機系統來特徵化環境照明之方法，電腦可讀媒體，及相機系統

Country Status (7)

Country Link
US (1) US11863879B2 (zh)
EP (1) EP4022890A1 (zh)
KR (1) KR102621698B1 (zh)
CN (1) CN114208162A (zh)
GB (1) GB202011144D0 (zh)
TW (1) TWI769509B (zh)
WO (1) WO2021037934A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873117A (zh) * 2021-09-22 2021-12-31 Oppo广东移动通信有限公司 终端设备及色彩采集方法、存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115529420A (zh) * 2021-06-26 2022-12-27 荣耀终端有限公司 一种动态调节光谱传感器曝光参数的方法及电子设备
CN115701128A (zh) * 2021-07-29 2023-02-07 华为技术有限公司 一种图像处理方法及相关设备
CN115633260B (zh) * 2021-08-12 2024-06-07 荣耀终端有限公司 一种色度信息的确定方法及相关电子设备
KR20230045461A (ko) * 2021-09-28 2023-04-04 삼성전자주식회사 화이트 밸런스를 수행하는 영상 획득 장치 및 이를 포함하는 전자 장치
KR102667267B1 (ko) * 2022-01-03 2024-05-21 삼성전자주식회사 영상 획득 장치 및 이를 포함하는 전자 장치
CN115955611B (zh) * 2022-03-28 2023-09-29 荣耀终端有限公司 图像处理方法与电子设备
US20240073538A1 (en) * 2022-08-30 2024-02-29 Ford Global Technologies, Llc Image capture with varied illuminations

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7554586B1 (en) * 1999-10-20 2009-06-30 Rochester Institute Of Technology System and method for scene image acquisition and spectral estimation using a wide-band multi-channel image capture
JP2003057115A (ja) * 2001-08-14 2003-02-26 Nireco Corp カラー印刷機のインクの色彩測定装置
US7236195B2 (en) * 2001-11-06 2007-06-26 Rochester Institute Of Technology Method and system for optimizing a selection of spectral sensitivities
JP2004088243A (ja) * 2002-08-23 2004-03-18 Canon Inc 撮像装置及び撮像装置の制御方法及び装置
JP3838243B2 (ja) 2003-09-04 2006-10-25 ソニー株式会社 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
US7457477B2 (en) 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
US7454136B2 (en) * 2005-07-28 2008-11-18 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for acquiring HDR flash images
JP5196840B2 (ja) * 2007-04-26 2013-05-15 キヤノン株式会社 情報処理装置および方法
US20100020193A1 (en) * 2008-07-28 2010-01-28 Texas Instruments Incorporated Method and apparatus for white balance
US7995911B2 (en) * 2009-01-26 2011-08-09 Koninklijke Philips Electronics N.V. Matching led flash to camera's ambient light compensation algorithm
JP2011194082A (ja) * 2010-03-19 2011-10-06 Fujifilm Corp 内視鏡画像補正装置および内視鏡装置
US8629919B2 (en) * 2010-08-18 2014-01-14 Canon Kabushiki Kaisha Image capture with identification of illuminant
US9635274B2 (en) * 2011-06-15 2017-04-25 Microsoft Technology Licensing, Llc High resolution multispectral image capture
CN103079076B (zh) * 2013-01-22 2015-04-08 无锡鸿图微电子技术有限公司 自适应伽玛校正曲线的色彩校正矩阵的产生方法及装置
DE102013203429B4 (de) * 2013-02-28 2017-12-07 Osram Opto Semiconductors Gmbh Verfahren zum Beleuchten einer Umgebung, Beleuchtungsvorrichtung und Kamera mit Beleuchtungsvorrichtung
CN106576141A (zh) * 2014-05-20 2017-04-19 飞利浦照明控股有限公司 图像捕获系统、用于图像捕获系统的套件、移动电话、图像捕获系统的使用以及配置颜色匹配光源的方法
US9390487B2 (en) * 2014-10-20 2016-07-12 Microsoft Technology Licensing, Llc Scene exposure auto-compensation for differential image comparisons
CN105574525B (zh) * 2015-12-18 2019-04-26 天津中科虹星科技有限公司 一种复杂场景多模态生物特征图像获取方法及其装置
CN109690264B (zh) * 2016-07-28 2022-04-26 昕诺飞控股有限公司 用于基于摄像机的环境光估计的方法和系统
CN110114646A (zh) * 2016-12-27 2019-08-09 优鲁格斯股份有限公司 表观运动中的对象的动态超光谱成像
US10303920B2 (en) * 2017-07-09 2019-05-28 Lumenetix, Inc. Techniques for creating characterization matrices for reflectance, illuminance, or sensor response
US10567721B2 (en) * 2017-08-23 2020-02-18 Motorola Mobility Llc Using a light color sensor to improve a representation of colors in captured image data
US10853624B2 (en) * 2017-10-17 2020-12-01 Sony Corporation Apparatus and method
JP6971794B2 (ja) * 2017-11-14 2021-11-24 キヤノン株式会社 照明装置およびその制御方法
US10267677B1 (en) 2018-04-03 2019-04-23 Microsoft Technology Licensing, Llc Calibrated brightness estimation using ambient color sensors
US10648862B2 (en) * 2018-04-03 2020-05-12 Microsoft Technology Licensing, Llc Color sensing ambient light sensor calibration
CN114746728A (zh) * 2019-11-27 2022-07-12 ams传感器德国有限公司 环境光源分类

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873117A (zh) * 2021-09-22 2021-12-31 Oppo广东移动通信有限公司 终端设备及色彩采集方法、存储介质
CN113873117B (zh) * 2021-09-22 2024-06-07 Oppo广东移动通信有限公司 终端设备及色彩采集方法、存储介质

Also Published As

Publication number Publication date
US20220360756A1 (en) 2022-11-10
TWI769509B (zh) 2022-07-01
US11863879B2 (en) 2024-01-02
GB202011144D0 (en) 2020-09-02
WO2021037934A1 (en) 2021-03-04
EP4022890A1 (en) 2022-07-06
CN114208162A (zh) 2022-03-18
KR102621698B1 (ko) 2024-01-04
KR20220049582A (ko) 2022-04-21

Similar Documents

Publication Publication Date Title
TWI769509B (zh) 使用一相機系統來特徵化環境照明之方法，電腦可讀媒體，及相機系統
Nguyen et al. Training-based spectral reconstruction from a single RGB image
US20150062347A1 (en) Image processing methods for visible and infrared imaging
JP6257551B2 (ja) 色忠実環境補正装置および色忠実環境補正方法
US10200582B2 (en) Measuring device, system and program
US20090002545A1 (en) Method and system for color management in digital imaging
EP3888345B1 (en) Method for generating image data for machine learning based imaging algorithms
US7869019B2 (en) Device, method, and program for estimating light source
JP2000138948A (ja) カラ―映像処理装置及び方法
US20220412798A1 (en) Ambient light source classification
TWI551150B (zh) 電子照相機之自動白平衡之自動化自我訓練之裝置及方法
CN113194303B (zh) 图像白平衡方法、装置、电子设备和计算机可读存储介质
Nguyen et al. Raw-to-raw: Mapping between image sensor color responses
CN103108469A (zh) 控制照明装置输出光的方法及装置、照明系统
WO2015141233A1 (ja) 色忠実環境補正装置および色忠実環境補正方法
Kim et al. Characterization for high dynamic range imaging
JP6774788B2 (ja) 色調整装置および色調整システム
JP4692872B2 (ja) 画像処理装置、及び、プログラム
JP2011064637A (ja) 光源検出装置
US10154201B2 (en) Method for adjusting photographic images to higher resolution
KR20180040423A (ko) 이미지센서 자동 화이트밸런스 기반 공간 색온도 추정 시스템
JP2022006624A (ja) 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置
KR102556609B1 (ko) 조도변화와 빛의 반사에 따라 적응적으로 촬영영상을 보정하는 감시용 카메라의 촬영영상 보정장치 및 그 촬영영상 보정방법
Guarnera et al. Absolute colorimetric characterization of a dslr camera
TWI626394B (zh) 照明系統