TWI715142B - 影像感測裝置以及自動白平衡方法 - Google Patents

影像感測裝置以及自動白平衡方法 Download PDF

Info

Publication number
TWI715142B
TWI715142B TW108128119A TW108128119A TWI715142B TW I715142 B TWI715142 B TW I715142B TW 108128119 A TW108128119 A TW 108128119A TW 108128119 A TW108128119 A TW 108128119A TW I715142 B TWI715142 B TW I715142B
Authority
TW
Taiwan
Prior art keywords
image
infrared light
white balance
green
red
Prior art date
Application number
TW108128119A
Other languages
English (en)
Other versions
TW202107411A (zh
Inventor
蕭晶如
黃文聰
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW108128119A priority Critical patent/TWI715142B/zh
Priority to US16/983,183 priority patent/US11381796B2/en
Application granted granted Critical
Publication of TWI715142B publication Critical patent/TWI715142B/zh
Publication of TW202107411A publication Critical patent/TW202107411A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

一種應用在影像感測裝置的自動白平衡方法，由一影像訊號處理器執行自動白平衡，通過一紅綠藍紅外光感測元件接收具有紅、綠、藍與紅外光通道的影像資訊的影像，還原其中紅、綠、藍與紅外光通道的影像資訊，再根據影像中紅外光通道的影像資訊產生調整影像中紅、綠、藍通道影像數值中紅外光的權重值，執行一紅外光權重分配後，可降低紅外光造成對白平衡的影響，接著對影像中紅、綠、藍色通道的影像數值執行紅外光加權演算，得出一組白平衡增益值，即據此執行自動白平衡，得到經過紅外光串音補償的影像。

Description

影像感測裝置以及自動白平衡方法
一種影像感測器，特別是關於一種具有白平衡功能的影像感測裝置，以及運行其中的自動白平衡方法。
在習知技術中，一般常見為感測紅(Red)、綠(Green)與藍(Blue)等色彩通道的影像感測器，更進一步有影像感測器採用加入感測近紅外光(Near-infrared)通道的色彩濾波陣列(CFA)，可稱為RGBIr感測元件，相較於一般RGB感測元件，這種RGBIr感測元件除了可在低光源環境下能夠輸出更明亮的影像，其中感應的紅外光影像(IR影像)亦能應用在人臉辨識(Face Recognition)、背景虛化(Bokeh)的影像處理程序中。
然而在處理紅、綠、藍與近紅外光的光譜時，這些色彩通道會有重疊的情況。例如，當環境為具有高紅外光成分之光能量時，物體顏色就會受到紅外光串音(IR Crosstalk)干擾，發生色彩偏移的色彩流失(color washout)現象。因此在採用此類RGBIr感測元件的影像訊號處理器(Image Signal Processor,ISP)中，還原色彩準確性的紅外光串音補償(IR Crosstalk Compensation)為最重要課題之一。
現行技術中，有方法是對於紅、綠、藍(RGB)等通道的信號值分別扣除一定比例之紅外光(Ir)信號值，不過在此為了紅外 光串音補償的目的下，也會影響色彩表現的白平衡(white balance)，無法準確地校正色彩。
所述色彩白平衡，不同於人眼能夠自動適應不同環境色溫下的色彩，對於一個影像處理系統而言，在未經過白平衡處理的情況下，所處理的色彩容易被不同環境色溫影響，因此，以白色為例，戶外太陽光下的白色會偏藍色，低色溫燈泡下的白色則會偏黃色。因此在數位訊號處理器中，即是通過自動白平衡技術補償在不同色溫下的白色，以校正整體色彩。
習知的白平衡演算法有灰度世界法(Gray World)和完美反射法(Perfect Reflector)。其中，灰度世界法假設整張影像的紅、綠、藍(RGB)三個分量之平均值會趨近於同一個灰度值(gray scale)，但是當影像的色彩過於單一化時，白平衡的結果就容易受到這個單一色彩的影響。所述完美反射法假設影像中擁有最大亮度值之像素為白色，以此像素為參考值對影像進行校正，然而當影像最亮的像素不是白色時，白平衡就會出現錯誤。特別的是，習知白平衡技術容易因為環境或紅外光的影響，而使結果產生偏差。
為了要處理在自動白平衡程序中可能被影像中紅外光訊息影響的問題，揭露書公開一種影像感測裝置，以及其中運行的自動白平衡方法，能夠有效解決影像色彩被紅外光串音(IR Crosstalk)的影響而發生色彩偏移的問題，並進一步在後續自動白平衡後，可以得出更好的影像。
根據實施例之一，所述自動白平衡方法應用於一影像感測裝置，影像感測裝置包括一紅綠藍紅外光感測元件(RGBIr photo sensor)，其中具有可以同時擷取紅、綠、藍與紅外光通道影像資訊的一色彩濾波陣列，裝置包括一影像訊號處理器，用以執行揭露書所提出的自動白平衡方法。
在此方法中，通過紅綠藍紅外光感測元件接收具有紅、綠、藍與紅外光通道的影像資訊的影像，先還原具有紅、綠、藍與紅外光通道的影像資訊，再根據影像中紅外光通道的影像資訊產生調整影像中紅、綠、藍通道影像數值的權重值，經執行一紅外光權重分配後，調整了影像中紅、綠、藍通道的影像資訊中的紅外光的權重值，再對影像中紅、綠、藍色通道的數值執行紅外光加權演算，可得出一組白平衡增益值，這就是經過考量紅外光串音影響的白平衡增益值，據此執行自動白平衡後，可輸出經過紅外光串音補償以及自動白平衡的影像。
進一步地，在進行白平衡演算前，在方法中，可以依照硬體處理能力分割影像為多個統計視窗，以每個視窗中紅、綠、藍與紅外光通道的數值的平均值作為視窗每個通道的影像資訊。
進一步地，在所述紅外光加權演算步驟中，可計算每個統計視窗中之像素平均值，分別得出各統計視窗中的紅、綠、藍色通道的影像數值，再對影像中紅、綠、藍色通道的數值執行紅外光加權演算，得出白平衡增益值，包括紅色通道白平衡增益值、綠色通道白平衡增益值與藍色通道白平衡增益值。
進一步地，於取得影像中紅外光通道的影像資訊後，在一實施例，可以影像中的紅外光通道的數值的平均值作為一全域紅外光數值，能根據與全域紅外光數值的比例關係分配各統計視窗的紅外光權重，以對影像中紅、綠、藍色通道的數值執行紅外光加權演算。
為了能更進一步瞭解本發明為達成既定目的所採取之技術、方法及功效，請參閱以下有關本發明之詳細說明、圖式，相信本發明之目的、特徵與特點，當可由此得以深入且具體之瞭解，然而所附圖式僅提供參考與說明用，並非用來對本發明加以限制者。
10‧‧‧影像資訊
12‧‧‧紅外光串音補償模組
14‧‧‧白平衡統計模組
16‧‧‧紅外光加權模組
18‧‧‧白平衡模組
20‧‧‧影像
40‧‧‧白區
步驟S201~S213‧‧‧過紅外光串音補償的白平衡流程
步驟S301~S309‧‧‧白平衡統計流程
步驟S501~S505‧‧‧定義白平衡權重值
圖1顯示為紅綠藍紅外光感測元件內擷取白平衡統計資訊的系統示意圖；圖2顯示經過紅外光串音補償的自動白平衡方法流程實施例；圖3顯示白平衡統計的實施例流程圖；圖4顯示白平衡統計值分布與白區示意圖；圖5顯示根據紅外光含量作自動白平衡時紅外光權重分配的方法實施例流程；圖6所示說明權重值定義的範例示意圖；圖7A顯示一張影像中統計視窗中紅外光含量的示意圖；圖7B顯示賦予各視窗權重的示意圖。
揭露書公開一種影像感測裝置以及運行於影像感測裝置的自動白平衡(white Balance)方法，在此自動白平衡的方法中，採用數位影像處理的技術，目的之一是能夠將影像色彩校正為人眼在真實場景所見之色彩，相關影像感測裝置可廣泛運用在各種產品，特別是使用可同時擷取可見光(紅R、綠G、藍B)與紅外光(infrared)之色彩濾波陣列(Color Filter Array,CFA)的影像感測裝置的產品，例如：數位相機、智慧型手機、筆記型電腦或個人電腦上的照相模組，與應用在保全設備的影像監控系統等。其中紅外光可指一種波長大於700nm的近紅外光(Near-infrared)。
在影像感測裝置中，其中包括紅綠藍紅外光感測元件(簡稱RGBIr感測元件)，此感測元件具有可同時擷取可見光(R、G、B)與紅外光/近紅外光通道影像資訊的色彩濾波陣列(CFA)，這類影像感測元件中的紅、綠、藍與紅外光的光譜會有重疊的情況，因此影像色彩可能因為紅外光串音(IR Crosstalk)的影響而發生色彩偏移，若在此執行習知的紅外光串音補償，又會影響色彩白平衡，而無法準確地校正色彩，揭露書所提出運行於影像感測裝置 的白平衡方法可以讓採用RGBIr感測元件產生的影像色彩更接近人眼所見的真實影像。
所述應用在影像感測裝置的自動白平衡方法可先採用灰度世界法的概念，統計輸入至影像感測裝置的影像中的所有像素，來計算當前的灰度值。其中基於硬體設計的考量，會將影像分割為M*N個視窗，再計算每個視窗內影像數值的色彩平均值，以此M*N個統計資訊在色彩空間上的座標計算白平衡的增益值。在一實施例中，為了達到更好的自動白平衡效果，可預先校正一色溫曲線，代表的是白色在不同色溫下的分布趨勢，接著定義涵蓋此曲線之區域(簡稱白區)，當統計值落於白區之內，才會納入計算最後的白平衡增益值。
圖1顯示為在揭露書提出的自動白平衡方法中紅綠藍紅外光感測元件內擷取白平衡統計資訊的系統示意圖，其中顯示之功能模組可以軟體搭配硬體處理器(影像訊號處理器)實現，執行自動白平衡。由於紅外光串音補償中的演算法設計與參數調整會造成不同程度的色彩還原效果，也可能會干擾到白平衡統計資訊的準確性，其中可能是白平衡統計資訊可能被紅外光串音補償影響，或是白平衡統計影響了紅外光補償機演算與參數調整。其中經過紅外光串音補償的自動白平衡方法的流程可同時參考圖2顯示的實施例流程圖。
在避免最後輸出影像有不當偏差的前提下，揭露書所提出的自動白平衡方法由影像感測裝置中的一影像訊號處理器執行，先接收到一影像，其中具備紅(R)、綠(G)、藍(B)與紅外光(IR)通道的影像資訊10(步驟S201)，之後，先還原出影像資訊10在特定色彩空間(如紅綠藍色彩空間)下的紅、綠、藍色彩資訊(步驟S203)，此例經還原得出紅、綠、藍三個通道的色彩後，才交給白平衡統計模組14繼續處理白平衡統計(步驟S205)。
其中，可將輸入影像分割為M*N個視窗，對每個紅、綠、藍 與紅外光通道的影像數值計算色彩平均值，作為每個視窗的各通道影像資訊(R、G、B、Ir)，再以此M*N個統計資訊在色彩空間上的座標計算白平衡的增益值。
接著，根據對影像中紅、綠、藍色通道的影像數值進行白平衡統計，得出影像像素的白平衡統計分布，可以定義出一個白區(如圖4，40)，當像素的白平衡統計值落於此白區之內，理想中的白區內的像素值可是真實世界中的灰色，因此根據白區內之所有統計資訊，得出最終的白平衡統計值。
然而真實世界中高紅外光含量的影像，例如天空與樹葉，經過所述紅外光串音補償模組12的處理之後，受到紅外光串音補償多寡的影響，紅、綠、藍色通道的色彩值之間的比例會跟著變化，使得統計資訊之位置會因此產生偏差，若因偏差而落入白區(如圖4，40)，將會使白平衡計算結果錯誤。因此在圖2所示的系統中，提出一紅外光加權模組16，能在進行自動白平衡時，能根據影像資訊10中各像素的紅外光通道的影像資訊作紅外光權重分配，調整各統計視窗中紅、綠、藍通道中紅外光影像數值的比例，以通過比例分配的方法降低紅外光造成影像偏差的影響。
因此，在圖2的整體流程中，在進行實質自動白平衡的步驟前，先將影像中紅外光通道的影像資訊10經過紅外光串音補償模組12中紅外光加權模組16的處理，以降低影像資訊被紅外光串音的干擾，如步驟S207，應用紅外光加權模組16執行紅外光加權演算，根據像素中紅外光的含量，通過調整影像資訊中紅外光的權重值，來降低紅外光造成對白平衡的影響。
再如步驟S209，根據取得各視窗的紅外光權重值後，執行紅外光權重分配，也就是藉由調整影像資訊中各紅、綠、藍通道影像數值中紅外光的比例(權重值)，重新計算每個統計視窗的紅(R)數值的總和、綠(G)數值的總和，以及藍(B)數值的總和，並據此得出一組白平衡增益值(G/R、G/B)，包括紅色通道白平衡增 益值、綠色通道白平衡增益值與藍色通道白平衡增益值，這是提供白平衡模組18進行白平衡演算(步驟S211)，可以將每個像素的影像值乘上白平衡增益值，就完成自動白平衡。最後得出正確的影像20(步驟S213)。
舉例來說，可將紅外光含量相對高的影像數值(或切割後的視窗)賦予相對低的紅外光權重，反之，將紅外光含量相對低的影像數值(或視窗)賦予相對高的紅外光權重，之後輸出經過白平衡處理的影像時，可以有效降低或排除紅外光影響，以得出經紅外光串音補償與白平衡處理的影像20。
在上述根據白平衡統計得出白平衡增益值的步驟中，可參考圖3所示白平衡統計的實施例流程圖，以及圖4顯示的白平衡統計值分布與白區示意圖。
所述白平衡統計模組14將特定色彩空間中的色彩資訊分割為多個視窗，例如在紅綠藍色彩空間中將紅綠藍色通道的色彩資訊分割為M*N等多個視窗(步驟S301)，其中分割視窗的數量將視硬體處理能力而定，並非限定在特定數量。藉此可以計算每個視窗中之像素平均值，分別得出各統計視窗中的紅、綠、藍色通道的影像資訊，表示為Rmean、Gmean、Bmean(步驟S303)。
根據預先定義之色彩空間，例如：Cb、Cr色域(Cb和Cr為藍色和紅色的濃度偏移量成份)或是G/R、G/B空間，在每個分割視窗中可以接著計算並得出其中色彩中的白色在白區的分布(步驟S305)。分布座標圖可參考圖4，以白區40分布顯示是白色在不同色溫下的分布趨勢，接著定義涵蓋此曲線之區域(即白區40)，當像素的白平衡統計值落於白區之內，才會納入計算最後的白平衡增益值。
於是，根據這個分布趨勢，進而定義出更理想的白區範圍(步驟S307)，以得到較佳的白平衡結果影像。理想中白區內的值會是真實世界中的灰色，因此可根據白區內之所有統計資訊得到最終 的白平衡增益值(步驟S309)，其中實施例之一是將其中白平衡統計值加總而平均，作為最終的白平衡增益值。
當揭露書所提出應用自動白平衡方法的系統中，應用紅外光加權模組(圖1，16)執行紅外光加權演算(可參考圖2步驟S211)，可參考圖5顯示在自動白平衡方法中根據紅外光含量作權重分配的方法實施例流程，其中描述可以同時參考圖6、圖7A與圖7B等示意圖說明。
首先得出輸入至系統(如圖1)的影像資訊中的紅外光含量，也就是經過紅綠藍紅外光感測元件感測到的紅外光(IR)通道的值，進一步得出影像中全域紅外光含量(IRglobal)(步驟S501)，系統可以提出一個紅外光比例查表，其中規範出紅外光含量與權重相對全域紅外光數值的比例關係(步驟S503)，以能據此定義出每個統計視窗的白平衡權重值(weight)，這是用來調整每個統計視窗中紅、綠、藍通道中影像資訊的紅外光比例，藉此降低紅外光對後續自動白平衡的影響(步驟S505)。
值得一提的是，在得出白平衡權重值的計算過程中，雖可以整張影像中的紅外光數值的平均值作為全域紅外光數值(IRglobal)，但仍不排除可以參考一張影像的某些部分而計算權重，例如影像畫面的中間區域，或是選擇特定部分來計算權重。
此時可參考圖6所示說明權重值定義的範例示意圖，輸入至此系統的影像分割為多個計算統計值的視窗，每個統計視窗的權重值分配可以參考圖6，根據圖中比例可建立上述紅外光比例查表，以輸入影像的全域紅外光數值(IRglobal)作為參考基準，得出每個統計視窗的紅外光權重分配，以對影像中紅、綠、藍色通道的數值執行紅外光加權演算。舉例來說，當某個統計視窗的紅外光含量在0到0.5倍的全域紅外光數值(IRglobal)範圍時，如圖所示範例的第一個區間，設其權重為3(weight=3)；當某個統計視窗的紅外光含量在0.5倍到1倍的全域紅外光含量(IRglobal)範圍 時，如此所示範例的第二區間，設權重為2(weight=2)；同理，若某個統計視窗的紅外光含量在1倍到2倍的全域紅外光含量(IRglobal)範圍，則權重為1(weight=1)，並能以此類推。因此當統計視窗的紅外光含量高所述全域紅外光含量(IRglobal)時，可賦予較低的權重，目的即為降低高紅外光含量統計視窗所造成的影響，並能隨著場景變化，動態地根據當前全域紅外光含量(IRglobal)分配不同權重，不須根據場景調整不同參數。
可參考圖7A與圖7B分別顯示的統計視窗紅外光含量與賦予各視窗權重的範例示意圖。
圖中以一5乘5分割影像得出統計視窗為範例，圖7A顯示一張輸入影像中的紅外光含量圖，影像依照需求與硬體處理能力分割為5乘5的視窗，先行取得通過影像感測裝置的紅綠藍紅外光感測元件得到的紅外光含量，經計算每個視窗中多個具有紅外光含量的像素的平均或是特定統計值，據此得到每個視窗的紅外光含量(IR值)。
接著，依照圖6範例以及圖5所描述紅外光含量與權重的比例關係形成的查表，可以得出圖7B所示每個視窗對應的權重值。
根據以上所述實施例，圖2所描述的紅外光加權模組16得出如圖7B所顯示每個視窗的權重值，可用來降低紅外光造成對白平衡的影響，最後通過白平衡模組18得出正確的影像20，相關實施方式可以參考以下演算過程。
經得出一張影像中落於白區的視窗統計值，依照上述圖5與圖6實施例所描述的方式執行權重分配，於調整影像中紅外光通道的影像資訊的權重值之後，即能得到每個視窗的紅(R)數值的總和、綠(G)數值的總和，以及藍(B)數值的總和，實施例可參考方程式1、2與3。
Rtotal=W11*R11mean+W12*R12mean+...+W55*R55mean (方程式1)
Gtotal=W11*G11mean+W12*G12mean+...+W55*G55mean (方程式 2)
Btotal=W11*B11mean+W12*B12mean+...+W55*B55mean (方程式3)
參考圖7B，方程式1,2與3中的W11,W12,W13,W14,W15,W21,...,W55代表25個統計視窗的權重；R11mean至R55mean代表統計視窗紅色平均值；G11mean至G55mean代表統計視窗綠色平均值；B11mean至B55mean代表統計視窗藍色平均值。
當得出每個視窗的紅、綠與藍色總和(或特定統計值)，可以對應得出整張影像的白平衡增益值，以統計視窗中綠色通道數值總和為基準(設為1)，如方程式4與方程式5分別所示，計算出紅色與藍色白平衡增益值。
Rgain=Gtotal/Rtotal (方程式4)
Bgain=Gtotal/Btotal (方程式5)
當得出影像的白平衡增益值後，可以將每個像素的影像值乘上白平衡增益值，就完成自動白平衡。
如此，所述應用在影像感測裝置中的，應用在紅綠藍紅外光感測元件中的自動白平衡方法可以有效減少紅外光串音對白平衡統計資訊之干擾，並在白平衡處理的演算法中，也能降低紅外光串音還原影像的準確性不佳的影響。
綜上所述，根據以上所揭露的影像感測裝置以及其中自動白平衡方法，當白平衡技術應用在紅綠藍紅外光感測元件(簡稱RGBIr感測元件)時，其中紅外線資訊會產生干擾，進一步影響色彩還原的正確性，因此所提出的自動白平衡方法就是以紅外光串音補償機制降低紅外光串音造成的影響，以還原出更為準確的色彩的影像。
惟以上所述僅為本發明之較佳可行實施例，非因此即侷限本發明之專利範圍，故舉凡運用本發明說明書及圖示內容所為之等效結構變化，均同理包含於本發明之範圍內，合予陳明。
S201‧‧‧接收影像資訊
S203‧‧‧還原紅綠藍色彩資訊
S205‧‧‧執行白平衡統計
S207‧‧‧調整影像資訊中紅外光的權重值
S209‧‧‧執行紅外光權重分配，得出白平衡增益值
S211‧‧‧白平衡演算
S213‧‧‧輸出影像

Claims (10)

  1. 一種自動白平衡方法，應用於一影像感測裝置，該自動白平衡方法包括：接收具有紅、綠、藍與紅外光通道的影像資訊的一影像；還原該具有紅、綠、藍與紅外光通道的影像資訊為在一紅、綠、藍色彩空間的色彩資訊；根據該影像中紅外光通道的影像資訊產生調整影像中紅、綠、藍通道影像數值的權重值，經執行一紅外光權重分配後，調整該影像中紅、綠、藍通道的影像資訊中的紅外光的權重值，藉此降低紅外光造成對白平衡的影響；對該影像中紅、綠、藍色通道的數值執行紅外光加權演算，得出一組白平衡增益值；以及執行一自動白平衡，將該影像中每個紅、綠、藍色通道數值乘上該組白平衡增益值，輸出經自動白平衡的影像。
  2. 如請求項1所述的自動白平衡方法，其中該影像感測裝置採用一紅綠藍紅外光感測元件，包括同時擷取可見光與紅外光的一色彩濾波陣列，在進行白平衡演算前，分割該影像為多個統計視窗，以每個視窗中紅、綠、藍與紅外光通道的數值的平均值作為該視窗每個通道的影像資訊。
  3. 一種影像感測裝置，包括：一紅綠藍紅外光感測元件，其中具有一可同時擷取紅、綠、藍與紅外光通道影像資訊的一色彩濾波陣列；以及一影像訊號處理器，以該影像訊號處理器執行一自動白平衡方法，該方法包括：通過該紅綠藍紅外光感測元件接收具有紅、綠、藍與 紅外光通道的影像資訊的一影像；還原該具有紅、綠、藍與紅外光通道的影像資訊為在一紅、綠、藍色彩空間的色彩資訊；根據該影像中紅外光通道的影像資訊產生調整影像中紅、綠、藍通道影像數值的權重值，經執行一紅外光權重分配後，調整該影像中紅、綠、藍通道的影像資訊中的紅外光的權重值，藉此降低紅外光造成對白平衡的影響；對該影像中紅、綠、藍色通道的數值執行紅外光加權演算，得出一組白平衡增益值；以及執行一自動白平衡，將該影像中每個紅、綠、藍色通道數值乘上該組白平衡增益值，輸出經自動白平衡的影像。
  4. 如請求項3所述的影像感測裝置，其中，在進行白平衡演算前，分割該影像為多個統計視窗，以每個視窗中紅、綠、藍與紅外光通道的數值的平均值作為該視窗每個通道的影像資訊。
  5. 如請求項4所述的影像感測裝置，其中，於取得該影像中紅外光通道的影像資訊後，以該影像中的紅外光通道的數值的平均值作為一全域紅外光數值，根據一紅外光比例查表得出各統計視窗的該紅外光權重分配，以對該影像中紅、綠、藍色通道的數值執行紅外光加權演算。
  6. 如請求項4所述的影像感測裝置，其中，於該紅外光加權演算步驟中，係計算每個統計視窗中之像素平均值，分別得出各統計視窗中的紅、綠、藍色通道的影像數值，再對該影像中紅、綠、藍色通道的數值執行紅外光加權演算，得出該組白平衡增益值。
  7. 如請求項6所述的影像感測裝置，其中該組白平衡增益值包括一紅色通道白平衡增益值、一綠色通道白平衡增益值與一藍色通道白平衡增益值。
  8. 如請求項7所述的影像感測裝置，其中，於取得該影像中紅外光通道的影像資訊後，以該影像中的紅外光通道的數值的平均值作為一全域紅外光數值，根據一紅外光比例查表得出各統計視窗的該紅外光權重分配，以對該影像中紅、綠、藍色通道的數值執行紅外光加權演算。
  9. 如請求項7所述的影像感測裝置，其中該於調整該影像中紅外光通道的影像資訊的權重值之後，分別得出每個視窗的紅、綠、藍色通道的數值總和，以綠色通道的數值總和為基準，作為該綠色通道白平衡增益值，接著計算該紅色通道白平衡增益值與該藍色通道的白平衡增益值。
  10. 如請求項9所述的影像感測裝置，其中，於取得該影像中紅外光通道的影像資訊後，以該影像中的紅外光通道的數值的平均值作為一全域紅外光數值，根據一紅外光比例查表得出各統計視窗的該紅外光權重分配，以對該影像中紅、綠、藍色通道的數值執行紅外光加權演算。
TW108128119A 2019-08-07 2019-08-07 影像感測裝置以及自動白平衡方法 TWI715142B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108128119A TWI715142B (zh) 2019-08-07 2019-08-07 影像感測裝置以及自動白平衡方法
US16/983,183 US11381796B2 (en) 2019-08-07 2020-08-03 Image-sensing device and method for auto white balance therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108128119A TWI715142B (zh) 2019-08-07 2019-08-07 影像感測裝置以及自動白平衡方法

Publications (2)

Publication Number Publication Date
TWI715142B true TWI715142B (zh) 2021-01-01
TW202107411A TW202107411A (zh) 2021-02-16

Family

ID=74499058

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108128119A TWI715142B (zh) 2019-08-07 2019-08-07 影像感測裝置以及自動白平衡方法

Country Status (2)

Country Link
US (1) US11381796B2 (zh)
TW (1) TWI715142B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11653105B2 (en) * 2020-12-02 2023-05-16 Texas Instmments Incorporated Intensity separated local white balance correction
CN113115014B (zh) * 2021-04-15 2023-07-18 北京有竹居网络技术有限公司 图像处理方法、装置、设备、介质和计算机程序产品
US20220385873A1 (en) * 2021-05-28 2022-12-01 Qualcomm Incorporated Infrared-based processing of an image
CN115643490A (zh) * 2022-09-07 2023-01-24 深圳市汇顶科技股份有限公司 图像串扰补偿方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872510A (zh) * 2016-04-25 2016-08-17 浙江大华技术股份有限公司 一种图像白平衡处理方法及装置
CN105898260A (zh) * 2016-04-07 2016-08-24 广东欧珀移动通信有限公司 一种调节摄像头白平衡的方法及装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4033140B2 (ja) * 2004-02-10 2008-01-16 カシオ計算機株式会社 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム
US20050270383A1 (en) * 2004-06-02 2005-12-08 Aiptek International Inc. Method for detecting and processing dominant color with automatic white balance
US7964835B2 (en) * 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
JP2008131292A (ja) * 2006-11-20 2008-06-05 Olympus Corp 撮像装置
JP4751428B2 (ja) * 2008-08-12 2011-08-17 株式会社東芝 画像処理装置及びイメージセンサ
JP5432075B2 (ja) * 2010-07-06 2014-03-05 パナソニック株式会社 撮像装置および色温度算出方法
DE102010041569B4 (de) * 2010-09-28 2017-04-06 Leica Geosystems Ag Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem
JP6051605B2 (ja) * 2012-06-13 2016-12-27 ソニー株式会社 表示装置、および表示制御方法、並びにプログラム
JP6029954B2 (ja) * 2012-11-30 2016-11-24 クラリオン株式会社 撮像装置
US20140253705A1 (en) * 2013-03-07 2014-09-11 Boston Scientific Scimed, Inc. Adaptive spectral-composition control
CN104113743B (zh) 2013-04-18 2017-09-15 深圳中兴力维技术有限公司 低照度下彩色摄像机自动白平衡处理方法及装置
JP6200687B2 (ja) * 2013-05-10 2017-09-20 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
JP6291048B2 (ja) * 2014-06-24 2018-03-14 マクセル株式会社 撮像処理装置および撮像処理方法
JP6643250B2 (ja) * 2014-12-18 2020-02-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、およびプログラム
US9674466B2 (en) * 2015-02-26 2017-06-06 Dual Aperture International Co., Ltd. Hybrid image correction for dual-aperture camera
US9386230B1 (en) * 2015-06-12 2016-07-05 Google Inc. Day and night detection based on one or more of illuminant detection, lux level detection, and tiling
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
ITUB20159348A1 (it) * 2015-12-21 2017-06-21 Univ Degli Studi Di Roma La Sapienza 00185 Roma / It PRODUZIONE DI NANOSTRUTTURE COMPOSITE A BASE GRAFENE OTTENUTE MEDIANTE CRESCITA IN SOSPENSIONE DI NANOROD E MICROROD DI ZnO SU FIOCCHI DI GNP NON SUPPORTATI
WO2017186071A1 (en) * 2016-04-25 2017-11-02 Zhejiang Dahua Technology Co., Ltd. Methods, systems, and media for image white balance adjustment
CN108600725B (zh) * 2018-05-10 2024-03-19 浙江芯劢微电子股份有限公司 一种基于rgb-ir图像数据的白平衡校正装置及方法
TWI698010B (zh) * 2018-08-09 2020-07-01 大陸商廈門星宸科技有限公司 用以控制影像擷取裝置的電路及相關的控制方法
US11212498B2 (en) * 2018-12-11 2021-12-28 Intel Corporation Infrared crosstalk correction for hybrid RGB-IR sensors
US20200228769A1 (en) * 2019-01-11 2020-07-16 Qualcomm Incorporated Lens rolloff assisted auto white balance
KR102610542B1 (ko) * 2019-03-07 2023-12-07 삼성전자주식회사 적외선 센서를 이용하여 이미지 데이터의 색상을 조절하기 위한 전자 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898260A (zh) * 2016-04-07 2016-08-24 广东欧珀移动通信有限公司 一种调节摄像头白平衡的方法及装置
CN105872510A (zh) * 2016-04-25 2016-08-17 浙江大华技术股份有限公司 一种图像白平衡处理方法及装置

Also Published As

Publication number Publication date
US11381796B2 (en) 2022-07-05
TW202107411A (zh) 2021-02-16
US20210044785A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
TWI715142B (zh) 影像感測裝置以及自動白平衡方法
US11849224B2 (en) Global tone mapping
US10070104B2 (en) Imaging systems with clear filter pixels
CN112399163B (zh) 图像感测装置以及自动白平衡方法
EP3138283B1 (en) Automatic white balancing with chromaticity measure of raw image data
US10074165B2 (en) Image composition device, image composition method, and recording medium
CN112752023B (zh) 一种图像调整方法、装置、电子设备及存储介质
KR102287944B1 (ko) 영상 출력 장치 및 영상 출력 방법
EP3888345B1 (en) Method for generating image data for machine learning based imaging algorithms
US20190320152A1 (en) White balance calibration method based on skin color data and image processing apparatus using the same
US9066072B2 (en) Systems and methods for calibrating image sensors
US20160171697A1 (en) Method and system of run-time self-calibrating lens shading correction
CN104113743A (zh) 低照度下彩色摄像机自动白平衡处理方法及装置
US9866764B2 (en) Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
US11457189B2 (en) Device for and method of correcting white balance of image
WO2023036034A1 (zh) 图像处理方法及其相关设备
WO2023016468A1 (zh) 解马赛克方法、电子设备及存储介质
CN107635124A (zh) 人脸拍摄的白平衡处理方法、装置及设备
TWM458747U (zh) 影像處理模組
KR102697348B1 (ko) 영상의 화이트 밸런스 보정을 수행하는 장치 및 방법
CN115550575B (zh) 图像处理方法及其相关设备
CN110248169B (zh) 用于Bayer域的绿通道不平衡的图像校正方法及其图像校正系统
EP3794818B1 (en) Environmental-based spatial color uniformity correction by using statistical distribution of camera modules
WO2022198436A1 (zh) 图像传感器、图像数据获取方法、成像设备
KR20150076872A (ko) 렌즈 쉐이딩 보정 방법, 그것을 이용하는 영상 신호 처리 장치 및 이미지 센서 시스템