TWI743628B - 影像過曝修正方法與電路系統 - Google Patents
影像過曝修正方法與電路系統 Download PDFInfo
- Publication number
- TWI743628B TWI743628B TW108146380A TW108146380A TWI743628B TW I743628 B TWI743628 B TW I743628B TW 108146380 A TW108146380 A TW 108146380A TW 108146380 A TW108146380 A TW 108146380A TW I743628 B TWI743628 B TW I743628B
- Authority
- TW
- Taiwan
- Prior art keywords
- channel
- value
- channel value
- image
- overexposed
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000003702 image correction Methods 0.000 title abstract 3
- 238000012937 correction Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 15
- 238000003705 background correction Methods 0.000 description 16
- 238000013507 mapping Methods 0.000 description 12
- 230000000717 retained effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
一種影像過曝修正方法與電路系統,電路系統主要包括一影像處理器,經接收影像訊息後,對輸入影像中的過曝區域執行一影像過曝修正方法,方法包括判斷影像中的過曝區域,依照過曝區域的各像素的各通道值給予各像素個別的權重,再根據過曝區的影像飽和度較低的預期,對過曝區域中的各像素的通道值執行一自動白平衡,除了第一通道值外,逐一以週邊像素估算出當前像素的第二通道值與第三通道值,能根據過曝區域中各像素個別的權重,計算出當前像素的第一通道值的修正值,此修正值能讓過曝區的各像素的通道值之間的變異量為最小。
Description
本發明關於一種影像過曝處裡的技術,特別是指處理影像中過曝區域並執行各通道權重分配避免色偏,而不處理非過曝區域而保留細節資訊的影像過曝修正方法與應用方法的電路系統。
根據習知影像處理技術,影像處理流程(Pipeline)中會經過增益調整,經過增益的處理後,針對影像過曝(Overexposure)的部分會執行一修剪(Clip)的處理,將超過某個門檻的亮度值減除,但此修剪方式可能會讓原本在接近過曝的區域通過彩色濾光陣列(CFA)的影像上還可以看到資訊,因此處理方式造成細節損失,因此發展出例如色調映射(Tone Mapping)、高動態範圍成像(High Dynamic Range,HDR)等技術。
其中,高動態範圍成像的技術為拍攝時同時拍攝多張不同曝光設定的影像,再合成為一張影像,可以解決高反差與曝光不均勻的問題,然而,高動態範圍成像需要特別的感測器,也就是說所需成本較高,每張影像處理時間也比較長。
在影像處理器(ISP)設計中,對於取得的影像有許多乘上增益的模組,例如圖1顯示的影像處理模組示意圖,包含有鏡頭陰影校正(Lens Shading Correction,LSC)模組101與自動白平衡(Auto White Balance,AWB)模組103等模組。其中,由於相關裝置的鏡頭的光學特性可能使得影像感測器中心部分接收到的光線比周邊強,導致影像中心與周邊的亮度不一致,此鏡頭陰影校正模組101能解決鏡頭對於光線折射不均導致鏡頭周邊出現陰影的問題;自動白平衡模組103則能根據所接收到的光線屬性自動判斷出合適的白平衡參數。經各模組增益調整後擴充了需要保留的精度(Precision),可用影像中每個像素深度(位元數(bits))表達精度,最終在透過色調映射(Tone Mapping)模組105的處理下將亮度重新分配降回原始精度。但在色調映射過程中,在影像中過曝的區域,若沒有特殊的處理方式,有可能會導致降回原始精度後的過曝區域有色偏現象(Color Deviation)。
以通過鏡頭陰影校正、自動白平衡與色調映射處理的影像為例,其中,因為鏡頭陰影校正會根據與影像中心的距離的不同給予不同的增益,容易造成不同區域的動態範圍差異。舉例來說,一張輸入影像在鏡頭陰影校正的處理過程中,靠近中心的部分將使用較小增益補償,在遠離中心的部分將使用較大增益補償。
自動白平衡若以綠色(Green)像素為主要白平衡的目標,而去增加紅色(Red)與藍色(Blue)的增益,會使得紅色(R)、綠色(G)與藍色(B)在過曝區域的比例會由原先的R:G:B=1:1:1變成綠色(G)的數值偏小,而紅色(R)和藍色(B)的數值變大的現象。換句話說,經過鏡頭陰影校正與自動白平衡後,在色調映射處理後收斂回正常精度時,因為在過曝區域最邊角處的最大數值會被當成是動態範圍(Dynamic Range),並讓靠近中心的過曝區域通過乘上自動白平衡增益,以此維持色彩比例進行色調映射,不過卻會使得過曝區域的紅色、綠色與藍色比例,讓最終過曝區域的結果產生偏色。
揭露書公開一種影像過曝修正方法與電路系統,方法應用在電路系統中的影像處理程序中,主要目的之一是要修正過曝區域中的像素值,可避免影像處理過程中因鏡頭陰影校正與自動白平衡而產生的色偏現象。
在影像過曝修正方法中,先判斷輸入影像的過曝區域,依照過曝區域的各像素的通道值給予各像素個別的權重,其中之一當前像素的通道值為在一色彩空間的第一通道值,當前像素的週邊像素則具有第二通道值與第三通道值,根據過曝區的影像飽和度較低的預期,對過曝區域中的各像素的通道值執行一自動白平衡,自動白平衡為根據影像的光線屬性自動依照第一通道值、第二通道值與第三通道值的一通道值比例對當前像素執行增益調整。
之後,對於過曝區域中的像素逐一以當前像素的週邊像素的第二通道值與第三通道值估算當前像素的第二通道值與第三通道值,以及根據過曝區域中各像素個別的權重,根據可讓過曝區的各像素的各通道值之間的變異量為最小的要求下,計算當前像素的第一通道值的修正值。
優選地,所述判斷過曝區域的方式可為以一亮度門檻比對各通道值,通道值超過此亮度門檻的像素為過曝,或是可以影像中的低頻訊號判斷過曝區域。
優選地,各像素的第一通道值、第二通道值與第三通道值的權重為各通道值依照一上限與一下限判斷權重區間,再以一內插法計算,其中,當像素的通道值未超過下限,即列為非過曝的像素,在此方法中則屬於不執行影像過曝修正的區域,能因此保留此區域的影像資訊。
根據電路系統的實施例,其中設有影像處理器,通過輸入介面接收輸入影像,並經一輸出介面輸出經修正的影像,另設有記憶體,用以儲存處理中的影像訊息與處理參數。影像處理器即能對輸入影像中的過曝區域執行上述影像過曝修正方法。
優選地,所述影像處理器中設有以電路或軟體實現的一鏡頭陰影校正模組、一自動白平衡模組,以及一維持影像精度的電路或軟體模組。
為使能更進一步瞭解本發明的特徵及技術內容,請參閱以下有關本發明的詳細說明與圖式,然而所提供的圖式僅用於提供參考與說明,並非用來對本發明加以限制。
以下是通過特定的具體實施例來說明本發明的實施方式,本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用,本說明書中的各項細節也可基於不同觀點與應用,在不悖離本發明的構思下進行各種修改與變更。另外,本發明的附圖僅為簡單示意說明,並非依實際尺寸的描繪,事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容,但所公開的內容並非用以限制本發明的保護範圍。
應當可以理解的是,雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者信號,但這些元件或者信號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件,或者一信號與另一信號。另外,本文中所使用的術語“或”,應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。
影像處理技術中,一個執行影像處理的電子裝置或電腦系統,可以採用運行於一影像處理器(ISP)中的韌體程序,或是執行一特定軟體程式。影像處理技術有許多課題,針對影響影像品質的過曝問題的處理,可以通過一亮度門檻判斷出影像中的過曝區域,也就是亮度值超過此亮度門檻的像素形成的區域。
然而,一般影像處理器或軟體的運作中,其實因為已經採用一些初始處理程序,使得隱藏了影像中的通道(channel),如紅色通道(R)、綠色通道(G)與藍色通道(B)的真實數值。舉例來說,初始處理程序可能對影像中過曝的部分執行修剪(Clip)處理,也就是將超過某個門檻的亮度值減除,但是習知的修剪處理是將經過增益而超過一像素值(如4095,12bit)的數值減除,雖可能解決過曝的問題,但如此將損失動態範圍(dynamic range)。
如此可知,真實數值應該是大於已知的數值(被修剪而變小),雖無法得到真實數值,但仍可以利用人眼對於過曝像素的色彩飽和度較低的主觀預期,給出一個合理的估測值,基於實際數值不會比當前的數值小,因此可透過上修過曝通道的當前數值(如乘上增益值),使通道之間(如RGB三個數值)的變異量越小越好,且還可使其飽和度下降以符合主觀上對過曝區域的預期。反之,就不處理影像中非過曝(例如小於亮度門檻的像素)的通道,而是當作可靠的信息被保留住。
如此,根據揭露書所提出的影像過曝修正方法與電路系統的實施例,基於上述對於過曝與非過曝區域的理解,影像過曝修正方法先尋找出在上修過曝通道(乘上增益值)之前就已過曝的區域,以及在經過增益後需要對特定區域降低飽和度的處理。
仍以圖1所示的影像處理顯示的架構示意圖為例,應用此影像處理架構的實施例可參考圖2所示電路系統20,其中設有影像處理器201,可為處理影像信號的積體電路(IC)或相關電路,一般可稱影像訊號處理器(ISP),通過輸入介面202自影像來源21接收輸入影像。影像處理器201中即設有如圖1顯示的鏡頭陰影校正(LSC)電路或軟體模組、自動白平衡(AWB)電路或軟體模組,以及維持影像精度的電路或軟體模組。
根據實施例之一,當接收到輸入影像時,影像處理器201會依照所接收的影像信號使用對應的處理參數,執行適合的影像處理程序,例如:影像銳化、雜訊減少(noise reduction)或色彩空間轉換(color space transformation)等,並包括處理過曝區域而執行的鏡頭陰影校正、自動白平衡與精度處理,所述精度可用以表示影像的動態範圍。電路系統20中的記憶體205即用於儲存處理中的影像訊息以及各種影像處理程序需要的處理參數。之後,再經輸出介面203輸出影像22,影像22為通過所提出過曝修正方法修正後的影像。
基於所提出的過曝修正方法僅處理過曝區(以特定門檻判斷)的像素,對於非過曝區則不處理,如此可以保留住比較可靠的影像資訊。舉例來說,若一張影像(如12位元影像,像素值0~4095)有過曝現象,其中靠近中央部分的各色彩通道值可表示如「4088、4080、4080、4088、4088、4080…」,遠離中央部分的過曝值如「4088、4080、4080、4088、4080、4080…」,經過鏡頭陰影校正,不同區域的各色彩通道值乘上不同增益值,靠近中央部分的過曝區數值(補償較小)可能成為「4583、4551、4526、4567、4551、4526…」,遠離中央部分的過曝區數值(補償較大)則可能成為「6291、6247、7124、6211、6227、7060…」。接著執行自動白平衡,每個色彩通道值分別乘上不同的增益值(R gain, G gain, B gain,若針對G,G gain=1),例如,使得靠近影像中央部分的色彩通道值成為「4874、4551、7354、6850、4542、7354…」,而遠離中央部分的像素通過自動白平衡成為「9388、6247、11576、9364、6227、11550…」。之後再以色調映射處理精度,使得經過增益後的影像可以壓回(compression)接近原始精度,例如,找到其中最大數值壓回原本影像中最大值,如12位元的4095,其他按照特定比例調整,如此例顯示,接續上述影像資訊,靠近影像中央部分的色彩通道值經過色調映射處理、去馬賽克還原影像,成為「4095、3024、4095、4095、3027、4095…」(此例顯示靠近中央部分有偏色狀況),遠離中央部分的數值則成為「4095、4038、4095、4095、4034、4095…」。
影像處理器201針對影像中過曝區域執行一影像過曝修正方法,判斷是否為過曝區域方式可透過取自當前像素值、低頻訊號等,但不應限制本發明保護範圍。
根據影像過曝修正方法,主要概念是在傳統鏡頭陰影校正處理程序之前,利用門檻設定出影像中的過曝區域,對過曝區域的像素給予相對小的權重,例如圖4A至圖4C的方式。
根據圖3所示的實施例,在影像過曝修正的流程一開始,如步驟S301,在影像信號進行鏡頭陰影校正之前,逐像素地判斷出輸入影像中各像素是否為過曝區域,得出至少一個過曝區域,例如以一亮度門檻比對各像素值,像素值超過此亮度門檻的像素即為過曝,而且可依據實際需求設定此決定過曝的門檻,因此所述過曝區僅是依照需求定義的過曝區。如此,可得出影像中至少一個過曝區域。另外,判斷過曝區域還可採用影像中的低頻訊號,作為判斷過曝的依據,也就是影像中低頻訊號為具有比較多細節的部分,可以作為過曝區域判斷的依據。
針對此過曝區域中像素的處理,針對每個處理中的像素,可稱當前像素,過曝區域中其中之一當前像素處理中的像素值則設為在一色彩空間(如紅綠藍色彩空間)的第一通道值(紅、綠、藍之一),而當前像素的週邊像素則包括另外兩個通道,設有除第一通道之外的第二通道值與第三通道值,週邊像素的第二通道值與第二通道值可用於估測(還原)當前像素的另外兩個通道值。
在步驟S303中,能依照過曝區域的各像素的像素值給予各像素個別的權重,以紅綠藍色彩空間為例,對於各色彩通道(紅色通道、綠色通道、藍色通道)的像素值給予相對應的權重,權重值為0至1,以內差法得出各像素值的各色彩通道值的權重,此步驟目的之一是要保留過曝區域的信息,並供後續降低飽和度使用,可參考圖4A至圖4C。
舉例來說,根據接收的輸入影像,逐像素判斷是否為過曝區域,先取得當前像素的像素值,若高於所述亮度門檻,即判斷為過曝,即給予高權重,表示此像素為過曝;若像素值低於此亮度門檻,判斷為非過曝,最後是要能保留此像素的原始色彩信息。各像素的權重分配的實施例可參考圖4A至4C顯示各色彩通道的權重數值分配的圖表,其中處理參數為儲存於揭露書提出的電路系統中的記憶體中。
如圖4A,顯示為紅色通道權重(WR
)的圖表,縱軸為紅色通道權重(WR
),橫軸為紅色通道值(R)。系統設定門檻一(th0)與門檻二(th1)決定對應各紅色通道值的權重值,此例中,當像素的紅色通道值小於(或等於)門檻一(th0),為一下限,紅色權重值為0(或最低);當像素的紅色通道值大於(或等於)門檻二(th1),為一上限,紅色權重值為1;當像素的紅色通道值在門檻一(th0)與門檻二(th1)之間,紅色權重值則可以內插法計算在0與1之間。同理地,圖4B與圖4C分別表示綠色通道權重(WG
)分配與藍色通道權重(WB
)分配的圖表,一般來說,過曝區域中各像素的第一通道值、第二通道值與第三通道值的權重為各通道值依照上述上限(th0)與下限(th1)判斷權重區間,再以一內插法計算,而且,根據電路的設定,當影像中像素的像素值未超過下限,即可列為非過曝的像素,而不執行影像過曝修正。相關敘述則不在此贅述。
接著,繼續參照圖3的步驟S305,當確定輸入影像中一或多個過曝區域的位置後,根據過曝區的影像飽和度較低的預期,可對過曝區域中的像素的像素值執行自動白平衡的增益調整,能根據所接收到的影像的光線屬性自動得出調整各色彩通道(R:G:B)比例的增益參數,也就是自動依照所述第一通道值、第二通道值與第三通道值的一通道值比例對當前像素執行增益調整。
在自動白平衡之後,根據所提出的影像過曝修正方法的實施例,會希望最終影像的飽和度可以是較低的,以符合人眼視覺的主觀預期,因此在進行自動白平衡增益後,如步驟S307,須還原影像,包括將影像中原來(步驟S301)對於該過曝區域中的像素逐一以當前像素的週邊像素的第二通道值與第三通道值估算當前像素的第二通道值與第三通道值,如在一紅綠藍色彩空間中,可對過曝區域的每一像素位置的紅色、綠色與藍色等通道值預先估算出來,其中估算方式可取自當前點的色彩值或低頻訊號,但不應限制本發明保護範圍。根據一實施例,由於影像中每個像素記載了一個色彩值,即紅色、綠色或藍色通道值,還原影像是要估算出每個像素的所有色彩通道值,其中,可利用周圍的其他通道值來估算本身的其他兩個色彩值。
例如,針對一個紅色像素(如第一通道值),利用左右的綠色像素估算出本身的綠色值(如第二通道值),利用斜角的藍色像素估算出本身的藍色值(如第三通道值),可以直接引用或是將多個週邊像素的色彩值(通道值)取平均值,舉例來說,以多個週邊像素的第二通道值取一平均值作為當前像素的第二通道值,以及,以多個週邊像素的第三通道值取另一平均值作為當前像素的第三通道值。另一實施方式則是使用週邊像素通道中的低通(low pass)濾波值來估測此例所針對的紅色像素以外的綠色與藍色像素值。
在此一提的是,為了可以讓過曝區的飽和度降到最低,在方法中,即透過上修過曝區域中各色彩通道值以使各色彩通道值(如R、G、B三個數值)之間的變異量越小越好,也就是依照演算方式將飽和度降到最低,以符合主觀預期。而判斷為非過曝區域中的像素通道值就不做調整,當作可靠的資訊被保留住。其中,經估算出像素中各通道值後,在步驟S309中,過曝區域中的像素的各色彩通道值(R、G、B)將上修至最大值,以能根據變異量最小的目標得出多種預測數值,預測各通道值的目的是能夠讓過曝區域的各像素紅色、綠色與藍色值之間的變異量最小,此例顯示有五種預測數值。以下情況為以當前像素為第一通道為例,為了敘述方便第一通道以紅色通道為例,第二通道為綠色通道,第三通道為藍色通道,可將其分做五種樣態(pattern)。
樣態一:紅色通道未過曝,即不處理;樣態二:紅色通道過曝、綠色通道未過曝、藍色通道未過曝;樣態三:紅色通道過曝、綠色通道過曝、藍色通道未過曝;樣態四:紅色通道過曝、綠色通道未過曝、藍色通道過曝;以及樣態五:紅色通道過曝、綠色通道過曝、藍色通道過曝。為了要讓各色彩通道值之間的變異量最小,可透過以下式子來推導。其中R代表以上述實施例估算出的當前像素的紅色通道值、G代表估算出的當前像素的綠色通道值,以及B代表估算出的當前像素的藍色通道值。
變異量E通式為:
其中將R、G、B等像素值代入,此例以當前像素為紅色通道值(R channel)為例,將紅色通道值列為計算目標,將綠色與藍色通道值設為已知。根據實施例之一,可使用當前像素(紅色通道)的週邊像素值,根據過曝像素的色彩飽和度較低的預期下合理估測得知綠色通道值為p,藍色通道值為q,而變異量方程式修正為:
根據上述變異量方程式,若要得出最小變異量,可知R的數值應趨近(p+q)/2,意指當R越接近(p+q)/2時,則變異量會越小。其中,在變異量小的前提下可以得出各像素的各色彩通道值演算出v0xx
、v100
、v110
、v101
、v111
等5種預測數值,以能計算各色彩通道的修正值,過程中再利用v11x
與v10x
得出藍色通道(B)過曝的數值,利用v1xx
得出綠色(G)過曝的數值,由v0xx
與v1xx
得出紅色(R)通道的修正值。同理,由vx0x
與vx1x
得出綠色(G)通道的修正值,以及利用vxx0
與vxx1
得出藍色(B)通道的修正值。
上述5個數值v的三個下標值在紅綠藍色彩空間中分別表示紅(R)、綠(G)、藍(B)三個色彩通道的過曝狀況,0代表未過曝,1代表過曝,x代表未知。
此例以紅色通道(R)為例:
樣態一:R通道未過曝,在影像過曝修正方法中,即不處理這類像素:
v0xx
=R
樣態二:R通道過曝、G通道未過曝、B通道未過曝:
v100
=max{R, (G+B)/2}(取R與(G+B)/2最大者)
樣態三:R通道過曝、G通道過曝、B通道未過曝:
If max(R, G) > B(若R與G最大值小於B,即選擇B)
v110
=B
else(除非)
v110
=max{R, (max(R, G)+B)/2}(R與G最大者+B再除以2的值,與R比較後的最大值)
樣態四:R通道過曝、G通道未過曝、B通道過曝:
If max(R, B) > G(若R與B最大值小於G)
v101
=G
else(除非)
v101
=max{R, (max(R, B)+G)/2}(R與G最大者+G除以2的值,與R比較後的最大值)
樣態五:R通道過曝、G通道過曝、B通道過曝
v111
=max{R, G, B}(R與G與B的最大值)
當根據變異量最小的目標得出的多個用於得出修正值的中間預測數值(v0xx
、v100
、v110
、v101
、v111
),之後,在圖3的步驟S311中,依據先前估算的權重,其發生過曝的機率給予加權平均,依照各色彩通道過曝的機率計算出各色彩通道值的修正值。
過曝的機率給予加權平均的公式如下,其中WR
為紅色通道權重、WG
為綠色通道權重,以及WB
為藍色通道權重:
所述得出發生過曝的機率與加權平均的圖表演算示意圖可參考圖5。
圖5示意一種根據過曝機率取加權平均的計算方法,顯示一個方框,方框的四個端點分別表示v110
、v111
、v100
與v101
等數值,加上v0xx
,配合上述各通道的權重(WR
、WG
與WB
),各色彩通道值愈高,給予較高權重,反之,色彩通道值愈低,給予較低權重,使得最終對各色彩通道發生過曝的機率給予加權平均。
方框上緣顯示一端為v110
(樣態三:R通道過曝、G通道過曝、B通道未過曝),另一端為v111
(樣態五:R通道過曝、G通道過曝、B通道過曝),可以根據上述藍色通道權重(WB
),得出v11x
=v110
*(1-WB
)+v111
*WB
。
方框的下緣一端為v100
(樣態二:R通道過曝、G通道未過曝、B通道未過曝),另一端為v101
(樣態四:R通道過曝、G通道未過曝、B通道過曝),同樣依據上述藍色通道權重(WB
),可計算v10x
=v100
*(1-WB
)+v101
*WB
。
當得出了v11x
與v10x
,如方框中垂直線上,依據綠色通道權重(WG
),計算出v1xx
=v11x
*WG
+v10x
*(1-WG
)。
此例以當前像素為紅色通道值(R channel)為例,因此可藉由計算得出的v1xx
(R通道過曝)與v0xx
(樣態一:R通道未過曝),以及紅色通道權重(WR)得出紅色通道值的修正值R”=v1xx
*WR
+v0xx
*(1-WR
)。此處修正值R”即驗證出上述過曝的機率給予加權平均的公式輸出的結果R’。
如此,在相同的演算方式下,可以同理可得出綠色通道值的修正值G”==vx1x
*WG
+vx0x
*(1-WG
);以及藍色通道值的修正值B”=vxx1
*WB
+vxx0
*(1-WB
)。
如此,在處理影像中過曝現象的方法中,除了習知以鏡頭陰影校正處理解決靠近影像中心與遠離影像中心的因為光線折射不均勻導致陰影的問題,以及以自動白平衡處理影像可貼近人眼感受的白平衡問題之外,還如揭露書公開的影像過曝修正方法的目的,能夠降低過曝區域的飽和度,讓每個區塊的紅色、綠色與藍色通道值都能盡量保持在接近相等比例(1:1:1)不偏色的情況,上述方法流程在各色彩值之間的變異量最小的條件下,即能根據各色彩通道值估算的權重,並對發生過曝的機率給予加權平均,再依照各色彩通道過曝的機率計算出在過曝區域不偏色的條件下的各色彩通道值的修正值。
最終,因為所提出的影像過曝修正方法在處理過程僅針對影像中過曝區域執行修正,除了可以讓紅綠藍色彩空間中紅色、綠色與藍色通道值盡量保持接近(接近1:1:1)外(不偏色),還能保持原本影像的動態範圍,並讓過曝的資訊有效保留,且因為過曝修正方法並不處理非過曝區域,也使得非過曝區域的細節可以保留,如此可達到過曝區域不偏色,執行有效的色調映射,還可達到低成本,處理時間短的優勢。
以上所公開的內容僅為本發明的優選可行實施例,並非因此侷限本發明的申請專利範圍,所以凡是運用本發明說明書及圖式內容所做的等效技術變化,均包含於本發明的申請專利範圍內。
101:鏡頭陰影校正模組
103:自動白平衡模組
105:色調映射模組
20:電路系統
201:影像處理器
202:輸入介面
203:輸出介面
205:記憶體
21:影像來源
22:影像
th0:門檻一
th1:門檻二
WR
:紅色通道權重
WG
:綠色通道權重
WB
:藍色通道權重
R:紅色通道值
G:綠色通道值
B:藍色通道值
R”:修正值
v100
,v10x
,v101
,v1xx
,v0xx
,v110
,v11x
,v111
:預測數值
步驟S301~S311:影像過曝修正流程
圖1顯示為習知影像處理模組示意圖;
圖2顯示執行影像過曝修正方法的電路系統實施例示意圖;
圖3顯示影像過曝修正方法的實施例流程圖;
圖4A至4C顯示各色彩通道的權重數值分配的圖表實施例;
圖5顯示發生過曝的機率與加權平均的圖表演算示意圖。
S301:判斷出輸入影像中過曝區
S303:對於各通道的像素值給予相對應的權重
S305:執行自動白平衡
S307:估算各區域每一像素位置的紅色、綠色與藍色通道值
S309:根據變異量最小的目標得出多種預測數值
S311:計算各色彩通道的修正值
Claims (10)
- 一種影像過曝修正方法,包括:判斷一影像中一過曝區域;依照該過曝區域的各像素的通道值給予各像素個別的權重,其中之一當前像素的通道值為在一色彩空間的一第一通道值,該當前像素的週邊像素具有一第二通道值與一第三通道值;根據該過曝區域的影像飽和度較低的預期,對該過曝區域中的各像素的通道值執行一自動白平衡,為根據該影像的光線屬性自動依照該第一通道值、該第二通道值與該第三通道值的一通道值比例對該當前像素執行增益調整;對於該過曝區域中的像素逐一以該當前像素的週邊像素的該第二通道值與該第三通道值估算該當前像素的該第二通道值與該第三通道值;以及根據該過曝區域中各像素個別的權重,計算該當前像素的該第一通道值的一修正值,該修正值讓該過曝區域的各像素的該第一通道值、該第二通道值與該第三通道值之間一變異量為最小。
- 如請求項1所述的影像過曝修正方法,其中,判斷該至少一過曝區域為以一亮度門檻比對各通道值,通道值超過該亮度門檻的像素為過曝,或以該影像中的低頻訊號判斷該至少一過曝區域。
- 如請求項1所述的影像過曝修正方法,其中各像素的該第一通道值、該第二通道值與該第三通道值的權重為各通道值依照一上限與一下限判斷權重區間,再以一內插法計算;當各像素的通道值未超過該下限,即列為非過曝的像素,而不執行影像過曝修正。
- 如請求項1所述的影像過曝修正方法,其中估算該當前像素的 該第二通道值與該第三通道值的方法包括:以多個週邊像素的該第二通道值取一平均值作為該當前像素的該第二通道值,以及,以該多個週邊像素的該第三通道值取另一平均值作為該當前像素的該第三通道值。
- 如請求項1所述的影像過曝修正方法,其中,於計算該當前像素的該第一通道值的該修正值的步驟中,該當前像素具有5個態樣,以該第一通道值、該第二通道值與該第三通道值之間該變異量最小為目標,其中該5個態樣與其中計算式包括:樣態一:第一通道未過曝,不處理,v0xx=R;樣態二:第一通道過曝、第二通道未過曝、第三通道未過曝,v100=max{R,(G+B)/2};樣態三:第一通道過曝、第二通道過曝、第三通道未過曝,其中:If max(R,G)<B,v110=B;else,v110=max{R,(max(R,G)+B)/2};樣態四:第一通道過曝、第二通道未過曝、第三通道過曝,其中:If max(R,B)<G,v101=G;else,v101=max{R,(max(R,B)+G)/2};以及樣態五:第一通道過曝、第二通道過曝、第三通道過曝,v111=max{R,G,B};其中R代表該當前像素的該第一通道值、G代表該當前像素的該第二通道值,以及B代表該當前像素的該第三通道值,v0xx、v100、v110、v101、v111為得出該第一通道值的該修正值的中間預測數值,該修正值(1-wR)×v0xx+wR×{wG×{(1-wB)×v110+wB×v111}+(1-wG)×{(1-wB)×v100+wB×v101}}, 其中權重WR、WG與WB分別為該第一通道值、該第二通道值與該第三通道值的權重。
- 如請求項3至5中任一項所述的影像過曝修正方法,其中各像素的該第一通道值、該第二通道值與該第三通道值為像素的色彩值,或各像素的低通濾波值。
- 一種電路系統,用以修正過曝影像,包括:一影像處理器,通過一輸入介面接收一輸入影像,並經一輸出介面輸出一經修正的影像;一記憶體,用以儲存處理中的影像訊息與處理參數;其中,該影像處理器對該輸入影像中的過曝區域執行一影像過曝修正方法,包括:判斷一影像中一過曝區域;依照該過曝區域的各像素的通道值給予各像素個別的權重,其中之一當前像素的通道值為在一色彩空間的一第一通道值,該當前像素的週邊像素具有一第二通道值與一第三通道值;根據該過曝區域的影像飽和度較低的預期,對該過曝區域中的各像素的通道值執行一自動白平衡,為根據該影像的光線屬性自動依照該第一通道值、該第二通道值與該第三通道值的一通道值比例對該當前像素執行增益調整;對於該過曝區域中的像素逐一以該當前像素的週邊像素的該第二通道值與該第三通道值估算該當前像素的該第二通道值與該第三通道值;以及根據該過曝區域中各像素個別的權重,計算該當前像素的該第一通道值的一修正值,該修正值讓該過曝區域的各像素的該第一通道值、該第二通道值與該第三通道值之間一變異量為最小。
- 如請求項7所述的電路系統,其中,於影像過曝修正方法中,判斷該至少一過曝區域為以一亮度門檻比對各通道值,通道值超過該亮度門檻的像素為過曝;或是以該影像中的低頻訊號判斷該至少一過曝區域。
- 如請求項7所述的電路系統,其中,於影像過曝修正方法中,各像素的該第一通道值、該第二通道值與該第三通道值的權重為各通道值依照一上限與一下限判斷權重區間,再以一內插法計算;當各像素的通道值未超過該下限,即列為非過曝的像素,而不執行影像過曝修正。
- 如請求項7所述的電路系統,其中,於影像過曝修正方法中,估算該當前像素的該第二通道值與該第三通道值的方法包括:以多個週邊像素的該第二通道值取一平均值作為該當前像素的該第二通道值,以及,以該多個週邊像素的該第三通道值取另一平均值作為該當前像素的該第三通道值。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108146380A TWI743628B (zh) | 2019-12-18 | 2019-12-18 | 影像過曝修正方法與電路系統 |
US17/123,228 US11651495B2 (en) | 2019-12-18 | 2020-12-16 | Method and system for image correction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108146380A TWI743628B (zh) | 2019-12-18 | 2019-12-18 | 影像過曝修正方法與電路系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202125403A TW202125403A (zh) | 2021-07-01 |
TWI743628B true TWI743628B (zh) | 2021-10-21 |
Family
ID=76439305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108146380A TWI743628B (zh) | 2019-12-18 | 2019-12-18 | 影像過曝修正方法與電路系統 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11651495B2 (zh) |
TW (1) | TWI743628B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230196794A1 (en) * | 2021-12-20 | 2023-06-22 | Veoneer Us, Inc. | System and method to correct oversaturation for image-based seatbelt detection |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104581105A (zh) * | 2015-02-03 | 2015-04-29 | 中国人民解放军国防科学技术大学 | 基于色温距离变换权重图和块可靠性修正的自动白平衡方法 |
CN106851121A (zh) * | 2017-01-05 | 2017-06-13 | 广东欧珀移动通信有限公司 | 控制方法及控制装置 |
US20190157331A1 (en) * | 2016-08-03 | 2019-05-23 | Sony Corporation | Imaging element, stacked-type imaging element and solid-state imaging apparatus |
US20190289269A1 (en) * | 2016-12-14 | 2019-09-19 | Samsung Electronics Co., Ltd. | Image white balance correction method and electronic device |
US20190356873A1 (en) * | 2018-05-21 | 2019-11-21 | Gopro, Inc. | Image signal processing for reducing lens flare |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6476865B1 (en) * | 2001-03-07 | 2002-11-05 | Eastman Kodak Company | Sparsely sampled image sensing device with color and luminance photosites |
EP1853071B1 (en) * | 2006-05-03 | 2011-09-14 | STMicroelectronics (Research & Development) Limited | Video signal processor for color video camera |
FR2919943B1 (fr) * | 2007-08-07 | 2010-02-26 | Dxo Labs | Procede de traitement d'objet numerique et systeme associe |
US20090290052A1 (en) * | 2008-05-23 | 2009-11-26 | Panavision Imaging, Llc | Color Pixel Pattern Scheme for High Dynamic Range Optical Sensor |
CN110232659B (zh) * | 2018-03-06 | 2022-09-20 | 展讯通信(天津)有限公司 | 一种图像偏色的校正方法、装置及电子设备 |
US10572974B2 (en) * | 2018-04-11 | 2020-02-25 | Omnivision Technologies, Inc. | Image demosaicer and method |
-
2019
- 2019-12-18 TW TW108146380A patent/TWI743628B/zh active
-
2020
- 2020-12-16 US US17/123,228 patent/US11651495B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104581105A (zh) * | 2015-02-03 | 2015-04-29 | 中国人民解放军国防科学技术大学 | 基于色温距离变换权重图和块可靠性修正的自动白平衡方法 |
US20190157331A1 (en) * | 2016-08-03 | 2019-05-23 | Sony Corporation | Imaging element, stacked-type imaging element and solid-state imaging apparatus |
US20190289269A1 (en) * | 2016-12-14 | 2019-09-19 | Samsung Electronics Co., Ltd. | Image white balance correction method and electronic device |
CN106851121A (zh) * | 2017-01-05 | 2017-06-13 | 广东欧珀移动通信有限公司 | 控制方法及控制装置 |
US20190356873A1 (en) * | 2018-05-21 | 2019-11-21 | Gopro, Inc. | Image signal processing for reducing lens flare |
Also Published As
Publication number | Publication date |
---|---|
TW202125403A (zh) | 2021-07-01 |
US11651495B2 (en) | 2023-05-16 |
US20210192742A1 (en) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11849224B2 (en) | Global tone mapping | |
KR100983037B1 (ko) | 자동 화이트 밸런스 조정 방법 | |
US9838658B2 (en) | Image processing apparatus that performs tone correction, image processing method, and storage medium | |
JP6005915B2 (ja) | 適応型自動露出制御方法 | |
US20150195441A1 (en) | Image Processing Method and Apparatus | |
JP6097588B2 (ja) | 画像処理装置及び画像処理方法 | |
TWI697867B (zh) | 測光補償方法及其相關監控攝影設備 | |
JP6563751B2 (ja) | 画像処理装置及び画像処理方法 | |
US7889942B2 (en) | Dynamic range compensation-dependent noise reduction | |
WO2021218603A1 (zh) | 图像处理方法及投影系统 | |
US8059904B2 (en) | Image-processing device, electronic camera, image-processing program, and image-processing method | |
JP2015156615A (ja) | 画像処理装置、画像処理方法、制御プログラム、および記録媒体 | |
WO2019104047A1 (en) | Global tone mapping | |
JP2015005001A (ja) | 画像信号処理装置,撮像装置および画像処理プログラム | |
JP2015154102A (ja) | 画像処理装置及び方法、画像処理プログラム、撮像装置 | |
US10218953B2 (en) | Image processing apparatus, image processing method, and storage medium | |
TW202004662A (zh) | 影像強化方法及電腦系統 | |
JP2015201731A (ja) | 画像処理装置及び方法、画像処理プログラム、撮像装置 | |
TWI566206B (zh) | 寬動態範圍影像方法 | |
CN115239578A (zh) | 图像处理方法及装置、计算机可读存储介质、终端设备 | |
TWI743628B (zh) | 影像過曝修正方法與電路系統 | |
JP2005025448A (ja) | 信号処理装置、信号処理プログラム、および電子カメラ | |
US7995856B2 (en) | Dynamic range compensation-dependent noise reduction | |
JP5932392B2 (ja) | 画像処理装置および画像処理方法 | |
CN113038109B (zh) | 图像过曝修正方法与电路系统 |