TWI394434B - The method of eliminating the color dislocation of digital images - Google Patents
The method of eliminating the color dislocation of digital images Download PDFInfo
- Publication number
- TWI394434B TWI394434B TW098145998A TW98145998A TWI394434B TW I394434 B TWI394434 B TW I394434B TW 098145998 A TW098145998 A TW 098145998A TW 98145998 A TW98145998 A TW 98145998A TW I394434 B TWI394434 B TW I394434B
- Authority
- TW
- Taiwan
- Prior art keywords
- pixel
- color
- detection
- color misalignment
- misalignment
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
Description
本發明係關於一種影像處理方法,特別是一種數位影像的顏色錯位的消除方法。
顏色錯位(color fringe)係為影像系統設置錯誤的顏色在影像的某些位置上。
在相機上,顏色錯位的成因主要有三:透鏡(lens)的像差(aberration)、感測器的暈散(blooming)及彩色影像內插演算法(color filter array interpolation;CFAI)。
由於玻璃對不同波長的光的折射程度不同,因此透鏡(非平面鏡)形成的圖像有顏色錯位。由於透鏡的像差致使不同顏色無法精確地校準,因而造成物體的邊緣模糊不清。
感測器係為數位相機的核心部件。在數位相機中,感測器的功能是將透過鏡頭的光線捕獲並轉換為電信號。當光線經鏡頭會聚到感測器上時,感測器的光電二極體(photodiode)因感受光強的不同而感應出不同數量的電荷並由記憶體暫存之。經記憶體暫存後,再由電荷轉移電路及電荷資訊讀取電路按時鐘脈衝順序讀出電荷資訊,並送往A/D轉換器,以轉換形成與光強度成比例的二進位數字(即電信號)。並且,此二進位數字即對應一個像素的資料。然而,每個光電二極體在曝光期間僅能累積一定的電荷量。於高亮度區域,在一個像素上,當產生的電荷數量過多且達到飽和時,過多的電荷會溢位至鄰近的像素,以致鄰近像素的資料發生錯誤,此現象即稱之為暈散。
當有一個像素發生顏色錯位時,在執行CFAI時,則會依據錯誤的顏色而產生錯誤的像素值,以致使鄰近像素因而發生顏色錯位。
在習知技術上,多是以三原色(R/G/B)信號來進行偵測,以找出發生顏色錯位的像素。然而,顏色錯位通常發生在亮的區域。因此,此方法會造成部分發生顏色錯位的像素未被發現,進而未修正到。
再者,在習知技術上,修正方法係採用色度(Cb和Cr)壓抑法或是將紅色(R)信號及藍色(B)信號往綠色(G)信號壓抑。此些方法都會造成修正後的影像偏灰。
相關技術可參考美國專利申請案公開號第2007/0153341及2007/0097267號。
鑒於以上的問題,本發明提供一種數位影像的顏色錯位的消除方法,藉由解決習知技術所存在的至少一問題。
本發明所揭露之數位影像的顏色錯位的消除方法,包括:取得一數位影像;利用特定色彩偵測、亮度偵測以及漸層色彩偵測分析各像素的亮度與色度分離的信號,以判定在數位影像中各像素是否發生顏色錯位,並且將特定色彩偵測、亮度偵測以及漸層色彩偵測之結果判定為未發生顏色錯位的像素設定為正常像素;將特定色彩偵測、亮度偵測以及漸層色彩偵測之結果均判定為發生顏色錯位的像素設定為顏色錯位像素;以及修正顏色錯位像素。
其中,特定色彩偵測包括:根據多種顏色的色度範圍分析未設定的像素的亮度與色度分離的信號的色度值;判定色度值落在此些顏色的色度範圍內的像素為發生顏色錯位;以及判定色度值落於此些顏色的色度範圍之外的像素為未發生顏色錯位。
其中,亮度偵測包括:利用一K×K遮罩分析未設定的像素的亮度與色度分離的信號中的亮度值,以找出未設定的像素中位於高對比區域中且於高亮度區域中之像素;以及判定位於高對比區域且高亮度區域中之像素發生顏色錯位。
於此,K係為2x+1,x為大於1的正整數,且進行偵測的未設定的像素係位於K×K遮罩的中心。
其中,漸層色彩偵測包括:利用一M×M遮罩分析未設定的像素的亮度與色度分離的信號中的亮度值和色度值,以找出未判定為發生顏色錯位的像素中位在非平滑區域中、漸層色區域、由亮到暗呈梯度變化的區域且鄰近亮部為中性色的區域中之像素;以及判定符合此條件之像素為發生顏色錯位。
於此,M係為2y+1,y為大於1的正整數,且進行偵測的未判定為發生顏色錯位的像素係位於M×M遮罩的中心。
根據本發明之數位影像的顏色錯位的消除方法可有效地消除數位影像中的顏色錯位,且修正後的顏色較為鮮豔,例如:不會偏灰。
以上之關於本發明內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理,並且提供本發明之專利申請範圍更進一步之解釋。
根據本發明之數位影像的顏色錯位的消除方法可應用於一電子計算裝置,藉以透過此電子計算裝置對所輸入至電子計算裝置內的數位影像進行顏色錯位的修正處理。換言之,根據本發明之數位影像的顏色錯位的消除方法可以軟體或韌體程式儲存於電子計算裝置的儲存單元(例如:記憶體或硬碟等)中,再由電子計算裝置的處理器執行儲存的軟體或韌體程式而實現。此電子計算裝置可為電腦、手機、個人數位助理(personal digital assistant;PDA)、或數位相機等電子設備。
「第1圖」係為根據本發明一實施例之數位影像的顏色錯位的消除方法的流程圖。
參照「第1圖」,電子計算裝置可具有輸入單元,以取得一數位影像(步驟110)。此輸入單元可為一影像擷取單元,或為有線或無線的傳輸介面。
或者是,處理器可從儲存單元中讀出已預先儲存於儲存單元中的數位影像,以取得一數位影像(步驟110)。
電子計算裝置更可具有一信號轉換單元。此信號轉換單元接收數位影像,並將此數位影像的各像素由三原色(RGB)信號轉換為亮度與色度分離(YCbCr)的信號(步驟120)。
在一般8位元(bit)處理系統中,RGB信號之值為介於0~255之間的正整數,而YCbCr信號之值的範圍為Y(亮度)信號為0~255,而Cb和Cr(色度)信號為-127~127,但Y、Cb和Cr信號皆為整數值。此信號轉換單元所轉換出之信號乃是用以分析影像內容以偵測並修正發生顏色錯位的像素。
其中,若取得的數位影像已是亮度與色度分離(YCbCr)的信號,則可不需信號轉換單元。
於此,信號轉換單元可整合於處理器中,抑或以另一處理器實現之。
接著,進行各像素的顏色錯位的偵測。於此,利用特定色彩偵測(specific color detection)、亮度偵測(luminance detection)以及漸層色彩偵測(color detection)分析各像素的亮度與色度分離的信號(步驟130),以判定在該數位影像中各像素是否發生顏色錯位(步驟140)。
並且,將特定色彩偵測、亮度偵測以及漸層色彩偵測之結果判定為未發生顏色錯位的像素設定為正常像素(步驟150)。將特定色彩偵測、亮度偵測以及漸層色彩偵測之結果均判定為發生顏色錯位的像素設定為顏色錯位像素(步驟160)。
最後,保留正常像素的值,然後修正顏色錯位像素(步驟180),藉以得到修正後的數位影像。
在步驟130中,特定色彩偵測、亮度偵測以及漸層色彩偵測,此三種偵測程序可以任意順序執行。
為了方便說明,以下以特定色彩偵測、亮度偵測以及漸層色彩偵測依序執行為例。
參照「第2A圖」,數位影像200中各像素會依序根據其亮度與色度分離的信號進行顏色錯位的偵測。於亮度偵測以及漸層色彩偵測中,會以進行偵測的像素作為中心像素Po展開一遮罩210,並利用遮罩210進行此中心像素Po的偵測。
參照「第2B圖」,首先,從數位影像中選擇一像素(步驟131),選擇之像素會先進行特定色彩偵測(步驟132),以判斷各像素是否有發生顏色錯位的像素(步驟142)。
並且,將於特定色彩偵測中判定為未發生顏色錯位的像素設定為正常像素並將此設定值記錄在暫存器中(步驟150)。
於特定色彩偵測中判定為發生顏色錯位的像素則接續進行亮度偵測(步驟134),以判斷未設定的各像素是否有發生顏色錯位的像素(步驟144)。
再將於亮度偵測中判定為未發生顏色錯位的像素設定為正常像素並將此設定值記錄在暫存器中(步驟150)。
而於亮度偵測中判定為發生顏色錯位的像素則接續進行漸層色彩偵測(步驟136),以判斷未設定的各像素是否有發生顏色錯位的像素(步驟146)。
再將於漸層色彩偵測中判定為未發生顏色錯位的像素設定為正常像素並將此設定值記錄在暫存器中(步驟150)。
並且,將於漸層色彩偵測中判定為發生顏色錯位的像素設定為顏色錯位像素;換言之,於特定色彩偵測、亮度偵測以及漸層色彩偵測中均判定為發生顏色錯位的像素才設定為顏色錯位像素(步驟160)。
接著,確認數位影像中的所有像素是否皆完成設定(步驟170),即確認數位影像中的所有像素是否皆進行顏色錯位的偵測。
若尚未完成所有像素的設定(顏色錯位的偵測),則選擇下一像素(步驟172和步驟131)以利用特定色彩偵測、亮度偵測以及漸層色彩偵測進行此選擇的像素的顏色錯位的偵測(步驟132、步驟142、步驟134、步驟144、步驟136及步驟146)。
當數位影像中的所有像素皆完成設定時,則進行修正程序,即,保留正常像素的值,然後修正顏色錯位像素的值(步驟180),以得到修正後的數位影像。
於此,雖然是以特定色彩偵測、亮度偵測以及漸層色彩偵測依序執行為例,然而此執行順序並非本發明之限制。也就是說,亦可以亮度偵測、漸層色彩偵測以及特定色彩偵測的順序依序執行,即先執行亮度偵測,於亮度偵測中判定為發生顏色錯位的像素再進行漸層色彩偵測,而於漸層色彩偵測中判定為發生顏色錯位的像素才進行特定色彩偵測。或者是以漸層色彩偵測、特定色彩偵測以及亮度偵測的順序依序執行,即先執行漸層色彩偵測,於漸層色彩偵測中判定為發生顏色錯位的像素再進行特定色彩偵測,而於特定色彩偵測中判定為發生顏色錯位的像素才進行亮度偵測。同理,亦可以亮度偵測、特定色彩偵測以及漸層色彩偵測的順序依序執行,或是以漸層色彩偵測、亮度偵測以及特定色彩偵測的順序依序執行,或是以特定色彩偵測、漸層色彩偵測以及亮度偵測的順序依序執行。
於此,特定色彩偵測(步驟132)係利用像素的色度資訊及預先定義的多種顏色的色度範圍來判定選擇之像素是否發生顏色錯位。
參照「第3圖」,於進行特定色彩偵測(步驟132)時,根據預先定義之多種顏色的色度範圍分析未設定的像素的色度值,以確定未設定的像素的色度值是否落入定義的色度範圍內(步驟321)。此色度值可包括亮度與色度分離的信號中的藍色色度(Cb)信號和紅色色度(Cr)信號。
其中,當特定色彩偵測為最先執行的偵測程序時,未設定的像素係為選定的像素。當特定色彩偵測不為最先執行的偵測程序時,未設定的像素係為前一個偵測程序判定為發生顏色錯位的像素。
並且,將色度值落在定義之多種顏色的色度範圍內的像素判定為發生顏色錯位(步驟323);反之,色度值落在定義之多種顏色的色度範圍之外的像素則判定為未發生顏色錯位(步驟325)。
針對特定色彩偵測(步驟132),會根據可能發生顏色錯位的區域預先定義出此些顏色的色度範圍。舉例來說,「第4圖」係顯示可能發生顏色錯位的色度範圍,其中區塊A為於黃色區域上可能發生顏色錯位的色度區塊、區塊B為於紅色區域上可能發生顏色錯位的色度區塊、區塊C為於綠色區域上可能發生顏色錯位的色度區塊和區塊D為於桃紅色區域上可能發生顏色錯位的色度區塊。因此,可依據區塊A定義出紅黃的色度範圍、依據區塊B定義出紅色的色度範圍、依據區塊C定義出黃色的色度範圍,並且依據區塊D定義出桃紅色的色度範圍。
於此,可將定義出可能發生顏色錯位的此些顏色的色度範圍設定為對應之多個色度範圍閥值(chrominance range threshold),並且透過比較像素的色度值與設定之色度範圍閥值來確定進行偵測的像素的色度值是否落入定義的色度範圍內。
此外,亦可依據定義出可能發生顏色錯位的此些顏色的色度範圍設定對應在此些色度範圍外的區域(即不會顏色錯位的色度範圍)之一色度範圍閥值,然後透過比較像素的色度值與此閥值相比較來確定進行偵測的像素的色度值是否落入定義的色度範圍內。以「第4圖」為例,設定對應在可能發生顏色錯位的多種顏色的色度範圍外的區域之色度範圍閥值即為設定包含區塊E內的所有色度值之色度範圍閥值。
於亮度偵測(步驟134)中,係利用像素的亮度資訊來判定選擇之像素是否發生顏色錯位。於此,利用K×K遮罩找出未設定的像素中位於高對比區域中且於高亮度區域中之像素。K係為2x+1,且x為大於1的正整數。
於此,K×K遮罩係為以進行偵測的像素為中心來展開涵蓋K×K個像素的一個參考區域。換言之,進行偵測的像素係為K×K遮罩的中心像素,而於K×K遮罩下中心像素以外的像素則稱之為鄰近像素。
其中,當亮度偵測為最先執行的偵測程序時,未設定的像素係為選定的像素。當亮度偵測不為最先執行的偵測程序時,未設定的像素係為前一個偵測程序判定為發生顏色錯位的像素。
換言之,於亮度偵測(步驟134)中,會進行2項亮度確認程序。為了方便描述,以下分別稱之為第一亮度確認程序和第二亮度確認程序。
第一亮度確認程序是確認進行偵測的像素是否位在高對比區域。第二亮度確認程序是確認進行偵測的像素是否位在高亮度區域。
參照「第5A圖」,在第一亮度確認程序中,首先計算在K×K遮罩下於八個方向上的亮度梯度值(步驟341),即分別針對各個方向計算鄰近像素Pn與中心像素Po的差的總和。
舉例來說,以5×5遮罩為例,參照「第6A-6H圖」,八個方向分別為圖示中填滿區域所表現出方向Dir0(右)、方向Dir1(右上)、方向Dir2(上)、方向Dir3(左上)、方向Dir4(左)、方向Dir5(左下)、方向Dir6(下)和方向Dir7(右下)。
每個方向上具有中心像素Po和2個鄰近像素Pn。
其中,亮度梯度值的公式為Sum_Dirj=(Y1-Yc)+(Y2-Yc)。
j係為0到7中之一整數值,即代表方向。Yc表示中心像素Po的亮度值,而Y1和Y2分別表示兩鄰近像素Pn的亮度值。
再從得到的八個亮度梯度值中找出最大亮度梯度值和最小亮度梯度值(步驟342)。
計算最大亮度梯度值和最小亮度梯度值的差值(步驟343)。
然後將最大亮度梯度值和最小亮度梯度值的差值與第一閥值相比較(步驟344)。
當最大亮度梯度值和最小亮度梯度值的差值大於第一閥值時,判定中心像素Po位於高對比區域(步驟345),即進行偵測的像素係位在高對比區域中。
當最大亮度梯度值和最小亮度梯度值的差值小於或等於第一閥值時,判定中心像素Po不是位於高對比區域(步驟346),即進行偵測的像素不是位在高對比區域中。
接著,確認為位在高對比區域中的像素接續進行第二亮度確認程序(即,接續進行步驟347)。而確認為不是位在高對比區域中的像素則判定為未發生顏色錯位(步驟353)。
參照「第5B圖」,於第二亮度確認程序中,首先將在K×K遮罩下所有鄰近像素Pn的亮度值分別與一第二閥值相比較(步驟347),並且計算亮度值大於第二閥值的鄰近像素的數量(步驟348)。
接著,將計算得的數量與第三閥值相比較(步驟349)。
當計算得的數量大於第三閥值時,判定中心像素Po位於高亮度區域(步驟350),即進行偵測的像素係位在高亮度區域中。
當計算得的數量小於或等於第三閥值時,判定中心像素Po不是位於高亮度區域(步驟351),即進行偵測的像素不是位在高亮度區域中。
接著,將確認為位在高亮度區域中的像素判定為發生顏色錯位(步驟352),即將位於高對比區域且高亮度區域中的像素(進行偵測的像素)判定為發生顏色錯位。而將確認為不是位在高亮度區域中的像素則判定為未發生顏色錯位(步驟353)。
於此,第一和第二係用以區別兩種不同程序,並無執行順序之限制。換言之,第一亮度確認程序和第二亮度確認程序的執行順序可任意調換。即,先執行第二亮度確認程序,於第二亮度確認程序中確認為位在高亮度區域中的像素接續執行第一亮度確認程序。
也就是說,於亮度偵測中,未設定的像素中之位於高對比區域且高亮度區域中之像素才判定為發生顏色錯位。
於漸層色彩偵測(步驟136)中,係利用像素的亮度資訊及色度資訊依據影像的漸層狀態來判定選擇之像素是否發生顏色錯位。於此,利用M×M遮罩找出未設定的像素中位在非平滑區域中、位在漸層色區域中、位在亮到暗呈梯度變化的區域中且位在鄰近亮部為中性色的區域之像素。M係為2y+1,y為大於1的正整數。於此,漸層色彩偵測(步驟136)可與亮度偵測(步驟134)使用相同尺寸的遮罩,即M等於K。漸層色彩偵測(步驟136)亦可與亮度偵測(步驟134)使用不同尺寸的遮罩,即M不等於K。
於此,係以進行偵測的像素位中心來展開涵蓋M×M個像素的一個M×M遮罩。換言之,進行偵測的像素係為M×M遮罩的中心像素,而於M×M遮罩下中心像素以外的像素則稱之為鄰近像素。
其中,當漸層色彩偵測為最先執行的偵測程序時,未設定的像素係為選定的像素。當漸層色彩偵測不為最先執行的偵測程序時,未設定的像素係為前一個偵測程序判定為發生顏色錯位的像素。
換言之,於漸層色彩偵測(步驟136)中,會進行4項漸層確認程序。為了方便描述,以下分別稱之為第一漸層確認程序、第二漸層確認程序、第三漸層確認程序和第四漸層確認程序。
第一漸層確認程序是確認進行偵測的像素是否位在非平滑區域(non-smooth area)。第二漸層確認程序是確認進行偵測的像素是否位在漸層色區域(gradational color area)。第三漸層確認程序是確認進行偵測的像素是否位在由亮到暗呈梯度變化的區域(area appearing gradational variation from bright to dark)。第四漸層確認程序是確認進行偵測的像素是否位在鄰近亮部為中性色的區域(area appearing bright neutral color)。
在第一漸層確認程序中,透過計算在M×M遮罩下在鄰近區域中接近中心像素的像素的數量來判定進行偵測的像素是否位在非平滑區域。
參照「第7A及8圖」,首先,計算在M×M遮罩下於八個方向上的最外圍的鄰近像素P00、P02、P04、P20、P24、P40、P42、P44與中心像素P22的差值(亮度與色度分離的信號的差值)(步驟361)。於「第8圖」中,以5×5遮罩為例,即M等於5,然而此非本發明之限制。其中,P00、P01、P02、P03、P04、P10、P11、P12、P13、P14、P20、P21、P23、P24、P30、P31、P32、P33、P40、P41、P42、P43及P44為中心像素P22的鄰近像素。
並且,將得到的最外圍的鄰近像素P00、P02、P04、P20、P24、P40、P42、P44與中心像素P22的差值分別與第四閥值相比較(步驟362)。於此,第四閥值可為單一數值或為一數值限制範圍。當第四閥值為單一數值時,可以差值的絕對值與閥值相比較。
計算符合條件的數量,即,計算差值(絕對值)小於或等於第四閥值的數量,或是計算差值落入第四閥值的數量(步驟363)。
再將計算得的數量與第五閥值相比較(步驟364)。
當計算得的數量大於第五閥值時,判定中心像素P22位於平
滑區域,即進行偵測的像素不是位在非平滑區域中(步驟365)。
當計算得的數量小於或等於第五閥值時,判定中心像素P22不是位於平滑區域,即進行偵測的像素係位在非平滑區域中(步驟366)。
接著,確認為位在非平滑區域中的像素接續進行第二漸層確認程序(即,接續進行步驟367)。而確認為不是位在非平滑區域中的像素則判定為未發生顏色錯位(步驟384)。
在第二漸層確認程序中,透過偵測在M×M遮罩下在相對於具有最大亮度梯度值的方向上的像素是否接近中心像素來判定進行偵測的像素是否位在漸層色區域。
參照「第7B圖」,首光,計算在M×M遮罩下於八個方向中具有最大亮度梯度值的方向的相對方向上,最外圍的鄰近像素與中心像素的差值(亮度與色度分離的信號的差值)(步驟367),並且將此差值與第六閥值相比較(步驟368)。
舉例來說,假設具有最大亮度梯度值的方向為如「第6A圖」所示之方向Dir0,具有最大亮度梯度值的方向的相對方向即為如「第6E圖」所示之方向Dir4。因此,對應於「第8圖」,則是計算鄰近像素P20與中心像素P22的差值。
其中,具有最大亮度梯度值的方向的取得方式大致上相同於前述步驟341和步驟342。換言之,當亮度偵測(步驟134)於漸層色彩偵測(步驟136)之前執行時,於漸層色彩偵測(步驟136)中即可透過於亮度偵測(步驟134)中所執行的步驟341來得知具有最大亮度梯度值的方向。反之,當亮度偵測(步驟134)於漸層色彩偵測(步驟136)之後執行時,於漸層色彩偵測(步驟136)中則可先執行步驟341,以得知具有最大亮度梯度值的方向,並且於亮度偵測(步驟134)中則可省略步驟341直接執行步驟342。
當差值大於第六閥值時,判定中心像素P22位於漸層色區域,即進行偵測的像素是位在漸層色區域中(步驟369)。
當差值小於或等於第六閥值時,判定中心像素P22不是位於漸層色區域,即進行偵測的像素不是位在漸層色區域中(步驟370)。
接著,確認為位在漸層色區域中的像素接續進行第三漸層確認程序(即,接續進行步驟371)。而確認為不是位在漸層色區域中的像素則判定為未發生顏色錯位(步驟384)。
在第三漸層確認程序中,透過計算在M×M遮罩下在具有最大亮度梯度值的方向及其相對方向上的兩相鄰像素的顏色相近的數量來判定進行偵測的像素是否位在漸層色區域。
參照「第7C圖」,首先,計算在M×M遮罩下於八個方向中具有最大亮度梯度值的方向及其相對方向上,所有相鄰兩像素之間的差值(亮度與色度分離的信號的差值)(步驟371),並且將此些差值與第七閥值相比較(步驟372)。
參照「第8圖」,以5×5遮罩為例,假設具有最大亮度梯度值的方向為如「第6A圖」所示之方向Dir0,即是計算於方向Dir0及方向Dir4上所有相鄰兩像素之間的差值(P20-P21、P21-P22、P22-P23及P23-P24)。
於此,第七閥值可為單一數值或為一數值限制範圍。當第七閥值為單一數值時,可以差值的絕對值與閥值相比較。
計算符合條件的數量(步驟373),例如:計算差值(絕對值)大於第七閥值的數量,或是計算差值落在第七閥值之外的數量。
再將計算得的數量與第八閥值相比較(步驟374),並且根據比較結果判定中心像素P22是否位在由亮到暗呈梯度變化的區域(即,步驟375或步驟376)。
當計算得的數量大於第八閥值時,判定中心像素P22位於由亮到暗呈梯度變化的區域,即進行偵測的像素是位在由亮到暗呈梯度變化的區域中(步驟375)。
當計算得的數量小於或等於第八閥值時,判定中心像素P22不是位於由亮到暗呈梯度變化的區域,即進行偵測的像素不是位在由亮到暗呈梯度變化的區域中(步驟376)。
此外,若步驟373是計算差值(絕對值)小於或等於第七閥值的數量,或是計算差值落入第七閥值的數量,則步驟375和步驟376的判斷結果則會相反。即,當計算得的數量大於第八閥值時,判定中心像素P22不是位於由亮到暗呈梯度變化的區域;反之,則判定中心像素P22位於由亮到暗呈梯度變化的區域(未顯示於圖式中)。
接著,確認為位在由亮到暗呈梯度變化的區域中的像素接續進行第四漸層確認程序(即,接續進行步驟377)。而確認為不是位在由亮到暗呈梯度變化的區域中的像素則判定為未發生顏色錯位(步驟384)。
在第四漸層確認程序中,透過偵測在M×M遮罩下亮區域的像素是否接近中性色來判定進行偵測的像素是否位在鄰近亮部為中性色的區域。
參照「第7D圖」,首先,計算在M×M遮罩下於八個方向中具有最大亮度梯度值的方向上,鄰近像素與中性色的差值(亮度與色度分離的信號中色度值與中性色的差值)(步驟377),並且將此差值與第九閥值相比較(步驟378)。
參照「第8圖」,以5×5遮罩為例,假設具有最大亮度梯度值的方向為如「第6A圖」所示之方向Dir0,即是計算於方向Dir0上所有鄰近像素與中性色的差值(若Cb和Cr信號為-127~127,則為P23-0及P24-0;若Cb和Cr信號為0~255,則為P23-128及P24-128)。
於此,第九閥值可為單一數值或為一數值限制範圍。當第九閥值為單一數值時,可以差值的絕對值與閥值相比較。
計算符合條件的數量,即,計算差值(絕對值)小於或等於第九閥值的數量,或是計算差值落入第九閥值的數量(步驟379)。
再將計算得的數量與第十閥值相比較(步驟380)。
當計算得的數量大於第十閥值時,判定中心像素P22位於鄰近亮部為中性色的區域,即進行偵測的像素是位在鄰近亮部為中性色的區域中(步驟381)。
當計算得的數量小於或等於第十閥值時,判定中心像素P22不是位於鄰近亮部為中性色的區域,即進行偵測的像素不是位於鄰近亮部為中性色的區域中(步驟382)。
接著,確認為位在鄰近亮部為中性色的區域中的像素判定為發生顏色錯位(即,接續進行步驟383)。而確認為不是位在鄰近亮部為中性色的區域中的像素則判定為未發生顏色錯位(步驟384)。
於此,第一、第二、第三和第四係用以區別不同程序,並無執行順序之限制。換言之,第一漸層確認程序、第二漸層確認程序、第三漸層確認程序和第四漸層確認程序的執行順序可任意調換。換言之,於前一漸層確認程序中確認為位在對應之特定區域(即,非平滑區域、漸層色區域、由亮到暗呈梯度變化的區域或鄰近亮部為中性色的區域)中的像素接續執行下一漸層確認程序,且最後一漸層確認程序中確認為位在對應之特定區域(即,非平滑區域、漸層色區域、由亮到暗呈梯度變化的區域或鄰近亮部為中性色的區域)中的像素才判定為發生顏色錯位的像素。
也就是說,於漸層色彩偵測中,未設定的像素中之位於非平滑區域、漸層色區域、由亮到暗呈梯度變化的區域且或鄰近亮部為中性色區域中之像素才判定為發生顏色錯位。
於此,可採用兩種補償方法進行修正。為了方便描述,以下分別稱之為第一補償方法和第二補償方法。
第一補償方法係以鄰近點進行補償。第二補償方法係以中性色進行補償。
並且,透過偵測在N×N遮罩下暗區域的平滑度及鄰近像素的錯位狀態,來決定每個顏色錯位像素係以第一補償方法或第二補償方法來進行補償。N係為2z+1,且z為大於1的正整數。於此,修正程序(即,步驟180)可與亮度偵測(步驟134)使用相同尺寸的遮罩,即N等於K。修正程序(即,步驟180)亦可與亮度偵測(步驟134)使用不同尺寸的遮罩,即N不等於K。同樣地,修正程序(即,步驟180)可與漸層色彩偵測(步驟136)使用相同尺寸的遮罩,即N等於M。修正程序(即,步驟180)亦可與漸層色彩偵測(步驟136)使用不同尺寸的遮罩,即N不等於M。
參照「第9圖」,於修正程序中(即,步驟180),首先,選擇一顏色錯位像素(步驟181)。
執行選擇之顏色錯位像素的補償方法決定程序(步驟182),以根據在N×N遮罩下暗區域的平滑度及鄰近像素的錯位狀態決定顏色錯位像素的補償方法。此N×N遮罩係為以選擇之顏色錯位像素為中心而展開涵蓋N×N個像素的一個參考區域。
以決定之補償方法(即,第一補償方法或第二補償方法)計算選擇之顏色錯位像素的修正值(即,步驟183)。計算得的修正值可先儲存於儲存單元中,例如:暫存於暫存器中。
接著,確認數位影像中的所有顏色錯位像素是否皆完成修正值的計算(步驟184)。
若尚未完成所有顏色錯位像素的計算(修正值的計算),則選擇下一顏色錯位像素(步驟185和步驟181)並接續進行步驟182、步驟183及步驟184)。
當數位影像中的所有顏色錯位像素皆完成修正值的計算時,則依據計算得的修正值壓抑顏色錯位像素,即,保留正常像素的值,然後依據計算得的修正值對應修正顏色錯位像素的亮度與色度分離的信號(步驟186),以得到修正後的數位影像。
於補償方法決定程序(步驟182)中,會進行2項狀態確認程序。為了方便描述,以下分別稱之為第一狀態確認程序和第二狀態確認程序。
第一狀態確認程序是分析色度資訊以確認進行計算的顏色錯位像素是否位在暗平滑區域。第二狀態確認程序是確認進行計算的顏色錯位像素的鄰近像素是否為顏色錯位像素。
其中,暗平滑區域係指在遮罩下暗區域係為平滑的顏色變化。
參照「第10圖」,首先,計算在N×N遮罩下於八個方向中具有最大亮度梯度值的方向的相對方向上,所有鄰近像素與中心像素的差值(亮度與色度分離的信號中色度值的差值)(步驟821),並且將此些差值與第十一閥值相比較(步驟822)。
舉例來說,假設具有最大亮度梯度值的方向為如「第6A圖」所示之方向Dir0,具有最大亮度梯度值的方向的相對方向即為如「第6E圖」所示之方向Dir4。因此,對應於「第8圖」,則是計算鄰近像素P20與中心像素P22的色度值的差值以及鄰近像素P21與中心像素P22的色度值的差值。
其中,具有最大亮度梯度值的方向的取得方式大致上相同於前述步驟341和步驟342。
於此,第十一閥值可為單一數值或為一數值限制範圍。當第十一閥值為單一數值時,可以差值的絕對值與閥值相比較。
將符合條件的鄰近像素進行第二狀態確認程序(步驟823)。例如:將差值(絕對值)小於第十一閥值的鄰近像素進行第二狀態確認程序,或是將差值落入第十一閥值的鄰近像素進行第二狀態確認程序。
於第二狀態確認程序中,確認符合條件的鄰近像素是否為顏色錯位像素(步驟823)。
將符合條件且不為顏色錯位像素的鄰近像素定義為參考像素(步驟824)。
確認是否存在有參考像素(步驟825)。
當存在有參考像素時,以第一補償方法計算選擇之顏色錯位像素的修正值(步驟831)。其中,第一補償方法可為計算所有參考像素的色度值的平均值,以作為選擇之顏色錯位像素的修正值。
當沒有存在有參考像素時,則以第二補償方法計算選擇之顏色錯位像素的修正值(步驟832)。
第二補償方法(即,步驟832)可包括下列步驟。
首先,找出在N×N遮罩下於八個方向中具有最大亮度梯度值的方向上,具有最大亮度值的鄰近像素。計算具有最大亮度值的鄰近像素與中心像素之間色度的差值。依據計算得的差值計算中心像素(選擇之顏色錯位像素)的修正值,以使中心像素往中性色壓抑。
於此,第一和第二係用以區別兩種不同程序,並無執行順序之限制。換言之,第一狀態確認程序和第二狀態確認程序的執行順序可任意調換。即,除上述執行順序外,亦可先執行第二狀態確認程序,於第二狀態確認程序中確認在具有最大亮度梯度值的方向的相對方向上且不為顏色錯位像素的鄰近像素接續執行第一狀態確認程序。
於此,第一補償方法(步驟831)及第二補償方法(步驟832)可分別依據下列方程式執行。
第一補償方法(步驟831)係依據下列公式1及公式2執行:
Cb_correction Po
=Cb average
;.................公式1
Cr_correction Po
=Cr average
;..................公式2
第二補償方法(步驟832)係依據下列公式3及公式4執行
Po
代表中心像素,即選擇之顏色錯位像素。
Cb Po
代表中心像素的藍色色度的色度值。
Cb average
代表所有參考像素的藍色色度值的平均值。
Cr Po
代表中心像素的紅色色度的色度值。
Cr average
代表所有參考像素的紅色色度值的平均值。
Cb_correction Po
代表中心像素的藍色色度的修正值。
Cr_correction Po
代表中心像素的紅色色度的修正值。
CbCr_Diff
代表具有最大亮度值的鄰近像素與中心像素之間藍色色度與紅色色度的最大差值。
根據本發明之數位影像的顏色錯位的消除方法可有效地消除數位影像中的顏色錯位,且修正後的顏色較為鮮豔,例如:不會偏灰。
雖然本發明以前述之實施例揭露如上,然其並非用以限定本發明。在不脫離本發明之精神和範圍內,所為之更動與潤飾,均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。
200...數位影像
210...遮罩
Po...中心像素
Pn...鄰近像素
P00...鄰近像素
P01...鄰近像素
P02...鄰近像素
P03...鄰近像素
P04...鄰近像素
P10...鄰近像素
P11...鄰近像素
P12...鄰近像素
P13...鄰近像素
P14...鄰近像素
P20...鄰近像素
P21...鄰近像素
P22...中心像素
P23...鄰近像素
P24...鄰近像素
P30...鄰近像素
P31...鄰近像素
P32...鄰近像素
P33...鄰近像素
P40...鄰近像素
P41...鄰近像素
P42...鄰近像素
P43...鄰近像素
P44...鄰近像素
第1圖係為根據本發明一實施例之數位影像的顏色錯位的消除方法的流程圖。
第2A圖係為一實施例之數位影像中各像素的偵測順序的示意圖。
第2B圖係為一實施例之顏色錯位的偵測的流程圖。
第3圖係為一實施例之特定色彩偵測的流程圖。
第4圖係為一實施例之多種顏色的色度範圍的示意圖。
第5A及5B圖係為一實施例之亮度偵測的流程圖。
第6A、6B、6C、6D、6E、6F、6G及6H圖係為在5×5遮罩下八個方向的示意圖。
第7A、7B、7C及7D圖係為一實施例之漸層色彩偵測的流程圖。
第8圖係為在5×5遮罩所涵蓋的像素的示意圖。
第9圖係為一實施例之修正程序的流程圖。
第10圖係為一實施例之補償方法決定程序及計算修正值的流程圖。
Claims (5)
- 一種數位影像的顏色錯位的消除方法,包括:取得一數位影像,其中該數位影像係由複數個像素所構成;利用一特定色彩偵測、一亮度偵測以及一漸層色彩偵測分析各該像素的一亮度與色度分離的信號,以判定在該數位影像中各該像素是否發生顏色錯位,並且將該特定色彩偵測、該亮度偵測以及該漸層色彩偵測之結果判定為未發生顏色錯位的各該像素設定為一正常像素;將利用該特定色彩偵測、該亮度偵測以及該漸層色彩偵測之結果均判定為發生顏色錯位的各該像素設定為一顏色錯位像素;以及修正該顏色錯位像素;其中,該特定色彩偵測包括:根據複數種顏色的色度範圍分析未設定的各該像素的該亮度與色度分離的信號的色度值;判定該色度值落在該複數種顏色的該色度範圍內的該像素為發生顏色錯位;以及判定該色度值落於該複數種顏色的該色度範圍之外的該像素為未發生顏色錯位;其中,該亮度偵測包括:利用一K×K遮罩分析未設定的該像素的該亮度與色度分離的信號中的亮度值,以找出未設定的該像素中位於高對比區域中且於高亮度區域中之像素,其中該K係為2x+1,該x為大於1的正整數,且進行偵測的未設定的該像素係位於該K×K遮罩的中心;以及判定位於該高對比區域且該高亮度區域中之該像素發生顏色錯位;以及其中,該漸層色彩偵測包括:利用一M×M遮罩分析未設定的該像素的該亮度與色度分離的信號中的該亮度值和該色度值,以找出未判定為發生顏色錯位的該像素中位在非平滑區域、漸層色區域、由亮到暗呈梯度變化的區域且鄰近亮部為中性色的區域中之像素,其中該M係為2y+1,該y為大於1的正整數,且進行偵測的未判定為發生顏色錯位的該像素係位於該M×M遮罩的中心;以及判定位於該非平滑區域、該漸層色區域、該由亮到暗呈梯度變化的區域且該鄰近亮部為中性色的區域中之該像素為發生顏色錯位。
- 如請求項1所述之數位影像的顏色錯位的消除方法,其中該M係等於該K。
- 如請求項1所述之數位影像的顏色錯位的消除方法,其中該修正發生顏色錯位的該像素的步驟包括:從設定之該顏色錯位像素中選擇一顏色錯位像素;執行選擇之該顏色錯位像素的一補償方法決定程序,其中該補償方法決定程序係為根據一N×N遮罩下暗區域的平滑度及至少一鄰近像素的錯位狀態決定選擇之該顏色錯位像素的補償方法為一第一補償方法和一第二補償方法中之一,N係為2z+1,z為大於1的正整數,選擇之該顏色錯位像素係位於該N×N遮罩的中心,且各該鄰近像素係為於該N×N遮罩下選擇之該顏色錯位像素以外之像素中之一;以決定之該補償方法計算選擇之該顏色錯位像素的一修正值;以及依據該修正值對應修正選擇之該顏色錯位像素的該亮度與色度分離的信號;其中,該第一補償方法係為以該鄰近像素壓抑選擇之該顏色錯位像素,且該第二補償方法係為將選擇之該顏色錯位像素往中性色壓抑。
- 如請求項3所述之數位影像的顏色錯位的消除方法,其中該N等於該K和該M中之至少一個。
- 如請求項1所述之數位影像的顏色錯位的消除方法,更包括:保留該正常像素的該亮度與色度分離的信號。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW098145998A TWI394434B (zh) | 2009-12-30 | 2009-12-30 | The method of eliminating the color dislocation of digital images |
US12/767,516 US8385642B2 (en) | 2009-12-30 | 2010-04-26 | Method for removing color fringe in digital image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW098145998A TWI394434B (zh) | 2009-12-30 | 2009-12-30 | The method of eliminating the color dislocation of digital images |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201123850A TW201123850A (en) | 2011-07-01 |
TWI394434B true TWI394434B (zh) | 2013-04-21 |
Family
ID=44187646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW098145998A TWI394434B (zh) | 2009-12-30 | 2009-12-30 | The method of eliminating the color dislocation of digital images |
Country Status (2)
Country | Link |
---|---|
US (1) | US8385642B2 (zh) |
TW (1) | TWI394434B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8873882B2 (en) * | 2011-02-28 | 2014-10-28 | Aptina Imaging Corporation | Blooming filter for multiple exposure high dynamic range image sensors |
CN103455996B (zh) * | 2012-05-31 | 2016-05-25 | 富士通株式会社 | 边缘提取方法和设备 |
JP6415108B2 (ja) * | 2014-05-22 | 2018-10-31 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 |
WO2015118385A1 (en) | 2014-02-07 | 2015-08-13 | Sony Corporation | Method and apparatus for reducing color fringing in composite images |
CN106303483B (zh) * | 2015-05-20 | 2019-05-24 | 浙江大华技术股份有限公司 | 一种图像处理方法及装置 |
KR102529957B1 (ko) | 2016-09-26 | 2023-05-08 | 삼성전자주식회사 | 디스플레이장치 및 기록매체 |
US11195319B1 (en) * | 2018-10-31 | 2021-12-07 | Facebook Technologies, Llc. | Computing ray trajectories for pixels and color sampling using interpolation |
WO2020117378A1 (en) * | 2018-12-05 | 2020-06-11 | Gopro, Inc. | Color fringing processing independent of tone mapping |
CN113965735B (zh) * | 2020-07-21 | 2024-03-01 | 瑞昱半导体股份有限公司 | 影像去色带判断方法及其影像去色带判断电路 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040046894A1 (en) * | 2002-09-09 | 2004-03-11 | Eastman Kodak Company | Reducing color aliasing artifacts from color digital images |
US20040264915A1 (en) * | 2000-10-16 | 2004-12-30 | Eastman Kodak Company | Removing color aliasing artifacts from color digital images |
US20070097267A1 (en) * | 2005-11-01 | 2007-05-03 | Junzou Sakurai | Imaging device having chromatic aberration suppression |
US20070153341A1 (en) * | 2005-12-30 | 2007-07-05 | Microsoft Corporation | Automatic removal of purple fringing from images |
US20090273690A1 (en) * | 2008-04-30 | 2009-11-05 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, control method for image processing apparatus, and storage medium storing control program therefor |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8339462B2 (en) * | 2008-01-28 | 2012-12-25 | DigitalOptics Corporation Europe Limited | Methods and apparatuses for addressing chromatic abberations and purple fringing |
JP4479457B2 (ja) * | 2004-05-27 | 2010-06-09 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
US8237823B2 (en) * | 2008-11-06 | 2012-08-07 | Samsung Electronics Co., Ltd. | Method and apparatus for canceling chromatic aberration |
US8644640B2 (en) * | 2009-05-27 | 2014-02-04 | Microsoft Corporation | Purple fringing artifact reduction within a digital image with guidance from a green channel |
-
2009
- 2009-12-30 TW TW098145998A patent/TWI394434B/zh not_active IP Right Cessation
-
2010
- 2010-04-26 US US12/767,516 patent/US8385642B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040264915A1 (en) * | 2000-10-16 | 2004-12-30 | Eastman Kodak Company | Removing color aliasing artifacts from color digital images |
US20040046894A1 (en) * | 2002-09-09 | 2004-03-11 | Eastman Kodak Company | Reducing color aliasing artifacts from color digital images |
US20070097267A1 (en) * | 2005-11-01 | 2007-05-03 | Junzou Sakurai | Imaging device having chromatic aberration suppression |
US20070153341A1 (en) * | 2005-12-30 | 2007-07-05 | Microsoft Corporation | Automatic removal of purple fringing from images |
US20090273690A1 (en) * | 2008-04-30 | 2009-11-05 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, control method for image processing apparatus, and storage medium storing control program therefor |
Also Published As
Publication number | Publication date |
---|---|
US20110158514A1 (en) | 2011-06-30 |
US8385642B2 (en) | 2013-02-26 |
TW201123850A (en) | 2011-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI394434B (zh) | The method of eliminating the color dislocation of digital images | |
TWI395468B (zh) | The method of eliminating the color dislocation of digital images | |
TWI516132B (zh) | An image processing apparatus, an image processing method, and a program | |
JP5454075B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US7551214B2 (en) | Pixel interpolation method | |
TWI428025B (zh) | Image processing apparatus and image processing method, image capturing apparatus and computer program product | |
JP4284628B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
CN105744242B (zh) | 图像处理设备、摄像设备和图像处理方法 | |
US8854511B2 (en) | Apparatus and method for image processing and storage medium, and image pickup apparatus | |
WO2012117584A1 (ja) | カラー撮像装置 | |
US9030579B2 (en) | Image processing apparatus and control method that corrects a signal level of a defective pixel | |
WO2011152174A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2016048815A (ja) | 画像処理装置、画像処理方法、及び、画像処理システム | |
TWI670977B (zh) | 不良像素補償方法與裝置 | |
KR20070103229A (ko) | 컬러 보간 방법 및 장치 | |
JP2009130553A (ja) | 欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置 | |
KR20060078646A (ko) | 디지털 촬영장치의 색상 보간법 | |
JP4617870B2 (ja) | 撮像装置および方法、並びにプログラム | |
JP5600812B2 (ja) | 撮像装置 | |
US8654220B2 (en) | Image processing apparatus and control method for the same | |
CN102118620B (zh) | 数字影像的颜色错位的消除方法 | |
CN102118621B (zh) | 数字影像的颜色错位的消除方法 | |
JP2009296471A (ja) | 映像信号処理装置、撮像装置及び映像信号処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |