TWI400667B - 色彩補插方法及應用其之影像處理裝置 - Google Patents

色彩補插方法及應用其之影像處理裝置 Download PDF

Info

Publication number
TWI400667B
TWI400667B TW95132942A TW95132942A TWI400667B TW I400667 B TWI400667 B TW I400667B TW 95132942 A TW95132942 A TW 95132942A TW 95132942 A TW95132942 A TW 95132942A TW I400667 B TWI400667 B TW I400667B
Authority
TW
Taiwan
Prior art keywords
color
value
target pixel
interpolation
pixels
Prior art date
Application number
TW95132942A
Other languages
English (en)
Other versions
TW200813888A (en
Inventor
Chi Hao Tsai
Ju Wei Chen
Yung Chang Hsu
Original Assignee
Magic Pixel Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Pixel Inc filed Critical Magic Pixel Inc
Priority to TW95132942A priority Critical patent/TWI400667B/zh
Publication of TW200813888A publication Critical patent/TW200813888A/zh
Application granted granted Critical
Publication of TWI400667B publication Critical patent/TWI400667B/zh

Links

Description

色彩補插方法及應用其之影像處理裝置
本發明是有關於一種色彩補插方法及應用其之影像處理裝置,且特別是有關於一種依據環境亮度或使用者需求而採用不同演算法之色彩補插方法及應用其之影像處理裝置。
隨著影像資料處理技術的演進,使用者係可透過影像擷取裝置擷取影像資料後進行各種影像資料處理,使得影像資料呈現出更優越之品質表現。其中,影像資料係由數個像素所組成,此些像素係以矩陣式排列。在一般的影像擷取裝置中,各個像素分別由單一光感測元件所擷取。每一光感測元件係僅用以擷取一種原色成分(color component)之資訊,例如是紅色、綠色或藍色。因此,各個像素僅可獲得一種原色彩值,其餘的原色彩值則必須透過色彩補插方法來獲得。
在傳統之色彩補插方法中,一目標像素所缺少之原色彩值係由鄰近像素的原色彩值而獲得。舉例來說,若目標像素僅具有紅色彩值,則目標像素之綠色彩值可依據鄰近像素之綠色彩值而獲得。同理,目標像素之藍色彩值可依據鄰近像素之藍色彩值而獲得。其中,傳統之色彩補插方法係依照一預定之演算法進行運算。然而影像擷取裝置在各種不同環境下對於所擷取之影像資料將有不同程度之影響。傳統之色彩補插方法依據同一種預定之演算法,可能導致凸顯雜訊或畫面模糊之狀況,使得影像資料色彩品質不穩定。
因此,如何提出一種色彩補插方法及應用其之影像處理裝置,以解決上述種種問題,實為目前研發重要方向之一。
有鑑於此,本發明的目的就是在提供一種色彩補插方法及應用其之影像處理裝置。其依據不同的環境亮度資訊而採用適合之演算法,並依據不同演算法更搭配不同之影像資料校正與調整程序,使得本發明之色彩補插方法及應用其之影像處理裝置具有「在不同環境亮度下,均可獲得最佳色彩品質」、「可依據使用者之個人喜好,獲得需要之色彩品質」、「實用性高」、「顏色調整最佳化」、「有效消除雜訊」、「有效強化邊緣」及「有效抑制假色」之優點。
根據本發明之一目的,提出一種色彩補插方法,用以補插一影像資料之色彩。從影像資料中定義一目標像素、數個第一鄰近像素及數個第二鄰近像素。第一鄰近像素係環繞目標像素成一3 * 3矩陣,第二鄰近像素更環繞第一鄰近像素成一5 * 5矩陣。影像資料對應一環境亮度資訊,色彩補插方法至少包括以下之步驟:判斷環境亮度資訊是否落於一暗態範圍內。若是則依據第一鄰近像素,補插目標像素之色彩。若否則依據第一鄰近像素及第二鄰近像素,補插目標像素之色彩。
根據本發明另一目的,提出一種影像處理裝置。影像處理裝置包括一影像擷取單元及一色彩補插單元。影像擷取單元用以擷取一影像資料。從影像資料中定義一目標像素、數個第一鄰近像素及數個第二鄰近像素。第一鄰近像素係環繞目標像素成一3 * 3矩陣,第二鄰近像素更環繞第一鄰近像素成一5 * 5矩陣。色彩補插單元用以補插影像資料之色彩。色彩補插單元包括一自動判斷單元、一第一演算單元及一第二演算單元。自動判斷單元係用以判斷一環境亮度資訊是否落於一暗態範圍內。第一演算單元係依據第一鄰近像素,補插目標像素之色彩。第二演算單元係依據第一鄰近像素及第二鄰近像素,補插目標像素之色彩。其中,當環境亮度資訊落於暗態範圍時,色彩補插單元係以第一演算單元補插影像資料之色彩。當環境亮度資訊未落於暗態範圍時,色彩補插單元係以第二演算單元補插影像資料之色彩。
為讓本發明之上述目的、特徵、和優點能更明顯易懂,下文特舉一較佳實施例,並配合所附圖式,作詳細說明如下:
請同時參照第1~3圖,第1圖繪示依照本發明較佳實施例之影像處理裝置1000之主要功能方塊方塊圖。第2圖繪示具貝爾圖樣(Bayer pattern)之影像資料E1其部分像素的示意圖。第3圖繪示依照本發明較佳實施例之色彩補插方法之主要流程圖。
如第1圖所示,影像處理裝置1000至少包括一影像擷取單元100及一色彩補插單元(Color Interpolation Unit)300。一景物E0透過影像擷取單元100擷取為一影像資料(Image Data)E1。以第2圖為例,從影像資料E1中定義一目標像素R0、數個第一鄰近像素B1、G1及數個第二鄰近像素R2、G2。第一鄰近像素係B1、G1環繞目標像素R0成一3*3矩陣,第二鄰近像素R2、G2更環繞第一鄰近像素B1、G1成一5*5矩陣。其中,此些像素R0、B1、G1、R2及G2係以一貝爾圖樣(Bayer pattern)配置。各像素R0、B1、G1、R2及G2係對應一原色,例如是紅色(Red,R)、綠色(Green,G)或藍色(Blue,B)。
如第1圖所示,當影像擷取單元100擷取影像資料E1時,影像資料E1對應一環境亮度資訊(Environmental Luminance Information)E2。色彩補插單元300用以補插影像資料E1之色彩。色彩補插單元300至少包括一自動判斷單元330、一第一演算單元310及一第二演算單元320。自動判斷單元330用以判斷環境亮度資訊E2是否落於一暗態範圍內。第一演算單元310係依據第一鄰近像素B1、G1補插目標像素R0之色彩。第二演算單元320係依據第一鄰近像素B1、G1及第二鄰近像素R2、G2補插目標像素R0之色彩。透過自動判斷單元330的判斷後,而選擇採用第一演算單元310或第二演算單元320進行色彩補 插。至於本發明之色彩補插方法之主要步驟係以第3圖說明如下,同時並搭配第2圖之像素為例作說明。
如第3圖所示,色彩補插方法至少包括以下之主要步驟。首先,在步驟(a)中,判斷環境亮度資訊E2是否落於一暗態範圍內。若是,則執行步驟(c);若否,則執行步驟(d)。接著在步驟(c)中,依據第一鄰近像素B1、G1,補插目標像素R0之色彩。或者,在步驟(d)中,依據第一鄰近像素B1、G1及第二鄰近像素R2、G2,補插目標像素R0之色彩。透過步驟(c)及步驟(d)之兩種不同演算法補插目標像素R0之色彩係可獲得適合環境亮度資訊之色彩品質。至於在步驟(a)中,如何判斷環境亮度資訊E2係以第4圖詳細說明如下:
其中,判斷環境亮度資訊E2是否落於暗態範圍內之步驟(a)更包括數個子步驟。請參照第4圖,其繪示第3圖之步驟(a)之細部步驟流程圖。環境亮度資訊E2包括一曝光時間(exposure time)及一感測增益值(sensor gain)。
首先,在步驟(a1)中,判斷曝光時間是否大於一參考時間。若是則表示環境亮度資訊E2落於暗態範圍,若否則進入步驟(a2)。
在步驟(a2)中,判斷感測增益值是否大於一參考增益值。若是則表示環境亮度資訊E2落於暗態範圍,若否則進入步驟(a3)。
在步驟(a3)中,判斷曝光時間及感測增益值之乘積 是否大於一參考乘積。若是則表示環境亮度資訊E2落於暗態範圍,若否則表示環境亮度資訊E2未落於暗態範圍。
依照上述子步驟(a1)、(a2)及(a3)之判斷後,若判斷結果為環境亮度資訊E2落於暗態範圍內,則進入步驟(c)。若判斷結果為環境亮度資訊E2未落於暗態範圍內,則進入步驟(d)。
此外,雖然本發明之子步驟(a1)、(a2)及(a3)係以第4圖之順序為例作說明。然而子步驟(a1)、(a2)及(a3)之順序並不在此限,設計者係可依據需求作適當的更動,仍不超出本發明之技術範圍。
當環境亮度資訊E2落於暗態範圍內時,所擷取之影像資料E1可能較模糊。此時,在步驟(c)中,僅依據第一鄰近像素B1、G1,補插目標像素R0之色彩。因此,影像資料E1依此步驟(c)進行色彩補插後,即可獲得較清晰銳利之色彩品質。
當環境亮度資訊E2未落於暗態範圍內時(亦即落於亮態範圍內),所擷取之影像資料E1具有較多之曝光量。在步驟(d)中,不僅依據第一鄰近像素B1、G1及補插目標像素R0之色彩,更依據第二鄰近像素R2、G2,補插目標像素R0之色彩。因此,影像資料E1依此步驟(d)進行色彩補插後,即可獲得較平緩之色彩變化。
請同時參照第5圖及第6圖,第5圖繪示第1圖之影像處理裝置1000的細部功能單元方塊圖。第6圖繪示依照第5圖之色彩補插單元其方法的細部流程圖。在本實施 例中,影像處理裝置1000例如是一照相手機、一照相機或一攝影機,任何形式之攝錄影像處理裝置均可應用本發明之色彩補插方法。如第5圖所示,影像處理裝置1000包括影像擷取單元100、明暗校正單元(Shading Correction Unit)200、色彩補插單元300、濾波器(Filter)400、RGB色彩校正單元(Color Processing Unit in the RGB Space)500、色彩空間轉換單元(Color Space Transform Unit)600、雜訊消除單元(De-noise Unit)710、邊緣強化單元(Edge Enhancement Unit)720、假色抑制單元(False Color Suppression Unit)730、自動對焦單元910及自動曝光單元920。
景物之影像資料E1藉由影像擷取單元100所擷取,影像擷取單元100包括一鏡頭(Lens)110、光感測元件陣列(Optical Sensor Array)120及類比數位轉換器(A/D Coverter)130。景物之影像資料E1穿越鏡頭110後,聚焦於光感測元件陣列120上。光感測元件陣列120接收影像資料E1後,更透過類比/數位轉換器130將影像資料E1轉換成一數位資料。光感測元件陣列120包括數個光感測元件,每一光感測元件係用以感測一種原色成分資料。也就是說,組成影像資料E1之各個像素分別具有一原色彩值。
由於在鏡頭110中心處所擷取的部分影像資料E1之亮度較高,而鏡頭110邊緣處所擷取的部分影像資料E1之亮度較低。因此,明暗校正單元200係用以校正影像資 料E1在中心位置與邊緣位置之明亮度的差異。
接著,透過明暗校正單元200校正後之影像資料E1,再藉由色彩補插單元300進行色彩補插程序。其中,色彩補插單元300更包括一使用者介面340。如第6圖所示,在步驟(0)中,使用者係可透過使用者介面340選擇自動模式或手動模式。當使用者選擇自動模式時,則進入步驟(a)。當使用者選擇手動模式時,則進入步驟(b)。
如前述之第4圖所示,在步驟(a)中,係以自動判斷單元330判斷環境亮度資訊E2是否落於暗態範圍內。且步驟(a)更包含數個子步驟(a1)、(a2)、(a3)、(a4)及(a5),在此不再贅述。若環境亮度資訊E2落於暗態範圍內,則以第一演算單元310執行步驟(c),若環境亮度資訊E2未落於暗態範圍內,則以第二演算單元320執行步驟(d)。
在步驟(b)中,使用者係可透過使用者介面340選擇以第一演算單元310執行步驟(c)以獲得較清晰銳利之影像資料E1。或者選擇以第二演算單元320執行步驟(d),以獲得色彩變化較平緩之影像資料E1。其中,此步驟(c)係與前述步驟(c)相同,此步驟(d)係與前述步驟(d)相同,不再贅述。
如上所述,第6圖之虛線範圍係為第5圖之色彩補插單元300之內部運作的流程。透過自動模式的操作,使得影像資料E1可依據環境亮度資訊E2而以最適合之演算法進行色彩補插。此外,透過手動模式的操作,使得使用者 可依據個人需求進行色彩補插。
接著,如第5圖所示。經過色彩補插後的影像資料E1更透過RGB色彩校正單元進行色彩校正。RGB色彩校正單元包括一黑色補償單元(Black Compensation Unit)510、一自動白平衡單元(Auto White Balance Unit,AWB Unit)520、一彩色校正單元(Color Correction Unit)530及一迦瑪校正單元(Gamma Correction Unit)540。黑色補償單元510用以將影像資料E1中的RGB值做平移校正,使得黑色像素之RGB值均為0。自動白平衡單元520則是依據當時的色溫,將RGB值分別乘上適當的增益(Gains),使的白色的RGB值均可達到255。彩色校正單元530則用以校正影像資料E1之色彩飽和度、色彩對比度及色偏。迦瑪校正單元540則用以調整整張影像資料E1之明暗對比效果。
如第5圖所示,YCbCr色彩空間係為目前多數影像及視訊壓縮演算法(如JPEG、MPEG等)所採用之色彩空間。因此經過RGB色彩校正後的影像資料E1更透過色彩空間轉換單元600,而將影像資料E1由RGB空間(RGB Space)轉換為YCbCr空間(YCbCr Space)。
請更同時參照第5圖及第6圖。經由自動模式之步驟(a)的判斷後,當環境亮度資訊落於暗態範圍時,同時表示著影像資料E1的雜訊較多。因此在步驟(c)之後,更可透過步驟(e)以雜訊消除單元710消除影像資料E1之雜訊。
此外,在手動模式下,經由步驟(c)之色彩補插演算後之影像資料E1可能產生部分的假色(False Color)。因此在步驟(c)之後更可透過步驟(f),以假色抑制單元730抑制影像資料E1之假色。
不論是自動模式或手動模式。經由步驟(d)之色彩補插演算後之影像資料E1可能使得影像資料E1中之邊緣圖樣較為模糊。因此在步驟(d)之後更可透過步驟(g),以邊緣強化單元720強化影像資料E1中之邊緣圖樣。
如上所述,本發明係在不同的演算法下,更搭配上述之雜訊消除單元710、邊緣強化單元720及假色抑制單元730以有效地達到消除雜訊、強化邊緣及抑制假色之目的。
其中,明暗校正後之影像資料E1更可透過濾波器400擷取出高頻資料E3。邊緣強化單元係依據轉換為YCbCr色彩空間之影像資料E1及高頻資料E3進行邊緣強化之動作。在本實施例中,濾波器400係為一拉普拉斯濾波器(Laplaian Filter)。
此外,高頻資料E3除了提供邊緣強化單元720之外,更具有另一用途。高頻資料E3更可提供自動對焦單元(Auto Focus Unit,AF Unit)910進行自動對焦之動作。其利用不同之焦距配合多張影像資料之高頻資料,可自動尋找到最適合之的焦距。
其中轉換為YCbCr空間之影像資料E1具有一亮度資料E4(Luminance Data),自動曝光單元920係可依據亮度資料E4決定下一張影像資料之曝光時間(Exposure Time)。
最後,經由上述明暗校正、色彩補插、RGB色彩校正、色彩空間轉換、雜訊消除、邊緣強化及假色抑制之影像資料E1即可輸出至一記憶卡或一影像壓縮單元。
至於第5圖之第一演算單元310、第二演算單元320及其所執行之步驟(c)及步驟(d)之演算法,以下係配合第7圖為例詳細說明如下。
請參照第7圖,其繪示具貝爾圖樣之影像資料E1其部分像素的配置示意圖。本發明色彩補插方法之步驟(c)及步驟(d)係為一種適性補插演算法(adaptive color interpolation algorithms)。如第7圖所示,影像資料E1之像素係以一貝爾圖樣(Bayer pattern)配置。每一像素僅具有一種原色彩值,其中二分之一的像素係具有綠色彩值,四分之一的像素具有紅色彩值,另外四分之一的像素具有藍色彩值。如第7圖所示,任意選取3*3矩陣的9個像素,僅可能產生虛線L11、L12、L13及L14等四種排列方式。在每一3*3矩陣中,定義中間位置的像素為目標像素,其餘為環繞目標像素之第一鄰近像素。目標像素具有一第一原色彩值,部分之第一鄰近像素具有一第二原色彩值。在步驟(c)之演算法中,其主要精神係以水平方向、垂直方向差異最小的兩個,兩對角方向差異最小的兩個,或四個第一鄰近像素之第二原色彩值的平均值組成目標像素之一第二原色補插值。
以下係分別以虛線L11、L12、L13及L14等四種排列 方式說明在步驟(c)之演算式。
在虛線L11中,定義此些像素包括,其中目標像素R10具有一紅色彩值V(R10),第一鄰近像素B11、B12、B13及B14分別具有一藍色彩值V(B11)、V(B12)、V(B13)及V(B14),第一鄰近像素G11、G12、G13及G14分別具有一綠色彩值V(G11)、V(G12)、V(G13)及V(G14)。在步驟(c)之演算式中係依據綠色彩值V(G11)、V(G12)、V(G13)及V(G14)獲得目標像素R10之一綠色補插值V(R10_G)。計算公式如下:
其中,當垂直方向綠色彩值V(G11)及V(G14)之差異遠小於水平方向綠色彩值V(G12)及V(G13)之差異時,則以垂直方向綠色彩值V(G11)及V(G14)的平均值組成目標像素G10之綠色補插值V(R10_G)。
反之,則以水平方向綠色彩值V(G12)及V(G13)的平均值組成目標像素R10之綠色補插值V(R10_G)。
當水平方向及垂直方向之綠色彩值差異皆不大時,則 直接以四個綠色彩值之平均組成目標像素R10之綠色補插值V(R10_G)。
另外,在步驟(c)之演算式係依據藍色彩值V(B11)、V(B12)、V(B13)及V(B14)獲得目標像素R10之一藍色補插值V(R10_B)。計算公式如下:
其中,當左上-右下方向的藍色彩值V(B11)及V(B14)之差異遠小於右上-左下方向的藍色彩值V(B12)及V(B13)之差異時,則以左上-右下方向的藍色彩值V(B11)及V(B14)的平均值組成目標像素G10之藍色補插值V(R10_B)。
反之,則以右上-左下方向的綠色彩值V(B12)及V(B13)的平均值組成目標像素R10之藍色補插值V(R10_B)。
當左上-右下方向及右上-左下方向之綠色彩值差異皆不大時,則直接以四個藍色彩值之平均組成目標像素R10之藍色補插值V(R10_B)。
在虛線L12中,此些像素包括,其中目標像素B20具有一藍色彩值V(B20),第一鄰近像素R21、R22、R23及R24分別具有一紅色彩值V(R21)、V(R22)、V(R23)及V(R24),第一鄰近像素G21、G22、G23及G24分別具有一綠色彩值V(G21)、V(G22)、V(G23)及V(G24)。在步驟(c)之演算式係依據綠色彩值V(G21)、V(G22)、V(G23)及V(G24)獲得目標像素B20之一綠色補插值V(B20_G)。計算公式如下:
其中,演算式(c3)之主要精神與演算式(c1)相同,在此不再贅述。
此外,步驟(c)更依據紅色彩值V(R21)、V(R22)、V(R23)及V(R24)獲得目標像素B20之一紅色補插值V(B20_R)。計算公式如下:
其中,演算式(c4)之主要精神與演算式(c2)相同,在此不再贅述。
在虛線L13中,像素包括,其中第一鄰近像素R31及R32分別具有一紅色彩值V(R31)及V(R32),第一鄰近像素B31及B32分別具有一藍色彩值V(B31)及V(B32),目標像素G30、第一鄰近像素G31、G32、G33及G34分別具有一綠色彩值V(G30)、V(G31)、V(G32)、V(G33)及V(G34)。其中步驟(c)係依據第一鄰近像素R31及R32之紅色彩值V(R31)及V(R32)獲得目標像素R30之紅色補插值V(G30_R)。其計算公式如下:V (G 30_R )=[V (R 31)+V (R 32)]/2…………………………………(c5)
其中,鄰近目標像素G30之紅色彩值僅有V(R31)及V(R32)。因此,係可直接以紅色彩值V(R31)及V(R32)之平均值組成目標像素G30之紅色彩值V(G30_R)。
此外,步驟(c)更依據第一鄰近像素B31及B32之藍色彩值V(B31)及V(B32)獲得目標像素R30之藍色補插值V(G30_B)。其計算公式如下:V (G 30_B )=[V (B 31)+V (B 32)]/2…………………………………(c6)
其中,演算式(c6)之主要精神與演算式(c5)相同, 在此不再贅述。
在虛線L14中,此些像素包括,其中第一鄰近像素R41及R42分別具有一紅色彩值V(R41)及V(R42),第一鄰近像素B41及B42分別具有一藍色彩值V(B41)及V(B42),目標像素G40、第一鄰近像素G41、G42、G43及G44分別具有一綠色彩值V(G40)、V(G41)、V(G42)、V(G43)及V(G44)。其中步驟(c)係依據第一鄰近像素R41及R42之紅色彩值V(R41)及V(R42)獲得目標像素G40之紅色補插值V(G40_R)。計算公式如下:V (G 40_R )=[V (R 41)+V (R 42)]/2…………………………………(c7)
其中,演算式(c7)之主要精神與演算式(c5)相同,在此不再在贅述。
此外,步驟(c)更依據第一像素B41及B42之藍色彩值V(B41)及V(B42)獲得目標像素之藍色補插值V(B40_B)。計算公式如下:V (G 40_B )=[V (B 41)+V (B 42)]/2…………………………………(c8)
其中,演算式(c8)之主要精神與演算式(c5)相同,在此不再贅述。
如第7圖所示,任意選取5*5矩陣的25個像素,僅可能產生虛線L21、L22、L23及L24等四種排列方式。在每一5*5矩陣中,定義中間位置的像素為目標像素,環繞目標像素之8個像素為第一鄰近像素,其餘為第二鄰近像素。目標像素具有一第一原色彩值,部分之第一鄰近像素具有一第二原色彩值,部分之第二鄰近像素具有一第一原色彩值;在步驟(d)中,更以部分之第二鄰近像素之第一原色彩值調整目標像素之一第二原色補插值。
或者,部分之第一鄰近像素具有一第二原色補插值,在該步驟(d)中,更以部分之第一鄰近像素之第二原色補插值調整目標像素之另一第二原色補插值。
以下係分別說明虛線L21、L22、L23及L24等四種排列方式在步驟(d)中的演算式。
在虛線L21中,此些像素包括,其中目標像素R104、第二鄰近像素R110、R111、R109及R112分別具有一紅色彩值V(R104)、V(R110)、V(R111)、V(R109)及V(R112),第一鄰近像素B100、B102、B106及B108分別具有一藍色彩值V(B100)、V(B102)、V(B106)及V(B108),第一鄰近像素G101、G103、G105、G107、第二鄰近像素G114、 G113、G117、G120、G118、G119、G115及G116分別具有一綠色彩值V(G101)、V(G103)、V(G105)、V(G107)、V(G114)、V(G113)、V(G117)、V(G120)、V(G118)、V(G119)、V(G115)及V(G116)。其中步驟(d)更依據綠色彩值V(G101)、V(G103)、V(G105)及V(G107)以及紅色彩值V(R104)、V(R110)、V(R111)、V(R109)及V(R112)以及藍色彩值V(B100)、V(B102)、V(B106)及V(B108),以獲得目標像素R104之一綠色補插值V(R104_G)。計算公式如下:
首先,計算紅色變異值R var 、綠色變異值G var 及藍色變異值:R var =max[V (R 104),V (R 109),V (R 110),V (R 111),V (R 112)]-min[V (R 104),V (R 109),V (R 110),V (R 111),V (R 112)]G var =max[V (G 101),V (G 103),V (G 105),V (G 107)]-min[V (G 101),V (G 103),V (G 105),V (G 107)]B var =max[V (B 100),V (B 102),V (B 106),V (B 108)]-min[V (B 100),V (B 102),V (B 106),V (B 108)]……………………(d11)
接著,以原色變異值較小之原色值決定水平差值△h 及垂直差值△v
然後,計算目標像素R104之綠色補插值V(R104_G):
其中,當水平差值△h 遠小於垂直差值△v 且垂直差值△v 大於一門檻值TV(Threshold value)時,該門檻值TV係為一預設數值,則以水平方向綠色彩值V(G103)及V(G105)的平均值[V (G 103)+V (G 105)]/2,並加上綠色與紅色之調整關係式以組成目標像素G104之綠色補插值V(R104_G)。
反之,則以垂直方向綠色彩值V(G101)及V(G107)的平均值[V (G 101)+V (G 107)]/2,並加上綠色與紅色之調整關係式以組成目標像素R104之綠色補插值V(R104_G)。
當水平差值△h 與垂直差值△v 差異不大時,則直接以四個綠色彩值之平均組[V (G 101)+V (G 103)+V (G 105)+V (G 107)]/4,並加上綠色與紅色之調整關係式以組成目標像素R104之綠色補插值V(R104_G)。
此外,步驟(d)更依據藍色彩值V(B100)、V(B102)、V(B106)及V(B108)以及目標像素R104、第一鄰近像素B100、B102、B106及B108之一綠色補插值V(R104_G)、V(B100_G)、V(B102_G)、V(B106_G)及V(B108_G)獲得目標像素R104之一藍色補插值V(R104_B)。其計算公式如下:
首先,以步驟(c)之方式計算綠色補插值V(R104_G)、V(B100_G)、V(B102_G)、V(B106_G)及V(B108_G)。
接著,計算變化差值△d 1 、△d 2 、△d 3 及△d 4 :△d 1 =|V (B 100)-V (B 108)| △d 2 =|V (B 102)-V (B 106)| △d 3 =|V (G 117)-V (G 107)|/2+|V (G 101)-V (G 119)|/2 △d 4 =|V (G 101)-V (G 118)|/2+|V (G 120)-V (G 107)/2…………………(d21)
然後,計算目標像素R104之藍色補插值V(R104_B):
其中,演算式(d22)之主要精神與演算式(d13)類似,但考慮的是斜角方向的差值,在此不再贅述。
在虛線L22中此些像素包括,其中目標像素B204、第二鄰近像素B210、B211、B209及B212分別具有一藍色彩值V(B204)、V(B210)、V(B211)、V(B209)及V(B212),第一鄰近像素R200、R202、R206及R208分別具有一紅色彩值V(R200)、V(R202)、V(R206)及V(R208),第一鄰近像素G201、G203、G205、G207、第二鄰近像素G214、G213、G217、G220、G218、G219、G215及G216分別具有一綠色彩值V(G201)、V(G203)、V(G205)、V(G207)、V(G214)、V(G213)、V(G217)、V(G220)、V(G218)、 V(G219)、V(G215)及V(G216)。其中步驟(d)更依據綠色彩值V(G201)、V(G203)、V(G205)及V(G207)以及藍色彩值V(B210)、V(B211)、V(B209)及V(B212)以及紅色彩值V(R200)、V(R202)、V(R206)及V(R208),以獲得目標像素B204之一綠色補插值V(B204_G)。其計算公式如下:
首先,計算藍色變異值B var 、綠色變異值G var 及紅色變異值R varB var =max[V (B 204),V (B 209),V (B 210),V (B 211),V (B 212)]-min[V (B 204),V (B 209),V (B 210),V (B 211),V (B 212)]G var =max[V (G 201),V (G 203),V (G 205),V (G 207)]-min[V (G 201),V (G 203),V (G 205),V (G 207)]R var =max[V (R 200),V (R 202),V (R 206),V (R 208)]-min[V (R 200),V (R 202),V (R 206),V (R 208)]……………………(d31)
接著,決定水平差值△h 及垂直差值△v
然後,計算目標像素B204之綠色補插值V(B204_G):
其中,演算式(d33)之主要精神與演算式(d13)類似,在此不再贅述。
此外,步驟(d)更依據紅色彩值V(R200)、V(R202)、V(R206)及V(R208)以及目標像素B204、第一鄰近像素R200、R202、R206及R208之一綠色補插值V(B204_G)、V(R200_G)、V(R202_G)、V(R206_G)及V(R208_G)獲得目標像素B204之一紅色補插值V(B204_R)。其計算公式如下:
首先,以步驟(c)之方式計算綠色補插值V(B204_G)V(R200_G)、V(R202_G)、V(R206_G)及V(R208_G)。
接著,計算變化差值△d 1 、△d 2 、△d 3 及△d 4 :△d 1 =|V (R 200)-V (R 208)| △d 2 =|V (R 202)-V (R 206)| △d 3 =|V (G 217)-V (G 207)|/2+|V (G 201)-V (G 219)|/2 △d 4 =|V (G 201)-V (G 218)|/2+|V (G 220)-V (G 207)|/2…………………(d41)
然後,計算目標像素B204之紅色補插值V(B204_R):
其中,演算式(d42)之主要精神與演算式(d22)類似,在此不再贅述。
在虛線L23中,此些像素包括,其中第一鄰近像素R303、R305、第二鄰近像素R314、R313、R315及R316分別具有一紅色彩值V(R303)、V(R305)、V(R314)、V(R313)、V(R315)及V(R316),第一鄰近像素B301及B307分別具有一藍色彩值V(B301)及V(B307),目標像素G304、第一鄰近像素G300、G302、G306、G308、第二鄰近像素G310、G311、G309及G312分別具有一綠色彩值V(G304)、V(G300)、V(G302)、V(G306)、V(G308)、V(G310)、V(G311)、 V(G309)及V(G312)。步驟(d)係依據紅色彩值V(R303)、V(R305)、V(R313)、V(R314)、V(R315)及V(R316)以及第一鄰近像素R303及R305之一綠色補插值V(R303_G)及V(R305_G)獲得目標像素G304之一紅色補插值V(G304_R)。其計算公式如下:
首先,以步驟(c)之方式計算綠色補插值V(R303_G)及V(R305_G)。
接著,計算目標像素G304之該紅色補插值:
其中,在第一鄰近像素中,僅有紅色彩值V(R303)、V(R305),因此演算式(d51)係直接以紅色彩值V(R303)、V(R305)的平均值組成目標像素G304之第一鄰近像素的紅色補插值V(G304_R),並且再併入紅色與綠色之調整關係式及對應於第二鄰近像素之紅色彩值V(R313)、V(R314)、V(R315)及V(R316)的平均值,以獲得較佳之紅色補插值V(G304_R)。
此外,步驟(d)更依據藍色彩值V(B301)及V(B307) 以及該第一鄰近像素B301及B307之一綠色補插值V(B301_G)及V(B307_G)獲得目標像素G304之一藍色補插值V(G304_B)。其計算公式如下:
首先,以步驟(c)之方式計算綠色補插值V(B301_G)及V(B307_G)。
接著,計算目標像素之藍色補插值:
其中,演算式(d61)之主要精神與演算式(d51)類似,在此不再贅述。
在虛線L24中,此些像素包括,其中第一鄰近像素B403、B405、第二鄰近像素B414、B413、B415及B416分別具有一藍色彩值V(B403)、V(B405)、V(B414)、V(B413)、V(B415)及V(B416),第一鄰近像素R401及R407分別具有一紅色彩值V(R401)及V(R407),目標像素G404、第一鄰近像素G400、G402、G406、G408、第二鄰近像素G410、G411、G409及G412分別具有一綠色彩值V(G404)、V(G400)、 V(G402)、V(G406)、V(G408)、V(G410)、V(G411)、V(G409)及V(G412)。步驟(d)更依據紅色彩值V(R401)及V(R407)以及第一鄰近像素R401、R407之一綠色補插值V(R401_G)、V(R407_G)獲得目標像素G404之一紅色補插值V(G404_R)。其計算公式如下:
首先,以步驟(c)之方式計算綠色補插值V(R401_G)及V(R407_G)。
接著,計算目標像素G404之該紅色補插值:
其中,演算式(d71)之主要精神與演算式(d51)類似,在此不再贅述。
此外,步驟(d)更依據藍色彩值V(B403)、V(B405)、V(B413)、V(B414)、V(B415)及V(B416)及第一鄰近像素B403、B405之綠色補插值V(B403_G)、V(B405_G)獲得該目標像素G404之一藍色補插值V(G404_B)。其計算公式如下:
首先,以步驟(c)之方式計算綠色補插值V(B403_G)及V(B405_G)。
接著,計算目標像素G404之藍色補插值:
其中,演算式(d81)之主要精神與演算式(d51)類似,在此不再贅述。
本發明上述實施例所揭露之色彩補插方法及應用其之影像處理裝置,其依據不同的環境亮度資訊而採用適合之演算法。並依據不同演算法更搭配不同之影像校正與調整程序,使得本發明之色彩補插方法及應用其之影像處理裝置具有以下各項優點:
第一、「在不同環境亮度下,均可獲得最佳色彩品質」:本發明依據不同的環境亮度而採用適合的演算法,使得色彩差補後之影像資料可獲得最佳之色彩品質。
第二、「可依據使用者之個人喜好,獲得需要之色彩品質」:本發明更可透過使用者介面讓使用者選擇需要之演算法,以符合使用者之需求。
第三、「實用性高」:本發明同時提供自動模式及手動模式,不僅藉由自動模式增加產品的便利性,更藉由手動模式增加產品的操作彈性。因而大大地增加產品的實用性。
第四、「顏色調整最佳化」:在本發明之演算式中,適時的併入顏色之調整關係式,更可獲得最佳地顏色調整品質。
第五、「有效消除雜訊」:本發明依據環境亮度資訊更可適時的提供消除雜訊之運算,以增加影像資料品質。
第六、「有效強化邊緣」:在步驟(d)之演算法後,更提供強化邊緣之運算,更增加影像資料之品質。
第七、「有效抑制假色」:在步驟(c)之演算法後,更提供抑制假色之運算,更增加影像資料之品質。
綜上所述,雖然本發明已以一較佳實施例揭露如上,然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾。因此,本發明之保護範圍當視後附之申請專利範圍所界定者為準。
1000‧‧‧影像處理裝置
100‧‧‧影像擷取單元
110‧‧‧鏡頭
120‧‧‧光感測元件陣列
130‧‧‧類比/數位轉換器
200‧‧‧明暗校正單元
300‧‧‧色彩補插單元
310‧‧‧第一演算單元
320‧‧‧第二演算單元
330‧‧‧自動判斷單元
340‧‧‧使用者介面
400‧‧‧濾波器
500‧‧‧RGB色彩校正單元
510‧‧‧黑色補償單元
520‧‧‧自動白平衡單元
530‧‧‧彩色校正單元
540‧‧‧迦瑪校正單元
600‧‧‧色彩空間轉換單元
710‧‧‧雜訊消除單元
720‧‧‧邊緣強化單元
730‧‧‧假色抑制單元
910‧‧‧自動對焦單元
920‧‧‧自動曝光單元
E0‧‧‧景物
E1‧‧‧影像資料
E2‧‧‧環境亮度資訊
E3‧‧‧高頻資料
E4‧‧‧亮度資料
R0‧‧‧目標像素
B1、G1‧‧‧第一鄰近像素
R2、G2‧‧‧第二鄰近像素
L11、L12、L13、L14‧‧‧3*3矩陣範圍之邊界
L21、L22、L23、L24‧‧‧5*5矩陣範圍之邊界
第1圖繪示依照本發明較佳實施例之影像處理裝置之主要功能單元方塊圖;第2圖繪示具貝爾圖樣之影像資料其部分像素的示意圖;第3圖繪示依照本發明較佳實施例之色彩補插方法之主要流程圖;第4圖繪示第3圖之步驟(a)之細部步驟流程圖;第5圖繪示依照第1圖之影像處理裝置的細部功能單元方塊圖;第6圖繪示依照第5圖之色彩補插單元其方法的細部流程圖;以及第7圖繪示具貝爾圖樣之影像資料其部分像素的配置示意圖。

Claims (52)

  1. 一種色彩補插方法,用以補插一影像資料之色彩,從該影像資料中定義一目標像素、複數個第一鄰近像素及複數個第二鄰近像素,該些第一鄰近像素係環繞該目標像素成一3*3矩陣,該些第二鄰近像素更環繞該些第一鄰近像素成一5*5矩陣,該影像資料對應一環境亮度資訊,該色彩補插方法至少包括以下之步驟:(a)判斷該環境亮度資訊是否落於一暗態範圍內,若是則執行步驟(c),若否則執行步驟(d);(c)依據該些第一鄰近像素,補插該目標像素之色彩;以及(d)依據該些第一鄰近像素及該些第二鄰近像素,補插該目標像素之色彩。
  2. 如申請專利範圍第1項所述之色彩補插方法,其中該環境亮度資訊包括一曝光時間(exposure time),該步驟(a)係判斷該曝光時間是否大於一參考時間,若是則該環境亮度資訊落於該暗態範圍。
  3. 如申請專利範圍第1項所述之色彩補插方法,其中在該環境亮度資訊包括一感測增益值(sensor gain),該步驟(a)係判斷該感測增益值是否大於一參考增益值,若是則該環境亮度資訊落於該暗態範圍,該感測增益值係為在不固定之一環境亮度下,將該影像資料之一顯示亮度調整為一固定亮度值所需之一亮度調整倍率值,該參考增益值為固定之一預設調整倍率值。
  4. 如申請專利範圍第1項所述之色彩補插方法,其中在該環境亮度資訊包括一曝光時間及一感測增益值,該步驟(a)係判斷該曝光時間及該感測增益值之乘積是否大於一參考乘積,若是則該環境亮度資訊落於該暗態範圍。
  5. 如申請專利範圍第1項所述之色彩補插方法,更包括:(b)透過一使用者介面,選擇執行步驟(c)或步驟(d)。
  6. 如申請專利範圍第5項所述之色彩補插方法,其中在該步驟(b)之後,若該步驟(d)被選擇,則該色彩補插方法更包括:(g)強化該影像資料之邊緣。
  7. 如申請專利範圍第5項所述之色彩補插方法,其中在該步驟(b)之後,若該步驟(c)被選擇,則該色彩補插方法更包括:(f)抑制該影像資料之假色。
  8. 如申請專利範圍第1項所述之色彩補插方法,其中在該步驟(a)之後,若該環境亮度資訊落於該暗態範圍內,則該色彩補插方法在該步驟(c)之後更包括:(e)消除該影像資料之雜訊。
  9. 如申請專利範圍第1項所述之色彩補插方法,其中該目標像素及該些第一鄰近像素係以一貝爾圖樣(Bayer pattern)配置,該目標像素具有一第一原色彩 值,部分之該些第一鄰近像素分別具有一第二原色彩值,在該步驟(c)中,係以水平方向、垂直方向差異最小的兩個,或兩對角方向差異最小的兩個,或四個該些第一鄰近像素之該些第二原色彩值的平均值組成該目標像素之一第二原色補插值。
  10. 如申請專利範圍第1項所述之色彩補插方法,其中該目標像素、該些第一鄰近像素及該些第二鄰近像素係以一貝爾圖樣配置,該目標像素具有一第一原色彩值,部分之該些第一鄰近像素分別具有一第二原色彩值,部分的這些第一鄰近像素具有一第三原色彩值,在該步驟(d)中,係以水平方向、垂直方向差異最小的兩個,或兩對角方向差異最小的兩個,或四個該些第一鄰近像素之該些第二原色彩值的平均值組成該目標像素之一第二原色補插值,並以水平方向、垂直方向差異最小的兩個,或兩對角方向差異最小的兩個,或四個該些第一鄰近像素的該第三原色彩值的平均值組成該目標像素的一第三原色插補值。
  11. 如申請專利範圍第10項所述之色彩補插方法,其中部分之該些第二鄰近像素分別具有另一第一原色彩值,在該步驟(d)中,更以部分之該些第二鄰近像素之該些第一原色彩值調整該目標像素之該第二原色補插值。
  12. 如申請專利範圍第10項所述之色彩補插方法,其中部分之該些第一鄰近像素分別具有另一第二原色補插值,在該步驟(d)中,更以部分之該些第一鄰近像素之該些第二原色補插值調整該目標像素之該第三原色補 插值。
  13. 如申請專利範圍第1項所述之色彩補插方法,其中該些像素包括,目標像素R10具有一紅色彩值V(R10),第一鄰近像素B11、B12、B13及B14分別具有一藍色彩值V(B11)、V(B12)、V(B13)及V(B14),第一鄰近像素G11、G12、G13及G14分別具有一綠色彩值V(G11)、V(G12)、V(G13)及V(G14),其中該步驟(c)更包括:(c1)依據該些綠色彩值V(G11)、V(G12)、V(G13)及V(G14)獲得該目標像素R10之一綠色補插值V(R10_G)。
  14. 如申請專利範圍第13項所述之色彩補插方法,其中該步驟(c1)更包括:若|V (G 12)-V (G 13)|>|V (G 11)-V (G 14)|×N ,則V (R 10_G )=[V (G 11)+V (G 14)]/2;若|V (G 11)-V (G 14)|>|V (G 12)-V (G 13)|×N ,則V (R 10_G )=[V (G 12)+V (G 13)]/2;以及否則,V (R 10_G )=[V (G 11)+V (G 12)+V (G 13)+V (G 14)]/4;其中2 N 4。
  15. 如申請專利範圍第13項所述之色彩補插方法,其中該步驟(c)更包括:(c2)依據該些藍色彩值V(B11)、V(B12)、V(B13)及V(B14)獲得該目標像素R10之一藍色補插值V(R10_B)。
  16. 如申請專利範圍第15項所述之色彩補插方法,其中該步驟(c2)更包括:若|V (B 12)-V (B 13)|>|V (B 11)-V (B 14)|×N ,則V (R 10_B )=[V (B 11)+V (B 14)]/2;若|V (B 11)-V (B 14)|>|V (B 12)-V (B 13)|×N ,則V (R 10_B )=[V (B 12)+V (B 13)]/2;以及否則,V (R 10_B )=[V (B 11)+V (B 12)+V (B 13)+V (B 14)]/4;其中2 N 4。
  17. 如申請專利範圍第1項所述之色彩補插方法,其中該些像素包括,目標像素B20具有一藍色彩值V(B20),第一鄰近像素R21、R22、R23及R24分別具有一紅色彩值V(R21)、V(R22)、V(R23)及V(R24),第一鄰近像素G21、G22、G23及G24分別具有一綠色彩值V(G21)、V(G22)、V(G23)及V(G24),其中該步驟(c) 更包括:(c3)依據該些綠色彩值V(G21)、V(G22)、V(G23)及V(G24)獲得該目標像素B20之一綠色補插值V(B20_G)。
  18. 如申請專利範圍第17項所述之色彩補插方法,其中該步驟(c3)更包括:若|V (G 22)-V (G 23)|>|V (G 21)-V (G 24)|×N ,則V (B 20_G )=[V (G 21)+V (G 24)]/2;若|V (G 21)-V (G 24)|>|V (G 22)-V (G 23)|×N ,則V (B 20_G )=[V (G 22)+V (G 23)]/2;以及否則,V (B 20_G )=[V (G 21)+V (G 22)+V (G 23)+V (G 24)]/4;其中2 N 4。
  19. 如申請專利範圍第17項所述之色彩補插方法,其中該步驟(c)更包括:(c4)依據該些紅色彩值V(R21)、V(R22)、V(R23)及V(R24)獲得該目標像素B20之一紅色補插值V(B20_R)。
  20. 如申請專利範圍第19項所述之色彩補插方法,其中該步驟(c4)更包括: 若|V (R 22)-V (R 23)|>|V (R 21)-V (R 24)|×N ,則V (B 20_R )=[V (R 21)+V (R 24)]/2;若|V (R 21)-V (R 24)|>|V (R 22)-V (R 23)|×N ,則V (B 20_R )=[V (R 22)+V (R 23)]/2;以及否則,V (B 20_R )=[V (R 21)+V (R 22)+V (R 23)+V (R 24)]/4;其中2 N 4。
  21. 如申請專利範圍第1項所述之色彩補插方法,其中該些像素包括,第一鄰近像素R31及R32分別具有一紅色彩值V(R31)及V(R32),第一鄰近像素B31及B32分別具有一藍色彩值V(B31)及V(B32),目標像素G30、第一鄰近像素G31、G32、G33及G34分別具有一綠色彩值V(G30)、V(G31)、V(G32)、V(G33)及V(G34),其中該步驟(c)更包括:(c5)計算目標像素G30之一紅色補插值V (G 30_R )=[V (R 31)+V (R 32)]/2。
  22. 如申請專利範圍第21項所述之色彩補插方法,其中該步驟(c)更包括:(c6)計算目標像素G30之一藍色補插值V (G 30_B )=[V (B 31)+V (B 32)]/2。
  23. 如申請專利範圍第1項所述之色彩補插方法,其中該些像素包括,第一鄰近像素R41及R42分別具有一紅色彩值V(R41)及V(R42),第一鄰近像素B41及B42分別具有一藍色彩值V(B41)及V(B42),目標像素G40、第一鄰近像素G41、G42、G43及G44分別具有一綠色彩值V(G40)、V(G41)、V(G42)、V(G43)及V(G44),其中該步驟(c)更包括:(c7)計算目標像素G40之一紅色補插值V (G 40_R )=[V (R 41)+V (R 42)]/2。
  24. 如申請專利範圍第23項所述之色彩補插方法,其中該步驟(c)更包括:(c8)計算目標像素G40之一藍色補插值V (G 40_B )=[V (B 41)+V (B 42)]/2。
  25. 如申請專利範圍第1項所述之色彩補插方法,其中該些像素包括,目標像素R104、第二鄰近像素R110、R111、R109及R112分別具有一紅色彩值V(R104)、V(R110)、V(R111)、V(R109) 及V(R112),第一鄰近像素B100、B102、B106及B108分別具有一藍色彩值V(B100)、V(B102)、V(B106)及V(B108),第一鄰近像素G101、G103、G105、G107、第二鄰近像素G114、G113、G117、G120、G118、G119、G115及G116分別具有一綠色彩值V(G101)、V(G103)、V(G105)、V(G107)、V(G114)、V(G113)、V(G117)、V(G120)、V(G118)、V(G119)、V(G115)及V(G116),其中該步驟(d)更包括:(d1)依據該些綠色彩值V(G101)、V(G103)、V(G105)及V(G107)以及該些紅色彩值V(R104)、V(R110)、V(R111)、V(R109)及V(R112)以及該些藍色彩值V(B100)、V(B102)、V(B106)及V(B108),以獲得該目標像素R104之一綠色補插值V(R104_G)。
  26. 如申請專利範圍第25項所述之色彩補插方法,其中該步驟(d1)更包括:計算紅色變異值R var 、綠色變異值G var 及藍色變異值B var ,其中R var =max[V (R 104),V (R 109),V (R 110),V (R 111),V (R 112)]-min[V (R 104),V (R 109),V (R 110),V (R 111),V (R 112)],G var =max[V (G 101),V (G 103),V (G 105),V (G 107)]-min[V (G 101),V (G 103),V (G 105),V (G 107)],B var =max[V (B 100),V (B 102),V (B 106),V (B 108)]-min[V (B 100),V (B 102),V (B 106),V (B 108)];決定水平差值△h 及垂直差值△v ,其中若R var =min(R var ,G var ,B var )則△h =|V (R 109)-V (R 111)|且△v =|V (R 110)-V (R 112)|,若G var =min(R var ,G var ,B var )則△h =|V (G 103)-V (G 105)|且△v =|V (G 101)-V (G 107)|,若B var =min(R var ,G var ,B var )則△h =|V (B 100)-V (B 102)|+|V (B 106)-V (B 108)|且△v =|V (B 100)-V (B 106)|+|V (B 102)-V (B 108)|;若△h ×N <△v 且△v >TV ,則 若△h >△v ×N 且△h >TV ,則;以及否則, 其中2 N 4且2 k 1 ,k 2 ,k 3 8,TV為一門檻值。
  27. 如申請專利範圍第25項所述之色彩補插方法,其中該步驟(d)更包括:(d2)依據該些藍色彩值V(B100)、V(B102)、V(B106)及V(B108)以及該目標像素R104、該些第一鄰近像素B100、B102、B106及B108之一綠色補插值V(R104_G)、V(B100_G)、V(B102_G)、V(B106_G)及V(B108_G)獲 得該目標像素R104之一藍色補插值V(R104_B)。
  28. 如申請專利範圍第27項所述之色彩補插方法,其中該步驟(d2)更包括:以步驟(c)之方式計算該些綠色補插值V(R104_G)、V(B100_G)、V(B102_G)、V(B106_G)及V(B108_G);計算變化差值△d 1 、△d 2 、△d 3 及△d 4 ,其中△d 1 =|V (B 100)-V (B 108)|,△d 2 =|V (B 102)-V (B 106)|,△d 3 =|V (G 117)-V (G 107)|/2+|V (G 101)-V (G 119)|/2,△d 4 =|V (G 101)-V (G 118)|/2+|V (G 120)-V (G 107)|/2;若△d 1 ×N <△d 2 且△d 2 >TV 且△d 3 ×N <△d 4 且△d 4 >TV 若△d 1 >△d 2 ×N 且△d 1 >TV 且△d 3 >△d 4 ×N 且△d 3 >TV 以及否則, 其中2 N 4且2 k 1 ,k 2 ,k 3 8,TV為一門檻值。
  29. 如申請專利範圍第1項所述之色彩補插方法,其 中該些像素包括,目標像素B204、第二鄰近像素B210、B211、B209及B212分別具有一藍色彩值V(B204)、V(B210)、V(B211)、V(B209)及V(B212),第一鄰近像素R200、R202、R206及R208分別具有一紅色彩值V(R200)、V(R202)、V(R206)及V(R208),第一鄰近像素G201、G203、G205、G207、第二鄰近像素G214、G213、G217、G220、G218、G219、G215及G216分別具有一綠色彩值V(G201)、V(G203)、V(G205)、V(G207)、V(G214)、V(G213)、V(G217)、V(G220)、V(G218)、V(G219)、V(G215)及V(G216),其中該步驟(d)更包括:(d3)依據綠色彩值V(G201)、V(G203)、V(G205)及V(G207)以及藍色彩值V(B210)、V(B211)、V(B209)及V(B212)以及紅色彩值V(R200)、V(R202)、V(R206)及V(R208),以獲得該目標像素B204之一綠色補插值V(B204_G)。
  30. 如申請專利範圍第29項所述之色彩補插方法,其中該步驟(d3)更包括: 計算藍色變異值B var 、綠色變異值G var 及紅色變異值R varB var =max[V (B 204),V (B 209),V (B 210),V (B 211),V (B 212)]-min[V (B 204),V (B 209),V (B 210),V (B 211),V (B 212)],G var =max[V (G 201),V (G 203),V (G 205),V (G 207)]-min[V (G 201),V (G 203),V (G 205),V (G 207)],R var =max[V (R 200),V (R 202),V (R 206),V (R 208)]-min[V (R 200),V (R 202),V (R 206),V (R 208)];若B var =min(B var ,G var ,R var )則△h =|V (B 209)-V (B 211)|且△v =|V (B 210)-V (B 212)|,若G var =min(B var ,G var ,R var )則△h =|V (G 203)-V (G 205)|且△v =|V (G 201)-V (G 207)|,若R var =min(B var ,G var ,R var )則△h =|V (R 200)-V (R 202)|+|V (R 206)-V (R 208)|且△v =|V (R 200)-V (R 206)|+|V (R 202)-V (R 208)|;若△h ×N <△v 且△v >TV ,則 若△h >△v ×N 且△h >TV ,則;以及否則, 其中2 N 4且2 k 1 ,k 2 ,k 3 8,TV為一門檻值。
  31. 如申請專利範圍第29項所述之色彩補插方法, 其中該步驟(d)更包括:(d4)依據紅色彩值V(R200)、V(R202)、V(R206)及V(R208)以及該目標像素B204、該些第一鄰近像素R200、R202、R206及R208之一綠色補插值V(B204_G)、V(R200_G)、V(R202_G)、V(R206_G)及V(R208_G)獲得該目標像素B204之一紅色補插值V(B204_R)。
  32. 如申請專利範圍第31項所述之色彩補插方法,其中該步驟(d4)更包括:以步驟(c)之方式計算該些綠色補插值V(B204_G)V(R200_G)、V(R202_G)、V(R206_G)及V(R208_G);計算變化差值△d 1 、△d 2 、△d 3 及△d 4 ,其中△d 1 =|V (R 200)-V (R 208)|,△d 2 =|V (R 202)-V (R 206)|,△d 3 =|V (G 217)-V (G 207)|/2+|V (G 201)-V (G 219)|/2,△d 4 =|V (G 201)-V (G 218)|/2+|V (G 220)-V (G 207)|/2;若△d 1 ×N <△d 2 且△d 2 >TV 且△d 3 ×N <△d 4 且△d 4 >TV 若△d 1 >△d 2 ×N 且△d 1 >TV 且△d 3 >△d 4 ×N 且△d 3 >TV ;以及否則, 其中2 N 4且2 k 1 ,k 2 ,k 3 8,TV為一門檻值。
  33. 如申請專利範圍第1項所述之色彩補插方法,其中該些像素包括,第一鄰近像素R303、R305、第二鄰近像素R314、R313、R315及R316分別具有一紅色彩值V(R303)、V(R305)、V(R314)、V(R313)、V(R315)及V(R316),第一鄰近像素B301及B307分別具有一藍色彩值V(B301)及V(B307),目標像素G304、第一鄰近像素G300、G302、G306、G308、第二鄰近像素G310、G311、G309及G312分別具有一綠色彩值V(G304)、V(G300)、V(G302)、V(G306)、V(G308)、V(G310)、V(G311)、V(G309)及V(G312),其中該步驟(d)更包括:(d5)依據紅色彩值V(R303)、V(R305)、V(R313)、V(R314)、V(R315)及V(R316)以及第一鄰近像素R303及R305之一綠色補插值V(R303_G)及V(R305_G)獲得該目標像素G304之一紅色補插值V(G304_R)。
  34. 如申請專利範圍第33項所述之色彩補插方法, 其中該步驟(d5)更包括:以步驟(c)之方式計算該些綠色補插值V(R303_G)及V(R305_G);以及計算該目標像素G304之該紅色補插值 其中2 k 8。
  35. 如申請專利範圍第33項所述之色彩補插方法,其中該步驟(d)更包括:(d6)依據藍色彩值V(B301)及V(B307)以及該第一鄰近像素B301及B307之一綠色補插值V(B301_G)及V(B307_G)獲得該目標像素G304之一藍色補插值V(G304_B)。
  36. 如申請專利範圍第35項所述之色彩補插方法,其中該步驟(d6)更包括:以步驟(c)之方式計算該些綠色補插值V(B301_G)及V(B307_G);以及計算該目標像素之該藍色補插值 其中2 k 8。
  37. 如申請專利範圍第1項所述之色彩補插方法,其中該些像素包括,第一鄰近像素B403、B405、第二鄰近像素B414、B413、B415及B416分別具有一藍色彩值V(B403)、V(B405)、V(B414)、V(B413)、V(B415)及V(B416),第一鄰近像素R401及R407分別具有一紅色彩值V(R401)及V(R407),目標像素G404、第一鄰近像素G400、G402、G406、G408、第二鄰近像素G410、G411、G409及G412分別具有一綠色彩值V(G404)、V(G400)、V(G402)、V(G406)、V(G408)、V(G410)、V(G411)、V(G409)及V(G412),其中該步驟(d)更包括:(d7)依據紅色彩值V(R401)及V(R407)以及第一鄰近像素R401、R407之一綠色補插值V(R401_G)、V(R407_G)獲得該目標像素G404之一紅色補插值V(G404_R)。
  38. 如申請專利範圍第37項所述之色彩補插方法, 其中該步驟(d7)更包括:以步驟(c)之方式計算該些綠色補插值V(R401_G)及V(R407_G);計算該目標像素G404之該紅色補插值 其中2 k 8。
  39. 如申請專利範圍第37項所述之色彩補插方法,其中該步驟(d)更包括:(d8)依據該些藍色彩值V(B403)、V(B405)、V(B413)、V(B414)、V(B415)及V(B416)及第一鄰近像素B403、B405之綠色補插值V(B403_G)、V(B405_G)獲得該目標像素G404之一藍色補插值V(G404_B)。
  40. 如申請專利範圍第39項所述之色彩補插方法,其中該步驟(d8)更包括:以步驟(c)之方式計算該些綠色補插值V(B403_G)及V(B405_G);計算該目標像素G404之該藍色補插值 其中2 k 8。
  41. 一種影像處理裝置,包括:一影像擷取單元,用以擷取一影像資料,從該影像資料中定義一目標像素、複數個第一鄰近像素及複數個第二鄰近像素,該些第一鄰近像素係環繞該目標像素成一3*3矩陣,該些第二鄰近像素更環繞該些第一鄰近像素成一5*5矩陣,該影像資料對應一環境亮度資訊;以及一色彩補插單元(Color Interpolation Unit),用以補插該影像資料之色彩,該色彩補插單元包括:一自動判斷單元,係用以判斷該環境亮度資訊是否落於一暗態範圍內;一第一演算單元,係依據該些第一鄰近像素,補插該目標像素之色彩;及一第二演算單元,係依據該些第一鄰近像素及該第二鄰近像素,補插該目標像素之色彩;其中,當該環境亮度資訊落於該暗態範圍時,該色彩補插單元係以該第一演算單元補該影像資料之色彩,當該環境亮度資訊未落於該暗態範圍時,該色彩補插單元係以該第二演算單元補插該影像資料之色彩。
  42. 如申請專利範圍第41項所述之影像處理裝置,其中該環境亮度資訊包括一曝光時間(exposure time),該自動判斷單元係判斷該曝光時間是否大於一參考時間,若是則該環境亮度資訊落於該暗態範圍。
  43. 如申請專利範圍第41項所述之影像處理裝置,其中該環境亮度資訊包括一感測增益值(sensor gain),該自動判斷單元係判斷該感測增益值是否大於一參考增益值,若是則該環境亮度資訊落於該暗態範圍,該感測增益值係為在不固定之一環境亮度下,將該影像資料之一顯示亮度調整為一固定亮度值所需之一亮度調整倍率值,該參考增益值為固定之一預設調整倍率值。
  44. 如申請專利範圍第41項所述之影像處理裝置,其中該環境亮度資訊包括一曝光時間及一感測增益值,該自動判斷單元係判斷該曝光時間及該感測增益值之乘積是否大於一參考乘積,若是則該環境亮度資訊落於該暗態範圍。
  45. 如申請專利範圍第41項所述之影像處理裝置,其中該色彩補插單元更包括:一使用者介面,用以選擇執行該第一演算單元或該第二演算單元。
  46. 如申請專利範圍第41項所述之影像處理裝置,更包括:一雜訊消除單元(De-noise Unit),用以消除該影像資料之雜訊。
  47. 如申請專利範圍第41項所述之影像處理裝置,更包括:一邊緣強化單元(Edge Enhancement Unit),用以強化該影像資料中之邊緣圖樣。
  48. 如申請專利範圍第41項所述之影像處理裝置,更包括:一假色抑制單元(False Color Suppression Unit),用以抑制該影像資料之假色。
  49. 如申請專利範圍第41項所述之影像處理裝置,其中該目標像素及該些第一鄰近像素係以一貝爾圖樣(Bayer pattern)配置,該目標像素具有一第一原色彩值,部分之該些第一鄰近像素具有一第二原色彩值,該第一演算單元係以水平方向、垂直方向差異最小的兩個,或兩對角方向差異最小的兩個,或四個該些第一鄰近像素之該第二原色彩值的平均值組成該目標像素之一第二原色補插值。
  50. 如申請專利範圍第41項所述之影像處理裝置,其中該目標像素、該些第一鄰近像素及該些第二鄰近像素係以一貝爾圖樣配置,該目標像素具有一第一原色彩值,部分之該些第一鄰近像素具有一第二原色彩值,部分的這些第一鄰近像素具有一第三原色彩值,該第二演算單元係以水平方向、垂直方向差異最小的兩個,或兩對角方向差異最小的兩個,或四個該些第一鄰近像素之該第二原色彩值的平均值組成該目標像素之一第二原色補插值,並以水平方向、垂直方向差異最小的兩個,或兩對角方向差異最小的兩個,或四個該些第一鄰近像素的該第三原色彩值的平均值組成該目標像素的一第三原色插補值。
  51. 如申請專利範圍第50項所述之影像處理裝置, 其中部分之該些第二鄰近像素具有另一第一原色彩值,該第二演算單元更以部分之該些第二鄰近像素之該第一原色彩值調整該目標像素之該第二原色補插值。
  52. 如申請專利範圍第50項所述之影像處理裝置,其中部分之該些第一鄰近像素具有另一第二原色補插值,該第二演算單元更以部分之該些第一鄰近像素之該第二原色補插值調整該目標像素之該第三原色補插值。
TW95132942A 2006-09-06 2006-09-06 色彩補插方法及應用其之影像處理裝置 TWI400667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW95132942A TWI400667B (zh) 2006-09-06 2006-09-06 色彩補插方法及應用其之影像處理裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW95132942A TWI400667B (zh) 2006-09-06 2006-09-06 色彩補插方法及應用其之影像處理裝置

Publications (2)

Publication Number Publication Date
TW200813888A TW200813888A (en) 2008-03-16
TWI400667B true TWI400667B (zh) 2013-07-01

Family

ID=44768434

Family Applications (1)

Application Number Title Priority Date Filing Date
TW95132942A TWI400667B (zh) 2006-09-06 2006-09-06 色彩補插方法及應用其之影像處理裝置

Country Status (1)

Country Link
TW (1) TWI400667B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104104842B (zh) * 2013-04-02 2017-08-08 珠海扬智电子科技有限公司 影像处理方法与影像处理装置
TWI568263B (zh) * 2015-08-24 2017-01-21 鈺立微電子股份有限公司 應用於紅綠藍紅外光感測器的影像處理方法及其相關裝置
CN106507078B (zh) * 2015-09-08 2018-05-15 中华映管股份有限公司 影像调整方法、影像调整系统及非暂态电脑可读取记录媒体
TWI640958B (zh) * 2017-10-30 2018-11-11 瑞昱半導體股份有限公司 增強影像邊緣的電子裝置與影像處理方法
TWI737515B (zh) * 2020-10-13 2021-08-21 國立中山大學 對稱非負矩陣的補值方法、電子裝置與電腦程式產品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI225940B (en) * 2002-12-25 2005-01-01 Sony Corp Image taking apparatus and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI225940B (en) * 2002-12-25 2005-01-01 Sony Corp Image taking apparatus and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
2006年6月公開之陳亮光碩士論文,"影像感測器的邊界導向式彩色像素內插法" *

Also Published As

Publication number Publication date
TW200813888A (en) 2008-03-16

Similar Documents

Publication Publication Date Title
US7969480B2 (en) Method of controlling auto white balance
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
US7259784B2 (en) System and method for camera color calibration and image stitching
JP4322781B2 (ja) 撮像装置
KR101059403B1 (ko) 이미지 정보를 필터링하기 위한 적응적 공간 이미지 필터
EP1528793B1 (en) Image processing apparatus, image-taking system and image processing method
US8115838B2 (en) Signal processing device for solid-state imaging device, imaging apparatus having the signal processing device, signal processing method, and program which allow inter-pixel color mixing to be properly corrected even when color mixing ratios re two-dimensionally distributed in a pixel array surface
US20060215908A1 (en) Image pickup apparatus and image processing method
TWI400667B (zh) 色彩補插方法及應用其之影像處理裝置
JP5358344B2 (ja) 撮像装置及び撮像方法
JP2012165204A (ja) 信号処理装置、信号処理方法、撮像装置及び撮像処理方法
US20100214446A1 (en) Image processing apparatus and image processing method
WO2018152977A1 (zh) 一种图像降噪方法及终端和计算机存储介质
JP5701640B2 (ja) 画像処理装置
CN101175219B (zh) 色彩插补方法及应用其的图像处理装置
JP5439210B2 (ja) 画像処理装置
KR20120122574A (ko) 디지털 카메라 장치에서 영상 처리 장치 및 방법
JP5706705B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP5330291B2 (ja) 信号処理装置及び撮像装置
JP2010178226A (ja) 撮像装置、色収差抑制方法、色収差抑制回路及びプログラム
JP2004304635A (ja) 画像処理方法及び画像処理装置
Brown Color processing for digital cameras
JP2005051773A (ja) カラーエッジ除去方法およびその装置
JP2017112421A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2007174089A (ja) 画像処理装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees