TWI528817B

TWI528817B - 數位攝像裝置及其影像處理方法

Info

Publication number: TWI528817B
Application number: TW101123949A
Authority: TW
Inventors: 蔡易霖
Original assignee: 恆景科技股份有限公司
Priority date: 2012-07-03
Filing date: 2012-07-03
Publication date: 2016-04-01
Also published as: TW201404150A

Description

數位攝像裝置及其影像處理方法

本發明係有關一種影像處理方法，特別是關於一種用於檢測及校正瑕疵像素的數位攝像裝置及其影像處理方法。

目前數位成像技術大多利用互補金屬氧化物半導體(Complementary Metal-Oxide Semiconductor，CMOS)作為感光元件，並在其上覆蓋一層彩色的濾色陣列(Color Filter Array，CFA)，將擷取到的影像之紅綠藍(RGB)三原色各自分開，進而產生一符合拜耳圖樣(Bayer Pattern)的像素陣列影像，如第一圖所示，其為一5x5像素陣列1，其中R表示紅色，B表示藍色，G表示綠色。

然而，所擷取到的像素陣列1中的相鄰像素會互相干擾，或CMOS感光元件在製程中的電路缺陷，都有可能產生瑕疵像素(Bad Pixel)，進而使得處理後的影像中出現特別突兀的部份，如亮點。瑕疵像素的分布情況有很多種，例如，叢集型(cluster type)、十字型(cross type)、或單獨只有一個(位於正中央)瑕疵像素(stand alone bad pixel)等。

為了修正瑕疵像素，目前作法通常會找其周圍同顏色的像素來進行修補，以第一圖為例，假設欲修正正中央的藍色像素，其中一種方法是，處理器會從其四周的藍色像素中找最大和次大的像素值來作權重運算後，取代中央的藍色樣素值。但對於不同分佈的瑕疵像素，需要使用不同的演算法來校正，因此在某些情況下，運算出的校正值仍然無法顯著且有效地校正瑕疵像素。再者，對於位在影像中物件邊緣(edge)的像素，由於對比的強烈落差容易造成瑕疵像素的誤判。

因此，亟需提出一種新穎的數位攝像裝置及其影像處理方法，使能準確地檢測出瑕疵像素，並有效地對其校正。

鑑於上述，本發明實施例的目的之一在於提出一種數位攝像裝置及其影像處理方法，其藉由待測像素周圍的像素值來檢測是否為瑕疵像素，並根據與待測像素相同顏色的像素之值，來校正待測像素，進而能準確地檢測出瑕疵像素，並有效地校正之。

本發明係揭示一種影像處理方法，適用於一nxn像素陣列之正中央的一待測像素，待測像素具有一待測像素值。所述之影像處理方法包含以下步驟：首先，預設一搜尋視窗，包含複數個校正像素以及置於正中央的待測像素；之後，計算搜尋視窗中的待測像素以及校正像素在各種方向上與各自之同色像素的最小差異量為各自的一平滑方向值；最後，根據校正像素以及待測像素的平滑方向值來判斷待測像素是否為一瑕疵像素。

本發明又揭示一種數位攝像裝置，其包含一感光元件、一平滑方向偵測單元、一瑕疵像素判斷單元以及一瑕疵像素校正(Bad Pixel Correction，BPC)處理器。感光元件用來擷取一符合拜耳圖樣(Bayer Pattern)的像素陣列影像，其包含複數個nxn像素陣列，其中每一nxn像素陣列之正中央具有一待測像素，其具有一待測像素值。平滑方向偵測單元係用來處理一包含複數個校正像素以及置於正中央的待測像素之搜尋視窗，並計算每一個校正像素與待測像素的一平滑方向值。瑕疵像素判斷單元係耦接於感光元件以及平滑方向偵測單元之間，用來根據校正像素以及待測像素的平滑方向值來判斷待測像素是否為一瑕疵像素。瑕疵像素校正處理器係耦接於瑕疵像素判斷單元，用來根據瑕疵像素判斷單元的判斷結果來校正待測像素。

1‧‧‧像素陣列

2‧‧‧數位攝像裝置

21‧‧‧感光元件

23‧‧‧瑕疵像素判斷單元

24‧‧‧平滑方向偵測單元

241‧‧‧平滑方向偵測程序

25‧‧‧瑕疵像素校正處理器

251‧‧‧第一影像校正程序

253‧‧‧第二影像校正程序

27‧‧‧數位化處理單元

29‧‧‧儲存單元

3‧‧‧像素陣列影像

4‧‧‧5x5像素陣列

6‧‧‧搜尋視窗

Nc‧‧‧待測像素

V_Nc‧‧‧待測像素值

D₀-D₇‧‧‧第一同色像素

V₀-V₇‧‧‧第一同色像素值

S801-S819‧‧‧步驟

第一圖係為習知之拜耳圖樣的示意圖。

第二圖係為本發明實施例之數位攝像裝置的方塊圖。

第三圖係為本發明實施例之像素陣列影像之示意圖。

第四圖係為本發明實施例之5x5像素陣列之示意圖。

第五圖係為本發明實施例之待測像素與週遭的同色像素之間的平滑方向之示意圖。

第六圖係為本發明實施例之搜尋視窗之示意圖。

第七圖係為本發明實施例之用來校正待測像素之參考像素之示意圖。

第八圖係為本發明實施例之影像處理方法之流程圖。

首先，請參考第二圖，係為本發明實施例之數位攝像裝置的方塊圖。如第二圖所示，數位攝像裝置2包含一感光元件21、一瑕疵像素判斷單元23、一平滑方向偵測單元24、一瑕疵像素校正(Bad Pixel Correction，BPC)處理器25、一數位化處理單元27以及一儲存單元29。數位攝像裝置2係用來擷取一影像，其利用感光元件21上覆蓋的一層拜耳圖樣(Bayer Pattern)的彩色濾色陣列(Color Filter Array，CFA)(圖中未示)產生拜耳圖樣像素陣列影像。

平滑方向偵測單元24係用來偵測一待測像素在哪個方向上的差異量最小(後面詳述)；瑕疵像素判斷單元23係耦接於感光元件21以及平滑方向偵測單元24之間，用來判斷像素陣列影像中是否有瑕疵像素；而瑕疵像素校正處理器25係耦接於瑕疵像素判斷單元23，並對瑕疵像素判斷單元23判斷出的瑕疵像素進行校正。數位化處理單元27係用來將所有瑕疵像素都校正完的像素陣列影像進行處理，如拜耳圖樣插補(Bayer Pattern Interpolation)、訊號放大、類比數位轉換等，以產生數位化影像儲存至儲存單元29中。

具體來說，數位攝像裝置2包含數位相機、行動通訊裝置、個人數位助理(Personal Digital Assistant，PDA)、或任何電子影像感測器(electronic image sensors)。感光元件21包含感光耦合元件(Charge Coupled Device，CCD)、互補金氧半導體(Complementary Metal-Oxide Semiconductor，CMOS)、或互補金氧半導體-主動像素感測器(Complimentary Metal-Oxide Semiconductor-Active Pixel Sensors，CMOS-APS)。值得一提的是，本發明之主要技術特徵在於判斷及校正瑕疵像素的演算法，然而習知數位攝像裝置中的必要元件及電路雖未進一步描述，但亦為本發明保護之範圍，不以揭露者為限。

接著，請一併參考第三圖，該圖係為本發明實施例之像素陣列影像之示意圖。如第三圖所示，像素陣列影像3符合拜耳圖樣(Bayer Pattern)的排列方式，包含複數個nxn像素陣列4，如5x5像素陣列4，其中R表示紅色，B表示藍色，G表示綠色。本發明會對每一組的5x5像素陣列4中的像素進行檢測及校正，為了方便說明，以下係針對單一個5x5像素陣列4來舉例。

請再參考第四圖，係為本發明實施例之5x5像素陣列4之示意圖，其對應於像素陣列影像3所排列之顏色。每一像素都有所對應的像素值來表示訊號強度，5x5像素陣列4之正中央具有一待測像素Nc，其待測像素值為V_Nc；同色像素D₀-D₇係最接近待測像素Nc且與其同樣是藍色的像素，各別的同色像素值為V₀-V₇。瑕疵像素判斷單元23主要係參考每一組5x5像素陣列4中的待測像素Nc與其同色像素D₀-D₇的差異，來判斷待測像素是否是瑕疵像素。具體來說，瑕疵像素判斷單元23會先判斷待測像素值V_Nc是否大於一第一校正臨界值，若是，就表示待測像素值V_Nc太大，有可能是瑕疵像素，則輸出一第一校正致能訊號(圖中未示)來驅動或控制瑕疵像素校正處理器25對像素陣列進行校正。收到第一校正致能訊號後，瑕疵像素校正處理器25便執行一第一影像校正程序251，以最大的同色像素值V_i取代待測像素值V_Nc。於本發明之一實施例中，第一校正臨界值可為最大的同色像素值V_i加上一個第一校正子臨界值之總和，其中第一校正子臨界值係為一實驗數據，例如為20。

經過上述第一影像校正程序251，已可將5x5像素陣列4中的單點瑕疵像素做第一階段的修正。由於5x5像素陣列4中可能有其他瑕疵像素而導致校正待測像素值V_Nc的效果不顯著，故尚須考量待測像素Nc在各種方向上與週遭同色像素D₀-D₇的差異量，以確定待測像素Nc的平滑方向。

具體來說，待測像素Nc與週遭的同色像素D₀-D₇之間具有8個平滑方向，如第五圖所示。舉例來說，待測像素Nc在同色像素D₁、D₆的方向上之平滑方向值S₁係根據公式(1)來計算；而待測像素Nc在同色像素D₃、D₄的方向上之平滑方向值S₂係根據公式(2)來計算；以此類推。

S₁=|2*V_Nc-(V₁+V₆)|/2……(1)

S₂=|2*V_Nc-(V₃+V₄)|/2……(2)

S₃=|2*V_Nc-(V₂+V₅)|/2...…(3)

S₄=|2*V_Nc-(V₀+V₇)|/2...…(4)

S₅=|2*V_Nc-(V₁+V₃)|/2......(5)

S₆=|2*V_Nc-(V₁+V₄)|/2……(6)

S₇=|2*V_Nc-(V₃+V₆)|/2……(7)

S₈=|2*V_Nc-(V₄+V₆)|/2……(8)

而平滑方向偵測單元24儲存一平滑方向偵測程序241，其依照上述公式計算待測像素Nc在各種方向上與同色像素D₀-D₇的差異量，並以最小的差異量作為待測像素Nc的最終平滑方向值。偵測單元24會針對像素陣列影像3中的每個像素執行平滑方向偵測程序241，以計算出每個像素的平滑方向值。

請參考第六圖，係為本發明實施例之搜尋視窗之示意圖。於本發明之一實施例中，平滑方向偵測單元24預設一搜尋視窗6，其為一個1x7像素陣列，包含6個校正像素L₁-L₃、R₁-R₃以及置於正中央的待測像素Nc。當平滑方向偵測單元24利用平滑方向偵測程序241計算出搜尋視窗6中每個像素的平滑方向值之後，瑕疵像素判斷單元23便可根據校正像素L₁-L₃、R₁-R₃以及待測像素Nc的平滑方向值來判斷待測像素Nc是否為瑕疵像素。一實施例中，搜尋視窗6亦可為一1x5像素陣列，但不以揭露者為限。

舉例來說，假設像素L₃、L₂、L₁、Nc、R₁、R₂、R₃的平滑方向值分別為SOA[0]、SOA[1]、SOA[2]、SOA[3]、SOA[4]、SOA[5]、SOA[6]。由這些平滑方向值可推出一第二校正臨界值。例如，第二校正臨界值可設定為所有校正像素之平滑方向值之總和減去最大之平滑方向值(即(SOA[0]+SOA[1]+SOA[2]+SOA[4]+SOA[5]+SOA[6])-Max_SO A)再加上一第二校正子臨界值之總和，其中第二校正子臨界值係為一實驗數據，例如為20。如此一來，瑕疵像素判斷單元23便可判斷待測像素Nc之平滑方向值是否大於第二校正臨界值，若是，就表示待測像素Nc在所設定的搜尋視窗6範圍中，與週遭各方向的差異太大，有可能是瑕疵像素，則輸出一第二校正致能訊號(圖中未示)來驅動或控制瑕疵像素校正處理器25對像素陣列進行第二次的校正。收到第二校正致能訊號後，瑕疵像素校正處理器25便執行一第二影像校正程序253，以校正待測像素值V_Nc。

請參考第七圖，係為本發明實施例之用來校正待測像素之參考像素之示意圖。瑕疵像素校正處理器25執行第二影像校正程序253時，會先決定多個參與校正的參考像素，這些參考像素至少包括全部的同色像素D₀-D₇。一實施例中，係以待測像素Nc的同色像素D₀-D₇加上左右兩像素陣列的正中央像素N_L、N_R(亦為同色像素)，共10個像素作為參與校正的參考像素。其中，參考像素也可加入待測像素Nc上下兩像素陣列的正中央像素(亦為同色像素)，故不以揭露者為限。

接著，便將待測像素Nc一一與所選擇的10個參考像素D₀-D₇、N_L、N_R比較差異量，若待測像素Nc與任一參考像素之差異量小於一參考臨界值，則表示待測像素Nc愈接近此參考像素。當待測像素Nc接近愈多個參考像素，則表示待測像素Nc愈有參考價值，且是瑕疵像素的機率愈低。經上述一一比較之後，便可計算出有多少個參考像素與待測像素Nc的差異量小於參考臨界值。之後，再將所有參考像素D₀-D₇、N_L、N_R之像素值與多個待測像素值V_Nc由大到小進行排序(sort)，並以排序後的中間像素值取代待測像素值V_Nc。其中，參與排序之待測像素值V_Nc之數量便等於待測像素Nc與參考像素D₀-D₇、N_L、N_R之差異量小於參考臨界值的次數。

舉例來說，假設有3個參考像素與待測像素Nc的差異量小於參考臨界值。因此在排序過程中，是將所有參考像素D₀-D₇、N_L、N_R之像素值與3個待測像素值V_Nc由大到小進行排序(sort)，最後再以排序後的中間像素值取代待測像素值V_Nc。一實施例中，上述機制可使用中值濾波器(median filter)來實作。另一實施例中，在一一比較待測像素Nc與10個參考像素D₀-D₇、N_L、N_R之差異量之前，可先從參考像素D₀-D₇、N_L、N_R中移除具有最大值以及最小值之像素值的像素，不進行比較，如此可使校正值更為準確。

為了更進一步了解本發明的運作，請參考第八圖，係為本發明實施例之影像處理方法之流程圖，其應用於數位攝像裝置2中。相關系統架構及像素陣列請一併參考第二至七圖。所述之影像處理方法之步驟如下：首先，感光元件21將擷取到的影像產生一符合拜耳圖樣的像素陣列影像，並將其一一切分成多個nxn像素陣列的小單位(步驟S801)，如5x5像素陣列4，來對每一像素進行檢測及校正。瑕疵像素判斷單元23接收到5x5像素陣列4後，便判斷待測像素值V_Nc是否大於第一校正臨界值(步驟S803)。若否，則表示待測像素Nc是正常像素，進而對下一組5x5像素陣列4進行檢測，直到每組5x5像素陣列4 都檢測完及校正完畢後，便將整個像素陣列影像傳至數位化處理單元27，以進行數位化處理(步驟S817)，如訊號放大、類比數位轉換等，進而產生數位化影像儲存至儲存單元29(步驟S819)。

若步驟803的判斷為是，則表示待測像素Nc為瑕疵像素，因此便輸出第一校正致能訊號來驅動瑕疵像素校正處理器25對像素陣列進行校正。瑕疵像素校正處理器25收到第一校正致能訊號後，便執行第一影像校正程序251，其以最大的同色像素值V_i取代待測像素值V_Nc(步驟S805)。

接著，平滑方向偵測單元24利用平滑方向偵測程序241計算出搜尋視窗6中每個像素的平滑方向值(步驟S807)，便可根據所獲得之平滑方向值來決定第二校正臨界值(步驟S809)，其中詳細程序請參考第六圖及其相關說明。之後，瑕疵像素判斷單元23便判斷待測像素Nc是否大於第二校正臨界值(步驟S811)。若否，則無須作較正處理，可直接進行數位化處理並儲存。

若步驟811的判斷為是，則表示待測像素Nc為瑕疵像素，因此便輸出第二校正致能訊號來驅動瑕疵像素校正處理器25對像素陣列進行校正。瑕疵像素校正處理器25收到第二校正致能訊號後，便執行第二影像校正程序253(步驟S813)，其中詳細程序請參考第七圖及其相關說明。最後，便以排序後的中間像素值取代待測像素值V_Nc(步驟S815)，以對其校正。如此重複上述步驟，直到瑕疵像素校正處理器25將每組5x5像素陣列4中的待測像素Nc校正完畢後，便將整個像素陣列影像傳至數位化處理單元27，以進行數位化處理(步驟 S817)，如訊號放大、類比數位轉換等，進而產生數位化影像儲存至儲存單元29(步驟S819)。

藉由以上實例詳述，當可知悉本發明之數位攝像裝置及其影像處理方法，係先根據待測像素周圍的同色像素值來檢測是否為瑕疵像素，以先進行單點瑕疵校正。之後再根據待測像素與周圍像素的平滑關係來判斷是否為瑕疵像素，並利用周圍像素的平滑方向值來作為校正的參考。藉由本發明所提出之演算法，針對各種型態的瑕疵像素，都能更精確地判斷出瑕疵像素，再者，利用平滑方向性也可較正確判斷出在邊緣的像素是否為瑕疵像素，如此可減少誤判的機率，並能顯著且有效地校正瑕疵像素。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

S801-S819‧‧‧步驟

Claims

一種影像處理方法，適用於一nxn像素陣列之正中央的一待測像素，該待測像素具有一待測像素值，該方法包含：預設一搜尋視窗，包含複數個校正像素以及置於正中央的該待測像素；進行一第一影像校正程序，包含：判斷該待測像素值是否大於一第一校正臨界值；及進行一平滑方向偵測程序，包含：找出最接近該待測像素且與該待測像素同顏色的複數個同色像素，其中每一該些同色像素具有一同色像素值；計算該待測像素在各種方向上與該些同色像素的最小差異量為一平滑方向值；及重複該平滑方向偵測程序以對每一該些校正像素計算出其該平滑方向值；及根據該些校正像素以及該待測像素的該些平滑方向值來判斷該待測像素是否為一瑕疵像素，包含：判斷該待測像素的該平滑方向值是否大於一第二校正臨界值，其中該第二校正臨界值係與該些校正像素的該些平滑方向值有關；及若該待測像素值的該校正像素大於該第二校正臨界值，則進行一第二影像校正程序。
如申請專利範圍第1項所述之影像處理方法，其中進行該第一影像校正程序之步驟中，更包含：若該待測像素值大於該第一校正臨界值，則將最大之該些同色像素值取代該待測像素值。
如申請專利範圍第2項所述之影像處理方法，其中進行該第二影像校正程序之步驟中，包含：比較該待測像素與複數個參考像素之每一者的差異量，其中該些參考像素至少包括全部之該些同色像素；將該些參考像素之像素值與多個該待測像素值由大到小進行排序(sort)：及以排序後的中間像素值取代該待測像素值；其中，參與排序之該待測像素值之數量係取決於該待測像素與該些參考像素之差異量小於一參考臨界值的次數。
如申請專利範圍第3項所述之影像處理方法，其中該些參考像素中具有最大及最小像素值的像素不會與該待測像素進行比較。
如申請專利範圍第3項所述之影像處理方法，其中該第一校正臨界值係為最大之該些同色像素值加上一第一校正子臨界值之總和。
如申請專利範圍第5項所述之影像處理方法，其中該第二校正臨界值係為所有該些校正像素之該些平滑方向值之總和減去最大之該些平滑方向值再加上一第二校正子臨界值之總和。
如申請專利範圍第6項所述之影像處理方法，其中該nxn像素陣列係為一符合拜耳圖樣(Bayer Pattern)的濾色陣列(Color Filter Array)之一部份，且該nxn像素陣列包含一5x5像素陣列。
如申請專利範圍第6項所述之影像處理方法，其中該搜尋視窗包含一1x5像素陣列或一1x7像素陣列。
一種數位攝像裝置，包含：一感光元件，用來擷取一符合拜耳圖樣(Bayer Pattern)的像素陣列影像，該像素陣列影像包含複數個nxn像素陣列，其中每一個該nxn像素陣列之正中央具有一待測像素，該待測像素具有一待測像素值；一平滑方向偵測單元，用來處理一包含複數個校正像素以及置於正中央的該待測像素之搜尋視窗，並計算每一該些校正像素與該待測像素的一平滑方向值；一瑕疵像素判斷單元，係耦接於該感光元件以及該平滑方向偵測單元之間，用來根據該些校正像素以及該待測像素的該些平滑方向值來判斷該待測像素是否為一瑕疵像素；及一瑕疵像素校正(Bad Pixel Correction，BPC)處理器，係耦接於該瑕疵像素判斷單元，用來根據該瑕疵像素判斷單元的判斷結果來校正該待測像素，其中該瑕疵像素校正處理器包含一影像校正程序，並且其中若該瑕疵像素判斷單元判斷該待測像素的該平滑方向值大於一第二校正臨界值，則控制該瑕疵像素校正處理器執行該影像校正程序，其中該第二校正臨界值係與該些平滑方向值有關。
如申請專利範圍第9項所述之數位攝像裝置，其中該平滑方向偵測單元中儲存一平滑方向偵測程序，其執行下列步驟：找出最接近該待測像素且與該待測像素同顏色的複數個同色像素，其中每一該些同色像素具有一同色像素值；計算該待測像素在各種方向上與該些同色像素的最小差異量為一平滑方向值；及重複該平滑方向偵測程序以對每一該些校正像素計算出其該平滑方向值。
如申請專利範圍第10項所述之數位攝像裝置，其中若該瑕疵像素判斷單元判斷該待測像素值大於一第一校正臨界值，則控制該瑕疵像素校正處理器將最大之該些同色像素值取代該待測像素值。
如申請專利範圍第11項所述之數位攝像裝置，其中該瑕疵像素校正處理器執行該影像校正程序，其執行下列步驟：比較該待測像素與複數個參考像素之每一者的差異量，其中該些參考像素至少包括全部之該些同色像素；將該些參考像素之像素值與多個該待測像素值由大到小進行排序(sort)；及以排序後的中間像素值取代該待測像素值；其中，參與排序之該待測像素值之數量係取決於該待測像素與該些參考像素之差異量小於一參考臨界值的次數。
如申請專利範圍第12項所述之數位攝像裝置，其中該些參考像素中具有最大及最小像素值的像素不會與該待測像素進行比較。
如申請專利範圍第13項所述之數位攝像裝置，其中該第一校正臨界值係為最大之該些同色像素值加上一第一校正子臨界值之總和。
如申請專利範圍第14項所述之數位攝像裝置，其中該第二校正臨界值係為所有該些校正像素之該些平滑方向值之總和減去最大之該些平滑方向值再加上一第二校正子臨界值之總和。
如申請專利範圍第9項所述之數位攝像裝置，其中該nxn像素陣列包含一5x5像素陣列。
如申請專利範圍第9項所述之數位攝像裝置，其中該搜尋視窗包含一1x5像素陣列或一1x7像素陣列。
如申請專利範圍第9項所述之數位攝像裝置，包含數位相機、行動通訊裝置、個人數位助理(Personal Digital Assistant，PDA)、或任何電子影像感測器(electronic image sensors)。
如申請專利範圍第9項所述之數位攝像裝置，其中該感光元件包含感光耦合元件(Charge Coupled Device，CCD)、互補金氧半導體(Complementary Metal-Oxide Semiconductor，CMOS)、或互補金氧半導體-主動像素感測器(Complimentary Metal-Oxide Semiconductor-Active Pixel Sensors，CMOS-APS)。
如申請專利範圍第9項所述之數位攝像裝置，更包含：一數位化處理單元，係耦接於該瑕疵像素校正處理器，用來對已校正之該像素陣列影像進行處理，以產生一數位化影像；及一儲存單元，儲存該數位化影像。