TWI484443B

TWI484443B - 數位攝像裝置及其影像處理方法

Info

Publication number: TWI484443B
Application number: TW100100056A
Authority: TW
Inventors: Yi Lin Tsai
Original assignee: Himax Imaging Inc
Priority date: 2011-01-03
Filing date: 2011-01-03
Publication date: 2015-05-11
Also published as: TW201229960A

Description

數位攝像裝置及其影像處理方法

本發明係有關一種影像處理方法，特別是關於一種用於檢測及校正瑕疵像素的數位攝像裝置及其影像處理方法。

目前數位成像技術大多利用互補金屬氧化物半導體(Complementary Metal-Oxide Semiconductor，CMOS)作為感光元件，並在其上覆蓋一層彩色的濾色陣列(Color Filter Array，CFA)，將擷取到的影像之紅綠藍(RGB)三原色各自分開，進而產生一符合拜耳圖樣(Bayer Pattern)的像素陣列影像，如第一圖所示，其為一5x5像素陣列1，其中R表示紅色，B表示藍色，G表示綠色。

然而，所擷取到的像素陣列1中的相鄰像素會互相干擾，或CMOS感光元件在製程中的電路缺陷，都有可能產生瑕疵像素(Bad Pixel)，進而使得處理後的影像中出現特別突兀的部份，如亮點。為了修正瑕疵像素，目前通常會找其周圍同顏色的像素來進行修補，以第一圖為例，假設欲修正正中央的藍色像素，則處理器會從其四周的藍色像素中找最大和次大的像素值來作權重運算後，取代中央的藍色樣素值。但在某些情況下，運算出的校正值仍然無法顯著且有效地校正瑕疵像素。

因此，亟需提出一種新穎的數位攝像裝置及其影像處理方法，使能準確地檢測出瑕疵像素，並有效地對其校正。

鑑於上述，本發明實施例的目的之一在於提出一種數位攝像裝置及其影像處理方法，其藉由待測像素周圍的像素值來檢測是否為瑕疵像素，並根據與待測像素相同顏色的像素之值，來校正待測像素，進而能準確地檢測出瑕疵像素，並有效地校正之。

本發明係揭示一種影像處理方法，適用於一nxn像素陣列之正中央的一待測像素，該待測像素具有一待測像素值。所述之影像處理方法包含以下步驟：首先，判斷待測像素值是否大於一校正門檻值；之後，若待測像素值大於校正門檻值，則進行一第一影像校正程序，用來將對稱於具有最大像素值的同色像素之多個同色像素之值進行權重運算，並將運算結果與待測像素值進行權重運算後，取代待測像素值。

本發明又揭示一種數位攝像裝置，其包含一感光元件、一瑕疵像素判斷單元以及一瑕疵像素校正(Bad Pixel Correction，BPC)處理器。感光元件用來擷取一符合拜耳圖樣(Bayer Pattern)的像素陣列影像，其包含複數個nxn像素陣列，其中每一nxn像素陣列之正中央具有一待測像素，其具有一待測像素值。瑕疵像素判斷單元係耦接於感光元件，用來判斷待測像素值是否大於一校正門檻值，以輸出一校正致能訊號。瑕疵像素校正處理器係耦接於瑕疵像素判斷單元，當接收到校正致能訊號後，便將對稱於具有最大像素值的同色像素之多個同色像素之值進行權重運算，並將運算結果與待測像素值進行權重運算後，取代待測像素值。

1‧‧‧像素陣列

2‧‧‧數位攝像裝置

21‧‧‧感光元件

23‧‧‧瑕疵像素判斷單元

S‧‧‧校正致能訊號

25‧‧‧瑕疵像素校正處理器

27‧‧‧數位化處理單元

29‧‧‧儲存單元

3‧‧‧像素陣列影像

4‧‧‧5x5像素陣列

5‧‧‧3x3像素陣列

Nc‧‧‧待測像素

V_Nc‧‧‧待測像素值

D₀-D₇‧‧‧第一同色像素

V₀-V₇‧‧‧第一同色像素值

N₀-N₇‧‧‧周圍像素

P₀-P₇‧‧‧周圍像素值

G₀-G₃‧‧‧第二同色像素

H₀-H₃‧‧‧第二同色像素值為

S601-S629‧‧‧步驟

第一圖係為習知之拜耳圖樣的示意圖。

第二圖係為本發明實施例之數位攝像裝置的方塊圖。

第三圖係為本發明實施例之像素陣列影像之示意圖。

第四圖係為本發明實施例之5x5像素陣列之示意圖。

第五圖係為本發明實施例之3x3像素陣列及其對應的像素值之示意圖。

第六圖係為本發明實施例之影像處理方法之流程圖。

首先，請參考第二圖，係為本發明實施例之數位攝像裝置的方塊圖。如第二圖所示，數位攝像裝置2包含一感光元件21、一瑕疵像素判斷單元23、一瑕疵像素校正(Bad Pixel Correction，BPC)處理器25、一數位化處理單元27以及一儲存單元29。數位攝像裝置2係用來擷取一影像，其利用感光元件21上覆蓋的一層拜耳圖樣 (Bayer Pattern)的彩色濾色陣列(Color Filter Array，CFA)(圖中未示)產生拜耳圖樣像素陣列影像。

瑕疵像素判斷單元23係耦接於感光元件21，用來判斷像素陣列影像中是否有瑕疵像素；而瑕疵像素校正處理器25係耦接於瑕疵像素判斷單元23，根據將瑕疵像素判斷單元23判斷出的瑕疵像素進行校正。數位化處理單元27係用來將所有瑕疵像素都校正完的像素陣列影像進行處理，如拜耳圖樣插補(Bayer Pattern Interpolation)、訊號放大、類比數位轉換等，以產生數位化影像儲存至儲存單元29中。

具體來說，數位攝像裝置2包含數位相機、行動通訊裝置、個人數位助理(Personal Digital Assistant，PDA)、或任何電子影像感測器(electronic image sensors)。感光元件21包含感光耦合元件(Charge Coupled Device，CCD)、互補金氧半導體(Complementary Metal-Oxide Semiconductor，CMOS)、或互補金氧半導體-主動像素感測器(Complimentary Metal-Oxide Semiconductor-Active Pixel Sensors，CMOS-APS)。值得一提的是，本發明之主要技術特徵在於判斷及校正瑕疵像素的演算法，然而習知數位攝像裝置中的必要元件及電路雖未進一步描述，但亦為本發明保護之範圍，不以揭露者為限。

接著，請一併參考第三圖，該圖係為本發明實施例之像素陣列影像之示意圖。如第三圖所示，像素陣列影像3符合拜耳圖樣(Bayer Pattern)的排列方式，包含複數個nxn像素陣列4，如5x5像素陣列4，其中R表示紅色，B表示藍色，G表示綠色。本發明會對每一組的5x5像素陣列4之正中央像素進行檢測及校正，為了方便說明，以下係針對單一個5x5像素陣列4來舉例。

請再參考第四圖，係為本發明實施例之5x5像素陣列4之示意圖，其對應於像素陣列影像3所排列之顏色。每一像素都有所對應的像素值來表示訊號強度，5x5像素陣列4之正中央具有一待測像素Nc，其待測像素值為V_Nc；環繞於待測像素Nc周圍的是八個周圍像素N₀-N₇，其各別的周圍像素值為P₀-P₇；第一同色像素D₀-D₇係最接近待測像素Nc且與其同樣是藍色的像素，各別的第一同色像素值為V₀-V₇。瑕疵像素判斷單元23主要係參考每一組5x5像素陣列4中的待測像素Nc與其周圍像素N₀-N₇的差異，來判斷待測像素是否是瑕疵像素。於本發明之一實施例中，瑕疵像素判斷單元23會先將待測像素Nc周圍的周圍像素值P₀-P₇由大到小進行排序(sort)，便根據已排序的周圍像素值P₀-P₇來進行一校正門檻值產生程序，以產生一校正門檻值來作為待測像素Nc是否為瑕疵像素的標準。

瑕疵像素判斷單元23執行校正門檻值產生程序時，會根據周圍像素值P₀-P₇來產生多個校正門檻參數值，例如，校正門檻參數值可以是其一或最大的周圍像素值、全部周圍像素值P₀-P₇的平均值、部份周圍像素值P₀-P₇的平均值、或部份周圍像素值P₀-P₇進行權重運算後的平均值。一實施例中，上述產生的校正門檻參數值可統合成一校正門檻參數群組。

由於瑕疵像素通常是個具有很大值的像素，瑕疵像素判斷單元23便會一併利用多個像素值較小的像素來拉低瑕疵像素之值。於本發明之一實施例中，瑕疵像素判斷單元23係加總四個最小的周圍像素值，並將其正規化來獲得一正規化參數值，其中正規化的處理係為了使正規化參數值的單位可與校正門檻參數值搭配，例如將四個最小的周圍像素值之總和除以四或除以十六，但不以揭露者為限。

瑕疵像素判斷單元23再根據運算出的正規化參數值及校正門檻參數值來產生校正門檻值，一具體實施例中，校正門檻值可以是正規化參數值和其中一個校正門檻參數值的總和，或正規化參數值和多個校正門檻參數值的總和，或正規化參數值、至少一個校正門檻參數值、和一可手動調整的參數之總和。瑕疵像素判斷單元23會比較每一組5x5像素陣列4中的待測像素值V_Nc與是否大於校正門檻值，若是，則表示待測像素Nc為瑕疵像素，進而輸出一校正致能訊號S來驅動瑕疵像素校正處理器25對5x5像素陣列4進行校正。

瑕疵像素校正處理器25接收到校正致能訊號S後，會先從第一同色像素D₀-D₇中找出具有最大像素值的像素，並從其對稱方向選出多個第一同色像素，以利用選出來的第一同色像素之像素值來校正待測像素值。舉例來說，假設第一同色像素D₀的像素值V₀最大，則選擇五個對稱於的第一同色像素D₀的第一同色像素D₂,D₄,D₅,D₆,D₇，將其像素值與待測像素值V_Nc進行權重運算，進而獲得一第一校正像素值DP₁。一具體實施例中，第一同色像素值V₂,V₄,V₅,V₆,V₇所佔權重為1/8，待測像素值V_Nc所佔權重為3/8，則瑕疵像素校正處理器25可根據公式(1)來計算出第一校正像素值DP₁。

DP₁=(V₂+V₄+V₅+V₆+V₇)* 1/8+V_Nc * 3/8…(1)

瑕疵像素校正處理器25會根據原本的待測像素值V_Nc以及運算出的第一校正像素值DP₁來校正待測像素值V_Nc，一具體實施例中，係將待測像素值V_Nc與第一校正像素值DP₁進行權重運算，再將計算結果取代待測像素值V_Nc。舉例來說，假設兩者各佔權重為1/2，則瑕疵像素校正處理器25可根據公式(2)來計算出最後的待測像素值V_Nc，其中，權重分布係根據兩者的強度來設定，故不以揭露者為限。

V_Nc=V_Nc * 1/2+DP₁*1/2……(2)

同樣在第一同色像素D₀的像素值V₀最大的情況下，另一具體實施例中，可僅選擇三個對稱於的第一同色像素D₀的第一同色像素D₄,D₆,D₇，將其像素值與待測像素值V_Nc進行權重運算，進而獲得第一校正像素值DP₁。一具體實施例中，第一同色像素值V₄,V₆,V₇所佔權重為1/8，待測像素值V_Nc所佔權重為3/8，則瑕疵像素校正處理器25可根據公式(3)來計算出第一校正像素值DP₁。

DP₁=(V₄+V₄+V₆+V₆+V₇)* 1/8+V_Nc * 3/8…(3)

第三、四圖係適用於當待測像素Nc為藍色或紅色像素的情況，由於人眼對綠色的辨別敏感度大於紅色和藍色，故產生的像素陣列影像3中，綠色像素個數是藍色和紅色的兩倍，其對瑕疵像素的校正方式也有些微不同。請參考第五圖，係為本發明實施例之3x3 像素陣列5及其對應的像素值之示意圖。3x3像素陣列5之正中央係為綠色的待測像素Nc，其待測像素值為V_Nc；第二同色像素G₀-G₃係最接近待測像素Nc且與其同樣是綠色的像素，各別的第二同色像素值為H₀-H₃。

瑕疵像素校正處理器25接收到3x3像素陣列5後，會利用最接近待測像素Nc且與待測像素Nc同樣為綠色的第二同色像素G₀-G₃來運算出一第三校正像素值，以校正待測像素值。具體來說，第三校正像素值係為最小的第二同色像素值、全部第二同色像素值H₀-H₃之平均、或前述兩者之平均。同樣地，瑕疵像素校正處理器25會根據原本的待測像素值V_Nc以及運算出的第三校正像素值來校正待測像素值V_Nc，一具體實施例中，係將待測像素值V_Nc與第三校正像素值進行權重運算，再將計算結果取代待測像素值V_Nc。

為了更進一步了解本發明的運作，請參考第六圖，係為本發明實施例之影像處理方法之流程圖，其應用於數位攝像裝置2中。相關系統架構及像素陣列請一併參考第二至五圖。所述之影像處理方法之步驟如下：首先，感光元件21將擷取到的影像產生一符合拜耳圖樣的像素陣列影像，並將其一一切分成多個nxn像素陣列的小單位(步驟S601)，如5x5像素陣列4，來對每一像素進行檢測及校正。瑕疵像素判斷單元23接收到5x5像素陣列4後，便執行校正門檻值產生程序，其根據周圍像素值P₀-P₇來定義多個校正門檻參數值(步驟S603)，並將多個最小的周圍像素值相加再正規化來來獲得正規化參數值(步驟S605)；接著，瑕疵像素判斷單元23便可根據正規化參數值及校正門檻參數值來運算出校正門檻值(步驟S607)。

接著，瑕疵像素判斷單元23判斷待測像素值V_Nc是否大於校正門檻值(步驟S609)，若否，則表示待測像素Nc是正常像素，進而對下一組5x5像素陣列4進行檢測，直到每組5x5像素陣列4都檢測完及校正完畢後，便將整個像素陣列影像傳至數位化處理單元27，以進行數位化處理(步驟S611)，如訊號放大、類比數位轉換等，進而產生數位化影像儲存至儲存單元29(步驟S629)。

若步驟609的判斷為是，則表示待測像素Nc為瑕疵像素，因此便輸出校正致能訊號S來驅動瑕疵像素校正處理器25對像素陣列進行校正。像素校正處理器25收到校正致能訊號S後，先判斷目前接收到的像素陣列中之待測像素Nc是否為綠色像素(步驟S613)，若是，則執行一第二影像校正程序，其根據與待測像素Nc同色的像素值(第二同色像素G₀-G₃)來計算出第三校正像素值(步驟S615)，並權重運算待測像素值V_Nc與第三校正像素值(步驟S617)，以利用運算結果來取代待測像素值V_Nc(步驟S619)，其中詳細程序請參考第五圖及其相關說明。

若待測像素Nc為藍色或紅色像素，則瑕疵像素校正處理器25執行一第一影像校正程序，其先找出最接近待測像素Nc且與待測像素Nc同顏色的第一同色像素D₀-D₇，再從第一同色像素D₀-D₇選出複數個校正像素(如上例中的D₂,D₄,D₅,D₆,D₇)，其中校正像素係對稱於具有最大像素值(如上例中的V₀)的第一同色像素(如上例中的 D₀)(步驟S621)。接著，瑕疵像素校正處理器25將選出的像素值與待測像素值V_Nc進行權重運算，以獲得第一校正像素值DP₁(步驟S623)，並權重運算待測像素值V_Nc與第一校正像素值DP₁(步驟S625)，以利用運算結果來取代待測像素值V_Nc(步驟S627)，其中詳細程序請參考第四圖及其相關說明。

瑕疵像素校正處理器25將每組5x5像素陣列4中的待測像素Nc校正完畢後，便將整個像素陣列影像傳至數位化處理單元27，以進行數位化處理(步驟S611)，如訊號放大、類比數位轉換等，進而產生數位化影像儲存至儲存單元29(步驟S629)。

值得一提的是，在瑕疵像素判斷單元23判斷待測像素值V_Nc是否大於校正門檻值的步驟之前，可先將環繞於待測像素V_Nc周圍的八個周圍像素N₀-N₇之周圍像素值P₀-P₇由大到小進行排序(sort)，以利後續產生校正門檻值。而於步驟S621之前，更可進一步判斷是要採用三個(如上例中的D₄,D₆,D₇)或五個(如上例中的D₂,D₄,D₅,D₆,D₇)校正像素來校正待測像素，以根據各種情況來選擇適當的校正模式。

藉由以上實例詳述，當可知悉本發明之數位攝像裝置及其影像處理方法，係先根據待測像素周圍的像素值來檢測是否為瑕疵像素，並利用和待測像素同色的像素之值與待測像素值進行權重運算，來校正待測像素。藉由本發明所提出之演算法，其根據待測像素的周圍像數值來微調校正門檻值，使更能精確的判斷出瑕疵像素；再利用同顏色且較小的像素值來拉低訊號值過大的瑕疵像素，使能顯著且有效地校正瑕疵像素。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

S601-S629‧‧‧步驟

Claims

一種影像處理方法，適用於一nxn像素陣列之正中央的一待測像素，該待測像素具有一待測像素值，該方法包含：判斷該待測像素值是否大於一校正門檻值；及若該待測像素值大於該校正門檻值，則進行一第一影像校正程序，包含：找出最接近該待測像素且與該待測像素同顏色的複數個第一同色像素；從該些第一同色像素選出複數個校正像素，其中該些校正像素係對稱於具有最大像素值的該第一同色像素，並且該些校正向像素包含位於在具有最大像素值的該第一同色像素對面之第一同色像素及其相鄰之第一同色像素，或位於在具有最大像素值的該第一同色像素對面之第一同色像素及其同行與同列之第一同色像素；將該待測像素值與該些校正像素的像素值進行權重運算，進而獲得一第一校正像素值；及將該待測像素值與該第一校正像素值進行權重運算，進而獲得一第二校正像素值；及以該第二校正像素值取代該待測像素值。
如申請專利範圍第1項所述之串列通訊系統，其中判斷該待測像素值是否大於該校正門檻值之步驟之前，更包含：將環繞於該待測像素周圍的八個周圍像素之周圍像素值由大到小進行排序(sort)；及進行一校正門檻值產生程序，其根據該些周圍像素值來產生該校正門檻值。
如申請專利範圍第2項所述之影像處理方法，其中進行該校正門檻值產生程序之步驟中，包含：提供一校正門檻參數群組，包含複數個校正門檻參數值，每一該校正門檻參數值係根據該些周圍像素值或其運算來定義；加總多個最小的該周圍像素值，並將其正規化來獲得一正規化參數值；及根據該正規化參數值及至少一個該校正門檻參數值來運算出該校正門檻值。
如申請專利範圍第3項所述之影像處理方法，其中運算出該校正門檻值之步驟中，包含：加總該正規化參數值及至少一個該校正門檻參數值。
如申請專利範圍第2項所述之影像處理方法，其中判斷該待測像素值是否大於該校正門檻值之步驟之後，更包含：判斷該待測像素是否為綠色像素；若否，則進行該第一影像校正程序；及若是，則進行一第二影像校正程序，包含：找出最接近該待測像素且與該待測像素同顏色的複數個第二同色像素；計算一第三校正像素值，其中該第三校正像素值係為最小的該第二同色像素之像素值、該些第二同色像素的像素值之平均、或前述兩者之平均；將該待測像素值與該第三校正像素值進行權重運算，進而獲得一第四校正像素值；及以該第四校正像素值取代該待測像素值。
如申請專利範圍第3項所述之影像處理方法，其中該校正門檻參數值包含最大的該周圍像素值、全部之該些周圍像素值之平均、或部份之該些周圍像素值之平均。
如申請專利範圍第5項所述之影像處理方法，其中該nxn像素陣列係為一符合拜耳圖樣(Bayer Pattern)的濾色陣列(Color Filter Array)之一部份，該nxn像素陣列包含一5x5像素陣列。
如申請專利範圍第7項所述之影像處理方法，其中該校正像素包含三個或五個，而該第二同色像素包含四個。
一種數位攝像裝置，包含：一感光元件，用來擷取一符合拜耳圖樣(Bayer Pattern)的像素陣列影像，該像素陣列影像包含複數個nxn像素陣列，其中每一個該nxn像素陣列之正中央具有一待測像素，該待測像素具有一待測像素值；一瑕疵像素判斷單元，係耦接於該感光元件，用來判斷該待測像素值是否大於一校正門檻值，以輸出一校正致能訊號；及一瑕疵像素校正(Bad Pixel Correction，BPC)處理器，係耦接於該瑕疵像素判斷單元，用來根據一第一影像校正程序執行下列步驟：找出最接近該待測像素且與該待測像素同顏色的複數個第一同色像素；從該些第一同色像素選出複數個第一校正像素，其中該些校正像素係對稱於具有最大像素值的該第一同色像素，並且該些校正向像素包含位於在具有最大像素值的該第一同色像素對面之第一同色像素及其相鄰之第一同色像素，或位於在具有最大像素值的該第一同色像素對面之第一同色像素及其同行與同列之第一同色像素；將該待測像素值與該些校正像素的像素值進行權重運算，進而獲得一第一校正像素值；及將該待測像素值與該第一校正像素值進行權重運算，進而獲得一第二校正像素值；及以該第二校正像素值取代該待測像素值；其中，當接收到該校正致能訊號，該瑕疵像素校正處理器便執行該第一影像校正程序。
如申請專利範圍第9項所述之數位攝像裝置，其中該瑕疵像素判斷單元係根據複數個周圍像素的像素值來產生該校正門檻值，其中該些周圍像素係環繞於該待測像素的周圍。
如申請專利範圍第10項所述之數位攝像裝置，其中該些周圍像素各具有一周圍像素值，該瑕疵像素判斷單元根據該些周圍像素值或其運算來定義複數個校正門檻參數值，並加總多個最小的該周圍像素值，將其正規化來獲得一正規化參數值，以及加總該正規化參數值和至少一個該校正門檻參數值來作為該校正門檻值。
如申請專利範圍第11項所述之數位攝像裝置，其中該校正門檻參數值包含最大的該周圍像素值、全部之該些周圍像素值之平均、或部份之該些周圍像素值之平均。
如申請專利範圍第9項所述之數位攝像裝置，其中該瑕疵像素校正處理器判斷該待測像素不為綠色像素，便執行該第一影像校正程序，而該瑕疵像素校正處理器判斷該待測像素係為綠色像素，則根據一第二影像校正程序執行下列步驟：找出最接近該待測像素且與該待測像素同顏色的複數個第二同色像素；計算一第三校正像素值，其中該第三校正像素值係為最小的該第二同色像素之像素值、該些第二同色像素的像素值之平均、或前述兩者之平均；將該待測像素值與該第三校正像素值進行權重運算，進而獲得一第四校正像素值；及以該第四校正像素值取代該待測像素值。
如申請專利範圍第13項所述之數位攝像裝置，其中該nxn像素陣列包含一5x5像素陣列。
如申請專利範圍第13項所述之數位攝像裝置，其中該校正像素包含三個或五個，而該第二同色像素包含四個。
如申請專利範圍第9項所述之數位攝像裝置，包含數位相機、行動通訊裝置、個人數位助理(Personal Digital Assistant，PDA)、或任何電子影像感測器(electronic image sensors)。
如申請專利範圍第9項所述之數位攝像裝置，其中該感光元件包含感光耦合元件(Charge Coupled Device，CCD)、互補金氧半導體(Complementary Metal-Oxide Semiconductor，CMOS)、或互補金氧半導體-主動像素感測器(Complimentary Metal-Oxide Semiconductor-Active Pixel Sensors，CMOS-APS)。