TWI395154B - Color Filter Array Image Enhancement Method and Device - Google Patents

Description

彩色濾波陣列影像加強方法及裝置

本發明係為一種影像加強方法及裝置，尤其是有關於一種彩色濾波陣列影像加強方法及裝置。

感應器取像的原理係利用鏡頭將影像投射到電荷耦合元件上，此電荷耦合元件為攝影裝置之感應器材，藉由此電荷耦合元件，把鏡頭所採取到的影像，轉換成數位影像訊號，透過電子線路的處理，把數位影像訊號儲存在儲存媒體中。

不過由於電荷耦合元件只能感受到光線的強弱，並不能感受到顏色的變化，因此當進行數位取樣時，必須在感光原件的前面加上一分色濾色片，通常分色濾色片是採用R、G、B三原色分色法。然後，將三個電荷耦合元件所擷取到的三色彩值混合成全彩影像。

由於該攝影裝置考慮使用三個電荷偶合元件的成本高以及所佔體積大的因素下，一般只會使用單一電荷耦合元件，其取得的影像是以彩色濾波陣列10表示，如圖一，其具有一第一線緩衝器101和一第二線緩衝器102是用以儲存的前兩條輸入資料，以及一目前資料緩衝器103使得每一個像素只有R、G、B(即紅、綠、藍)其中一種色彩元素的灰度值，造成其他的兩個色彩元素遺失。因此我們必須將感光元件所得到的結果進行內插法的數學處理，藉以重建每一個像素所遺失的色彩元素。也就是說，該目前資料緩衝器103內的色彩元素與該第一線緩衝器101中的色彩元素做內插，內插後即可輸出一全彩RGB畫素。

內插技術非常多，影像內插法上可分為兩類；第一類，固定式影像內插法，此類內插法在內插遺落的色彩元素所取的鄰近點是固定的，內插法本身並沒有偵測邊緣的能力，因此會造成邊緣模糊的現象。此類的內插方法有最鄰近點(nearest)內插以及雙線性(bilinear)內插，視覺平緩轉換(Smooth Hue Transition)內插法…等等。其所內插出來的影像邊緣部份會產生影像模糊的現象。第二類為非固定式影像內插法，此類內插法在內插遺落的色彩元素所取的鄰近點是不固定的，內插法本身具有部分偵測邊緣的能力，因此，可以降低邊緣模糊的現象。此類的內插方法有邊緣偵測(Edge Sensing)內插法，邊緣偵測(Edge Sensing)內插法，Laplacian二階色彩相關性(Linear Interpolation with Laplacian second-order correction)線性內插法，可變式斜率數內插法(variable number of gradients)，可辨識斜率(Pattern Recognition)內插法。所內插出來的影像在水平以及垂直兩方向邊緣部份能有效降低邊緣模糊的現象，但是，在45度角以及135度角兩個方向通過的邊緣仍會有影像邊緣的模糊現象。

綜合上述理由可得知，諸多習知的內插法之所以會造成邊緣模糊的現象是因為內插法本身無法靈敏的偵測到邊緣的通過，因此無法對影像邊緣的部份做有效的內插，此一問題在數位影像處理領域中是亟待被突破的重要課題。同時，傳統內插法效果雖好，但架構固定，沒有彈性。

緣此，本案之發明人係研究出一種彩色濾波陣列影像加強方法及裝置，尤其是有關於一種具有內插及品質改良的彩色濾波陣列影像加強方法及其裝置，其係可改善習知技術中影像邊緣的模糊之現狀。

本發明的目的，在於提出一個很有彈性的通用改良架構，放在內插電路之後，使用原有的線緩衝器，不但能輕易地用硬體實現，並且可以依實際的需求，依不同的硬體，有彈性地調整增強影像品質。

本發明係關於一種彩色濾波陣列影像加強方法，其至少包括以下步驟：(a)接收一複數組的電荷耦合元件原始資料；(b)經由一內插器內插該複數組的電荷耦合元件原始資料得到一複數組的內插資料，該內插資料每一個畫素為紅綠藍三色彩所組成；以及(c)經由一品質改良模組濾波該具有紅綠藍等三色彩的內插資料以得到一影像品質改良資料。

本發明係進一步關於一種彩色濾波陣列影像加強裝置，其至少包括：一內插器，該內插器接收一複數組的電荷耦合元件原始資料並輸出一複數組的內插資料，該內插資料每一個畫素為紅綠藍三色彩所組成；以及一品質改良模組，耦合於該內插器，濾波該具有紅綠藍等三色彩的內插資料以輸出一影像品質改良資料。

為使　貴審查委員對於本發明之結構目的和功效有更進一步之了解與認同，茲配合圖示範例詳細說明如後。

圖二展示一種彩色濾波陣列影像加強裝置20，電荷耦合元件原始資料201先經由一內插器202，內插轉換成每一個畫素包含紅、綠、藍等全彩資料，再經由一品質改良模組203，再次經由濾波改良影像品質。該改良後的影像品質可經過一迴圈再次濾波，同時，該迴圈並不只限一次，可多次迴圈以達到所需的影像品質。

該內插器202可使用固定式或不固定式影像內插法，能把原始資料影像內插，並且邊緣加強(edge enhancement)到一定程度。如圖一所示，顯示的每一個輸入資料都是電荷耦合元件的原始資料。

該品質改良模組203耦合於該內插器202之後以濾波方式持續改良影像品質。如圖三所示，第一線緩衝器101及目前資料緩衝器103中的畫素，經由一.濾波電路與該內插器202處理過的該資料點如A、B、C、D及E由該品質改良模組203一次或多次運算處理，即可得到進一步改良品質的結果。該內插器202處理過的該資料點如A、B、C、D及E，已經是全彩格式，並不需要儲存，而是類似每個點做二次運算，第一次在內插器202運算，第二次在品質改良模組203運算。

該品質改良模組203中之濾波電路不限定特定電路，基本上是該點先經低通濾波器，求出低頻成份，再求出該點鄰近資料邊緣的高頻成份，相加處理。

較佳的，該低通濾波器可為高斯式、立方式及線性式等。對該品質改良模組203所需的低通濾波器，可依不同之效果，選擇適合需求的型式。如圖四所示，為一典型常用的三階線性低通濾波器40。該典型的低通濾波器在本實施例中為對水平軸上之鄰近畫素做低通濾波，然而，熟悉該項技藝者亦可更改為對角線或垂直上之鄰近畫素做低通濾波。

以C點為例，假設C點原始資料為紅色，而A、B、C、D以及E點則是已經過內插及邊緣加強過的鄰近水平軸上之全彩資料。現則要求出C點品質改良過的綠色和藍色值。以下範例為，求出C點品質改良過的綠色值。

C點之綠色成份為該內插資料經該低通濾波器輸出之綠色低頻部分加上紅色底色成份減去該低通濾波器輸出之紅色低頻部分。也就是說，以常用的三階線性低通濾波器如一第一低通濾波器401為例，該低通濾波器401輸出之綠色低頻部分為(1*B(綠色成份)+2*C(綠色成份)+1*D(綠色成份))/4，而紅色底色成份高頻部分為C(紅色成份)減去C(紅色成份)的低頻部分，C(紅色成份)的低頻部分亦可表示為(I*B(紅色成份)+2*C(紅色成份)+1*D(紅色成份))/4，C點之綠色成份為綠色成份的低通濾波值加上紅色成份的高通濾波值亦即C(紅色成份)減去紅色成份的低通濾波值。也就是說，影像品質改良資料為其中一畫素為其內插資料經該低通濾波器輸出之低頻部分加上該畫素之鄰近畫素之內插資料經該高通濾波器輸出之高頻部分。

圖四亦述及該低通濾波器401可做參數變化，如一低通濾波器402，其運作原理相同，在此不再贅述。

同理，C點之藍色成份為該內插資料經該低通濾波器輸出之藍色低頻部分加上紅色底色成份減去該低通濾波器輸出之紅色低頻部分。也就是說，以常用的三階線性低通濾波器為例，該低通濾波器輸出之藍色低頻部分為(1*B(藍色成份)+2*C(藍色成份)+1*D(藍色成份))/4，而紅色底色成份高頻部分為C(紅色成份)減去C(紅色成份)的低頻部分，C(紅色成份)的低頻部分亦可表示為(1*B(紅色成份)+2*C(紅色成份)+1*D(紅色成份))/4，C點之藍色成份為藍色成份的低通濾波值加上紅色成份的高通濾波值亦即C(紅色成份)減去紅色成份的低通濾波值。

同理，若該影像品質改良資料之C點原始底色為藍色，則C點之綠色成份為該內插2資料經該低通濾波器輸出之綠色低頻部分加上藍色底色成份減去該低通濾波器輸出之藍色低頻部分。

同理，若該影像品質改良資料之C點原始底色為藍色，則C點之紅色成份為該內插資料經該低通濾波器輸出之紅色低頻部分加上藍色底色成份減去該低通濾波器輸出之藍色低頻部分。

同理，若該影像品質改良資料之C點原始底色為綠色，則C點之紅色成份為該內插資料經該低通濾波器輸出之紅色低頻部分加上綠色底色成份減去該低通濾波器輸出之綠色低頻部分。

同理，若該影像品質改良資料之C點原始底色為綠色，則C點之藍色成份為該內插資料經該低通濾波器輸出之藍色低頻部分加上綠色底色成份減去該低通濾波器輸出之綠色低頻部分。

唯以上所述者，僅為本發明之範例實施態樣爾，當不能以之限定本發明所實施之範圍。即大凡依本發明申請專利範圍所作之均等變化與修飾，皆應仍屬於本發明專利涵蓋之範圍內，謹請　貴審查委員明鑑，並祈惠准，是所至禱。

10,30．．．彩色濾波陣列

101,301．．．第一線緩衝器

102,302．．．第二線緩衝器

103,303．．．目前資料緩衝器

20．．．彩色濾波陣列影像加強裝置

201．．．電荷耦合元件原始資料

202．．．內插器

203．．．品質改良模組

401．．．第一低通濾波器

402．．．第二低通濾波器

圖一係為先前技藝之彩色濾波陣列示意圖；

圖二係為本發明之彩色濾波陣列影像加強裝置示意圖；

圖三係為用於本發明之亂數選擇保護資料之流程示意圖；

圖四係為用於本發明之保護資料架構之示意圖。

20．．．彩色濾波陣列影像加強裝置

201．．．電荷耦合元件原始資料

202．．．內插器

203．．．品質改良模組

Claims (28)

1. 一種彩色濾波陣列影像加強方法，其至少包括以下步驟：(a)接收一複數組的電荷耦合元件原始資料；(b)經由一內插器內插，對該複數組的電荷耦合元件原始資料進行邊緣加強，以得到一複數組的內插資料，該內插資料每一個畫素為紅綠藍三色彩所組成；以及(c)經由一品質改良模組濾波對該具有紅綠藍等三色彩的內插資料進行濾波，以得到具有單色成份之一影像品質改良資料。
2. 如申請專利範圍第1項之彩色濾波陣列影像加強方法，其中該步驟(c)係可多次迴圈重覆進行。
3. 如申請專利範圍第1項之彩色濾波陣列影像加強方法，其中該內插器為使用固定式影像內插法。
4. 如申請專利範圍第1項之彩色濾波陣列影像加強方法，其中該內插器為使用不固定式影像內插法。
5. 如申請專利範圍第1項之彩色濾波陣列影像加強方法，其中該品質改良模組進一步包含一低通濾波器。
6. 如申請專利範圍第1項之彩色濾波陣列影像加強方法，其中該品質改良模組進一步包含一高通濾波器。
7. 如申請專利範圍第5項之彩色濾波陣列影像加強方法，其中該低通濾波器可為高斯式、立方式及線性式。
8. 如申請專利範圍第5或6項之彩色濾波陣列影像加強 方法，其中該影像品質改良資料之其中一畫素為其內插資料經該低通濾波器輸出之低頻部分加上該畫素之鄰近畫素之內插資料經該高通濾波器輸出之高頻部分。
9. 如申請專利範圍第8項之彩色濾波陣列影像加強方法，其中若該影像品質改良資料之該畫素原始底色為紅色，則該畫素之綠色成份為該內插資料經該低通濾波器輸出之綠色低頻部分加上紅色底色成份減去該低通濾波器輸出之紅色低頻部分。
10. 如申請專利範圍第8項之彩色濾波陣列影像加強方法，其中若該影像品質改良資料之該畫素原始底色為紅色，則該畫素之藍色成份為該內插資料經該低通濾波器輸出之藍色低頻部分加上紅色底色成份減去該低通濾波器輸出之紅色低頻部分。
11. 如申請專利範圍第8項之彩色濾波陣列影像加強方法，其中若該影像品質改良資料之該畫素原始底色為藍色，則該畫素之綠色成份為該內插資料經該低通濾波器輸出之綠色低頻部分加上藍色底色成份減去該低通濾波器輸出之藍色低頻部分。
12. 如申請專利範圍第8項之彩色濾波陣列影像加強方法，其中若該影像品質改良資料之該畫素原始底色為藍色，則該畫素之紅色成份為該內插資料經該低通濾波器輸出之紅色低頻部分加上藍色底色成份減去該低通濾波器輸出之藍色低頻部分。
13. 如申請專利範圍第8項之彩色濾波陣列影像加強方法，其中若該影像品質改良資料之該畫素原始底色為綠 色，則該畫素之紅色成份為該內插資料經該低通濾波器輸出之紅色低頻部分加上綠色底色成份減去該低通濾波器輸出之綠色低頻部分。
14. 如申請專利範圍第8項之彩色濾波陣列影像加強方法，其中若該影像品質改良資料之該畫素原始底色為綠色，則該畫素之藍色成份為該內插資料經該低通濾波器輸出之藍色低頻部分加上綠色底色成份減去該低通濾波器輸出之綠色低頻部分。
15. 一種彩色濾波陣列影像加強裝置，其至少包括：一內插器，該內插器接收一複數組的電荷耦合元件原始資料並對該複數組的電荷耦合元件原始資料進行邊緣加強，以輸出一複數組的內插資料，該內插資料每一個畫素為紅綠藍三色彩所組成；以及一品質改良模組，耦合於該內插器，濾波該具有紅綠藍等三色彩的內插資料以輸出具有單色成份之一影像品質改良資料。
16. 如申請專利範圍第15項之彩色濾波陣列影像加強裝置，其中品質改良模組係可多次迴圈重覆進行。
17. 如申請專利範圍第15項之彩色濾波陣列影像加強裝置，其中該內插器為使用固定式影像內插法。
18. 如申請專利範圍第15項之彩色濾波陣列影像加強裝置，其中該內插器為使用不固定式影像內插法。
19. 如申請專利範圍第15項之彩色濾波陣列影像加強裝置，其中該品質改良模組進一步包含一低通濾波器。
20. 如申請專利範圍第15項之彩色濾波陣列影像加強裝置，其中該品質改良模組進一步包含一高通濾波器。
21. 如申請專利範圍第19項之彩色濾波陣列影像加強裝置，其中，其中該低通濾波器可為高斯式、立方式及線性式。
22. 如申請專利範圍第19或20項之彩色濾波陣列影像加強裝置，其中，其中該影像品質改良資料之其中一畫素為其內插資料經該低通濾波器輸出之低頻部分加上該畫素之鄰近畫素之內插資料經該高通濾波器輸出之高頻部分。
23. 如申請專利範圍第22項之彩色濾波陣列影像加強裝置，其中若該影像品質改良資料之該畫素原始底色為紅色，則該畫素之綠色成份為該內插資料經該低通濾波器輸出之綠色低頻部分加上紅色底色成份減去該低通濾波器輸出之紅色低頻部分。
24. 如申請專利範圍第22項之彩色濾波陣列影像加強裝置，其中，其中若該影像品質改良資料之該畫素原始底色為紅色，則該畫素之藍色成份為該內插資料經該低通濾波器輸出之藍色低頻部分加上紅色底色成份減去該低通濾波器輸出之紅色低頻部分。
25. 如申請專利範圍第22項之彩色濾波陣列影像加強裝置，其中若該影像品質改良資料之該畫素原始底色為藍色，則該畫素之綠色成份為該內插資料經該低通濾波器輸出之綠色低頻部分加上藍色底色成份減去該低通濾波器輸出之藍色低頻部分。
26. 如申請專利範圍第22項之彩色濾波陣列影像加強裝置，其中若該影像品質改良資料之該畫素原始底色為藍色，則該畫素之紅色成份為該內插資料經該低通濾波器輸出之紅色低頻部分加上藍色底色成份減去該低通濾波器輸出之藍色低頻部分。
27. 如申請專利範圍第22項之彩色濾波陣列影像加強裝置，其中若該影像品質改良資料之該畫素原始底色為綠色，則該畫素之紅色成份為該內插資料經該低通濾波器輸出之紅色低頻部分加上綠色底色成份減去該低通濾波器輸出之綠色低頻部分。
28. 如申請專利範圍第22項之彩色濾波陣列影像加強裝置，其中若該影像品質改良資料之該畫素原始底色為綠色，則該畫素之藍色成份為該內插資料經該低通濾波器輸出之藍色低頻部分加上綠色底色成份減去該低通濾波器輸出之綠色低頻部分。