TW201408083A - 可調適抑制錯色假影的系統及方法 - Google Patents

Abstract

一種可調適抑制錯色假影（false-color artifact）的系統及方法。亮度空間頻率單元於主動視窗內，偵測邊緣或具高亮度空間頻率的區域，且色度空間頻率單元於主動視窗內，偵測顏色跳動。錯色偵測器根據亮度空間頻率單元及色度空間頻率單元的結果，以決定錯色假影的發生。當錯色偵測器決定錯色假影會發生時，則補償器對色度成分進行補償。

Description

可調適抑制錯色假影的系統及方法

    本發明係有關一種影像感測器，特別是關於一種可調適系統及方法，用以抑制因內插所造成的錯色假影（false-color artifact）。

    伊士曼柯達（Eastman Kodak）公司的拜爾（Bayer）博士所發明的拜爾彩色濾波陣列（CFA）廣泛使用於數位影像擷取裝置（例如數位相機），一般係覆蓋於（黑白）影像感測器的像素檢測元件上，用以擷取得到彩色影像資料。拜爾彩色濾波陣列的濾波圖樣當中，50%為綠色（G）、25%為紅色（R）且25%為藍色（B）。第一A圖顯示典型拜爾彩色濾波陣列的濾波圖樣。第一B圖顯示將第一A圖之拜爾彩色濾波陣列分解為三個低取樣（under-sample）影像平面。

    雖然拜爾彩色濾波陣列可以低成本來擷取得到彩色影像資料，然而，卻需要使用內插以得到漏失的彩色資料（亦即，第一B圖的空白處），用以重建三個完整的彩色影像平面。於進行內插時，不可避免的會降低亮度（luminance）及色度（chrominance）的清晰程度，因而降低影像品質。甚者，由於影像平面之不完全取樣以及拜爾彩色濾波陣列各顏色通道間的空間相位差（spatial phase difference），還會造成錯色假影（false-color artifact）或彩色假頻假影（color aliasing artifact）。錯色假影對於觀者的干擾遠大於清晰度的降低。

    為了抑制錯色假影，通常使用光學模糊濾波器（optical blur filter）或反假頻濾波器（anti-aliasing filter）或光學低通濾波器（optical low-pass filter），可參考Rudolph J. Guttosch所發表的“Investigation of Color Aliasing of High Spatial Frequencies and Edges for Bayer-Pattern Sensors and Foveon X3R Direct Image Sensors”，其內容視為本說明書的一部分。

    使用模糊濾波器以抑制錯色假影會影響到影像的清晰度。此外，使用模糊濾波器還會增加製造成本。再者，使用模糊濾波器會增加數位影像擷取裝置（例如行動電話）的尺寸及重量，不利於可攜式裝置的小型化。

    因此，亟需提出一種新穎的機制，用以有效且經濟地抑制錯色假影。

    鑑於上述，本發明實施例提出一種可調適系統及方法，適用於具有彩色濾波陣列之影像感測器，用以抑制因影像資料之內插所造成的錯色假影。

    根據本發明實施例，可調適抑制錯色假影的系統包含內插器、轉換器、亮度空間頻率單元、色度空間頻率單元、錯色偵測器及補償器。內插器對輸出自一影像感測器的原始影像資料進行內插運算，因而獲得彩色內插後資料。轉換器將內插後資料轉換至另一色彩空間以產生轉換後資料，每ㄧ轉換後資料表示為轉換後色彩空間的亮度成分及至少一色度成分。亮度空間頻率單元於主動視窗內，偵測邊緣或具高亮度空間頻率的區域，且色度空間頻率單元於主動視窗內，偵測顏色跳動。錯色偵測器根據亮度空間頻率單元及色度空間頻率單元的結果，以決定錯色假影的發生。當錯色偵測器決定錯色假影會發生時，則補償器對色度成分進行補償，因而產生補償後色度成分。

    第二圖的方塊圖顯示本發明實施例之可調適抑制錯色假影（false-color artifact）的系統200，第三圖顯示第二圖所示系統200之相應方法300的流程圖。所示系統200及方法300可適用於影像感測器，其像素檢測元件覆蓋有彩色濾波陣列（CFA），例如拜爾彩色濾波陣列。雖然實施例以拜爾彩色濾波陣列作為例示，然而本發明同樣可適用於其他的彩色濾波陣列。所示系統200的方塊及所示方法300的步驟可使用適當的電路或處理器（例如數位信號處理器）來實施。

    在本實施例中，於步驟31，輸出自影像感測器（例如拜爾影像感測器）的原始資料（例如紅色（R）資料、綠色（G）資料及藍色（B）資料）藉由內插器（interpolator）21進行內插運算，對於每ㄧ像素可獲得一組完整紅、綠、藍內插後資料R’/G’/B’。第四圖例示對拜爾影像感測器所輸出之紅、綠、藍影像資料進行內插運算的演算法。

    接著，於步驟32，轉換器22將內插後資料（例如R’/G’/B’）進行轉換至另一色彩空間，轉換後資料可表示為亮度（luma）成分及至少一色度（chroma）成分。例如，在本實施例中，內插後資料被轉換至YCbCr，其中Y代表亮度成分，Cb代表藍色差（blue-difference）色度成分，且Cr代表紅色差（red-difference）色度成分。雖然本實施例以YCbCr作為例示，然而本發明也適用於其他色彩空間，例如YUV，其中Y代表亮度成分，且UV代表二色度成分。

    於步驟33，將主動視窗（或者移動視窗）所涵蓋的亮度成分（例如Y）及色度成分（例如Cb或/且Cr）分別饋至亮度空間頻率（spatial frequency）單元23A及色度空間頻率單元23B，以分別獲得亮度成分之亮度空間頻率值（例如f_Y）及色度成分之至少一色度空間頻率值（例如f_Cb或且f_Cr）。詳而言之，亮度空間頻率單元23A係用以決定主動視窗所涵蓋之轉換後資料的亮度成分之亮度空間頻率值f_Y，例如使用高通濾波器（HPF）；而色度空間頻率單元23B係用以決定主動視窗所涵蓋之轉換後資料的色度成分之至少一色度空間頻率值f_C。第五圖例示涵蓋資料d0~d8的主動（3x3）視窗及相應的高通濾波（HPF）演算法。上述亮度空間頻率單元23A所使用的演算法不一定要相同於色度空間頻率單元23B。

    於步驟34，將亮度成分及色度成分的亮度/色度空間頻率值（f_Y, f_C）饋至錯色偵測器24，用以決定錯色假影的發生。在本實施例中，如果（1）（涵蓋於主動視窗之）亮度成分Y的亮度空間頻率值f_Y大於一預設亮度臨界值，表示具有相當高的亮度頻率，且（2）（涵蓋於主動視窗之）色度成分Cb或/且Cr的色度空間頻率值f_C大於一預設色度臨界值，表示具有相當高的色度頻率，則錯色偵測器24即決定可能發生錯色假影。本實施例之所以使用錯色偵測器24來決定錯色假影是否發生，係因為錯色假影一般係發生於邊緣或高空間頻率區域（亦即，具相當高的亮度空間頻率之區域）且錯色假影具有相當的顏色跳動（fluctuation）（亦即，具相當高的色度空間頻率）。

    如果錯色偵測器24決定錯色假影會發生，則以補償器25對色度成分（Cb或/且Cr）進行補償，用以抑制因內插所產生的錯色效應，因而產生補償後色度成分Cb’/Cr’。藉此，錯色假影所形成的顏色跳動即可大量且有效地被抑制。另一方面，如果錯色偵測器24決定錯色假影不會發生，則讓色度成分（Cb及Cr）通過但不進行補償。換句話說，色度成分（Cb或/且Cr）是否藉由補償器25以進行補償（步驟35）係根據（受控於）錯色偵測器24的偵測結果。

    在一實施例中，補償器25進行補償時的補償量係根據亮度成分之亮度空間頻率值f_Y的大小。在另一實施例中，補償器25進行補償時的補償量係根據（1）亮度成分之亮度空間頻率值f_Y的大小及（2）色度成分Cb或/且Cr之至少一色度空間頻率值f_C的大小。

    以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

200．．．系統

21．．．內插器

22．．．轉換器

23A．．．亮度空間頻率單元

23B．．．色度空間頻率單元

24．．．錯色偵測器

25．．．補償器

300．．．方法

31~35．．．步驟

f_Y．．．亮度空間頻率值

f_C．．．色度空間頻率值

第一A圖顯示典型拜爾彩色濾波陣列（Bayer CFA）的濾波圖樣。
第一B圖顯示將第一A圖之拜爾彩色濾波陣列分解為三個低取樣（under-sample）影像平面。
第二圖的方塊圖顯示本發明實施例之可調適抑制錯色假影的系統。
第三圖顯示第二圖所示系統之相應方法的流程圖。
第四圖例示對拜爾影像感測器所輸出之紅、綠、藍影像資料進行內插運算的演算法。
第五圖例示涵蓋資料d0~d8的主動（3x3）視窗及相應的高通濾波演算法。

200．．．系統

21．．．內插器

22．．．轉換器

23A．．．亮度空間頻率單元

23B．．．色度空間頻率單元

24．．．錯色偵測器

25．．．補償器

f_Y．．．亮度空間頻率值

f_C．．．色度空間頻率值

Claims (16)

1. 一種可調適抑制錯色假影（false-color artifact）的系統，包含：
   　　 一內插器，用以對輸出自一影像感測器的原始影像資料進行內插運算，因而獲得彩色內插後資料；
   　　 一轉換器，將該內插後資料轉換至另一色彩空間以產生轉換後資料，每ㄧ該轉換後資料表示為該轉換後色彩空間的亮度成分及至少一色度成分；
   　　 一亮度空間頻率單元，於一主動視窗內，偵測邊緣或具高亮度空間頻率的區域；
   　　 一色度空間頻率單元，於該主動視窗內，偵測顏色跳動；
   　　 一錯色偵測器，根據該亮度空間頻率單元及該色度空間頻率單元的結果，以決定錯色假影的發生；及
   　　 一補償器，當該錯色偵測器決定錯色假影會發生時，則對該色度成分進行補償，因而產生補償後色度成分。
2. 如申請專利範圍第1項所述之可調適抑制錯色假影的系統，其中該亮度空間頻率單元獲得該主動視窗所涵蓋的亮度成分之一亮度空間頻率值，且該色度空間頻率單元獲得該主動視窗所涵蓋的色度成分之至少一色度空間頻率值。
3. 如申請專利範圍第2項所述之可調適抑制錯色假影的系統，其中該亮度空間頻率單元或該色度空間頻率單元包含一高通濾波器。
4. 如申請專利範圍第2項所述之可調適抑制錯色假影的系統，如果該亮度空間頻率值大於一預設亮度臨界值，且該至少一色度空間頻率值大於一預設色度臨界值，則該錯色偵測器即決定會發生錯色假影。
5. 如申請專利範圍第2項所述之可調適抑制錯色假影的系統，其中該補償器進行補償時的補償量係根據該亮度空間頻率值。
6. 如申請專利範圍第2項所述之可調適抑制錯色假影的系統，其中該補償器進行補償時的補償量係根據該亮度空間頻率值及該至少一色度空間頻率值。
7. 如申請專利範圍第1項所述之可調適抑制錯色假影的系統，其中該影像感測器包含一拜爾影像感測器。
8. 如申請專利範圍第1項所述之可調適抑制錯色假影的系統，其中該內插後資料係由RGB轉換至YCbCr。
9. 一種可調適抑制錯色假影（false-color artifact）的方法，包含：
   　　 對輸出自一影像感測器的原始影像資料進行內插運算，因而獲得彩色內插後資料；
   　　 將該內插後資料轉換至另一色彩空間以產生轉換後資料，每ㄧ該轉換後資料表示為該轉換後色彩空間的亮度成分及至少一色度成分；
   　　 執行一亮度空間頻率步驟，於一主動視窗內，偵測邊緣或具高亮度空間頻率的區域；
   　　 執行一色度空間頻率步驟，於該主動視窗內，偵測顏色跳動；
   　　 根據該亮度空間頻率步驟及該色度空間頻率步驟的結果，以決定錯色假影的發生；及
   　　 當該錯色偵測器決定錯色假影會發生時，則對該色度成分進行補償，因而產生補償後色度成分。
10. 如申請專利範圍第9項所述之可調適抑制錯色假影的方法，其中該亮度空間頻率步驟獲得該主動視窗所涵蓋的亮度成分之一亮度空間頻率值，且該色度空間頻率步驟獲得該主動視窗所涵蓋的色度成分之至少一色度空間頻率值。
11. 如申請專利範圍第10項所述之可調適抑制錯色假影的方法，其中該亮度空間頻率步驟或該色度空間頻率步驟包含一高通濾波。
12. 如申請專利範圍第10項所述之可調適抑制錯色假影的方法，如果該亮度空間頻率值大於一預設亮度臨界值，且該至少一色度空間頻率值大於一預設色度臨界值，即決定會發生錯色假影。
13. 如申請專利範圍第10項所述之可調適抑制錯色假影的方法，其中該補償步驟進行補償時的補償量係根據該亮度空間頻率值。
14. 如申請專利範圍第10項所述之可調適抑制錯色假影的方法，其中該補償步驟進行補償時的補償量係根據該亮度空間頻率值及該至少一色度空間頻率值。
15. 如申請專利範圍第9項所述之可調適抑制錯色假影的方法，其中該影像感測器包含一拜爾影像感測器。
16. 如申請專利範圍第9項所述之可調適抑制錯色假影的方法，其中該內插後資料係由RGB轉換至YCbCr。