TWI751124B

TWI751124B - 用於處理由彩色影像擷取矩陣產生的信號的方法以及相應的感測器

Info

Publication number: TWI751124B
Application number: TW105139270A
Authority: TW
Inventors: 布魯諾迪斯派瑞
Original assignee: 法商泰勒岱ｅ２ｖ半導體公司
Priority date: 2015-12-01
Filing date: 2016-11-29
Publication date: 2022-01-01
Also published as: FR3044449B1; EP3384459B1; FR3044449A1; US20180365801A1; EP3384459A1; WO2017093253A1; TW201735645A; US10783608B2

Abstract

本發明係關於拜耳馬賽克影像感測器的顏色內插之處理作業。界定第一基本矩陣過濾器、低通矩陣過濾器及與低通矩陣過濾器互補的高通矩陣過濾器，第一基本矩陣過濾器是雙線性內插過濾器，尺寸為m×m，m是大於或等於3的奇數，低通過濾器的尺寸為n×n，n是大於或等於3的奇數。將第一矩陣過濾器與低通過濾器卷積，造成尺寸為(m+n-1)×(m+n-1)的低頻內插過濾器，以及，將第一矩陣過濾器與高通過濾器卷積，造成尺寸為(m+n-1)×(m+n-1)的高頻內插過濾器。以低頻內插過濾器，使用各顏色的像素，分別過濾導因於像素的數位信號矩陣。使用高頻內插過過器，過濾完整的信號矩陣。對各像素，將低頻過濾作業的結果與高頻過濾作業的結果一起相加，以取得該像素的給定顏色之數值。

Description

用於處理由彩色影像擷取矩陣產生的信號的方法以及相應的感測器

本發明係關於稱為彩色像素之感光像素馬賽克組成的彩色影像感測器，各彩色影像感測器會收集代表與像素相關連的色彩中由此像素所接收的光成分之信號。

像素馬賽克通常包括三互補色(紅、綠、藍)像素，但其也可由洋紅色、青色、及黃色構成。將在顏色為紅(R)、綠(G)及藍(B)的假設之下，說明本發明。馬賽克通常是拜耳(Bayer)馬賽克，其包括的綠像素為藍或紅像素的二倍。實際上，像素是由考慮的顏色之濾光器遮蓋，以僅收集此顏色的光成分。在某些配置中，白像素(未由濾光器遮蓋)及/或「黑」像素(僅讓紅外光通過)會以矩陣分佈，再加上有色像素。

紅像素不會傳遞代表這些像素收到的光的綠及藍成分之信號；取代地，鄰近的綠及藍像素會被用以提供紅像素接收的綠及藍成分的近似。同理適用於藍或綠像素，藉由鄰近像素，能夠評估它們未偵測到的光的成分。

因此，一般的作法是從感測器的所有像素傳遞的信號重建完整的影像，其中，即使像素僅偵測到一顏色，與像素相關連的各影像點仍是由三種程度的紅、綠、及藍光呈現。

由內插函數執行此重建，內插函數可以是簡單的或複雜的：線性內插及雙線性內插是最簡單的函數。在最簡單的線性內插函數中，藉由取得垂直地或水平地最接近第一顏色之二個第二顏色像素傳遞的信號之平均值，將用於第二顏色的數值指派給偵測第一顏色的第一像素。在最簡單的雙線性內插函數中，使用第一像素為中心的九像素區，且視各像素與中心像素的距離而指定該區的各像素之權重係數。來自5×5像素區的內插也是可能的。然後，內插函數是由3×3或5×5係數矩陣表示的過濾函數。

最後，例如立體內插等更複雜的內插函數是可能的，但是，它們要求大量的計算能力及大量的計算記憶體。

大部份簡單的內插函數是低通濾波函數，具有產生莫氏效應的缺點。這些莫氏效應導因於一已定的顏色之像素以小於感測器的像素間的間距之間距散佈。典型地，假使列及行中的像素的間距是P，則綠像素(一般而言，數量是紅像素及藍像素的二倍)的間距在列及行上將是2P，且紅像素或藍像素的間距將是3P。影像點的空間取樣因而是各顏色的子取樣作業，而重建的最後影像是具有間距P的點之影像。此子取樣作業在內插處理作業期間產生光譜混疊且這會在影像含有強度或顏色上急遽的空間變化之處中產生假影(假顏色)。

本發明是根據觀察到一般影像中會在影像中呈現最大的空間變化的通常是亮度而非色度。換言之，在一影像點與鄰近點之間的光量變化通常大於一影像點與鄰近點之間的顏色變化。

假使這真的是事實，則可以考慮在高空間頻率的細節在顏色上具有少變化，而在亮度上具有大變化。影像的亮度的空間頻率之光譜將通常是具有少數低頻成分的光譜，而色度的空間頻譜常見的是具有少數高頻成分的頻譜。

根據本發明，提出建立考慮此特性的內插函數。為達此目的，產生二不同的內插過濾器，其一用於各顏色成分的內插，另一用於像素的內插而與它們的顏色無關，對於各顏色，因第二過濾器之內插結果會加至因第一過濾器之內插結果，對各顏色執行此作業。用於顏色成分的內插之過濾器是其功能大多是低通功能之過濾器。用於像素的內插而與它們的顏色無關之過濾器為功能大多是高通功能之過濾器。

更具體而言，本發明提出彩色影像感測器遞送的影像之處理方法，彩色影像感測器包括以三顏色的規律幾何分佈配置的N個有色像素的馬賽克，其中，各像素與要建立的影像之一點相關連，各像素傳遞數位信號，數位信號的值代表對應於該像素之顏色中影像點的亮度成分，導因於N像素的信號以信號矩陣配置，以及，影像處理作業包括：矩陣的內插信號之計算，允許各影像點被給予分別對應於三顏色的亮度成分的三數值，而對應於該影像點的像素傳遞對應於單一顏色的信號，方法之特徵在於其包括下述步驟：-界定第一基本矩陣過濾器，第一基本矩陣過濾器是雙線性內插過濾器，具有尺寸m×m，m是大於或等於3的奇數；-界定尺寸為n×n的低通矩陣過濾器，n是大於或等於3的奇數；-界定尺寸為n×n的高通矩陣過濾器，與低通過濾器互補；-將第一矩陣過濾器與低通過濾器卷積，造成尺寸為(m+n-1)×(m+n-1)的低頻內插過濾器；-將第一矩陣過濾器與高通過濾器卷積，造成尺寸為(m+n-1)×(m+n-1)的高頻內插過濾器；-以低頻內插過濾器，僅使用第一顏色的像素，過濾數位信號的矩陣，以低頻內插過濾器，僅使用第二顏色的像素，過濾信號的矩陣，以低頻內插過濾器，僅使用第三顏色的像素，過濾信號的矩陣，這三個過濾作業造成給予用於各顏色之影像的各點之各第一中間數值；-以高頻內插過濾器過濾整個信號矩陣，以建立用於影像的各點之第二中間數值； -對各像素，將對應於該像素及該顏色之第一中間數值與對應於該像素的第二數值相加，以取得該像素的給定顏色之數值。

第一基本矩陣過濾器較佳的是以下述矩陣表示的過濾器：

低通矩陣過濾器較佳的是尺寸為3×3的簡單平均過濾器，且以下述矩陣表示：

以及，高通過濾器較佳地以下述矩陣表示：

在一決定的顏色的像素具有的幾何分佈的間距是其它顏色的像素的間距的二倍小之情形中，以低頻內插過濾器，使用此決定的顏色之像素矩陣的過濾包括：除以2以傳遞用於該顏色的第一中間值。這將是用於依拜耳馬賽克組織的過濾器之情形，其具有的綠像素是紅像素及藍像素的二倍。

在根據本發明的方法之較佳實施中：

-界定以下述矩陣表示之尺寸為5×5的低頻內插過濾器：

-界定以下述矩陣表示之尺寸為5×5的高頻內插過濾器：

-以低頻內插過濾器，僅使用第一顏色的像素，過濾數位信號的矩陣，以低頻內插過濾器，僅使用第二顏色的像素，過濾信號的矩陣，以及，以低頻內插過濾器，僅使用第三顏色的像素，過濾信號的矩陣，這三個過濾作業造成給予用於各顏色的影像之各點的第一中間數值；-然後，以高頻內插過濾器過濾整個數位信號矩陣，以建立用於影像的各點之第二中間數值；-以及，對各像素，將對應於該像素及該顏色之第一中間數值與對應於該像素的第二數值相加，以取得該像素的給定顏色之數值。

本發明也關於影像感測器，其包括允許實施方法之數位處理機構。「影像感測器」一詞意指：-組件：包括像素矩陣與在此組件內實施之根據本發明的影像處理作業；-或是，組件集合，其中，有組件包括像素矩陣及某些影像處理作業，以及，其它組件執行根據本發明的處理作業；-或是，組件或組件集合、及處理器(PC，電腦)，處理器會從組件或組件集合接收代表影像的信號以及執行根據本發明的處理作業。

在閱讀參考附圖之下述詳細說明之後，將清楚本發明的其它特徵及優點，其中：-圖1顯示稱為拜耳矩陣之典型的彩色像素矩陣；-圖2顯示低頻內插過濾的步驟；-圖3顯示高頻內插過濾的步驟，以及二內插過濾作業的結果相加之步驟。

圖1顯示包括根據拜耳馬賽克原理配置的彩色像素之彩色影像感測器的像素馬賽克。用於給定像素的顏色以該像素上的字母表示。字母R代表紅色像素，字母G是綠色像素，字母B是藍色像素。給定的顏色之像素會收集像素接收的光中該顏色的成分之信號。在馬賽克中重複的基本圖案中，有二個綠色像素、一個紅色像素、及一個藍色像素。

在先前技術中，內插過濾器典型上用於指派對應於三顏色的三數值給任何顏色的任何像素。過濾器以權重係數矩陣表示。典型地，具有9個係數的3×3雙線性過濾器以下述矩陣表示：

過濾器中的係數位置代表3×3像素區中的像素位置。與像素位置相關連的係數隨著像素的位置愈遠離中心像素而變得愈小。

取任一像素。將3×3像素區中的中心位置指派給它，亦即，圍繞所選取的像素形成該區。此區的9個像素都傳遞其各別特定顏色之信號。

由區中的綠像素傳遞的信號值的總合接著被指派給中心像素作為綠色值Vg，各值被指派矩陣過濾器中對應於區中的綠像素之位置的權重係數。

類似地，由區中的藍像素傳遞的信號值的總合被指派給中心像素作為藍色值Vb，各值被指派矩陣過濾器中對應於區中的藍像素之位置的權重係數。

最後，由區中的紅像素的值的總合接著被指派給中心像素作為紅色值Vr，各值被指派矩陣過濾器中對應於區中的紅像素之位置的權重係數。

因此，任何馬賽克的像素無論其感測的顏色為何均會被給予對應於三顏色之接收的光的三位準。

在根據本發明的方法中，以任何像素為中心之來自像素區的內插、以及來自代表必須指派給區中的各像素之權重係數的係數矩陣之內插也都被執行。但是，本發明的特性在於在二內插過濾器的此情形中選擇內插過濾器的方式、以及結合執行的二過濾作業之結果的方式。

藉由將尺寸為m×m(舉例而言，m=3)的雙線性過濾器及尺寸為n×n(舉例而言，n=3)的低通過濾器卷積，取得第一係數矩陣表示的第一內插過濾器。低通過濾器較佳的是由都等於1/9的係數之矩陣所表示的簡單平均值過濾器。係數1/9導因於有9個像素以及假使需要將其縮減至對應於一像素的歸一值時則信號的總合必須除以9。

藉由將尺寸為m×m的相同雙線性過濾器與具有相同尺寸n×n之與低通過濾器互補的高通過濾器卷積，取得由第二係數矩陣表示的第二內插過濾器。低通及高通過濾器在它們具有相同的截止頻率的情形中是互補的。高通濾波器以係數矩陣表示：

雙線性過濾器較佳的是由下述矩陣表示之最簡單可能的雙線性過濾器：

回顧二矩陣卷積原理。

矩陣m×m由核心矩陣n×n(其中，n是奇數)卷積會造成(m+n-1)×(m+n-1)的矩陣。其係依下述方式建立：對m×m值，在上方補充n-1列的0，在下方補充n-1列的0，在左方補充n-1行的0，在右方補充n-1行的0，而擴充矩陣m×m；接著，對造成之(m+n-1)×(m+n-1)點的矩陣中的各點，在擴充的矩陣中，形成以擴充的矩陣之對應的點為中心之n×n點的區，以及，計算由核心矩陣n×n的對應係數加權之此區的n×n點的值的總合；此總合構成(m+n-1)×(m+n-1)值的矩陣考慮的點之值。

實例：

由0的列及行擴充的矩陣m×m：

卷積結果：5×5矩陣

其中：

A'=由核心矩陣m×m的係數加權之擴充矩陣的左方之第一區m×m(由實線圍繞)的係數的總合；A'=A×v

B'=由核心矩陣m×m的係數加權之第一區的右方之下一區(由虛線圍繞)的係數總合；B'=A x u+B x v C'=A x t+B x u+C x v等等，直到Z'=k * J，係經由M'=A x j+B x k+C x p+D x q+E x r+F x s+G x t+H x u+J x v此為傳統的卷積運算。

根據本發明，如此執行雙線性過濾器及低通過濾器的卷積，造成被稱為低頻內插過濾器的內插過濾器。

類似地，執行雙線性過濾器及與低頻過濾器互補的高通過濾器的卷積，造成被稱為高頻內插過濾器的內插過濾器。

然後，卷積結果如下：

a)低頻內插過濾器：

b)高頻內插過濾器：

假使從3×3雙線性過濾器及3×3低通過濾器開始，則這些是5×5過濾器。對各個分別的顏色，由低頻內插過濾器(圖2)執行馬賽克的所有像素的內插，以將第一紅色數值R₁、第一綠色數值G₁、及第一藍色數值B₁給予各像素而不論其感測的顏色為何。這些數值導因於區的25個像素偵測到的信號(R用於紅色、G用於綠色、B用於藍色)及矩陣的對應係數。因此，一顏色接一顏色地，執行內插。實際上，且這是本發明的優點，由於，在過濾器的各位置中，知道被處理的顏色，此顏色為過濾器以其為中心的像素之顏色，所以，在單通中計算由低頻內插過濾器作的內插。

此外，由高頻內插過濾器執行馬賽克的所有像素的內插(圖3)而不將顏色列入考慮，以將第二數值W給予各像素而不管它們感測的顏色為何。指派給任何像素之此第二數值導因於圍繞考慮的像素形成之5×5區的25個像素偵測到的信號的加權總合。權重是代表高頻內插過濾器之上述矩陣的權重，其中，用於區的一像素的權重係數是矩陣中對應於區中的該像素的位置之權重係數。

然後，將該像素的第二數值加至該像素的第一紅色數值，以將最終的紅色值給予任何像素。類似地，像素的第二數值加至該像素的第一綠色數值，以取得最終的綠色值。再度類似地，像素的第二數值加至該像素的第一藍色數值，以取得最終的藍色值。

應注意，假使綠色像素多於紅色或藍色像素時，例如一般使用拜耳矩陣的情形，則用於綠色之低頻過濾器會被指定1/2之係數，以致於其具有與其它顏色相同的權重。

因此，指派給像素之用於三顏色的最終數值VR、 VG、VB分別如下：VR=R1+W VG=(G1)/2+W VB=B1+W。

Claims

一種彩色影像感測器遞送的影像之處理方法，該彩色影像感測器包括以三顏色的規律幾何分佈配置的N個有色像素的馬賽克，其中，各像素與要建立的影像之一點相關連，各像素傳遞數位信號，該數位信號的值代表對應於該像素之顏色中影像點的亮度成分，導因於該N個像素的信號以矩陣配置，以及，影像處理作業包括：該矩陣的內插信號之計算，允許各影像點被給予分別對應於該三顏色的亮度成分的三數值，而對應於該影像點的像素傳遞對應於單一顏色的信號，該方法之特徵在於包括下述步驟：-界定第一基本矩陣過濾器，該第一基本矩陣過濾器是雙線性內插過濾器，具有尺寸m×m，m是大於或等於3的奇數；-界定尺寸為n×n的低通矩陣過濾器，n是大於或等於3的奇數；-界定與該低通過濾器互補之尺寸為n×n的高通矩陣過濾器；-將該第一矩陣過濾器與該低通過濾器卷積，造成尺寸為(m+n-1)×(m+n-1)的低頻內插過濾器；-將該第一矩陣過濾器與該高通過濾器卷積，造成尺寸為(m+n-1)×(m+n-1)的高頻內插過濾器；-以該低頻內插過濾器，僅使用第一顏色的像素，過濾該數位信號矩陣，以該低頻內插過濾器，僅使用第二顏色的像素，過濾該像素矩陣，以及，以該低頻內插過濾器，僅使用第三顏色的像素，過濾該像素矩陣，這三個過濾作業造成給予用於該些顏色中的各顏色之該影像的各點之第一中間數值；-以該高頻內插過濾器過濾整個該像素矩陣，不考慮該些顏色，以建立用於該影像的各點之第二中間數值；-對各像素，將對應於該像素及該顏色之該第一中間數值與對應於該像素的該第二數值相加，以取得該像素的給定顏色之數值。
如申請專利範圍第1項之方法，其中，該第一基本矩陣過濾器的尺寸為3×3，以及以下述矩陣表示：
如申請專利範圍第1及2項中之一的方法，其中，該低通矩陣過濾器是尺寸為3×3的簡單平均過濾器，且以下述矩陣表示：
以及，該高通過濾器以下述矩陣表示：
如申請專利範圍第1及2項中之一的方法，其中，在一決定的顏色的像素具有的幾何分佈的間距是其它顏色的像素的間距的二倍小之情形中，以該低頻內插過濾器，使用此決定的顏色的像素之該像素矩陣的該過濾接著除以2以傳遞用於該顏色的該第一中間值。
如申請專利範圍第3項的方法，其中，在一決定的顏色的像素具有的幾何分佈的間距是其它顏色的像素的間距的二倍小之情形中，以該低頻內插過濾器，使用此決定的顏色的像素之該像素矩陣的該過濾接著除以2以傳遞用於該顏色的該第一中間值。
一種彩色影像感測器遞送的影像之處理方法，該彩色影像感測器包括以三顏色的規律幾何分佈配置的N個有色像素的馬賽克，其中，各像素與要建立的影像之一點相關連，各像素傳遞數位信號，該數位信號的值代表對應於該像素之顏色中影像點的亮度成分，導因於N個像素的該些數位信號以矩陣配置，以及，影像處理作業包括：內插計算，允許各影像點被給予分別對應於該三顏色的亮度成分的三數值，而對應於此影像點的像素傳遞對應於單一顏色的信號，該方法之特徵在於包括下述步驟：-界定以下述矩陣表示之尺寸為5×5的低頻內插過濾器：
-界定以下述矩陣表示之尺寸為5×5的高頻內插過濾器：
-以該低頻內插過濾器，僅使用第一顏色的像素，過濾該信號矩陣，以該低頻內插過濾器，僅使用第二顏色的像素，過濾該信號矩陣，以及，以該低頻內插過濾器，僅使用第三顏色的像素，過濾該信號矩陣，這三個過濾作業造成給予用於該些顏色中的各顏色的該影像之各點的第一中間數值；-以該高頻內插過濾器過濾整個該信號矩陣，以建立用於該影像的各點之第二中間數值；-對各像素，將對應於該像素及該顏色之該第一中間數值與對應於該像素的該第二數值相加，以取得該像素的給定顏色之數值。
一種彩色影像感測器，包括以三顏色的規律幾何分佈配置的N個有色像素的馬賽克，其中，各像素與要建立的影像之一點相關連，各像素傳遞數位信號，該數位信號的值代表對應於該像素之顏色中影像點的亮度成分，導因於該N個像素的該些數位信號以矩陣配置，以及，影像處理作業包括：內插計算，允許各影像點被給予分別對應於該三顏色的亮度成分的三數值，而對應於該影像點的像素傳遞對應於單一顏色的信號，該感測器之特徵在於包括：-用於過濾信號矩陣之機構，以低頻內插過濾器，僅使用第一顏色的像素，過濾該信號矩陣，以該低頻內插過濾器，僅使用第二顏色的像素，過濾該信號矩陣，以及，以該低頻內插過濾器，僅使用第三顏色的像素，過濾該信號矩陣，這三個過濾作業造成給予用於該些顏色中的各顏色的該影像之各點的第一中間數值；-用於過濾整個該信號矩陣之機構，以該高頻內插過濾器過濾整個該信號矩陣，以建立用於該影像的各點之第二中間數值；-加法機構，用於對各像素取得該像素的給定顏色的數值，該像素的給定顏色的該數值是對應於該像素及該顏色之該第一中間數值與對應於該像素的該第二數值的總合；-尺寸為5×5的該低頻內插過濾器係以下述矩陣表示：
-以及，尺寸為5×5的該高頻內插過濾器以下述矩陣表示：