TWI491252B - 影像感測器及用以對影像感測器所產生之影像進行向下取樣之方法 - Google Patents

Description

影像感測器及用以對影像感測器所產生之影像進行向下取樣之方 法

本發明係有關於影像感測，特定而言係有關於影像感測器及用以對影像感測器所產生之影像進行向下取樣之方法。

CMOS(互補式金屬氧化物半導體，Complementary Metal-Oxide-Semiconductor)影像感測器一般形成一像素陣列，於其中每個像素包含一個將入射光子轉換成為電流信號之光偵測器。每個像素亦可包含其他已知元件，例如一重置開關、一信號放大器以及輸出電路，輸出電路操作以設定光偵測器之曝光時間並執行一個代表入射於其上之光子之讀取。在入射光對像素之設定的曝光時間而言太高的情況下，光偵測器一般會飽和。

圖1顯示一種習知技術之CMOS影像感測器像素陣列100。像素陣列100被配置成用以執行行並行讀取並具有複數個行，每行具有一供每列用之像素102。在行並行讀取架構中，對每列而言，一個在每行中之像素102係同時被讀取及處理。亦即，第0列之像素102被並行讀取，然後第1列之像素102被並行讀取，接著第2列之像素102被並行讀取，以此類推，直到第M列被讀取為止。在每行內之像素102連接至一行讀取線105，以在一列被觸發以供輸出時，使在那列的每個像素輸出一信號至其相關的行讀取線105，同時在此行中之其他像素之輸出維持無效。所 顯示的陣列100具有一個取樣及保持元件104以供每條行讀取線105用。取樣及保持元件104與行讀取線105共同合作以提供一種像素102之逐列讀取。一第二級放大器106連接至每一個取樣及保持元件104。所有列一般被輸出以形成一影像(亦稱為一畫面)。

CMOS影像感測器常被使用於會遭遇到很亮及很暗條件之應用中。各種技術已被發展以改善在各種光條件下之CMOS影像感測器之響應。舉例而言，Xiangchen Xu等人之美國專利公開號2004/0141075，名稱為「具有雙自動曝光控制之影像感測器(Image sensor Having Dual Automatic Exposure Control)」，係讓渡給歐尼影像(Omnivision)科技公司，且藉此以引用的方式併入本文。Xu教導可在一序列之畫面上調整增益及曝光時間，以補償變化的光條件。曝光時間之調整係藉由分析一個畫面而決定，然後用來對後續畫面進行調整。雖然這種方法控制在一連串的畫面上之曝光時間以調整亮及暗條件，但並未導致關於一特定畫面之影像感測器之動態範圍的增加。如影像感測器的領域所熟知，動態範圍是最大與最小可偵測信號之比率，而CMOS影像感測器之動態範圍常由最大不飽和信號與在暗條件之下之雜訊的標準差之比率所界定。

Xiaodong Luo等人之美國專利公開號2009/0059048，名稱為「在向下取樣模式下具有高動態範圍之影像感測器(Image sensor with High Dynamic range in Down-Sampling Mode)」，亦讓渡給歐尼影像(Omnivision)科技公司，且藉 此以引用的方式併入本文。Luo導入一種系統及方法，用以在一向下取樣操作模式下，藉由改變具有不同曝光之不同的像素列與結合列的曝光時間來達到一高動態範圍，從而同時降低垂直解析度並延伸動態範圍。

在向下取樣下，使用一分級程序以結合來自兩個或以上的像素之資料以增加一訊號雜訊比(SNR，signal to noise ratio)，並使用一高動態範圍(HDR，high dynamic range)組合程序以結合來自兩個或以上的像素之資料以增加動態範圍。在分級程序中，所有列具有相同的曝光時間，而在HDR組合程序中，像素列可具有不同的曝光時間。

在HDR組合程序與分級程序兩者之期間，對向下取樣而言屬於其中一個最常使用的圖案之貝爾圖案(Bayer pattern)都會產生鋸齒邊緣。雖然已發展對於這些鋸齒邊緣之矯正演算法以供與貝爾圖案一起使用，但這些矯正演算法具有某些缺點，例如降低輸出畫面之銳利度與解析度並增加影像感測器之成本。舉例而言，一分級再插補演算法可部分地使由貝爾圖案所導致的鋸齒邊緣平坦化，但犧牲掉合成畫面之銳利度與解析度。因需要更多記憶體，故再插補法亦變得非常昂貴。

本發明提供一修正貝爾圖案以作為習知之貝爾圖案之替代。由配置於習知之貝爾圖案中的像素值之分級或HDR組合所產生的鋸齒效應之向下取樣問題，係藉由使用一修正貝爾圖案而獲得解決。具有基於修正貝爾圖案之像素的 感測器可在不會犧牲銳利度或解析度的情況下輸出具有平坦邊緣之影像。基於修正貝爾圖案之影像感測器具有較少的邊緣鋸齒形且在所生成之影像中具有改良的銳利度及解析度。

在一實施例中，一影像感測器包含一光敏元件陣列以及一濾波器陣列，前述濾波器陣列包含複數個紅色濾波器元件、綠色濾波器元件及藍色濾波器元件。每一濾波器元件與各自的光敏元件光學連通。每一紅色濾波器元件係配置成用以僅傳輸紅色光，每一綠色濾波器元件係配置成用以僅傳輸綠色光，而每一藍色濾波器元件係配置成用以僅傳輸藍色光。濾波器陣列係排列成使得濾波器陣列之連續行具有交替的第一組態與第二組態。第一組態之特徵為連續的藍色濾波器元件、綠色濾波器元件、紅色濾波器元件以及綠色濾波器元件之重複圖案，而第二組態之特徵為連續的綠色濾波器元件、藍色濾波器元件、綠色濾波器元件以及紅色濾波器元件之重複圖案。

在一實施例中，一種用以對影像感測器所產生之影像進行向下取樣之方法包含過濾入射在影像感測器上之光，上述影像感測器包含一光敏元件陣列。光係過濾成使得此光敏元件陣列之連續行交替接收具有第一圖案與第二圖案之光。第一圖案之特徵為一行中之每四個連續的光敏元件分別接收藍色、綠色、紅色以及綠色光。第二圖案之特徵為一行中之每四個連續的光敏元件分別接收綠色、藍色、綠色以及紅色光。此方法更包含對光敏元件之輸出值進行 取樣並結合複數對之光敏元件的輸出值以產生向下取樣影像。

在一實施例中，一種用以對影像感測器所產生之影像進行向下取樣之方法包含過濾入射在影像感測器上之光，上述影像感測器包含一光敏元件陣列。光係過濾成使得此光敏元件陣列之連續行交替接收具有第一圖案與第二圖案之光。第一圖案之特徵為一行中之每四個連續的光敏元件分別接收藍色、綠色、紅色以及綠色光。第二圖案之特徵為一行中之每四個連續的光敏元件分別接收綠色、藍色、綠色以及紅色光。此方法附加包含對光敏元件之輸出值進行取樣，以使連續列之光敏元件交替具有長與短的曝光時間。此方法更包含結合複數對之光敏元件的輸出值以產生向下取樣影像。

在一實施例中，一影像感測器具有一光敏元件陣列與一濾波器陣列，前述濾波器陣列包含複數個第一濾波器元件、第二濾波器元件、第三濾波器元件以及第四濾波器元件，每一濾波器元件與各自的光敏元件光學連通。每一第一濾波器元件係配置成用以傳輸第一色彩之光，每一第二濾波器元件係配置成用以傳輸第二色彩之光，每一第三濾波器元件係配置成用以傳輸第三色彩之光，而每一第四濾波器元件係配置成用以傳輸第四色彩之光。濾波器陣列係係配置成包含濾波器元件之重複圖案，其特徵為：至少兩個連續列之交替第一濾波器元件與第二濾波器元件(於其中至少兩個連續列之共同行亦包含交替第一濾波器元件與 第二濾波器元件)，以及至少兩個額外連續列之交替第三濾波器元件與第四濾波器元件(於其中至少兩個額外連續列之共同行亦包含交替第三濾波器元件與第四濾波器元件)。

在一實施例中，一方法對影像感測器所產生的影像進行向下取樣，上述影像感測器包含一光敏元件陣列。入射在影像感測器上之光係被過濾成使得影像感測器接收具有重複圖案之光，其特徵為：(a)至少兩個連續列中之光敏元件交替接收具有第一色彩與第二色彩之光，且在至少兩個連續列之共同行中的光敏元件交替接收具有第一色彩與第二色彩之光，以及(b)在至少兩個額外連續列中之光敏元件交替接收具有第三與第四色彩之光，且在至少兩個額外連續列之共同行中的光敏元件交替接收具有第三色彩與第四色彩之光。光敏元件之輸出值被進行取樣，且接收具有共同色彩且來自陣列之連續列的光之複數對光敏元件的輸出值係予以結合以產生向下取樣影像。

在下述說明中，感測器陣列、像素陣列以及影像陣列等術語可能交替被使用以意指一光感測器陣列。

圖2為顯示一例示的修正貝爾圖案影像感測器200之方塊圖，其以高動態範圍(HDR)組合與分級兩者支援向下取樣。為清楚說明起見，省略了某些元件。影像感測器200包含一影像陣列203與一濾波器陣列，影像陣列203具有複數個排列成複數列與複數行之光敏元件或感光像素202，而濾波器陣列包含數個濾波器元件。每一濾波器元件 與各自的像素光學對準，且被配置成允許只有某個色彩之光通過。濾波器陣列遵循一修正貝爾圖案，其界定每一像素202之色彩靈敏度。亦即，在影像陣列203內的像素感測器之色彩遵循圖4之例示的修正貝爾圖案感測器400。影像感測器200可實施為一互補式金屬氧化物半導體(CMOS)影像感測器，於其中每一像素202包含一光偵測器以及支援設定曝光時間並讀取像素值之相關電路。

如圖所示，影像陣列203具有一行並行讀取架構，於其中對每列而言，像素202同時被讀取且並行被處理。對每行而言，一讀取線205並聯連接至那行之像素202並連接至一取樣及保持(S/H，sample and hold)元件204。S/H元件204之輸出係連接至一第二級放大器206，其依序連接至一處理器250。處理器250處理來自放大器206之訊號(亦即，影像感測器資料)以產生一影像。處理器250可實施為具有一局部線路記憶體(local line memory)之數位訊號處理器。

列位址解碼器208與行位址解碼器210操作以將來自時序與控制方塊215之訊號解碼成位址像素202。時序與控制方塊215包含第一預充電位址方塊220、第二預充電位址方塊225以及取樣位址方塊230。第一預充電位址方塊220可設定到第一預充電數值，而第二預充電位址方塊225可設定到第二預充電數值。於一操作實例中，時序與控制方塊215之取樣位址230選擇一列，且一預充電係從第一預充電位址方塊或第二預充電位址方塊施加至那列之 像素。

於一實施例中，第一預充電位址方塊220以對每列相同的增益與曝光時間設定支援全解析度模式。第一預充電位址方塊220亦支援向下取樣模式，其降低解析度並容許在分級期間為所有列設定相同的曝光時間以達到高訊號雜訊比(SNR)。第一預充電位址方塊220與第二預充電位址方塊225共同合作以支援向下取樣模式，其降低解析度並容許在HDR組合程序期間為不同列設定不同的曝光時間以達到高動態範圍。額外之預充電位址方塊(未顯示)可包含在時序與控制方塊215之內，用以為額外之向下取樣模式提供額外的預充電數值。

藉由使用來自影像感測器200之資料而由處理器250所產生之影像的解析度，取決於感光像素元件所產生之原始像素資料如何被取樣及處理以產生用於處理影像之像素。「原始像素資料」之術語用以區別由影像感測器200所產生之資料與在原始資料已被取樣且由處理器250實行額外訊號處理之後的像素資料。尤其，從影像感測器200接收之原始像素資料可被進行向下取樣以降低處理影像之有效垂直解析度。各種標準解析度格式係使用於影像感測技藝中。舉例而言，一百三十萬像素超級擴展圖形陣列(SXGA，super extended graphics array)格式具有1280x1024像素之解析度，而視訊圖形陣列(VGA，video graphics array)格式具有640x480像素之解析度。

根據一實施例，在向下取樣模式中，原始像素資料之 垂直解析度是藉由處理器250而降低，用以實現格式轉換並同時達到較高的動態範圍。舉例而言，當將一百三十萬像素格式轉換成VGA時，可選擇亦提供較高的動態範圍之向下取樣模式。於此實例中，向下取樣模式在垂直解析度上實現1：2之縮小，從而，因在垂直解析度上存在有1：2之簡單幾何比率，故向下取樣可結合來自像素202之兩列(例如，第0列與第1列)之資料。尤其，處理器250操作以結合原始像素資料值，用以產生最終影像中之像素值。於其中被結合之兩列中的第一列具有第一預充電數值(例如，如從第一預充電位址方塊220所設定者)，而兩列中的第二列具有第二預充電數值(例如，如從第二預充電位址方塊225所設定者)，與在使用全解析度時之動態範圍比較而言，由兩個不同的曝光時間(其由預充電數值所控制)所產生的數值係由處理器250處理以有效地增加陣列200之動態範圍。在一實例中，偶數列(例如，第0列、第2列、第4列、…第M-1列)具有長曝光時間，而奇數列(例如，第1列、第3列、第5列、…第M列)具有短曝光時間。

如前所述，於一實施例中，處理器250包含局部線路記憶體，用以儲存並同步化具有相同或不同的列曝光時間之線的處理。尤其，局部記憶體可用以儲存於不同時間取樣之多組的長曝光列與短曝光列，用以容許以相同的或不同的曝光時間對準並結合多列。於一實施例中，在向下取樣期間，處理器250讀取記憶體並結合像素之原始像素資料，該些像素係沿著垂直尺寸相鄰，屬於相容類型，且對 分級程序而言具有相同的曝光時間。在另一實施例中，在向下取樣期間，處理器250讀取記憶體並選擇像素之原始像素資料，該些像素係沿著垂直尺寸相鄰，屬於相容類型，且對HDR組合程序而言具有不同的曝光時間。

像素之曝光時間會影響其輸出響應。當以長曝光時間操作一像素時，像素對於所接收的光係非常敏感，但傾向於在低光位準下飽和。相較之下，與利用短曝光時間之操作比較而言，當以短曝光時間操作像素時，像素對於光較不敏感，且於較高的光位準下飽和。因此，與利用相同的曝光時間之列向下取樣比較而言，藉由為了被進行向下取樣的列使用不同之曝光時間，可達到較高的動態範圍。

本發明考慮到各種具有高動態範圍之向下取樣模式的延伸及修改。在第一方案中，可能支援在垂直解析度上具有一1：N縮小(於此N為一整數值)之任何向下取樣模式，例如1：2、1：3、1：4等等。於此方案中，列之曝光時間在一交插順序之列曝光時間中被改變，其容許向下取樣在動態範圍增加之下達成。舉例而言，對於在垂直解析度上以1：3縮小之向下取樣而言，欲被結合之三列具有長曝光時間、中曝光時間以及短曝光時間之順序。

在處理器250內所實施之HDR組合程序中，像素列具有不同的曝光時間。藉由對來自於具有不同曝光時間之列的兩個或以上的像素之資料進行結合，可增加動態範圍。有許多方法可結合來自長曝光像素與短曝光像素之資料。於一方法中，資料選自於長曝光像素或短曝光像素。 尤其，在長曝光像素並未飽和的情況下，來自長曝光時間之像素(L像素)的資料由處理器250所選擇，而在長曝光像素飽和的情況下，來自短曝光時間之像素(S像素)的資料係由處理器250所選擇。在短曝光資料由處理器250所選擇的情況下，S像素資料係予以正規化以匹配長曝光像素之規格。舉例而言，data_N =data_O ^＊ (L_exposuretime/S_exposuretime) (1)

其中，data_N 為決定的正規化像素資料值，data_O 為原始像素資料值，L_exposuretime表示長曝光時間，而S_exposuretime表示所選擇的像素資料值之曝光時間。若所選擇的像素資料值具有短曝光時間，則如方程式(1)所示，data_N 基於長曝光時間加以標準化。若所選擇的像素資料值具有長曝光時間，則data_N 與data_O 相同。

於一實施例中，當不需要HDR組合時，所有列之像素係配置成具有相同的曝光時間。對具有相同曝光時間之兩列進行分級可在向下取樣中達成較高的訊號雜訊比(SNR)。

具有較高動態範圍之向下取樣模式亦與各種色彩濾波器陣列格式相容。於本技藝之色彩感測陣列中，色彩濾波器陣列圖案係應用至一光感測器陣列，使得來自於光感測器之輸出產生一彩色影像。至每一光感測器之輸入光係予以過濾，使得一般在像素陣列中之每一光感測器僅記錄一個色彩，例如紅色，綠色或藍色。於一實施例中，對特定色彩濾波器陣列圖案而言，使用於向下取樣之列曝光時間 係選擇成使得具有相容的濾波器類型之像素在向下取樣期間被結合。

圖3顯示在向下取樣模式下用於貝爾圖案感測器300之習知分級。在向下取樣之後的分級結果310係顯示於圖3之右邊部分。在貝爾圖案感測器300中，在一藍-綠-藍-綠(BGBG)列315的像素之後為一綠-紅-綠-紅(GRGR)列320之像素。貝爾圖案為一種有50%綠色、25%紅色及25%藍色之RGB濾波器圖案。在貝爾圖案感測器中，在一藍-綠列的像素之後為一綠-紅列的像素。其他類似圖案包含由交替列之藍綠-黃及綠-紫紅所組成之CYGM濾波器陣列圖案(藍綠色(cyan)、黃色(yellow)、綠色(green)及紫紅色(magenta))，以及具有交替列之紅-綠及藍-翡翠綠之RGBE濾波器陣列圖案(紅色(red)，綠色(green)，藍色(blue)及翡翠綠色(emerald))。圖案亦可包含無色(clear)的像素，諸如一紅-綠-藍-無(RGBC)及相似地紅-綠-藍-白(RGBW)。如上所述，利用貝爾圖案之習知感測器的問題在於在分級程序期間之顯著的鋸齒結果。

圖4顯示在向下取樣模式下用於修正貝爾圖案感測器400之例示分級。修正貝爾圖案感測器400可表示圖2之影像陣列203；一向下取樣結果410(圖4之右邊部分)顯示在向下取樣之後的分級結果且因分級而具有一習知之貝爾圖案。在修正貝爾圖案感測器400中，在一藍-綠列的像素之後為一綠-藍列的像素，其之後為一紅-綠列之像素，其之後為一綠-紅列之像素。在修正貝爾圖案感測器400之 內，每四個列就重複這些色彩列。這種嶄新的圖案係藉由將列GBGB 420與列RGRG 430插入在列BGBG 415與列GRGR 435(相當於貝爾圖案感測器300之各個列BGBG 315與列GRGR 320)之間而從貝爾圖案感測器300修正。列GBGB 420係藉由將列BGBG 415之元素G與B偏移成一行到右邊或左邊而形成。列RGRG 430係藉由將列GRGR 435之元素G與R偏移成一行到右邊或左邊而形成。

關於修正貝爾圖案感測器400，列具有每四個列就重複之四個彩色圖案：依重複順序為藍-綠-藍-綠(BGBG)415、綠-藍-綠-藍(GBGB)420、紅-綠-紅-綠(RGRG)430，以及綠-紅-綠-紅(GRGR)435等等。於此例子中，所有列具有相同的曝光時間。重複順序係選擇成與修正貝爾圖案相容，其亦在每四個列之後就重複。BGBG列415與GBGB列420之分級在向下取樣之後產生單一藍-綠-藍-綠(BGBG)列425，於其中G對來自於具有相同曝光時間之兩列之兩個綠色像素的資料進行結合，B對來自於具有相同曝光時間之兩列之兩個藍色像素的資料進行結合等等。同樣地，RGRG列430與GRGR列435之分級在向下取樣之後產生單一GRGR列440。

圖5顯示在向下取樣模式下用於習知貝爾濾波器圖案感測器500之HDR組合。來自於貝爾濾波器圖案感測器500之向下取樣係提供向下取樣結果510(在圖5之右邊部分中)。在貝爾濾波器圖案感測器500之內，下標表示像素是否被配置成為長(_L )或短(_S )曝光時間列。具有相同彩色圖 案但不同曝光時間之兩個最靠近的列之每一對，具有在向下取樣期間被結合的像素資料以提供向下取樣結果510。GRGR列525源自於在GRGR列515與GRGR列520的像素值之間的選擇。同樣地，BGBG列540源自於在BGBG列530與BGBG列535之間的像素值選擇。如上所述，利用貝爾圖案的習知感測器之問題在於在HDR組合程序期間之顯著的鋸齒結果。

圖6顯示在向下取樣模式下用於修正貝爾圖案感測器600之HDR組合。修正貝爾濾波器圖案感測器600可表示圖2之影像陣列203的一部分；一向下取樣結果610(顯示於圖6之右邊部分))表示從修正貝爾濾波器圖案感測器600向下取樣之結果，且因HDR組合而具有習知之貝爾圖案。在修正貝爾濾波器圖案感測器600之內，色彩順序類似於圖4之修正貝爾濾波器圖案感測器400。在每個像素之內的下標表示配置成長(_L )或短(_S )之曝光時間。在圖6之實例中，列615具有長曝光時間，列620具有短曝光時間，列630具有長曝光時間，而列635具有短曝光時間。接著重複此順序。此順序係選擇成與修正貝爾圖案相容，其亦在每四個列之後就重複。具有對應的色彩及不同的曝光時間之鄰近列具有在向下取樣期間被結合之像素資料。舉例而言，長曝光時間藍-綠-藍-綠(BGBG)列615與短曝光時間綠-藍-綠-藍(GBGB)列620的資料選擇，在向下取樣之後產生單一藍-綠-藍-綠(BGBG)列625，於其中G已選擇來自於長與短曝光時間像素資料之資料(用於來自具有不同的曝 光時間之列的兩個綠色像素)，R已選擇來自於長與短曝光時間像素資料之資料(用於來自具有不同的曝光時間之列的兩個紅色像素)等等。同樣地，一資料係選自於長曝光時間紅-綠-紅-綠(RGRG)列630與短曝光時間紅-綠-紅-綠(RGRG)列635，用以在向下取樣之後產生單一綠-紅-綠-紅(GRGR)列640。

其他共同的濾波器圖案亦可在每四個列之後就重複，以使圖4與6所顯示之原理可被應用。舉例而言，CYGM圖案可被修改成具有下述彩色圖案，其每四個列就重複：藍綠、黃、藍綠、黃(第1列)；黃、藍綠、黃、藍綠(第2列)；綠、紫紅、綠、紫紅(第3列)；以及紫紅、綠、紫紅、綠(第4列)。舉例而言，RGBE、RGBC以及RGBW圖案亦可以類似的方式被修改。再者，可預先考慮者為在替代實施例中，濾波器圖案被修改成在四個列以上之後就重複，用以達到大於1：2之垂直解析度降低。舉例而言，貝爾圖案可以被修改成具有下述圖案，其每六個列就重複，用以達成1：3之垂直解析度降低：藍、綠、藍、綠(第1列)；綠、藍、綠、藍(第2列)；藍、綠、藍、綠(第3列)；紅、綠、紅、綠(第4列)；綠、紅、綠、紅(第5列)；以及紅、綠、紅、綠(第6列)。

與用於習知之貝爾圖案之分級比較而言，用於修正貝爾圖案(例如，修正貝爾圖案感測器400與600)之分級導致一均勻的取樣並藉此使鋸齒邊緣最小化。HDR組合程序亦受益於修正貝爾圖案，從而產生高品質影像。

在一正常模式(亦即，當未向下取樣時)中，利用修正貝爾圖案(例如，配置有修正貝爾圖案感測器400之感測器200)而從感測器擷取的畫質，可能沒有與以配置有習知貝爾圖案之感測器所擷取之影像一般好。然而，由利用修正貝爾圖案之感測器所擷取之正常模式影像內的人工製品相較於鋸齒問題是問題較小的，且這些人工製品可藉由影像處理演算法而加以簡易修正。

如先前所討論，影像感測器200支援像素資料之全解析度(亦即，逐列)讀取，其中每列具有相同的曝光時間。在一較佳實施例中，影像感測器200具有兩種操作模式：(1)正常全解析度模式，具有受限於每一像素內的光感測器之動態範圍；以及(2)向下取樣模式，其具有下降的垂直解析度。在向下取樣模式中，當不需要HDR時，分級達到高SNR，而當期望HDR時，HDR組合達到較高之動態範圍。相對小量之晶片‘真實狀況(real estate)’對於附加功能性係為必需，以提供第二預充電位址方塊225與列獨立曝光時間給HDR組合。只需要對處理器250進行相對廉價的修改，以利用HDR組合實現向下取樣模式。本質上，"冗餘線"是在向下取樣期間被使用，用以以一種非常低的邊際成本達到高動態範圍感測模式。

習知技術之向下取樣方案一般強調雜訊與增益之減少，且每列之曝光時間表面上維持相同。習知之向下取樣捨棄來自一部分之線之資料或將橫跨多個列之資料平均。因此，這些習知之向下取樣方法並未增加由此產生的影像 之動態範圍。

HDR組合可例如使用取樣及保持暫存器而至少部分在類比範圍內被實現，或可例如使用類比數位轉換器與軟體而在數位範圍中被實現。

在處理器250表示數位訊號處理器的情況下，向下取樣例如分級與HDR組合可實施為儲存於處理器可存取的記憶體中之機器可讀取指令。於此所揭露之實施例之至少一部分可有關於具有電腦可讀取媒體(其上具有電腦碼)之電腦儲存產品，用以施行各種電腦實施之操作。電腦可讀取媒體之實例包含但不限於：磁性媒體例如硬碟、軟碟以及磁帶；光學媒體例如唯讀光碟(CD-ROM，Compact Disc Read Only Memory)、數位影音光碟(DVD，digital video disc)以及全像裝置；磁光媒體；以及硬體裝置，其特別配置成用以儲存並執行程式碼，例如特定用途積體電路("ASIC"，application-specific integrated circuits)、可編程邏輯元件("PLD"，programmable logic devices)以及唯讀記憶體與隨機存取記憶體裝置。電腦碼之實例包含機器碼例如由編譯器所產生者，以及包含較高層次碼之檔案，其係藉由使用解譯器而由一電腦所執行。舉例而言，本發明之一實施例可藉由使用Java、C++，或其他物件導向程式語言與開發工具而實現。本發明之另一實施例可在取代機器可執行的軟體指令，或與機器可執行的軟體指令結合之硬線電路中被實現。

圖7顯示在修正貝爾圖案配置中之像素陣列之一部分 700，其說明用以分級像素資料值之例示連接，以在習知之貝爾圖案中產生輸出資料。部分700可代表圖2之影像陣列203之一部分。部分700包含分為子群710A-D之16個像素202，每一子群具有四個像素。部分700具有四個輸出702、704、706以及708。輸出702結合在子群710A之對角線上之兩個綠色像素的資料。同樣地，輸出704結合子群710D之兩個紅色像素的資料，輸出706結合子群710C之兩個綠色像素的資料，以及輸出708結合子群710B之兩個藍色像素的資料。輸出708、702、706以及704從而以垂直解析度之2：1縮小以及水平解析度之2：1縮小產生排列在習知之貝爾圖案中兩列之兩個像素。

圖8顯示在修正貝爾圖案配置中之像素陣列之一部分800，其說明用以分級像素資料值的另外之例示連接，以在習知之貝爾圖案中產生輸出資料。部分800可代表影像陣列203之一部分。部分800具有二十四個像素，其分為分別具有四個像素之六個子群810A-F。每一子群810A-C具有四個像素，其中BG位在第一列上，而GB位在鄰接第一列之第二列上，而每一子群810D-F具有四個像素，其中RG位在第一列上，而GR位在鄰接第一列之第二列上。如圖8所顯示，來自對角線上之每對像素的輸出係予以結合，然後三對之相同色彩輸出係予以結合以產生綠色輸出802、紅色輸出804、綠色輸出806以及藍色輸出808。輸出808、802、806以及804從而以垂直解析度之2：1縮小以及水平解析度之3：1縮小產生排列在習知之貝爾圖案中 之兩列的兩個像素。

圖9為顯示一例示之旋轉修正貝爾圖案影像感測器900之方塊圖，其以高動態範圍(HDR)組合與分級兩者支援向下取樣。影像感測器900類似於圖2之影像感測器200，其中濾波器陣列之修正貝爾圖案旋轉了90度。為清楚說明起見，某些元件係予以省略。影像感測器900包含影像陣列903與濾波器陣列，影像陣列903具有複數個排列成複數列與複數行之光敏元件或感光像素902，而濾波器陣列包含數個濾波器元件。每一濾波器元件與各自的像素光學對準，且係配置成用以允許僅某個色彩之光通過。濾波器陣列遵循一界定每一像素902之色彩靈敏度的旋轉修正貝爾圖案。亦即，在影像陣列903內之像素感測器的色彩遵循圖10之例示旋轉修正貝爾圖案感測器1000。影像感測器900可實施為一互補式金屬氧化物半導體(CMOS)影像感測器，其中每一像素902包含光偵測器以及支援設定曝光時間及讀取像素值之相關電路。

如圖所示，影像陣列903具有一行並行讀取架構，其中對每列而言，像素902同時被讀取且並行被處理。對每行而言，讀取線905並聯連接至那行之像素902並連接至一取樣及保持(S/H)元件904。S/H元件904之輸出連接至第二級放大器906，其因而連接至處理器950。處理器950處理來自放大器906之訊號(亦即，影像感測器資料)以產生一影像。處理器950可實施為具有一局部線路記憶體之數位訊號處理器。

列位址解碼器908與行位址解碼器910操作以將來自時序與控制方塊915之訊號解碼成位址像素902。時序與控制方塊915包含第一預充電位址方塊920、第二預充電位址方塊925以及取樣位址方塊930。第一預充電位址方塊920可設定到第一預充電數值，而第二預充電位址方塊925可設定到第二預充電數值。在操作之一實例中，時序與控制方塊915之取樣位址930選擇一列，且預充電係從第一預充電位址方塊或第二預充電位址方塊被施加至那列之像素。

於一實施例中，第一預充電位址方塊920以對每列而言相同的增益與曝光時間設定來支援全解析度模式。第一預充電位址方塊920亦支援向下取樣模式，其降低解析度並容許在分級期間為所有列設定相同的曝光時間，以達到高SNR。第一預充電位址方塊920與第二預充電位址方塊925共同合作以支援向下取樣模式，其降低解析度並容許在HDR組合程序期間為不同列設定不同的曝光時間，以達到高動態範圍。額外預充電位址方塊(未顯示)可包含在時序與控制方塊915之內，用以提供額外預充電數值以用於額外之向下取樣模式。

藉由使用來自影像感測器900之資料而由處理器950所產生之影像的解析度，取決於由感光像素元件所產生之原始像素資料如何經過取樣且處理以產生供處理影像用之像素。術語「原始像素資料」係用以區別由影像感測器900所產生之資料與在原始資料被取樣且由處理器950執行額 外訊號處理之後的像素資料。尤其，由影像感測器900接收之原始像素資料可加以向下取樣，以降低處理影像之有效垂直解析度。各種標準解析度格式係使用於影像感測技藝中。舉例而言，一百三十萬像素超級擴展圖形陣列(SXGA)格式具有1280x1024像素之解析度，而視訊圖形陣列(VGA)格式具有640x480像素之解析度。

根據一實施例，在向下取樣模式中，原始像素資料之垂直解析度係藉由處理器950而降低，用以實現格式轉換並同時達到較高的動態範圍。舉例而言，當將一百三十萬像素格式轉換成VGA時，可選擇亦提供較高動態範圍之向下取樣模式。於此實例中，向下取樣模式實現在垂直解析度上1：2之縮小，從而，因在垂直解析度上存在有1：2之簡單幾何比率，故向下取樣可結合來自像素902之兩列(例如，第0列與第1列)的資料。尤其，處理器950操作以結合原始像素資料值，用以產生最終影像中之像素值。於被結合之兩列的第一列具有第一預充電數值(例如，如從第一預充電位址方塊920所設定者)，而兩列之第二列具有第二預充電數值(例如，如從第二預充電位址方塊925所設定者)之情況下，與在使用全解析度時之動態範圍比較而言，由兩個不同曝光時間(其由預充電數值所控制)所產生的數值係由處理器950處理以有效地增加陣列900之動態範圍。在一實例中，偶數列(例如，第0列、第2列、第4列、…第M-1列)具有長曝光時間，而奇數列(例如，第1列、第3列、第5列、…第M列)具有短曝光時間。

如先前所說明，於一實施例中，處理器950包含局部線路記憶體，用以儲存並將具有相同或不同的列曝光時間之線的處理同步化。尤其，局部記憶體可用以儲存於不同時間取樣之多組長曝光列與短曝光列，用以容許以相同或不同的曝光時間對準並結合多列。於一實施例中，在向下取樣期間，處理器950讀取記憶體並結合像素之原始像素資料，這些像素係沿著垂直尺寸相鄰，屬於相容類型，且對分級程序而言具有相同的曝光時間。在另一實施例中，在向下取樣期間，處理器950讀取記憶體並選擇像素之原始像素資料，這些像素係沿著垂直尺寸相鄰，屬於相容類型，且對HDR組合程序而言具有不同的曝光時間。

像素之曝光時間會影響其輸出響應。當以長曝光時間操作像素時，像素對於所接收的光係非常敏感，但傾向於在低光位準下飽和。相較之下，與利用短曝光時間之操作比較而言，當以短曝光時間操作像素時，像素對於光較不敏感，且於較高的光位準下飽和。因此，與利用相同曝光時間對列進行向下取樣相比較而言，藉由為被向下取樣之列使用不同的曝光時間，可達到較高的動態範圍。

本發明考慮到各種具有高動態範圍之向下取樣模式之延伸及修改。在第一方案中，可支援在垂直解析度上具有1：N縮小(於此N為一整數值)之任何向下取樣模式，例如1：2、1：3、1：4等等。於此方案中，列之曝光時間在交插順序之列曝光時間中加以改變，其容許向下取樣在動態範圍增加之下達成。舉例而言，對於在垂直解析度上以1： 3縮小之向下取樣而言，欲結合之三列具有長曝光時間、中曝光時間以及短曝光時間之順序。

在處理器950內實施之HDR組合程序中，像素列具有不同的曝光時間。藉由對來自於具有不同曝光時間之列的兩個或以上之像素的資料進行結合，可增加動態範圍。有許多方法可結合來自長曝光像素與短曝光像素之資料。在一方法中，資料選自於長曝光像素或短曝光像素。尤其，在長曝光像素並未飽和的情況下，來自長曝光時間之像素(L像素)之資料由處理器950所選擇，而在長曝光像素飽和的情況下，來自短曝光時間之像素(S像素)之資料係由處理器950所選擇。在短曝光資料由處理器950所選擇的情況下，S像素資料予以正規化以匹配長曝光像素之規格。舉例而言，data_N =data_O ^＊ (L_exposuretime/S_exposuretime) (2)

其中data_N 為決定的正規化像素資料值，data_O 為原始像素資料值，L_exposuretime表示長曝光時間，而S_exposuretime表示所選擇的像素資料值之曝光時間。若選擇的像素資料值具有短曝光時間，則如方程式(1)所示，dataN基於長曝光時間予以正規化。若所選擇的像素資料值具有長曝光時間，則data_N 與data_O 相同。

於一實施例中，當不需要HDR組合時，所有列之像素係配置成具有相同的曝光時間。對具有相同曝光時間之兩列進行分級可在向下取樣中達成較高的訊號雜訊比(SNR)。

具有較高動態範圍之向下取樣模式亦與各種色彩濾波器陣列格式相容。於本技藝之色彩感測陣列中，色彩濾波器陣列圖案係應用至光感測器陣列，使得來自於光感測器之輸出產生一彩色影像。至每一光感測器之輸入光係加以過濾成使得一般在像素陣列中之每一光感測器僅記錄一個色彩，例如紅色，綠色或藍色。於一實施例中，對特定色彩濾波器陣列圖案而言，使用於向下取樣之列曝光時間係選擇成使得具有相容的濾波器類型之像素在向下取樣期間被結合。

圖10顯示在向下取樣模式下用於旋轉修正貝爾圖案感測器1000之例示分級。旋轉修正貝爾圖案感測器1000可代表圖9之影像陣列903；向下取樣結果1010(圖10之右邊部分)顯示在向下取樣之後的分級結果，且因分級而具有習知之貝爾圖案。在旋轉修正貝爾圖案感測器1000中，在藍-綠-紅-綠列1015的像素之後為綠-藍-綠-紅列1020的像素，其之後為藍-綠-紅-綠列1030的像素，其之後為綠-藍-綠-紅列1035的像素。在旋轉修正貝爾圖案感測器1000之內，色彩列每兩個列就重複而行則係每四個行就重複。上述討論的其他修正貝爾圖案(例如，修正CYGM、RGBE、RGBC以及RGBW)亦可以類似之方式加以旋轉。

關於旋轉修正貝爾圖案感測器1000，這些行具有每四個列就重複之四個彩色圖案：依重複順序為藍-綠-藍-綠(BGBG)1050、綠-藍-綠-藍(GBGB)1052、紅-綠-紅-綠(RGRG)1054以及綠-紅-綠-紅(GRGR)1056等等。於此實例 中，所有列具有相同的曝光時間。重複之順序係選擇成相容於修正貝爾圖案，其亦在每四個列之後就重複。BGBG列1015與GBGB列1020之分級會在向下取樣之後產生單一藍-綠-藍-綠列(BGBG)1025，於其中G對來自於具有相同曝光時間之兩列的兩個綠色像素之資料進行結合，B對來自於具有相同曝光時間之兩列的兩個藍色像素之資料進行結合等等。同樣地，RGRG列1030與GRGR列1035之分級會在向下取樣之後產生單一GRGR列1040。應注意者為，於此實例中，水平與垂直向下取樣兩者皆有此結果。

根據本發明之實施例，修正貝爾濾波器圖案與旋轉修正貝爾濾波器圖案可使用於但不限於高解析度感測器，以及供高清晰度(HD，high definition)視訊用之低雜訊且高靈敏度感測器。較高解析度(高於最終影像解析度所需要者)感測器(例如，圖2之影像感測器200及圖9之影像感測器900)以及上述分級技術之使用可使最後影像中之鋸齒邊緣最小化而改善銳利度與解析度。在影像感測器(例如，圖2之影像感測器200與圖9之影像感測器900)亦可選擇性地實施向下取樣例如分級與HDR組合以產生輸出的情況下，這些感測器為改善畫質亦受益於修正貝爾濾波器圖案與旋轉修正貝爾濾波器圖案之使用。

其他改善超過上述畫質之改善，其可經由具有修正貝爾圖案感測器陣列(例如，影像陣列203)之感測器200以及具有旋轉修正貝爾圖案感測器陣列(例如，圖9之影像陣列903)之影像感測器900之使用而被實現。舉例而言，可降 低系統單晶片(SOC，system on a chip)影像感測器之成本。對輸出原始影像資料之感測器而言，額外的記憶體緩衝器可為貝爾圖案輸出所需要。然而，如此的原始影像感測器亦可與其他處理模組(例如缺陷像素校正(DPC，defect pixel correction)及自動白平衡(AWB，automatic white balance)處理器)共用記憶體。

雖然已說明若干實施例，但本技術領域中具通常知識者將得以領會可在不脫離本發明之精神之下使用各種修改、替代構造及等效設計，譬如，步驟之順序以及像素之配置與數量等之變化。此外，為了避免不必要的模糊化本發明，並未說明一些熟知的製程與元件。因此，上述說明不應被視為限制本發明之範圍。

應注意者為，包含於上述說明或顯示於附圖中之內容應被解釋成用以說明本發明而非用以限制本發明。以下申請專利範圍意圖涵蓋在此所說明之廣義與狹義之特徵，及本方法與系統之範疇的所有陳述，其就文意而言可能落入其中。

100‧‧‧像素陣列

102‧‧‧像素

104‧‧‧取樣及保持元件

105‧‧‧行讀取線

106‧‧‧第二級放大器

200‧‧‧影像感測器

202‧‧‧像素

203‧‧‧影像陣列

204‧‧‧取樣及保持(S/H)元件

205‧‧‧讀取線

206‧‧‧第二級放大器

208‧‧‧列位址解碼器

210‧‧‧行位址解碼器

215‧‧‧時序與控制方塊

220‧‧‧第一預充電位址方塊

225‧‧‧第二預充電位址方塊

230‧‧‧取樣位址

250‧‧‧處理器

300‧‧‧貝爾圖案感測器

310‧‧‧分級結果

315‧‧‧藍-綠-藍-綠列

320‧‧‧綠-紅-綠-紅列

400‧‧‧修正貝爾圖案感測器

410‧‧‧向下取樣結果

415‧‧‧藍-綠-藍-綠(列)

420‧‧‧綠-藍-綠-藍(列)

425‧‧‧藍-綠-藍-綠列

430‧‧‧紅-綠-紅-綠(列)

435、440‧‧‧綠-紅-綠-紅(列)

500‧‧‧貝爾濾波器圖案感測器

510‧‧‧向下取樣結果

515、520、525‧‧‧綠-紅-綠-紅列

530、535、540‧‧‧藍-綠-藍-綠列

600‧‧‧修正貝爾圖案感測器

610‧‧‧向下取樣結果

615、625‧‧‧藍-綠-藍-綠列

620‧‧‧綠-藍-綠-藍列

630、635‧‧‧紅-綠-紅-綠列

640‧‧‧綠-紅-綠-紅列

700‧‧‧部分

702、704、706、708‧‧‧輸出

710A-710D、810A-810F‧‧‧子群

800‧‧‧部分

802、804、806、808‧‧‧輸出

900‧‧‧修正貝爾圖案影像感測器

902‧‧‧像素

903‧‧‧影像陣列

904‧‧‧取樣及保持(S/H)元件

905‧‧‧讀取線

906‧‧‧第二級放大器

908‧‧‧列位址解碼器

910‧‧‧行位址解碼器

915‧‧‧時序與控制方塊

920‧‧‧第一預充電位址方塊

925‧‧‧第二預充電位址方塊

930‧‧‧取樣位址

950‧‧‧處理器

1000‧‧‧修正貝爾圖案感測器

1010‧‧‧向下取樣結果

1015‧‧‧藍-綠-紅-綠列

1020‧‧‧綠-藍-綠-紅列

1025‧‧‧藍-綠-藍-綠列

1030‧‧‧藍-綠-紅-綠列

1035‧‧‧綠-藍-綠-紅列

1040‧‧‧綠-紅-綠-紅列

1050‧‧‧藍-綠-藍-綠(BGBG)

1052‧‧‧綠-藍-綠-藍(GBGB)

1054‧‧‧紅-綠-紅-綠(RGRG)

1056‧‧‧綠-紅-綠-紅(GRGR)

圖1顯示習知之影像感測器的操作。

圖2係根據一實施例顯示例示的修正貝爾圖案取像系統之方塊圖，其以高動態範圍組合與分級兩者支援向下取樣。

圖3顯示在向下取樣模式下用於習知之貝爾圖案的分級。

圖4係根據一實施例顯示在向下取樣模式下用於例示的修正貝爾圖案之分級。

圖5顯示在向下取樣模式下用於習知之貝爾圖案的長曝光與短曝光間之習知資料選擇。

圖6係根據一實施例顯示在向下取樣模式下用於例示之修正貝爾圖案的長曝光與短曝光間之資料選擇。

圖7係根據一實施例顯示配置在修正貝爾圖案中之像素陣列的一部分，其說明用以分級像素資料值以產生輸出資料之例示連接。

圖8係根據一實施例顯示配置在修正貝爾圖案中之像素陣列的一部分，其說明用以分級像素資料值以產生輸出資料之另外的例示連接。

圖9係根據一實施例顯示在向下取樣模式下用於例示的旋轉修正貝爾圖案之分級。

圖10係根據一實施例顯示例示的旋轉修正貝爾圖案影像感測器之方塊圖，此影像感測器以高動態範圍(HDR)組合及分級支援向下取樣。

200‧‧‧影像感測器

202‧‧‧像素

203‧‧‧影像陣列

204‧‧‧取樣及保持(S/H)元件

205‧‧‧讀取線

206‧‧‧第二級放大器

208‧‧‧列位址解碼器

210‧‧‧行位址解碼器

215‧‧‧時序與控制方塊

220‧‧‧第一預充電位址方塊

225‧‧‧第二預充電位址方塊

230‧‧‧取樣位址

250‧‧‧處理器

Claims (3)

1. 一種用以對影像感測器所產生之影像進行向下取樣之方法，該影像感測器包含一光敏元件陣列，該方法包含：過濾入射在該影像感測器上之光，以使該影像感測器接收具有一重複圖案之光，該重複圖案之光的特徵為：在至少兩個連續行中之多個光敏元件交替接收具有一第一色彩與一第二色彩之光，以及在該至少兩個連續行之共同列中之多個光敏元件交替接收具有該第一色彩與該第二色彩之光，以及在至少兩個額外連續行中之多個光敏元件交替接收具有一第三色彩與一第四色彩之光，以及在該至少兩個額外連續行之共同列中之多個光敏元件交替接收具有該第三色彩與該第四色彩之光；取樣該些光敏元件之輸出值；以及將多對的光敏元件之輸出值結合，該多對的光敏元件接收具有共同色彩且來自該光敏元件陣列之連續列的光，以產生一向下取樣影像，其中對每對之光敏元件而言，將多對的光敏元件之輸出值結合之步驟包含：當具有一長曝光時間之該光敏元件尚未飽和時，從具有一長曝光時間之該對光敏元件選擇一數值；當具有一長曝光時間之該光敏元件已飽和時，從具有一短曝光時間之該對光敏元件選擇一數值，該數值係正規化成具有該長曝光時間之該對光敏元件的數值；以及 配置該些光敏元件，使得連續列之光敏元件交替具有長曝光時間與短曝光時間，其中該向下取樣影像具有增加的動態範圍。
2. 如申請專利範圍第1項所述之用以對影像感測器所產生之影像進行向下取樣之方法，其中該第一色彩與該第四色彩為綠色，該第二色彩為藍色，而該第三色彩為紅色。
3. 一種用以對影像感測器所產生之影像進行向下取樣之方法，該影像感測器包含一光敏元件陣列，該方法包含：過濾入射在該影像感測器上之光，以使該光敏元件陣列之連續列交替接收具有一第一圖案與一第二圖案之光，該第一圖案之特徵為在一列中之每四個連續的光敏元件分別接收藍色光、綠色光、紅色光以及綠色光，而該第二圖案之特徵為在一列中之每四個連續的光敏元件分別接收綠色光、藍色光、綠色光以及紅色光；取樣該些光敏元件之輸出值；以及將多對的光敏元件之輸出值結合，該多對的光敏元件接收具有共同色彩且來自該光敏元件陣列之連續列的光，以產生一向下取樣影像，其中對每對之光敏元件而言，將多對的光敏元件之輸出值結合之步驟包含：當具有一長曝光時間之該光敏元件尚未飽和時，從具有一長曝光時間之該對光敏元件選擇一數值； 當具有一長曝光時間之該光敏元件已飽和時，從具有一短曝光時間之該對光敏元件選擇一數值，該數值係正規化成具有該長曝光時間之該對光敏元件的數值；以及配置該些光敏元件，使得連續列之光敏元件交替具有長曝光時間與短曝光時間，其中該向下取樣影像具有增加的動態範圍。