TWI837660B - 影像感測器 - Google Patents

Abstract

一種影像感測器具有在列方向上和在行方向上佈置的多 個像素。每個像素包括：彩色濾光片，擁有具有低透射率的部分和具有高透射率的部分；以及光電轉換元件，包含接收通過彩色濾光片的具有低透射率的部分透射的光的第一光電轉換單元和接收通過彩色濾光片的具有高透射率的部分透射的光的第二光電轉換單元。多個像素佈置成使得對於一種色彩的像素具有低透射率的部分的位置在多個像素當中相同，且具有低透射率的部分僅在列方向上鄰近於彼此定位在不同色彩的相鄰像素之間。

Description

影像感測器

本發明涉及一種高動態範圍影像感測器，確切地說，一種具有減少的串擾和鋸齒的高動態範圍影像感測器。

在影像感測器中，針對每個像素提供彩色濾光片，且獲取對應色彩的影像信號。作為彩色濾光片陣列，已知存在拜耳(Bayer)濾光片等。

提出一種高動態範圍(high dynamic range；HDR)成像，其中針對每個像素改變曝光週期，改變彩色濾光片的透射率，或改變類比增益和/或數位增益以便獲取對於一個像素具有不同靈敏度的影像信號，且由此改進動態範圍。

當彩色濾光片的透射率改變時，接收具有高透射率的透射光的單元處的光接收量變大，產生由光電轉換引起的大量電荷，且因此，產生歸因於電荷溢出的串擾問題。

本發明的一種影像感測器，具有在列方向上和在行方向 上佈置的多個像素，且產生影像信號，所述影像感測器包括：彩色濾光片，提供為對應於每個像素，允許一種色彩的光穿過，且擁有具有低透射率的部分和具有高透射率的部分；以及光電轉換元件，提供為對應於每個像素，且包含接收通過所述彩色濾光片的具有所述低透射率的所述部分透射的光的第一光電轉換單元和接收通過所述彩色濾光片的具有所述高透射率的所述部分透射的光的第二光電轉換單元；其中所述多個像素佈置成使得對於一種色彩的像素具有所述低透射率的所述部分的位置在所述多個像素當中相同，且具有所述低透射率的所述部分僅在所述列方向上鄰近於彼此定位在不同色彩的相鄰像素之間；且每個像素包括至少2×2子像素。

在本發明的示範實施例中，其中對於所述色彩中的每一個的所述像素具有低透射率的所述部分的所述列方向和所述行方向上的間隔為均勻間隔。

在本發明的示範實施例中，其中所述彩色濾光片包含三種類型，包含R、G以及B，且一個R像素、一個B像素以及兩個G像素設置在鄰近於彼此的四個像素中，且在一個列中，所述B像素和所述G像素交替地佈置，且在下一列中，所述G像素和所述R像素交替地佈置。

在本發明的示範實施例中，其中所述第一光電轉換單元在一個像素中的採樣位置通過插值處理來校正。

在本發明的示範實施例中，其中所述第二光電轉換單元 在一個像素中的採樣位置通過插值處理來校正以匹配所述第一光電轉換單元的所述採樣位置。

在本發明的示範實施例中，其中所述插值處理包含雙三次插值和雙線性插值。

在本發明的示範實施例中，其中具有2×2光電轉換單元的像素的三個第二光電轉換單元以兩個或三個不同曝光條件驅動。

在本發明的示範實施例中，其中以三個或四個不同曝光條件捕獲影像。

在本發明的示範實施例中，其中將色調映射應用於所獲取的多重曝光影像。

在本發明的示範實施例中，其中每個像素包括一個第一光電轉換單元和三個第二光電轉換單元。

在本發明的示範實施例中，其中每個像素包括一個第一光電轉換單元和一個第二光電轉換單元。

在本發明的示範實施例中，其中所述第二光電轉換單元的電荷對電壓轉換增益具有兩個位準，包含高位準和低位準。

在本發明的示範實施例中，其中每個像素包括3×3光電轉換單元，所述第一光電轉換單元放置在所述G像素的右下方，且放置在所述R像素和所述B像素的左下方。

在本發明的示範實施例中，其中每個像素包括3×3光電轉換單元，所述第一光電轉換單元放置在所述G像素的右側中間 處，且放置在所述R像素和所述B像素的左側中間處。

在本發明的示範實施例中，其中每個像素包括3×3光電轉換單元，所述第一光電轉換單元放置在所述G像素的右側中間和右下方，且放置在所述R像素和所述B像素的中間左側和左下方。

10:像素陣列

12:控制電路

14:讀出電路

16:功能邏輯

100:影像感測器

B、G、R:像素

CF:彩色濾光片

LPD:大光電二極體

P:像素

p:子像素

SPD:小光電二極體

參考以下圖式描述本發明的非限制性和非窮盡性的實施例，其中除非另外指定，否則貫穿各視圖中類似的附圖標號指代類似的部分。

圖1為繪示根據本發明的實施例的影像感測器的結構的框圖。

圖2為示意性地繪示像素陣列的一部分的圖。

圖3為繪示像素P和子像素p的圖。

圖4為繪示SPD子像素在R、G以及B的像素中的每一個中的實例放置的圖。

圖5為繪示彩色濾光片CF的實例結構的示意圖。

圖6為繪示其中SPD子像素彼此相鄰放置的實例放置的圖。

圖7為繪示其中SPD子像素以隔離方式放置的實例放置的圖。

圖8為繪示SPD子像素在3×3像素中的實例放置的圖。

對應參考標號貫穿圖式的數個視圖指示對應元件。所屬 領域的技術人員應瞭解，圖中的元件為簡單和清晰起見進行說明且不必按比例繪製。舉例來說，圖中的一些元件的尺寸可能相對於其它元件加以放大以有助於改進對本發明的各種實施例的理解。

在以下描述中，闡述許多特定細節以便提供對本發明的透徹理解。然而，對於所屬領域的技術人員將顯而易見的是，不需要採用特定細節來實踐本發明。在其它情況下，未詳細地描述眾所周知的材料或方法以便避免混淆本發明。

貫穿本說明書提到“一個實施例”或“一實施例”意味著結合所述實施例描述的特定特徵、結構或特性包含在本發明的至少一個實施例中。因此，貫穿本說明書在不同位置處出現短語“在一個實施例中”或“在一實施例中”未必都是參考同一實施例。此外，特定特徵、結構或特性可以任何合適的組合和/或子組合組合在一個或多個實施例中。

圖1為繪示根據本發明的實施例的影像感測器的結構的框圖。此實例配置的影像感測器100包括像素陣列10、讀出電路14以及功能邏輯16。

像素陣列10為二維陣列，其中像素P以列和行佈置。每個像素P包含光電轉換元件，其輸出對應於每個像素的所接收光的量的影像信號，且形成CMOS成像元件或成像感測器，例如 CCD。

每個像素P在光入射側上具有彩色濾光片，且已穿過彩色濾光片的特定色彩的光入射在像素P上。在所示出的實例配置中，使用R、G以及B三種色彩的彩色濾光片，且每個像素獲取對應於R、G以及B色彩中的一個的入射光的影像信號。

控制電路12控制像素陣列10的操作。舉例來說，控制電路12控制每個像素P的曝光週期、每個像素P的影像信號的輸出等。

讀出電路14單獨地讀出每個像素P的影像信號，A/D轉換讀取信號以獲取數位資料，且將所述數位資料供應到功能邏輯16。每個像素P由多個子像素形成，且可單獨地獲取來自這些子像素的信號。

功能邏輯16對來自每個像素P的資料應用例如去馬賽克處理的處理，以獲取用於螢幕顯示的視訊訊號，且輸出所獲取的視訊訊號。視訊訊號可供應到顯示器。由影像感測器100獲取的影像可顯示在顯示器上或經進一步處理。

圖2為示意性地繪示圖1的像素陣列10的一部分的圖。圖2繪示優選實施例。在圖2中，顯示為“R”的像素P為其中提供紅色的彩色濾光片CF的像素P，顯示為“G”的像素P為其中提供綠色的彩色濾光片CF的像素P，且顯示為“B”的像素P為其中提供藍色的彩色濾光片CF的像素P。

如圖3中所繪示，一個像素P被劃分成四個子像素p。光 電二極體設置在四個子像素p中的每一個中作為光電轉換單元，且獲取對應於入射光量的影像信號。像素陣列10的每個像素包括至少2×2子像素。

如圖4中所繪示，一個像素P中的三個子像素形成為第二光電轉換單元(在下文中，也稱為“大光電二極體”(Large Photo-Diode；LPD))，且在這些子像素中執行具有高靈敏度的感測。一個像素P中的一個子像素形成為第一光電轉換單元(在下文中，也稱為“小光電二極體”(Small Photo-Diode；SPD))，且在此子像素中執行具有低靈敏度的感測。

光電轉換元件提供為對應於每個像素，且包含接收通過彩色濾光片的具有低透射率的部分透射的光的第一光電轉換單元和接收通過彩色濾光片的具有高透射率的部分透射的光的第二光電轉換單元。

舉例來說，在圖4中，在紅色的像素P中，四個子像素p當中的左下子像素p為SPD，在綠色的像素P中，四個子像素p當中的右下子像素p為SPD，且在藍色的像素P中，四個子像素p當中的左下子像素p為SPD。

在此實例配置中，如圖5中影線所繪示，彩色濾光片CF的透射率在對應於SPD的區域處設定為相對較低，且在對應於LPD的區域處設定為相對較高。因為這一點，即使在相同曝光週期下，LPD子像素p的輸出較大，且SPD子像素p的輸出較小。

如所描述，改變彩色濾光片CF的透射率以形成SPD子 像素p和LPD子像素p。因此，針對每個子像素等控制曝光週期不是必要的，且不需要過量的切換。因此，可抑制運動偽影和閃爍的發生。

再次參考圖2，在一列(在實例配置中，奇數列1、3、5......)上，藍色像素和綠色像素交替地放置，且在另一列(在實例配置中，偶數列2、4、6......)上，綠色像素和紅色像素交替地放置。提供紅色濾光片的像素稱為R像素，提供綠色濾光片的像素稱為G像素，且提供藍色濾光片的像素稱為B像素。

因為B像素和R像素分別每隔一列放置，且G像素放置於每一列中，所以像素的比率為B像素為25%，R像素為25%，且G像素為50%。

在G像素中，SPD放置在右下方，且在R像素和B像素中，SPD放置在左下方。對於像素陣列中的相同色彩像素，SPD的位置是相同的。因此，在每一列中，相鄰像素的PD彼此相鄰佈置。另外，因為G像素提供有針對每一列移位的在列方向上的位置，所以實現整體棋盤式旗標放置。在列和行方向上按均勻間隔放置G像素。另外，R像素和B像素在列方向上和在行方向上每隔一列和每隔一行定位，且因此也在列和行方向上按均勻間隔放置。

因此，相同色彩的像素的SPD在列和行方向上按均勻間隔放置。換句話說，對於色彩中的每一個的像素具有低透射率的部分在列方向和行方向上的間隔為均勻間隔。

在優選實施例中，多個子像素形成在一個像素中，且一個像素的信號由子像素的信號形成。因此，子像素的採樣位置通過插值計算來理想地校正。也就是說，通過重新採樣，可匹配SPD子像素的採樣位置和LPD子像素的採樣位置，以由此防止HDR組合處理之後影像中的高頻邊緣的位置偏移。舉例來說，相同色彩的周邊像素的資料可用於執行插值計算，以由此校正採樣位置。

一個像素中的SPD子像素的採樣位置可通過插值處理來校正。作為實例，圖2中的SPD的插值位置可設定為2×2子像素的中心以形成網格點形狀，以使得SPD的採樣位置可大致與三個LPD子像素的重心位置匹配。

在優選實施例中，在2×2像素中的SPD子像素的位置在G像素的情況與R像素和B像素的情況之間是不同的。也就是說，在G像素中，SPD為2×2像素的右下方子像素，且在R像素和B像素中，SPD為2×2像素的左下方子像素。因為這一點，一種色彩的2×2像素中三個LPD子像素的重心位置在G像素與R像素和B像素之間是不同的。此差異也可通過應用對包含周邊像素的相同色彩的LPD的資料的插值計算的重新採樣處理來校正以將採樣位置設定在像素的中心處且將採樣位置與SPD的重新採樣位置匹配。因此，LPD的採樣位置通過插值處理來校正以匹配SPD的採樣位置。

此處，可使用已知插值方法，例如雙三次插值(bicubic interpolation)、雙線性插值(bilinear interpolation)等執行二維插值 計算。在優選實施例中，使用相同色彩的LPD的資料和相同色彩的SPD的資料執行插值計算。

如所描述，在優選實施例中，在2×2像素P的四個子像素p中，僅SPD子像素具有較低透射率的彩色濾光片。2×2像素P具有與具有2×2子像素p的像素P相同的含義。在三個其餘LPD子像素中，放置具有高透射率的彩色濾光片。可在兩個或三個不同曝光條件下驅動三個LPD子像素。因此，通過在2×2像素P中包含三個LPD子像素和一個SPD子像素的四個子像素，可在三個或四個不同曝光條件下捕獲影像。

以此方式，可獲取以不同曝光條件捕獲的多重曝光影像。在下游的功能邏輯16中，可將組合和例如色調映射等其它處理應用於所獲取的多重曝光影像，以獲取HDR影像。

在HDR成像的情況下，動態範圍可被加寬，且在沒有阻擋陰影或過曝高亮的情況下，有可能捕獲其中在單一條件下可阻擋暗部或明部以白色飽和(過曝高亮)的場景的影像，且在顯示器上顯示所捕獲影像。

在優選實施例中，對應於LPD子像素的彩色濾光片的透射率高。因為這一點，在LPD子像素處由光電轉換產生的電荷量很大，且從這些子像素溢出的電荷容易流入到相鄰SPD子像素中，這導致串擾發生的傾向。

在許多情況下，相同色彩的像素之間的串擾可通過後續信號處理來校正。然而，在許多情況下，難以校正不同色彩的信 號之間的串擾。這是因為當不同色彩之間發生串擾時，色彩相位改變和白平衡改變，導致校正困難。

在優選實施例中，在列方向上和在行方向上彼此相鄰的像素具有彼此不同的色彩。另外，像素的在列方向上與一個像素的SPD子像素相鄰的子像素始終是SPD子像素。然而，像素的在行方向上與一個像素的SPD子像素相鄰的子像素不是SPD子像素。換句話說，一個像素的SPD子像素僅與在列方向上相鄰的另一像素的SPD子像素相鄰。因此，可抑制一種色彩的SPD子像素與另一色彩的LPD子像素之間的串擾的發生。

作為對上文所描述的串擾的對策，可考慮其中針對2×2像素的每個組以集體方式放置SPD子像素的配置，如圖6中所繪示。通過此放置，一個像素的SPD子像素與列方向和行方向兩者上的另一色彩的像素的SPD子像素相鄰，而不與另一色彩的LPD子像素相鄰。

當採用圖6的結構時，可減小相對於SPD子像素的串擾。然而，在此放置中，G像素的SPD子像素的間隔不均勻。通過此配置，可產生在去馬賽克處理的色彩影像中出現鋸齒的問題。

另一方面，為了實現SPD子像素的位置的均勻間隔，例如，如圖7中所繪示，可採用將像素中的SPD子像素的位置設定在相同位置處的配置。然而，在此放置中，在列方向上和在行方向上與一個像素的SPD子像素相鄰的子像素為其它色彩的LPD子像素。因此，串擾問題變得更顯著。

在優選實施例中，在列方向上與一個像素的SPD子像素相鄰的子像素為SPD子像素。此外，如上文所描述，執行插值計算以校正SPD子像素的採樣位置。

通過此配置(例如，圖2)，與隔離的SPD子像素放置(例如，圖7)相比，可以抑制串擾的影響，且可抑制當SPD放置於2×2佈置(例如，圖6)中的四個像素的相鄰單元中時由G子像素的非均勻採樣引起的鋸齒。因此，歸因於串擾的影像品質降級和歸因於鋸齒的影像品質降級可同時減少。

在實施例中，2×2像素的子像素可放置於一種色彩的彩色濾光片下，且可提供對應於每個子像素的光電二極體。因此，每個像素包括一個第一光電轉換單元和三個第二光電轉換單元。在另一實施例中，為SPD子像素提供一個光電二極體，為三個LPD子像素提供一個光電二極體。在此情況下，每個像素包括一個第一光電轉換單元和一個第二光電轉換單元。兩個光電二極體的入射光量分別地進行光電轉換和檢測。

以此方式，由於曝光條件在SPD子像素與LPD子像素之間彼此不同，因此可加寬動態範圍，且因此可輸入入射光量的不同範圍的影像，所述入射光量可在不引起過曝高亮和阻擋的陰影的情況下進行光電轉換。

確切地說，因為LPD子像素的彩色濾光片具有比SPD子像素的彩色濾光片更高的透射率，所以可從LPD子像素獲取比從SPD子像素獲取具有更高靈敏度(對於相同成像主題累積更大量 的電荷的信號)的影像。此外，對於LPD子像素，可在水準回溯週期期間執行電快門的短週期曝光，使得可獲取比來自SPD子像素的靈敏度低(對於相同成像主題累積較小量的電荷的信號)的影像。

此外，通過例如將LPD子像素的電荷對電壓轉換增益改變為具有包含高位準和低位準的兩個位準，可增加曝光條件的數目。此配置允許使用SPD子像素的信號和LPD子像素的短週期曝光的信號以三個或多於三個曝光條件進行成像。

取決於曝光週期的長度，由LPD子像素的短週期曝光獲取的影像信號的靈敏度可設定為高於或低於由SPD子像素獲取的影像信號的靈敏度。此外，可採用通過調整SPD子像素的曝光週期來獲取具有比由LPD子像素獲取的多個影像信號中的任一個高的靈敏度的影像信號的配置。

如所描述，可通過以多種方式改變子像素中的曝光條件來加寬動態範圍。

圖8繪示當一個像素由3×3子像素形成時SPD子像素的實例放置。在圖8中，用影線顯示的子像素p為SPD子像素。

在左側的實例配置中，將SPD子像素放置在G像素的右下方，且放置在R像素和B像素的左下方。在中間的實例配置中，SPD子像素放置在G像素的右側中間處，且放置在R像素和B像素的左側中間處。在右側的實例配置中，SPD子像素放置在G像素的右側中間處和右下方，且放置在R像素和B像素的左側中間 處和左下方。

通過這些放置，還可實現類似於上文所描述的優點。此外，在這些放置中，可切換上和下位置和左和右位置等。此外，根據本發明的原理，各種修改是可能的。

雖然本文中已經相對於示例性實施例和用於實踐本發明的最佳模式描述了本發明，但是對於所屬領域的技術人員將顯而易見的是在不脫離本發明的精神和範圍的情況下可對本發明作出各種實施例的許多修改、改進和子組合、調適以及變化。

在所附權利要求書中使用的術語不應解釋為將本發明限制於說明書和權利要求書中所公開的特定實施例。實際上，範圍將完全由所附權利要求書確定，所附權利要求書應根據已確立的權利要求解釋原則進行解釋。本說明書和圖因此應被視為說明性的而非限制性的。

B、G、R:像素

CF:彩色濾光片

LPD:大光電二極體

P:像素

p:子像素

SPD:小光電二極體

Claims (15)

1. 一種影像感測器，具有在列方向上和在行方向上佈置的多個像素，且產生影像信號，所述影像感測器包括：彩色濾光片，提供為對應於每個像素，允許一種色彩的光穿過，且擁有具有低透射率的部分和具有高透射率的部分；以及光電轉換元件，提供為對應於每個像素，且包含接收通過所述彩色濾光片的具有所述低透射率的所述部分透射的光的第一光電轉換單元和接收通過所述彩色濾光片的具有所述高透射率的所述部分透射的光的第二光電轉換單元；其中所述多個像素佈置成使得對於一種色彩的像素具有所述低透射率的所述部分的位置在所述多個像素當中相同，且具有所述低透射率的所述部分僅在所述列方向上鄰近於彼此定位在不同色彩的相鄰像素之間；且每個像素包括至少2×2子像素。
2. 如請求項1所述的影像感測器，其中對於所述色彩中的每一個的所述像素具有低透射率的所述部分的所述列方向和所述行方向上的間隔為均勻間隔。
3. 如請求項1所述的影像感測器，其中所述彩色濾光片包含三種類型，包含R、G以及B，且一個R像素、一個B像素以及兩個G像素設置在鄰近於彼此的四個像素中，且在一個列中，所述B像素和所述G像素交替地佈置，且在下一列中，所述G像素和所述R像素交替地佈置。
4. 如請求項1所述的影像感測器，其中所述第一光電轉換單元在一個像素中的採樣位置通過插值處理來校正。
5. 如請求項4所述的影像感測器，其中所述第二光電轉換單元在一個像素中的採樣位置通過插值處理來校正以匹配所述第一光電轉換單元的所述採樣位置。
6. 如請求項4所述的影像感測器，其中所述插值處理包含雙三次插值和雙線性插值。
7. 如請求項1所述的影像感測器，其中具有2×2光電轉換單元的像素的三個第二光電轉換單元以兩個或三個不同曝光條件驅動。
8. 如請求項7所述的影像感測器，其中以三個或四個不同曝光條件捕獲影像。
9. 如請求項8所述的影像感測器，其中將色調映射應用於所獲取的多重曝光影像。
10. 如請求項1所述的影像感測器，其中每個像素包括一個第一光電轉換單元和三個第二光電轉換單元。
11. 如請求項1所述的影像感測器，其中每個像素包括一個第一光電轉換單元和一個第二光電轉換單元。
12. 如請求項1所述的影像感測器，其中所述第二光電轉換單元的電荷對電壓轉換增益具有兩個位準，包含高位準和低位準。
13. 如請求項3所述的影像感測器，其中每個像素包括3×3光電轉換單元，所述第一光電轉換單元放置在所述G像素的右下方，且放置在所述R像素和所述B像素的左下方。
14. 如請求項3所述的影像感測器，其中每個像素包括3×3光電轉換單元，所述第一光電轉換單元放置在所述G像素的右側中間處，且放置在所述R像素和所述B像素的左側中間處。
15. 如請求項3所述的影像感測器，其中每個像素包括3×3光電轉換單元，所述第一光電轉換單元放置在所述G像素的右側中間和右下方，且放置在所述R像素和所述B像素的中間左側和左下方。