TWI237500B - Image sensor having dual automatic exposure control - Google Patents

Description

1237500_ 五、發明說明（1) 發明所屬之技術領域： 本發明係關於一種CMOS影像感測器，尤其是關於一種 擁有兩組獨立曝光控制器之影像感測器。 先前技術： 積體電路之科技至今已徹底改革了各種領域，包含電 腦、控制系統、電信以及影像。例如，在影像領域中， CMOS影像感測器之製造成本已證實低於CCD影像感測器。 再者對於某些應用層面，CMOS裝置亦呈現較高之效能。> C0MS裝置中之像素元件可製造得更小因而提供高於CCD影 像感測器之解析度。此外，必要之訊號處理邏輯操作可被 與影像電路一併整合，讓單一集成晶片可形成一完全獨立 運作之影像裝置。CMOS影像感測器現可由數家製造商提供 ，包含本發明之申請人歐尼影像科技有限公司 (OmniVision Technologies, Inc.) 〇 CMOS影像感測器所形成之影像其最主要之建構模組在 於像素。像素之個數、大小以及間距決定影像感測器所形 成影像之解析度。CMOS影像感測器之像素係一半導體裝置 ，其將入射光子轉換為電流訊號，而每一像素產生之訊號 通常都極為渺小。

第6頁 1237500 五、發明說明（2) 一個CMOS影像感測器必須可以控制之重要參數為每一 像素曝光於入射光線之時間。相似於相片底片曝光於光線 之時間，每一像素之曝光時間必須調整以補償入射光線狀 況之變差，譬如室内或室外光線之不同。曝光時間過長將 導致影像過亮或刷白，相反地曝光時間過短將導致影像過 暗且不清楚。 一般而言，曝光時間係被一執行自動曝光控制 (Automatic exposure cpntrol; AEC)規貝U 系統之電路 所控制。美國第5,734,42 6號專利描述一先前技術之控制 曝光時間之方法。既然必須勝任許多應用層面，必然存在 同時有陰暗與光亮#位之影像應用，在此種情形中，AEC 電路將易被光亮與陰暗部位 έ士入 ^ j 1之、、，口 a化淆，因而致使成像困 發明内容： 為解決此困難， ，其中之像素被分_ 控制電路乃互相獨立 t發明之目的乃提供一種影像感測器 、:、暗认素與亮像素兩種，其自動曝光 運作，以達成互補之功效。

本發明之另一目的，在 光時間長短之方法，此方；提供一種控制影像感測器曝 來之訊號以決定並控制立久f刀別分析暗像素與亮像素而 二制其各自之曝光時間。

第7頁 1237500 五、發明說明（3) 實施方法： 在如下之敘述中，將提供數個特定之細節，例如各式 各樣系統元件之識別名稱，以使徹底了解本發明之實施例 。、然而热知本發明技術者將可理解，本發明可在沒有一個 或更多特定細節或以其他方》、元件、材料等等之情形下 被施行L於其他例子中，熟知之結構、材料或運作不會被 呈現或。羊述以避免於各式各樣本發明之實施例中模糊焦 參，f個說明書中「一個實施例（〇ne emb〇dimen^ 」、一實施例（an embodiment)」係表示與此實施 例連結，述之特定外型、結構或特徵乃包含在至少一個本 發：,實轭例+。因此’在整個說明書中數個出現「於一 個實％ 2中」《「於一實施例中」並不全部指同一個實施 7。f ，此特定外型、結構或特徵可以適當之方式組合 在一個或以上之實施例中。 陣 素 素 參:圖，CMOS影像感測器1〇1包含一像素1〇3之矩

列。在水平或X方向之傻^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ 他奴接#私 〈^京個數以及在垂直或Y方向之 ，甘/ 〇1之解析度。每一垂直行中的搞 1 〇 3將其矾號傳輸至電荷放大器。 並且 像素103可被歸類成兩類塑 壳」像素1 0 3 b

$ 8頁 五、發明說明（4) 像：之‘么下文中將可見到，亮像素103b與暗 個ίγ : ί 別被決定與控制。值得注意的是在- 。二粑例中，壳像素1〇3b與暗像素l〇3d於結構上並無差異 二，之理由僅為了滿足自動曝光控制AECH，在其/、 不^施例中，亮像素103b與暗像素103d其結構上亦有可能 ^ ，而s每一壳像素1 0 3 b均與暗像素1 0 3 d連結，此可 ==2數列像?103成對排、列成列對（^^叩11〇1〇9並設 理站^ ,列為冗像素1 〇 3b且下方之列為暗像素1 〇 3d，可以 二=相反之設定亦可被接受。於此情形下，上方列的 母—梵像素1 03b可與下方列的暗像素相連結。 - 此僅為亮與暗像素間連結的一個範例，亦可能有其它 杆盍^連、°，例如建構行對（c 0 1 u m n p a i r)並且設定一 隼>1二像素行及第二行為暗像素行。數種其他合乎邏輯的 ;固：待i亦可採用。再I，即使在-個實施例中，任何-2 :、1 0 3b及其連結之暗像素i 〇3d在物理上極為靠近， 但这並不是本發明要求的内容。 氺柵杧“像素1〇3貢料之搜取（retrieval)乃依循熟知的 田（raster scanning)技術，尤其是像素列1〇3係 乂二至右依序掃描，而下一列接著亦由此方法依序由上 在 列一列被掃描。在每一次完成整個陣列（〇 1掃描之 1237500 五、發明說明（5) 尾聲“ 2 ::時間之垂直空白階段產生直到光柵掃描模式 重複。此種知描方式乃依循Ντ_描流程，然而在复他^ 應用裡，不同之讀出協定亦可被採用。傳統設計下的控 電路乃以此方法被運用以依序讀取像素i 〇 3。 、 —& ^ ^Ϊ素均被掃描，像素傳來之訊號便被提供至該 =由雷=妨士器105。因此電荷放大器105隨後接收訊號。 :=二器105而來之連續訊號將被轉傳至第二階段 可將δίΐ號放^大使能進一步被處理。在么彳 實施例：，行之放大器或第二階段放大器可以被式省 热 仃之放大器或第二階段放大器之取得可選擇性的視需 要增加或^少。像素1〇3之讀出、放大器1〇5與1〇7、的以視及需 下述之计异與處理程序均可能藉由處理器111執行。 動控制与作成及，影像感測器其一重要之功能即為能夠自 償二六、I1 '則ί之增益（ga i n)以及其曝光時間，以補 像素ΐ斤私山、光亮狀況。以往均趨向乃藉由簡單地監視由 “斤輸出之訊號平均值來補償光亮狀況之變差。 調整^光=^月，冗像素1〇3b使用異於暗像素103d之方法 (}丨、、B •。大部分的影像感測器均為俗稱之逐行 一列影傻1 曝光裝置。在這幾種影像感測器中，每 之時機始進行曝光循(亦被稱為整合循環） 勺不相同。例如如圖一所示，影像感測器i 0丨的第

1237500 五、發明說明（6) 一列對於入射光開始進行感光（通常接在一重設之動作後 )，短時間後影像感測器1 0 1的第二列亦在一重設動作後 對於入射光進行感光。此程序持續進行直到所有之列均被 入射光感光。值得注意的是第一列之感光時間將持續一段 時間，且通常在接續列開始進行感光後仍未完成。 之感六 光始十 感開續 列列連 數十始 蓋二啟 涵或於 會六同 常十等 通有間 間能時 時可光。 光内曝間 感間之時 之時列之 需光一需 所感何所 列之任作 一列，動 ，一說光 上如話感 際例句列 實，換十 始。二 開光或 在一特定之數字例子中' 假設影像陣列擁有六百四十 行與四百八十列（VGA格式），於每秒三十個畫面下，必 須在大約每零點零三三秒内擷取一個晝面。並且，影像陣 列的每一列必須在大約每六十八微秒便開始曝光動作（零 點零三三秒/四百八十列）。然而，六十八微秒僅勉強得 以捕捉足夠入射光之感光時間。實際上，通常需要一毫秒 之曝光時間以產生可用之輸出訊號。因此，從開始進行曝 光到完成曝光的時間内，十六或更多影像陣列1 0 1之列已 開始其曝光程序。 如上所述，曝光時間量之量取並非以計時器完成，而 為計算已開始進行曝光列之數目之計算器。「曝光列之數 目」一詞在此被用以描述曝光時間，以列之數目計算。如

第11頁 1237500

五、發明說明（7) 此一來假使修改曝光時間，曝光列之數目亦必須被修改。 饭使曝光列之數目名義上對於一般光強度而被設定為十六 $ ’並且假使影像感測器1 〇丨接著被移至相對較亮之環/、 ^ ’曝光列之數目必須減少以縮短曝光時間。然而，曝光 列，數目減少僅可以「完整列」為之，例如曝光列之^目 不能由十六列降為十五點三四列，僅可為十五列。

再者，存在有各式各樣能用以決定是否調整曝光時間 或增益之數種方法或演算法。例如，D 〇 n 及申請本發明 f申請人所擁有的美國第5, 734, 426號專利中呈現一種決 疋曝光或增益調整之方法。在另一例中，我們的申請中專 利美國第1 0 / 0 0 5, 776號專利申請案/西元兩千零一年十一 月七號知：出’標題為r Method of Fast Automatic

Exposure or Gain Control in a MOS Image Sensor」，

在此被參照與其結合且歸屬於本發明之申請人，揭露另一 種技術。在許多情形下，各式各樣之方法均可能用以決定 何時调整曝光時間或增益。一般而言，這些方法均試圖維 持在一相對窄域内，像素輸出訊號之平均量值，例如介於 與之間。此窄域亦被稱為一「穩定域」，於其中並不需 要進一步調整曝光時間或增益。 得问圖二’關於亮像素103b之AEC方法將被說明，首 先在方格2 0 1内，影像被影像感測器1 0 1擷取，影像一詞在 此^的是連續影像中的至少一個畫面。並且在方格2 0 3中

第12頁 1237500 五、發明說明' ' _ — ------ 處理器π 1分析每一亮像素103b所輸出之訊號。 “亮像$ 103b中有多少像素「過亮」將被計算出來，此 可藉由將每一個別像素之訊號等級與預設之門檻比較來達 成、。如下文中之詳細說明，本發明中將使用數種門檻方法 為，，混淆，在方格2 0 3中所指之預設門檻即為⑽以門 播二「亮像素過亮（bright pixel t〇〇 bright)門檀」 =縮寫，。此bptb門檻在一個實施例中乃被設定接近像 =和水準。藉由計算超過βΡΤΒ門檻之亮像素1031)之數目， 二、=佔百分比值亦可獲得。此百分比值即為超過⑽以門檻 '儿像素1 〇 3 b在亮像素1 〇 3 b總數中所佔之比例。 ， 如方格2 0 5中所示，假使亮像素超過門檻的百分比高 ^ “ ί比門檻B1，於方格2 0 7中亮像素l〇3b之曝光時間亦 反=^紐。曝光時間減少之量可視影像感測器1 0 1之需求 二日，間而變’因此亮像素丨〇3b曝光時間實際調整之量於 明中並非最為緊要。例如，曝光時間減少之量可以為 固曝光列之數目或數個曝光列之數目。

…、、而’假使亮像素1〇3b中超過BpTB門檻之百分比並不 ^ ^ =分比門檻B卜將接著鑑定亮像素1 0 3b中有多少為 夸Ί」「、。此鐘定乃完成於方格2 0 9中。鐘定有多少亮像 咬—、過暗」乃藉由將每一像素輸出之訊號與門檻值比 又"凡成’與上所討論之内容相似，門檻值意指BPTD門檻

第13頁 1237500 五、發明說明

(與「 一般來 無訊號 ，假使 總數之 亮像素 像感測 時間實 時間增 目〇 bright pixel too dark」亮像素過暗相對應 說，在一個實施例中此BPTD值通常被設為相^接近 之水準（zero signal level)。接著在方格2ΐι中 党像素103b中低於BPTDH框之個數其佔亮相素i〇3b 百分比超過預設之百分比門檻時，在方袼213中， 1 〇 3 b之曝光時間將增加。曝光時間增加之量可視影 器ιοί之需求反應時間而變’因此亮像素103b曝光~ 際調整之量於本發明中並非最為緊要。例如，曝光 加之量可以為一個曝光列之數目或數個曝光列之數

於決定方格211中，假使亮像素l〇3b中過暗之百分比 並不超過百分比門檻，接著在方格21 5中，亮像素l〇3b之 曝光時間實質上將不改變。 圖二呈現對於暗像素103 d相似之方法，首先在方格 30 1中，影像被影像感測器1 〇 1擷取。影像一詞於此處乃用 =指連續影像中至少一個畫面。接著在方格3〇3中，處理 器1 1 1將分析由每一暗像素！ 0 3 d輸出之訊號。 _ 暗像素1 〇 3 d中被視為「過暗」之個數將被計算，此可 $由將每一暗像素1 〇 3d個別之訊號等級與預設之門檻比較 "達成。為避免混淆，方格3〇3中之預設門檻將均為DpTD ’也’此乃為「暗像素過暗（dark pixel too dark)門

第14頁 五、發明說明（10) 檻」之縮寫。在一個實施例中，此DPTD門檻被設定為接近 像素之無甙號等級。藉著鑑定有多少暗像素i 0 3 d低於此 DPTD門檻，可獲得一百分比值。此百分比值即為超過卟仰 門檻之暗像素i 03d對於暗像素丨〇3d總數所佔之比例。 如方，3 0 5所示，假使此低於DPTD門檻之暗像素所佔 之百分比高過百分比門檻！)2，在方格307中暗像素i〇3d之 曝光日：間便接著增加。冑光時間之增加量可視影像感測器 之需求反應時間而改變。因此暗像素丨〇3(1曝光時間實際調 整之量於本發明中並非最為緊要。<列如，曝光時間增加之 里可以為一個曝光列之數目或數個曝光列之數目。 ， 一==,假使暗像素1〇3d中低於DpTD門檻之百分比並不 南過百分比門檻D 2，接英膝廉—士々 「過亮」。此鑑定於"103d被視為 1 0 3d輸出之訊號與門杇值疋成，藉由將母一暗像素 檻值即為DPTB門檻（二丄而達成丨。與上述相似，此門 素過亮相對應）。 Plxel t00 brightj暗像 一般而言，在一個實施 對靠近訊號飽和水準。接著 1 03d中高過DPTB門檻對於暗 過預設之百分比門襤B2，在 時間將減少。曝光時間減少 例中，此DPTBH檻被設定為相 在方格3 0 1中，假使暗像素 像素1 0 3 d總數所佔之百分比超 方格313中暗像素103d之曝光 之量可視影像感測器1 〇 1之需 1237500 五、發明說明（π) 求反應時間而變，因此亮像素丨〇 3 b曝光 :本發明中並非最為緊要。例如，曝= ;際调整之量 丨為-個曝光列之數目或數個曝光列之=間減少之量可以 假使在決定方敉w 7 ^ f th if X 'A v ° ’暗像素l〇3d「過亮百八 比並不超過百分比門檻β2，二二」之百刀 I之曝光時間實質上並未改變。 方七315中暗像素103d 就如大部分之A F「士、、1 . C僅在由影像感測器1 〇1所、操取之控連？二二理程序之影 丨感測器101其像素103曝光^ I式。ί =另：面向為基於像素103輸出訊號之影像林 lmd，素103被分類為亮像素l〇3b與暗=格 |像素因影像重建之目的形成單4:;=、兩連結之 I話說= =之有效解析度將至多減少-半，換勺 別像素3 ，之解析度，將需要至多兩倍數量i 以=感光度下此並非為重要析顧度慮 圭直解析度並不敏感。 人頦肉眼 第16頁 1237500 五、發明說明（12) ( 再者’一般而言為達到高度動態範圍，在一實施例中 百分比D2將小於百分比D1且百分比B1將小於百分比B2。然 而，可以理解的是對於各式各樣之應用而言，各式各樣= 門檻間的關係可以有多種變化。然而在上所提及之參數下 ，此可讓焭像素1 〇 3 b補捉光亮物體同時暗像素丨〇 3 d捕捉 |暗物體。 κ 此外，本發明之AEC方法亦可被與自動增益控制（AGc f同使用。相同地，可有兩分別之自動增益控制電路或 演算法被使用在亮像素1 〇 3 b與暗像素1 〇 3 d上。一般而古， 假f AEC電路並無法提供夠大之動態範圍，AGC可擴張此動 態範圍。 在一實 |成之單一像 之訊號相加 I像素元件， ，其可為訊 |訊號對於最 |訊號可以各 由前所 I並非固定。 |像素103d中 2例中’亮像素103b及其相連之暗像素1〇3_ ^元件被組合成乃藉由將亮像素與暗像素所得 來達成。亮像素與暗像素之組合可視為一複合 i : d1" Ϊ各式各樣多種之方式為之。例如 式各樣之比例混合以成像素元件之最終訊號。 ί二ΐ 圍與影像感測器101之光靈敏度 ϋΐ—Λ均勾，同時用在亮像素與暗 肩异法將提供相似之曝光時間，此意指 第17頁 1237500 五、發明說明（13) 被捕捉之影像將不失其對比度。然而假使影像中光亮部位 與陰暗部位之差異過大，暗像素之AEC演算法提供之曝光 時間將明顯大過亮像素AEC所提供之曝光時間。於此情形 下，影像感測器1 0 1之動態範圍可製造得相當大，再者可 以理解的是實際之計算與鑑定可在處理器1 1 1内執行與控 雖然本發明在文中以有限之實施例被描繪與闡述，本 發明仍可在不偏離發明必要特性之精神下以許多之方式具 體實施，所以被描繪與闡述之實施例在所有方面下將被視 為說明之用而非限制。因此本發明之範圍乃以隨附之專利 申請範圍指明，而非上述之說明，並且所有與專利申請範 圍之意義與範圍等價之改變將被包含在其中。

第18頁 1237500 圖式簡單說明 圖示簡單說明： 在圖示中，於本發明無限制且無窮盡之實施例各式各 樣之圖示裡，同樣的參照碼自始至終均指同樣的部份，其 中·· 圖一為擁有亮像素與暗像素之CMOS影像感測器之概要 圖示 圖二至三為本發明之方法的流程圖 代表圖及代表圖之元件符號： 其元件符號分別為 本發明之代表圖為圖一， 101 影像感測器 103b 亮像素 103d 暗像素 105 電荷放大器 107 第二階段放大器 109 列對 111 處理器

第19頁

Claims (1)

1237500 六、申請專利範圍 專利申請範圍： 1·一種形成在積體電路上之影像感測器（image sens〇r )’其組成元件包含： 一像素陣列（a r r ay 〇 f p i X e 1 s)，該像素陣列包含 複數個免像素（br i ght p i xe 1 s)以及複數個暗像素 (dark pixels); 暗曝光控制電路（dark exposure control c i r c u i =) ’用以控制該複、數個暗像素之曝光時間；以及 • y。曝光控制電路（bright exposure control c 1 rcu 1 t) ’用以控制該複數個亮像素之曝光時間。 ϋ ί !!中請範圍第1項之影像感測11 ，其中所述之像素 陣列構成一組二維陣列6 · 干〜I two-dimensional array) ° 3 ·如專利申請範圍 個允像素中之每一 第1項之影像感測器，其中所述之複數 個均有一聯合暗像素。 之影像感測器，其中所述之聯合 4·如專利申請範圍第3項 暗像素與一免像素相鄰。 :· ϋ Γ:祀ΐ第4項之影像感測器，其中由該聯合暗 音元2 Τ目郴之冗像素而來之訊號被結合以形成一複合像 素兀件（composite pixel elemnet)訊號。

1237500 六、申請專利範圍 6. 如專利申請範圍第1項之影像感測器，假使比暗像素過 暗（dark pixel too dark; DPTD)門檻更暗之該暗像素 數目超過預設之門檻D2，其中所述之暗曝光控制電路將可 增長該暗像素之曝光時間。 7. 如專利申請範圍第6項之影像感測器，其中所述之預設 門檻D2係為該暗像素總數之百分比門檻。 、 8. 如專利申請範圍第6項之影像感測器，假使比暗像素過 亮（dark pixel too bright; DPTB)門檻更亮之該暗像> 素數目超過預設之門檻B 2，其中所述之暗曝光控制電路將 更可減短該暗像素之曝光時間。 9. 如專利申請範圍第8項之影像感測器，其中所述之預設 門檻B 2係為該暗像素總數之百分比門檻。 1 0 .如專利申請範圍第1項之影像感測器，假使比亮 像素過亮（bright pixel too bright; BPTB)門檻更亮 之該亮像素數目超過預設之門檻B1，其中所述之亮曝光控 制電路將可減短該亮像素之曝光時間。 1 1 .如專利申請範圍第1 0項之影像感測器，其中所述之預 設門檻B 1係為該亮像素總數之百分比門檻。

第21頁 1237500 六、申請專利範圍 1 2 .如專利申請範圍第1 0項之影像感測器，假使比亮像素 過暗（bright pixel too dark; BPTD)門檻更暗之該亮 像素數目超過預設之門檻D1，其中所述之亮曝光控制電路 將更可增長該亮像素之曝光時間。 1 3 .如專利申請範圍第1 2項之影像感測器，其中所述之預 設門檻D 1係為該亮像素總數之百分比門檻。 、 1 4.如專利申請範圍第8項之影像感測器，假使比亮像素過 亮（bright pixel too bright; BPTB)門檻更亮之該亮’ 像素數目超過預設之門檻B 1，其中所述之亮曝光控制電路 將可減短該亮像素之曝光時間。 1 5 .如專利申請範圍第1 4項之影像感測器，其中所述之預 設門檻B 1係為該亮像素總數之百分比門檻。 1 6 .如葶利申請範圍第8項之影像感測器，假使比亮像素過 暗（bright pixel too dark; BPTD)門檻更暗之該亮像 素數目超過預設之門檻D 1，其中所述之亮曝光控制電路將 更可增長該亮像素之曝光時間。 1 7.如專利申請範圍第1 6項之影像感測器，其中所述之預 設門檻D 1係為該亮像素總數之百分比門檻。

第22頁 1237500 六、申請專利範圍 1 8. —種控制影像感測器曝光時間之方法，該影像感測器 擁有一像素陣列，該像素陣列包含複數個亮像素與複數個 暗像素，其步驟包含： 分析該暗像素之輸出並且根據該分析控制該複數個暗 像素之曝光時間；以及 分析該亮像素之輸出並且根據該分析控制該複數個亮 像素之曝光時間。 、 1 9 .如專利申請範圍第1 8項之方法，其步驟更包含將每一 個該複數個亮像素與該複數個暗像素中之一個聯合暗像素 相聯合。 2 0 .如專利申請範圍第1 9項之方法，其中該聯合暗像素與 一個亮像素相鄰。 2 1.如專利申請範圍第2 0項之方法，其中由該聯合暗像素 輿該相鄰之亮像素而來之訊號被結合以形成一複合像素元 件(composite pixel e 1 emne t)訊號 ° 2 2 .如專利申請範圍第1 8項之方法，假使比暗像素過暗 (dark pixel too dark; DPT D)門植更暗之該暗像素數 目超過預設之門檻D2，其中所述之暗像素曝光時間將增 長。

第23頁 1237500 六、申請專利範圍 2 3 .如專利申請範圍第2 2項之方法，其中所述之預設門檻 D 2係為該暗像素總數之百分比門檻。 2 4 .如專利申請範圍第2 2項之方法，假使比暗像素過亮 (dark pixel too bright; DPTB)門檻更亮之該暗像素 數目超過預設之門檻B2，其中所述之暗像素曝光時間將減 短。 、 2 5 .如專利申請範圍第1 8項之方法，假使比亮像素過亮 (bright pixel too bright; BPTB) Η 檻更亮之該亮像^ 素數目超過預設之門檻Β 1，其中所述之亮像素曝光時間將 減短。 2 6 .如專利申請範圍第2 5項之方法，其中所述之預設門檻 Β 1係為該亮像素總數之百分比門檻。 2 7.如專利申請範圍第2 5項之方法，假使比亮像素過暗 (bright pixel too dark; BPTD)門檻更暗之該亮像素 數目超過預設之門檻D 1，其中所述之亮像素曝光時間將增 長0

第24頁