TWI531236B

TWI531236B - 用於減少互補式金屬氧化物半導體影像感測器之類比影像資料中之雜訊之方法及裝置

Info

Publication number: TWI531236B
Application number: TW102124960A
Authority: TW
Inventors: 喬恩斯蘇哈斯維
Original assignee: 豪威科技股份有限公司
Priority date: 2012-08-30
Filing date: 2013-07-11
Publication date: 2016-04-21
Also published as: CN103685993A; TW201410020A; US20140063301A1; US8767098B2; CN103685993B

Description

用於減少互補式金屬氧化物半導體影像感測器之類比影像資料中之雜訊之方法及裝置

本發明一般而言係關於影像感測器，特定而言(但非排他性地)係關於包含於互補式金屬氧化物半導體(CMOS)影像感測器中之讀出電路。

影像感測器已變得無所不在。其廣泛地用於數位相機、蜂巢式電話、安全相機、醫療器件、汽車、便攜式電子器件及其他應用中。用以製造影像感測器及特定而言CMOS影像感測器(「CIS」)之技術已不斷快速地進步。現代影像感測器應用提出對較快處理速度及較佳影像品質之需求，而同時預期影像感測器之實體大小之小型化。

隨著影像感測器之實體大小變得更小，對使用較小MOS電晶體之需要增加。然而，小MOS電晶體在影像感測器中之使用隨之帶來各種雜訊源，諸如白(約翰遜)雜訊、1/f雜訊及隨機電報信號(RTS)雜訊。可使用進階CMOS程序技術且藉助進階電晶體器件(諸如埋入式通道電晶體)來設計及製作習用影像感測器以試圖最小化雜訊，諸如RTS雜訊。然而，通常，甚至在實施此等技術時，諸如RTS雜訊之某一雜訊仍可能保留。

100‧‧‧電流波動

300‧‧‧時序圖

302‧‧‧相關雙重取樣週期/取樣週期

304‧‧‧重設位準取樣時間/重設取樣時間

306‧‧‧信號位準取樣時間

308‧‧‧類比影像資料

310‧‧‧重設上臨限值

311‧‧‧雜訊/雜訊事件

312‧‧‧重設下臨限值

313‧‧‧雜訊/雜訊事件

314‧‧‧信號上臨限值

316‧‧‧信號下臨限值

402‧‧‧樣本

404‧‧‧樣本

405‧‧‧加權因子方案

406‧‧‧樣本

408‧‧‧經加權樣本

410‧‧‧中值

500‧‧‧影像感測器

502‧‧‧行

504‧‧‧位元線

505‧‧‧控制電路

506‧‧‧類比影像資料

508‧‧‧數位影像資料

509‧‧‧經預處理之數位影像資料

510‧‧‧像素陣列

515‧‧‧讀出電路

520‧‧‧數位處理邏輯

525‧‧‧像素單元

530‧‧‧預處理邏輯

604‧‧‧位元線

606‧‧‧經預處理之數位影像資料

630‧‧‧預處理邏輯

635‧‧‧多重取樣邏輯

640‧‧‧相關雙重取樣邏輯

645‧‧‧信號位準儲存器

650‧‧‧重設位準儲存器

655‧‧‧算數運算子

704‧‧‧位元線

705‧‧‧數位資料

706‧‧‧臨限值輸入

708‧‧‧數位經預處理樣本位準

735‧‧‧多重取樣邏輯

740‧‧‧可程式化臨限值

745‧‧‧類比轉數位轉換器

750‧‧‧離群值移除邏輯/離群值限制器邏輯/離群值限制器電路

755‧‧‧預調節邏輯

760‧‧‧中值濾波器邏輯

800‧‧‧程序

900‧‧‧程序

T0‧‧‧時間

T1‧‧‧時間

T2‧‧‧時間

T3‧‧‧時間

T4‧‧‧時間

T5‧‧‧時間

T6‧‧‧時間

T7‧‧‧時間

T8‧‧‧時間

T9‧‧‧時間

T10‧‧‧時間

T11‧‧‧時間

T12‧‧‧時間

參考以下各圖闡述本發明之非限制性及非詳盡實施例，其中貫穿各種視圖相似元件符號指代相似部件，除非另有規定。

圖1圖解說明由於一小MOSFET之一Si/SiO2界面處之一個別缺陷所致之電流波動。

圖2A圖解說明理想化隨機電報信號(RTS)雜訊波形。

圖2B係圖解說明圖2A之理想化RTS波形之正規化頻率之一直方圖。

圖3係圖解說明根據本發明之一實施例之類比影像資料之一相關雙重取樣週期之一時序圖。

圖4圖解說明根據本發明之一實施例之對影像資料之多個樣本之預調節及中值濾波。

圖5係圖解說明根據本發明之一實施例之一影像感測器之一功能方塊圖。

圖6係圖解說明根據本發明之一實施例之預處理邏輯之一功能方塊圖。

圖7係圖解說明根據本發明之一實施例之一多重取樣電路之一功能方塊圖。

圖8係圖解說明根據本發明之一實施例之讀出一影像感測器之類比影像資料之一程序之一流程圖。

圖9係圖解說明根據本發明之一實施例之預處理類比影像資料之一程序之一流程圖。

本文中闡述用於減少一CMOS影像感測器之類比影像資料中之雜訊之一方法及裝置之實施例。在以下說明中，陳述眾多特定細節以提供對該等實施例之一透徹理解。然而，熟習此項技術者將認識到，可在不具有該等特定細節中之一或多者之情況下或藉助其他方法、組件、材料等實踐本文中所闡述之技術。在其他例項中，為避免使特定態樣模糊，未詳細展示或闡述眾所周知之結構、材料或操作。

在本說明書通篇中對「一項實施例」或「一實施例」之提及意指結合該實施例所闡述之一特定特徵、結構或特性包含於本發明之至少一項實施例中。因此，在本說明書通篇中片語「在一項實施例中」或「在一實施例中」在各種地方之出現未必全部指代同一實施例。此外，該等特定特徵、結構或特性可以任何適合方式組合於一或多個實施例中。

圖1圖解說明由於一小MOSFET之Si/SiO2界面處之一缺陷所致之電流波動100。在某些應用中，諸如在CMOS影像感測器中，此等電流波動100可顯現為閃爍之像素，隨著電晶體大小已縮小，此已變得更普遍。對於小器件，載子數目變小，且由Si/SiO2界面處之一界面缺陷導致之陷獲/脫陷事件之影響導致離散汲極電流波動(例如，電流波動100)。在某些實施例中，每一電流波動100可稱作一隨機電報信號(RTS)雜訊事件。如圖1中所展示，RTS事件中之諸多事件在持續時間上係大於二分之一秒且可橫跨一CMOS影像感測器之一整個相關雙重取樣(CDS)週期。然而，圖2A圖解說明使用隱馬爾可夫模型(HMM)軟體產生之理想化RTS雜訊波形，而圖2B係圖解說明圖2A之理想化RTS波形之正規化頻率之一直方圖。如圖2B中所展示，根據本文中所揭示之實施例，RTS事件中之諸多事件係極短的(例如，100ns至1μs)，其可確實比一CMOS影像感測器之CDS週期短且可比CDS週期之重設位準取樣時間及/或信號位準取樣時間短。因此，本發明之實施例可藉由濾出或減少具有小於一CMOS影像感測器之一取樣時間之持續時間之RTS事件來減少該影像感測器中之雜訊。下文將更詳細地論述此等及其他實施例。

圖3係圖解說明根據本發明之一實施例之類比影像資料308之一 CDS週期302之一時序圖300。類比影像資料308可係一CMOS影像感測器(下文所論述)之一行位元線之位元線電壓且可包含表示一重設位準取樣時間304之一第一部分(時間T0至時間T6)及表示一信號位準取樣時間306之一第二部分(時間T6至時間T12)。類比影像資料308之重設位準取樣時間304可表示緊接在用一已知電荷重設之後CMOS影像感測器之一主動像素上之電荷位準。類比影像資料308之信號位準取樣時間306表示在影像獲取之後同一主動像素上之電荷位準。亦即，在信號位準取樣時間306期間之類比影像資料308表示影像感測器之所獲取信號。

然而，雜訊可在重設位準取樣時間304及信號位準取樣時間306兩者期間顯現，從而導致類比影像資料308自其原本將有之值之一變化。舉例而言，在重設位準取樣時間304期間，雜訊311導致類比影像資料308在時間T3及T4之一減小。類似地，雜訊313導致在信號位準取樣時間306期間之時間T8及T9之一減小。如所展示，雜訊事件311之持續時間小於重設取樣時間304，且雜訊事件313之持續時間小於信號位準取樣時間306。因此，本發明之實施例可包含在CDS週期302期間產生類比影像資料308之多個樣本。事實上，如圖3中所展示，可在重設位準取樣時間304及信號位準取樣時間306兩者期間取得多個樣本。舉例而言，圖3圖解說明在重設位準取樣時間304期間分別在時間T1至T5取得之樣本1至5及在信號位準取樣時間306期間分別在時間T7至T11取得之樣本6至10。儘管圖3圖解說明在重設位準取樣時間304期間取得之五個樣本及在信號位準取樣時間期間取得之五個樣本，但可在取樣週期302之每一部分期間取得任何數目個樣本，包含一或多個樣本。此外，在重設位準取樣時間304期間取得之樣本之數目未必係在信號位準取樣時間306期間取得之樣本之相同數目。舉例而言，可在重設位準取樣時間304期間取得1個樣本，而可在信號位準取樣時間 306期間取得2個或2個以上樣本。

在取得取樣週期302之一各別部分之多個樣本之後，然後對離群值進行限制。在一項實施例中，用一上臨限值替換具有超過該上臨限值之一值之樣本，且用一下臨限值替換具有小於該下臨限值之一值之樣本。舉例而言，重設位準樣本1、2及5在重設上臨限值310與重設下臨限值312之間且因此經保持以用於進一步處理，而樣本3及4小於重設下臨限值312且因此被限制(被替換)為重設下臨限值312。類似地，信號位準樣本6、9及10在信號上臨限值314與信號下臨限值316之間且因此經保持以用於進一步處理，而樣本7及8小於信號下臨限值316，此意指其將被限制為信號下臨限值316。

在一CMOS影像感測器之某些實施例中，比起其他樣本傾向於某些樣本(取決於在取樣週期302期間何時獲取一各別樣本)可係有利的。舉例而言，在重設位準取樣時間304即將結束時取得之重設位準樣本5可比在重設位準取樣時間304之開始期間取得之重設位準樣本1及2較佳。類似地，在信號位準取樣時間306之開始期間取得之信號位準樣本6可比在信號位準取樣時間306即將結束時取得之信號位準樣本9及10較佳。因此，本發明之實施例可基於在取樣週期302之一各別部分期間何時獲取剩餘樣本中之每一者而對一樣本應用加權因子。在一項實施例中，對多個樣本中之每一者應用之加權因子判定在進一步預處理之前將存在於多個樣本中之每一各別樣本之出現次數。藉由對在時間上「靠近」而取得之樣本應用較高加權因子，可改良1/f雜訊拒斥。舉例而言，在重設位準取樣時間304即將結束時取得之樣本比其他樣本更靠近於在信號位準取樣時間306之開始期間取得之樣本。因此，可對在重設位準取樣時間304即將結束時取得之重設位準樣本(例如，樣本5)應用一高加權因子，同時亦對在信號位準取樣時間306之開始期間取得之信號位準樣本(例如，樣本6及7)應用一高加權因子。

圖4圖解說明用於對實例性樣本402、404及406應用各種加權因子(即，W1至W3)以產生經加權樣本408之一實例性加權因子方案405。圖4為便於闡釋而包含三個樣本(402、404及406)，但可使用任何數目個樣本，諸如圖3中所展示之五個樣本。在所圖解說明之實例中，樣本402具有一值5，樣本404具有一值10，且樣本406具有一值15。應用其各別加權因子W1(即，×1)、W2(即，×2)及W3(即，×3)，所得之經加權樣本408具有樣本402之一次出現、樣本404之兩次出現及樣本406之三次出現。然後判定經加權樣本之中值410且可將其轉發以用於在影像感測器內進一步處理。中值410僅僅係經加權樣本408之中間值。然而，若存在偶數個經加權樣本(諸如圖4中所展示)，則本發明之實施例可藉由僅僅對兩個中間值求平均來判定中值。舉例而言，圖4之經加權樣本408之兩個中間值係10及15。因此，中值410係此等兩個中間值之平均值(即，12.5)。

圖5係圖解說明根據本發明之一實施例之一影像感測器500之一功能方塊圖。影像感測器500之所圖解說明實例包含控制電路505、像素陣列510、讀出電路515及選用數位處理邏輯520。為簡單地圖解說明，像素陣列510之所圖解說明實施例僅展示兩個行502，每一行具有四個像素單元525。然而，應瞭解，實際影像感測器通常包含自數百個至數千個行，且每一行通常包含自數百個至數千個像素。此外，所圖解說明之像素陣列510係規則形狀的(例如，每一行502具有相同數目個像素)，但在其他實施例中，該陣列可具有不同於所展示之一規則或不規則之配置且可包含比所展示之多或少之像素、列及行。此外，在不同實施例中，像素陣列510可係包含經設計以在光譜之可見部分中擷取影像之紅色、綠色及藍色像素之一彩色影像感測器或可係一黑白影像感測器及/或經設計以在光譜之不可見部分(諸如紅外或紫外)中擷取影像之一影像感測器。在一項實施例中，影像感測器500係一互補式金屬氧化物半導體(CMOS)影像感測器。

在使用期間，在像素單元525已在一重設位準取樣時間期間或在一信號位準取樣時間期間獲取其電荷之後，可經由行讀出線(例如，位元線504)自像素單元中將類比影像資料506(例如，類比信號)或電荷讀出至讀出電路515。經由位元線504將來自每一行502之像素單元525之類比影像資料506一次一個像素地讀出至讀出電路515且然後傳送至預處理邏輯530。

預處理邏輯530預處理類比影像資料506以減少雜訊，諸如上文所論述之RTS雜訊。然後可將經預處理之數位影像資料509轉發至輸出數位影像資料508之選用數位處理邏輯520。

圖6係圖解說明根據本發明之一實施例之預處理邏輯630之一功能方塊圖。預處理邏輯630係圖5之預處理邏輯530之一項可能實施方案。在圖6之所圖解說明實例中，預處理邏輯630包含多重取樣邏輯635及相關雙重取樣(CDS)邏輯640。將CDS邏輯640展示為包含一信號位準儲存器645、一重設位準儲存器650及一算術運算子655。

如圖6中所展示，多重取樣邏輯635經耦合以經由位元線604接收類比影像資料。多重取樣邏輯635經組態以在一取樣時間期間取得該類比影像資料之多個樣本且執行該多個樣本之類比轉數位轉換、離群值限制、預調節及判定中值。將在重設位準取樣時間期間判定之中值輸出至重設位準儲存器650，而將在信號位準取樣時間期間判定之中值輸出至信號位準儲存器645。在一項實施例中，信號位準儲存器645及重設位準儲存器650各自包含用於儲存自多重取樣邏輯635輸出之數位值之記憶體。在另一實施例中，信號位準儲存器645及重設位準儲存器650包含於一共用記憶體(諸如CMOS影像感測器之一共用記憶體)中。算術運算子655然後組合儲存於信號位準儲存器645中之值與儲存於重設位準儲存器650中之值以產生經預處理之數位影像資料 606。在一項實施例中，算術運算子655自信號位準減去重設位準，以使得經預處理之數位影像資料606係兩個值之間的差。

圖7係圖解說明根據本發明之一實施例之一多重取樣邏輯735之一功能方塊圖。多重取樣邏輯735係圖6之多重取樣邏輯635之一項可能實施方案。在圖7之所圖解說明實例中，多重取樣邏輯735包含可程式化臨限值740、類比轉數位轉換器(ADC)745、離群值移除邏輯750、預調節邏輯755及中值濾波器邏輯760。

如圖7中所展示，ADC 745經耦合以經由位元線704接收類比影像資料。ADC 745經組態以在一取樣時間(例如，信號位準取樣時間306)期間多次地取樣並轉換該類比影像資料之值。在一項實施例中，ADC 745由圖5之控制電路505控制。將由ADC 745輸出之數位資料705提供至離群值限制器邏輯750，若值大於一上臨限值則離群值限制器邏輯750將限制該值且若值低於一下臨限值則離群值限制器邏輯750亦限制該值。由離群值限制器電路750使用之上臨限值及下臨限值可係可程式化臨限值740。因此，重設上臨限值、重設下臨限值、信號上臨限值及信號下臨限值中之一或多者可係可程式化的。在一項實施例中，經由臨限值輸入706自控制電路505接收上臨限值及下臨限值。藉由實例之方式，可在製造CMOS影像感測器之一測試與修整階段期間程式化可程式化臨限值740。在另一實例中，可程式化臨限值740在併入至一系統(例如，一相機)中時在部署之後可由一系統設計者程式化。在又一實施例中，可在CMOS影像感測器之操作期間動態地程式化可程式化臨限值740以動態地調整感測器對雜訊之敏感度。

然後將多個樣本轉發至預調節邏輯755，預調節邏輯755基於相對於取樣時間何時取得樣本而對該樣本應用一加權因子。在一項實施例中，對在或接近取樣時間之開始取得之樣本應用比對在或接近取樣時間之結束取得之樣本應用之加權因子大之一加權因子。

然後將經預調節之樣本輸出至中值濾波器邏輯760。在一項實施例中，中值濾波器邏輯760包含用以儲存多個樣本之記憶體且經組態以判定所儲存樣本之中值。中值濾波器邏輯760然後輸出表示中值之一數位經預處理樣本位準708以用於進一步處理。

現在將參考圖6至圖9來闡述具有一多重取樣邏輯635之預處理邏輯630之操作。在圖8中所圖解說明之程序800之程序方塊805中，多重取樣邏輯635開始接收類比影像資料。在程序方塊810中，多重取樣邏輯635預處理在重設位準取樣時間期間接收之類比影像資料。

現在轉至圖9，現在將參考程序900來闡述重設位準之預處理。預處理在程序方塊905中開始。接下來，在程序方塊910中，ADC 745取得類比影像資料之第一樣本。接下來，在決策方塊915中，離群值限制器邏輯750判定樣本是否在重設下臨限值與重設上臨限值之間。若否，則程序900繼續進行至程序方塊920，在程序方塊920中離群值限制器邏輯750用適當臨限值替換該樣本(例如，若樣本小於下臨限值，則用下臨限值，且若樣本超過上臨限值，則用上臨限值)。在決策方塊915中，若樣本確實在重設下臨限值與重設上臨限值之間，則程序900繼續進行至方塊925，在方塊925中預調節邏輯755藉由取決於何時獲取樣本而對該樣本應用一加權因子來預調節該樣本。在一項實施例中，預調節邏輯755可包含一計數器(未展示)，該計數器追蹤當前正經預調節以便應用適當加權因子之樣本。接下來，在程序方塊930中，將經預調節之樣本儲存於記憶體中以供由中值濾波器邏輯760使用。決策方塊935判定是否已針對類比影像資料之重設位準取樣時間完成所有取樣。若否，則程序返回至程序方塊910以開始預處理下一樣本。若取樣完成(即，已產生多個樣本)，則中值濾波器邏輯760判定所儲存樣本之中值並輸出彼值作為經預處理之重設位準。

現在返回至圖8之程序800，然後在程序方塊815中，藉由重設位準儲存器650儲存經預處理之重設位準。接下來，在程序方塊820中，預處理類比影像資料之信號位準。在信號位準取樣時間期間，與上文所論述之重設位準相同地預處理類比影像資料。亦即，程序900亦執行信號位準之預處理，僅此時間使用信號上臨限值及下臨限值來進行離群值限制。

現在繼續進行至程序方塊825，藉由信號位準儲存器645儲存經預處理之信號位準。接下來，在程序方塊830中，算術運算子655自經預處理之信號位準減去經預處理之重設位準以輸出一經預處理之數位影像資料606。然後可將經預處理之數位影像資料606輸出至數位程序邏輯以用於選用之進一步數位處理。

該等程序方塊中之某些或全部程序方塊在每一程序中顯現之次序不應視為限制性。而是，受益於本發明之熟習此項技術者將理解，可以未圖解說明之多種多樣之次序執行該等程序方塊中之某些程序方塊。舉例而言，在程序800中，信號位準820之預處理可在重設位準810之預處理之前執行。此外，在程序900中，樣本925之預調節可在程序方塊915及920之離群值移除之前執行。

上文所闡釋之程序係就電腦軟體及硬體來闡述的。所闡述之技術可構成在一機器(例如，電腦)可讀媒體內體現之機器可執行指令，該等指令在由一機器執行時將致使該機器執行所闡述之操作。另外，該等程序可體現在硬體(諸如一專用積體電路(「ASIC」)或諸如此類等)內。

一機器可存取媒體包含以可由一機器(例如，一電腦、網路器件、個人數位助理、製造工具、具有一組一或多個處理器之任何器件等)存取之一形式提供(即，儲存及/或傳輸)資訊之任何機制。舉例而言，一機器可存取媒體包含可記錄/不可記錄媒體(例如，唯讀記憶體(ROM)、隨機存取記憶體(RAM)、磁盤儲存媒體、光學儲存媒體、快閃記憶體器件等)。

包含發明摘要中所闡述內容之本發明之所圖解說明實施例之以上說明並非意欲係窮盡性或將本發明限制於所揭示之精確形式。雖然出於說明性目的而在本文中闡述本發明之特定實施例及實例，但如熟習此項技術者將認識到，各種修改本發明之範疇內皆係可能的。

可根據以上詳細說明對本發明做出此等修改。以下申請專利範圍中所使用之術語不應理解為將本發明限制於說明書中所揭示之特定實施例。相反，本發明之範疇將完全由以下申請專利範圍來判定，該等申請專利範圍將根據所建立之請求項解釋原則來加以理解。