TW201119372A - Processor for image sensor with multiple data readout scheme and imaging system - Google Patents

Description

201119372 六、發明說明： 【發明所屬之技術領域】 本發明係與影像感測器有關，尤指可提供具有較佳動態範園之 影像系統的方法以及其相關裝置’其中這些影像系統係具有内建有 類比數位轉換器之處理器。 【先前技術】 數位相機逐步取代了傳統的底片相機。一般而言，數位相機内 具有至少一影像感測器以將入射（incident)光轉換成電荷，其中影 像感測器係由以偵測器（detector)組成的陣列所構成，而在陣列中 的各個偵測器係依據入射光的強度來各自產生一電子訊號。 在數位相機的技術領域中，互補金氧半導體（c〇_ementary metal-oxide-semiconductor ’ CMOS)影像感測器為一種被廣泛使用 的感測器。對於一互補金氧半導體影像感測器而言，經由光偵測器 (photodetector)得到的訊號會以行讀出線（c〇lumnreadHne)的方 式，每次讀出一列，而在每一資料讀出流程當中，像素與像素之間 並不會有電荷遞移的情況發生。由於互補金氧半導體影像感測器係 相容於一般的互補金氧半導體製程，這使得在設計上可於配置有感 測器陣列的同-基底（substrate)上加設額外的訊號處理電路。 201119372

=來說，傳統的互補金氧半導體影像勤彳器可具有一主動像 ^^Uct1Ve-p1Xel sensor, , H :叫者不同入射光強度來產生不同強度之輪出訊號的元件。影 像感勤中的母個像素係用以對訊號進行_、儲存以及取樣。 然而’傳統的影像感測器存在一些令人話病的缺陷，比方說， 對傳統的互補金氧半導體影像感測器而言，其動態範圍並不佳；而 ^胃的動態範圍意指-影像感測器對於一單一影像中所能捕捉到之 取大光強度與雜訊基雜Qisefl__範圍。_細可以下列之 等式表示之：

DR

HL TE 0) 在前述等式⑴中，HL表示最大的未飽和光通量（opticalflux)， 而LL則絲最_可爾知級量（亦即雜訊基準）。 請參閱第1圖，第i圖所示為習知影像感測器之一像素陣列中 五個不同的像素P1_P5其分別於不同光線強度下之轉換曲線的示意 圖々第1圖所7F，像素陣列以一圖框積分時間(frameintegrati〇ntime) ’。之一全積分時間（^integration time)來感測一影像，其中^表 不一像素n’而[表示像素n所感剩的光線強度。而像素PrP5所 刀別對應到的光線強度IrIs彼此並不相同，且可以下列算式⑺來加 以表示； (2) 201119372 3 > /2 > a >^4 >/ 積刀時間係絲影像> 電荷的時間長度。如第！圖所示爱、鬼集光致(Ph〇t〇-generated) tlr?5 其餘的输姻將輸出相_=—非飽和的輸以I之外， P叱所輸出的電墨強度可表示如^的飽和輸出值_，而此時像素 Κ,,η = y〇[ Κ,,η ⑽=匕"4 = ρς,,Ά, (3)(4) 由前述說明付知，在這樣 值皆為無實質意義的飽和輸纽。為 2素^所讀出的 感測器的像素讀出運作為非毀壞性===寺當影像 用一多重如運作賴制來增進_影像__^運作時，可採 ^ ……T，曰J 以及8時進行讀出運作，以藉由此 f應的物。._。此外，若前述多_運=^=! ^電壓於-較長的積分時間下仍處於非飽和狀態，則此時訊號料 付到-更佳的訊雜比（signal_t〇 n〇ise她，舰）。’ & β & Γ圖Γ她觸之單—讀峨，像叫於時間 前述範例之下可 如第1圖所示，五個像素Ρι·ρ5的讀$電壓值於 6 201119372 列表如下： 積分時間~ 像素6 讀出電壓C 積分時間i 像素巧 讀出電壓G 積分時間1 像素6 讀出電壓G ^〇_ 積分時間i 像素6 讀出電壓G 積分時間^ 像素6 讀出電壓匕》 因此像素的 由於像素之完整讀出賴係與入射光成雜關係， 最終輸出電壓將可表示為：

V〇l 2匕 4^3 8^ 8厂加 在別述之多重讀出運作 倍之多，也就是 ，，所對應的飽和度可被提升到 將可提# ^ 基準不變的情況下，相對應的 开為八倍之多。換言之 勒態fe園 圖框積分時間的 _ 重5買出運作的最小積分時門也 則表示動態範園可因此而增進了 m倍。為 201119372 π同時參照第！圖來看第2圖，第2圖所示為習知技術為了增 動態範圍而具有多重讀出機制之像素的運作示賴。如圖所示， —’、先的運作機制有—倾命的缺陷，也献說，在這樣的機制之下， 母個具有動態範圍強化功能的像素都需要一個相對應的記憶體，而 且這樣的影像感測器更需具有優異的能力來判別每個動態範圍強化 ^象素的每個輸出電壓值是否已達飽和，如此一來，這些具有多重 讀出機制以強化_麵的影像感·不僅雜且所費不貲。 而另一種實現影像感測器的方法為在像素階段（pixdlevel)即# 賴號進行數位化之運作。請參閱第3圖，第3圖所示為習知技術 之像素陣列及其内之像素結構的方塊示賴。社多數的應用而 像素301的使用貫在有限，這是因為僅有一部份的動態範圍可 破使用。如第3圖之附圖(A)所示，像素陣列3〇〇包含有複數個像素 3〇1。請參考第3圖之附圖(B)，像素301包含有一偵測裝置3〇2 (其 匕含有光感測器以及一緩衝器等等）、一類比數位轉換器303以及 一處理裝置304’而處理裝置304内可包含有一處理電路（ρΓ__鲁 logic)以及一記憶體等等。同樣地，前述之影像感測器暨像素亦非 常複雜而且昂貴。尤有甚者，由於像素301的結構非常複雜這使 得像素尺寸亦隨之擴大而將導致固定圖樣雜訊（flxed_pattem⑽丨祀， FPN)將更為嚴重’而前述之固定圖樣雜訊係指與像素陣列中的（像 素）實際位置相關的雜訊。 因此’亟需提供一種新的影像感測器及其相關方法以於增進動 8 201119372 • __啊顧及紐的電路娜度減賴成本。 【發明内容】 因此本發明之一設計目的即在於考量整體電路複雜度以及生產 成本的前提之下提供具有較佳_範圍之裝置 。本發明係提供一裝 置其藉由於-曝光運作τ進行多重讀出運作以有效提升影像感測器 ,動態關’財本發明的讀a處理電路聽含有-類比數位轉換 器。此外’本發明亦揭露了可使用部分的位元數來進行部分數位化 的裝置以減低所需的資料處理量而因此更提升了讀出速率，減少所 品的功率雜’並同喊少了所需使用的記憶體面積。 根據本發明之一實施例，其係揭露一種具有多重讀出運作功能 的處理益。該處理器係包含有一類比數位轉換器，用以將由該影像 感測器輸出之-類比資料轉換成一數位資料，其容許於一曝光運作 # 贿e)中執行複數個次圖框讀出（漆frameread〇u〇以增進 該影像感湘之-動態範圍；其中該類比數位轉換器對該類比；料 進行部分數位化（partiallydigitizing)運作以產生該類比資料。 根據本發明之另-實施例，其係揭露一種影像系統。本發明之 影像系統純含有-影像_||以及至少—行處理器。影像感 係用以感測一光線以產生一類比資料。該至少一 、n 、^ 仃7处理器（column processor)’其耗接至該影像感測器，該行處理器具有一多重資料讀 201119372

執行複數触圖(sub-frame_Gut)叫彡像感測器之 -動態範圍；其巾鋪錄_難對軸哺料妨部分數位化

1 ’其中該行處理器包含有：一 用以將由該影像感測器輸出之 牛於一曝光運作（exposure)中 藉由本發明所提供之實施例（其包含有本發明之發明内容所揭 露的-些電路與其内部電路元件的電路圖），先前技術所遭遇的問題# 可順利解決或避免且可獲得技術上的或好處。 【實施方式】 在本專利說明書及後續的申請專利範圍當中使用了某些詞彙來 指稱特定的元件。所屬領域中具有通常知識者應可理解，硬體製造 商可旎會用不同的名詞來稱呼同一個元件。本說明書及後續的申請 專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在 功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當 中所提及的「包含」係為-開放式的用語，故應解釋成「包含但不 限定於」。以外，「耦接」一詞在此係包含任何直接及間接的電氣連 接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表 s亥第-裝置可直接電氣連接於該第二震置，或透過其他裝置或連接 手段間接地電氣連接至該第二裝置。 10 201119372 為使讀者對本發明之實施例具有更具體而全面的瞭解，在 的說明之中’將對一數位相機系統的一般架構暨運作稍做說明。而 本發明較佳實施例之特定_暨運作將會參考數位相鱗 架構來加以詳述。 λ 請參閱第第4®，第4圖所示為根據本發明之—實施例之一數 位相機系統400的方塊示意圖。在本實施例中，數位相機系統（影 •像系，）400包含有（但不限定於）：一影像擷取單元4〇2、一影^ 處理單元以及-壓縮單元406,這裡的影像擷取單元4〇2包含有7至少 一影像感測器403以接收入射光。影像摘取單元内的影像感^ 器403擷取出複數個分別對應於每個影像的初步像素感測值（膽、 pixeWalues)，而這些類比形式的初步像素感測值係表示為 DATA—A ’稱後這些類比像素感測值便經由位於影像處理單元4〇5 内的類比數位轉換H彻而轉成相對應的數位資料data—D。本實 #施例中的影像處理單元4〇5係包含有一類比數位轉換器彻以及一 決定電路407。影像處理單元4〇5係依據所接收之類比資料（初步像 減測值）DATA—A而動態地執行次取樣(sub_sampling)運作及/或部 分數位化（partialdigitalizati〇n)運作，以產生相對應的數位資料 DATA D。 接下來，触㈣DATA—D在紐化之後會送錄像處理單元 勸内的其他電路進行處理，並在之後傳送至壓縮單元概以進行其 201119372 他的資料處理流程。 比方說’影像處理單元4〇5會決定對應到各個次讀出運作的數 位資料DATA—D是否飽和，並使用決定電路4〇7來在多重讀出運作 中的多個讀出時間中選擇一恰當的讀出時間來得到輸出資料。在一 特定實施例中，壓縮單元406可使用一處理器或以特定的應用導向 積體電路（application-specific integrated circuit，ASIC)來加以實施， 以壓縮由影像處理單元405所輸出的數位資料DATA一D。由壓縮單 元406所輸出的壓縮後資料DATA_C稍後將傳送至一處理系統(未顯φ 不)以供檢視及/或進行其他的處料作^於壓縮單元4G6之結構及 其運作細節實為熟悉本項技藝之人士所熟知，故在此便省略而不資 述。 然而，則述5兑明僅為對於本發明所對應的數位影像系統提供一 全面的概略性瞭解之用’如熟悉本項技藝之人士所知，亦可在數位 相機系統内另设置記憶體以供影像資料的儲存之用。此外，在本發 明之另-實施射’亦可將第4财雜位相齡統整合在一單一 晶片或-嵌入式微處理器之中。前述這些相關的設計變化均隸屬於 本發明的保護範疇之中。 月參閱第5圖帛5圖所示為根據本發明之一實施例之具有複 行處理器(column pn)Cess()r)之一數位相機系統5⑻的方塊示冑 。數位相機祕（影㈣統）包含有（但不限定於）：一像素 12 201119372 陣列 510、複數個多工器（MUX) 505J、505_2、505_3 以及 505_4、 複數個行處理器5〇2j、5〇2_2、5〇2_3以及5〇2_4，其中每個行 處理器内分別具有至少一類比數位轉換器以及一決定電路；此外， 數位相機系統（影像系統）500更具有一像素記憶體501。請注意到， 在圖示中僅繪出四個行處理器以及四個多工器以作範例說明之用， 並不為本發明的限制條件之一，也就是說，影像系統500之行處理 器以及多工器之數目可隨設計需求來加以選擇。而在本實施例中， 擎像素s己憶體501 (如一記憶庫（memory bank))係設置於像素陣列 510的每個像素511之外。在本實施例中，像素511中並不具有類比 數位轉換器及/或記憶體。 如前所述，每個行處理器502之中包含有一類比數位轉換器以 及一決定電路，且經由相對應的多工器進行切換，單一行處理器可 被複數個像素行（pixdC〇lumn)共用（如第5圖所示）。如此一來， 將可更進一步地降低整體的晶片面積以及生產成本。然而，前述之 鲁敘述僅為忒明之用，並不為本發明的限制條件之一，比方說，多工 器505可為選擇性(optional)的元件，經由恰當的設計調整以降低行 處理器的尺寸之後，像素陣列500的每一行亦可有一相對應的行處 理器。前述相關設計變化均隸屬於本發明的保護範疇之中。 請-併參照第5圖與第6圖，第6圖為第5圖所示之行處理器 5〇2_1之一實施例的方塊示意圖。由於第5圖中的每個行處理器° 502-l-5G2_4彼此的架構相同，故在此僅以行處理器5()2」的架構來 13 201119372 說明。行處理器502一1包含（但不限定於）一相關性雙取樣 (—d-doubied samp丨ing，CDS)單元⑽、一增益放大器（_ ampHfieO 620以及-類比數位轉換器（ADC)63〇。如第6圖所示， 經由多工器5G5_1所處理的像素輸出DATA—傳送至相關性雙取 樣單元610，而後傳送至增益放大器62〇進行處理。除此之外，經由 增益放大H 620輸出的訊號會傳送至類比數㈣㈣㈣以產生數 HM#DATA_D ’ miLfi^DATA—D^後會被送至像素記憶體 501 (見第5圖）。也就是說，本發明的行處理器5〇2可提供相關性 雙取樣功誠更可具有額外的決定電路，以控制次取樣運作及喊根 據所處理的諸來調整類比數位轉 _的解析度。這樣一來， ，得到的數位資料不僅具有較佳的動態範圍，亦可擁有較小的資料 量以進一步地降低成本並增進讀出速率。 第7圖所示為根據本發明之一實施例之訊雜比與入射光之間的 關係示意圖。在-典型的影像系統中，當入射光的強度增加時，將 使得相對應的訊誠亦隨之增加，如第7圖之曲線⑶所示。一般 而言，最大訊雜比（maximumSNR)為訊號品質的重要參考指標之 然而’在某些貫際情況下’訊雜比在達到一定的數值/程度之後 就不再有實際上的指標意義’在這些情況之中，放棄這些多餘的訊 雜比來進-步地提升訊號的動態範圍，可提升整體的影像品質，而 本發明之經由多重讀出運作以提升動態範_裝置即符合此一精 神。 201119372 S 7圖中的特性曲線CV2即表示在量子效率⑽咖^ .QE) =5G%、讀出雜訊為4G個電子以及採用1〇位元 暗Γ先匕的訊雜比。既然在一影像中，較亮的光點會比較 广的5罐比，且經由本發明的次圖框讀出運作可提 少動態範圍’這些相對的讀出運作將可使用較 所對應到的位元數為⑴位元，則特性曲線⑶在這裡則 圖框讀峨糊料峨（蝴5爾進行數f :而這裡，特性曲線CV3的訊雜比將下降至Μ分貝，亦即採用 ρ數位化運作將使得訊雜比由全數位化之特性曲線㈤㈣分 雜1=2貝。然而’進行部分數位化運作之特性曲線cv3的訊 出it的範圍之内，而此時對於進行次圖框讀出運作的輸 =料進行部分數位化運作，將可大幅地減輕輸出訊號的資料Γ :亮二當=出广-p對應到較亮的入射光線時，比方說 界值時，則行處理器可同時採用次圖框讀出運作以 曰Μ數位化運作，崎提供較佳_制關時減少所需的資料 =1在前述實施财，_於雜曲線CV3之次_讀出 應於躲崎⑽之資料量的-半，且對應於特性曲 旦H以鐘谷㈣騎胁·曲線CV2之所需記憶體容 二：這亦隱含了對應™ 明參閱第8圖’第8 11所示為根據本發明 之一 實施例之具有多 15 201119372 ㈣圖。在彻中，一像素 1 ηΛ η ^ 〇 5 作係較佳地為-全數位化讀=實施例中，最後的讀出運 位圖柜讀出運作可能只進行部分數位化運作（比方說5 第9圖，Γο匕運作或其他小於1〇位元的部分數位化運作）。請參閱 數位化1Ψ騎不為本發明之-實施例巾㈣量與相對應之部分 數位化讀出運作的關係表。 ^第9圖所不’假設狀況丨代表習知不進行部分數位化運作時 $位資料㈣锻；狀況2職示在本發明之-實關中，相較於 :數位化的1G位讀析度’採取8位元之解析度的部分數位化讀出 運作後所得到的資料量；而狀況3則代表了選擇6位元之解析度的 :分數位化讀出運作時所得到的資料量。處理器係控制決定電路依 據所接收的諸，而選擇性地調整類比數位轉換器的解析度，故處 理器因此可域對制接收㈣的讀光叙強絲調魏比數位 轉換器的崎雜即選擇性地執行部分數位化運作）；如此一來，經 由處理器所輸出的數位資料將可具録佳的動態範_較少的資料 量。於第9圖所示的範例中，當處理器採用了8位元的解析度來進 行部分數錢運作時，师料量將為傳騎需#锻的_。然而 請注意到，部分積分時間的比例(如其為全積分時間的ι/2、ι/4、ι/8) 僅為說明之用而不為本發明的限制條件之一。此外，處理器中類比 數位轉換H所調整的解析度林為本發明的關條件之—。比方 16 201119372 4，假。又類比數位轉換器的最尚解析度為2〇位元，則處理器可根據 入射光線的強度來調整進行部分數位化運作時所對應到的解析度， 例如對應到部分數位化運㈣的類比數位㈣器的解析度可根據決 定電路的控制而隸！位元到19位元之中。前述的相關設計變化均 隸屬於本發明的保護範缚之中。 X上所述僅為本發明之較佳實施例，凡依本發明巾請專利範圍 所做之均等變化與修飾m本發明之涵蓋範圍。 【圖式簡單說明】 弟圖所示為習知影像感測ϋ之-像素陣列中 其分別於獨光線強度下之轉換曲線的示意圖。 之像:：=Γ支術為了一 ^ 示素陣列以及其内之像素結構的方塊示意圖。 —數位相機系統（影像系統）的方塊示意有複數個行處理器之 =6圖為第5圖所示之行處理器的方塊示意圖。 示意圖。圖所不為本發明之—實施例中訊雜比與人射光之間的關係 第8圖所不為本發明之一實施例中具有多重讀出功能之行處理 17 201119372 器的讀出序列示意圖。 第9圖所示為本發明之一實施例中資料量與相對應之部分數位 化讀出運作的關係表。 【主要元件符號說明】 300、 510 像素陣列 301、 511 像素 302 303、404、630 304 偵測裝置 類比數位轉換器 處理電路

400 > 500 數位相機系統 402 影像擷取單元 403 影像感測器 405 影像處理單元 406 壓縮單元 407 決定電路 501 像素記憶體 502_1~502_4 行處理器 505—1〜505_5 多工器 610 相關性雙取樣單元 620 增益放大器

18

Claims (1)

1. 201119372 七、申請專利範圍： 一影像感測器的處理器，其包含 1. 一種應用於具多重資料讀出機制之 有： 一類比數位轉換器，用以將由 竹由3亥影像感測器所產生之一類比資料 轉換成一數位資料，；^^ '允5午於一曝光運作（exposure)中執 行複數個次圖框讀出（h 、sub-frameread〇ut)以增進該影像感 測器之一動態範圍； 其中該類崎位職师_啼_行部分數位化⑽崎 digitizing)運作以產生該類比資料。 2. 如申請專利範圍第！項所述之處理器，其中該類比數位轉換器係 為一行（column level)類比數位轉換器。 3. 如申請專利範圍第！項所述之處理器，其中，於每一次圖框讀出 時《亥類比數位轉換器係將由該影像感測器戶斤產生之一類比訊 號轉換為一數位訊號。 4.如申明專利範圍第3項所述之處理器，其中分別對應到不同次圖 框讀出之複數個數位訊號之相對應位元數（bitnumber)並不相 同0 19 201119372 .如申》月專利範圍第4項所述之處理器，其中該複數個數位訊號之 相對應位元數係基於一入射光之強度來決定。 6·如申料利細第1項所述之處理器，其巾當—人射光較明亮 時’該複數個次圖框讀出運作會被致能（activated)。 7.如申睛專利範圍第！項所述之處理器，其中該類比數位轉換器於 入射光較明焭時會執行該部分數位化運作。 8·—種影像系統，其包含有： 一影像感測器，用以感測一光線以產生一類比資料；以及 至少-行處理器（C〇lumnprocess〇r)，耦接至該影像感測器且具 有-多重資料讀出機制（muWple data 中該行處理器包含有： 一行。㈤觀level)類比數位轉換器，用以將由該影像感測 器所產生之鋪比資料轉換成—數位資料，並允許於一 曝光運作（exposure)中執行複數個次圖框讀出（sub_fr継 readout)以增進該影像感測器之—動態範圍；其中該類 比數位轉換器對該類比資料進行部分數位化（响吻 chgmzmg)運作以產生該類比資料。 201119372 9. 如申請專利範圍第8項所述之影像系統，其中於每一次圖框讀出 時’該類比數位轉換器係將由該影像感測器所產生之一類比訊 號轉換為一數位訊號。 10. 如申請專利範圍第9項所述之影像系統，其中對應不同次圖框讀 出之複數個數位訊號之相對應位元數 (bit number )並不相同。 11. 如申請專利範圍帛10項所述之影像系統 ，其中該複數個數位訊 號之相對應位元數係基於一入射光之強度來決定。 12. 如申请專利範圍第8項所述之影像系統，其中當—人射光較明亮 時，該複數個次圖框讀出運作會被致能。 13. 如申請專利範圍第8項所述之影像系統，其中麵比數位轉換器 於-入射光較明亮時會執行該部分數位化運作。 八、圖式： 21