TW200913692A - Image sensor with high dynamic range in down-sampling mode - Google Patents

Description

200913692 六、發明說明： 【發明所屬之技術領域】 本發明大體而言係關於一種影像感測器之領域。更具 體而言，本發明係關於一種具有高動態範圍（highdynami'c range ’ HDR)的影像感測器。 【先前技術】 互補式金屬氧化物半導體（c〇mplementary metai semiconductor，CMOS)影像感測器一般包含像素陣列 (array of pixels)。每個像素包含將入射光子轉換為電流訊 號的光電偵測器（photodetector)。此外，在CM〇s影像感 測器中的像素還包含其他習知元件，以設定光電偵測器的 曝光時間並且執行讀取，這些習知元件可為例如重置開 關、訊號放大器及輸出電路等。一單一像素具有用於固定 曝光時間的輸出，且最後隨著光強度增加而達到飽和。 圖一顯示一種CMOS影像感測器100。其像素陣列包 含具有行平行讀取構造（c〇lumn parallel read 〇ut architecture)且按照行與列進行排列的像素，其中同一 列中的像素被同時讀取及平行處理（pr〇cessed in parallel)。即第〇列被讀取，接著為第1列、第2列，直 到第Μ列被讀取。取樣與保持（sample and h〇ld，s&H)元 件支挺k各列中逐線讀取。同一框（frame)中的各列在全解 析度模式（full resolution mode)及縮減取樣模式 (down-sampling m〇de)下具有相同的曝光時間。 CMOS影像感測器常可能使用於非常明亮或非常昏暗 200913692 的應用情形。因此目前已經提出一系列的技術，試圖改善 CMOS影像感測器在各種光照條件下的反應情形。例如， 在此引用由OmniVision Techn〇1〇gies，加申請的美國專 a開第2004/0141075號作為參考，其教示可以根據框的順 序而调整其增益及曝光時間，以補償變化的光照條件。曝 光時間的調整係由對某個框的分析所決定，並接著使用^ 為玉後續的框。儘官美國專利公開第2_斯41仍號揭露 ，按照一系列的框改變其曝光時間，進而對應明亮及昏暗的 狀態而做出調整，但是對於特定的框而言，如此並不會實 際增加影像感測器的動態範圍。如同在影像感測器領域中 所白夫❸’動悲範圍係為最大及最小可偵測訊號之比率（盆 中對於CMOS影像感測器而言，則通常是定義為昏暗斜 下最大非飽和訊號與雜訊標準差之比率）。 其他用於改善CMOS影像感測器於各種光照條件下之 反應的技術具有其他取捨（trade〇ff)因素。特別是為了要達 (到向動態範圍，傳統的方法通常需要顯著地增加晶片面積 或更為複雜的製造程序，而這增加了影像感測器的成 本0 因此，基於上述問題的啟示，需要一種新的方法，其 月匕夠以而成本/效益的方式達到高動態範圍（㈣ range，HDR)之CMOS影像感測器模式。 【發明内容】 4·衫像感測器，其包含排列成行及列格 式的感光像素陣列，以及針對列具有逐線（Hne_W)讀 4 200913692 像感測器具有全解析度模式及至少-種縮 式。在縮減取樣模式中，垂直像素的解析度被縮 ✓咸。在垂直像辛觫士 '、' 中，根墟石丨昆1 又至父被縮減1:2的縮減取樣模式 A二曝光時間的交替順序而改變列曝光時間也可達 :動態乾圍。由各組列資料結合所達到之縮減取樣，也 高動態範圍模式。 疋’在μ取餘式下可達到 【實施方式】 圖二為本發明實施例中影像感測系統2 0 0之方塊示意 其在-種縮減取樣模式中可支援高動態範圍。為了清 Ϊ toT ^圖不中省略一些傳統上習知的元件。影像感測 + 3陣列2〇3，其具有排列成行及列的各個感光像 素202(為了清楚表示，其中省略一些行、像素及單一像素， 而改以圓點表示）。此影像感測器可為譬如CMOS影像减 測器’其中每個料202 &含-光電偵測器及其相= 路，以支援設定曝光時間及執行讀取。 圖不之陣列2〇3具有行平行讀取構造，其中—列中之 像素2G2被讀取及同時進行逐線平行處理。即第 取’接著為第Μ、第2列，直到第M+1列被讀取。取^ 與保持70件2〇4被連接至每行之讀取線撕，其支援各列 進行行的平行逐線讀取。第二級放大ϋ 206接收取樣與保 持凡件204的輸出。而第二級放大器施的輸出則提供予 處理器250。處理器25〇處理影像感測器資料以產生影像。 此處理器250可為譬如具有局部線路記憶體（未顯示於圖 200913692 示中）之數位訊號處理器。 在此實施例中提供了列位址解碼器（r〇w address coder)208 及行位址解碼器（c〇lumn address 以^爰讀取像素。時序及控制模組215支援逐線讀取列像 素為料，並且设定各列之曝光時間。在一實施例中，提供 一預充電位址 1 模組（Pre_Charge } bl〇ck)22〇、一預 充電位址2模組225及一取樣位址模組230，以允許在縮 广咸取樣模式中，將各列的曝光時間基於逐列設定為不同 值，以改善動態範圍。例如，預充電位址模組22〇可支援 對於各列具有相同增益及相同曝光時間之正常全解析模 式，而額外的預充電位址模組225在縮減取樣模式中支援 對各列的不同曝光時間。若有需要，可提供更額外的預充 電位址模組(未顯示於圖中）’以支援一個以上之縮減取樣 模式。 處理器250接收來自影像感測器2〇1之資料並產生影 U像，其影像之解析度係取決於由感光像素元件所產生之原 始（未處理）像素資料如何被取樣及處理，而產生用於處理 $影像之像素。在本專利說明#中，使用術語「原始像素 貝料（raw pixei data)」，以便與經由處理器25〇進行取樣與 額外2理及影像感測器201所產生之資料作區別。特： 從〜像感測益201接收之原始像素資料可被縮減取 樣，以減少此處理過影像的有效垂直解析度。多種標準解 析度格式被用於影像感測之領域。例如，13百萬^素之 超級延伸圖形陣列（suPer extended graphics array，sxGA) 200913692 &式具有128〇χ 1024像素之解析度，而視頻圖形陣列（v— graphlcsarray，VGA)格式具有64〇><48〇像素之解析度。 欠根據本發明之一實施例，在縮減取樣模式中，原始像 ^資料的垂直解析度被處理器25G降低，以實現格式轉換 相時達到高動態範圍。例如，在縮減取樣模式下將Η 百萬像素之格式轉換為VGA。此時，縮減取樣需要垂直解 =以1:2縮減。當垂直解析度中具有1:2之簡單幾何 =時，要達到縮減取樣的一種方法為將每兩列中的資料 二對於在垂直解析度令的1:2縮減而言，原始 心狹使得對於每組兩列的線資料可以被處理器 ^ ^ 列像素。在縮減取樣 相車^=1 吉合兩種不同曝光時間之影像，可使動態範圍 車乂於一般王解析度模式而言有所增加。 所有示’在縮減取樣模式之一實施例中，每列的 曝光=光時間（在每列中所有像素的共同「列 光時：二。然而，在縮減取樣模式中，各列根據列曝 Γ:=Γ序指定其列曝光時間。在-實施例中，ΐ 門列有長的列曝光時間’而另一組列 曝 =夺間。例如’第0列、第2列、第4列、…、： 有相同的列曝光時間tl， 八 列可具有不同的列曝光時間t，J、第3列、…、第朗 係為不同的，例&旦s P列與列之間的曝光時間 戈明Γ 曝光之列及短曝光之列等。為了進行 第K行。在此::::::中行、第1行、…、 、式中，具有相同像素類型（即相 200913692 同色彩或濾色器（filter)類型）及不同列曝光時間並沿著特 定垂直維度鄰近（即沿著相同之行彼此相對靠近）像素的原 始像素資料被結合，以達到具有垂直解析度縮減且動能^ 圍提昇之縮減取樣。 ~ & 如前所述，處理器250包含局部線記憶體，以儲存及 同步具有不同列曝光時間之線處理。特別地，局部纪情體 可用以儲存在不同日寺間被取樣的長的列曝光線及短的㈣ 光線’以允許為單-像素將來自線的f料對齊（W㈣及結 合。在縮減取樣㈣，處理器25〇讀取記憶體，並將^ 垂直維度鄰近、同為相容類型及具有不同曝光時間的像素 原始資料進行結合。像素的曝光時間影響其輸出響應。當 像素在長的曝光時間下操作時其敏感度高，但是在低光昭 ^準下傾向飽和（sat_e)。相對之下，當像素在短的曝光 日.間下^作時其敏感度低，但是在較高光照水準 下飽和。 藉由改變在縮減取樣期間相結合列的曝光時間，可 =減取樣模式達到高動態範圍。例如，參照圖三A所示， 影像感測器2〇1中對應於第。行、帛。列之像素。 =具有由其曝光時間所決定之響應，在此實施例中係 列曝光時間’其中此像素不是很敏感，但是在 :=準下飽和。參照圖三Β，在第〇行、ΙΜ列中的 1冢章'具有不同的列樣#拉μ 低光照水準下飽和。圖：c較為敏感’但是在較 ::::::素資料被結合時的結合響應。此結合響應具有 200913692 改是ί =的縮減取樣模式的各種不同延伸及修 ^、。在最普遍的情況下，在垂直解析声且 以細減的任何縮減取樣模式皆可以被支援，例如：:、2有 1中二I二及其他等。通常在任何列曝光時間的交錯序列 〜Μ的曝光時Μ ’以允許縮減取樣並達 圍的增加。例如，在Φ古k j勒態乾 在垂直解析度具有1:3縮減的縮減取樣， 有長曝光時間、中曝光時間及短曝光時間列 以更增進動態範圍。在此實施例中，當從短曝光時間\ 曝光時間及長曝光時間進行縮減取樣原始像素資料期間， 列於1 : 3上縮減取樣期間被結合，以延伸其動態範圍。 具有高動態範圍的縮減取樣模式也與多種 ㈣袼式相容。在影像感測領域中，多^ 色器陣列模式被應用於像素陣列，以產生彩色影像。入= 至各像素之光線皆被過滤，以至於像素陣列中的 記錄單-色彩’例如紅色、綠色、藍色、青色、祖母： (em^ld)或+紅色（magenta)，其係取決於應用於各像素之 遽色器類型。各濾色器陣列模式為馬賽克（m0saic)式，A 中’依照重複性週期模式，在各列像素中顏色依次變化Γ 如此，在縮減取樣模式中，列曝光時間的變化可被選擇， 以便與滤色器陣列模式的週期性相容。對於特定陣列模式 而言，在縮減取樣令使用的列曝光時間可被選擇，使得在 下向取樣期間具有相容濾色器、類型且沿著行（垂直維度）鄰 近之像素可被結合。許多常見的濾色器陣列模式在每兩列 之後重複。例如，拜耳⑽㈣濾色器模式為三原色（RGB) 200913692 慮色器模式’其為50%綠色、25%紅色及25%藍色。在拜 耳模式中’在藍·綠列的像素之後，接著為綠-紅列的像素。 CYGM」’慮色态陣列為青色（Cyan)、黃色（yeu〇w)、綠色 (green)及洋紅色（magenta)模式，其包含青-黃及綠-洋紅 列。其他實施例包含具有紅_綠及藍_祖母綠列的「rGbe」 濾色器陣列模式。也可以考慮使用包含透明（clear)像素的 模式例如紅-綠-藍-原色（Red-Green-Blue-Clear，RGBC)。 另種可能為紅-綠-藍-白（Red-Green-Blue-White ’ RGBW) ft式如同在成像（imaging)領域中所習知的，附加的去馬 賽克廣算法（de_m〇saicing alg〇rithm)可用以將結果資料轉 換為全彩影像。 立、圖四顯示用於拜耳濾色器模式之縮減取樣模式。左邊 刀05為衫像感測杰'的拜耳遽色器模式，而右邊部分41 〇 顯不經過縮減取樣後之結果。對於拜耳滤色器模式而言， 列種交替的色彩模式··藍_綠_藍·綠及綠·紅♦紅。 如其下標所示’其像素更分配為長（1⑽g，1)或短（short，S) 冬光時間列。在此實施例中’兩列具有長曝光時間，兩列 具^短曝光時間，並按照如此順序重複下去。選擇序列以 作^拜耳拉式’並也在每^列後重複。具有相同列模式 ==的曝光時間每_近列，其像素資料在縮減取樣過 ，中被結合。因此’例如將長曝光時間「 與短曝光時間「G_R_G_Rj歹"2〇έ士人^心列415 ^ ^ . 00 」幻42〇釔合，以在縮減取樣之 本主早一的「GRGR」列425，其中G已結合長盘短曝 先時間的像素資料（於來自且有 个曰一匀不「W曝光時間之列的兩個 200913692 綠像素），而R已結合長與短曝光時間的像素資料（於來自 具有兩不同曝光時間之列的兩個紅像素）及其 長曝光時間「BGBG」列43〇與短曝光時間「細〇」 歹J 4K合，以在縮減取樣之後產生單—的「的 440。因為很多其他常用濾色器模式也在每兩列覆，， =理解圖四中所示之原則也適用於拜耳模二 濾色器模式。 丨w，、他 像素影像感測器也支援傳統的全解析度模式下 :素貝枓的逐線讀取’其中每列具有相同曝光時間。因此， ^-較佳實施例中’影像感測系統2〇〇具有兩種摔作模 式.具有有限動態範圍的一般全解析度、 =度但具有高動態範圍的縮減取樣模式。需= 預充電位址模組只需要相對少量的晶片有效 取_間需要此模組提供不同之曝光時間。此影像感= 的大部分面積並不會從—般全解析度模式下變化。此β 使用縮減取樣模式僅需對處判⑽進行相對便宜的修 改。實質上，在縮減取樣期間使用「備用 ' 以在極低邊際成本下達到高動態範圍的感測模^Hhne)」’ 相較之下，傳統縮減取樣機制一般強調減 Z益及各列的曝光時間在傳統縮減取樣 上是二 有相同曝光時間之線執行平均。 次對具 法無法在縮減取樣模式中形成高動態範圍、，。、縮減取樣方 如前所述’處理器250可為數位訊號處理器。可理解 11 200913692 處理器250可使用儲存於處理器或處理器可存取之記憶體 之指令以執行縮減取樣。因此，也可理解本發明之一實施 例係相關於電腦儲存產品，其包含具有電腦編碼之電腦可 讀媒體（computer-readable media)，以便執行各種電腦可執 行操作。此媒體或電腦編碼可為本發明目的而特別設計與 製造之類型，或者也可為電腦軟體領域之熟習技藝者熟習 及可得之類型。電腦可讀媒體之實施例包含但不限於：磁 性媒體，例如硬碟、軟碟及磁帶；光學媒體，例如唯讀光 f s 碟（compact disk read only memory，CD-ROM)、數位視訊 光碟（digital video disc，DVD)及全像裝置（holographic device);磁光媒體（magneto-optical media，MO media);及 特別設置以儲存及執行程式碼的硬體裝置，例如特殊應用 積體電路（application-specific integrated circuits，ASICs)、 可程式邏輯裝置（programmable logic devices，PLDs)、唯 讀記憶體（read-only memory，ROM)及隨機存取記憶體 ( (random-access memory，RAM)裝置。電腦編碼之實施例包 含機器碼，例如由編譯器（compiler)產生並且由電腦透過解 譯器（interpreter)執行的具有較高水準編碼之文件。例如， 本發明之一實施例可使用「Java」、「C++」或其他物件導 向（object-oriented)程式語言及開發工具來實現。本發明之 另一實施例可在固線式電路（hardwired circuitry)實施，以 取代或結合機器可執行軟體指令。 為了說明之目的，前文之敘述使用特定術語以提供關 於本發明的徹底理解。然而，本領域之熟習技藝者應可領 12 200913692 會，特定的細節對於實現本發明並不是必須的。因此，前 述的本發明特定實施例是為了示範及描述之目的，而並= 窮盡式說明或限制本發明為所揭示之確切形式。顯然，在 上，教示下可進行許多修改及變更。所選擇及描述的、實施 例是為了最佳地描述本發明之原則及其實際應用，使 領域之熟習技藝者可最佳地利用本發明，並具有各種不同 =進的實施方式，以適用於預期之特定用途。下述的申靖 專利乾圍及其等同物界定本發明之範圍。 【圖式簡單說明】 解本=下=詳細描述並結合附圖，可助於更完整的理 圖一顯不傳統影像感測器之操作； 動能I圖根據本發明實施例在縮減取樣模式下支援高 動態範圍的成像系統； 攸门 i 中沿顯示根據本發明之-實施例，其 料在同曝光時間的兩像素’其像素資 程中被結合，以增加動態範圍；及 濾色器模式。 知減取樣模式，其具有 【主要元f:不中相同的附圖標記表示相同的部件。 L王要το件符號說明 100 CMOS影像感測器 1 〇 2像素 200影像感測系統 13 200913692 201影像感測器 202像素 203陣列 204取樣與保持元件 205讀取線 206第二級放大器 208列位址解碼器 210行位址解碼器 215時序及控制模組 220預充電位址1模組 225預充電位址2模組 230取樣位址模組 250處理器 405左邊部分 410右邊部分 415長曝光時間「G-R-G-R」列 420短曝光時間「G-R-G-R」列 425 單一「G-R-G-R」列 430長曝光時間「BGBG」列 435短曝光時間「BGBG」列 440單一「BGBG」列 14

Claims (1)

1. 200913692 七、申請專利範圍： 種在办像感測器（lmage sens〇r)中達到高動態範圍 (high dynamic range，HDR)的方法，其中該影像感測器 包3排列成列及行格式之感光像素（ph〇t〇sensitive Pixel)，該格式支援列的逐線〇ine_by_iine)讀取包含· 在細減取樣模式（d〇wn_sampHng咖心）中分配每列 之列曝'時間，其中特定列中所有像素具有共同曝光時 間，並沿著垂直維度選擇列曝光時間的交替順序，使得 像素沿著垂直維度具有可結合之相容類型，可在縮減取 樣期間具有至少兩種不同列曝光時間； 按照逐線順序讀取列；及 將具有不同列曝光時間之各組列的資料相結合，以在縮 減垂直解析度的同時也延伸該動態範圍。 2,如申請專利範圍第！項所述之在影像感測器中達到高 動態範圍的方法，其中該縮減取樣模式為i : 2之縮減 取樣模式，其中具有不同列曝光時間之各組兩鄰近列的 像素資料被結合，以縮減垂直解析度。 3.如申請專利範圍第"員所述之在影像感測器中達到高 動態範圍的方法’其中該縮減取樣模式為丨：3之縮減 取樣模式，|中具有不同列曝光時間之各組三鄰^列的 像素資料被結合，以縮減垂直解析度。 15 200913692 範圍第1項所述之在影像感測器中達到高 取^々的方法’其中該縮減取樣模式為1 :Ν之縮減 =2,其中具有不同列曝光時間之各組Ν鄰近列的 像素貝料被結合，以縮減垂直解析度。 5. =2利範圍第1項所述之在影像感測器中達到高 動“圍的方法’更包含：在全解析度模式中，選擇所 有列的曝光時間，使其具有相同的列曝光時^並按照 逐線順序讀取列，且不執行縮減取樣。 &如申請專利範圍第i項所述之在影像感㈣中達到高 動態範圍的方法，更包含：按照逐線順序讀取以從該讀 取列中提供資料予處理器’該處理器在記憶體中臨時儲 存具有不同曝光時間之鄰近線並執行資料的結合，以縮 減垂直解析度並延伸動態範圍。 如申請專利範圍第〗項所述之在影像感測器中達到古 動態範圍的方法’其中該影像感測器更包含濾色器陣= (color fUter array) ’該濾色器陣列的每列皆具有預先選 擇順序的濾、色器，基於變化的列模式在預先選擇的列數 之後重複；其中該選擇列曝光時間包含選擇列曝光時間 的交替順序，以使其與具有不同曝光時間的各组列結八 資料相容。 16 200913692 8. 如申料利範圍第7項所述之在影像感測器中達到高 動態範圍的方法，其中該濾色器陣列包含具有交替藍_ 綠列及，綠紅歹U的拜耳模式（Bayer pattern)。 ^ 9. 如申請專利範圍第7項所述之在影像感測器中達到巧 動態範圍的方法，其中該滤色器陣列係選自於如下組成 之群組：三原色（RGB)模式、紅-綠-藍-袓母綠（rGBE) 模式、紅'綠-藍.原色（rgbc)模式、紅'綠·藍-白⑽BW) 杈式及青_黃綠-洋紅（CYGM)模式。 1 〇. -種在影像感測器中達到高動態範圍的方法，其中^ 器具有感光像素，陣列中的每個單-像素均：： 色益陣列模式指定為特定色彩，職色 :::rr:r該特定色彩順序在選定二 数 < 傻進仃重複，所述之方法包含： 在縮減取樣模式中將每列分配列曝光時間，其中 中的所有像素具有共同的曝光時間：並沿著 : 曝光時間的交替順序，使得沿著垂直維度上= 種類相同的像素具有至少兩種不同的列曝光時間； 按照逐線順序讀取列；及 :具有不同列曝光時間的各組列的資料相結合， ::維度上具有相同濾、色器種類之像素的像; 、、、〇,以縮減垂直解析度並同時增加動態範圍。 200913692 ::專利範圍第1 0項所述之在影像感測器中達到高 動態範圍的方法，其中該縮減取樣模式為i:Ν之縮減 取樣杈式’其中具有不同列曝光時間之各組Ν鄰近列的 像素資料被結合，以縮減垂直解析度。 々^ =專利範圍第1Q項所述之在影像m中達到高 動態範圍的方法’更包含：在全解析度模式中，選擇所 有列的曝光時間’選擇所有列的曝光時間，使其具有相 同的列曝光時間’並按照逐線順序讀取列，且；執行縮 13. 如申請專利範圍帛1G項所述之在影像感測器中達到高 動態範圍的方法，其中該濾色器陣列係選自於如下组成 之群組：三原色（腦）模<、紅·綠·藍-袓母綠（RGBE) 杈式、紅-綠_藍_原色（RGBC)模式、紅_綠_藍-白（卿w) 換式及青-黃-綠-洋紅（CYGM)模式。 14. 一種影像感測器，包含： 排列成列及行的感光像素陣列；及 控制模組及位址解碼器（address dec〇der)，言玄控制 係設置以具有正常解析度模式，其中係按照逐線順序妹 取列，而各列具有相同的標稱（nominal)曝光時間；並具 有垂直解析度縮減的縮減取樣模式，其中各列且 '、 光時間，而特定列中的所有像素具有相同的曝光時^曝 18 200913692 並且沿著垂鋒度上㈣ 沿著垂直維度上具有相容類型而之續序，因此 合之像素，且具有至彡、 ' s / 樣期間相結 有至v兩種不同的列曝光時間。 15.如申請專利範圍第14項所述之影像 列中的各單-像素均被濾色器陣;:中該陣 彩，其具有對於每列的特定色彩順和定色 之後進行重複。 儿在1-疋的列數 16::凊專利範圍$ 15項所述之影像感測器 先時間之順序係為敎的，因此具有相同濾色器^曝 至少兩鄰近列組具有不同的曝光時間。μ 、$的 17·=請專利範圍帛16項所述之影像感測器，其 在母兩列之後重複的滹色3!掇+ 1万、 每兩列之後變化 式H列曝光時間在 申明專利fe圍第15項所述之影像感測器’其中該 +光夺間在基於慮色器模式週期的不同值之間調節。 19,如申請專利範圍14所述之影像感測器，更包含： 處理益，以接收各列的逐線讀取，該處理器在縮減 2模式中將具有不同列曝光時間的各組列的資料進行 結合’以縮減垂直解析度並改善動態範圍。 19 200913692 2〇.如申請專利_ 14項所述之影像感測器，其中該控 制模組包含用於正常解析度模式之預充電位址模組 (pre-charge address block)，及至少 模組以在縮減取樣模式中支援不同 一個附加預充電位址 曝光時間。

   20