TWI491254B - 用於補償影像感測器中之行固定圖型雜訊的方法 - Google Patents

用於補償影像感測器中之行固定圖型雜訊的方法 Download PDF

Info

Publication number
TWI491254B
TWI491254B TW099146549A TW99146549A TWI491254B TW I491254 B TWI491254 B TW I491254B TW 099146549 A TW099146549 A TW 099146549A TW 99146549 A TW99146549 A TW 99146549A TW I491254 B TWI491254 B TW I491254B
Authority
TW
Taiwan
Prior art keywords
dark
row
dark signal
signal
offset
Prior art date
Application number
TW099146549A
Other languages
English (en)
Other versions
TW201143410A (en
Inventor
Jeffrey S Gerstenberger
David W Bishop
Ravi K Mruthyunjaya
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW201143410A publication Critical patent/TW201143410A/zh
Application granted granted Critical
Publication of TWI491254B publication Critical patent/TWI491254B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

用於補償影像感測器中之行固定圖型雜訊的方法
本發明大體上係關於影像感測器，且更明確地說，係關於用於補償影像感測器中之行固定圖型雜訊的方法。更明確地說，本發明係關於用於產生用以補償影像感測器中之行固定圖型雜訊的行偏移修正(correction)的方法。
互補金氧半導體(CMOS)影像感測器通常包括配置成列及行以形成像素陣列之多個像素。一行輸出電路連接至該陣列中之每一行像素以自該行中之像素讀出信號。來自一列像素之輸出信號藉由該等行輸出電路每次一列地(並行地)自該像素陣列讀出。
該等行輸出電路可包括類比電路及數位電路兩者，包括電容器、開關、多工器、電晶體及放大器。藉由CMOS影像感測器擷取之影像的品質可由於行輸出電路中之電路的偏移及增益之間的差異或不匹配而降低。此等不匹配在影像中產生行固定圖型雜訊假影或缺陷。行固定圖型雜訊由於行固定圖型雜訊之柱形或條紋結構而較容易被觀察者看見且另其反感。
當擷取影像時，通常將增益應用於像素之輸出信號。當在低光條件下擷取影像時，此情形尤其成立，其中增益用以使影像較明亮。不幸的是，行固定圖型雜訊亦由增益放大，從 而使行固定圖型雜訊假影在影像中較顯著。舉例而言，增益之兩倍增加可導致行固定圖型雜訊加倍。
一種影像感測器包括通常配置成列及行以形成一像素陣列之多個感光像素及多個暗參考像素。可獲得該像素陣列中之所有行的一全域偏移窗，其中該全域偏移窗界定所有該等行的一可接受之最大暗信號及一可接受之最小暗信號。接著自每一行中之給予數目的暗參考像素讀出一暗信號。作出關於來自每一行之該等暗信號中之一或多個是否在該全域偏移窗外部的判定。在根據本發明之具體例中，若在該全域偏移窗外部，則補償或丟棄在該全域偏移窗外部之每一暗信號。
接著使用在該全域偏移窗內之暗信號來確定每一行之一行偏移修正。在已自該像素陣列讀出給予數目的暗信號之後，獲得該像素陣列中之每一行的一區域偏移窗，其中該區域偏移窗界定每一行的一可接受之最大暗信號及一可接受之最小暗信號。接著自每一行中之給予數目的暗參考像素讀出一暗信號且對其進行分析以判定該等暗信號中之一或多個是否在一各別區域偏移窗外部。在根據本發明之具體例中，若在各別區域偏移窗外部，則補償或丟棄在該全域偏移窗外部之每一暗信號。
在自該像素陣列讀出給予數目的暗信號之後，可更新該等 行偏移修正。
當在擷取一影像時偵測到一增益位準之改變時，可縮放該等行偏移修正。
遍及本說明書及申請專利範圍，以下術語採用本文中明確相關聯之含義，除非上下文另有清楚指示。「一」及「該」之含義包括複數參考，「在……中」之含義包括「在……中」及「在……上」。術語「經連接」意謂經連接之物品之間的直接電連接，或意謂經由一或多個被動或主動中間裝置之間接連接。術語「電路」意謂連接起來以提供所要功能的單一組件或多個組件，無論是主動組件或是被動組件。術語「信號」意謂至少一電流、電壓或資料信號。
另外，諸如「在……上」、「在……上方」、「頂部」、「底部」之方向性術語參考所描述之圖式的定向來加以使用。因為本發明之具體例之組件可以許多不同定向來定位，因此方向性術語僅用於達成說明目的而決非限制。
參看圖式，相似數字遍及諸圖指示相似部分。
圖1為根據本發明之具體例中的影像擷取裝置之簡化方塊圖。影像擷取裝置100在圖1中實施為數位相機。熟悉技藝者應瞭解，數位相機僅為可利用併有本發明之影像感測器的影像擷取裝置之一個實施例。其他類型之影像擷取裝置(諸如，蜂巢式電話相機、掃描器及數位視訊攝錄機)可用於 本發明。
在數位相機100中，來自主體場景之光102輸入至成像級104。成像級104可包括習知元件，諸如透鏡、中性密度濾光器、光圈及快門。光102藉由成像級104聚焦以在影像感測器106上形成影像。影像感測器106藉由將入射光轉換成電信號而擷取一或多個影像。數位相機100進一步包括處理器108、記憶體110、顯示器112及一或多個額外輸入/輸出(I/O)元件114。儘管在圖1之具體例中展示為獨立元件，但成像級104可與影像感測器106整合且可能與數位相機100之一或多個額外元件整合以形成相機模組。舉例而言，在根據本發明之具體例中，處理器或記憶體可與影像感測器106整合於一相機模組中。
處理器108可實施(例如)為微處理器、中央處理單元(CPU)、特殊應用積體電路(ASIC)、數位信號處理器(DSP)，或其他處理裝置，或多個此類裝置之組合。成像級104及影像感測器106之各種元件可藉由自處理器108供應之時序信號或其他信號來控制。
記憶體110可組態為任何類型之記憶體，諸如隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、基於磁碟之記憶體、抽取式記憶體，或其他類型之儲存元件，按照任一組合形式來組態。藉由影像感測器106擷取之給予影像可藉由處理器108儲存於記憶體110中且在顯示器112上呈現。 顯示器112通常為主動式矩陣彩色液晶顯示器(LCD)，但可使用其他類型之顯示器。額外I/O元件114可包括(例如)各種螢幕上之控制件、按鈕或其他使用者介面、網路介面，或記憶卡介面。
應瞭解，圖1中所展示之數位相機可包含熟悉技藝者已知之類型的額外或替代元件。本文中未具體展示或描述之元件可自此項技術中已知之元件中選擇。如先前所註明，本發明可實施於各種影像擷取裝置中。此外，本文中所描述之具體例的某些態樣可至少部分以藉由影像擷取裝置之一或多個處理元件執行的軟體之形式來實施。如熟悉技藝者將瞭解，給予提供於本文中之教示，此類軟體可以直接方式來實施。
現參看圖2，展示根據本發明之具體例中的影像感測器106之俯視圖的方塊圖。影像感測器106包括一具有感光像素202及暗參考像素204之像素陣列200。感光像素202及暗參考像素204通常在像素陣列200內配置成列及行。
感光像素202為回應於入射光而收集光生電荷載流子的像素。暗參考像素204可構造為具有不透明層或光屏蔽件206之感光像素，該不透明層或光屏蔽件206位於暗參考像素204上方以使得該等像素不會接收入射光。或者，在根據本發明之具體例中，暗參考像素204可在無光偵測器之情況下加以建構。
暗參考像素204用來量測當影像感測器未被照亮(零光條 件)時在影像感測器106中產生之電荷的量。此等暗信號用來減少所擷取之影像中的雜訊之量。在本發明之具體例中，像素陣列200中之每一行的行偏移修正係基於自暗參考像素204讀出之暗信號來產生。該等行偏移修正用來減少或消除影像感測器中之行固定圖型雜訊。
影像感測器106進一步包括行解碼器208、列解碼器210、數位邏輯212、行輸出電路214及類比前端電路216。像素陣列200中之每一行感光像素202及暗參考像素204電連接至一行輸出電路214。
數位邏輯212包括記憶體218、控制暫存器220、縮放電路222及時序產生器224。在根據本發明之具體例中，記憶體218儲存行偏移修正，控制暫存器220儲存在擷取影像時使用之增益位準，且縮放電路222用以回應於增益位準之偵測到之改變而縮放行偏移修正。時序產生器224產生自像素陣列200讀出信號所需之信號。
在根據本發明之具體例中，影像感測器106實施為x-y可定址影像感測器，諸如互補金氧半導體(CMOS)影像感測器。因此，行解碼器208、列解碼器210、數位邏輯212、行輸出電路214及類比前端電路216實施為操作性地連接至像素陣列200之標準CMOS電子電路。
與像素陣列200之取樣及讀出以及對應影像資料之處理相關聯的功能性可至少部分以儲存於記憶體110(見圖1)中 且藉由處理器108執行的軟體之形式來實施。取樣及讀出電路之部分可配置於影像感測器106外部或與像素陣列200整體地形成於(例如)與光偵測器及像素陣列之其他元件共有之積體電路上。熟悉技藝者應瞭解，其他周邊電路組態或架構可實施於根據本發明之其他具體例中。
為簡單起見，圖2描繪七列及七行像素，其中為五列感光像素202及兩列暗參考像素204。熟悉技藝者應瞭解，影像感測器具有可以任何組態來配置之數百萬至數千萬之像素。僅舉例而言，多列暗參考像素可位於像素陣列200之頂部及底部處。或者，感光像素可限制於一子陣列中，其中多列及多行暗參考像素環繞該子陣列。另一例示性具體例將暗參考像素分散於像素陣列內，以使得暗參考像素與感光像素混雜。
圖3為圖2中所展示之類比前端電路216之方塊圖。在根據本發明之具體例中，類比前端電路216自每一像素接收一對差分類比信號。一個類比信號標識為RESET，且另一信號標識為SIGNAL。類比前端電路216放大並調節RESET及SIGNAL類比信號，且將該等類比信號轉換成數位信號。
類比前端電路216包括類比至數位轉換器(ADC)300及類比信號處理器(ASP)302。在根據本發明之具體例中，ASP 302包括兩個串接之可變增益放大器304、306。根據本發明之其他具體例可包括一或多個可變增益放大器。在根據本發明 之具體例中，在本發明中，偵測可變增益放大器304、306之增益的改變並用來產生經縮放之行偏移修正。
現參看圖4，展示根據本發明之具體例中的用於產生行偏移修正之第一種方法的流程圖。最初，在給予增益位準下自每一行像素中的給予數目的暗參考像素讀出暗信號(區塊400)。在根據本發明之具體例中，該增益位準可為一增益設定值或一經量測之增益。
在根據本發明之具體例中，讀出之暗參考像素之數目可變化。在一個具體例中，暗信號係自每一行中之大量暗參考像素讀出。大量暗信號可導致較精確之初始行偏移修正。
此外，給予之增益位準可為任何所要增益位準。在根據本發明之一個具體例中，增益位準係高的。較高之增益位準可產生較精確之初始行偏移修正。
區塊400可在影像感測器之操作期間的任何時間加以執行。在根據本發明之一個具體例中，區塊400係在影像感測器開啟時首先加以執行。此情形允許為啟動序列之部分的空白圖框用以獲得暗信號。
接下來，如區塊402中所展示，分析來自每一行之暗信號以判定是否存在任何異常暗信號。在根據本發明之具體例中，異常暗信號為自異常地暗或亮之暗參考像素獲得的信號。僅舉例而言，數位邏輯212(圖2)分析該等暗信號以判定其中是否有任何異常暗信號。稍後參看圖7A及7B來描 述一種用於偵測及補償異常暗信號之方法。在根據本發明之具體例中，若該等暗信號之任何暗信號為異常暗信號，則丟棄或補償該等異常暗信號。
接著確定像素陣列中之每一行之初始行偏移修正且儲存於記憶體中(區塊404及406)。在根據本發明之一個具體例中，自一行讀出之暗信號一起求平均以產生一平均暗信號值，且該平均暗信號值用作一初始行偏移修正。根據本發明之其他具體例可以不同方式確定該等初始偏移修正。僅舉例而言，暗信號可輸入至一無限脈衝響應(IIR)濾波器以確定該等初始行偏移修正。
接著在區塊408處作出關於是否已起始影像擷取之判定。在根據本發明之具體例中，增益位準係在影像擷取程序起始時藉由影像擷取裝置來確定。該增益位準可藉由自動曝光演算法、藉由使用者選擇，或藉由某些其他方法來確定。在根據本發明之具體例中，該增益位準傳輸至影像感測器且儲存於控制暫存器220(圖2)中。
接著在區塊410處作出關於是否將以不同於區塊400及區塊404處所使用之增益位準的增益位準來擷取影像的判定。在根據本發明之具體例中，數位邏輯212偵測增益位準之改變。若增益位準未改變，則該方法返回至區塊408。若影像將以一不同之增益位準來擷取，則該程序在區塊412處繼續，在區塊412處回應於該不同之增益位準來縮放初始 行偏移修正。在根據本發明之一個具體例中，該等初始行偏移修正係藉由一新增益設定值與一先前增益設定值之比率來縮放。在根據本發明之另一具體例中，該等初始行偏移修正係藉由一當前量測之增益與一先前量測之增益之比率來縮放。
接著將該等經縮放之偏移修正儲存於記憶體中，如區塊414中所展示。該方法返回至區塊408。在根據本發明之具體例中，每當影像以一不同之增益位準來擷取時，區塊412及414便重複。
當偵測增益位準之改變時，圖4之方法便更新行偏移修正。行偏移修正藉由縮放初始行偏移修正來更新。此方法有利地避免在判定行偏移修正時重複地讀出暗信號，藉此減少計算像素陣列中之每一行的行偏移修正所需的圖框額外負擔(例如，時間)。
根據本發明之具體例不限於圖4中所展示之區塊及區塊之次序。根據本發明之其他具體例可執行額外步驟，不執行該等區塊中之一些步驟，或同時地執行該等步驟中之一些步驟。僅舉例而言，偵測異常暗信號及補償此等異常暗信號(區塊402)可與讀出暗信號(區塊400)同時執行。或者，在根據本發明之其他具體例中，區塊402或區塊414並不必須加以執行。
圖5為用於使用根據圖4中所展示之方法產生之行偏移修 正的方法的流程圖。最初，作出關於是否將自一像素陣列讀出一影像或一影像之圖框的判定(區塊500)。若是，則自讀出自每一行之影像信號減去適當之行偏移修正(區塊502)。當影像或影像之圖框係在增益位準無改變之情況下得以擷取時，適當之行偏移修正為初始行偏移修正或先前縮放之初始行偏移。或者，當影像或影像之圖框係以不同於與初始行偏移修正相關聯之增益位準的增益位準來擷取時，適當之行偏移修正為當前縮放之行偏移修正。
在根據本發明之一個具體例中，回應於增益位準之改變而縮放初始行偏移修正(圖4中之區塊412)可與自影像信號減去適當之偏移修正(圖5中之區塊502)同時進行。亦即，在需要時，適當之偏移修正可在讀出圖框或影像期間在運作中確定及縮放(若由於增益改變而必需)，以便在每一影像信號被讀出時提供對每一影像信號之偏移修正。此情形避免對儲存經縮放之偏移修正之記憶體的需要。
現參看圖6A及6B，展示根據本發明之具體例中的用於產生及使用行偏移修正之第二種方法的流程圖。最初，在給予增益位準下自每一行像素中的給予數目的暗參考像素讀出暗信號(區塊600)。在根據本發明之具體例中，該增益位準可為一增益設定值或一經量測之增益。
在根據本發明之具體例中，讀出之暗參考像素之數目可變化。在根據本發明之一或多個具體例中，暗信號係自每一行 中之少許暗參考像素讀出。舉例而言，在根據本發明之一個具體例中，暗信號係自每一行中之三十六個暗參考像素讀出。在根據本發明之另一具體例中，暗信號係自每一行中之八個暗參考像素讀出。
給予之增益位準可為任何所要增益位準。在根據本發明之一個具體例中，增益位準係高的。較高之增益位準可導致較精確之初始行偏移計算。
區塊600可在影像感測器之操作期間的任何時間加以執行。在根據本發明之一個具體例中，區塊600係在影像感測器開啟時首先加以執行。此情形允許作為啟動序列之部分的空白圖框用以獲得暗信號。
接下來，如區塊602中所展示，分析來自每一行之暗信號以判定是否存在任何異常暗信號。如早先所論述，在根據本發明之具體例中，異常暗信號為自異常地暗或亮之暗參考像素獲得的信號。稍後參看圖7A及7B來描述一種用於偵測及補償異常暗信號之方法。在根據本發明之具體例中，若該等暗信號之任何暗信號為異常暗信號，則使用補償暗信號或丟棄該等異常暗信號。
接著確定像素陣列中之每一行的行偏移修正，如區塊604中所展示。在根據本發明之一個具體例中，自每一行讀出之暗信號一起求平均以產生一行平均暗信號值，且該行平均暗信號值用作一行偏移修正。將該等行偏移修正儲存於一記憶 體中(區塊606)。
接著作出關於是否已起始影像擷取之判定(區塊608)。如先前所描述，在根據本發明之具體例中，增益位準係在影像擷取程序起始時藉由影像擷取裝置來確定。該增益位準可藉由自動曝光演算法、藉由使用者選擇，或藉由某其他方法來確定。
在根據本發明之具體例中，該增益位準傳輸至影像感測器且儲存於控制暫存器220(圖2)中。
接著在區塊610處作出關於是否以與不同於區塊606處或區塊618處儲存於記憶體中(以後發生者為準)之行偏移修正相關聯之增益位準的增益位準來擷取影像的判定。在根據本發明之具體例中，數位邏輯212偵測增益位準之改變。
當並未以不同增益位準來擷取影像時，該程序在區塊612處繼續，在區塊612處自暗參考像素讀出給予數目的暗信號。在根據本發明之具體例中，每當暗信號自暗參考像素讀出，自該像素陣列讀出的給予數目的暗參考像素可動態地改變。因此，一個讀取操作可對八個暗參考像素進行讀出以確定一行偏移修正，且另一讀取操作可對十個暗參考像素進行讀出。僅舉例而言，自像素陣列讀出之暗信號的數目可基於暗參考像素中之雜訊、基於對行偏移修正之統計量測、基於該等像素是針對在增益位準改變之後的首次更新而進行讀取或是該等暗參考像素是針對後續之更新而進行讀取。
接下來，在讀取給予數目的暗像素之後，分析來自每一行之暗信號以判定是否存在任何異常暗信號(區塊614)。稍後參看圖7A及7B來描述一種用於補償異常暗信號之方法。接著更新先前之行偏移以產生經更新之行偏移，如區塊616中所展示。將經更新之行偏移修正儲存於記憶體中(區塊618)。
在根據本發明之一個具體例中，行偏移修正使用新讀出之暗信號及先前計算出之行偏移修正來重新計算。僅舉例而言，每當給予數目的暗信號自像素陣列讀出，每一行之平均暗信號位準係重新計算。重新計算出之行偏移修正用作經更新之行偏移修正。根據本發明之其他具體例可以不同方式產生經更新之行偏移修正。僅舉例而言，在根據本發明之其他具體例中，經更新之行偏移可使用加權平均或IIR濾波器來產生。
接著自讀出自與每一經更新之行偏移修正相關聯之行的影像信號減去該經更新之行偏移修正(區塊620)。自該等影像信號減去經更新之行偏移修正補償行固定圖型雜訊。該方法接著返回至區塊608。
再次參考區塊610，當在擷取影像時使用不同增益位準時，該程序進行至區塊624。在區塊624處，縮放行偏移修正或經更新之行偏移修正以產生經縮放之行偏移修正。縮放之量係基於增益位準之偵測到之改變。舉例而言，在根據本 發明之一個具體例中，該等行偏移修正或經更新之行偏移修正係藉由一新增益設定值與一先前增益設定值之比率來縮放。在根據本發明之另一具體例中，該等行偏移修正或經更新之行偏移修正係藉由一當前量測之增益與一先前量測之增益之比率來縮放。
接著將經縮放之行偏移修正儲存於記憶體中(區塊626)。在執行區塊626之後，該程序進行至區塊612，且執行區塊612至620。在執行區塊620之後，該方法返回至區塊608。
根據本發明之具體例不限於圖6A及6B中所展示之區塊及區塊之次序。根據本發明之其他具體例可執行額外步驟，不執行該等區塊中之一些步驟，或同時地執行該等步驟中之一些步驟。僅舉例而言，偵測異常暗信號及補償此等異常暗信號(區塊602或614)可與讀出暗信號(分別為區塊600或612)同時執行。或者，在根據本發明之其他具體例中，區塊602、區塊606、區塊614、區塊618或區塊626並不必須加以執行。
請注意，除了圖2中所說明之架構之外，本發明之具體例亦可用於不同影像感測器架構中。僅舉例而言，每當一列像素自影像感測器讀出時，影像感測器便可切換哪幾行像素連接至哪些行輸出電路。大體上，此操作加以進行以在某程度上打碎行固定圖型雜訊之柱形或條紋性質。本發明之具體例可僅基於行電路來確定及應用行偏移修正，甚至在行輸出電 路自一個像素行切換至另一像素行時仍如此。本發明之具體例可僅基於像素行來確定及應用行偏移修正。或者，本發明之具體例可確定行偏移修正並將其應用於像素行與行輸出電路之每一組合。
類似地，一影像感測器可具有多個行電路，每一行電路服務兩行或兩行以上之像素，藉此需要多個取樣及讀取週期來讀取每一列像素。本發明之具體例將行偏移修正應用於每一行電路，或每一像素行，或應用於像素行與行輸出電路之每一組合。進一步舉例而言，多個行輸出電路可用於每一行像素。此情況可為在一組行電路正被讀出而另一組行電路正對準備讀出之影像信號取樣時所出現的情況。再次，即使像素行與行輸出電路之間不存在一對一之對應，但本發明仍適用且不受限。
圖7A及7B描繪根據本發明之具體例中的用於在產生行偏移修正時偵測異常暗信號且補償異常暗信號之方法的流程圖。最初，確定像素陣列中之所有行的全域偏移窗(區塊700)。該全域偏移窗識別像素陣列中之所有行的可接受暗信號之範圍。在根據本發明之具體例中，可接受暗信號之範圍包括一中央暗信號、一最大暗信號及一最小暗信號。
在根據本發明之一個具體例中，該中央暗信號、該最小暗信號及該最大暗信號可基於預期之暗信號。或者，在根據本發明之另一具體例中，該中央暗信號、該最小暗信號及該最 大暗信號可基於量測到之暗信號。且在根據本發明之另一具體例中，該中央暗信號、該最小暗信號及該最大暗信號可基於先前確定之中央暗信號、最小暗信號及最大暗信號。根據本發明之其他具體例可以不同方式確定像素陣列中之所有行的可接受暗信號之範圍。
接下來，如區塊702中所展示，自每一行像素中的給予數目的暗參考像素讀出暗信號，且分析該等暗信號以判定該等暗信號是否在全域偏移窗內。接著在區塊704處作出關於來自每一行之一或多個暗信號是否在全域偏移窗外部的判定。若是，則在全域偏移窗外部之暗信號為異常暗信號。補償該等異常暗信號，以使得用以確定最初行偏移(圖4中之區塊404)或行偏移(圖6A中之區塊604)的所有暗信號處於全域偏移窗內(區塊706)。
在根據本發明之一個具體例中，異常暗信號係藉由減去每一異常暗信號的一先前之暗信號、一選定之暗信號或估計之暗信號來補償。在根據本發明之另一具體例中，異常暗信號係藉由減去每一異常暗信號之平均暗信號值來補償。在根據本發明之又一具體例中，一中值或模式暗信號用來代替每一異常暗信號。或者，在根據本發明之另一具體例中，每一異常暗信號可被丟棄，且行偏移修正係以較少暗信號來確定。根據本發明之其他具體例可使用與本文中所描述之技術不同的技術來補償異常暗信號。
接著使用在全域偏移窗內之暗信號來確定適當之行偏移修正(區塊708)。舉例而言，在區塊708處確定初始行偏移修正(在圖4中之區塊404)或行偏移修正(圖6A中之區塊604)。且在根據本發明之具體例中，取決於自暗參考像素讀出之暗信號的數目，經更新之行偏移修正(圖6B中之區塊618)亦可使用在全域偏移窗內之信號來確定。
接下來，在區塊710處，作出關於是否已對給予數目的暗參考像素進行讀出的判定。在根據本發明之一個具體例中，暗參考像素之給予數目係基於經縮放之行偏移或經更新之行偏移的信賴等級。或者，暗參考像素之給予數目係基於參考圖6中之區塊612所描述的因素。
若尚未達到暗參考像素之給予數目，則繼續使用全域偏移窗來確定異常暗信號。當已對給予數目的暗參考像素進行讀出時，該方法在區塊712處繼續，在區塊712處確定像素陣列中之每一行的區域偏移窗。在根據本發明之具體例中，一區域偏移窗識別像素陣列中之一行的可接受暗信號之範圍。在根據本發明之具體例中，一區域偏移窗的可接受暗信號之該範圍係基於自此行讀出之暗信號。僅舉例而言，該區域偏移窗可基於此行之平均暗信號值。
接著自每一行像素中之給予數目的暗參考像素讀出暗信號，且分析該等暗信號以判定該等暗信號是否在一各別區域偏移窗內(區塊714)。在區塊716處作出關於來自每一行之 一或多個暗信號是否在與此行相關聯之區域偏移窗外部的判定。若是，則在區域偏移窗外部之暗信號為異常暗信號。在根據本發明之具體例中，補償該等異常暗信號，以使得用以確定行偏移修正(圖4中之區塊404及圖6A中之區塊604)或經更新之行偏移修正(圖6A中之區塊618)的所有暗信號在其各別區域偏移窗內(區塊718)。異常暗信號可藉由使用結合區塊706所描述之技術來補償。
接著使用在區域偏移窗內之暗信號來確定適當之行偏移修正(區塊720)。在根據本發明之一個具體例中，在區塊720處確定行偏移修正(圖6A中之區塊604)或經更新之行偏移修正(圖6B中之區塊618)。接下來，在區塊722處，作出關於是否將更新一或多個區域偏移窗的判定。若否，則該方法返回至區塊714。
當將更新一或多個區域偏移窗時，產生一或多個經更新之區域偏移窗，如區塊724中所展示。在根據本發明之具體例中，該區域偏移窗係藉由分析自一行讀出之暗信號且將其與一區域偏移窗中所包括之可接受暗信號的範圍進行比較來更新。可接受暗信號之範圍係基於自該行讀出之暗信號的位準來調整。在根據本發明之一或多個具體例中，可接受暗信號之範圍可增加、減小、最小及最大暗信號改變，或此等各者之組合可用以更新區域偏移窗。
在區塊726處可將經更新之區域偏移窗儲存於記憶體 中。該方法接著返回至區塊714。
根據本發明之具體例不限於圖7A及7B中所展示之區塊及區塊之次序。根據本發明之其他具體例可執行額外步驟，不執行該等區塊中之一些步驟，或同時地執行該等步驟中之一些步驟。僅舉例而言，在根據本發明之其他具體例中，區塊726並不必須加以執行。
現參看圖8，展示根據本發明之具體例中的用以描繪區域偏移窗的自每一行讀出之暗信號的例示性圖。多個暗信號800係自像素陣列中之每一行(C0 、C1 、……、CN )讀出。區域偏移窗802、804、806、808、810係針對該等行(C0 、C1 、……、CN )而確定。每一區域偏移窗界定其各別行的可接受暗信號之範圍。行C0 之區域偏移窗802針對此行具有最大暗信號812及最小暗信號814。行C1 之區域偏移窗804針對此行具有最大暗信號816及最小暗信號818。類似地，行C2 、CN-1 及CN 之區域偏移窗806、808、810針對此等行分別具有最大暗信號820、822、824及最小暗信號826、828、830。
如圖8中所展示，該等行中之一些具有異常暗信號。行C0 具有一個異常暗信號832。行C2 及行CN-1 分別具有兩個異常暗信號834、836及838、840。行C1 及行CN 不具有任何異常暗信號。異常暗信號832、834、836、838、840可使用早先結合圖7A及圖7B所描述之技術來補償。
區域偏移窗802、804、806、808、810可使用本文中所描述之技術來調整。區域偏移窗係藉由調整可接受暗信號之範圍來更新。舉例而言，在根據本發明之一或多個具體例中，該範圍可增加、減小、最小及最大暗信號改變，或此等各者之組合可用以更新區域偏移窗。
100‧‧‧影像擷取裝置
102‧‧‧光
104‧‧‧成像級
106‧‧‧影像感測器
108‧‧‧處理器
110‧‧‧記憶體
112‧‧‧顯示器
114‧‧‧其他輸入/輸出裝置
200‧‧‧像素陣列
202‧‧‧感光像素
204‧‧‧暗參考像素
206‧‧‧不透明層或光屏蔽件
208‧‧‧行解碼器
210‧‧‧列解碼器
212‧‧‧數位邏輯
214‧‧‧行輸出電路
216‧‧‧類比前端電路
218‧‧‧記憶體
220‧‧‧控制暫存器
222‧‧‧縮放電路
224‧‧‧時序產生器
300‧‧‧類比至數位轉換器
302‧‧‧類比信號處理器
304‧‧‧可變增益放大器
306‧‧‧可變增益放大器
800‧‧‧暗信號
802‧‧‧區域偏移窗
804‧‧‧區域偏移窗
806‧‧‧區域偏移窗
808‧‧‧區域偏移窗
810‧‧‧區域偏移窗
812‧‧‧最大暗信號
814‧‧‧最小暗信號
816‧‧‧最大暗信號
818‧‧‧最小暗信號
820‧‧‧最大暗信號
822‧‧‧最大暗信號
824‧‧‧最大暗信號
826‧‧‧最小暗信號
828‧‧‧最小暗信號
830‧‧‧最小暗信號
832‧‧‧異常暗信號
834‧‧‧異常暗信號
836‧‧‧異常暗信號
838‧‧‧異常暗信號
840‧‧‧異常暗信號
參看以下圖式來更好地理解本發明之具體例。該等圖式之元件未必相對於彼此按比例繪製。
圖1為根據本發明之具體例中的影像擷取裝置之簡化方塊圖；圖2為根據本發明之具體例中的影像感測器106之俯視的方塊圖；圖3為圖2中所展示之類比前端電路216之方塊圖；圖4為根據本發明之具體例中的用於產生行偏移修正之第一種方法的流程圖；圖5為用於使用根據圖4中所展示之第一種方法產生之行偏移修正的第一種方法的流程圖；圖6A及圖6B描繪根據本發明之具體例中的用於產生及使用行偏移修正之第二種方法的流程圖；圖7A及圖7B說明根據本發明之具體例中的用於在產生行偏移修正時偵測異常暗信號且補償異常暗信號之方法的流程圖；及 圖8為根據本發明之具體例中的用以描繪區域偏移窗的自每一行讀出之暗信號的例示性圖。
800‧‧‧暗信號
802‧‧‧區域偏移窗
804‧‧‧區域偏移窗
806‧‧‧區域偏移窗
808‧‧‧區域偏移窗
810‧‧‧區域偏移窗
812‧‧‧最大暗信號
814‧‧‧最小暗信號
816‧‧‧最大暗信號
818‧‧‧最小暗信號
820‧‧‧最大暗信號
822‧‧‧最大暗信號
824‧‧‧最大暗信號
826‧‧‧最小暗信號
828‧‧‧最小暗信號
830‧‧‧最小暗信號
832‧‧‧異常暗信號
834‧‧‧異常暗信號
836‧‧‧異常暗信號
838‧‧‧異常暗信號
840‧‧‧異常暗信號

Claims (5)

  1. 一種用於補償一影像感測器中之行固定圖型雜訊的方法，該方法用以在產生行偏移修正時確定異常暗信號，其中該影像感測器包括配置成列及行以形成一像素陣列的複數個感光像素及複數個暗參考像素，該方法包含：獲得該像素陣列中之所有行的一全域偏移窗，其中該全域偏移窗界定所有該等行的一可接受之最大暗信號及一可接受之最小暗信號；自每一行中之給予數目的暗參考像素讀出一暗信號；判定來自每一行之該等暗信號中之一或多個是否在該全域偏移窗外部，且若在該全域偏移窗外部，則補償在該全域偏移窗外部之每一暗信號；使用在該全域偏移窗內之暗信號來確定每一行之一行偏移修正；及在已自該像素陣列讀出給予數目的暗信號之後，確定該像素陣列中之每一行的一區域偏移窗，其中該區域偏移窗界定每一行的一可接受之最大暗信號及一可接受之最小暗信號。
  2. 如申請專利範圍第1項之方法，進一步包含：自每一行中之給予數目的暗參考像素讀出一暗信號；判定來自每一行之該等暗信號中之一或多個是否在一各別區域偏移窗外部，且若在各別區域偏移窗外部，則補償在該區域偏移窗外部之每一暗信號。
  3. 如申請專利範圍第1項之方法，其中，該可接受之最大暗信號係基於一先前量測到之最大暗信號且該可接受之最小暗信號係基於一先前量測到之最小暗信號。
  4. 如申請專利範圍第1項之方法，其中，補償在該全域偏移窗外部之每一暗信號包括以一先前之暗信號替代經判定為在該全域偏移窗外部之暗信號。
  5. 如申請專利範圍第1項之方法，其中，該給予數目的暗參考像素動態地基於該等暗參考像素之雜訊而改變。
TW099146549A 2009-12-31 2010-12-29 用於補償影像感測器中之行固定圖型雜訊的方法 TWI491254B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/655,560 US8269864B2 (en) 2009-12-31 2009-12-31 Generating column offset corrections for image sensors

Publications (2)

Publication Number Publication Date
TW201143410A TW201143410A (en) 2011-12-01
TWI491254B true TWI491254B (zh) 2015-07-01

Family

ID=43607957

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099146549A TWI491254B (zh) 2009-12-31 2010-12-29 用於補償影像感測器中之行固定圖型雜訊的方法

Country Status (6)

Country Link
US (1) US8269864B2 (zh)
EP (1) EP2519932B1 (zh)
CN (1) CN102713970B (zh)
HK (1) HK1176447A1 (zh)
TW (1) TWI491254B (zh)
WO (1) WO2011082120A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8659694B2 (en) * 2009-12-31 2014-02-25 Omnivision Technologies, Inc. Pausing column readout in image sensors
US8199225B2 (en) * 2009-12-31 2012-06-12 Omnivision Technologies, Inc. Generating column offset corrections for image sensors
US8525910B2 (en) * 2009-12-31 2013-09-03 Omnivision Technologies, Inc. Suspending column readout in image sensors
US8228403B2 (en) * 2009-12-31 2012-07-24 Omnivision Technologies, Inc. Generating column offset corrections for image sensors
JP5632703B2 (ja) * 2010-10-21 2014-11-26 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP5631153B2 (ja) 2010-10-21 2014-11-26 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP5871496B2 (ja) * 2011-06-24 2016-03-01 キヤノン株式会社 撮像装置及びその駆動方法
US9135680B2 (en) * 2011-09-08 2015-09-15 Bae Systems Information And Electronic Systems Integration Inc. Method for reducing row and column noise in imaging systems
KR101925387B1 (ko) * 2012-03-20 2018-12-05 삼성전자주식회사 이미지 촬영 장치 및 이미지 촬영 장치의 신호 보정 방법
TWI514876B (zh) * 2013-09-18 2015-12-21 Silicon Optronics Inc 影像感測器及其補償方法
CN105981370B (zh) 2014-02-07 2019-07-19 拉姆伯斯公司 馈通补偿图像传感器
US20150281606A1 (en) * 2014-03-31 2015-10-01 Samsung Electronics Co., Ltd. Dark signal modeling
CN104125421B (zh) * 2014-07-02 2018-08-14 江苏思特威电子科技有限公司 Cmos图像传感器及其行噪声校正方法
CN112040151A (zh) * 2019-06-04 2020-12-04 比亚迪股份有限公司 图像噪声处理方法、装置、图像传感器及存储介质
CN111447426B (zh) * 2020-05-13 2021-12-31 中测新图(北京)遥感技术有限责任公司 一种影像色彩校正方法以及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7564489B1 (en) * 2005-02-18 2009-07-21 Crosstek Capital, LLC Method for reducing row noise with dark pixel data

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5969758A (en) 1997-06-02 1999-10-19 Sarnoff Corporation DC offset and gain correction for CMOS image sensor
US20030202111A1 (en) * 2002-04-30 2003-10-30 Jaejin Park Apparatus and methods for dark level compensation in image sensors using dark pixel sensor metrics
US6903670B1 (en) * 2002-10-04 2005-06-07 Smal Camera Technologies Circuit and method for cancellation of column pattern noise in CMOS imagers
US20040189836A1 (en) * 2003-03-25 2004-09-30 Spears Kurt E. System and method for compensating for noise in image information
DE60334777D1 (de) 2003-05-08 2010-12-16 St Microelectronics Res & Dev Verfahren und Vorrichtung zur Entfernung von Spaltenfestmusterrauschen in Festkörperbildsensoren
US7372484B2 (en) * 2003-06-26 2008-05-13 Micron Technology, Inc. Method and apparatus for reducing effects of dark current and defective pixels in an imaging device
JP4331553B2 (ja) * 2003-09-17 2009-09-16 オリンパス株式会社 撮像装置
JP2006025148A (ja) 2004-07-07 2006-01-26 Sony Corp 信号処理装置及び方法
US7602438B2 (en) * 2004-10-19 2009-10-13 Eastman Kodak Company Method and apparatus for capturing high quality long exposure images with a digital camera
KR100530257B1 (ko) * 2005-04-26 2005-11-22 엠텍비젼 주식회사 이미지 센서에서의 암 전류에 의한 노이즈 제거 방법 및장치
JP4351658B2 (ja) * 2005-07-21 2009-10-28 マイクロン テクノロジー， インク． メモリ容量低減化方法、メモリ容量低減化雑音低減化回路及びメモリ容量低減化装置
JP2007053691A (ja) * 2005-08-19 2007-03-01 Micron Technol Inc サブｌｓｂを用いた拡張デジタルデータ路構造
US8081837B2 (en) * 2006-02-07 2011-12-20 Intel Corporation Image sensor array leakage and dark current compensation
JP4424753B2 (ja) * 2007-12-28 2010-03-03 キヤノン株式会社 固体撮像装置及びその駆動方法
US8665350B2 (en) 2008-05-08 2014-03-04 Altasens, Inc. Method for fixed pattern noise (FPN) correction
JP5335327B2 (ja) * 2008-08-29 2013-11-06 キヤノン株式会社 欠陥検出補正装置及び欠陥検出補正方法
US8094215B2 (en) * 2008-10-02 2012-01-10 Altasens, Inc. Digital column gain mismatch correction for 4T CMOS imaging systems-on-chip
US8228403B2 (en) * 2009-12-31 2012-07-24 Omnivision Technologies, Inc. Generating column offset corrections for image sensors
US8199225B2 (en) * 2009-12-31 2012-06-12 Omnivision Technologies, Inc. Generating column offset corrections for image sensors

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7564489B1 (en) * 2005-02-18 2009-07-21 Crosstek Capital, LLC Method for reducing row noise with dark pixel data

Also Published As

Publication number Publication date
EP2519932A1 (en) 2012-11-07
HK1176447A1 (zh) 2013-07-26
WO2011082120A1 (en) 2011-07-07
TW201143410A (en) 2011-12-01
CN102713970A (zh) 2012-10-03
US20110157435A1 (en) 2011-06-30
US8269864B2 (en) 2012-09-18
CN102713970B (zh) 2015-03-25
EP2519932B1 (en) 2017-07-26

Similar Documents

Publication Publication Date Title
TWI491254B (zh) 用於補償影像感測器中之行固定圖型雜訊的方法
TWI493970B (zh) 用於確定影像感測器之行偏移校正的方法
CN100393109C (zh) 信号处理装置及方法
KR20060049870A (ko) 촬상 장치 및 신호 처리 방법
TWI454143B (zh) 用於確定影像感測器之行偏移校正的方法
JP4379230B2 (ja) 固体撮像素子装置及び信号処理方法
KR20080103454A (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 장치 및 신호처리 방법과 촬상 장치
KR101556468B1 (ko) 고체 촬상 장치 및 카메라
JP2008306565A (ja) 撮像装置及びその信号補正方法
JP5489739B2 (ja) 信号処理装置、撮像装置、及び信号処理方法
US11336846B1 (en) CMOS image sensor with image black level compensation and method
WO2020246060A1 (ja) 画像生成方法、撮像装置、及び、プログラム
JP2007081453A (ja) 撮像装置及び信号処理方法並びにプログラム
JP5737924B2 (ja) 撮像装置
JP4952548B2 (ja) ノイズ検出装置、撮像装置、およびノイズ検出方法
JP5094248B2 (ja) 光電変換装置の駆動方法及び撮像システム
JP2018133685A (ja) 撮像素子、その制御方法、および制御プログラム、並びに撮像装置
JP2024071225A (ja) 撮像装置及びその制御方法
JP2006261932A (ja) 固体撮像装置、固体撮像システム及び固体撮像装置の黒レベル設定方法
JP2006108880A (ja) 撮像装置
JP2013106098A (ja) 撮像装置