TW200939741A - White/black pixel correction in a digital image sensor - Google Patents

Description

200939741 九、發明說明： 【發明所屬之技術領域】 本發明大致上係關於影像感測器，且特定言之但非唯一 地’本發明係關於在一影像感測器中之白/黑像素缺陷校 正0 【先前技術】 在半導體處理中的最近製造改良已顯著減少發生於任何 特定半導體器件中之缺陷的數量，但在每個製程中固有之 ❹ ㈣使得不可能完全消除缺陷。因此，不管製程如何好， 缺陷繼續存在於已製成之半導體器件中。若一缺陷是嚴重 的，則通常必須丟棄所形成之器件，導致產量減少及成本 增加。但若缺陷較小，常可藉由在半導體器件本身上運行 的電路或邏輯或藉由來自半導體器件之信號之後端處理而 對其補償。 在影像感測器中，一常見類型之製造缺陷被稱為白/里 e 料缺陷。影像感測器典型地包括-陣狀個別像素，該 等像素由於入射於像素上之光而收集電荷。當一特定之像 素輸出—與其他附近像素所輸出之信號實質上不同的信號 =發生白/黑像素缺m，若m像素輸出丄 於黑色之信號（即，—極低強度之信號）而周圍像素之 二或所有輸出對應於白色之信號(即，一極高強度之信 陷 了能原因係冑出該低強度信豸之像素中之某一缺 幸運的是’除非有大叢集之㈣的有缺陷像素，否則可 135605.doc 200939741 對白/黑像素缺陷進行補償。然而，補償於白/黑像素缺々 之現有方法係緩慢及效率低的並使用計算資源，藉;缺陷 影像感測器之影像揭取及降低其性能^ 漫 【實施方式】 此處描述用於一影像感測器中之白/黑像素校正的一裝 置、系統及方法之實施例。在下列描述中，料許多特— 細節以提供對本發明之實施例的一徹底瞭解。然而，熟2 相關技術者將認知本發明可在無該等特定細節中之—個^ 多個之情況下實踐，或用其他方法、組件、材料等等； 踐。在其他實例中，未顯示或未詳細描述已熟知之結構、 材料或操作，但其等均包含於本發明之範疇内。 ❹ 在本說明書各處，對"一個實施例"或”一實施例"之參考 表示結合該實施例描述之一特定特徵、結構或特性被包括 於本發明之至少一個實施例中。因此，在本說明書中，片 語"在-個實施例中"或”在一實施例中"的出現不必全指相 同之實施例。此外，該等特㈣徵、結構或特性可以任何 合適之方式組合於一個或多個實施例中。 圖1緣示用於白/黑像素校正之一裝置100的一實施例。 裝置100包括-影像感測器102’該影像感測器1〇2包含一 像素陣列H)4及-動態像素校正電路11〇。像素陣列1〇4係 二維的並包括以列106及行108配置之複數個像素。在像素 陣列104操作以擷取一影像期間，陣列中之每一像素在一 特定曝光週期期間擷取入射光（即，光子）並將收集之光子 轉換為-電荷。藉由每一像素產生之電荷可作為一類比信 135605.doc 200939741 號讀出，且該類比信號之一特性諸如其電荷、電壓或電流 將代表在該曝光週期期間入射於該像素上之光的強度。 所繪示之像素陣列104係被規則地塑形，但在其他實施 例中，該陣列可具有一不同於所示的規則或不規則之配 - 置，或可包括比所示之更多或更少之像素、列及行。此 外，在不同實施例中，像素陣列104可為一彩色影像感測 器，其包括經設計用以操取光譜之可見部分中之影像的紅 色、綠色及藍色像素，或可為一黑白影像感測器，及/或 為一經設計用以擷取光譜之不可見部分諸如紅外線或紫外 線中之影像的影像感測器。 使用像素陣列104擷取一影像之後，陣列中之像素之一 個或多個可展現一潛在的白/黑像素缺陷。一特定之像素 是否展現一潛在的白/黑像素缺陷係藉由比較來自該像素 之信號的強度與來自其周圍之像素之至少一個之信號的強 度而決定。因此，在像素陣列1〇4内，像素D具有一潛在的 φ 白/黑像素缺陷，若其強度明顯不同於周圍像素1_8中之一 個或多個的強度。稱像素D具有_潛在的白/黑像素缺陷是 因為’在-些情況下，像素D與周圍像素丨_8之間之強度的 I異實際上可能不是-缺陷，而可能是藉由像素陣列ι〇4 肖取之影像的-真實屬性1例而言，若像素陣列ι〇4係 用於擷取一在亮與暗區域之間具有突發及/或高頻率變化 之物件的一影像，則像素D與其周圍像素之間之差異可能 係該場景之一正確的擷取特性而非一缺陷之結果。 缺陷像素檢測電路丨09被耦合至像素陣列1〇4並包括電路 135605.doc 200939741 及相關聯之邏輯以接收來自像素陣列丨〇4内之個別像素之 每一者的輸出。缺陷像素檢測電路1〇9分析來自像素陣列 104之類比輸入以檢測潛在的白/黑像素缺陷。缺陷像素檢 測電路109係藉由比較來自該像素之信號的強度與來自其 周圍之像素之至少一個之信號的強度而決定一潛在的白/ 黑像素缺陷的存在。因此，在像素陣列i 〇4内，像素β具有 一潛在的白/黑像素缺陷，若其強度明顯不同於周圍像素^ _ 8中之一個或多個的強度。

動態像素校正電路110被耦合至缺陷像素檢測電路1〇9， 並使用電路及其中存在之邏輯以嘗試校正藉由缺陷像素檢 測電路109所識別之潛在的白/黑像素缺陷。藉由動態像素 校正電路110施加之校正在不同實施例中可不同地實現。 在-個實施例中，像素D之值係藉由用其相鄰之像素Μ中 之-個的值替換其而校正。其他實施例可具有更複雜之校 正方案°舉例而言’在—個實施例中，像素D之-值可使 用一線性内插法或某-更高階内插法從周圍像素1·8中之 -些或所有之值而⑽4另-實财，像素k值可用 周圍像素1.8之-平均值或加權平均值#換^另外盆他 實施例中，像素D可基於不同於相鄰像素丨_8或除相鄰像素 Μ外的像素而校正。在-些實施例中，動態像素校正電 路110無從知道—料像素D是否真正有缺陷。因此，在一 2施例中’動態像素校正電路11〇對每一可能有缺陷之 像素D施加-校正’不管真正有無缺陷。 雖然在圖式中動態像素校正電路11〇係顯示為與像素陣 135605.doc 200939741 列104分離之一元件，在一些實施例中，動態像素校正電 路110可與像素陣列104整合於相同之基板上或可包含電路 及邏輯於該像素陣列内。然而，在其他實施例中，動態像 素校正電路110可係在像素陣列1〇4之外部之一元件如圖 中顯示。在另外其他實施例中，動態像素校正電路不僅可 為在像素陣列1〇4之外部之一元件，亦可為在影像感測器 102之外部之一元件。 信號調節器112被耦合至影像感測器1〇2以接收及調節來 自像素陣列104及動態像素校正電路11()之類比信號。在不 Π之實施例中，k號調即器112可包括不同之組件以用於 調節類比信號。在信號調節器中可找到之組件的實例包括 慮波器、放大器、偏移電路、自動增益控制器等等。 類比至數位轉換器（ADC)114被耦合至信號調節器112以 接收來自信號調節器112之對應於像素陣列丨〇4中每一像素 的已調節類比信號，並將此等類比信號轉換為數位值。 數位信號處理器（DSP)116被耦合至類比至數位轉換器 114以接收來自ADC 114之數位化像素資料並處理該數位資 料以產生一最終數位影像。DSp 116包括一處理器117，該 處理器117可將資料儲存於一記憶體118中及提取該記憶體 118中之資料，該記憶體118中可儲存一資料結構12〇，該 資料結構120包括像素陣列104内已知有缺陷之像素的有關 資訊。在所繪示之實施例中，記憶體n 8被整合於DSp u 6 之内’但在其他實施例中，記憶體丨丨8可為耦合至DSp 1 i 6 的一分離之元件。處理器117可執行多種功能，包括處理 135605.doc -10- 200939741 像素、與像素識別符係在資料結構120中之像素對比以交 又檢查像素，等等。 資料結構120可為可保持必需之像素資料的任何種類之 資料結構；所使用之資料結構的確切種類將取決於為裝置 100所設定的操作需求。在一個實施例中，資料結構j 2〇可 為一查對表’但在其他實施例中，資料結構12 〇可為更複 雜之事物諸如一資料庫。資料結構12〇中列出之缺陷像素 係藉由像素陣列10 4内之缺陷像素的位置而識別。在所緣 示之實施例中，缺陷像素在資料結構丨2〇中係藉由一像素 識別符以識別，該像素識別符包括一對編號〗及j，其等表 示像素陣列104内之缺陷像素的列及行。然而，在其他實 施例中，在資料結構12 0中可使用其他方法以識別缺陷像 素。舉例而言，在其中像素陣列104具有個別地可定址之 像素的一實施例中，資料結構12〇可含有缺陷像素之位址 以代替其等在像素陣列内之列/行座標（I，J)。資料結構 120中之項目可在裝置1〇〇之一初始校準期間產生，如下文 結合圖2描述的。 圖2緣示用於校準一白/黑像素缺陷校正裝置1〇〇諸如圖1 中顯不之裝置之一處理過程200的一實施例。在方塊2〇2開 始，關閉在圖1之實施例中之動態像素校正方塊11〇所實施 之動癌像素校正’以使其在校準期間不校正或嘗試校正任 何可能有缺陷之像素。在方塊204，建立一均勻黑色目標 或一均勻白色目標，以使該目標之一影像可藉由影像感測 器1 02内之像素陣列1 〇4所擷取。在一個實施例中整個校 135605.doc • 11 · 200939741 準200最初可用一白色目標實現且其後用一黑色目標重 ，反之亦然，但在其他實施例中，該校準可用一白色目 標或-黑色目標中之唯一 一個而實現。在方塊2〇6，該目 標之一影像係藉由影像像素陣列刚操取，及在方塊2〇8, 來自像素陣列之類比像素資料被數位化。

在方塊21 〇，分析個別像素的數位值以認出有缺陷之像 素。在一個實施射，丨認出有缺陷之像★，將每一像素 之值與相鄰像素比較。因為影像被擷取之目標係均勻地黑 色或均勻地自色’像素p車列1G4中所有像素的數位值應係 相同的。若一像素之數位值與其相鄰之像素的數位值之間 有一大的差異，則上述之像素幾乎肯定是有缺陷的。因 此，若一像素之值實質上高於其相鄰像素之一個或多個 (對於-使S -均勾地黑色目標之校準）或實質上低於其相 鄰像素之一個或多個（對於一使用一均勻地白色目標之校 準）’則認為該像素有缺陷。在其他實施例中，可使用適 於決定一像素是否有缺陷的其他方法。 右由於方塊210之像素分析而在方塊212找到一有缺陷之 像素，則在方塊214將該有缺陷之像素的位置添加至DSp 116中的資料結構120。在一個實施例中，缺陷像素的位置 係藉由將其像素識別符一在一個實施例中，該像素的列及 行座標一放入一缺陷像素查對表中而記錄，但在其他實施 例中，其可與上述之不同地實現。在於方塊214將一有缺 陷之像素的位置添加至資料結構12〇之後，如方塊216，該 處理過程檢查是否有更多像素待分析。若有，該處理過程 135605.doc -12- 200939741 返回至方塊21〇並分析下一像素；若無（即，若像素陣列 104中之所有像素已被分析），該處理過程繼續進行至方塊 218，在方塊218該校準檢查看是否有更多校準目標將用於 該校準；如上文註釋的’若初始校準係用一黑色目標實 現，其可用一白色目標重複，反之亦然，以識別更多有缺 陷之像素。 若在方塊218中另一目標將用於校準，則該處理過程返 回至方塊204 ’在該方塊204新目標被建立，並為該新目標 從頭繼續進行方塊206-216。若在方塊218無額外校準目 標’該處理過程移至方塊220，在該方塊220中動態像素校 正被重新開啓以使其可在操作期間校正任何可能有缺陷之 像素。該處理過程繼續進行方塊222，在該方塊222校準停 止。 圖3繪示用於操作一白/黑像素缺陷校正裝置1〇〇諸如圖1 中顯示之裝置之一處理過程300的一實施例》在方塊3〇2， 影像感測器102被用於擷取某一場景或物件之一影像。在 方塊302之影像操取之後’在方塊3 〇4中，動態像素校正方 塊110分析來自像素陣列104内之個別像素的類比信號，以 識別潛在的白/黑像素缺陷β若由於在方塊3 〇4之像素分析 而在方塊306找到一可能有白/黑缺陷之像素，則在方塊 308中該可能有缺陷之像素係藉由如上文所述之動態像素 校正電路110而校正。 在方塊3 1 0，自影像感測器1 〇2所接收之類比像素資料被 數位化。在像素資料被數位化之後，在方塊312中將每一 135605.doc 13 200939741 像素之像素識別符與資料結構120中之像素識別符對比， 交叉檢查看是否將其識別為一有缺陷之像素。若由於在方 塊312之交叉檢查而在方塊314中找到一有缺陷之像素，則 在方塊316中該有缺陷之像素係藉由如上文所述之DSP 116 而校正。在方塊318，該處理過程檢查是否剩下任何像 素’該等像素係未與資料結構120中列出之缺陷像素對比 而交叉檢查及若需要則被校正。若在方塊318剩下有未被 交叉檢查之像素，則該處理過程返回至方塊312及交叉檢 ® 查任何剩餘之像素。若在方塊318沒有剩下要交叉檢查的 任何像素，該處理過程繼續進行至方塊32〇，在該方塊32〇 完成藉由DSP 116之處理。 圖4繪示一成像系統4〇〇之一實施例，該成像系統4〇〇利 用一白/黑像素校正裝置諸如圖丨中描述之白/黑像素校正裝 置100。光學器件402，可包括折射、繞射或反射光學器件 或其等之組合，其等被耦合至影像感測器1〇2以將一影像 φ 聚焦於像素陣列104中的像素上。像素陣列104擷取該影像 及裝置100之剩餘部分如上文結合圖〗及3描述的處理來自 該影像之像素資料。一旦任何缺陷像素資料已被校正，最 終數位影像資料可從DSP116輸出至一顯示單元概及一記 憶體或儲存單元404中之一者或-者。 本發明之所說明的實施例之上文描述，包括在摘要中描 述的，並不意欲具詳盡性或將本發明限制於所揭示之精確 形式。雖然為說明性目的而在此處描述本發明之特定實施 例及實例但在本發明之内可有多種等效修飾，如熟 135605.doc 200939741 悉相關技術者將認知的。根據上文詳細描述可對本發明做 出此等修飾。 不應將下列請求項中所使用之術語視為將本發明限制於 說明書及中請專利範圍中揭示之特定實施例。確切而山 本發明之範㈣完全藉由下列請求項決定，應根據申;專 利範圍解釋之已建立準則以解讀該等請求項。 【圖式簡單說明】 Φ 本發明之非限制及非詳盡實施例係參考下列圖式心 述，其中除非另有指定，不同視圖各處相同參考數字係^ 相同部分^ ” ，係一白/黑像素校正裝置之-實施例的-示意方塊 圖。 圖2係用於校準一白/黑像素校 „», ▼仅止裝置諸如圖1中顯示之 裝置之4理過程的一實施例之一流程圖。 圖3係繪示用於操作一白/里 -,# ^ ^ .，、、像素扠正裝置諸如圖1中顯 不之裝置之-處理過程的一實施例之—流程圏。 ♦= 一成白像:統之一實施例的—示意方塊圓，該成像 系統使用-白/黑像素校正裝置諸如I中顯 【主要元件符號說明】 置 100 白/黑像素缺陷校正裝置 102 影像感測器 104 像素陣列 106 像素陣列104之列 108 像素陣列104之行 I35605.doc -15- 200939741 109 缺陷像素檢測電路 110 動態像素校正電路 112 信號調節器 114 類比至數位轉換器 116 數位信號處理器 117 處理器 118 記憶體 120 資料結構 400 成像系統 402 光學器件 404 記憶體或儲存單元 406 顯示單元 參 135605.doc -16-

Claims (1)

1. 200939741 十、申請專利範圍： 一種裝置，其包含： —影像感測器，其包含： —像素陣列，其包括複數個像素； 檢測電路，其被耗合至該像素陣列以檢測該像素 陣列中之潛在的白/黑像素缺陷；及 校正電路，其被耦合至該檢測電路以校正藉由該 2測電路所檢測之潛在的白/黑像素缺陷；及 :數位信號處理器’其_合至該影像㈣器該數 位信號處理器包含： 记憶體’其中具有該像素陣列中之有缺陷像素的 一清單；及 -處理器，其被耦合至該記憶體以與該有缺陷像素 之清單對比以交又檢查每一像素並校正在該有缺陷像 素之清單中找到的每一像素之數位值。 2. 3, 4. 如清求項1之裝置’其中該有缺陷像素之清單係保留在 該數位信號處理器中之一資料結構中。 如請求項2之裝置，其中該資料結構為一查對表。 如清求項1之裝置，其中檢測一潛在的白/黑像素缺陷包 含將一像素之強度與至少-個相鄰像素之強度進行比 較0 5.如請求項4之裝置’其中校正一潛在的白/黑像素缺陷包 含用—基於至少-個相鄰像素之類比值的類比值替換該 可能有缺陷之像素的該類比值。 135605.doc 200939741 月求項1之裝置，其進一步包含一被耦合至該影像感 該數位k號處理器的類比至數位轉換器。 /求項6之裝置，其進一步包含一被耦合至該影像感 J器及”亥類比至數位轉換器的信號調節器。 8. —種方法，其包含： 識別-像素陣列内具有—潛在的白/黑像素缺陷之像 素； 校正具有一潛在的白/黑像素缺陷之該等像素； 與一有缺陷像素之清單對比，交又檢查每一像素；及 校正在該有缺陷像素之清單上找到的每一像素之該數 位值。 求項8之方法’其中識別具有一潛在的白/黑像素海 陷之像素包含：將來自每一像素之類比信號的強度與身 自至少—個相鄰像素之該類比信號的該強度進行比較。 10.求項8之方法，其中校正—潛在的白/黑像素缺陷包 〇 .用一基於至少一個相鄰像素之類比值的類比值替賴 該像素的該類比值。 11·如請求項8之方法，其中與該有缺陷像素之清單對比的 父錢查包含搜尋-資㈣構中之—像素識別符。 12·如請求仙之方法，其中該資料結構為—查對表。 13. —種系統，其包含： 一光學元件； 一影像感測器，其包含： —像素陣列，其包括複數個像素； 135605.doc 200939741 一檢測電路，其被耦合至該像素陣列以檢測該像素 陣列中之潛在的白/黑像素缺陷；及 校正電路，其被耦合至該檢測電路以校正藉由該 檢測電路所檢測之潛在的白/黑像素缺陷；及 一數位信號處理器，其被耦合至該影像感測器，該數 位信號處理器包含： 一記憶體，其中具有該像素陣列中之有缺陷像素的 一清單；及 一處理器，其被耦合至該記憶體以與該有缺陷像素 之清單對比以交又檢查每一像素並校正在該有缺陷像 素之凊單中找到的每一像素之數位值；及 顯示單元及一儲存單元中之一者或二者，其等被耦 合至該數位信號處理器。 14. 如凊求項13之系統，其中已知有缺陷之像素的該清單係 保留在該數位信號處理器中之一資料結構中。 15. 如請求項14之系统，其中該資料結構為一查對表。 月求項13之系統，其中檢測一潛在的白/黑像素缺陷包 含將一像素之強度與至少一個相鄰像素之該強度進行比 較。 用长項13之系統，其中校正一潛在的白/黑像素缺陷包 基於至少一個相鄰像素之類比值的類比值替換該 像素的該類比值。 2求項13之系統，其進一步包含一被耦合至該影像感 、】器及”亥數位信號處理器的類比至數位轉換器。 135605.doc 200939741 19.如請求項18之系統，其進一步包含一被耦合至該影像感 測器及該類比至數位轉換器的信號調節器。 20·如請求項13之系統，其中該光學元件包含以下之一個或 多個：一折射、一繞射光學元件或一反射光學元件。

   135605.doc 4