TWI722934B - 具有自我測試黑色位準校正之影像感測器 - Google Patents

具有自我測試黑色位準校正之影像感測器 Download PDF

Info

Publication number
TWI722934B
TWI722934B TW109122466A TW109122466A TWI722934B TW I722934 B TWI722934 B TW I722934B TW 109122466 A TW109122466 A TW 109122466A TW 109122466 A TW109122466 A TW 109122466A TW I722934 B TWI722934 B TW I722934B
Authority
TW
Taiwan
Prior art keywords
image
black level
image frame
imaging system
value
Prior art date
Application number
TW109122466A
Other languages
English (en)
Other versions
TW202110160A (zh
Inventor
葛伯 麥克斯
Original Assignee
美商豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商豪威科技股份有限公司 filed Critical 美商豪威科技股份有限公司
Publication of TW202110160A publication Critical patent/TW202110160A/zh
Application granted granted Critical
Publication of TWI722934B publication Critical patent/TWI722934B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一種成像系統包含一影像感測器及黑色位準校正(BLC)電路。該影像感測器包括經調適以回應於入射光而產生一影像信號之一影像像素陣列及經調適以產生表示該影像感測器之一黑色位準值之一黑色參考信號之一暗像素陣列。該BLC電路經調適以至少部分地基於該暗像素陣列之該黑色參考信號而調整該影像像素陣列之該影像信號。該BLC電路包括複數個量測電路，用於自該暗像素陣列讀出該黑色參考信號以判定該影像感測器之該黑色位準值。該BLC電路亦包括複數個計算電路，用於至少部分地基於根據該複數個量測電路判定之該黑色位準值而計算一BLC值。

Description

具有自我測試黑色位準校正之影像感測器
本發明大體上係關於影像感測器，且具體地但非排他性地說，係關於影像感測器之黑色位準校準。
影像感測器越來越普遍，現在廣泛用於數位相機、蜂巢式電話、安全相機，以及醫療、汽車及其他應用。隨著影像感測器被整合至更廣泛的電子裝置中並且其功能不斷擴展，希望藉由裝置架構設計以及藉由影像獲取後處理以儘可能多的方式增強影像感測器之效能度量(例如解析度、功耗、動態範圍等等)。
典型的影像感測器回應於自外部場景入射至影像感測器上之影像光而操作。影像感測器包括具有光敏元件(例如光電二極體)之像素陣列，該等光敏元件吸收入射影像光之一部分並在吸收影像光時產生影像電荷。可將每個像素之影像電荷量測為每個像素之輸出電壓，該輸出電壓依據入射影像光而變化。換言之，產生的影像電荷量與影像光之強度成比例，影像光用於產生表示外部場景之數位影像(亦即，影像資料)。然而，由於暗電流影響自影像感測器之各個像素量測之影像電荷(例如，使輸出電壓增加)，影像感測器可產生外部場景之不精確表示，此可能會阻礙影像感測器產生忠實再現外部場景之光學特性(例如，強度、顏色等)之數位影像。
本文描述用於自我測試黑色位準校正之設備、系統及方法之實施例。在下面的描述中，闡述了許多具體細節以提供對實施例之透徹理解。然而，熟習此項技術者將認識到，在沒有一或多個具體細節之情況下，或者在使用其他方法、組件、材料等之情況下，可實施本文所描述之技術。在其他情況下，未詳細示出或描述公知的結構、材料或操作以免使某些態樣模糊不清。
在整個本說明書中提到「一個實施例」或「一實施例」意味著結合該實施例描述之特定特徵、結構或特性包括在本發明之至少一個實施例中。因此，貫穿本說明書在不同位置中出現短語「在一個實施例中」或「在一實施例中」未必都係指同一個實施例。此外，在一或多個實施例中，特定特徵、結構或特性可以任何合適的方式組合。
貫穿本說明書，使用若干技術術語。除非在本文中特別定義，或其使用情境明顯表明其他情況，否則此等術語將採用其在其所出現之領域中之普通含義。應注意，元件名稱及符號在本文中可互換使用(例如Si與矽)；但是，兩者具有相同含義。
隨著時間之推移，影像感測器及/或其基礎組件、電路等可能遭受故障、劣化或其他錯誤，此等錯誤不一定會阻止影像感測器之操作，但在擷取數位影像或視訊時可能會對成像品質產生不利影響。例如，用於形成用於量測影像感測器之黑色位準值之暗像素陣列之遮光罩的劣化可導致不準確的暗電流量測。此種劣化或故障可能導致外部場景被不準確地渲染，因為成像時影像感測器之黑色位準可依據外部場景之特性(例如，白天及夜晚場景)、影像感測器之操作條件(例如，溫度、曝光持續時間等)等等而變化。
因此，對於任何影像感測器，尤其是負責在低光條件下提供成像之影像感測器，如汽車及監控影像感測器，理想的係具有清晰且準確的黑色位準，使得由影像感測器產生之數位影像或視訊忠實再現外部場景之光學特性。在由於低光條件而使曝光時間增加、溫度處於影像感測器操作範圍之高端的應用中，或者在其他具有低信雜比(例如，關於影像信號及黑色位準)之此類狀況中，暗電流之影響可變得明顯並且應該被準確地判定。否則可能會導致外部場景之不準確表示(例如，影像感測器之動態範圍可能減小，從而導致外部場景之細節模糊，諸如行人之位置、物體等)。
本文中描述可用於提供影像資料(例如，由影像感測器回應於入射光而產生之影像信號)之自我測試黑色位準校正的設備、成像系統及方法之實施例。詳言之，本發明之實施例提供綜合檢查及冗餘，其可有利地用於判定所量測之暗電流是否準確地表示影像感測器之黑色位準。確切而言，在實施例中，在對各個黑色位準量測電路、計算電路以及旋轉方案自身之自我測試故障或劣化進行黑色位準校正期間，利用重設及旋轉方案。在相同或其他實施例中，額外特徵可包括用於判定與影像感測器之不同顏色頻道相關聯的黑色位準值之間的差是否在頻道平衡臨限值內之頻道平衡檢查(channel balance check)、用於檢查黑色位準校正值之圖框間一致性的閃爍檢查(flicker check)，以及用於判定黑色位準值是否在基於影像感測器之操作參數之預期黑色位準範圍內的健全性檢查(sanity check)。有利的是，單獨地及/或共同地，本文中所描述的實施例之特徵可在利用影像感測器擷取數位影像或視訊時實現黑色位準校正之連續逐圖框自我測試。
圖1A示出包括影像像素陣列106之成像系統100的功能方塊圖，該影像像素陣列106光學耦接至彩色濾光片陣列112以擷取外部場景103之影像或視訊之數位影像或視訊。成像系統100之所示實施例包括像素陣列105、彩色濾光片陣列112、遮光罩114及控制器120。像素陣列105包括複數個單獨像素(例如，光電二極體、光感測器等等)，包括二維(「2D」)影像像素陣列106及暗像素陣列107，其共同地對應於成像系統100之影像感測器。在所示實施例中，包括在像素陣列105中與彩色濾光片112光學耦接但遮光罩114沒有遮住入射光之單獨像素之一部分形成影像像素陣列106。彩色濾光片陣列112包括複數個彩色濾光片(例如，紅色、綠色及藍色)以及全色濾光片(例如，無色、透明、不濾光等)，其分別與包括在像素陣列105中之像素中之至少單獨一個像素相關聯。換言之，影像像素陣列106以及暗像素陣列106中之每個像素可與成像系統100之顏色頻道(例如，紅色、綠色、藍色、全色)中之至少一者相關聯。更確切而言，彩色濾光片陣列112之該複數個彩色濾光片及全色濾光片以最小重複單元藉由平鋪方式配置(例如，所示出之RGBC，其對應於紅色、綠色、藍色及無色濾光片)，以形成影像像素陣列106之複數個像素群集。像素群集中之每一者可對應於影像像素陣列106中可用於產生共同表示外部場景103之影像信號的全色像素。
由影像像素陣列106產生之影像信號群組與像素群集中之各別一者相關聯。影像信號群組中之每一者包括複數個顏色信號及全色信號，其累積地表示對應像素群集之顏色及強度。像素群集中之每一者擷取包括在影像信號中之複數個顏色信號，該等信號以組合方式表示可見光之光譜。更確切而言，像素群集中之每一者之彩色濾光片包括至少一個濾光片，原色(例如，紅色、綠色及藍色)或次生色(例如，藍綠色、品紅色及黃色)濾光片中之每一者疊加地覆蓋可見光之光譜。在所示實施例中，影像像素陣列106中光學耦接至彩色濾光片陣列112之紅色濾光片(「R」)的單獨像素對應於紅色像素，並且擷取表示外部場景103中之紅色光之強度。類似地，光學耦接至藍色濾光片(「B」)或綠色濾光片(「G」)之單獨像素對應於藍色或綠色像素，並且分別擷取表示外部場景103之藍色或綠色光之強度的顏色信號。像素群集中之每一者亦包括光學耦接至全色濾光片(例如，無色、透明、不濾光)之至少一個單獨像素，該單獨像素擷取表示未濾光之可見光(例如，白色光)之光譜之強度的全色信號。因此，共同地，像素群集中之每一者擷取包括複數個顏色信號及全色信號之影像信號，其用於判定外部場景103之一部分的顏色及顏色強度。
應瞭解，特定彩色濾光片陣列112僅為說明性的，且不應被視為具有限制性。確切而言，RGBC彩色濾光片陣列僅僅為可根據本發明之教示內容實施的一個可能彩色濾光片陣列組態之實例。在其他實施例中，可利用單獨濾光片之不同配置，包括但不限於拜耳濾光片(例如，具有一個紅色、一個藍色及兩個綠色濾光片之2x2最小重複單元)、CYYM (例如，具有一個藍綠色、一個品紅色及兩個黃色濾光片之2x2最小重複單元)，或者一或多個濾光片之各種其他組合，以組成影像感測器及/或成像系統之一或多個顏色頻道(例如，紅色、綠色、藍色、全色、藍綠色、品紅色、黃色、紫外光、紅外光或其他)。又另外，應瞭解，在一些實施例中，成像系統105之影像感測器為只具有單個顏色頻道之單色影像感測器。另外，應注意，在一些實施例中，影像感測器不限於只表示電磁光譜之可見範圍的產生影像信號，並且在一些實施例中，成像系統100亦可包括在可見範圍之外的顏色頻道，包括但不限於紫外光範圍(例如，在10 nm與400 nm之間的波長)及/或紅外光範圍(例如，自700 nm至1 mm之波長)。
像素陣列105之暗像素陣列107光學耦接至遮光罩114，其中彩色濾光片陣列112之一部分安置在暗像素陣列107之單獨像素與遮光罩114之間。遮光罩114光學遮蔽(例如，藉由不透明金屬層或經結構化以在影像感測器之光譜回應範圍內具有大體上接近零透射光之其他材料)包括在暗像素陣列107中之單獨像素之至少光敏區，使其不曝露於入射光。暗像素陣列107基於暗像素陣列107內之單獨像素之暗電流而產生一或多個黑色參考信號，而並非基於入射光產生信號。換言之，黑色參考信號表示影像感測器及/或成像系統(亦即，像素陣列105)之可用於校正來自影像像素陣列106之影像信號的黑色位準值。在一些實施例中，黑色參考信號為多頻道信號，其中各個頻道中之每一者與成像系統105之對應顏色頻道相關聯。例如，在所示實施例中，彩色濾光片陣列112安置在暗像素陣列107與光學遮罩114之間，此意味著黑色參考信號可包括與紅色像素、綠色像素、藍色像素及全色像素之黑色位準值相關聯的各個頻道(亦即，包括在成像系統100之複數個顏色頻道中之對應顏色頻道)。一或多個黑色參考信號可隨後用於判定成像系統100之黑色位準值，以校正由影像像素陣列106 (例如，基於每一顏色頻道)產生之影像信號。
應瞭解，與成像系統100之該複數個顏色頻道中之每一者相關聯的暗電流預期係類似的。例如，儘管黑色參考信號可包括分別與成像系統100之特定顏色頻道相關聯的單獨頻道，但是由成像系統100擷取之特定影像圖框或曝光之黑色位準值可基於複合黑色參考信號(例如，在擷取影像圖框或曝光之特定時間黑色參考信號之各個頻道之平均值)而判定。有利的是，基於每一顏色頻道量測單獨像素之暗電流使得執行頻道平衡檢查能夠判定單獨顏色頻道中之每一者的黑色位準值之間的差(例如，比較)是否在頻道臨限值內，此可指示成像系統100之組件之故障或劣化。
圖1B示出根據本發明之教示內容之具有自我測試黑色位準校正的成像系統100之功能方塊圖的更詳細視圖。成像系統100之所示實施例包括像素陣列105、控制器120及警報器124。成像系統100亦包括彩色濾光片陣列112及遮光罩114 (如圖1A中所示)，其被省略以防使某些態樣模糊不清。像素陣列105包括影像像素陣列106及暗像素陣列107。控制器120包括處理器122、記憶體124、控制電路126、讀出電路128、功能邏輯130及黑色位準校正(BLC)電路132。BLC電路132包括路由電路131、量測電路133、頻道平衡檢查邏輯135、計算電路137、像素校正電路139及閃爍/健全性檢查邏輯141。
像素陣列105之所示實施例包括單獨像素之二維(「2D」)陣列，其形成影像像素陣列106及暗像素陣列107。如先前參考圖1A所描述，像素陣列105之單獨像素中定位成接收外部場景之入射光(亦即，未被遮光罩114遮擋，如圖1A中所示)之第一部分形成影像像素陣列106。影像像素陣列106之單獨像素被稱為「活動像素」或「影像像素」，且在圖1B中基於其在像素陣列105內之具體列及行位置而表示為AP1、AP2、AP3、……APn。確切而言，影像像素經調適以回應於入射光而擷取共同表示外部場景(例如，圖1A之外部場景103)之一或多個影像信號。像素陣列105之單獨像素中定位成大體上遮蔽入射光(例如，被圖1A中所示之遮光罩114遮蔽)之第二部分形成暗像素陣列107，其包括複數個單獨黑色參考像素(BP0、BP1、……BPn)，用於擷取表示成像系統100之黑色位準值之一或多個黑色參考信號。在一個實施例中，影像像素中之每一者為互動像素感測器，諸如互補金屬氧化物影像感測器像素。在一些實施例中，單獨黑色參考像素包括與活動像素對應物之結構類似或相同的結構，但是存在至少一處不同：其被擋光層(例如，圖1A所示之遮光罩114)遮蔽而無法接收光。
如圖1B中所示，像素陣列105中之單獨像素中之每一者配置成列(例如，列R1至Ry)及行(例如，行C1至Cx)。影像像素調適或以其他方式組態(例如，藉助曝露於入射光且光學耦接至彩色濾光片)成獲取外部場景(例如，人員、地點或物體)之影像資料(例如，影像信號)，影像資料接著可用於渲染外部場景之數位影像或視訊。但是，影像信號可至少部分地由於可在獲取影像資料時存在的暗電流而受影響。暗像素陣列107之單獨黑色參考像素配置成與影像像素相當類似的陣列，以在擷取外部場景之數位影像或視訊時擷取表示影像像素內之暗電流之一或多個黑色參考信號。在所示實施例中，單獨黑色參考像素表示為在影像像素陣列106上方之兩個列中對齊的BP0至BPm。單獨黑色參考像素遮光，並且可用於擷取用於判定成像系統100之黑色位準值之一或多個黑色參考信號。黑色參考信號可為多頻道信號，其中黑色參考信號之單獨頻道中之每一者與成像系統100之顏色頻道中之對應一者相關聯。例如，黑色像素「BP1」可光學耦接至紅色濾光片，此意味著與BP1相關聯的黑色位準值可隨後與成像系統100之紅色頻道相關聯。換言之，成像系統100之一或多個顏色頻道中之每一者之黑色位準值可根據黑色參考信號來判定，並用於影像信號之黑色位準校正。應瞭解，像素陣列105之所示組態僅僅為許多可能組態之一個實施例。在其他實施例中，暗像素陣列107可在像素陣列105之其他區域中形成，諸如像素陣列105之中心，或甚至沿著影像像素陣列106之兩個相對側面延行。在一些實施例中，暗像素陣列107可與影像像素陣列106共用公共列或行。
如所示出，當成像系統100正在擷取外部場景之數位影像或視訊時，可產生像素流108，其基於每一影像圖框(或在擷取多重曝光高動態範圍影像圖框之實施例中，基於每一曝光圖框)包括一或多個黑色參考信號109及一或多個影像信號110。黑色參考信號中之每一者可對應於影像圖框之黑色位準值。確切而言，黑色參考信號可包括分別與成像系統100之顏色頻道中之對應一者相關聯的一或多個單獨頻道(例如，基於定位在黑色參考像素與遮光罩之間的特定顏色)。暗像素陣列107之單獨黑色參考像素可產生暗電流或電壓值(例如，至少部分地基於在擷取影像圖框時黑色參考像素之電流-電壓曲線)，該值可隨後取平均或以其他方式用於判定成像系統100之影像圖框之顏色頻道中之每一者之黑色位準值。一或多個影像信號110可分別對應於影像像素陣列106之影像像素，該影像像素可累積表示外部場景中與成像系統100之顏色頻道相關聯的部分之光之強度之影像電荷(亦即，電壓/電流) (例如，至少部分地基於安置在單獨影像像素與外部場景之間的彩色濾光片之各別類型，如圖1A中所示)。
像素陣列105之單獨像素中之每一者可單獨進行尋址及讀出(例如，藉由讀出電路128及/或量測電路133)。在圖1B中之成像系統100之所示實施例中，連續讀出像素陣列105之每一列(例如，自R1至Ry)，首先讀出的黑色參考信號109隨後使用根據黑色參考信號109 (例如，自列R1及R2)判定之黑色位準值校正來自隨後列(例如，R3至Ry)之影像信號110。在其他實施例中，可利用全局快門(global shutter)，其中像素陣列105之單獨像素中之每一者同時讀出，因此黑色位準校正可在影像獲取之後校正。
控制器120包括用於控制成像系統100之各種組件之操作(例如，在影像及/或視訊獲取之前、之後及之中，包括但不限於黑色位準校正等等)之邏輯及/或電路。控制器120可實施為硬體邏輯(例如，特殊應用積體電路、場可程式化閘陣列、系統單晶片等)、在通用微控制器或微處理器上執行之軟體/韌體邏輯，或硬體及軟體/韌體邏輯兩者之組合。在一個實施例中，控制器120包括耦接至記憶體124之處理器122，該記憶體124儲存用於由控制器120或以其他方式由成像系統100之一或多個組件執行之指令。指令在由控制器120執行時可使成像系統100執行可與成像系統100之各個功能模組、邏輯區塊或電路相關聯的操作，包括控制電路126、讀出電路128、功能邏輯130、黑色位準校正電路132 (例如，路由電路131、量測電路133、頻道平衡檢查邏輯135、計算電路137、像素校正電路139及/或閃爍/健全性檢查邏輯141)、警報器124及成像系統100之任何其他元件(示出或未示出，例如耦接至警報器124之一或多個介面裝置)中之任一者或組合。記憶體為非暫時性電腦可讀媒體，其可包括但不限於可藉由控制器120讀取之揮發性儲存系統(例如，RAM)或非揮發性儲存系統(例如，ROM)。另外應瞭解，控制器120可為單片積體電路、一或多個離散互連電氣組件或其組合。另外，在一些實施例中，一或多個電氣組件可耦接至共同用作控制器120以安排成像系統100之操作的各種裝置。
在所示實施例中，控制器120之各個邏輯及/或電路模組122至141用於擷取外部場景之影像或視訊(例如，由各自與影像像素陣列106之對應像素相關聯的一或多個影像信號表示)，並且隨後至少部分地基於與根據暗像素陣列107之一或多個黑色參考信號判定之成像系統100之對應顏色頻道相關聯的黑色位準值針對每一像素校正影像信號中之一或多者。有利的是，基於每一像素之影像信號之校正係基於每一影像圖框進行自我測試(例如，使得所判定之黑色位準值之準確性增加)，使得劣化、電路故障、錯誤或其他不利條件可被偵測到。
控制電路126可控制影像像素陣列106及暗像素陣列107之操作特性(例如，曝光持續時間、何時擷取數位影像或視訊等等)。讀出電路128自單獨像素讀取或以其他方式取樣類比信號(例如，以擷取影像圖框)，並且可包括放大電路、類比數位(ADC)電路、影像緩衝器等等。在所示實施例中，讀出電路128包括在控制器120中，但是在其他實施例中，讀出電路128可與控制器120分離。功能邏輯130可儲存黑色參考信號、黑色位準值、黑色位準校正值、影像信號及/或經校正影像信號。在一些實施例中，影像信號及/或經校正影像信號可儲存為影像資料，並且可受功能邏輯130操控(例如，以應用後期影像效果，諸如裁剪、旋轉、移除紅眼、調整亮度、調整對比度等等)。
黑色位準校正(BLC)電路132提供影像信號110 (例如，由讀出電路128獲取)之自我測試黑色位準校正。路由電路131 (例如，一或多個多工器、解多工器、邏輯系統等等)向複數個量測電路(亦即，量測電路133)選擇性地及動態地指派黑色參考之單獨頻道及/或向複數個計算電路(例如，計算電路137)選擇性地及動態地指派所量測之黑色位準值。量測電路133包括該複數個量測電路(例如，可包括放大電路、ADC電路等等之讀出電路)，其可在擷取數位影像及/或視訊時分別用於取樣或以其他方式讀出黑色參考信號109。在一些實施例中，量測電路133可為讀出電路128之一部分或以其他方式包括在讀出電路128中。頻道平衡檢查邏輯135可耦接至警報器124，並用於檢查成像系統100之顏色頻道之間的經累積黑色位準(及零位準)值之差(例如，基於每一影像圖框)，並在任何(例如，兩個)頻道之間的差(例如，絕對差)高於經程式化臨限值(例如，頻道平衡臨限值)時確立錯誤標記(例如，由警報器124接收)。計算電路137包括複數個計算電路(例如，兩個或更多個)，用於基於每一顏色頻道或以其他方式計算影像信號中之每一者之黑色位準校正值。像素校正電路139用於至少部分地基於計算出之黑色位準校正值而調整(例如，校正)影像信號110。閃爍/健全性檢查邏輯141提供用於檢查黑色位準校正值之圖框間一致性的閃爍檢查以及用於基於成像系統100之操作參數(例如，曝光持續時間、溫度及增益)來驗證平均黑色位準值(例如，多個影像圖框及/或顏色頻道之黑色位準值之平均值)在預期範圍內之健全性檢查。
圖2為根據本發明之教示內容之示出可包括在圖1A至圖1B之成像系統100中的兩個四電晶體像素202 (像素Pa)及204 (像素Pb)之像素電路的電路圖200。像素Pa及Pb配置在兩個列及一個行中。像素電路200中之每個像素之所示實施例包括光電二極體PD、轉移電晶體T1、重設電晶體T2、源極隨耦器(「SF」)電晶體T3及選擇電晶體T4。在操作期間，轉移電晶體T1接收轉移信號TX，該信號回應於入射光將累積於光電二極體PD中之電荷轉移至浮動擴散節點FD。在一個實施例中，浮動擴散節點FD可耦接至用於臨時儲存影像電荷之儲存電容器(未示出)。重設電晶體T2耦接在電力軌VDD與浮動擴散節點FD之間，以在重設信號RST之控制下重設(例如，將FD放電或充電至預設電壓)。浮動擴散節點FD經耦接以控制SF電晶體T3之閘極。SF電晶體T3耦接在電力軌VDD與選擇電晶體T4之間。SF電晶體T3用作自像素提供高阻抗輸出之源極隨耦器。最後，選擇電晶體T4在選擇信號SEL之控制下選擇性地將像素電路200之輸出耦接至行讀出線路(亦稱為位元線或資料位元線)。自像素讀出至位元線上之資料為類比信號，其可由讀出電路(例如，圖1B之讀出電路128)、量測電路(例如，圖1B之量測電路133)等等接收以轉換成數位信號(例如，影像信號及/或黑色參考信號)。在一個實施例中，TX信號、RST信號及SEL信號由控制電路(例如，包括在圖1B中所示之控制器120中之控制電路126)產生。
圖3為根據本發明之教示內容之示出執行自我測試黑色位準校正之程序300的成像系統(例如，圖1A至圖1B中所示之成像系統100)的功能方塊圖。成像系統可對應於圖1A至圖1B中所示之成像系統100，並且可包括相同或類似特徵。圖3中示出了，像素陣列305為成像系統100之圖1A至圖1B之像素陣列105的一個可能實施方案。返回參考圖3，像素陣列305包括影像像素陣列306 (例如，其對應於圖1A至圖1B之影像像素陣列106)，包括複數個像素群集(例如，第一像素群集303)，其中影像像素陣列306之單獨影像像素(例如，圖1B之AP1、AP2、AP3、……APn)經調適以回應於入射光(亦即，影像像素流310)而產生表示外部場景之一或多個影像信號。像素陣列305亦包括暗像素陣列307 (例如，其對應於圖1A至圖1B之暗像素陣列107)，包括複數個黑色像素(例如，圖1B之BP1、BP2、……BPm)，經調適以產生表示與所擷取之影像圖框相關聯的成像系統之黑色位準值之黑色參考信號309。在所示實施例中，像素陣列305之單獨像素中之每一者耦接至彩色濾光片陣列(例如，圖1A之彩色濾光片陣列112)之單獨濾光片(例如，紅色、綠色、藍色及全色濾光片)，此意味著所產生之信號(例如，黑色參考信號309及包括在影像像素流310中之影像信號)分別與利用成像系統擷取之影像圖框之顏色頻道中之一者相關聯，並且可用於黑色位準校正。
像素陣列305之單獨像素及成像系統之顏色頻道之間的顏色頻道關係至少部分地基於覆疊在單獨像素及外部場景之間的彩色濾光片陣列(例如，其可對應於圖1A之彩色濾光片陣列112)。例如，在圖3所示之實施例中，成像系統具有四個顏色頻道(紅色、綠色、藍色及全色)。應瞭解，在一些實施例中，全色頻道可為成像系統之顏色頻道，但是最終可能並不作為黑色位準經校正影像之顏色頻道結束(例如，一旦影像信號被數位化、校正，並且可隨後在RGB顏色空間中變換)。彩色濾光片陣列具有形成複數個像素群集(例如，像素群集303)之最小重複單元，該等像素群集產生共同表示外部場景之一部分之全色光譜值的影像信號。在所示實施例中，利用RGBC彩色濾光片陣列，其中每個像素群集對應於單獨像素陣列，其包括緊靠彼此鄰近定位之至少一個紅色「R」像素、一個綠色「G」像素、一個藍色「B」像素及一個全色「C」像素(例如，第一像素群集303包含單獨像素之2x2陣列)。儘管影像像素陣列306之所示實施例包括具有2x2最小重複單元之RGBC彩色濾光片，但是應瞭解，亦可利用其他彩色濾光片陣列及最小重複單元(例如，具有單獨像素之2x4、4x4等陣列之最小重複單元的RGBC彩色濾光片陣列及具有例如藍綠色、品紅色、黃色、紫外光或紅外光濾光片等額外或其他濾光片之彩色濾光片陣列)。在一些實施例中，可存在與相同顏色頻道相關聯的成像系統之兩個顏色頻道。例如，在使用拜耳彩色濾光片之一個實施例中，可存在一個紅色、一個藍色及兩個綠色頻道。在其他實施例中，使用拜耳彩色濾光片之成像系統之顏色頻道可能只有一個紅色、一個藍色及一個綠色頻道(亦即，此兩個綠色與所讀出之相同顏色頻道相關聯)。還應瞭解，在一些實施例中，彩色濾光片陣列之最小重複單元可不必界定像素群集(例如，彩色濾光片陣列之最小重複單元為2x2濾光片陣列，但是單獨像素群集可對應於單獨像素之4x6或6x6陣列)。
影像像素陣列306之單獨像素中之每一者產生影像信號，此等影像信號基於其與像素群集中之各別一者之關聯而分組在一起(例如，來自包括在第一像素群集303中之紅色、綠色、藍色及無色像素之影像信號可形成包括在影像信號群組中之第一影像信號群組)。在所示實施例中，與像素群集中之每一者相關聯的影像信號群組包括複數個顏色信號(例如，紅色、綠色及藍色信號)及至少一個全色信號，其分別根據像素群集中之對應一者(例如，第一像素群集303)之紅色、綠色、藍色及無色像素進行量測。
像素陣列305亦包括暗像素陣列307，其對應於圖1A至圖1B之暗像素陣列107。返回參考圖3，包括在暗像素陣列307中之單獨像素中之每一者光學耦接至彩色濾光片以及遮光罩314 (例如，圖1A之遮光罩114)，以產生一或多個黑色參考信號(例如，如圖1A中所示)。在一些實施例中，每影像圖框只存在一個黑色參考信號，其可為多頻道信號，基於彩色濾光片與成像系統之各別顏色頻道相關聯的單獨頻道中之每一者安置在暗像素陣列307之單獨像素與遮光罩314之間。因此，在獲取影像圖框時，可收集(亦即，累積)黑色參考信號之單獨頻道中之每一者之暗電流，並且隨後可將其用於調整由影像像素陣列306基於每一顏色頻道產生之影像信號。
程序300為用於移除黑色位準錯誤之自我測試黑色位準校正之方法，黑色位準錯誤可在高溫下利用成像系統(例如，圖1A至圖1B中所示之成像系統100)在低光條件中擷取影像時產生，或以其他方式在成像系統之操作期間呈現。在所示實施例中，逐圖框應用程序300。換言之，黑色位準校正針對由成像系統擷取之每個圖框更新，並且隨後用於校正存在於影像信號內之暗電流之黑色位準錯誤結果。應瞭解，對於高動態範圍(HDR)影像圖框，可產生多重曝光以形成HDR影像。在此類實施例中，黑色位準校正可針對共同形成HDR影像圖框之曝光圖框中之每一者來實現。更確切而言，如藉由程序300所描述之區塊級校正程序為一種自我測試程序，其中內置之冗餘及檢查有效增加了測試覆蓋範圍，使其覆蓋成像系統之組件級之故障及/或劣化。
程序300示出根據本發明之實施例之自我測試黑色位準校正方法。程序300為成像系統(例如，圖1A至圖1B中所示之成像系統100)可用來進行自我測試黑色位準校正之一個可能實施。應瞭解，程序300之帶編號區塊，包括區塊331至341，可按任何次序並且甚至並行進行。另外，根據本發明之教示內容，可向程序300添加或自程序300移除區塊。
在所示實施例中，程序300可在接收到擷取表示外部場景之影像圖框之信號(例如，成像系統之快門按鈕被按壓)時初始化，其中獲取表示影像感測器(或總體成像系統)之黑色位準值之黑色參考信號309及表示外部場景之影像像素流310 (包括複數個影像信號) (例如，作為類比信號)。黑色參考信號309包括一或多個單獨頻道，其中單獨頻道中之每一者與影像信號之一或多個顏色頻道中之各別一者(例如，由安置在暗像素陣列307之單獨黑色像素及遮光罩314之間的濾光片指定)相關聯。更確切而言，在圖3所示之實施例中，黑色參考信號309為多頻道影像信號，其中單獨頻道對應於像素陣列305之紅色、綠色、藍色或全色頻道。
區塊331-1示出利用重設及旋轉方案向包括在複數個量測電路(例如，圖1B中所示之量測電路133)中之單獨量測電路選擇性地指派(例如，藉由包括在耦接至影像感測器之像素陣列105及圖1B中所示之量測電路133之路由電路131中之第一路由電路)黑色參考信號之一或多個單獨頻道，以在擷取影像圖框時讀出黑色參考信號309 (例如，累積成像系統之暗電流/黑色位準值)。更確切而言，該複數個量測電路之總數大於影像感測器之顏色頻道之總數(例如，具有紅色、綠色、藍色及全色頻道之成像系統可具有至少五個量測電路)，以便實現逐圖框選擇性指派，其中在擷取影像圖框時，在讀出黑色參考信號期間，量測電路中之至少一者為不活動的。
區塊333示出利用與影像圖框相關聯的該複數個量測電路讀出(例如，取樣)黑色參考信號以判定影像感測器/成像系統之黑色位準值。在所示實施例中，複數個量測電路(例如，量測電路1、2、3、4、……N)中之單獨量測電路(例如，讀出電路)用於累積類比值(例如，暗電流/電壓)，並將與黑色參考信號309之單獨頻道之黑色位準及/或零位準相關聯的經累積類比值數位化。有利的是，在由於顏色頻道(以及因此黑色參考信號309之單獨頻道)之總數及量測電路之總數之間的相對總體大小差而使量測電路中之至少一者保持不活動的同時，利用黑色參考信號309之單獨頻道至該複數個量測電路之選擇性指派能夠使自我測試涵蓋與單獨量測電路及與重設及旋轉方案相關聯的電路(例如，路由電路)兩者相關聯的組件。
區塊335示出當與影像感測器之影像圖框相關聯的該複數個顏色頻道中之每一者之黑色位準值之間的比較在頻道平衡臨限值之外(例如，任何顏色頻道之間的黑色位準值之絕對差高於經程式化臨限值)時接收由成像系統之影像感測器擷取之影像圖框之黑色位準值及執行頻道平衡檢查(例如，藉由耦接至介面裝置336之頻道平衡邏輯)以確立警報信號。若任何顏色頻道之黑色位準值之間的差在頻道平衡臨限值之外，則檢查可涵蓋數種故障模式，包括但不限於路由電路之故障(例如，與區塊331-1相關聯)、一或多個但不一定為全部的量測電路之故障或劣化(例如，與區塊333相關聯)，及/或暗像素陣列307跨單獨頻道被不均勻地損害(例如，遮光罩314之不均勻劣化)。
當頻道平衡檢查發現與影像感測器或系統之影像圖框相關聯的該複數個顏色頻道中之每一者之黑色位準值之間的比較在頻道平衡臨限值之外時，頻道平衡檢查邏輯確立由介面裝置336接收以在警報信號確立時向成像系統之使用者提供出現錯誤之指示之警報信號，由區塊324-1指示。換言之，當存在產生不準確的黑色位準值之某一類型之組件故障或劣化之指示時，通知使用者。在一些實施例中，介面裝置336可為光學裝置(例如，汽車儀錶板上之指示燈)、可聽裝置(例如，自揚聲器發出之錯誤聲音)、記憶體裝置(例如，警告在記憶體中標記以供個人在稍後時間讀出，例如在車輛沒有有效移動時)，或可用於立即、在設定時間段之後、在診斷檢查期間或以其他方式通知使用者關於警報信號之任何其他類型之裝置。
在完成頻道平衡檢查後(或同時)，黑色參考信號309之單獨頻道中之每一者之所判定黑色位準值選擇性地指派(例如，藉由包括在耦接至計算電路137之路由電路131中之第二路由電路，如圖1B中所示)至包括在該複數個計算電路中之單獨計算電路以計算黑色位準校正(BLC)值。更確切而言，用於計算BLC值之重設及旋轉方案用於藉由交替(在只有兩個計算電路之情況下)或以其他方式阻止相同計算電路用於計算連續影像圖框之BLC值來提供增加的自我測試覆蓋範圍。計算BLC值可包括但不限於對與給定影像圖框之顏色頻道中之每一者相關聯的各別黑色位準值取平均(例如，對與耦接至紅色濾光片之所有黑色像素相關聯的黑色位準值取平均以判定影像系統之紅色頻道之平均黑色位準值)、產生黑色位準值(例如，跨所有顏色頻道及/或多個圖框)之平均值、執行黑色位準值之統計分析(例如，以預定方式篩選黑色位準值，諸如移除離群值)等等。在一些實施例中，在計算影像圖框之BLC值時，計算電路中之至少一者係不活動的。有利的是，利用包括在該複數個計算電路中之單獨計算電路之選擇性指派以判定BLC值使得自我測試涵蓋了與單獨量測電路、與重設及旋轉方案相關聯的電路(例如，路由電路)及暗像素陣列相關聯的組件。
區塊341示出接收由成像系統擷取之影像圖框之經校正黑色位準值(例如，BLC值)及依序或並行執行閃爍檢查及健全性檢查(例如，藉由耦接至介面裝置336之閃爍/健全性檢查邏輯)以基於閃爍檢查及/或健全性檢查之結果確立警報信號。
閃爍檢查提供對每個BLC值之圖框間一致性的檢查(例如，基於每一顏色頻道)。更確切而言，當連續影像圖框之間的BLC值之比較產生在閃爍臨限值之外的差時，確立警報信號。換言之，當成像系統之給定顏色頻道之BLC值的圖框間改變高於經程式化臨限值(或以其他方式在經程式化臨限值之外)時，警報信號產生(例如，如區塊342-2中所示)並被傳遞至介面裝置336，以在警報信號被確立時向成像信號之使用者提供出現錯誤之指示。在一些實施例中，閃爍檢查為允許較小圖框間差異(例如，連續影像圖框之間的BLC值之相對變化可小於10%、5%、1%或某一其他經程式化臨限值)以捕捉單獨組件之邊緣故障(例如，微小的不準確性)之硬規則。若任何顏色頻道之BLC值之間的差在閃爍臨限值之外，則檢查可涵蓋數種故障或劣化模式，包括但不限於任一個路由電路之故障(例如，與區塊331-1及或331-2相關聯)、一或多個但不一定為全部的量測電路之故障或劣化(包括產生微小不準確性之邊緣故障) (例如，與區塊333相關聯)、計算電路(例如，計算電路用於判定影像圖框之BLC值)中之一者之故障或劣化(包括產生微小不準確性之邊緣故障)，及/或暗像素陣列307之持續性或短暫性故障或劣化。
健全性檢查提供檢查(例如，給定影像圖框之所有顏色頻道之)平均黑色位準在預期範圍內。更確切而言，當黑色位準值之平均值在所估計之黑色位準範圍之外時，確立警報信號。所估計之黑色位準範圍係基於影像感測器及/或成像系統之一或多個操作參數340，諸如(例如，當擷取影像圖框時)影像感測器之溫度、增益或曝光值中之至少一者。若黑色位準值之平均值在所估計之黑色位準範圍之外，則檢查可涵蓋數種故障模式，包括但不限於普通的「卡在」與ADC操作、行記憶體(例如，ASRAM)、在程序300中描述之任一個功能區塊等等中之任一者或組合相關聯的故障，以及暗像素陣列307被損害。
在區塊341之閃爍/健全性檢查之後或同時，BLC值343被傳遞至區塊339，並藉由像素校正電路(例如，圖1B之像素校正電路139)用於調整一或多個影像信號(例如，與影像像素流310相關聯)以提供黑色位準校正。在一個實施例中，像素校正電路可基於每一顏色頻道自影像信號中減去BLC值(例如，與紅色頻道相關聯的BLC值被減去或以其他方式用於調整與影像圖框之紅色頻道相關聯的影像信號)。在一些實施例中，可存在多個像素校正電路，其各自與成像系統之各別顏色頻道相關聯。一旦影像像素流310之影像信號經校正，影像資料就由像素校正電路輸出(例如，以儲存在記憶體中、在顯示器上輸出，等等)。
圖4A至圖4B示出根據本發明之教示內容之用於自我測試黑色位準校正之重設及旋轉方案的例示性功能方塊圖。圖4A至圖4B中所示之重設及旋轉方案為可如何指派複數個量測電路以覆蓋在擷取一或多個影像圖框時藉由路由電路對成像系統之一或多個顏色頻道之黑色位準值之量測(例如，讀出)之非限制性例示性方案。因此，所示實施例可實施於根據本發明之教示內容之用於自我測試黑色位準校正之成像系統、程序等等中，例如但不限於圖1A至圖1B之成像系統100、圖3中所示之程序300等等。
圖4A示出藉由兩個緊密連續的影像圖框(影像圖框1及影像圖框2)之量測電路433 (例如，對應於圖1B之量測電路133)讀出黑色位準值。在擷取影像圖框1期間，量測電路433-1、433-2、433-3及433-5分別經過選擇性地指派以讀出成像系統之紅色、綠色、藍色及全色頻道之黑色位準值，而量測電路433-4未指派給特定顏色頻道，且實際上為不活動的(或另外被視為影像圖框1之冗餘)。換言之，黑色參考信號之一或多個單獨頻道(例如，對應於成像系統之顏色頻道)指派給單獨量測電路433中之各別一者。在讀出黑色位準值之後，來自控制器(例如，圖1B之控制器120之控制電路126)之重設信號發送至活動(或者在一些實施例中，所有)量測電路433，以清除累積的黑色位準，然後進行下一影像圖框(亦即，影像圖框2)之選擇性指派。
選擇性指派可至少部分地由路由電路431 (例如，圖1B中所示之路由電路131)執行，使得對量測電路433之特定指派在連續影像圖框之間係不同的。換言之，影像圖框(例如，影像圖框2)之單獨量測電路之選擇性指派不同於緊接在前的影像圖框(例如，影像圖框1)之單獨量測電路之先前選擇性指派。在一些實施例中，選擇性指派可為隨機或非隨機的。在相同或其他實施例中，選擇性指派遵循預定次序，以在擷取影像圖框時均勻地分佈單獨量測電路433之不活動性。在圖4A所示之實施例中，在影像圖框2之擷取期間，路由電路431選擇性地指派黑色參考信號之各個全色、紅色、綠色及黑色頻道，分別供量測電路433-1、433-2、433-3及433-4讀出，同時量測電路433-5係不活動的。
圖4B示出重設及旋轉方案，其中在擷取影像圖框450時，路由電路(例如，圖1B之路由電路131)以非限制性及例示性之預定方式將黑色參考信號之單獨頻道434選擇性地指派至量測電路433。可考慮預定次序為線性次序，其中不活動的量測電路自連續影像圖框線性改變。確切而言，如圖4B中所示，影像圖框A、B、C及D之不活動量測電路(由標記「X」表示)分別變成量測電路433-5、433-1、433-2、433-3等等。不活動量測電路之此線性改變可以預定次序連續循環，直至連續影像擷取完成為止。類似地，黑色參考信號之單獨頻道亦線性循環。如所示出，與成像系統之紅色頻道之黑色位準值相關聯的單獨頻道選擇性地自影像圖框A之量測電路433-1指派，自影像圖框B之量測電路433-2指派，自影像圖框C之量測電路433-3指派等等。亦可利用(例如，與成像系統之綠色、藍色或全色頻道之黑色位準值相關聯的)黑色參考信號之其他單獨頻道之類似線性改變。但是，在其他實施例中，黑色參考信號之單獨頻道可隨機指派，而不活動量測電路之指派線性(或以其他方式)旋轉通過量測電路433。
圖5示出根據本發明之教示內容之用於在自我測試黑色位準校正時擷取影像圖框之方法500。方法500為成像系統(例如，圖1A至圖1B中所示之成像系統100)可用來自我測試黑色位準校正之一個可能實施。應瞭解，方法500之帶編號區塊，包括區塊510至545，可按任何次序並且甚至並行進行。另外，根據本發明之教示內容，可向方法500添加或自方法500移除區塊。
區塊510示出初始化用於擷取一或多個影像圖框之成像系統。初始化可在接收到開始信號(例如，對應於相機之快門按鈕被按壓、汽車轉變至倒車駕駛模式，等等)時進行，其中可執行系統自檢以驗證成像系統一開始為可操作的。此可包括例如將數位測試圖案插入至影像像素流中，影像像素流可與上游數位測試圖案檢查器進行比較以檢查(例如，圖1B中所示之像素校正電路139或成像系統之其他組件之)校正故障。此亦可包括將暫存器值重設至任意值(或所需要的特定值)，使得在系統成功自檢後，在初始化時不存在警報條件。
區塊515示出獲取表示影像圖框之影像感測器(例如，圖1A至圖1B中所示之成像系統100)之黑色位準值之黑色參考信號。在一些實施例中，黑色參考信號為多頻道信號，其中單獨頻道與影像感測器之複數個顏色頻道中包括之對應顏色頻道相關聯。獲取黑色參考信號包括選擇性指派及讀出。在選擇性指派期間，黑色參考信號之單獨頻道選擇性地指派給複數個量測電路(例如，圖1B中所示之量測電路133)中包括之單獨量測電路，其中該複數個量測電路之總數大於該複數個顏色頻道之總數(例如，在影像圖框之擷取期間，量測電路中之至少一者係不活動的)。讀出包括自具有該複數個量測電路之影像感測器讀出黑色參考信號以判定與影像圖框相關聯的該複數個顏色頻道(例如，紅色、綠色、藍色及全色頻道)中之每一者之黑色位準值。在讀出期間，基於單獨量測電路之選擇性指派，包括在該複數個量測電路中之一或多個單獨量測電路係不活動的。
在一些實施例中，影像圖框之單獨量測電路之選擇性指派不同於緊接在前的影像圖框之單獨量測電路之先前選擇性指派。在相同或其他實施例中，單獨量測電路之選擇性指派係隨機的。在一個實施例中，影像圖框之單獨量測電路之選擇性指派係非隨機的，使得在影像圖框之黑色參考信號之讀出期間不活動的一或多個單獨量測電路相對於緊接在前的影像圖框係不同的。
區塊520示出執行頻道平衡檢查，包括將與影像圖框相關聯的該複數個顏色頻道中之每一者之黑色位準值彼此比較以判定該複數個顏色頻道中之每一者之黑色位準值之間的差是否在頻道平衡臨限值內。當該差在頻道平衡臨限值之外時，確立警報，此可通知成像系統之使用者或某一其他個體關於成像系統出現故障或劣化狀況。
區塊525示出計算影像圖框之黑色位準校正(BLC)值。此包括選擇性地使複數個計算電路(例如，圖1B中所示之計算電路137)中包括之單獨計算電路與影像圖框相關聯。在選擇性關聯之後，至少部分地基於根據該複數個量測電路判定之黑色位準值，利用單獨計算電路計算影像圖框之BLC值。在一些實施例中，單獨計算電路係針對緊接在前的影像圖框選擇性地關聯之該複數個計算電路中之不同一者。
區塊530示出執行閃爍及/或健全性檢查。閃爍檢查包括比較影像圖框之BLC值與緊接在前的影像圖框之先前BLC值，以判定BLC值及先前BLC值之間的差是否在閃爍臨限值內。當該差在閃爍臨限值之外時，確立警報，此可通知成像系統之使用者或某一其他個體關於成像系統出現故障或劣化狀況。健全性檢查包括在擷取影像圖框時接收影像感測器之一或多個操作參數，其中該一或多個操作參數包括影像感測器之溫度、影像感測器之增益或影像感測器之曝光中之至少一者。在接收該一或多個操作參數之後，至少部分地基於操作參數而判定與影像圖框相關聯的影像感測器之所估計黑色位準範圍，並且將影像感測器之黑色位準值之平均值與所估計之黑色位準範圍進行比較。當包括影像圖框之黑色位準值之影像感測器之黑色位準值之平均值在所估計的黑色位準範圍之外時確立警報，此可通知成像系統之使用者或某一其他個體關於成像系統出現故障或劣化狀況。
區塊535示出獲取影像信號並基於BLC值調整影像信號。影像信號可由可不同於量測電路之讀出電路(例如，圖1B之讀出電路128)讀出。但是，在其他實施例中，量測電路自身可用於讀出影像信號。影像信號可對應於其中(例如，逐列、同時或以其他方式)讀出影像像素中之每一者之影像像素流。影像信號共同地表示影像圖框，並且各自至少部分地基於BLC值進行調整以提供黑色位準校正。在一些實施例中，調整係基於每一顏色頻道(例如，與成像系統之紅色頻道相關聯的BLC值用於調整同樣與紅色頻道相關聯的影像信號)。調整可校正以自影像信號減去BLC值(或向影像信號添加BLC值)。在其他實施例中，平均BLC值(例如，顏色頻道中之每一者之BLC值之平均值)用於共同地或基於每一顏色頻道來校正影像信號。換言之，在一些實施例中，與給定影像圖框或曝光相關聯的影像信號可利用公共BLC值校正，該公共BLC值可與單獨顏色頻道中之每一者之平均BLC值對應或以其他方式與其相關。
區塊540示出檢查(例如，在擷取視訊時)是否應該擷取另一影像圖框。若要擷取另一影像圖框，則區塊540進行至區塊515。若影像圖框獲取完成，則區塊540進行至區塊545，表示方法500結束。
上文闡釋之程序可使用軟體及/或硬體實施。所描述之技術可構成在有形或非暫時性機器(例如，電腦)可讀儲存媒體內體現之機器可執行指令，該等指令在由機器(例如，圖1A之控制器120)執行時使機器執行所描述之操作。另外，程序可體現在硬體內，例如特殊應用積體電路(「ASIC」)、場可程式化閘陣列(FPGA)等等。
有形機器可讀儲存媒體包括以可由機器(例如，電腦、網路裝置、個人數位助理、製造工具、具有一組一或多個處理器之任何裝置，等等)存取之非暫時性形式提供(亦即，儲存)資訊之任何機構。例如，機器可讀儲存媒體包括可記錄/不可記錄媒體(例如，唯讀記憶體(ROM)、隨機存取記憶體(RAM)、磁盤儲存媒體、光學儲存媒體、快閃記憶體裝置等)。
上文對本發明所示實例之描述，包括摘要中之描述內容，並不意圖為詳盡的或將本發明限制在所揭示之精確形式。雖然本文出於說明目的描述了本發明之具體實例，但是正如熟習相關技術者將認識到的，在本發明之範疇內可進行各種修改。
根據上方之詳細描述，可對本發明進行此等修改。所附技術方案中使用之術語不應被解釋為將本發明限制為說明書中揭示之具體實例。相反，本發明之範疇將完全由所附技術方案決定，此等技術方案將按照技術方案解釋之既定原則進行解釋。
100:成像系統 103:外部場景 105:像素陣列 106:二維(2D)影像像素陣列 107:暗像素陣列 108:像素流 109:黑色參考信號 110:影像信號 112:彩色濾光片陣列 114:遮光罩 120:控制器 122:處理器 124:記憶體 126:控制電路 128:讀出電路 130:功能邏輯 131:路由電路 132:黑色位準校正(BLC)電路 133:量測電路 135:頻道平衡檢查邏輯 137:計算電路 139:像素校正電路 141:閃爍/健全性檢查邏輯 202:四電晶體像素 204:四電晶體像素 300:程序 303:第一像素群集 305:像素陣列 306:影像像素陣列 307:暗像素陣列 309:黑色參考信號 310:影像像素流 314:遮光罩 324-1:區塊 331-1:區塊 331-2:區塊 333:區塊 335:區塊 336:介面裝置 339:區塊 340:操作參數 341:區塊 343:黑色位準校正(BLC)值 431:路由電路 433:量測電路 434:單獨頻道 450:影像圖框 500:方法 510:區塊 515:區塊 520:區塊 525:區塊 530:區塊 535:區塊 540:區塊 545:區塊 FD:浮動擴散節點 PD:光電二極體 RST:重設信號 SEL:選擇信號 TX:轉移信號 T1:轉移電晶體 T2:重設電晶體 T3:源極隨耦器(SF)電晶體 T4:選擇電晶體 VDD:電力軌
參考以下圖式描述本發明之非限制性且非窮盡性之實施例，其中除非另外指定，否則遍佈各圖之相同參考標號指代相同的部件。在適當時，不一定標記元件之所有例項，以免使圖式混亂。圖式不必按比例繪製，而是重點在於說明所描述之原理。
圖1A為根據本發明之教示內容之示出包括影像像素陣列之成像系統的功能方塊圖，該影像像素陣列光學耦接至彩色濾光片陣列以擷取外部場景之數位影像或視訊。
圖1B為根據本發明之教示內容之具有自我測試黑色位準校正之成像系統的功能方塊圖。
圖2為根據本發明之教示內容之示出可包括在圖1A至圖1B之成像系統中的兩個四電晶體像素之像素電路的電路圖。
圖3為根據本發明之教示內容之示出執行自我測試黑色位準校正程序之成像系統的功能方塊圖。
圖4A至圖4B示出根據本發明之教示內容之用於自我測試黑色位準校正之重設及旋轉方案的例示性功能方塊圖。
圖5示出根據本發明之教示內容之用於在自我測試黑色位準校正時擷取影像圖框的方法。
100:成像系統 105:像素陣列 106:二維(2D)影像像素陣列 107:暗像素陣列 108:像素流 109:黑色參考信號 110:影像信號 120:控制器 122:處理器 124:記憶體 126:控制電路 128:讀出電路 130:功能邏輯 131:路由電路 132:黑色位準校正(BLC)電路 133:量測電路 135:頻道平衡檢查邏輯 137:計算電路 139:像素校正電路 141:閃爍/健全性檢查邏輯

Claims (21)

  1. 一種成像系統，其包含： 一影像感測器，其包括一影像像素陣列及一暗像素陣列，其中該影像像素陣列經調適以回應於入射光而產生一影像信號，其中該暗像素陣列經調適以產生表示該影像感測器之一黑色位準值之一黑色參考信號；以及 黑色位準校正(BLC)電路，其用於至少部分地基於該暗像素陣列之該黑色參考信號而調整該影像像素陣列之該影像信號，該BLC電路包括： 複數個量測電路，其用於自該暗像素陣列讀出該黑色參考信號以判定該影像感測器之該黑色位準值，其中該複數個量測電路之一總數大於該影像感測器之一顏色頻道總數；以及 複數個計算電路，其用於至少部分地基於根據該複數個量測電路判定之該黑色位準值而計算一BLC值。
  2. 如請求項1之成像系統，其中該影像感測器包括一或多個顏色頻道，並且其中該黑色參考信號包括一或多個單獨頻道，該等單獨頻道中之每一者與該影像感測器之該一或多個顏色頻道中之各別一者相關聯。
  3. 如請求項2之成像系統，其進一步包含： 路由電路，其耦接至該影像感測器及該複數個量測電路，以向包括在該複數個量測電路中之單獨量測電路選擇性地指派該黑色參考信號之該一或多個單獨頻道，從而讀出該黑色參考信號，其中在擷取一影像圖框時，在該黑色參考信號之該讀出期間，該複數個量測電路中之至少一者係不活動的。
  4. 如請求項3之成像系統，其中在向該等單獨量測電路選擇性地指派該黑色參考信號之該一或多個單獨頻道時，該路由電路以一預定次序旋轉通過該複數個量測電路，從而在擷取包括該影像圖框之影像圖框時均勻地分佈該等單獨量測電路之不活動性。
  5. 如請求項3之成像系統，其中由該路由電路提供之至該複數個量測電路之該選擇性指派係隨機的，並且其中連續影像圖框之間的該選擇性指派不相同。
  6. 如請求項1之成像系統，其進一步包含路由電路，該路由電路耦接至該複數個計算電路以選擇性地指派包括在該複數個計算電路中之單獨計算電路以便計算該BLC值，使得判定連續影像圖框之該BLC值之該等單獨計算電路係不同的。
  7. 如請求項1之成像系統，其進一步包含： 一介面裝置，其用於接收一警報信號，並在確立該警報信號時，作為回應，向該成像系統之一使用者提供一出現錯誤之一指示。
  8. 如請求項7之成像系統，其進一步包含： 頻道平衡檢查邏輯，其耦接至該介面裝置以在與該影像感測器之一影像圖框相關聯之複數個顏色頻道中之每一者之該黑色位準值之間的一比較在一頻道平衡臨限值之外時確立該警報信號。
  9. 如請求項7之成像系統，其進一步包含： 閃爍檢查邏輯，其耦接至該介面裝置以在連續影像圖框之間的該BLC值之一比較產生在一閃爍臨限值之外之一差時確立該警報信號。
  10. 如請求項7之成像系統，其進一步包含： 健全性檢查邏輯，其耦接至該介面裝置以在該黑色位準值之一平均值在一所估計之黑色位準範圍之外時確立該警報信號，其中該所估計之黑色位準範圍係基於該影像感測器之一或多個操作參數，該等操作參數包括該影像感測器之一溫度、增益或曝光值中之至少一者。
  11. 如請求項1之成像系統，其進一步包含： 像素校正電路，其用於至少部分地基於該BLC值調整該影像信號以提供黑色位準校正。
  12. 一種用於在擷取一影像圖框時進行黑色位準校正(BLC)之方法，該方法包含： 獲取表示一影像感測器針對該影像圖框之一黑色位準值之一黑色參考信號，其中該黑色參考信號為一多頻道信號，其中單獨頻道與包括在該影像感測器之複數個顏色頻道中之一對應顏色頻道相關聯，其中獲取該黑色參考信號包括： 向包括在複數個量測電路中之單獨量測電路選擇性地指派該黑色參考信號之該等單獨頻道，其中該複數個量測電路之一總數大於該複數個顏色頻道之一總數；以及 利用該複數個量測電路自該影像感測器讀出該黑色參考信號以判定與該影像圖框相關聯之該複數個顏色頻道中之每一者之該黑色位準值，其中在基於該等單獨量測電路之該選擇性指派進行之該讀出期間，包括在該複數個量測電路中之一或多個單獨量測電路係不活動的。
  13. 如請求項12之方法，其中該影像圖框之該等單獨量測電路之該選擇性指派不同於一緊接在前的影像圖框之該等單獨量測電路之一先前選擇性指派。
  14. 如請求項13之方法，其中該影像圖框之該等單獨量測電路之該選擇性指派係隨機的。
  15. 如請求項13之方法，其中該影像圖框之該等單獨量測電路之該選擇性指派係非隨機的，並且其中在該影像圖框之黑色參考信號之該讀出期間不活動的該一或多個單獨量測電路相對於該緊接在前的影像圖框係不同的。
  16. 如請求項12之方法，其進一步包含： 將與該影像圖框相關聯之該複數個顏色頻道中之每一者之該黑色位準值彼此比較，以判定該複數個顏色頻道中之每一者之該黑色位準值之間的一差是否在一頻道平衡臨限值內；以及 當該差在該頻道平衡臨限值之外時，確立一警報。
  17. 如請求項12之方法，其進一步包含： 選擇性地使包括在複數個計算電路中之一單獨計算電路與該影像圖框相關聯；以及 至少部分地基於根據該複數個量測電路判定之該黑色位準值，利用該單獨計算電路計算該影像圖框之一BLC值。
  18. 如請求項17之方法，其中該單獨計算電路為針對一緊接在前的影像圖框選擇性地關聯之該複數個計算電路中之一不同一者。
  19. 如請求項17之方法，其進一步包含： 比較該影像圖框之該BLC值與一緊接在前的影像圖框之一先前BLC值，以判定該BLC值與該先前BLC值之間的一差是否在一閃爍臨限值內；以及 當該差在該閃爍臨限值之外時，確立一警報。
  20. 如請求項17之方法，其進一步包含： 至少部分地基於該BLC值，調整表示該影像圖框之一影像信號以提供黑色位準校正。
  21. 如請求項12之方法，其進一步包含： 在擷取該影像圖框時接收該影像感測器之一或多個操作參數，其中該一或多個操作參數包括該影像感測器之一溫度、該影像感測器之一增益或該影像感測器之一曝光中之至少一者； 至少部分地基於該等操作參數，判定與該影像圖框相關聯之該影像感測器之一所估計黑色位準範圍；以及 當包括該影像圖框之該黑色位準值之該影像感測器之該黑色位準值之一平均值在該所估計黑色位準範圍之外時，確立一警報。
TW109122466A 2019-07-02 2020-07-02 具有自我測試黑色位準校正之影像感測器 TWI722934B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/460,242 US10819927B1 (en) 2019-07-02 2019-07-02 Image sensor with self-testing black level correction
US16/460,242 2019-07-02

Publications (2)

Publication Number Publication Date
TW202110160A TW202110160A (zh) 2021-03-01
TWI722934B true TWI722934B (zh) 2021-03-21

Family

ID=72944716

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109122466A TWI722934B (zh) 2019-07-02 2020-07-02 具有自我測試黑色位準校正之影像感測器

Country Status (3)

Country Link
US (1) US10819927B1 (zh)
CN (1) CN112188126B (zh)
TW (1) TWI722934B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017149932A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090273691A1 (en) * 2008-05-02 2009-11-05 Yaowu Mo Method and apparatus providing analog row noise correction and hot pixel filtering
US20180091748A1 (en) * 2016-09-28 2018-03-29 Semiconductor Components Industries, Llc Image sensors having dark pixels

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69625398T2 (de) 1995-02-24 2003-09-04 Eastman Kodak Co Schwarzmuster-Korrektur für einen Ladungsübertragungssensor
JP4655383B2 (ja) * 2001-02-23 2011-03-23 ソニー株式会社 イメージセンサの画像信号処理装置
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US20080054320A1 (en) * 2006-08-31 2008-03-06 Micron Technology, Inc. Method, apparatus and system providing suppression of noise in a digital imager
US8218038B2 (en) * 2009-12-11 2012-07-10 Himax Imaging, Inc. Multi-phase black level calibration method and system
US8199225B2 (en) * 2009-12-31 2012-06-12 Omnivision Technologies, Inc. Generating column offset corrections for image sensors
US8233066B2 (en) * 2010-02-18 2012-07-31 Omnivision Technologies, Inc. Image sensor with improved black level calibration
US8405747B2 (en) 2011-02-17 2013-03-26 Omnivision Technologies, Inc. Analog row black level calibration for CMOS image sensor
US8698922B2 (en) 2012-02-14 2014-04-15 Omni Vision Technologies, Inc. Black level correction for imaging pixels
US9154750B2 (en) 2013-05-28 2015-10-06 Omnivision Technologies, Inc. Correction of image sensor fixed-pattern noise (FPN) due to color filter pattern
US8878965B1 (en) 2013-06-26 2014-11-04 Himax Imaging Limited Black level adjustment device and method for CMOS image sensor
CN105578082B (zh) * 2016-01-29 2019-01-18 深圳市高巨创新科技开发有限公司 一种自适应黑电平校正方法
CN108322680B (zh) * 2018-01-18 2020-06-09 昆山晔芯电子科技有限公司 图像传感器的温度自适应黑电平校准方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090273691A1 (en) * 2008-05-02 2009-11-05 Yaowu Mo Method and apparatus providing analog row noise correction and hot pixel filtering
US20180091748A1 (en) * 2016-09-28 2018-03-29 Semiconductor Components Industries, Llc Image sensors having dark pixels
US10154213B2 (en) * 2016-09-28 2018-12-11 Semiconductor Components Industries, Llc Image sensors having dark pixels

Also Published As

Publication number Publication date
CN112188126A (zh) 2021-01-05
US10819927B1 (en) 2020-10-27
TW202110160A (zh) 2021-03-01
CN112188126B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
US10334241B2 (en) Systems and methods for detecting defective camera arrays and optic arrays
US9071781B2 (en) Image capturing apparatus and defective pixel detection method
US9479688B2 (en) Image capture apparatus
US9224782B2 (en) Imaging systems with reference pixels for image flare mitigation
US20140267829A1 (en) Systems and Methods for Photmetric Normalization in Array Cameras
WO2014065056A1 (ja) 撮像装置、および画像処理方法、並びにプログラム
US10798311B2 (en) Methods and apparatus for reducing spatial flicker artifacts
US8451350B2 (en) Solid-state imaging device, camera module, and imaging method
TW201102968A (en) CFA image with synthetic panchromatic image
US20080179490A1 (en) Solid-state image pickup device
US9503698B2 (en) Image sensor with shading detection
US9191592B2 (en) Imaging sensor anomalous pixel column detection and calibration
CN110944126B (zh) 成像系统和对图像传感器进行黑阶校正的方法
US20170257583A1 (en) Image processing device and control method thereof
TWI722934B (zh) 具有自我測試黑色位準校正之影像感測器
US7940315B2 (en) Method and apparatus for identification and correction of aberrant pixels in an image sensor
CN109565556A (zh) 图像处理装置、图像处理方法和程序
JP6701269B2 (ja) 画像処理装置及び画像処理方法
US10063767B2 (en) Image pickup device and image pickup apparatus including image pixels and phase difference pixels having basic arrangement pattern of filters
JP2018078427A (ja) クロストーク量検出装置、クロストーク量検出方法
JP2019121974A (ja) 撮像装置および撮像装置の制御方法
JP2009135787A (ja) ノイズ検出装置、撮像装置、およびノイズ検出方法
JP2016213594A (ja) 撮像装置
JP2005064684A (ja) 検出装置