TW202015393A - 局部曝光感測器及其操作方法 - Google Patents

局部曝光感測器及其操作方法 Download PDF

Info

Publication number
TW202015393A
TW202015393A TW107140989A TW107140989A TW202015393A TW 202015393 A TW202015393 A TW 202015393A TW 107140989 A TW107140989 A TW 107140989A TW 107140989 A TW107140989 A TW 107140989A TW 202015393 A TW202015393 A TW 202015393A
Authority
TW
Taiwan
Prior art keywords
pixel
basic
array
normal
exposure
Prior art date
Application number
TW107140989A
Other languages
English (en)
Other versions
TWI695623B (zh
Inventor
鐵軍 代
劉成明
Original Assignee
美商豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商豪威科技股份有限公司 filed Critical 美商豪威科技股份有限公司
Publication of TW202015393A publication Critical patent/TW202015393A/zh
Application granted granted Critical
Publication of TWI695623B publication Critical patent/TWI695623B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/626—Reduction of noise due to residual charges remaining after image readout, e.g. to remove ghost images or afterimages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一種高動態範圍成像感測器包括像素單元之一像素陣列、一讀出電路、一功能邏輯及一控制電路。每一像素單元包含一正常像素及一基本像素中之一者，且每M列乘N行像素定義一像素子陣列。每一像素子陣列包括至少三個正常像素及至少一個基本像素。該讀出電路經耦接以自該像素陣列之複數個像素讀出影像資料。該讀出電路包括與各別讀出行相關聯之一類比至數位轉換器。該功能邏輯經耦接以自該讀出電路接收該數位影像資料。該控制電路經耦接以自該功能邏輯接收曝光層級且輸出經指派至該像素陣列之各別像素子陣列的每一所應用曝光層級以控制每一像素之一曝光時間。

Description

局部曝光感測器及其操作方法
本發明係關於一種局部曝光感測器及其操作方法，且係關於一種用於移除鬼影之局部曝光感測器及其操作方法。
影像俘獲裝置包括影像感測器及成像透鏡。成像透鏡將光束導向至影像感測器上。光束由影像感測器轉換成電信號以形成影像。電信號自影像俘獲裝置輸出至電子產品中之其他組件。電子產品可包括(例如)行動電話、電腦、數位相機、醫療裝置或其類似者。
歸因於電子產品之小型化趨勢，操作影像感測器在相對大的亮度跨越(例如，較大明度層級範圍)內執行將具有挑戰性。此類成像技術亦可被稱作高動態範圍成像(HDRI或HDR)技術。
高動態範圍成像為諸如汽車、機器視覺等各種應用中之關鍵特徵。實施一些方法以改良影像感測器之動態範圍效能從而俘獲靜態物件之影像。然而，當物件(或影像感測器)自相對黑暗環境移動至相對明亮環境時，鬼影(或偽影)可在所俘獲影像中顯現。需要解決此類問題。
根據本發明之一態樣，一種高動態範圍(HDR)成像感測器包括像素單元之一像素陣列、一讀出電路、一功能邏輯及一控制電路。每一像素單元具有一正常像素及一基本像素中之一者，且每M列乘N行像素定義一像素子陣列。每一像素子陣列包含至少三個正常像素及至少一個基本像素。該讀出電路經耦接以自該像素陣列之複數個像素讀出影像資料。該讀出電路包括一類比至數位轉換器(ADC)，該ADC與各別讀出行相關聯且經組態以將類比影像信號轉換成數位影像資料。該功能邏輯經耦接以自該讀出電路接收該數位影像資料。該功能邏輯包括一影像記憶體及一鬼影移除器。該影像記憶體經耦接以儲存自該讀出電路接收到之該影像資料。該鬼影移除器經耦接以讀取儲存於該影像記憶體中之影像資料且將經重建構資料寫回至該影像記憶體。該控制電路經耦接以自該功能邏輯接收曝光層級且輸出經指派至該像素陣列之各別像素子陣列的每一所應用曝光層級以控制每一像素之一曝光時間。
根據本發明之另一態樣，一種使用基本曝光像素移除鬼影之方法包括：以經指派至其中存在該像素之各別像素子陣列之一曝光層級預置一像素陣列之每一像素單元，其中該等曝光層級由該控制電路自曝光層級記憶體讀出；由一正常像素資料重建構器自一正常像素記憶體讀取一正常像素之正常影像值，其中該正常像素屬於一給定子陣列；由一基本像素資料重建構器自一基本像素記憶體讀取一基本像素之基本影像值，其中該正常像素之該基本像素為距離上最接近具有同一顏色且屬於同一子陣列之正常像素而存在的像素；由一比較器將該正常影像值與一參考值進行比較；及由該比較器將該基本影像值與一參考值進行比較。
根據本發明之另一態樣，一種高動態範圍(HDR)成像感測器包括像素單元之一像素陣列、一讀出電路、一功能邏輯、一控制電路、一正常曝光控制線、一基本曝光控制線及一影像應用裝置。每一像素單元具有一正常像素及一基本像素中之一者，且每M列乘N行像素定義一像素子陣列。每一像素子陣列具有至少三個正常像素及至少一個基本像素。該讀出電路經耦接以自該像素陣列之複數個像素讀出影像資料。該讀出電路具有與各別讀出行相關聯之一類比至數位轉換器(ADC)以將類比影像信號轉換成數位影像資料。該功能邏輯經耦接以自該讀出電路接收該數位影像資料。該功能邏輯具有一影像記憶體及一鬼影移除器。該影像記憶體經耦接以儲存自該讀出電路接收到之該影像資料。該鬼影移除器經耦接以讀取儲存於該影像記憶體中之影像資料且將經重建構資料寫回至該影像記憶體。該控制電路經耦接以自該功能邏輯接收曝光層級且輸出經指派至該像素陣列之各別像素子陣列的每一所應用曝光層級以控制每一像素之一曝光時間。該正常曝光控制線經耦接以將該曝光時間自該控制電路傳遞至該像素陣列之每一像素列。該基本曝光控制線經耦接以將該曝光時間自該控制電路傳遞至該像素陣列之每一像素列，該像素列包括該正常像素及該基本像素兩者。每一基本像素之該曝光時間分別被控制且與同一列中之每一正常像素之該曝光時間並行。該影像應用裝置經耦接以自該功能邏輯之該影像記憶體接收影像資料且將影像資料提供至一顯示器及一資料傳輸器中之一者。
在以下描述中，闡述眾多特定細節以便提供對本發明之透徹理解。然而，對於熟習此項技術者將顯而易見的是，無需使用此等特定細節來實踐本發明。在其他情況下，為避免混淆本發明，熟知材料或方法尚未被詳細地展示。
貫穿本說明書對「一個實施例」、「一實施例」、「一個實例」或「一實例」之提及意謂結合實施例或實例描述之特定特徵、結構或特性包括於本發明之至少一個實施例中。因此，貫穿本說明書在多處出現之短語「在一個實施例中」、「在一實施例中」、「一個實例」或「一實例」未必皆參考相同實施例或實例。此外，在一或多個實施例或實例中，特定特徵、結構或特性可以任何適合的組合及/或子組合形式組合。特定特徵、結構或特性可包括於積體電路、電子電路、組合邏輯電路或提供所描述功能性之其他適合組件中。此外，應瞭解，與其一起提供之圖式係出於對一般熟習此項技術者說明目的且圖式未必按比例繪製。
圖1A為說明根據本發明之一些實施例之例示性成像系統100的方塊圖。成像系統100包括像素陣列102、讀出電路106、功能邏輯108、控制電路110及影像應用裝置198。
像素102經組態以自物件、環境及/或個人接收光。像素陣列102包括像素電路，像素電路具有使用根據本發明之教示之框內多位元曝光的高動態範圍讀出架構。像素陣列102包括複數個像素子陣列104。每一像素子陣列104包括M×N個像素單元(或像素)，其中M及N為大於1之整數。
參考圖1B，其說明根據本發明之一些實施例的在圖1A中所說明之像素子陣列的實例。像素子陣列104包括由6×6矩陣配置之36個像素單元。根據本發明之一些其他實施例，像素子陣列104可包括多於或少於36個像素單元。在本發明之一些其他實施例中，如圖1B中所展示之像素子陣列104之大小或圖案可變化。
像素子陣列104包括正常像素單元(例如，104BN、104GN及104RN)及基本像素單元(例如，104BB、104GB及104RB）。舉例而言，像素子陣列104中之每一像素單元為或包括正常像素單元及基本像素單元(或參考像素單元)中之一者。在一些實施例中，像素子陣列104包括至少一個藍色正常像素單元104BN、至少一個綠色正常像素單元104GN及至少一個紅色正常像素單元104RN、至少一個藍色基本像素單元104BB、至少一個綠色基本像素單元104GB及至少一個紅色基本像素單元104RB。在其他實施例中，像素子陣列104包括拜耳(Bayer)圖案。舉例而言，像素子陣列104包括至少一個藍色基本像素單元104BB、至少兩個綠色基本像素單元104GB及至少一個紅色像素單元104RB。在其他實施例中，像素子陣列104包括至少三個正常像素單元及至少一個基本像素單元。在一些實施例中，像素子陣列104中之基本像素單元之數目與像素子陣列104中之像素單元(包括基本像素單元及正常像素單元)之總數目的比率在約1/25至約1/9 (亦即，約4%至約11%)之範圍內。
在一些實施例中，基本像素單元(例如，104BB、104GB及104RB)中之每一者被指派至在整個像素陣列102中使用之最小曝光層級。舉例而言，像素陣列102之每一基本像素單元被設定至共同基本曝光層級，其為應用於像素陣列102之所有像素單元之曝光層級中的最小層級。可基於前一訊框或所獲取影像之曝光層級而獲得或計算最小曝光層級。若前一訊框不可用，則藉由預設判定最小曝光層級。
在一些實施例中，成像系統100可用於黑白(BW)感測器。舉例而言，成像系統100之像素陣列102可由如圖1C中所展示之像素陣列102A替換。像素102A包括複數個區塊及白色像素，且經組態以自物件、環境及/或個人接收光。像素陣列102A包括複數個像素子陣列104A。每一像素子陣列104A包括M×N個像素單元(或像素)，其中M及N為大於1之整數。如圖1C中所展示，像素子陣列104A包括由3×3矩陣配置之9個像素單元。根據本發明之一些其他實施例，像素子陣列104A可包括多於或少於9個像素單元。在本發明之一些其他實施例中，如圖1C中所展示之像素子陣列104A之大小或圖案可變化。
每一像素子陣列104A包括正常像素單元104AN及至少一個基本像素單元104AG。在一些實施例中，基本像素單元104AG由正常像素單元104AN包圍。在一些實施例中，像素子陣列104A中之基本像素單元之數目與像素子陣列104A中之像素單元(包括基本像素單元及正常像素單元)之總數目的比率在約1/25至約1/4 (亦即，約4%至約25%)之範圍內。
在一些實施例中，基本像素單元104AG被指派至在整個像素陣列102A中使用之最小曝光層級。舉例而言，像素陣列102A之每一基本像素單元被設定成共同基本曝光層級，其為應用於像素陣列102A之所有像素單元之曝光層級中的最小層級。可基於前一訊框或所獲取影像之曝光層級而獲得或計算最小曝光層級。若前一訊框不可用，則藉由預設判定最小曝光層級。
在一些實施例中，成像系統100可用於紅外(IR)感測器。舉例而言，成像系統100之像素陣列102可由如圖1D中所展示之像素陣列102B替換。像素102B包括複數個IR像素，且經組態以自物件、環境及/或個人接收光。像素陣列102B包括複數個像素子陣列104B。每一像素子陣列104B包括M×N個像素單元(或像素)，其中M及N為大於1之整數。如圖1D中所展示，像素子陣列104B包括由3×3矩陣配置之9個像素單元。根據本發明之一些其他實施例，像素子陣列104B可包括多於或少於9個像素單元。在本發明之一些其他實施例中，如圖1D中所展示之像素子陣列104B之大小或圖案可變化。
每一像素子陣列104B包括正常像素單元104BN及至少一個基本像素單元104BG。在一些實施例中，基本像素單元104BG由正常像素單元104BN包圍。在一些實施例中，像素子陣列104B中之基本像素單元之數目與像素子陣列104B中之像素單元(包括基本像素單元及正常像素單元)之總數目的比率在約1/25至約1/4 (亦即，約4%至約25%)之範圍內。
在一些實施例中，基本像素單元104BG被指派至在整個像素陣列102B中使用之最小曝光層級。舉例而言，像素陣列102B之每一基本像素單元被設定成共同基本曝光層級，其為應用於像素陣列102B之所有像素單元之曝光層級中的最小層級。可基於前一訊框或所獲取影像之曝光層級而獲得或計算最小曝光層級。若前一訊框不可用，則藉由預設判定最小曝光層級。
返回參考圖1A，讀出電路106耦接至或連接至像素陣列102以自像素陣列100之複數個像素電路讀出影像資料。在一些實施例中，讀出電路106可包括放大電路、類比至數位轉換(ADC)電路或其他。讀出電路106之ADC轉換電路關聯於(例如，連接至)各別讀出行，以將類比影像信號轉換成數位影像資料。在一些實施例中，由讀出電路106讀出之影像資料被傳送至功能邏輯108。
功能邏輯108連接至或耦接至讀出電路106以自讀出電路106接收數位影像資料。功能邏輯108經組態以儲存影像資料及/或藉由應用後影像效果(例如，剪裁、旋轉、移除紅眼、調整亮度、調整對比度、移除鬼影或其他)來操縱影像資料。在一些實施例中，功能邏輯108包括影像記憶體122、處理器128及鬼影移除器130。影像記憶體122經組態以儲存自讀出電路106接收到之數位影像資料。處理器128連接至影像記憶體122且經組態以處理儲存於影像記憶體122中之影像資料。鬼影移除器130耦接至影像記憶體122且經組態以讀取儲存於影像記憶體122中之影像資料且將經重建構資料寫回至影像記憶體122。在一些實施例中，由處理器128執行之功能或操作可由鬼影移除器130執行，且反之亦然。舉例而言，處理器128可與鬼影移除器130整合。
圖2為說明根據本發明之一些實施例之例示性成像系統200的方塊圖。
功能邏輯108之影像記憶體122進一步包括正常像素記憶體224及基本像素記憶體226。正常像素記憶體224經耦接以儲存正常像素資料且將正常像素資料傳輸至鬼影移除器130以供重建構。正常像素記憶體224進一步經耦接以自鬼影移除器130接收經重建構正常像素資料以覆寫儲存於正常像素記憶體224中之正常像素資料。基本像素記憶體226經耦接以儲存基本像素資料且將基本像素資料傳輸至鬼影移除器130以供重建構。基本像素記憶體226進一步經耦接以自鬼影移除器130接收經重建構基本像素資料以覆寫儲存於基本像素記憶體226中之基本像素資料。
仍參考圖2，功能邏輯108之鬼影移除器130進一步包括比較器240、影像資料重建構器250及曝光層級產生器260。比較器240經組態以將影像資料與參考值242進行比較且輸出重建構命令246。在一些實施例中，比較器240經組態以將正常像素及基本像素資料與參考值242進行比較且產生各別比較結果。比較器240經組態以基於比較結果而輸出重建構命令246。在一些實施例中，參考值242為讀出電路106之ADC電路之數位化上限的最大值。
影像資料重建構器250包括正常像素資料重建構器254及基本像素資料重建構器256。正常像素資料重建構器254經組態以接收重建構命令246且基於重建構命令246而產生經重建構正常像素資料。正常像素資料重建構器254經組態以將經重建構正常像素資料傳輸至影像記憶體122中之正常像素記憶體224以覆寫正常像素記憶體224。基本像素資料重建構器256經組態以接收重建構命令246且基於重建構命令246而產生經重建構基本像素資料。基本像素資料重建構器256經組態以將經重建構基本像素資料傳輸至影像記憶體122中之基本像素記憶體226以覆寫基本像素記憶體226。
曝光層級產生器260耦接至比較器240以接收重建構命令246且儲存曝光層級。在一些實施例中，曝光層級儲存於曝光層級記憶體262中。每一曝光層級對應於經指派至各別像素子陣列104之不同曝光時間，基於該像素子陣列104，自影像記憶體122讀取經重建構像素資料(亦即，經重建構正常像素資料及經重建構基本像素資料)。曝光層級產生器260經組態以將曝光層級輸出至控制電路110。
控制電路110耦接至功能邏輯108且經組態以自功能邏輯108接收曝光層級。控制電路110亦耦接至像素陣列102以控制像素陣列102之操作。舉例而言，控制電路110經組態以針對單一訊框控制像素陣列100中之像素電路中之每一者的曝光時間。特定而言，控制電路110經組態以輸出經指派至像素陣列102之各別像素子陣列104的每一所應用曝光層級以控制每一像素之曝光時間。
在一些實施例中，控制電路110經由正常曝光控制線112及基本曝光控制線114連接至像素陣列102。正常曝光控制線112經耦接以將曝光時間自控制電路傳輸(或傳遞)至像素陣列102之每一像素列。基本曝光控制線114經耦接以將曝光時間自控制電路110傳輸(或傳遞)至像素陣列102之每一像素列，該像素列包括正常像素單元及基本像素單元兩者。在一些實施例中，每一基本像素之曝光時間分別被控制且與同一列中之每一正常像素之曝光時間並行。
影像應用裝置198耦接至功能邏輯108之影像記憶體122。影像應用裝置198經組態以自功能邏輯108之影像記憶體122接收影像資料且將影像資料提供至顯示器及資料傳輸器中之一者。
圖3為展示根據本發明之一些實施例的在1A圖中所說明之像素陣列102之像素單元之電路(或像素陣列102之像素單元之一部分)之實例的電路圖。
圖3中所展示之電路包括複數個像素電路(或電晶體) 301、302、303、304、305、306、307及308以及複數個傳輸線TX1、TX2、TX3、TX4、TX5、TX6、TX7及TX8。每一像素電路連接至或定義各別像素單元(例如，如圖1B中所展示之像素單元)。像素電路中之每一者包括或電連接至適於回應於入射光而累積影像電荷之光電二極體(例如，301d、302d、303d、304d、305d、306d、307d或308d)。在一個實例中，入射光可為經由透鏡及/或濾光器聚焦至像素電路上之光。
在一些實施例中，像素電路301定義紅色正常像素單元，像素電路302定義綠色正常像素單元，像素電路303定義紅色基本像素，像素電路304定義綠色基本像素單元，像素電路305定義綠色基本像素單元，像素電路306定義藍色基本像素單元，像素電路307定義綠色正常像素單元，且像素電路308定義藍色正常像素單元。在一些實施例中，傳輸線TX1為綠色基本像素傳輸線，傳輸線TX2為紅色基本像素傳輸線，傳輸線TX3為綠色正常像素傳輸線，傳輸線TX4為紅色正常像素傳輸線，傳輸線TX5為藍色基本像素傳輸線，傳輸線TX6為綠色基本像素傳輸線，傳輸線TX7為藍色正常像素傳輸線，且傳輸線TX8為綠色正常像素傳輸線。
仍參考圖3，像素電路301 (例如，像素電路301之閘極)連接至傳輸線TX4，像素電路302 (例如，像素電路302之閘極)連接至傳輸線TX3，像素電路303 (例如，像素電路303之閘極)連接至傳輸線TX2，像素電路304 (例如，像素電路304之閘極)連接至傳輸線TX1，像素電路305 (例如，像素電路305之閘極)連接至傳輸線TX6，像素電路306 (例如，像素電路306之閘極)連接至傳輸線TX5，像素電路307 (例如，像素電路307之閘極)連接至傳輸線TX8，且像素電路308 (例如，像素電路308之閘極)連接至傳輸線TX7。每一像素電路連接至各別傳輸線以接收控制信號且由控制信號打開/關閉。
圖4為說明根據本發明之一些實施例之用於處理影像之操作的流程圖。圖4中之操作可執行或實施於圖1中所展示之成像系統100或圖2中所展示之成像系統200中。替代地，圖4中之操作可經實施以用於任何其他成像系統。
參考操作S410，讀取正常像素單元之正常影像值。舉例而言，在如圖2中所展示之成像系統200中，由正常像素資料重建構器254自正常像素記憶體224讀取在給定子陣列內或屬於給定子陣列之正常像素單元之正常影像值225。在一些實施例中，舉例而言，在如圖1中所展示之成像系統100中，在操作S410之前，像素陣列102之每一像素單元可預置或指派有曝光層級。舉例而言，一或多個曝光層級被指派至其中存在該像素單元之各別像素子陣列104。在如圖2中所展示之成像系統200中，由控制電路110自曝光層級記憶體262讀出曝光層級。像素陣列之每一基本像素單元預置或指派有基本曝光層級。在一些實施例中，基本曝光層級為應用於像素單元之所有曝光層級中之最小層級。如圖2中所展示，應用於像素單元之所有曝光層級由控制電路110自曝光層級記憶體270讀出且被指派用於像素陣列之各別子陣列。
參考圖4，在操作S412中，定位且讀取基本像素單元之基本影像值。在一些實施例中，如圖2中所展示，由基本像素資料重建構器256定位且自基本像素記憶體226讀取在給定子陣列內或屬於給定子陣列之基本像素單元之基本影像值227。在一些實施例中，基本像素單元為距離上最接近具有同一顏色且屬於同一子陣列之正常像素單元而存在的像素單元。舉例而言，基本像素單元及正常像素單元屬於同一子陣列且包括同一顏色。接著將正常影像值與參考值進行比較且將基本影像值與參考值進行比較。在一些實施例中，可由如圖2中所展示之比較器240將正常影像值225及基本影像值227與參考值242進行比較。在一些實施例中，參考值242被設定成如圖1中所展示之讀出電路106之ADC電路之數位化上限的最大值。在一些實施例中，參考值可由n位元信號定義，其中n為正整數。舉例而言，若n為8，則參考值為255。
若正常像素單元之正常影像值及基本像素單元之基本影像值兩者皆與參考值相同，則正常像素單元被判定為處於飽和狀況(或真飽和狀況)下。舉例而言，如圖2中所展示之比較器240經組態以產生重建構命令246以預置處於飽和狀況中之正常像素單元。接著對下一正常像素單元進行相同操作(例如，操作S410及S412)，如圖4中之操作S418中所展示。
若正常像素單元之正常影像值低於參考值且基本像素單元之基本影像值低於參考值，則基本像素單元被判定為處於非飽和狀況。舉例而言，如圖2中所展示之比較器240經組態以產生重建構命令246以預置處於非飽和狀況中之基本像素單元。參考操作S414，接著藉由使用處於非飽和狀況下之周圍正常像素單元之值來產生或重建構基本像素值。周圍正常像素單元最近似基本像素單元且具有同一顏色且屬於同一子陣列。舉例而言，如圖2中所展示，基本像素資料重建構器256經組態以基於重建構命令246而產生或重構建基本像素值且將經重建構基本像素值229傳輸至基本像素記憶體226以用經重建構基本像素值229覆寫基本像素記憶體226。接著對下一正常像素單元進行相同操作(例如，操作S410及S412)，如圖4中之操作S418中所展示。由於基本像素單元指派有低曝光層級(例如，最小曝光層級)，因此基本像素單元具有低信雜比(SNR)。使用周圍正常像素單元來重建構基本像素單元會增加或改良基本像素單元之SNR。
若正常像素單元之正常影像值與參考值相同且基本像素單元之基本影像值低於參考值，則正常像素單元被判定為處於假飽和狀況。舉例而言，如圖2中所展示之比較器240經組態以產生重建構命令246以預置處於假飽和狀況中之正常像素單元。參考操作S416，接著藉由使用處於假飽和狀況下之周圍基本像素單元之值來產生或重建構正常像素值。周圍基本像素單元最近似正常像素單元且具有同一顏色且屬於同一子陣列。舉例而言，如圖2中所展示，正常像素資料重建構器255經組態以基於重建構命令246而產生或重構建正常像素值且將經重建構基本像素值228傳輸至正常像素記憶體224以用經重建構正常像素值228覆寫正常像素記憶體224。接著對下一正常像素單元進行相同操作(例如，操作S410及S412)，如圖4中之操作S418中所展示。
在對子陣列中之所有正常像素單元(或至少預定數目個正常像素單元)完成圖4中所說明之操作之後，基於與同一子陣列內之每一正常像素單元相關聯的重建構命令而產生曝光值。經指派至各別子陣列之曝光值接著儲存(例如)於如圖2中所展示之曝光層級產生器260之曝光層級記憶體262中。控制電路110可經配置以自曝光層級記憶體262讀取曝光層級且相應地控制像素陣列之每一像素之曝光時間。
如上文所提及，當待俘獲之物件(或具有影像感測器之相機)自相對黑暗環境移動至相對明亮環境時，鬼影(或偽影)可在所俘獲影像中出現或顯現。舉例而言，如圖5A中所展示，其說明具有鬼影之像片，該等鬼影由虛線圓圈圈出。藉由使用周圍基本像素單元之值來重建構正常像素單元之正常像素值，可消除或減輕鬼影。舉例而言，如圖5B中所展示，在如圖5A中所展示之像片中觀測到之鬼影被移除、消除或減輕。換言之，在如圖5A中所展示之像片中可辨的鬼影在如圖5B中所展示之像片中消失。
100:成像系統102:像素陣列/像素102A:像素陣列/像素102B:像素陣列/像素104:像素子陣列104A:像素子陣列104AG:基本像素單元104AN:正常像素單元104B:像素子陣列104BB:基本像素單元104BG:基本像素單元104BN:正常像素單元104GB:基本像素單元104GN:正常像素單元104RB:基本像素單元104RN:正常像素單元106:讀出電路108:功能邏輯110:控制電路112:正常曝光控制線114:基本曝光控制線122:影像記憶體128:處理器130:鬼影移除器198:影像應用裝置200:成像系統224:正常像素記憶體225:正常影像值226:基本像素記憶體227:基本影像值228:正常像素值229:基本像素值240:比較器242:參考值246:重建構命令250:影像資料重建構器254:正常像素資料重建構器256:基本像素資料重建構器260:曝光層級產生器262:曝光層級記憶體301:像素電路301d:光電二極體302:像素電路302d:光電二極體303:像素電路303d:光電二極體304:像素電路304d:光電二極體305:像素電路305d:光電二極體306:像素電路306d:光電二極體307:像素電路307d:光電二極體308:像素電路308d:光電二極體TX1:傳輸線TX2:傳輸線TX3:傳輸線TX4:傳輸線TX5:傳輸線TX6:傳輸線TX7:傳輸線TX8:傳輸線S410:操作S412:操作S414:操作S416:操作S418:操作
圖1A為說明根據本發明之一些實施例之例示性成像系統的方塊圖。    圖1B說明根據本發明之一些實施例的在圖1A中所說明之像素子陣列的實例。    圖1C說明根據本發明之一些實施例之像素陣列的實例。    圖1D說明根據本發明之一些實施例之像素陣列的實例。    圖2為說明根據本發明之一些實施例之例示性成像系統的方塊圖。    圖3為展示根據本發明之一些實施例的在1A圖中所說明之像素陣列之像素單元之電路之實例的電路圖。    圖4為說明根據本發明之一些實施例之用於處理影像之操作的流程圖。    圖5A說明根據本發明之一些實施例的像片。    圖5B說明根據本發明之一些實施例的另一像片。    貫穿圖式及詳細描述使用共同參考編號以指示相同或相似組件。結合隨附圖式，自以下詳細描述，可最好地理解本發明。
100:成像系統
102:像素陣列/像素
104:像素子陣列
106:讀出電路
108:功能邏輯
110:控制電路
112:正常曝光控制線
114:基本曝光控制線
122:影像記憶體
128:處理器
130:鬼影移除器
198:影像應用裝置

Claims (24)

  1. 一種高動態範圍(HDR)成像感測器，其包含：    像素單元之一像素陣列，其中每一像素單元包含一正常像素及一基本像素中之一者，且每M列乘N行像素定義一像素子陣列，其中每一像素子陣列包含至少三個正常像素及至少一個基本像素；    一讀出電路，其經耦接以自該像素陣列之複數個像素讀出影像資料，該讀出電路包含一類比至數位轉換器(ADC)，該ADC與各別讀出行相關聯且經組態以將類比影像信號轉換成數位影像資料；    一功能邏輯，其經耦接以自該讀出電路接收該數位影像資料，其中該功能邏輯包含：    一影像記憶體，其經耦接以儲存自該讀出電路接收到之該影像資料；及    一鬼影移除器，其經耦接以讀取儲存於該影像記憶體中之影像資料且將經重建構資料寫回至該影像記憶體；及    一控制電路，其經耦接以自該功能邏輯接收曝光層級且輸出經指派至該像素陣列之各別像素子陣列的每一所應用曝光層級以控制每一像素之一曝光時間。
  2. 如請求項1之HDR成像感測器，其進一步包含：    一正常曝光控制線，其經耦接以將該曝光時間自該控制電路傳遞至該像素陣列之每一像素列；及    一基本曝光控制線，其經耦接以將該曝光時間自該控制電路傳遞至該像素陣列之每一像素列，該像素列包括該正常像素及該基本像素兩者，其中每一基本像素之該曝光時間分別被控制且與同一列中之每一正常像素之該曝光時間並行。
  3. 如請求項1之HDR成像感測器，其中該影像記憶體包含：    一正常像素記憶體，其經耦接以儲存正常像素資料且將其輸出至該鬼影移除器且由經重建構正常像素資料自該鬼影移除器覆寫；及    一基本像素記憶體，其經耦接以儲存基本像素資料且將其輸出至該鬼影移除器且由經重建構基本像素資料自該鬼影移除器覆寫。
  4. 如請求項1之HDR成像感測器，其中該鬼影移除器包含：    一比較器，其經耦接以將影像資料與一參考值進行比較且輸出一重建構命令；及    一影像資料重建構器，其包含：    一正常像素資料重建構器，其經耦接以基於該重建構命令而重構建正常像素資料且覆寫影像記憶體中之該正常像素記憶體；及    一基本像素資料重建構器，其經耦接以基於該重建構命令而重構建基本像素資料且覆寫影像記憶體中之該基本像素記憶體。
  5. 如請求項4之HDR成像感測器，其中該比較器經組態以：    將該正常像素資料與該參考值進行比較；    將該基本像素資料與該參考值進行比較；及    基於兩個比較結果而輸出該重建構命令。
  6. 如請求項4之HDR成像感測器，其中該參考值為該讀出電路之該ADC之數位化上限的最大值。
  7. 如請求項1之HDR成像感測器，其中每一像素子陣列包含：    至少一個紅色正常像素單元，    至少一個綠色正常像素單元，    至少一個藍色正常像素單元，    至少一個紅色基本像素單元，    至少一個綠色基本像素單元，及    至少一個藍色基本像素單元。
  8. 如請求項1之HDR成像感測器，其中每一像素子陣列包含複數個拜耳圖案，且其中每一像素子陣列包含：    至少一個紅色基本像素單元，    至少兩個綠色基本像素單元，及    至少一個藍色基本像素單元。
  9. 如請求項1之HDR成像感測器，其中該鬼影移除器進一步包含一曝光組態產生器，該曝光組態產生器經耦接以：    接收該重建構命令；    將曝光層級儲存至一曝光層級記憶體，該曝光層級記憶體經耦接以接收且儲存對應於經指派至各別像素子陣列之一不同曝光時間的每一曝光層級，基於該像素子陣列，自該影像記憶體讀取該經重建構像素；且    將該曝光層級輸出至該控制電路。
  10. 如請求項1之HDR成像感測器，其中每一像素子陣列包含至少一個黑白基本像素單元。
  11. 如請求項1之HDR成像感測器，其中每一像素子陣列包含至少一個紅外基本像素單元。
  12. 一種使用基本曝光像素來移除鬼影之方法，其包含：    以經指派至其中存在該像素之各別像素子陣列之一曝光層級預置一像素陣列之每一像素單元，其中該等曝光層級由該控制電路自曝光層級記憶體讀出；    由一正常像素資料重建構器自一正常像素記憶體讀取一正常像素之正常影像值，其中該正常像素屬於一給定子陣列；    由一基本像素資料重建構器自一基本像素記憶體讀取一基本像素之基本影像值，其中該正常像素之該基本像素為距離上最接近具有同一顏色且屬於同一子陣列之正常像素而存在的像素；    由一比較器將該正常影像值與一參考值進行比較；及    由該比較器將該基本影像值與一參考值進行比較。
  13. 如請求項12之移除鬼影之方法，其進一步包含：    以一基本曝光層級預置該像素陣列之每一基本像素，其中該基本曝光層級為所有所應用曝光層級中之最小層級，其中所有所應用曝光層級由該控制電路自該曝光層級記憶體讀出，且其中每一所應用曝光層級被指派用於該像素陣列之各別子陣列。
  14. 如請求項12之移除鬼影之方法，其進一步包含：    基於該正常影像值低於該參考值且該基本影像值低於該參考值而由該比較器設定該重建構命令以預置一非飽和狀況；及    基於該正常影像值與該參考值相同且該基本影像值低於該參考值而由該比較器設定該重建構命令以預置一假飽和狀況。
  15. 如請求項12之移除鬼影之方法，其進一步包含：    藉由計算處於該非飽和狀況下之周圍正常像素之值來重建構一基本像素值，其中最近似該基本像素之該等周圍正常像素具有同一顏色且屬於同一子陣列，且其中該影像資料重建構器重建構該基本像素值且用該經重建構基本像素值覆寫該基本像素記憶體；及    藉由計算處於該假飽和狀況下之周圍基本像素之值來重建構一正常像素值，其中最近似該正常像素之該等周圍基本像素具有同一顏色且屬於同一子陣列，且其中該影像資料重建構器重建構該正常像素值且用該經重建構正常像素值覆寫該正常像素記憶體。
  16. 如請求項12之移除鬼影之方法，其進一步包含：    基於與同一子陣列內之每一正常像素相關聯的該重建構命令而產生曝光值，且將經指派至各別子陣列之每一曝光值儲存至該曝光層級產生器中之一記憶體；    由該控制電路自該曝光層級產生器之該記憶體讀取曝光層級；及    由該控制電路控制像素陣列之每一像素之曝光時間。
  17. 如請求項12之移除鬼影之方法，其包含：    將該參考值設定為該讀出電路之該ADC之數位化上限的最大值。
  18. 一種高動態範圍(HDR)成像系統，其包含：    像素單元之一像素陣列，其用於自物件接收光，其中每一像素單元包含一正常像素及一基本像素中之一者，且每M列乘N行像素定義一像素子陣列，其中每一像素子陣列包含至少三個正常像素及至少一個基本像素；    一讀出電路，其經耦接以自該像素陣列之複數個像素讀出影像資料，該讀出電路包含一類比至數位轉換器(ADC)，該ADC與各別讀出行相關聯以將類比影像信號轉換成數位影像資料；    一功能邏輯，其經耦接以自該讀出電路接收該數位影像資料，其中該功能邏輯包含：    一影像記憶體，其經耦接以儲存自該讀出電路接收到之該影像資料；及    一鬼影移除器，其經耦接以讀取儲存於該影像記憶體中之影像資料且將經重建構資料寫回至該影像記憶體；    一控制電路，其經耦接以自該功能邏輯接收曝光層級且輸出經指派至該像素陣列之各別像素子陣列的每一所應用曝光層級以控制每一像素之一曝光時間；    一正常曝光控制線，其經耦接以將該曝光時間自該控制電路傳遞至該像素陣列之每一像素列；    一基本曝光控制線，其經耦接以將該曝光時間自該控制電路傳遞至該像素陣列之每一像素列，該像素列包括該正常像素及該基本像素兩者，其中每一基本像素之該曝光時間分別被控制且與同一列中之每一正常像素之該曝光時間並行；及    一影像應用裝置，其經耦接以自該功能邏輯之該影像記憶體接收影像資料且將影像資料提供至一顯示器及一資料傳輸器中之一者。
  19. 如請求項18之HDR成像系統，其中該影像記憶體包含：    一正常像素記憶體，其經耦接以儲存正常像素資料且將其輸出至該鬼影移除器且由經重建構正常像素資料自該鬼影移除器覆寫；及    一基本像素記憶體，其經耦接以儲存基本像素資料且將其輸出至該鬼影移除器且由經重建構基本像素資料自該鬼影移除器覆寫。
  20. 如請求項18之HDR成像系統，其中該鬼影移除器包含：    一比較器，其經耦接以將影像資料與一參考值進行比較且輸出一重建構命令；及    一影像資料重建構器，其包含：    一正常像素資料重建構器，其經耦接以基於該重建構命令而重構建正常像素資料且覆寫影像記憶體中之該正常像素記憶體；及    一基本像素資料重建構器，其經耦接以基於該重建構命令而重構建基本像素資料且覆寫影像記憶體中之該基本像素記憶體。
  21. 如請求項20之HDR成像系統，其中該比較器經組態以    將該正常像素資料與該參考值進行比較；    將該基本像素資料與該參考值進行比較；及    基於兩個比較結果而輸出該重建構命令，其中該參考值為該讀出電路之該ADC之數位化上限的最大值。
  22. 如請求項18之HDR成像系統，其中每一像素子陣列包含：    至少一個紅色正常像素單元，    至少一個綠色正常像素單元，    至少一個藍色正常像素單元，    至少一個紅色基本像素單元，    至少一個綠色基本像素單元，及    至少一個藍色基本像素單元。
  23. 如請求項18之HDR成像系統，其中每一像素子陣列包含複數個拜耳圖案，且其中每一像素子陣列包含：    至少一個紅色基本像素單元，    至少兩個綠色基本像素單元，及    至少一個藍色基本像素單元。
  24. 如請求項18之HDR成像系統，其中該鬼影移除器進一步包含一曝光組態產生器，該曝光組態產生器經耦接以：    接收該重建構命令；    將曝光層級儲存至一曝光層級記憶體，該曝光層級記憶體經耦接以接收且儲存對應於經指派至各別像素子陣列之一不同曝光時間的每一曝光層級，基於該像素子陣列，自該影像記憶體讀取該經重建構像素；且    將該曝光層級輸出至該控制電路。
TW107140989A 2018-10-11 2018-11-19 局部曝光感測器及其操作方法 TWI695623B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/157,978 US10630922B1 (en) 2018-10-11 2018-10-11 Local exposure sensor and method for operating the same
US16/157,978 2018-10-11

Publications (2)

Publication Number Publication Date
TW202015393A true TW202015393A (zh) 2020-04-16
TWI695623B TWI695623B (zh) 2020-06-01

Family

ID=70160949

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107140989A TWI695623B (zh) 2018-10-11 2018-11-19 局部曝光感測器及其操作方法

Country Status (3)

Country Link
US (1) US10630922B1 (zh)
CN (1) CN111050096B (zh)
TW (1) TWI695623B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5778873B2 (ja) * 2012-12-07 2015-09-16 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム、並びに記録媒体
US9224782B2 (en) * 2013-04-19 2015-12-29 Semiconductor Components Industries, Llc Imaging systems with reference pixels for image flare mitigation
US10223775B2 (en) * 2016-09-14 2019-03-05 Omnivision Technologies, Inc. Array camera image combination with feature-based ghost removal

Also Published As

Publication number Publication date
TWI695623B (zh) 2020-06-01
US20200120296A1 (en) 2020-04-16
US10630922B1 (en) 2020-04-21
CN111050096B (zh) 2021-08-10
CN111050096A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
TWI461060B (zh) 具有光暈降低機制的影像感應器
US7119317B2 (en) Wide dynamic range imager with selective readout
US20150249795A1 (en) Imaging processing apparatus and method
TW201916674A (zh) 電子裝置以及取像方法
US7619674B2 (en) CMOS image sensor with wide dynamic range
US8248490B2 (en) Imaging sensor having reduced column fixed pattern noise
US8149289B2 (en) Pseudo-digital average sub sampling method and apparatus
US20080259178A1 (en) Solid-state imaging device, signal processing method for the same, and imaging apparatus
US9307172B2 (en) Floating point image sensors with tile-based memory
US20140146210A1 (en) Solid state imaging devices and methods using single slope adc with adjustable slope ramp signal
US9826185B2 (en) High signal to noise ratio of image based on signals with different sensitivities
US20120195502A1 (en) Dynamic range extension for cmos image sensors for mobile applications
KR20150060024A (ko) 픽셀 어레이 및 이를 포함하는 이미지 센서
GB2426883A (en) Imaging device using readout path selection
US9854186B2 (en) Methods and apparatus for an images sensor with row-level gain control
US11637963B2 (en) Image sensor and image processing system comprising the same
US9391632B1 (en) Method and system for implementing an extended range approximation analog-to-digital converter
US20160037101A1 (en) Apparatus and Method for Capturing Images
US20170251135A1 (en) Imaging device and imaging method
TWI695623B (zh) 局部曝光感測器及其操作方法
JP5966357B2 (ja) 撮像素子および撮像装置
WO2016203966A1 (ja) 撮像装置、撮像方法、並びにプログラム
US20230262344A1 (en) Image sensor and image processing system comprising the same
TW201734947A (zh) 用於在具有管道架構之影像感測器中實施動態接地共享之方法及系統
US20230209226A1 (en) Image Sensors with On-Chip ADC Data Compression for Multi-Bit Electron-Number Outputs