TW201716849A - 改良之不可見光照明機制 - Google Patents

改良之不可見光照明機制 Download PDF

Info

Publication number
TW201716849A
TW201716849A TW105117453A TW105117453A TW201716849A TW 201716849 A TW201716849 A TW 201716849A TW 105117453 A TW105117453 A TW 105117453A TW 105117453 A TW105117453 A TW 105117453A TW 201716849 A TW201716849 A TW 201716849A
Authority
TW
Taiwan
Prior art keywords
image
image sensor
invisible
interest
region
Prior art date
Application number
TW105117453A
Other languages
English (en)
Other versions
TWI612371B (zh
Inventor
記章 單
許明愷
Original Assignee
豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 豪威科技股份有限公司 filed Critical 豪威科技股份有限公司
Publication of TW201716849A publication Critical patent/TW201716849A/zh
Application granted granted Critical
Publication of TWI612371B publication Critical patent/TWI612371B/zh

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Abstract

本發明描述一種設備及程序之實施例。該程序包含使用一影像感測器擷取一第一影像圖框，該影像感測器包含：一像素陣列，其包括被配置於列及行中之複數個像素；及一彩色濾光器陣列，其光學耦合至該像素陣列。決定該第一影像圖框內之一所關注區域，且該影像感測器之曝光時間經調整以消除由該影像感測器擷取到之很大一部分可見光。結合該像素陣列使用一滾動快門步驟以使用該經調整曝光時間擷取至少一個後續圖框，且在該滾動快門進入該所關注區域時，啟動一不可見光輻射源，且當該滾動快門離開該所關注區域時，解除啟動該不可見光輻射源。最後，輸出該所關注區域之一影像。另亦揭示及主張其他實施例。

Description

改良之不可見光照明機制
所揭示實施例大體上係關於數位攝影，且特定地說(但非排他性地)係關於改良在具有不可見光波長下成像同時降低電力消耗之一照明機制。
將相機併入至許多種類的行動裝置(諸如蜂巢式電話、智慧型電話、平板電腦及類似物)中，甚至現今實際上每個行動裝置皆包含一相機。最初，相機的功能僅僅係為了拍照，但許多相機現在亦用於額外功能，諸如使用者識別及驗證、手勢辨識等等。出於各種原因，必須使用不可見(即，無形)光(諸如，紅外線)實施許多此等額外功能，且因此行動裝置亦必須包含提供所需不可見光輻射之某個種類的輻射(即，光)源。
許多行動裝置使用電池操作且因此受電力制約-即，該等行動裝置在電池耗盡之前僅可提供一有限量的電力且必須被再充電。無關於電池容量，使用者亦經常抱怨過短的電池壽命(電池在充電之間持續多久)。但在具有一不可見光光源之大多數裝置中，該不可見光光源被非常低效地使用，意味著該不可見光光源自電池汲取比所需更多的電力且導致比所需更短的一電池壽命。
100‧‧‧影像擷取裝置/裝置
102‧‧‧光學器件
104‧‧‧物體
106‧‧‧外部光源
108‧‧‧板載可見光光源
110‧‧‧板載不可見光光源/不可見光光源
112‧‧‧影像感測器
200‧‧‧互補金屬氧化物半導體影像感測器
201‧‧‧彩色濾光器陣列
202‧‧‧基板
203‧‧‧濾光器
204‧‧‧光電二極體區域/光敏區域
205‧‧‧濾光器/彩色像素陣列/像素陣列
206‧‧‧微透鏡/金屬堆疊
215‧‧‧功能邏輯
220‧‧‧控制電路
250‧‧‧前側照明像素
270‧‧‧讀出電路
275‧‧‧背側照明像素/像素
300‧‧‧彩色濾光器陣列
302‧‧‧最小重複單元
500‧‧‧影像圖框/圖框
502‧‧‧所關注區域
503‧‧‧物體
504‧‧‧上部區域/區域
506‧‧‧下部區域/區域
801‧‧‧平行四邊形/影像圖框
802‧‧‧平行四邊形/影像圖框
803‧‧‧平行四邊形/影像圖框
804‧‧‧平行四邊形/影像圖框/第四完整圖框
805‧‧‧平行四邊形/影像圖框
C1-Cx‧‧‧行
E‧‧‧曝光時間
M1‧‧‧金屬層
M2‧‧‧金屬層
P1-Pn‧‧‧像素
R1-Ry‧‧‧列
Ri‧‧‧列
Rj‧‧‧列
ΔR‧‧‧高度
參考以下圖描述本發明之非限制及非詳盡實施例，其中貫穿各 種視圖相似元件符號指代相似部件，除非另有規定。
圖1A至圖1B係包含不可見光光照之一影像擷取裝置之一實施例之透視圖及截面圖。
圖2A係包含一彩色濾光器陣列之一影像感測器之一實施例之一示意圖。
圖2B至圖2C分別係一對前側照明像素之實施例及一對背側照明像素之實施例之截面。
圖3A至圖3B分別係藉由鋪砌多個最小重複單元(MRU)形成之一彩色濾光器陣列(CFA)之一實施例之一圖及一MRU之一對實施例之一圖。
圖4係圖解說明一影像感測器中之一滾動快門之操作之一實施例之一圖。
圖5係包含一影像圖框圖框內之一所關注區域之該圖框圖框之一實施例之一圖。
圖6係圖解說明用於改良之不可見光照明及影像擷取之一程序之一實施例之一流程圖。
圖7A至圖7B係圖解說明曝光時間調整之一實施例之圖。
圖8係圖解說明在利用一不可見波長光擷取一所關注區域之一影像期間之各種事件之時序之一實施例之一時序圖。
描述一種用於改良影像擷取同時降低電力消耗之一不可見光照明機制之設備、系統及方法之實施例。描述特定細節以提供對實施例之一透徹理解，但是熟習相關技術者將認識到，可無需使用所描述細節中之一或多者或使用其他方法、組件、材料等等實踐本發明。在一些例項中，未詳細展示或描述眾所周知之結構、材料或操作，但是眾所周知之結構、材料或操作仍然涵蓋于本發明之範疇內。
貫穿此描述對「一項實施例」或「一實施例」之提及意味著所描述特徵、結構或特性可包含於至少一項所描述實施例中，使得「在一項實施例中」或「在一實施例中」之出現並不一定皆指代相同實施例。此外，所描述之特定特徵、結構或特性可以任何適合方式被組合於一或多個實施例中。
圖1A至圖1B一起圖解說明一影像擷取裝置100之一實施例。裝置100之所圖解說明之實施例係一相機，但在其他實施例中，裝置100可為包含一影像感測器之任何裝置，諸如一行動電話、智慧型電話、範本、膝上型電腦等等。
裝置100包含光學器件102，該光學器件用於將一物體104之一影像聚焦至該裝置內之一影像感測器112上。在一項實施例中，影像感測器112可為一CMOS影像感測器(諸如圖2A至圖2C中所展示之影像感測器)，但在其他實施例中，影像感測器112可為另一類型之影像感測器。可由不同光源照明物體104。該物體可由一外部光源106照明，若物體104在室外，則外部光源106可保持其可為自然光(即，日光)，或若物體104在室內，則外部光源106可保持其可為人造光。若外部光源106將變暗以適當地照明物體104，則安裝在裝置100上或安裝在裝置100中之一板載可見光光源108可取代或增補外部光源106以照明物體104。最後，可針對特殊成像情形使用一板載不可見光(即，無形)光源110以利用不可見光輻射照明物體104。在一項實施例中，不可見光光源110可為一紅外線光源，但在其他實施例中，不可見光光源110可為以另一波長(諸如紫外線)發射之一不可見光光源。除其他之外，可針對特殊成像情形(例如身份驗證)使用不可見光光源110。例如，在一智慧型電話中，可使用不可見光波長執行一視網膜掃描以驗證試圖使用該智慧型電話之個人係其合法擁有者。但(當然)對不可見光光源110之使用不限於此特定應用。可使用該不可見光光源之其他應用包 含虹膜識別、靜脈識別、手勢偵測、運動偵測、人臉偵測、接近偵測等等。
在裝置100之操作中，由外部光源106或板載可見光光源108中之一或兩者照明物體104之全部或部分以用於正常(即，可見光)成像。且若存在需要不可見光光源110之一情形，則可使用不可見光光源110照明物體104之全部或部分。無論使用何種光源照明物體104，自一源入射於物體104上之光自該物體反射且由光學器件102將其聚焦至影像感測器112上。影像感測器112具有一曝光週期，在該曝光週期期間該影像感測器擷取由光學器件102聚焦於其上之光且產生電信號，接著，該電信號形成物體104之一數位影像之一基礎。
在現存系統中，當使用不可見光光源110時，即使僅需要其擷取物體之部分之一影像，該不可見光光源亦在影像感測器之整個曝光週期期間保持接通。例如，使用一視網膜掃描之身份驗證僅需人眼之一影像，而非整個人或甚至整個人臉之一影像。但如同不可見光光源110之光源可使用大量電量，且此可在具有電力約束之裝置一例如，使用電池操作之裝置中係一問題。下文所描述之實施例藉由使用不可見光光源110之一智慧照明機制而減少此問題。
圖2A圖解說明包含一彩色像素陣列205、耦合至該像素陣列之讀出電路270、耦合至該讀出電路之功能邏輯215及耦合至該像素陣列之控制電路220之一互補金屬氧化物半導體(CMOS)影像感測器200之一實施例。彩色像素陣列205係具有X個像素行及Y個像素列之個別成像感測器或像素(例如，像素P1、P2、......、Pn)之一個二維(「2D」)陣列。彩色像素陣列205可被實施為一前側照明影像感測器(如圖2A中展示)或被實施為一背側照明影像感測器(如圖2B中展示)。如所圖解說明，陣列中之每一像素被配置至一列(例如，列R1至Ry)及一行(例如，行C1至Cx)中以獲取一人、位置或物體之影像資料，接著可使用 該影像資料呈現該人、位置或物體之一2D影像。彩色像素陣列205使用耦合至該像素陣列之一彩色濾光器陣列(CFA)將色彩指派至每一像素，如下文結合彩色濾光器陣列之所揭示實施例進一步論述。
在像素陣列205中之每一像素已獲取其影像資料或影像電荷之後，由讀出電路270讀出該影像資料且將其傳送至功能邏輯215以用於儲存、額外處理等等。讀出電路270可包含放大電路、類比轉數位(「ADC」)轉換電路或其他電路。功能邏輯215可儲存該影像資料及/或藉由應用影像後效果(例如，剪裁、旋轉、移除紅眼、調整亮度、調整對比度或其他)來操縱該影像資料。在一項實施例中，亦可使用功能邏輯215處理該影像資料以校正(即，減少或移除)固定圖案雜訊。控制電路220耦合至像素陣列205以控制彩色像素陣列205之操作特性。例如，控制電路220可產生用於控制影像獲取之一快門信號。
圖2B圖解說明一CMOS影像感測器中之一對前側照明(FSI)像素250之一實施例之一截面。FSI像素250之前側係基板202之在其上安置光敏區域204及相關聯像素電路且在其上方形成用於再分佈信號之金屬堆疊206之側。金屬堆疊206包含金屬層M1及M2，其經圖案化以產生一光學通道，入射於FSI像素250上之光可透過該光學通道到達光敏或光電二極體(「PD」)區域204。為實施一彩色影像感測器，前側可包含彩色濾光器陣列201，其中其等個別彩色濾光器(在此特定截面中僅圖解說明兩個個別濾光器203及205)之各者被安置於輔助將入射光聚焦至PD區域204上之一微透鏡206之下方。在一項實施例中，彩色濾光器陣列201可為利用圖3A至圖3B中描述之最小重複單元及濾光器中之任一者形成之一彩色濾光器陣列。
圖2C圖解說明一CMOS影像感測器中之一對背側照明(BSI)像素275之一實施例之一截面。如在FSI像素250中，像素275之前側係基板202之在其上安置光敏區域204及相關聯像素電路且在其上方形成用於 再分佈信號之金屬堆疊206之側。背側係基板202之與前側相對之側。為實施一彩色影像感測器，背側可包含彩色濾光器陣列201，其中其等個別彩色濾光器(在此特定截面中圖解說明個別濾光器203及205)之各者被安置於一微透鏡206下方。在一項實施例中，彩色濾光器陣列201可為利用圖3A至3B中描述之最小重複單元及濾光器中之任一者形成之一彩色濾光器陣列。微透鏡206輔助將入射光聚焦至光敏區域204上。像素275之背側照明意味著金屬堆疊206中之金屬互連線不會遮蓋被成像之物體與光敏區域204之間之路徑，從而導致由光敏區域204產生更大信號。
圖3A圖解說明一彩色濾光器陣列(CFA)300，其包含經鋪砌以形成CFA之複數個最小重複單元(MRU)。CFA 300包含一定數目個個別濾光器，該數目實質上對應於CFA耦合至或將耦合至的像素陣列中之個別像素之數目。每一個別濾光器光學耦合至像素陣列中之一對應個別像素，且具有選自一組光譜光回應之一特定光譜光回應。一特定光譜光回應對電磁波譜之某些部分具有高敏感度但對該波譜之其他部分具有低敏感度。像素本身並非彩色的，但因為CFA藉由將一濾光器放置在像素上方而將一單獨光回應指派至每一像素，所以通常將一像素稱為彼特定光回應之一像素。因此，若一像素不具有濾光器或像素耦合至一透明(即，無色或全色)濾光器，則可將該像素稱為一「透明像素」，若像素耦合至一藍色濾光器，則可將該像素稱為一「藍色像素」，若像素耦合至一綠色濾光器，則可將該像素稱為一「綠色像素」，或若像素耦合至一紅色濾光器，則可將該像素稱為一「紅色像素」等等。
經選擇用於一CFA中之該組光譜光回應通常具有至少三個不同光回應，但在一些實施例中，其等可包含四個或四個以上不同光回應。在CFA 300具有四個光譜光回應之一實施例中，該組光回應可為紅 色、綠色、藍色及透明或全色(即，中性或無色)。但在其他實施例中，CFA 300可包含除所列出光回應之外或代替所列出光回應之其他光回應。例如，其他實施例可包含青色(C)、洋紅色(M)及黃色(Y)濾光器、透明(即，無色)濾光器、紅外線濾光器、紫外線濾光器、x射線濾光器等等。在一些實施例中，亦可使用對電磁光譜之多個部分具有高敏感度之多頻帶濾光器。
CFA 300中之個別濾光器被分組至最小重複單元(MRU)(例如MRU 302)中，且MRU 302接著經垂直及水平(如由箭頭指示)鋪砌以形成CFA 300。一最小重複單元係使得沒有其他重複單元具有更少個別濾波器之一重複單元。一彩色濾光器陣列可包含數個不同重複單元，但若陣列中存在具有更少個別濾光器之另一重複單元，則一重複單元並非一最小重複單元。可使用包含比針對MRU 302所圖解說明之更多或更少數目個像素之一MRU來鋪砌CFA 300之其他實施例。
圖3B圖解說明一最小重複單元(MRU)302之實施例。MRU 302包含被配置成M列及N行之一組個別濾光器；在此實施例中，M=N=2，使得MRU 302係具有四個個別濾光器之一2 x 2 MRU，但在其他實施例中，M及N可具有更大或更小值。在又另一實施例中，M及N無須具有相同值，使得MRU為矩形而非正方形。
MRU 302內之四個個別濾光器包含三個雙頻帶濾光器及一個單頻帶濾光器。顧名思義，雙頻帶濾光器具有允許其等對兩個不同電磁波長頻帶進行濾光之光譜光回應。在所圖解說明之實施例中，雙頻帶濾光器各自對一可見光波長(例如，紅色、藍色及綠色)及一不可見光波長(例如，紅外線(IR)及近紅外線(NIR))進行濾光，而單頻帶濾光器對不可見光波長進行濾光。在其中單頻帶濾光器之頻帶匹配雙頻帶濾光器之不可見光頻帶之情況下，雙頻帶濾光器及一單頻帶濾光器之此配置允許彩色濾光器陣列300光學耦合至的任何影像感測器擷取不可見 光波長下之全解析度影像，而非在彩色濾光器陣列中僅使用單頻帶濾光器的情況下將擷取到的四分之一解析度影像。
在左側之MRU實施例中，雙頻帶濾光器將紅外線作為其等不可見光波長且將紅色(R)、綠色(G)及藍色(B)作為其等可見光波長。右側所展示之實施例係類似的，除其使用一不同原色組外。代替RGB色彩組，左側之實施例使用針對由雙頻帶濾光器進行濾光之可見光波長之青色-洋紅色-黃色(CMY)色彩組。在兩個所圖解說明之實施例中，單頻帶濾光器係一紅外線濾光器，使得由雙頻帶濾光器進行濾光之不可見光波長實質上與由一個單頻帶濾光器進行濾光之不可見光波長相同。
圖4圖解說明CMOS影像感測器中通常發現之一滾動快門之操作之一實施例。雖然被稱為一「快門」，但一滾動快門並非打開及關閉以將影像感測器曝露於光之一機械裝置。其替代地係用於曝露及讀取一CMOS影像感測器中之像素之一步驟。在一滾動快門中，曝光針對不同列之像素在不同時間處起始及結束。第一列R1經歷一重設，接著自動曝露於光；因此整合(光電電荷之產生)在重設不久之後起始。在一預定時間之曝光(即，曝光時間)之後，在一較短讀出週期期間讀出第一列光電荷。接著第二列重設且在該第一列重設之後之一預定時間處起始曝光及整合；但僅在該第一列讀出完成之後該第二列讀出才開始讀出，此係因為影像感測器一次僅可讀出一列像素。在影像感測器中自第一列R1到最後一列Ry逐列完成此重設、整合及信號讀出程序以產生一全影像圖框。
在所圖解說明之圖中，滾動快門引起所擷取之每一圖框顯現為一平行四邊形，此係因為滾動快門擷取每一後續列稍微晚於先前列之方式。且雖然在圖4中僅展示一個影像圖框，但一影像感測器通常在產生一最後輸出之前使用其滾動快門擷取多個圖框(例如，參見圖 8)。出於其他目的(諸如曝光調整或聚焦調整)使用所擷取之許多早期圖框，接著在擷取或輸出最後影像之前或當擷取或輸出最後影像時丟棄該等早期圖框。
圖5圖解說明可使用一滾動快門擷取之物體503之一影像圖框500之一實施例。在一項實施例中，滾動快門在頂部列R1處起始且在圖4中所展示之步驟中向下掃描通過Ry。
圖框500包含垂直延伸於列Ri與列Rj之間且具有列中所測量之一高度ΔR之一所關注區域(ROI)502。圖框500內亦有一上部區域504及一下部區域506，上部區域504及下部區域506在圖框500內但在ROI 502外側：上部區域504自圖框之頂部延伸至ROI 502在列Ri之開始處，而下部區域506自ROI 502在列Rj之結束處延伸至圖框500之底部。
在一項實施例中，基於物體503之一或多個先前可見光圖框決定ROI 502在圖框500內之位置。ROI 502包含待利用不可見光成像之物體503之特徵。在所圖解說明之實施例中，物體503係一人臉且ROI 502涵蓋人眼；例如，此實施例可對使用一視網膜掃描之身份驗證有用。在另一實施例中，ROI 502不僅包含人眼，且亦包含眼睛上面及下面之一10%邊緣以確保對眼睛之一全覆蓋。但在其他實施例中，當然，物體及所關注區域可取決於應用而係不同的。
圖6圖解說明用於在由使用一彩色濾光器陣列(諸如具有MRU 302之CFA 300)之影像擷取裝置100擷取一所關注區域(ROI)(參見圖5)之一影像期間提供有效不可見光光照之一程序600之一實施例。程序開始於方塊602處。在方塊604處，使用一外部光源或板載可見光光源(參見圖1A至圖1B)擷取可見光波長下之物體之一或多個全解析度圖框。在方塊606處，使用在方塊604處擷取到之全解析度圖框來(例如)使用特徵辨識軟體決定圖框內之所關注區域。
在方塊608處，程序決定將實質上減少或消除由影像感測器擷取之可見光之量之一經調整曝光時間。必要時，程序可繼續至方塊610，其具有一虛線輪廓以指示其為選用的，其中可擷取可見光波長下之額外影像圖框且可使用該等額外影像圖框決定經調整曝光時間。在一項實施例中，程序可在方塊610處擷取降低之曝光時間處之多個圖框且使用所擷取之圖框來外推所需經調整曝光時間。但在其他實施例中，可以不同方式決定經調整曝光時間。在決定經調整曝光時間(其與影像感測器之圖框速率呈負相關(曝光時間1/圖框速率))之後，程序將影像感測器之曝光時間設定為經調整曝光時間。在一項實施例中，可藉由調整垂直消隱週期而設定影像感測器之曝光時間，但在其他實施例中，(例如)可藉由調整感測器之圖框速率而以不同方式設定該曝光時間。
在方塊612處，程序決定不可見光光源之一延遲。參考圖5，延遲實質上對應於自滾動快門起始掃描列R1處之圖框直至其到達列Ri(此標誌ROI 502之開始)之時間。因此，延遲取決於Ri之值或(換言之)取決於ROI 502在圖框500內之位置，以及取決於方塊608處設定之經調整曝光時間。
在方塊614處，程序決定且設定不可見光光源之強度及脈衝持續時間。該強度取決於諸如經調整曝光時間之因素；通常使經調整曝光時間較短以排除儘可能多的可見光，但較短曝光時間可需要比原本可能需要之強度更高強度之一不可見光脈衝。不可見光脈衝之持續時間取決於滾動快門經歷ROI內之像素列花費之時間量，該時間量又取決於曝光時間及ROI之尺寸。在圖5中，例如，不可見光脈衝之持續時間取決於經調整曝光時間，以及取決於ROI 502之列高度ΔR。
在方塊616處，在已設定經調整曝光時間、延遲、持續時間及強度后，程序在圖框500之開始處起始滾動快門。在方塊618處，程序檢 查延遲是否逾期。若在方塊618處延遲尚未逾期，則意味著滾動快門仍然在區域504中且尚未到達ROI 502，因此程序繼續至方塊620，在方塊620處，滾動快門繼續擷取影像圖框之列。但若在方塊618處延遲已逾期，則意味著滾動快門已到達ROI 502且程序繼續至方塊622，在方塊622處其在所決定強度下啟動不可見光光源。
在方塊624處，程序檢查不可見光光源是否已接通達所決定持續時間。若在方塊624處不可見光光源未接通達該持續時間，則意味著滾動快門仍然在ROI 502內且程序返回到方塊622，在方塊622處，其保持在決定強度下啟動之不可見光光源。但若在方塊624處不可見光光源已接通達所決定持續時間，則意味著滾動快門已到達ROI 502之結束處且將進入其中不再需要不可見光光源之區域506。因為延遲已逾期，所以程序繼續至其中其解除啟動不可見光光源之方塊626。
在方塊628處，程序決定是否擷取到一可接受之ROI影像。擷取到之ROI影像將為一全解析度影像，此係因為雙頻帶濾光器之使用，但可能並非延遲、持續時間及強度之每個組合皆將產生一可接受影像。若在方塊628處程序決定擷取到一可接受影像，則程序繼續至其中其停止之方塊430。但若在方塊628處程序決定未擷取到一可接受影像，則其繼續至方塊632。
在方塊632處，程序決定是否需要更新ROI，(例如)此係因為物體503已相對於圖框500移動。若在方塊632處程序決定需要一ROI更新，則程序返回至方塊604且仔細檢查程序600之剩餘部分。但若在方塊632處程序決定無須ROI更新，則其返回至方塊608且通過程序600之剩餘部分。
圖7A至圖7B圖解說明對一影像圖框之曝光調整之效果之一實施例。圖7A展示表示一單個圖框之一平行四邊形，如上文針對圖4所論述。在所圖解說明之單個圖框中，沿時間軸之一側之長度表示圖框之 曝光時間E。圖7B展示縮短曝光時間以消除或實質上減少可見光之效果。縮短曝光時間之淨效果係實質上減小平行四邊形之寬度。ROI中之列之數目保持恆定，但因為平行四邊形變窄，所以可利用一較短不可見光照明脈衝快得多地擷取ROI 502之一影像，同時排除可干擾一不可見ROI影像之擷取之大部分或所有可見光。在一實施例中，控制曝光時間使得由可見光產生之影像信號係由不可見IR光產生之影像信號之十分之一或更少。因為雙頻帶濾光器產生由可見光及不可見IR光兩者引起之光電影像信號，所以過多可見光將導致對用於諸如人眼之虹膜辨識之應用之所要IR影像的顯著雜訊。特定言之，對於可見光(例如，紅色、藍色及綠色)通道，可將超出IR信號之10%之一可見光雜訊認為係過多的。因此，可將IR影像產生之曝光時間設定至一位準，使得信雜比為10：1或更多。
若干因素決定針對合意之信雜比(10或10以上)之曝光時間。第一，包含一高位準IR(例如，太陽下之室外光照)之環境光源意味著一相對較小量之可見光雜訊及一相對較大量之IR信號，而某些類型之室內螢光燈(例如，緊湊型螢光燈)主要在可見光範圍中，藉此引起一相對高之可見光雜訊量。第二，一高瓦數之不可見IR LED光源增加IR信號與可見光雜訊比。第三，不可見IR LED光源與物體(例如，人眼)之間之距離影響物體上之不可見IR光之量，從而遵循一平方反比關係(即，電力與距離之平方成反比)。第四，一較長持續時間之不可見IR輻射(例如，不可見IR LED脈衝)增加IR信號與可見光雜訊比。第五，影像感測器像素(其等包含雙頻帶可見光加不可見IR像素)之一較短曝光時間減少由可見光引起之雜訊。除以上五個因素之外，亦應考慮若干其他因素。此等因素包含感測器類型(例如，前側照明(或FSI)感測器趨向於具有比背側照明(或BSI)感測器低之IR敏感度)、對IR之像素之固有敏感度、像素大小(例如，較大像素對IR更敏感)等等。在一個 實驗中，當IR LED脈衝閃光達0.5ms時，8ms之一像素曝光時間產生IR信號與可見光雜訊比小於10之一不令人滿意的結果。當將像素曝光時間減少為2.5ms時，IR信號與可見光雜訊比達到超過10之一令人滿意的位準。
圖8圖解說明用於實施程序600之功能之一時序圖之一實施例。在圖8中，頂部處之水平軸表示時間，且因此水平軸下面之線圖解說明程序600之一實施方案中所使用之五個不同功能之時序。所圖解說明之時序具有垂直消隱週期、曝光、資料輸出、選通請求之確證及選通脈衝。
第一列展示垂直消隱週期之時序。一垂直消隱週期(亦被稱為一垂直消隱間隔)係當滾動快門完成一圖框之最後列之擷取與當該滾動快門起始下一圖框之第一列之擷取之間的時間。可使用垂直消隱週期調整一影像圖框之曝光時間；對於一給定圖框速率，一較長消隱週期意味著一較短曝光。第二列圖解說明曝光-在此情況下，多個影像圖框之擷取。在曝光列中，每一平行四邊形801至805係一影像圖框，此意味著擷取到若干影像圖框中之一些影像圖框。如上文所解釋，針對諸如曝光時間調整之功能使用一或多個早期圖框且接著將其等丟棄。在圖式中，使用第四完整圖框804以用於ROI影像之擷取，但其他實施例可使用一不同圖框以用於ROI影像之擷取。
圖8之第三列展示資料輸出(即，來自每一所擷取圖框之影像資料之輸出)之時序。第四列展示選通請求之確證。在一較早圖框中確證選通請求且在ROI之不可見光影像擷取之後解除確證。第五及最後列展示選通提取之時序；如上文所論述，選通提取在由如上文所論述之ROI之滾動快門之曝光期間發生。
本發明所圖解說明之實施例之以上描述(包含發明摘要中所描述之內容)不意欲為詳盡的或將本發明限制於所揭示之精確形式。如熟 習相關技術者將認識到，雖然出於闡釋性目的，本文中描述本發明之特定實施例及實例，但在本發明之範疇內，各種等效修改係可能的。鑑於以上詳細描述，可對本發明做出此等修改。
以下申請專利範圍中所使用的術語不應被解釋為將本發明限制於本說明書及申請專利範圍中所揭示之特定實施例。而是，本發明之範疇必須完全由以下申請專利範圍決定，該等申請專利範圍必須根據申請專利範圍解釋之既定原則來解釋。

Claims (14)

  1. 一種影像感測器，其包括：一像素陣列，其包括被配置於列及行中之複數個像素；一彩色濾光器陣列，其光學耦合至該像素陣列，該彩色濾光器陣列包括複數個鋪砌之最小重複單元，每一最小重複單元包含：複數個個別濾光器，其中該等個別濾光器之光譜光回應包含至少三個雙頻帶光譜光回應及一個單頻帶光譜光回應；及電路與邏輯，其耦合至該像素陣列，其中該邏輯包括當由該電路執行時引起該影像感測器進行以下操作之指令：使用一影像感測器擷取一第一影像圖框，該影像感測器包含：一像素陣列，其包括被配置於列及行中之複數個像素；及一彩色濾光器陣列，其光學耦合至該像素陣列；決定該第一影像圖框內之一所關注區域；調整該影像感測器之曝光時間以消除由該影像感測器擷取到之很大一部分的可見光；結合該像素陣列使用一滾動快門步驟以使用該經調整曝光時間擷取至少一個後續圖框；在該滾動快門進入該所關注區域時，啟動一不可見光輻射源，且當該滾動快門離開該所關注區域時，解除啟動該不可見光輻射源；及輸出該所關注區域之一影像。
  2. 如請求項1之影像感測器，其中每一雙頻帶光譜光回應包含一可見光回應及一不可見光回應，且其中該單頻帶光譜光回應係該不可見光譜光回應。
  3. 如請求項2之影像感測器，其中該不可見光回應係紅外線。
  4. 如請求項2之影像感測器，其中該可見光回應係選自包含紅色、綠色、藍色、洋紅色、青色及黃色之一組原色。
  5. 如請求項1之影像感測器，其中該最小重複單元為： 其中D1、D2及D3表示個別雙頻帶濾光器，且S表示一個別單頻帶濾光器。
  6. 如請求項5之影像感測器，其中D1具有紅色及紅外線光譜光回應，D2具有綠色及紅外線光譜光回應，D3具有藍色及紅外線光譜光回應，且S具有一紅外線光譜光回應。
  7. 如請求項1之影像感測器，其進一步包括耦合至該電路與邏輯之一輻射源，其中該輻射源在一不可見光波長下發射對應于該單頻帶濾光器之該光譜光回應之輻射，且其中該邏輯包含當由該電路執行時引起該電路選擇性地啟動及解除啟動該輻射源之指令。
  8. 一種程序，其包括：使用一影像感測器擷取一第一影像圖框，該影像感測器包含：一像素陣列，其包括被配置於列及行中之複數個像素；及一彩色濾光器陣列，其光學耦合至該像素陣列；決定該第一影像圖框內之一所關注區域；調整該影像感測器之曝光時間以消除由該影像感測器擷取到之很大一部分的可見光；結合該像素陣列使用一滾動快門步驟以使用該經調整曝光時間擷取至少一個後續圖框； 在該滾動快門進入該所關注區域時，啟動一不可見光輻射源，且當該滾動快門離開該所關注區域時，解除啟動該不可見光輻射源；及輸出該所關注區域之一影像。
  9. 如請求項8之程序，其中在該滾動快門掃描穿過該所關注區域時啟動該不可見光輻射源包括：基於該影像圖框內之該所關注區域之位置決定一延遲、基於該所關注區域之尺寸決定該不可見光輻射源之該啟動之一持續時間及基於該經調整曝光時間決定該不可見光輻射源之一強度。
  10. 如請求項9之程序，其中在該滾動快門掃描穿過該所關注區域時啟動該不可見輻射源及當該滾動快門離開該所關注區域時解除啟動該不可見光輻射源包括：在該影像圖框之一起始時間之後等待經過該延遲；當該延遲已逾期時，在該經決定強度下啟動該不可見光輻射源；在啟動該不可見光輻射源之後等待經過該持續時間；及當該持續時間已逾期時，解除啟動該不可見光輻射源。
  11. 如請求項8之程序，其中該所關注區域之輸出影像係該不可見光輻射之波長下之一全解析度影像。
  12. 如請求項8之程序，其中由包括以下操作之一程序決定該經調整曝光時間：擷取在不同曝光時間處獲得之一或多個可丟棄影像圖框；及基於該一或多個可丟棄影像圖框決定該經調整曝光時間。
  13. 如請求項12之程序，其中調整該曝光時間包括調整一垂直消隱間隔之長度。
  14. 如請求項8之程序，其中該第一影像圖框係一可見光影像。
TW105117453A 2015-06-03 2016-06-02 影像感測器及影像擷取程序 TWI612371B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/729,585 US9674465B2 (en) 2015-06-03 2015-06-03 Non-visible illumination scheme
US14/729,585 2015-06-03

Publications (2)

Publication Number Publication Date
TW201716849A true TW201716849A (zh) 2017-05-16
TWI612371B TWI612371B (zh) 2018-01-21

Family

ID=57452652

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105117453A TWI612371B (zh) 2015-06-03 2016-06-02 影像感測器及影像擷取程序

Country Status (3)

Country Link
US (1) US9674465B2 (zh)
CN (1) CN106254785B (zh)
TW (1) TWI612371B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI630556B (zh) * 2017-07-26 2018-07-21 聚晶半導體股份有限公司 影像擷取裝置及其紅外線感測方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061210A1 (en) * 2015-08-26 2017-03-02 Intel Corporation Infrared lamp control for use with iris recognition authentication
US10699147B2 (en) * 2017-06-22 2020-06-30 BITO Robotics, Inc. Systems and methods for fast identification and processing of an image area of interest
CN107205126B (zh) * 2017-06-30 2020-04-24 联想(北京)有限公司 一种控制方法及处理装置
US11280908B2 (en) * 2017-08-15 2022-03-22 Black Sesame Technologies Inc. Obstacle detection by global shutter image sensor
US10771766B2 (en) * 2018-03-30 2020-09-08 Mediatek Inc. Method and apparatus for active stereo vision
US11527053B2 (en) 2018-12-12 2022-12-13 Samsung Electronics Co., Ltd. Method and apparatus of processing image
FR3091114B1 (fr) * 2018-12-19 2021-06-11 Valeo Comfort & Driving Assistance dispositif de capture d’images et système de surveillance d’un conducteur associé
CN110462630A (zh) * 2019-05-27 2019-11-15 深圳市汇顶科技股份有限公司 用于人脸识别的光学传感器、装置、方法和电子设备
CN112036222B (zh) * 2019-06-04 2023-12-29 星宸科技股份有限公司 脸部辨识系统及方法
CN111611952B (zh) * 2020-05-27 2023-07-14 深圳市汇顶科技股份有限公司 指纹识别装置和电子设备
US20210373008A1 (en) * 2020-05-29 2021-12-02 Quidel Corporation System and methods for remote assessment of a sample assay for disease diagnostics
CN114257712A (zh) * 2020-09-25 2022-03-29 华为技术有限公司 控制摄像头模组补光时间的方法及装置
CN114697474B (zh) * 2020-12-25 2023-07-21 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及计算机可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292212B1 (en) * 1994-12-23 2001-09-18 Eastman Kodak Company Electronic color infrared camera
JP3107760B2 (ja) * 1996-12-25 2000-11-13 松下電器産業株式会社 露光量制御装置
US7541588B2 (en) * 2005-07-12 2009-06-02 Northrop Grumman Corporation Infrared laser illuminated imaging systems and methods
US8446470B2 (en) 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
US20100148291A1 (en) * 2008-12-15 2010-06-17 Tivarus Cristian A Ultraviolet light filter layer in image sensors
US8692198B2 (en) * 2010-04-21 2014-04-08 Sionyx, Inc. Photosensitive imaging devices and associated methods
WO2011149451A1 (en) * 2010-05-24 2011-12-01 Omnivision Technologies, Inc. Dual-sided image sensor
US8325890B2 (en) * 2010-06-06 2012-12-04 Apple Inc. Auto exposure techniques for variable lighting conditions
JP2011259373A (ja) 2010-06-11 2011-12-22 Sony Corp 立体画像表示装置及び立体画像表示方法
US20140160253A1 (en) 2012-12-10 2014-06-12 Microsoft Corporation Hyperspectral imager
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
TW201514599A (zh) * 2013-10-07 2015-04-16 Novatek Microelectronics Corp 影像感測器及影像擷取系統
CN103902390B (zh) * 2014-03-12 2017-04-19 深圳创维－Rgb电子有限公司 基于Android的应用层的进程间通信方法及基础应用通信系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI630556B (zh) * 2017-07-26 2018-07-21 聚晶半導體股份有限公司 影像擷取裝置及其紅外線感測方法

Also Published As

Publication number Publication date
US20160360124A1 (en) 2016-12-08
CN106254785B (zh) 2019-05-17
US9674465B2 (en) 2017-06-06
CN106254785A (zh) 2016-12-21
TWI612371B (zh) 2018-01-21

Similar Documents

Publication Publication Date Title
TWI612371B (zh) 影像感測器及影像擷取程序
JP5675157B2 (ja) 焦点検出装置
US8405748B2 (en) CMOS image sensor with improved photodiode area allocation
US9369681B1 (en) RGBC color filter array patterns to minimize color aliasing
US9232158B2 (en) Large dynamic range cameras
US7812869B2 (en) Configurable pixel array system and method
KR100827238B1 (ko) 고화질 영상을 위한 영상 표시 방법 및 장치
EP2630788A1 (en) System and method for imaging using multi aperture camera
EP2282344A1 (en) Improvements in or relating to a sensor and sensor system for a camera
TWI536551B (zh) Ｘ射線及光學影像感測器
US20160316132A1 (en) Electronic apparatus
US20160037043A1 (en) High dynamic range (hdr) images free of motion artifacts
JP6354246B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
US20130300876A1 (en) Method and apparatus for multi-spectral imaging
US20180158208A1 (en) Methods and apparatus for single-chip multispectral object detection
TWI618414B (zh) 全域快門校正
JP2020198470A (ja) 画像認識装置および画像認識方法
CN102760744A (zh) 固态图像传感器和摄像设备
JP2011227388A (ja) 撮像装置
JP5735784B2 (ja) 撮像装置及びその制御方法、レンズ装置及びその制御方法
Wolf et al. Smart Camera Design
JP2022002229A (ja) 撮像装置、および撮像素子
JP2004064413A (ja) 固体撮像素子および撮像装置
US20240114258A1 (en) Method of operation for visibile-infrared image capture with imaging system
US20240113146A1 (en) Imaging system with selective readout for visible-infrared image capture