TWI794508B - 可組態影像感測器 - Google Patents

可組態影像感測器 Download PDF

Info

Publication number
TWI794508B
TWI794508B TW108120147A TW108120147A TWI794508B TW I794508 B TWI794508 B TW I794508B TW 108120147 A TW108120147 A TW 108120147A TW 108120147 A TW108120147 A TW 108120147A TW I794508 B TWI794508 B TW I794508B
Authority
TW
Taiwan
Prior art keywords
charge
storage unit
photodiode
charge storage
integration period
Prior art date
Application number
TW108120147A
Other languages
English (en)
Other versions
TW202002616A (zh
Inventor
安德魯 山謬爾 博寇維奇
新橋 劉
Original Assignee
美商元平台技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商元平台技術有限公司 filed Critical 美商元平台技術有限公司
Publication of TW202002616A publication Critical patent/TW202002616A/zh
Application granted granted Critical
Publication of TWI794508B publication Critical patent/TWI794508B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/59Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H04N25/622Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming by controlling anti-blooming drains
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

在一個實例中,一種方法包含:接收程式設計資料;基於該程式設計資料而判定以下各者中之至少一者:包括一浮動汲極之一電荷儲存單元累積自一光電二極體接收到之電荷的一積分週期、或對該電荷進行取樣的一次數;啟用該光電二極體以累積殘餘電荷,且在該光電二極體飽和之後將溢出電荷傳輸至該電荷儲存單元;控制該電荷儲存單元以在該積分週期內累積自該光電二極體接收到之該溢出電荷的至少一部分;控制一量化器以對該溢出電荷之該至少一部分或該殘餘電荷進行取樣該次數以獲得數個樣本;及控制該量化器來量化該數個樣本目以產生數個量化結果。

Description

可組態影像感測器
本發明大體上關於影像感測器,且更具體而言關於像素單元結構,其包括用於判定影像產生之光強度的界接電路系統。相關申請案
本專利申請案主張2018年6月11日申請之標題為「SINGLE FRAME, MULTIPLE SAMPLING WITH MULTI-MODE DIGITAL PIXEL SENSOR」之美國臨時專利申請案第62/683,563號的優先權,該美國臨時專利申請案讓與給本受讓人且出於所有目的而以全文引用之方式併入本文中。
典型的影像感測器包括光電二極體以藉由將光子轉換成電荷(例如,電子或電洞)來感測入射光。影像感測器進一步包括電荷儲存單元以將由光電二極體所產生之電荷轉換成電壓。電壓可由類比至數位轉換器(ADC)量化成數位值以表示入射光之強度。然而,電壓與入射光強度之間的相關性可能由各種源而降級,諸如雜訊、電荷儲存單元之飽和等,其皆會減小影像感測器之動態範圍。
本發明關於影像感測器。更特定言之,且非限制性地,本發明關於一種像素單元。
本發明提供一種用於量測入射光之一強度的設備。在一個實例中,該設備包含:一光電二極體、包括一浮動汲極之一電荷儲存單元、一量化器及一控制器。該控制器經組態以:接收程式設計資料;基於該程式設計資料而判定以下各者中之至少一者:包括一浮動汲極之該電荷儲存單元累積自該光電二極體接收到之電荷的一積分週期、或對自該光電二極體接收到之該電荷進行取樣的一次數;啟用該光電二極體以累積殘餘電荷,且在該光電二極體飽和之後將溢出電荷傳輸至該電荷儲存單元;及控制該電荷儲存單元以在該積分週期內累積自該光電二極體接收到之該溢出電荷的至少一部分。該控制器亦可控制該量化器以:對該溢出電荷之該至少一部分或該殘餘電荷進行取樣該次數以獲得數個樣本,且量化該數個樣本以產生數個量化結果。
在一些態樣中,該控制器經組態以:在一第一時間,啟用該光電二極體以開始累積該殘餘電荷;自在該第一時間之後的一第二時間開始的一重設狀態而釋放該電荷儲存單元;及在該第二時間之後的一第三時間而重設該電荷儲存單元。該控制器經組態以基於該程式設計資料而設定該第二時間或該第三時間中之該至少一者。
在一些態樣中,該積分週期是一第一積分週期且在該第二時間開始。該光電二極體之一第二積分週期在該第一時間開始。
在一些態樣中,該設備進一步包含:一快門開關,其耦接於該光電二極體與一第一電荷槽之間;及一重設開關,其耦接於該電荷儲存單元與一第二電荷槽之間。
在一些態樣中,該控制器經組態以:在該第一時間,停用該快門開關以開始該第二積分週期;在該第二時間,停用該重設開關以開始該第一積分週期;及在該第三時間,啟用該重設開關以停止該第一積分週期。
在一些態樣中,該設備進一步包含耦接於該光電二極體與該電荷儲存單元之間的一轉移開關,該轉移開關包含一閘極及該電荷儲存單元之浮動汲極區。該控制器經組態以:在該第一積分週期及該第二積分週期內向該轉移開關之一閘極傳輸一第一控制信號,以啟用該光電二極體來儲存該殘餘電荷;及在該第一積分週期內,控制該量化器以量化在該電荷儲存單元處所累積之該溢出電荷之該至少一部分的一第一數目個樣本。
在一些態樣中,該控制器經組態以在該第三時間之後:停用該重設開關;將一第二控制信號傳輸至該轉移開關之該閘極,以將該殘餘電荷自該光電二極體轉移至該電荷儲存單元;啟用該快門開關以停止該第一積分週期及該第二積分週期兩者;及在該第一積分週期及該第二積分週期結束之後,控制該量化器以量化在該電荷儲存單元處所累積之該殘餘電荷。
在一些態樣中,該量化器包含一比較器、一計數器及一記憶體。該控制器經組態以執行一量化操作,該量化操作包含:控制該計數器以自一開始計數值開始計數;控制該比較器以比較該電荷儲存單元處之一電壓與一或多個臨限值,以產生一比較結果;及基於該比較結果而控制該記憶體,以將來自該計數器之一計數值儲存為該電壓之一樣本的一量化結果。
在一些態樣中,該控制器經組態以基於該程式設計資料而執行數個該量化操作以產生數個該量化結果。
在一些態樣中,該控制器經組態以在數個該量化操作中之每一者中控制該比較器以比較該電壓與一斜坡臨限值,以判定該溢出電荷之一量或儲存於該電荷儲存單元處之該殘餘電荷的一量。
在一些態樣中,該控制器經組態以基於數個該量化結果之間的一變化率而產生表示由該光電二極體接收到之入射光之一強度的一輸出。
在一些態樣中,該控制器經組態以:判定數個該量化結果之一第一子集之間的一第一變化率;判定數個該量化結果之一第二子集之間的一第二變化率;及基於該第一變化率與該第二變化率之間的一關係,以基於該第一變化率而產生該輸出。
在一些態樣中,該控制器經組態以:基於該關係,以在獲得該電壓之由數個該量化結果之該第二子集所表示的該樣本時,判定該電荷儲存單元飽和;及基於該電荷儲存單元飽和之該判定,基於該第一變化率而產生該輸出。
在一些態樣中,該控制器經組態以:在數個該量化操作中之每一者中,重設該電荷儲存單元;及基於數個該量化結果之一平均值而產生表示由該光電二極體接收到之入射光之一強度的一輸出。
在一些態樣中,該控制器經組態以在數個該量化操作中之每一者中控制該比較器以比較該電壓與一靜態臨限值。數個該量化結果中之每一者表示該電荷儲存單元變得由該溢出電荷所飽和的一時間。
在一些態樣中,該控制器經組態以在該第一積分週期內執行數個該量化操作以量化該溢出電荷之該至少一部分。
在一些態樣中,該控制器經組態以在該第二積分週期內執行數個該量化操作以量化該殘餘電荷。
在一個實例中,一種方法包含:接收程式設計資料;基於該程式設計資料而判定以下各者中之至少一者:包括一浮動汲極之一電荷儲存單元累積自一光電二極體接收到之電荷的一積分週期、或對該電荷進行取樣的一次數;啟用該光電二極體以累積殘餘電荷,且在該光電二極體飽和之後將溢出電荷傳輸至該電荷儲存單元;控制該電荷儲存單元以在該積分週期內累積自該光電二極體接收到之該溢出電荷的至少一部分;控制一量化器以對該溢出電荷之該至少一部分或該殘餘電荷進行取樣該次數,以獲得數個樣本;及控制該量化器來量化該數個樣本目以產生數個量化結果。
在一些態樣中,該方法進一步包含:在一第一時間,啟用該光電二極體以開始累積該溢出電荷;在該第一時間之後的一第二時間開始,自一重設狀態而釋放該電荷儲存單元;及在該第二時間之後的一第三時間而重設該電荷儲存單元。基於該第二時間或該第三時間中之至少一者而設定該積分週期的持續時間。
在一些態樣中,該方法進一步包含:執行數個量化程序,該量化程序中之每一者包含:控制計數器以自一開始計數值開始計數;控制比較器以比較該電荷儲存單元處之一電壓與一或多個臨限值,以產生一比較結果;及基於該比較結果而控制記憶體,以將來自該計數器之一計數值儲存為該電壓之一樣本的一量化結果。
在以下描述中,出於解釋目的,闡述特定細節以便提供對本發明之某些實例的透徹理解。然而,將顯而易見的是各種實例可在無此等特定細節之情況下得以實踐。附圖及描述不意欲為限制性的。
典型的影像感測器包括光電二極體以藉由將光子轉換成電荷(例如,電子或電洞)來感測入射光。影像感測器進一步包括浮動節點,其經組態為電容器以收集在積分週期期間由光電二極體所產生之電荷。所收集電荷可在電容器處產生電壓。電壓可經緩衝且饋入類比至數位轉換器(ADC),其可將電壓轉換成表示入射光強度之數位值。
由ADC所產生的反映某一週期內儲存於浮動節點處之電荷量的數位值可與入射光強度相關。然而,相關程度可受不同因素影響。首先,儲存於浮動節點中之電荷量可與入射光之強度直接相關,直至浮動節點達到飽和極限。超過飽和極限,浮動節點可能無法接受由光電二極體所產生之額外電荷,且額外電荷可能漏洩而未儲存。結果是,儲存於浮動節點處之電荷量可低於由光電二極體實際上所產生之電荷量。飽和極限可判定影像感測器之可量測光強度的上限。
各種因素亦可設定影像感測器之可量測光強度的下限。舉例而言,在浮動節點處收集之電荷可包括與入射光強度無關之雜訊電荷及由暗電流產生之暗電荷。暗電流可包括由於結晶缺陷而在光電二極體之p-n接面處及在連接至電容器之其他半導體裝置之p-n接面處產生的漏電流。暗電流可流入電容器中且添加與入射光強度無關之電荷。在光電二極體處產生之暗電流典型地小於在其他半導體裝置處產生之暗電流。雜訊電荷之另一來源可為與其他電路系統之電容耦合。舉例而言,當ADC電路系統執行讀取操作以判定儲存於浮動節點中之電荷量時,ADC電路系統可經由電容耦合將雜訊電荷引入浮動節點中。
除了雜訊電荷,ADC亦可在判定電荷量時引入量測誤差。量測誤差可降低數位輸出與入射光強度之間的相關程度。量測誤差之一個來源是量化誤差。在量化程序中,一組離散的量位準可用以表示一組連續的電荷量,其中各量位準表示預定電荷量。ADC可比較輸入電荷量與量位準,判定最接近輸入量之量位準,且輸出所判定量位準(例如,呈表示量位準之數位碼的形式)。量化誤差可在由量位準所表示之電荷量與映射至量位準之輸入電荷量之間存在失配時出現。可藉由較小量化步長大小來減小量化誤差(例如,藉由減小兩個鄰近量位準之間的電荷量差)。量測誤差之其他來源亦可包括例如裝置雜訊(例如,ADC電路系統之雜訊)及比較器偏移,其添加電荷量量測之不判定性。雜訊電荷、暗電荷以及ADC量測誤差可定義影像感測器之可量測光強度的下限,而飽和極限可判定影像感測器之可量測光強度的上限。上限與下限之間的比率定義動態範圍,其可設定用於影像感測器之操作光強度的範圍。
影像感測器可見於許多不同應用中。作為實例,影像感測器包括於數位成像裝置(例如,數位攝影機、智慧型手機等)中以提供數位成像。作為另一實例,影像感測器可經組態為輸入裝置以控制或影響裝置之操作,諸如控制或影響可穿戴式虛擬實境(VR)系統及/或擴增實境(AR)及/或混合實境(MR)系統中之近眼顯示器的顯示內容。舉例而言,影像感測器可用以產生使用者所位於之實體環境的實體影像資料。可將實體影像資料提供至操作同時定位及映射(SLAM)演算法以追蹤例如使用者之位置、使用者之定向及/或使用者在實體環境中之移動路徑的位置追蹤系統。影像感測器亦可用以產生包括用於量測使用者與實體環境中之物件之間的距離之立體深度資訊的實體影像資料。影像感測器亦可經組態為近紅外線(NIR)感測器。照明器可將NIR光之圖案投射至使用者之眼球中。眼球之內部結構(例如,光孔)可自NIR光產生反射圖案。影像感測器可捕獲反射圖案之影像,且將影像提供至系統以追蹤使用者之眼球的移動以判定使用者之凝視點。基於此實體影像資料,VR/AR/MR系統可產生及更新用於經由近眼顯示器向使用者顯示之虛擬影像資料,以向使用者提供互動式體驗。舉例而言,VR/AR/MR系統可基於使用者之凝視方向(其可發信使用者對物件之關注)、使用者之位置等來更新虛擬影像資料。
可穿戴式VR/AR/MR系統可在具有極寬範圍之光強度的環境中操作。舉例而言,可穿戴式VR/AR/MR系統能夠操作在室內環境中或在室外環境中及/或在當日之不同時間,且可穿戴式VR/AR/MR系統之操作環境的光強度可實質上變化。此外,可穿戴式VR/AR/MR系統亦可包括前述NIR眼球追蹤系統,其可需要將具有極低強度之光投射至使用者之眼球中以防止損傷眼球。結果是可穿戴式VR/AR/MR系統之影像感測器可需要具有寬動態範圍,以能夠遍及與不同操作環境相關聯之光強度之極寬範圍而適當地操作(例如,產生與入射光強度相關之輸出)。可穿戴式VR/AR/MR系統之影像感測器亦可需要以足夠高的速度產生影像以允許追蹤使用者位置、定向、凝視點等。
提供固定動態範圍且以高速產生影像資料之影像感測器典型地需要極高功率,而使得此影像感測器不適合於典型地在極低功率下操作之可佩戴式裝置。此外,影像感測器可僅使用可用動態範圍之小部分,但可針對不同應用使用可用動態範圍之不同部分。舉例而言,追蹤眼球之應用可能需要感測器偵測由眼睛之角膜所反射之高強度光及由光孔所反射之低強度光,而非具有高強度光與低強度光之間的中等強度光。作為另一實例,影像感測器之陣列可自場景之不同光點接收光,且陣列內之不同影像感測器可接收強度極不同之光。一體適用(one-size-fit-all)方法可用以提供具有極寬動態範圍的影像感測器以針對所有此些應用來覆蓋目標強度範圍,但此方法不僅需要極高功率而且實質上浪費功率,此是因為影像感測器之寬動態範圍很少完全用於此些應用中之每一者中。
本發明關於一種可提供經擴展之動態範圍的可組態像素單元。像素單元可包括光電二極體、電荷儲存單元、經組態為光電二極體與電荷儲存單元之間的轉移閘極的電晶體,及包括控制器及比較器的處理電路。像素單元進一步包括快門開關及重設開關,此些開關皆可由控制器控制。控制器可控制快門開關以設定光電二極體之積分週期,其中啟用光電二極體以回應於入射光而產生電荷,且儲存電荷中之至少一些作為殘餘電荷直至光電二極體飽和為止。電荷儲存單元可為電晶體之浮動汲極、金屬電容器、金屬氧化物半導體(MOS)電容器或其任何組合,且可由重設開關重設。控制器可控制重設開關以設定電荷儲存單元之積分週期,其中電荷儲存單元可累積溢出電荷以產生第一電壓,溢出電荷是在光電二極體飽和且無法儲存額外電荷時自光電二極體所轉移之電荷。控制器亦可控制轉移閘極以將殘餘電荷自光電二極體轉移至電荷儲存單元以產生第二電壓。可量化第一電壓及第二電壓以量測入射光之強度。
處理電路可針對不同強度範圍執行多個量測模式。在第一量測模式下,控制器可控制比較器以比較第一電壓與第一斜坡臨限電壓以產生第一決策。當第一決策指示第一電壓超過第一斜坡臨限電壓時,可自計數器捕獲第一計數值且將其儲存於記憶體中。第一計數值可表示第一斜坡臨限電壓超過第一電壓所花費之時間的量測結果,其亦可表示量化所儲存於電荷儲存單元中之溢出電荷的結果。溢出電荷量可與入射光強度成比例。對於本發明之其餘部分,第一量測模式可被稱作「FD ADC」操作。FD ADC操作可以中等強度範圍之入射光為目標,對此光電二極體由殘餘電荷所飽和,但電荷儲存單元不由溢出電荷所飽和。
控制器可控制轉移閘極以將殘餘電荷自光電二極體轉移至電荷儲存單元,以產生用於第二量測模式之第二電壓。在第二量測模式下,控制器可控制比較器以比較第二電壓與第二斜坡臨限電壓以產生第二決策。當第二決策指示第二電壓超過第二斜坡參考電壓時,可自計數器捕獲第二計數值且將其儲存於記憶體中。第二計數值可表示第二斜坡臨限電壓超過第二電壓所花費之時間的量測結果,其亦可表示量化所儲存於電荷儲存單元中之殘餘電荷的結果。殘餘電荷量可與入射光強度成比例。對於本發明之其餘部分,第二量測模式可被稱作「PD ADC」操作。PD ADC操作可以低強度範圍之入射光為目標,對此光電二極體不由殘餘電荷所飽和。
在一些實例中,處理電路亦可執行第三量測模式。在第三量測模式下,控制器可控制比較器以比較第一電壓與表示電荷儲存單元之飽和極限的靜態臨限電壓,以產生第三決策。當第三決策指示電荷儲存單元達到或超過飽和極限時,可自計數器捕獲第三計數值且將其儲存於記憶體中。第三計數值可表示電荷儲存單元變得飽和所花費之時間的量測結果,且持續時間可與入射光強度成反比。對於本發明之其餘部分,第三量測模式可被稱作飽和時間(time-to-saturation,TTS)操作。TTS操作可以高強度範圍之入射光為目標,對此光電二極體由溢出電荷飽和。
控制器可依序執行不同量測模式以產生影像圖框。在框開始(SoF),控制器可釋放快門開關及重設開關以分別開始光電二極體之積分週期及電荷儲存單元之積分週期。控制器亦可控制轉移閘極以允許光電二極體儲存殘餘電荷。電荷儲存單元之積分週期可在光電二極體之積分週期開始之後開始。當光電二極體接收光時,其可繼續在光電二極體之積分週期內且在電荷儲存單元之積分週期內產生電荷。若且在光電二極體飽和時,溢出電荷可在電荷儲存單元中累積。在電荷儲存單元之積分週期開始之後(當停用重設開關時),控制器可執行TTS操作以判定電荷儲存單元是否由溢出電荷飽和及判定飽和時間。控制器接著可執行FD ADC操作以判定所儲存於電荷儲存單元中之溢出電荷的量。在FD ADC操作結束之後,控制器可啟動重設開關以移除所儲存於電荷儲存單元中之溢出電荷,此操作結束電荷儲存單元之積分週期。控制器接著可釋放重設開關且控制轉移閘極以將殘餘電荷自光電二極體轉移至電荷儲存單元,在此期間,光電二極體可繼續產生額外電荷。在殘餘電荷之轉移結束之後,控制器可啟動快門開關以結束光電二極體之積分週期,且接著執行PD ADC操作以判定所儲存於電荷儲存單元中之殘餘電荷的量。PD ADC操作之結束可標記框結束(EoF)。SoF與EoF之間的時間可對應於框週期,其中可基於TTS、FD ADC及PD ADC操作中之一者的輸出而產生影像圖框。可在後續框週期中重複不同量測模式以產生後續影像圖框。
上文所描述之多模式量測操作可擴展像素單元之光強度量測的動態範圍。具體而言,TTS量測操作允許量測超過使電荷儲存單元飽和之強度位準的高光強度,此可擴展動態範圍之上限。此外,對於低光強度,PD ADC操作量測所儲存於光電二極體中之殘餘電荷。由於光電二極體通常接收極少暗電流,因此由暗電流產生之暗電荷之量值相對於由入射光產生之真實信號可保持較小,此可降低可偵測之入射光強度且下拉動態範圍之下限。
根據本發明之像素單元亦可提供光強度量測操作之各個態樣的可組態性,此允許針對不同應用來最佳化像素單元且進一步擴展動態範圍。具體而言,在一些實例中,TTS操作、FD ADC操作及/或PD ADC操作之持續時間為可組態的。各量測操作之持續時間可設定各別量測操作之目標強度範圍。舉例而言,對於需要像素單元偵測極高強度光或極低強度光的應用(例如,眼睛追蹤操作),控制器可增加框週期。增加之框週期允許增加其中光電二極體產生且累積殘餘電荷之光電二極體積分週期。此類配置可增加為將強度極低之光子轉換成電荷所提供之時間,且因此可針對極低強度光而累積更多電荷,此可增加低強度光量測之信雜比且下拉動態範圍之下限。
另外,可縮減其中電荷儲存單元累積溢出電荷之第二積分週期的持續時間。此類配置可提供各種益處。首先,經縮減之第二積分週期可縮減量化器(例如,比較器)之各種類比組件的接通時間,此可降低TTS操作及FD ADC操作之總功耗。其次,第二積分週期之經縮減的持續時間可減小歸因於暗電流而由浮動汲極所累積之暗電荷的量,此可進一步提高TTS及FD ADC操作之準確性。經縮減之第二積分週期亦不降低動態範圍之上限,此是因為電荷儲存單元在像素單元接收強度極高之光時在極短時間內飽和,且TTS操作仍可提供光強度之準確表示。
控制器可基於各種技術而調整第二積分週期。在一個實例中,在TTS及FD ADC操作之前,控制器可設定釋放重設開關(其重設電荷儲存單元)相對於釋放快門開關之間的延遲,以設定第二積分週期之開始時間。在另一實例中,控制器可設定啟動重設開關與啟動快門開關之間的延遲(在PD ADC操作之前),以設定第二積分週期之結束時間。在兩個實例中,控制器可基於外部程式設計資料而設定延遲以設定第二積分週期之持續時間。
在一些實例中,框週期內之TTS、PD ADC及FD ADC量測操作的數目亦可組態的。各TTS、PD ADC及FD ADC量測操作可產生樣本之量化結果,且可在光電二極體之積分週期內重複量測操作(例如,多個PD ADC操作),及/或可在電荷儲存單元之積分週期內重複量測操作(例如,多個操作、多個FD ADC操作等),以產生多個樣本之多個量化結果。各樣本可包括電壓(用於FD ADC及PD ADC操作)或飽和時間(TTS)。使用各種技術,控制器可基於多個量化結果而產生各量測操作之強度輸出。
在一些實例中,經取樣電壓可基於跨越多個FD ADC或PD ADC量測操作而在電荷儲存單元處連續累積來自光電二極體的溢出電荷/殘餘電荷。控制器可基於框週期及/或跨越多個框週期內之經取樣電壓的變化率而產生強度輸出,變化率反映電荷之累積速率,其反映入射光強度。強度量測之此類配置可提供多個益處。舉例而言,可按高取樣頻率獲得且量化樣本,此可減少1/f雜訊且提高強度量測操作之準確性。此外,強度量測可對於比如斜坡或時脈信號中之延遲的失配源變得更為彈性,此可減少或消除校準此等雜訊源之需要。
另外,控制器亦可判定是否存在經取樣電壓之變化率的改變以偵測電荷儲存單元之飽和,且可基於飽和之前的變化率而判定強度輸出。此類配置可擴展FD ADC操作之光強度範圍的上限,此允許TTS操作用於甚至更高之強度範圍,且可因此增大總體動態範圍之上限。
在一些實例中,可在各重複TTS/FD ADC/PD ADC操作中之取樣及量化操作之前重設電荷儲存單元,以將第一/第二積分週期拆分成多個積分週期。舉例而言,可在各TTS操作之開始時重設電荷儲存單元,以獲得表示在多個積分週期中所獲得之多個飽和時間量測的多個樣本計數值。亦可在各FD ADC/PD ADC操作之開始時重設電荷儲存單元以獲得多個樣本電壓,各樣本電壓表示在經縮短之積分週期中所累積之電荷的量。在兩種狀況下,可平均化樣本以產生強度輸出。此類配置可減少諸如重設雜訊及量化雜訊之雜訊的來源,此可提高強度量測操作之準確性。
本發明之實例可包括人工實境系統或結合人工實境系統實施。人工實境為在向使用者呈現之前已以某一方式進行調整的實境形式,其可包括例如虛擬實境(VR)、擴增實境(AR)、混合實境(MR)、混雜實境或其某一組合及/或衍生物。人工實境內容可包括完全產生內容或與所捕獲之(例如,真實世界)內容組合之所產生內容。人工實境內容可包括視訊、音訊、觸覺反饋或其某一組合,其中之任一者可在單一通道中或在多個通道中(諸如對檢視者產生三維效應之立體聲視訊)呈現。另外,在一些實例中,人工實境亦可與用以例如在人工實境中創造內容及/或另外用於人工實境中(例如,在人工實境中執行活動)之應用、產品、配件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可實施於各種平台上,包括連接至主機電腦系統之頭戴式顯示器(HMD)、獨立式HMD、行動裝置或計算系統或能夠將人工實境內容提供至一或多個觀看者之任何其他硬體平台。
圖1A是近眼顯示器100之實例的圖式。近眼顯示器100向使用者呈現媒體。由近眼顯示器100呈現之媒體的實例包括一或多個影像、視訊及/或音訊。在一些實例中,音訊經由外部裝置(例如,揚聲器及/或頭戴式耳機)呈現,外部裝置自近眼顯示器100、控制台或其兩者接收音訊資訊,且基於音訊資訊呈現音訊資料。近眼顯示器100大體上經組態用作虛擬實境(VR)顯示器。在一些實例中,近眼顯示器100經修改以用作擴增實境(AR)顯示器及/或混合實境(MR)顯示器來操作。
近眼顯示器100包括框架105及顯示器110。框架105耦接至一或多個光學元件。顯示器110經組態以使使用者看見由近眼顯示器100所呈現之內容。在一些實例中,顯示器110包含一波導顯示器總成,用於將來自一或多個影像之光導引至使用者之眼睛。
近眼顯示器100進一步包括影像感測器120a、120b、120c及120d。影像感測器120a、120b、120c及120d中之每一者可包括像素陣列,其經組態以產生表示沿著不同方向之不同視場的影像資料。舉例而言,影像感測器120a及120b可經組態以提供表示朝向沿著Z軸之方向A之兩個視場的影像資料,而影像感測器120c可經組態以提供表示朝向沿著X軸之方向B之視場的影像資料,且影像感測器120d可經組態以提供表示朝向沿著X軸之方向C之視場的影像資料。
在一些實例中,影像感測器120a至120d可經組態為輸入裝置以控制或影響近眼顯示器100之顯示內容,以向佩戴近眼顯示器100之使用者提供互動式VR/AR/MR體驗。舉例而言,影像感測器120a至120d可產生使用者所位於之實體環境的實體影像資料。可將實體影像資料提供至位置追蹤系統以追蹤使用者在實體環境中之位置及/或移動路徑。系統可接著基於例如使用者之位置及定向來更新提供至顯示器110之影像資料以提供互動式體驗。在一些實例中,位置追蹤系統可運算SLAM演算法以當使用者在實體環境內移動時追蹤實體環境中及使用者視場內之一組物件。位置追蹤系統可基於該組物件建構及更新實體環境之映圖,且追蹤使用者在該映圖內之位置。藉由提供對應於多個視場之影像資料,影像感測器120a至120d可向位置追蹤系統提供實體環境之更整體視圖,此可導致更多物件包括於映圖之建構及更新中。藉由此配置,可改良追蹤使用者在實體環境內之位置的準確性及穩固性。
在一些實例中,近眼顯示器100可進一步包括一或多個主動照明器130以將光投射至實體環境中。投射之光可與不同頻譜(例如,可見光、紅外光、紫外光等)相關聯,且可滿足各種用途。舉例而言,主動照明器130可在暗環境中(或在紅外光、紫外光等之強度低的環境中)投射光以輔助影像感測器120a至120d捕獲暗環境內之不同物件的影像,從而例如實現對使用者之位置追蹤。主動照明器130可將某些標記投射至環境內之物件上,以輔助位置追蹤系統識別物件以用於映圖建構/更新。
在一些實例中,主動照明器130亦可實現立體成像。舉例而言,影像感測器120a或120b中之一或多者可包括用於可見光感測之第一像素陣列及用於紅外(IR)光感測之第二像素陣列兩者。第一像素陣列可覆疊有彩色濾光片(例如,拜耳濾光片),其中第一像素陣列中之各像素經組態以量測與特定色彩(例如,紅色、綠色或藍色中之一者)相關聯之光的強度。第二像素陣列(用於IR光感測)亦可覆疊有僅允許IR光通過之濾光片,其中第二像素陣列中之各像素經組態以量測IR光之強度。像素陣列可產生物件之RGB影像及IR影像,其中IR影像之各像素映射至RGB影像之各像素。主動照明器130可將一組IR標記投射於物件上,該物件之影像可由IR像素陣列所捕獲。基於如影像中所展示之物件之IR標記的分佈,系統可估計物件之不同部分相距IR像素陣列的距離且基於距離來產生物件之立體影像。基於物件之立體影像,系統可判定例如物件相對於使用者之相對位置,且可基於相對位置資訊而更新所提供至顯示器100之影像資料以提供互動式體驗。
如上文所論述,近眼顯示器100可在與極寬範圍之光強度相關聯的環境中操作。舉例而言,近眼顯示器100可操作在室內環境中或在室外環境中及/或在當日之不同時間。近眼顯示器100亦可在主動照明器130接通或不接通之情況下操作。結果,影像感測器120a至120d可需要具有寬動態範圍以能夠遍及與用於近眼顯示器100之不同操作環境相關聯的光強度之極寬範圍而適當地操作(例如,產生與入射光之強度相關的輸出)。
圖1B是近眼顯示器100之另一實例的圖式。圖1B說明近眼顯示器100之面朝佩戴近眼顯示器100之使用者之眼球135的一側。如圖1B中所展示,近眼顯示器100可進一步包括多個照明器140a、140b、140c、140d、140e及140f。近眼顯示器100進一步包括複數個影像感測器150a及150b。照明器140a、140b及140c可朝向方向D(其與圖1A之方向A相反)發射具有某頻率範圍之光(例如,NIR)。所發射之光可與某一圖案相關聯,且可由使用者之左眼球反射。感測器150a可包括像素陣列以接收反射光且產生經反射圖案之影像。類似地,照明器140d、140e及140f可發射攜載圖案之NIR光。NIR光可由使用者之右眼球反射,且可由影像感測器150b接收。影像感測器150b亦可包括像素陣列以產生經反射圖案之影像。基於來自影像感測器150a及150b的經反射圖案之影像,系統可判定使用者之凝視點,且基於所判定之凝視點來更新所提供至顯示器100之影像資料以向使用者提供互動式體驗。
如上文所論述,為了避免損傷使用者之眼球,照明器140a、140b、140c、140d、140e及140f典型地經組態以輸出強度極低之光。在影像感測器150a及150b包含與圖1A之影像感測器120a至120d相同之感測器裝置的狀況下,當入射光之強度極低時,影像感測器120a至120d需要能夠產生與入射光之強度相關的輸出,此可進一步提高影像感測器之動態範圍要求。
此外,影像感測器120a至120d需要能夠以高速產生輸出以追蹤眼球之移動。舉例而言,使用者之眼球可執行極快速移動(例如,掃視移動),其中可存在自一個眼球位置至另一眼球位置之快速跳轉。為了追蹤使用者之眼球的快速移動,影像感測器120a至120d需要以高速產生眼球之影像。舉例而言,影像感測器產生影像圖框之速率(圖框速率)需要至少匹配眼球之移動速度。高圖框速率需要在產生影像圖框中所涉及之所有像素單元的短的總曝光時間,以及用於將感測器輸出轉換成用於影像產生之數位值的高速度。此外,如上文所論述,影像感測器亦需要能夠在具有低光強度之環境下操作。
圖2是圖1中所說明之近眼顯示器100之橫截面200的實例。顯示器110包括至少一個波導顯示器總成210。出射光瞳230是在使用者穿戴近眼顯示器100時使用者之單一眼球220定位於眼眶區中的位置。出於說明之目的,圖2展示與眼球220及單一波導顯示器總成210相關聯之橫截面200,但第二波導顯示器用於使用者之第二眼睛。
波導顯示器總成210經組態以將影像光導引至位於出射光瞳230處之眼眶及導引至眼球220。波導顯示器總成210可由具有一或多個折射率之一或多種材料(例如,塑膠、玻璃等)構成。在一些實例中,近眼顯示器100包括在波導顯示器總成210與眼球220之間的一或多個光學元件。
在一些實例中,波導顯示器總成210包括一或多個波導顯示器之堆疊,包括但不限於堆疊式波導顯示器、變焦波導顯示器等。堆疊式波導顯示器為藉由堆疊各別單色源具有不同色彩之波導顯示器而建立的多色顯示器(例如,紅綠藍(RGB)顯示器)。堆疊式波導顯示器亦為可投射於多個平面(例如,多平面彩色顯示器)上之多色顯示器。在一些組態中,堆疊式波導顯示器為可投射於多個平面(例如,多平面單色顯示器)上之單色顯示器。變焦波導顯示器為可調整自波導顯示器所發射的影像光之聚焦位置之顯示器。在替代性實例中,波導顯示器總成210可包括堆疊式波導顯示器及變焦波導顯示器。
圖3說明波導顯示器300之實例的等距視圖。在一些實例中,波導顯示器300是近眼顯示器100之組件(例如,波導顯示器總成210)。在一些實例中,波導顯示器300是將影像光導引至特定位置之某其他近眼顯示器或其他系統的部分。
波導顯示器300包括源總成310、輸出波導320及控制器330。出於說明目的,圖3展示與單一眼球220相關聯之波導顯示器300,但在一些實例中,與波導顯示器300分開或部分分開之另一波導顯示器將影像光提供至使用者之另一眼睛。
源極總成310產生影像光355。源極總成310產生影像光355且將其輸出至位於輸出波導320之第一側370-1上的耦合元件350。輸出波導320為光波導,其將經擴大之影像光340輸出至使用者之眼球220。輸出波導320在位於第一側370-1上之一或多個耦合元件350處接收影像光355,且將接收到之輸入影像光355導引至導引元件360。在一些實例中,耦合元件350將來自源極總成310之影像光355耦合至輸出波導320內。耦合元件350可為例如繞射光柵、全訊光柵、一或多個級聯反射器、一或多個稜柱形表面元件及/或一陣列的全像反射器。
導引元件360將接收到輸入之影像光355重新導引至解耦元件365,使得接收到輸入之影像光355經由解耦元件365以自輸出波導320解耦。導引元件360為輸出波導320之第一側370-1的部分或貼附至該第一側。解耦元件365為輸出波導320之第二側370-2的部分或貼附至該第二側,使得導引元件360與解耦元件365相對。導引元件360及/或解耦元件365可為例如繞射光柵、全訊光柵、一或多個級聯反射器、一或多個稜柱形表面元件及/或一陣列的全像反射器。
第二側370-2表示沿著x維度及y維度之平面。輸出波導320可由促進影像光355之全內反射的一或多種材料構成。輸出波導320可由例如矽、塑膠、玻璃及/或聚合物構成。輸出波導320具有相對較小的外觀尺寸。舉例而言,輸出波導320可沿著x維度為大致50 mm寬,沿著y維度為大致30 mm長,且沿著z維度為大致0.5 mm至1 mm厚。
控制器330控制源總成310之掃描操作。控制器330判定用於源總成310之掃描指令。在一些實例中,輸出波導320以大視場(FOV)將經擴大之影像光340輸出至使用者之眼球220。舉例而言,經擴大之影像光340提供至具有60度及/或更大及/或150度及/或更小之一對角線FOV(在x及y上)的使用者之眼球220。輸出波導320經組態以向眼眶提供具有20 mm或更大及/或等於或小於50 mm之長度;及/或10 mm或更大及/或等於或小於50 mm之寬度。
此外,控制器330亦基於由影像感測器370提供之影像資料控制由源總成310所產生之影像光355。影像感測器370可位於第一側370-1上,且可包括例如圖1A之影像感測器120a至120d以產生在使用者前方之實體環境的影像資料(例如,用於位置判定)。影像感測器370亦可位於第二側370-2上,且可包括圖1B之影像感測器150a及150b以產生使用者之眼球220的影像資料(例如,用於凝視點判定)。影像感測器370可與不位於波導顯示器300內之遠端控制台界接。影像感測器370可將影像資料提供至遠端控制台,該遠端控制台可判定例如使用者之位置、使用者之凝視點等,且判定待顯示給使用者之影像的內容。該遠端控制台可將與所判定內容相關之指令傳輸至控制器330。基於指令,控制器330可控制影像光355由源總成310之產生及輸出。
圖4說明波導顯示器300之橫截面400的實例。橫截面400包括源總成310、輸出波導320及影像感測器370。在圖4之實例中,影像感測器370可包括位於第一側370-1上之一組像素單元402,以產生在使用者前方之實體環境的影像。在一些實例中,在該組像素單元402與實體環境之間插入有機械快門404以控制該組像素單元402之曝光。在一些實例中,機械快門404可由電子快門閘所代替,如下文將論述。像素單元402中之每一者可對應於該影像之一個像素。儘管圖4中未展示,但應理解到像素單元402中之每一者亦可覆疊有一濾光片以控制待由像素單元所感測之光的頻率範圍。
在接收到來自遠端控制台之指令之後,機械快門404可在積分週期中開放該組像素單元402且使其曝光。在積分週期期間,影像感測器370可獲得入射於該組像素單元402上之光的樣本,且基於由該組像素單元402所偵測到之入射光樣本的強度分佈而產生影像資料。影像感測器370可接著將影像資料提供至遠端控制台,該遠端控制台判定顯示內容,且將顯示內容資訊提供至控制器330。控制器330可接著基於顯示內容資訊而判定影像光355。
源總成310根據來自控制器330之指令產生影像燈355。源總成310包括源410及光學系統415。源410為產生相干或部分相干光之光源。源410可為例如雷射二極體、垂直共振腔面射型雷射及/或發光二極體。
光學系統415包括調節來自源410之光的一或多個光學組件。調節來自源410之光可包括例如根據來自控制器330之指令而擴展、準直及/或調整定向。一或多個光學組件可包括一或多個透鏡、液體透鏡、鏡面、孔隙及/或光柵。在一些實例中,光學系統415包括多個電極之液體透鏡,其允許掃描具有掃描角度之臨限值的光束以使光束移位至液體透鏡外部的區。自光學系統415(及亦源極總成310)發射之光被稱作影像光355。
輸出波導320接收影像光355。耦合元件350將來自源總成310之影像光355耦合至輸出波導320中。在耦合元件350為繞射光柵之實例中,選擇繞射光柵之間距使得在輸出波導320中發生全內反射,且影像光355在輸出波導320內部地(例如,藉由全內反射)朝向解耦元件365傳播。
導引元件360將影像光355朝向解耦元件365重新導引以用於自輸出波導320解耦。在導引元件360為繞射光柵之實例中,繞射光柵之間距經選擇以使入射影像光355相對於解耦元件365之表面之傾斜角離開輸出波導320。
在一些實例中,導引元件360及/或解耦元件365在結構上類似。離開輸出波導320的經擴大之影像光340沿著一或多個維度擴大(例如,可沿著x維度為細長的)。在一些實例中,波導顯示器300包括複數個源總成310及複數個輸出波導320。源總成310中之每一者發射具有對應於原色(例如,紅色、綠色或藍色)之特定波長帶的單色影像光。輸出波導320中之每一者可以分開距離一起堆疊以輸出為多色的經擴大之影像光340。
圖5是包括近眼顯示器100之系統500之實例的方塊圖。系統500包含各自耦接至控制電路系統510之近眼顯示器100、成像裝置535、輸入/輸出界面540以及影像感測器120a至120d及150a至150b。系統500可經組態為頭戴式裝置、可穿戴式裝置等。
近眼顯示器100是向使用者呈現媒體之顯示器。由近眼顯示器100所呈現的媒體之實例包括一或多個影像、視訊及/或音訊。在一些實例中,音訊經由外部裝置(例如,揚聲器及/或頭戴式耳機)呈現,外部裝置自近眼顯示器100及/或控制電路系統510接收音訊資訊,且將基於音訊資訊之音訊資料對使用者呈現。在一些實例中,近眼顯示器100亦可充當AR眼鏡。在一些實例中,近眼顯示器100藉由電腦產生之元素(例如,影像、視訊、聲音等)來擴增實際真實世界環境之視圖。
近眼顯示器100包括波導顯示器總成210、一或多個位置感測器525及/或慣性量測單元(IMU)530。波導顯示器總成210包括源總成310、輸出波導320及控制器330。
IMU 530是一電子裝置,其基於自位置感測器525中之一或多者所接收到的量測信號,來產生指示近眼顯示器100之估計位置相對於近眼顯示器100之初始位置的快速校準資料。
成像裝置535可產生用於各種應用之影像資料。舉例而言,成像裝置535可產生影像資料,以根據自控制電路系統510所接收之校準參數來提供緩慢校準資料。成像裝置535可包括例如圖1A之影像感測器120a至120d而用於產生使用者所位於之實體環境的影像資料,以用於執行對使用者之位置追蹤。成像裝置535可進一步包括例如圖1B之影像感測器150a至150b,而用於產生用於判定使用者之凝視點以識別使用者所關注之物件的影像資料。
輸入/輸出界面540是允許使用者將動作請求發送至控制電路系統510之裝置。動作請求是執行特定動作之請求。舉例而言,動作請求可為開始或結束應用程式或執行該應用程式內之特定動作。
控制電路系統510根據自以下各者中之一或多者所接收的資訊將媒體提供至近眼顯示器100以供呈現給使用者:成像裝置535、近眼顯示器100及輸入/輸出界面540。在一些實例中,控制電路系統510可容納於經組態為頭戴式裝置之系統500內。在一些實例中,控制電路系統510可為與系統500之其他組件通信耦接之一獨立式控制台裝置。在圖5中展示之實例中,控制電路系統510包括應用程式儲存區545、一追蹤模組550及引擎555。
應用程式儲存區545儲存用於由控制電路系統510所執行之一或多個應用程式。應用程式是在由處理器執行時產生供呈現給使用者之內容的一組指令。應用程式之實例包括:遊戲應用程式、會議應用程式、視訊播放應用程式或其他合適的應用程式。
追蹤模組550使用一或多個校準參數來校準系統500,且可調整一或多個校準參數以減小在近眼顯示器100之位置之判定中的誤差。
追蹤模組550使用來自成像裝置535之緩慢校準資訊來追蹤近眼顯示器100之移動。追蹤模組550亦使用來自快速校準資訊之位置資訊來判定近眼顯示器100之參考點的位置。
引擎555執行系統500內之應用程式,且自追蹤模組550接收近眼顯示器100之位置資訊、加速度資訊、速度資訊及/或預測未來位置。在一些實例中,由引擎555接收到之資訊可用於向波導顯示器總成210產生判定呈現給使用者之內容之類型的信號(例如,顯示指令)。舉例而言,為了提供互動式體驗,引擎555可基於使用者之位置(例如,由追蹤模組550提供)或使用者之凝視點(例如,基於由成像裝置535提供之影像資料)、物件與使用者之間的距離(例如,基於由成像裝置535提供之影像資料)來判定待呈現給使用者之內容。
圖6說明像素單元600之實例。像素單元600可為像素陣列之部分且可產生對應於影像之像素的數位強度資料。舉例而言,像素單元600可為圖4之像素單元402的部分。如圖6中所展示,像素單元600可包括光電二極體602、以及處理電路,其包括快門開關604、轉移閘極606、重設開關607、包含電荷儲存單元608a及緩衝器608b之電荷感測單元608、及像素ADC 610。
在一些實例中,光電二極體602可包括例如P-N二極體、P-I-N二極體、固定(pinned)二極體等。光電二極體602可在接收到光後即刻產生電荷,且所產生電荷之量可與光之強度成比例。光電二極體602亦可儲存所產生電荷中之一些直至光電二極體飽和,其在達到光電二極體之井容量時發生。此外,快門開關604、轉移閘極606及重設開關607中之每一者可包括電晶體。舉例而言,電晶體可包括金氧半導體場效應電晶體(MOSFET)、雙極接面電晶體(BJT)等。快門開關604可充當電子快門閘(代替或與圖4之機械快門404組合)以控制像素單元600之積分週期。在積分週期期間,快門開關604可藉由曝光啟用信號611而停用(斷開),該曝光啟用信號允許光電二極體602儲存所產生電荷且在光電二極體602飽和時允許溢出電荷流動至電荷儲存單元608a。在積分週期結束時,可啟用快門開關604以將由光電二極體602所產生之電荷導向光電二極體電流槽617中。此外,重設開關607亦可藉由重設信號618而停用(斷開),該重設信號允許電荷儲存單元608a累積電荷。電荷儲存單元608a可為轉移閘極606之浮動端子處的裝置電容器、金屬電容器、MOS電容器或其任何組合。電荷儲存單元608a可將一定量之電荷轉換成類比電壓,類比電壓可由像素ADC 610量測以提供表示入射光強度之數位輸出。在量測模式完成之後,可啟用重設開關607以將所儲存於電荷儲存單元608a處之電荷清空至電荷槽620,從而使電荷儲存單元608a可取用於下一量測。
現參考圖7A,其針對不同光強度範圍而說明相對於時間所累積之電荷量。在特定時間點所累積之電荷的總量可反映在積分週期期間入射於光電二極體602上之光的強度。當積分週期結束時,可量測該量。可針對電荷之臨限量來定義臨限值702及臨限值704,其定義入射光強度之低光強度範圍706、中等光強度範圍708及高光強度範圍710。舉例而言,若總累積電荷低於臨限值702(例如Q1),則入射光強度處於低光強度範圍706內。若總累積電荷界於臨限值704與臨限值702(例如Q2)之間,則入射光強度處於中等光強度範圍708內。若總累積電荷高於臨限值704,則入射光強度處於中等光強度範圍710內。若光電二極體在整個低光強度範圍706內未飽和且量測電容器在整個中等光強度範圍708內未飽和,則對於低及中等光強度範圍,累積電荷之量可與入射光強度相關。
低光強度範圍706及中等光強度範圍708以及臨限值702及704之定義可基於光電二極體602及電荷儲存單元608a之儲存容量。舉例而言,可定義低光強度範圍706而使得在積分週期結束時儲存於光電二極體602中之電荷的總量低於或等於光電二極體之儲存容量,且臨限值702可基於光電二極體602之儲存容量。如下文將描述,可基於光電二極體602之經按比例調整儲存容量而設定臨限值702,以考慮光電二極體之潛在容量變化。此類配置可確保當量測儲存於光電二極體602中之電荷量以判定強度時,光電二極體不飽和且所量量測與入射光強度相關。此外,可定義中等光強度範圍708而使得在積分週期結束時儲存於電荷儲存單元608a中之電荷總量低於或等於量測電容器之儲存容量,且臨限值704可基於電荷儲存單元608a之儲存容量。典型地,臨限值704亦設定成基於電荷儲存單元608a之經按比例調整儲存容量,以確保當量測儲存於電荷儲存單元608a中之電荷的量以判定強度時,量測電容器不飽和且所量量測亦與入射光強度相關。如下文將描述,臨限值702及704可用以偵測光電二極體602及電荷儲存單元608a是否飽和,其可判定入射光之強度範圍及待輸出之量測結果。
此外,在入射光強度處於高光強度範圍710內之狀況下,在電荷儲存單元608a處所累積之總溢出電荷可在積分週期結束之前超過臨限值704。由於額外電荷被累積,因此電荷儲存單元608a可在積分週期結束之前達到滿容量,且可能發生電荷洩漏。為了避免由於電荷儲存單元608a達到滿容量而引起之量測誤差,可執行飽和時間量測以量測在電荷儲存單元608a處所累積之總溢出電荷達到臨限值704所花費的持續時間。電荷儲存單元608a處之電荷累積速率可基於臨限值704與飽和時間之間的比率而判定,且在積分週期結束時(若電容器具有無限容量)可能已累積於電荷儲存單元608a處之假設電荷量(Q3)可根據電荷累積速率而藉由外插來判定。假設電荷量(Q3)可提供高光強度範圍710內之入射光強度的相當準確之表示。
取決於應用,像素單元600可主要偵測具有特定強度範圍之光。舉例而言,參考圖7B,可操作包括像素單元600之像素單元陣列700以捕獲夜間之室外環境的場景,且室外環境包含光源720及物件730。舉例而言,由像素單元陣列700所捕獲之影像740可包括高光強度之影像區742(例如,對應於光源720之影像)、中等光強度之影像區744(例如,對應於物件730之影像)及低光強度之影像區746(例如,對應於夜間背景)。像素單元陣列700之對應於影像區742之區中的像素單元600可主要量測具有高光強度範圍710之光。此外,像素單元陣列700之對應於影像區744之區中的像素單元600可主要量測具有中等光強度範圍708之光。另外,像素單元陣列700之對應於影像區746之區中的像素單元600可主要量測具有低強度範圍706之光。
另外,一些應用可僅使用圖7A之強度範圍的子集。一個實例為凝視點判定。如圖7C中所展示,包括像素單元600之像素單元陣列可用以捕獲眼球之影像750,且影像750可包括閃爍修補752及光孔修補754。可基於對自眼球之角膜表面反射之極高強度光的偵測而產生閃爍修補752。自角膜表面反射之光強度可處於高強度範圍710之上端。此外,可基於對自眼球之角膜表面反射之低強度光的偵測而產生光孔修補754。自眼球之光孔反射之光強度可處於低強度範圍706之下端。可基於影像750內之閃爍修補752及光孔修補754之影像位置而判定使用者之凝視方向。為了提高偵測閃爍修補及光孔修補之準確性,此接著改良凝視方向之追蹤,像素單元600需要能夠量測皆具有高保真度的極高強度光及極低強度光,而非界於兩者之間的包括中等光強度範圍708的強度光。
返回參考圖6,轉移閘極606可由量測控制信號612控制以針對如上文所描述之不同光強度範圍而控制殘餘電荷電容器603及電荷儲存單元608a處之電荷累積。為了量測高光強度範圍710及中等光強度範圍708,可控制轉移閘極606以在部分接通狀態下操作。舉例而言,可基於光電二極體602處所產生之對應於光電二極體之電荷儲存容量的電壓來設定轉移閘極606之閘極電壓。藉由此類配置,僅溢出電荷(例如,在光電二極體飽和之後由光電二極體所產生之電荷)將經由轉移閘極606轉移到達電荷儲存單元608a,以量測飽和時間(對於高光強度範圍710)及儲存於電荷儲存單元608a中之電荷的量(對於中等光強度範圍708)。此外,為了量測低光強度範圍706,可控制轉移閘極606處於完全接通狀態下以將儲存於光電二極體602中之電荷轉移至電荷儲存單元608a,以量測儲存於光電二極體602中之電荷的量。
歸因於電荷累積而在電荷儲存單元608a處所產生的類比電壓可由緩衝器608b緩衝,以產生類比輸出節點614處之類比電壓的複製(但驅動強度更大)。類比輸出節點614處之類比電壓可由像素ADC 610轉換成數位輸出(例如,包含邏輯1及0)。在積分週期結束之前(例如,對於中等光強度範圍708及高光強度範圍710)或在積分週期之後(對於低光強度範圍706),可對在電荷儲存單元608a處所產生之類比電壓進行取樣且可產生數位輸出。可將數位資料傳輸至例如圖5之控制電路系統510,以表示積分週期期間之光強度。
在一些實例中,電荷儲存單元608a之電容可組態以提高針對低光強度範圍之光強度判定的準確性。舉例而言,當將電荷儲存單元608a用以量測儲存於殘餘電荷電容器603處之殘餘電荷時,可減小電荷儲存單元608a之電容。減小電荷儲存單元608a之電容可增加電荷儲存單元608a處之電荷至電壓轉換比率,使得可針對一定量之所儲存電荷產生較高電壓。較高電荷至電壓轉換比率可減小由像素ADC 610所引入之量測誤差(例如,量化誤差、比較器偏移等)對低光強度判定之準確性的影響。量測誤差可對可由像素ADC 610偵測及/或區分之最小電壓差設定限制。藉由增加電荷至電壓轉換比率,可減小對應於最小電壓差之電荷量,此又減小可由像素單元600量測之光強度的下限且擴展動態範圍。另一方面,對於中等光強度,可增加電荷儲存單元608a之電容以確保電荷儲存單元608a具有足夠容量以儲存多達例如由臨限值704所定義之量的電荷量。
圖8說明像素ADC 610之內部組件的實例。如圖8中所展示,像素ADC 610包括臨限值產生器802、比較器804及數位輸出產生器806。數位輸出產生器806可進一步包括計數器808及記憶體810。計數器808可基於自由運行(free-running)的時脈信號812來產生一組計數值,而記憶體810可儲存由計數器808所產生之計數值中的至少一些(例如,最新計數值)。在一些實例中,記憶體810可為計數器808之部分。舉例而言,記憶體810可為鎖存電路,以基於如下文所描述之本地像素值而儲存計數器值。臨限值產生器802包括數位至類比轉換器(DAC)813,其可接受一組數位值且輸出表示該組數位值之參考電壓(VREF)815。如將在下文更詳細地論述,臨限值產生器802可接受靜態數位值以產生固定臨限值,或接受計數器808之輸出814以產生斜坡臨限值。
儘管圖8說明DAC 813(及臨限值產生器802)為像素ADC 610之部分,但應理解到DAC 813(及臨限值產生器802)可與來自不同像素單元之多個數位輸出產生器806耦接。此外,數位輸出產生器806之至少部分(諸如計數器808)可在複數個多像素單元之間共用以產生數位值。
比較器804可比較在類比輸出節點614處所產生之類比電壓與由臨限值產生器802所提供之臨限值,且基於比較結果來產生決策816。舉例而言,若類比輸出節點614處之類比電壓等於或超過由臨限值產生器802所產生之臨限值,則比較器804可為決策816產生邏輯1。若類比電壓降低至臨限值以下,則比較器804亦可為決策816產生邏輯0。決策816可控制計數器808之計數操作及/或儲存於記憶體810中之計數值,以執行類比輸出節點614處之斜坡類比電壓的前述飽和時間量測以及類比輸出節點614處之類比電壓的量化處理,以用於入射光強度判定。
圖9A說明藉由像素ADC 610進行之飽和時間量測的實例。為了執行飽和時間量測,臨限值產生器802可控制DAC 813以產生固定的VREF 815。可將固定的VREF 815設定為對應於使電荷儲存單元608a飽和之電荷量臨限值(例如,圖7之臨限值704)的電壓。計數器808可緊接在積分週期開始之後(例如,緊接在停用快門開關604之後)開始計數。在類比輸出節點614處之類比電壓斜降(或取決於實施方案而斜升)時,時脈信號812保持雙態觸發以更新計數器808處之計數值。類比電壓可在某一時間點達到固定臨限值,此致使比較器804之決策816翻轉。決策816之翻轉可停止計數器808之計數,且計數器808處之計數值可表示飽和時間。如下文將更詳細地論述,電荷儲存單元608a處之電荷累積速率亦可基於持續時間而判定,且入射光強度可基於電荷累積速率而判定。
圖9B說明藉由像素ADC 610量化類比電壓之實例。在量測開始之後,DAC 813可藉由計數器輸出714程式化以產生可取決於實施方案而斜升(在圖9B之實例中)或斜降之斜坡的VREF 815。斜坡的VREF 815之電壓範圍可界於臨限值704(用於電荷儲存單元608a之飽和的電荷量臨限值)與臨限值702(用於光電二極體602之飽和的電荷量臨限值),其可定義中等光強度範圍。在圖9B之實例中,可以均一量化步長執行量化程序,其中VREF 815針對時脈信號812之各時脈循環增加(或減小)相同量。VREF 815之增加(或減小)的量對應於量化步長。當VREF 815達到類比輸出節點614處之類比電壓的一個量化步長內時,比較器804之決策816自負翻轉至正。決策816之翻轉可停止計數器808之計數,且計數值可對應於量化步長之總數,其經累積以在一個量化步長內匹配類比電壓。計數值對應於VREF 815達到類比電壓所花費之時間的量測結果,且可為所儲存於電荷儲存單元608a處之電荷量的數位表示以及入射光強度之數位表示。如上文所論述,類比電壓之量化可在積分週期期間(例如,對於中等光強度範圍708)及在積分週期之後(例如,對於低光強度範圍706)發生。
如上文所論述,當由ADC 610輸出之量位準所表示(例如,由量化步長之總數所表示)的電荷量與藉由ADC 610映射至量位準之電荷的實際輸入量之間存在失配時,ADC 610可引入量化誤差。可藉由使用較小量化步長大小來減小量化誤差。在圖9B之實例中,基於例如減小量化操作之輸入範圍902(界於臨限值702與704之間),減小待由計數器808所量測之對應時間範圍,增加時脈信號812之時脈頻率或因此的任何組合,量化步長大小可減小每時脈循環之VREF 815的增加(或減小)量。
儘管可藉由使用較小量化步長大小來減小量化誤差,但面積及執行速度可限制可減小量化步長之程度。舉例而言,在時脈信號812之時脈頻率增加的同時輸入範圍902保持相同的狀況下,表示電荷量(及光強度)之特定範圍所需的量化步長之總數可增加。可能需要較大數目個資料位元來表示增加數目個量化步長(例如,8個位元表示255個步長,7個位元表示127個步長等)。較大數目個資料位元可需要將額外匯流排添加至像素輸出匯流排616,此在像素單元600用於頭戴式裝置上或具有極有限空間之其他可穿戴式裝置上的情況下可能不可行。此外,在量化步長大小較大之情況下,ADC 610在找到匹配(藉由一個量化步長)之量位準之前可需要循環通過較大數目個量化步長,此導致處理功率消耗及時間增加且產生影像資料之速率減小。對於需要高圖框速率之一些應用(例如,追蹤眼球移動之應用),速率減小可能是不可接受的。
減小量化誤差之一種方式是使用非均一量化方案,其中遍及輸入範圍,量化步長不均一。圖10A說明針對非均一量化程序及均一量化程序之ADC碼(量化程序之輸出)與輸入電荷量位準之間的映射之實例。虛線說明用於非均一量化程序之映射,而實線說明用於均一量化程序之映射。對於均一量化程序,量化步長大小(由Δ1 指示)對於輸入電荷量之整個範圍是相同的。相比而言,對於非均一量化程序,量化步長大小取決於輸入電荷量而不同。舉例而言,用於低輸入電荷量之量化步長大小(由ΔS 指示)小於用於大輸入電荷量之量化步長大小(由ΔL 指示)。此外,對於相同的低輸入電荷量,可使用於非均一量化程序之量化步長大小(ΔS )小於用於均一量化程序之量化步長大小(Δ1 )。
使用非均一量化方案之一個優點是可減小用於量化低輸入電荷量之量化步長,此又減小量化低輸入電荷量之量化誤差,且可減小可由ADC 610區分之最小輸入電荷量。因此,經減小之量化誤差可下拉影像感測器之可量測光強度的下限,且動態範圍可增大。此外,儘管量化誤差對於高輸入電荷量增加,但量化誤差相較於高輸入電荷量可保持較小。因此,可減小所引入電荷之量測的總量化誤差。另一方面,覆蓋輸入電荷量之整個範圍的量化步長之總數可保持相同(或甚至減少),且可避免與增加量化步長之數目(例如,面積增加、處理速度減小等)相關聯的前述潛在問題。
圖10B說明藉由像素ADC 610使用非均一量化程序來量化類比電壓之實例。相較於圖9B(其使用均一量化程序),VREF 815隨各時脈循環以非線性方式增加,最初具有較小斜率且稍後具有較大斜率。斜率之差異歸因於不均勻量化步長大小。對於較低計數器計數值(其對應於較低輸入量範圍),使量化步長較小,因此VREF 815以較緩慢速率增加。對於較高計數器計數值(其對應於較高輸入量範圍),使量化步長較大,因此VREF 815以較高速率增加。可使用不同方案來引入VREF 815中之不均勻量化步長。舉例而言,如上文所論述,DAC 813經組態以針對不同計數器計數值(來自計數器808)而輸出電壓。DAC 813可經組態使得兩個相鄰計數器計數值之間的輸出電壓的差(其定義量化步長大小)對於不同計數器計數值是不同的。作為另一實例,計數器808亦可經組態以產生計數器計數值之跳變,而非增加或減小同一計數步長,以產生不均勻量化步長。在一些實例中,圖10B之非均一量化程序可用於低光強度範圍706及中等光強度範圍708之光強度判定。
現參考圖11,其說明像素單元1100之實例,該像素單元可為圖6之像素單元600的實例。在圖11之實例中,PD可對應於光電二極體602,電晶體MO可對應於快門開關604,電晶體M1可對應於轉移閘極606,而電晶體M2可對應於重設開關607。此外,COF電容器與CEXT電容器之組合可對應於電荷儲存單元608a。COF電容器可為浮動汲極節點之寄生電容器。電荷儲存單元608a之電容可由信號LG組態。當啟用LG時,電荷儲存單元608a提供COF電容器與CEXT電容器之組合容量。當停用LG時,CEXT電容器可自並聯組合斷開連接,且電荷儲存單元608a僅包含COF電容器(外加其他寄生電容)。如上文所論述,電荷儲存單元608a之電容可經減小以增加電荷至電壓轉換比率以用於低光線強度判定,且可經增加以提供必需容量用於中等光強度判定。
像素單元1100進一步包括緩衝器608b之實例及像素ADC 610之實例。舉例而言,電晶體M3及M4形成源極隨耦器,其可為圖6之緩衝器608b以緩衝在OF節點處所產生之類比電壓,其表示儲存於COF電容器處(或COF電容器及CEXT電容器處)之電荷量。另外,CC電容器、比較器1102、電晶體M5、反或(NOR)閘1116連同記憶體810可為像素ADC 610之部分,以產生表示OF節點處之類比電壓的數位輸出。如上文所描述,量化可基於在OF節點處產生之類比電壓與VREF之間的比較結果(VOUT)(由比較器1102所產生)。此處,CC電容器經組態以產生追蹤緩衝器608b之輸出的VIN電壓(在比較器1102之一個輸入處),且將VIN電壓提供至比較器1102以與VREF進行比較。VREF可為用於飽和時間量測(對於高光強度範圍)之靜態電壓或用於量化類比電壓(對於低及中等光強度範圍)之斜坡電壓。ADC碼可由自由運行計數器(例如,計數器808)所產生,且由比較器1102產生之比較結果可判定待儲存於記憶體810中且待作為入射光強度之數位表示輸出的ADC碼。在一些實例中,產生用於低及中等光強度判定之VREF可基於如在圖10A及圖10B中所論述之非均一量化方案。
除了上文所記載之技術,像素單元1100亦包括可進一步提高入射光強度判定之準確性的技術。舉例而言,CC電容器與電晶體M5之組合可用以補償由比較器1102引入之量測誤差(例如,比較器偏移)以及引入比較器1102之其他誤差信號,使得可提高比較器1102之準確性。雜訊信號可包括例如由重設開關607引入之重設雜訊電荷、緩衝器608b之輸出處由於源極隨耦器臨限值失配而產生的雜訊信號等。當啟用電晶體M2及M5兩者時,反映比較器偏移以及誤差信號之一定量的電荷可在重設階段期間儲存於CC電容器處。由於所儲存電荷,在重設階段期間亦可在CC電容器上產生電壓差。在量測階段期間,保持CC電容器上之電壓差,且CC電容器可藉由減去(或加上)電壓差來追蹤緩衝器608b之輸出電壓以產生VIN。結果,VIN電壓可補償量測誤差及誤差信號,此提高VIN與VREF之間的比較及隨後發生的量化的準確性。
此外,像素單元1100進一步包括控制器1110。控制器1110可產生一連串控制信號,諸如SHUTTER、TX、RST1、RST2等,以操作像素單元1100執行對應於圖7A之三個光強度範圍(例如,低光強度範圍706、中等光強度範圍708及高光強度範圍710)之三階段量測操作。在各階段中,像素單元1100可在針對對應光強度範圍之量測模式中操作,且基於比較器1102之決策輸出(VOUT)來判定入射光強度是否在對應光強度範圍內。像素單元1100進一步包括一組暫存器以將一些階段之決策輸出儲存為FLAG_1及FLAG_2信號。基於FLAG_1及FLAG_2信號,控制器1110可自三個階段中之一者選擇ADC碼以表示入射光強度。經選定ADC碼可儲存於記憶體810中,且記憶體810可藉由反或閘1116基於FLAG_1及FLAG_2之組合被鎖定,以防止後續量測階段覆寫記憶體810中之經選定ADC碼的輸出。在三階段量測程序結束時,控制器1110可擷取儲存於記憶體810中之ADC碼。記憶體810可為像素單元1100之部分或在像素單元1100外部。
另外,控制器1110可接收程式設計資料1120以對控制信號之序列進行組態。可自操作應用程式的主機裝置接收程式設計資料1120,應用程式消耗由像素單元1100所產生之影像資料。如將在下文所描述,組態可包括設定電荷儲存單元608a處之電荷之積分週期的持續時間,省略三階段量測程序中之一或多者,重複三階段量測程序中之一或多者以量化入射光強度之多個樣本等,且可基於在主機裝置處操作之應用程式。在一些實例中,控制器1110進一步包括強度輸出模組1124以基於樣本而產生輸出。在一些實例中,強度輸出模組1124亦可在像素單元1100外部。
現參考圖12,其說明用於框週期內之三階段量測操作之像素單元1100的控制信號序列。參考圖12,在T0'與T0之間的時間對應於第一重設階段。時間T0可對應於框開始(SoF),其開始光電二極體PD之積分週期1202以及電荷儲存單元608a之積分週期1204。可在T0與T1之間的週期中執行飽和時間(TTS)量測操作,繼之以在T1與T2之間的週期中執行FD ADC量測操作,此些操作皆用以量測儲存於電荷儲存單元608a中之溢出電荷。此外,在T2與T3之間的週期包括第二重設階段,繼之以將儲存於光電二極體602中之電荷轉移至浮動汲極。此外,在T3與T4之間的週期中,可將殘餘電荷轉移至電荷儲存單元608a且量測殘餘電荷。在T4與T5之間的週期中,可執行PD ADC量測操作以量測儲存於電荷儲存單元608a中之殘餘電荷。像素單元1100可提供表示入射光強度之數位輸出以在時間T5產生影像圖框。時間T5可對應於框結束(EoF)時間。接著可針對下一圖框週期重複三階段量測操作以產生後續影像圖框。
如圖12中所展示,在T0之前,確證RST1及RST2信號、LG信號以及快門信號,而TX信號經偏壓於電壓VLOM 。VLOW 可對應於光電二極體PD之電荷容量以僅允許溢出電荷(若存在)自光電二極體PD經由電晶體M1流動至CEXT電容器及COF電容器。在此類配置之情況下,可重設光電二極體PD以及CEXT電容器及COF電容器兩者。此外,因為由光電二極體PD產生之電荷被電晶體M0分流掉,所以無電荷添加至電容器。可將光電二極體PD以及OF節點上之電壓設定為等於可表示光電二極體PD、CEXT電容器及COF電容器不儲存任何電荷之狀態的VRESET 的電壓。另外,比較器1102亦處於重設階段,且CC電容器可儲存反映由M2引入之重設雜訊、比較器偏移、緩衝器608b之臨限值失配等的電荷。此外,VREF亦可設定為等於VRESET 之值。在一些實例中,VRESET 可等於至像素單元1100之供應電壓(例如,VDD)。此外,計數器808可處於重設狀態。
在時間T0,計數器808可自初始值(例如,零)開始計數。在T0與T1之間的週期期間,撤銷確證快門信號,而LG信號保持經確證且TX信號保持於VLOW 。VREF可設定成等於VFDSAT 之值,VFDSAT 可在CEXT電容器及COF電容器皆滿容量時對應於OF節點之電壓。在VFDSAT 與VRESET 之間的差可對應於例如圖7之臨限值704。在T0與T1之間的週期期間,可執行時間飽和(TTS)量測,其中溢出電荷自光電二極體PD經由電晶體M1流動至COF電容器及CEXT電容器以在OF節點處產生斜坡電壓。在計數器808自由運行時,可將OF節點處之類比電壓(VIN)的經緩衝及誤差補償版本與VFDSAT 進行比較。若儲存於COF電容器及CEXT電容器處之總電荷超過臨限值704(基於OF節點之電壓),則比較器1102之輸出可翻轉,其指示入射光處於高強度範圍中,且TTS量測結果可用以表示入射光強度。因此,在翻轉時由計數器808產生之計數值可儲存至記憶體810中。可在時間T1進行對比較器1102之輸出的檢查1212,且比較器1102之翻轉亦使控制器1110確證暫存器1112中之FLAG_1信號。FLAG_1信號的非零值可使反或閘1116之輸出保持為低而無關於至反或閘之其他輸入,且可鎖定記憶體並防止後續量測階段覆寫計數值。另一方面,若比較器1102在T1與T2之間的週期期間從不翻轉,其指示入射光強度低於高光強度範圍,則FLAG_1信號保持為零。控制器1110不在週期T0至T1之間更新儲存於暫存器1114中之FLAG_2的值,且FLAG_2的值可保持為零。
在時間T1,計數器808可自其初始值(例如,零)重新開始計數。在T1與T2之間的週期期間,可執行FD ADC操作,其中可藉由ADC 610量化OF節點處之類比電壓以量測儲存於CEXT電容器及COF電容器中之溢出電荷的量。在一些實例中,在週期T1至T2期間,可遮蔽光電二極體PD免受入射光(例如,藉由機械快門404)而使得儲存於CEXT電容器及COF電容器中之總溢出電荷及OF節點處之類比電壓保持恆定。可將圖12中之第一斜坡臨限電壓(標記為「第一斜坡VREF」)供應至比較器1102以與OF節點處之類比電壓(VIN)的經緩衝及誤差補償版本進行比較。在一些實例中,第一斜坡VREF可由DAC基於來自自由運行的計數器之計數值所產生。若斜坡VREF匹配VIN(在一個量化步長內),則比較器1102之輸出可翻轉,且若記憶體未由第一量測階段所鎖定(如由FLAG_1信號之零值指示),則在翻轉時由計數器808所產生之計數值可儲存至記憶體810中。若記憶體經鎖定,則計數值將不儲存至記憶體810中。
在一些實例中,如圖12中所展示,第一斜坡VREF之電壓範圍可界於VFDSAT 與VRESET 之間。VFDSAT 可定義儲存於CEXT電容器及COF電容器中(當其接近飽和時)之總溢出電荷的上限,而VRESET 可定義儲存於電容器中之總溢出電荷的下限(當不存在溢出電荷時,因此OF節點之電壓保持在VRESET 下)。FD ADC階段中之比較器1102之翻轉可指示OF節點之電壓低於VRESET ,此可意謂儲存於電容器中之總溢出電荷超過下限。因此,FD ADC階段中之比較器1102的翻轉可指示光電二極體PD飽和,因此存在儲存於電容器中之溢出電荷,且溢出電荷之量化結果可表示入射光之強度。可在FD ADC之後在時間T2進行對比較器1102之輸出的檢查1214,且控制器1110可基於比較器1102之翻轉而確證暫存器1114中之FLAG_2信號以鎖定儲存於記憶體810中之計數值,此防止後續階段將另一計數值儲存於記憶體810中。
在T2與T3之間的週期開始時,可針對第二重設階段再次確證RST1信號及RST2信號兩者。第二重設階段之目的為重設CEXT及COF電容器,且製備用於在第三量測階段(對於低光強度範圍)儲存自PDCAP電容器所轉移之電荷的COF電容器。第二重設階段可結束電荷儲存單元608a之積分週期1202。亦可撤銷確證FG信號以將CEXT電容器與COF電容器斷開連接且減小量測電容器之電容。減小電容將增加電荷至電壓轉換比率,以改良低光強度判定,如上文所論述。亦將比較器1102置於重設狀態下,其中CC電容器可用以儲存藉由重設CEXT及COF電容器而產生之雜訊電荷。
在T3與T4之間的週期期間,撤銷確證RST1及RST2信號,而偏壓TX可增加至VHIGH 以完全接通電晶體M1。儲存於光電二極體PD中之電荷可接著經由M1移動至COF電容器中。在T3與T4之間,光電二極體PD亦可產生新電荷且經由M1將新電荷轉移至COF電容器。
在時間T4,確證快門信號,而撤銷確證TX信號(例如,設定成零)或將其設定回至VLOW 以防止儲存於COF電容器處之電荷經由M1漏洩。光電二極體PD之積分週期1204在時間T4結束。PD ADC操作可在時間T4開始,其中可將第二斜坡臨限電壓(在圖12中標記為「第二斜坡VREF」)供應至比較器1102,以與OF節點處之類比電壓(VIN)的經緩衝且經錯誤補償版本進行比較。第二斜坡VREF可具有界於VPDSAT 與VRESET 之間的電壓範圍:VPDSAT 表示當COF電容器儲存使光電二極體PD飽和之殘餘電荷量時所處之電壓。若第二斜坡VREF匹配VIN(在一個量化步長內),則比較器1102之輸出可翻轉,且若記憶體810未由第一量測階段(如由FLAG_1信號之零值指示)或由第二量測階段(如由FLAG_2信號之零值指示)所鎖定,則在翻轉時由計數器808產生之計數值可儲存至記憶體中。PD ADC操作在時間T5結束,此可對應於框結束(EoF)。
如上文所述,控制器1110可接收程式設計資料1120以對控制信號之序列進行組態。一個實例組態可包括增加框週期,此亦可增加光電二極體產生且累積殘餘電荷之光電二極體積分時間的持續時間。此類配置可增加為將強度極低之光子轉換成電荷而提供之時間,且因此可針對極低強度光而累積更多電荷,此可增加低強度光量測之信雜比且下拉動態範圍之下限。此組態可實現執行如圖7C中所示之凝視點判定的應用程式,其需要準確地偵測用於產生光孔修補及/或用於產生具有低強度光之場景之部分之影像資料(諸如圖7B之影像區746)的低強度光。在一些實例中,程式設計資料1120可指定框週期之持續時間,且控制器1110可基於框週期而控制控制信號(例如,RST1、RST2、TX、LG、VREF等)之時序,且根據框週期而按比例縮放光電二極體之積分週期1204。
另外,另一實例組態可包括縮減電荷儲存單元608a之積分週期1202的持續時間(圖12中之T0與T2之間 ,可執行此操作以使光電二極體PD之框週期及積分週期1204之增加偏移(圖12中之T0與T3之間 。此類配置可提供各種益處。首先,比較器1102在電荷儲存單元608a之積分週期1202期間接通並耗費功率,以用於TTS及FD ADC操作兩者。因為比較器1102通常使用大量功率,所以縮減電荷儲存單元608a之積分週期1202可減少比較器1102之接通時間,且實質上降低TTS操作及FD ADC操作之總功耗。其次,電荷儲存單元608a且特定言之浮動汲極典型地接收大量暗電流。積分週期1202之經縮減的持續時間可減小歸因於暗電流而由浮動汲極所累積之暗電荷的量,此可進一步提高TTS及FD ADC操作之準確性。經縮減之第二積分時間亦不降低動態範圍之上限,此係因為電荷儲存單元在像素單元接收強度極高之光時將在極短時間內飽和,且TTS操作仍可提供光強度之準確表示,此允許像素單元1100產生針對圖7C之閃爍修補752及圖7B之影像區742的準確輸出。
圖13A及圖13B說明用於縮減電荷儲存單元608a之積分週期1202之持續時間的實例技術。如圖13A中所展示,並非對準快門信號之撤銷確證與第一重設階段階段之結束(如同圖12中在時間T0),第一重設階段可在快門信號經撤銷確證之後繼續。光電二極體PD之積分週期1204仍在快門信號經撤銷確證時在SoF處開始,而電荷儲存單元608a之積分週期1202的開始可相對於SoF而延遲至圖13A中經標記為曝光開始(SoE)的稍後時間點。圖13B說明用於縮減電荷儲存單元608a之積分週期1202之持續時間的另一實例技術。如圖13B中所展示,第二重設階段之開始時間亦可相對於快門開關之確證(其結束光電二極體PD之積分週期1204)及EoF而向前拉動。在圖13A及圖13B兩者中,控制器可在第一重設階段結束之後開始TTS操作且接著開始FD ADC操作,且在第二重設階段開始時結束FD ADC操作。可在程式設計資料1120中指定第一重設階段及第二重設階段之持續時間,控制器1110可基於如此而控制RST1及RST2信號之時序。在一些實例中,程式設計資料1120亦可對控制器1110進行組態以跳過TTS/FD ADC量測操作中之一者(例如,藉由不提供靜態VREF電壓或斜坡VREF電壓),以適應電荷儲存單元608a之經縮減的積分週期1202。
圖14A至圖14C說明像素單元1100之操作的其他實例組態。如圖14A中所示,並非單一FD ADC操作,可執行多個FD ADC操作以量化電荷儲存單元608a之積分週期1202內的OF節點之電壓。舉例而言,控制器1110可在時間T1重新啟動計數器808,且可在時間T1與T1a之間執行第一FD ADC操作(在圖14A中經標記為「FD ADC 0」),其中比較器1102比較OF節點之電壓與自VPDSAT 斜變至VRESET 之第一斜坡VREF,且當比較器1102之輸出指示OF節點之電壓跨越第一斜坡VREF時,可將來自計數器808之第一計數儲存於記憶體810中。第一計數可表示OF節點之電壓之第一樣本以及在時間T1a時或之前所累積於電荷儲存單元608a處之第一溢出電荷量。計數器808接著可在時間T1a重新啟動,且可在時間T1a與T1b之間執行第二FD ADC操作(在圖14A中標記為「FD ADC 1」),其中比較器1102比較OF節點之電壓與自VPDSAT 斜變至VRESET 之第一斜坡VREF,且當比較器1102之輸出指示OF節點之電壓跨越第一斜坡VREF時,可將來自計數器808之第二計數儲存於記憶體810中。第二計數可表示OF節點之電壓之第二樣本以及在時間T1b時或之前所累積於電荷儲存單元608a處之第二溢出電荷量。可執行額外FD ADC操作(例如,FD ADC n)以產生額外樣本。可在程式設計資料1120中指定FD ADC操作之數目,控制器1110可基於如此而控制重新啟動計數器808之時序以及產生第一斜坡VREF之時序,以產生多個樣本。
多個電壓樣本可儲存於記憶體810中,且被提供給強度輸出模組1124以判定入射光之強度。為了支援多個取樣/量化操作,記憶體810可包括多個儲存體/元件以儲存多個量化結果,其接著可將多個量化結果提供給強度輸出模組1124。多個儲存體/元件亦可用以單獨地儲存來自TTS、FD ADC及PD ADC操作之量化結果,而非例如以後續階段(例如,FD ADC、PD ADC等)之量化結果來覆寫TTS之量化結果。因此,在一些實例中,可省略圖12中之檢查1212及1214,其提供是否可以後續階段之輸出來替換自先前階段所儲存於記憶體810中之量化結果的指示。
圖14B說明自多個FD ADC操作所獲得之電壓樣本的實例圖案。圖形1402相對於時間而說明電壓樣本之實例模式。在圖形1402中所說明之實例模式下,電壓樣本值相對於時間而以恆定速率減小,此可反映電荷儲存單元608a以恆定速率累積溢出電荷。溢出電荷之累積速率以及電壓樣本之變化率可與入射光強度相關,強度愈高,則電壓樣本之變化率愈高,且對於更低強度則反之亦然。因而,強度輸出模組1124可基於電壓樣本值之變化率而判定入射光強度。在圖形1402之實例中,強度輸出模組1124可判定在不同樣本之間(例如,v0與v1、v1與v2、v2與v3之間等)的經取樣電壓之變化率,且判定平均變化率。強度輸出模組1124接著可基於經取樣電壓之平均變化率而判定入射光強度。在一些實例中,強度輸出模組1124亦可基於經取樣電壓跨越多個影像圖框之平均變化率而判定入射光之強度。
相較於基於在VFDSAT (或VRESET )與特定經取樣電壓(當其跨越斜坡VREF時)之間的差,基於變化率而判定入射光強度可提供各種益處。舉例而言,可藉由平均化來減少重設雜訊及量化雜訊。此外,可在高取樣頻率下獲得且量化電壓樣本,此可減少1/f雜訊且提高FD ADC操作之準確性。此外,強度量測可對於比如斜坡或時脈信號中之延遲的失配源變得更為彈性,此可減少或消除校準此些雜訊源之需要。
圖形1404相對於時間而說明電壓樣本之另一實例模式。在圖形1404中所說明之實例模式下,電壓樣本值相對於時間t0與t3之間的時間以第一速率下減小,且接著相對於時間t3與t7之間的時間以小得多之第二速率下減小(或保持恆定)。慢得多之第二速率可指示電荷儲存單元608a以溢出電荷飽和。強度輸出模組1124可偵測在時間t3開始之電壓樣本之變化率的實質降低,且使用時間t0與t3之間的電壓樣本之第一變化率以判定入射光強度。此類配置亦可允許跳過TTS操作(例如,以適應電荷儲存單元608a之經縮減的積分週期1202),及/或針對高得多之強度範圍指派TTS操作,同時使FD ADC操作之強度上限擴展超出圖7A之飽和臨限值704等,此可擴展像素單元1100之動態範圍。
圖14C說明像素單元1100之操作的另一實例組態。在圖14C中,可執行多個FD ADC操作以量化OF節點之電壓,但在各FD ADC操作結束時重設電荷儲存單元608a及比較器1102,此可將積分週期1202拆分成多個子週期,包括積分週期P0、P1、Pn等。在圖14C之實例中,強度輸出模組1124可基於平均化經取樣電壓而判定入射光強度。圖14C中之配置亦可減少重設雜訊、量化雜訊及1/f雜訊以提高FD ADC操作之準確性。此外,強度量測可對於比如斜坡或時脈信號中之延遲的失配源變得更為彈性,此可減少或消除校準此等雜訊源之需要。
圖15說明像素單元1100之操作的其他實例組態。如圖15中所示,並非一個PD ADC操作,可在T3與T5之間的週期中執行多個PD ADC操作。為了執行多個PD ADC操作,控制器1110可將偏置TX設定成VHIGH 以在T3與T5之間的週期中完全接通電晶體M1同時使快門開關保持停用,來啟用光電二極體PD以產生電荷且將電荷轉移至電荷儲存單元608a。控制器1110可在時間T3重新啟動計數器808,且可在時間T3與T3a之間執行第一PD ADC操作(在圖15中標記為「PD ADC 0」),其中比較器1102比較OF節點之電壓與自VPDSAT 斜變至VRESET 之第二斜坡VREF,且當比較器1102之輸出指示OF節點之電壓跨越第二斜坡VREF時,可將來自計數器808之第一計數儲存於記憶體810中。第一計數可表示OF節點之電壓之第一樣本及由光電二極體PD在時間T3a時或之前所產生(且轉移至電荷儲存單元608a)的第一電荷量。計數器808接著可在時間T3a重新啟動,且可在時間T1a與T1b之間執行第二PD ADC操作(在圖15中標記為「PD ADC 1」),其中比較器1102比較OF節點之電壓與自VPDSAT 斜變至VRESET 之第一斜坡VREF,且當比較器1102之輸出指示OF節點之電壓跨越第二斜坡VREF時,可將來自計數器808之第二計數儲存於記憶體810中。第二計數可表示OF節點之電壓之第二樣本及由光電二極體PD在時間T3b時或之前所產生之第二電荷量。可執行額外PD ADC操作(例如,PD ADC n)以產生額外樣本。可在程式設計資料1120中指定PD ADC操作之數目,控制器1110可基於如此而控制重新啟動計數器808之時序及產生第二斜坡VREF之時序,以產生多個樣本。多個電壓樣本可儲存於記憶體810中。強度輸出模組1124可基於例如判定經取樣電壓之變化率而判定入射光之強度。
圖16說明像素單元1100之操作的其他實例組態。如圖16中所示,並非單一TTS操作,可在T0與T1之間的週期中執行多個TTS操作。為了執行多個TTS操作,控制器1110可在時間T0重新啟動計數器808以在時間T0與T0a之間執行第一TTS操作(在圖16中標記為「TTS 0」),其中比較器1102比較OF節點之電壓與靜態臨限電壓VFDSAT ,且當比較器1102之輸出指示OF節點之電壓跨越第二斜坡VREF時,可將來自計數器808之第一計數儲存於記憶體810中。第一計數可表示OF節點之電壓之飽和時間的第一樣本。控制器1110接著可確證RST1及RST2與分別重設電荷儲存單元608a及比較器1102,且在時間T0a重新啟動計數器808,可在時間T0a與T0b之間執行第二PD ADC操作(在圖16中標記為「TTS 1」),且可在時間T0b與T0c之間執行第三PD ADC操作(在圖16中標記為「TTS 2」)。可執行額外TTS操作(例如,TTS n)以產生額外樣本。可在程式設計資料1120中指定TTS操作之數目,控制器1110可基於如此而控制重新啟動計數器808之時序以及產生RST1及RST2之時序,以產生多個飽和時間樣本。多個飽和時間樣本可儲存於記憶體810中,且被提供給強度輸出模組1124。
基於各種技術,強度輸出模組1124可基於多個飽和時間樣本而判定入射光強度。在一些實例中,強度輸出模組1124可對飽和時間樣本之數目進行計數且基於該數目而判定強度。舉例而言,更高數目可指示更高光強度。在一些實例中,可收集固定數目個飽和時間樣本,且最後一個飽和時間樣本可用以判定入射光強度。在一些實例中,強度輸出模組1124亦可基於飽和時間樣本之平均值而判定入射光強度。
圖17說明用於量測光強度之實例方法1700的流程圖。舉例而言,方法1700可由圖11之像素單元1100的控制器1110來執行。
方法1700以步驟1702開始,其中控制器1110自操作應用程式之主機裝置接收程式設計資料(例如,程式設計資料1120)。程式設計資料可對像素單元1100處之光強度量測操作進行組態。舉例而言,組態可包括設定電荷儲存單元608a處之電荷之積分週期的持續時間,省略三階段量測程序中之一或多者,重複三階段量測程序中之一或多者以量化入射光強度之多個樣本等,且可基於在主機裝置處操作之應用程式。
在步驟1704中,控制器1110可基於程式設計資料而判定以下各者中之至少一者:包括浮動汲極之電荷儲存單元(例如,電荷儲存單元608a)累積自光電二極體接收到之電荷之積分週期的持續時間、或對此電荷進行取樣之次數。電荷儲存單元608a之積分週期可指示為累積用於TTS及/或FD ADC量測操作之溢出電荷所提供的週期的持續時間,而對電荷進行取樣之次數可指示重複TTS、FD ADC及PD ADC量測操作中之一或多者以量測光強度的次數。
在步驟1706中,控制器1110可啟用光電二極體以累積殘餘電荷且在光電二極體飽和之後將溢出電荷傳輸至電荷儲存單元。控制器可啟用光電二極體以藉由例如釋放快門開關以開始光電二極體之積分週期來累積電荷。光電二極體之積分週期的開始可對應於框開始(SoF)。
在步驟1708中,控制器1110可控制電荷儲存單元以在電荷儲存單元之積分週期內累積自光電二極體接收到之溢出電荷的至少一部分。可基於程式設計資料而對電荷儲存單元之積分週期的持續時間進行組態。在一些實例中,基於在SoF以外控制電荷儲存單元之第一重設階段的時序(如圖13A中所展示)及/或基於在PD ADC之前控制電荷儲存單元之第二重設階段的時序(如圖13B中所展示),控制器1110可設定電荷儲存單元之積分週期的持續時間。
在步驟1710中,控制器1110可控制量化器(例如,像素ADC 610)以對溢出電荷之至少一部分或殘餘電荷進行取樣此次數以獲得數個樣本,且量化此數個樣本以產生數個量化結果。可基於程式設計資料而對此數個樣本進行組態。在一些實例中,可在電荷儲存單元繼續累積溢出電荷(例如,在FD ADC操作中)或累積殘餘電荷(例如,在PD ADC操作中)時獲得電壓樣本,且可基於與斜坡臨限值進行比較以及基於比較結果而在記憶體中儲存計數值來量化各電壓。可判定電壓樣本相對於時間之變化率,且可基於此變化率而判定入射光之強度。在一些實例中,可在量化器獲得各樣本(例如,電壓樣本、飽和時間樣本等)且量化樣本之前重設電荷儲存單元,且可基於量化結果之平均值而判定入射光之強度。
本發明之實例實例的前述描述已出於說明及描述之目的而呈現;其並不意欲係詳盡的或將本發明限於所記載精確形式。熟習相關技術者可瞭解,根據以上記載內容,許多修改及變化係可能的。
本描述之一些部分按關於資訊的操作之演算法及符號表示來描述本發明之實例。熟習資料處理技術者常用此等演算法描述及表示來將其工作之實質有效地傳達給其他熟習此項技術者。此等操作雖然在功能上、計算上或邏輯上描述,但是應理解為由電腦程式或等效電路、微碼等來實施。此外,在不失一般性的情況下,將此等操作配置稱為模組,有時亦證明為方便的。所描述操作及其相關聯模組可體現於軟體、韌體及/或硬體中。
所描述步驟、操作或程序可單獨地或與其他裝置組合地藉由一或多個硬體或軟體模組來執行或實施。在一些實例中,軟體模組係運用包含含有電腦程式碼之電腦可讀取媒體之電腦程式產品實施,電腦程式碼可由電腦處理器執行以用於執行描述之任何或所有步驟、操作或程序。
本發明之實例亦可關於用於執行描述之操作的設備。該設備可經特別建構以用於所需目的,及/或其可包含由儲存於電腦中之電腦程式選擇性地啟動或重組態之通用計算裝置。此電腦程式可儲存於非暫時性有形電腦可讀取儲存媒體或適合於儲存電子指令的任何類型之媒體中,其可耦接至電腦系統匯流排。此外,在本說明書中提及之任何計算系統可包括單一處理器,或可為使用多個處理器設計以用於增加計算能力之架構。
本發明之實例亦可關於藉由本文中所描述的計算過程產生的產品。此產品可包含產生於計算程序之資訊,且可包含本文中所描述之電腦程式產品或其他資料組合的任何實例,其中該資訊儲存於非暫時性有形電腦可讀取儲存媒體上。
用於說明書中之語言主要出於可讀性及指導性目的而選擇,且其尚未經選擇以劃定或限定本發明主題。因此,本發明範疇不欲受此實施方式所限制,而是由基於發佈在此處之本申請案的任何技術方案所限制。因此,實例之記載內容意欲說明而非限制在以下申請專利範圍中所闡述之本發明的範疇。
100‧‧‧近眼顯示器 105‧‧‧框架 110‧‧‧顯示器 120a、120b、120c、120d‧‧‧影像感測器 130‧‧‧主動照明器 135‧‧‧眼球 140a、140b、140c、140d、140e、140f‧‧‧照明器 150a、150b‧‧‧影像感測器 200‧‧‧橫截面 210‧‧‧波導顯示器總成 220‧‧‧眼球 230‧‧‧出射光瞳 300‧‧‧波導顯示器 310‧‧‧源總成 320‧‧‧輸出波導 330‧‧‧控制器 340‧‧‧經擴大之影像光 350‧‧‧耦合元件 355‧‧‧影像光 360‧‧‧導引元件 365‧‧‧解耦元件 370‧‧‧影像感測器 370-1‧‧‧第一側 370-2‧‧‧第二側 400‧‧‧橫截面 402‧‧‧像素單元 404‧‧‧機械快門 410‧‧‧源 415‧‧‧光學系統 500‧‧‧系統 510‧‧‧控制電路系統 525‧‧‧位置感測器 530‧‧‧慣性量測單元(IMU) 535‧‧‧成像裝置 540‧‧‧輸入/輸出界面 545‧‧‧應用程式儲存區 550‧‧‧追蹤模組 555‧‧‧引擎 600‧‧‧像素單元 602‧‧‧光電二極體 603‧‧‧殘餘電荷電容器 604‧‧‧快門開關 606‧‧‧轉移閘極 607‧‧‧重設開關 608‧‧‧電荷感測單元 608a‧‧‧電荷儲存單元 608b‧‧‧緩衝器 610‧‧‧像素類比至數位轉換器(ADC) 611‧‧‧曝光啟用信號 612‧‧‧量測控制信號 614‧‧‧類比輸出節點 616‧‧‧像素輸出匯流排 617‧‧‧光電二極體電流槽 618‧‧‧重設信號 620‧‧‧電荷槽 700‧‧‧像素單元陣列 702、704‧‧‧臨限值 706‧‧‧低光強度範圍 708‧‧‧中等光強度範圍 710‧‧‧高光強度範圍 720‧‧‧光源 730‧‧‧物件 740、750‧‧‧影像 742、744、746‧‧‧影像區 752‧‧‧閃爍修補 754‧‧‧光孔修補 802‧‧‧臨限值產生器 804‧‧‧比較器 806‧‧‧數位輸出產生器 808‧‧‧計數器 810‧‧‧記憶體 812‧‧‧時脈信號 813‧‧‧數位至類比轉換器(DAC) 814‧‧‧輸出 815‧‧‧參考電壓(VREF) 816‧‧‧決策 1100‧‧‧像素單元 1102‧‧‧比較器 1110‧‧‧控制器 1112、1114‧‧‧暫存器 1116‧‧‧反或(NOR)閘 1120‧‧‧程式設計資料 1124‧‧‧強度輸出模組 1202、1204‧‧‧積分週期 1212、1214‧‧‧檢查 1402、1404‧‧‧圖形 1700‧‧‧方法 1702、1704、1706、1708、1710‧‧‧步驟 P0、P1、Pn‧‧‧積分週期
參考下圖描述說明性實例。 圖1A及圖1B是近眼顯示器之實例的圖式。 圖2是近眼顯示器之橫截面的實例。 圖3說明具有單一源總成之波導顯示器之實例的等距視圖。 圖4說明波導顯示器之實例的橫截面。 圖5是包括近眼顯示器之系統之實例的方塊圖。 圖6說明像素單元之實例的方塊圖。 圖7A、圖7B及圖7C說明用於藉由圖6之實例判定不同範圍之光強度之操作的態樣。 圖8說明圖6之像素單元之內部組件的實例。 圖9A及圖9B說明用於判定光強度之實例方法。 圖10A及圖10B說明用於執行量化之技術。 圖11說明像素單元之實例的方塊圖。 圖12說明用以執行光強度量測之控制信號的實例序列。 圖13A及圖13B說明用以執行光強度量測之控制信號的另一實例序列。 圖14A、圖14B及圖14C說明以執行光強度量測之控制信號的另一實例序列及實例結果。 圖15說明說明用以執行光強度量測之控制信號的另一實例序列。 圖16說明說明用以執行光強度量測之控制信號的另一實例序列。 圖17說明用於量測光強度之實例程序的流程圖。
此些附圖僅出於說明的目的描繪本發明之實例。熟習此項技術者將易於自以下描述認識到,在不脫離本發明之原理或所聲稱之益處的情況下,可使用說明的結構及方法之替代性實例。
在附圖中,類似組件及/或特徵可具有相同參考標記。另外,可藉由在參考標記之後加上破折號及在相似組件之間進行區分之第二標記來區分同一類型之各種組件。若在說明書中僅使用第一參考標記,則描述適用於具有相同第一參考標記而與第二參考標記無關的類似組件中之任一者。
1700‧‧‧方法
1702、1704、1706、1708、1710‧‧‧步驟

Claims (20)

  1. 一種用於量測光強度之設備,其包含:光電二極體;電荷儲存單元,其包括浮動汲極;量化器;控制器,其經組態以:接收程式設計資料;基於該程式設計資料而判定以下各者中之至少一者:包括該浮動汲極之該電荷儲存單元累積自該光電二極體接收到之電荷的積分週期、或對自該光電二極體接收到之該電荷進行取樣的次數;啟用該光電二極體以累積殘餘電荷,且在該光電二極體飽和之後將溢出電荷傳輸至該電荷儲存單元;控制該電荷儲存單元以在該積分週期內累積自該光電二極體接收到之該溢出電荷的至少一部分;及控制該量化器以:對該溢出電荷之該至少一部分或該殘餘電荷進行取樣該次數以獲得數個樣本,且量化該數個樣本以產生數個量化結果。
  2. 如請求項1所述之設備,其中該控制器經組態以:在第一時間,啟用該光電二極體以開始累積該殘餘電荷;自在該第一時間之後的第二時間開始的重設狀態而釋放該電荷儲存單元;及在該第二時間之後的第三時間而重設該電荷儲存單元,其中該控制器經組態以基於該程式設計資料而設定該第二時間或該第三時 間中之該至少一者。
  3. 如請求項2所述之設備,其中該積分週期係第一積分週期且在該第二時間開始;且其中該光電二極體之第二積分週期在該第一時間開始。
  4. 如請求項3所述之設備,其進一步包含:快門開關,其耦接於該光電二極體與一第一電荷槽之間;及重設開關,其耦接於該電荷儲存單元與第二電荷槽之間。
  5. 如請求項4所述之設備,其中該控制器經組態以:在該第一時間,停用該快門開關以開始該第二積分週期;在該第二時間,停用該重設開關以開始該第一積分週期;及在該第三時間,啟用該重設開關以停止該第一積分週期。
  6. 如請求項5所述之設備,其進一步包含耦接於該光電二極體與該電荷儲存單元之間的轉移開關,該轉移開關包含閘極及該電荷儲存單元之該浮動汲極;其中該控制器經組態以在該第一積分週期及該第二積分週期內向該轉移開關之閘極傳輸第一控制信號以啟用該光電二極體來儲存該殘餘電荷;及在該第一積分週期內,控制該量化器以量化在該電荷儲存單元處所累積之該溢出電荷之該至少一部分的第一數目個樣本。
  7. 如請求項6所述之設備,其中該控制器經組態以在該第三時間之後:停用該重設開關;將第二控制信號傳輸至該轉移開關之該閘極,以將該殘餘電荷自該光電二極體轉移至該電荷儲存單元; 啟用該快門開關以停止該第一積分週期及該第二積分週期兩者;及在該第一積分週期及該第二積分週期結束之後,控制該量化器以量化在該電荷儲存單元處所累積之該殘餘電荷。
  8. 如請求項3所述之設備,其中該量化器包含比較器、計數器及記憶體;其中該控制器經組態以執行一量化操作,該量化操作包含:控制該計數器以自開始計數值開始計數;控制該比較器以比較該電荷儲存單元處之電壓與一或多個臨限值,以產生比較結果;及基於該比較結果而控制該記憶體,以將來自該計數器之計數值儲存為該電壓之樣本的量化結果。
  9. 如請求項8所述之設備,其中該控制器經組態以基於該程式設計資料而執行數個該量化操作以產生數個該量化結果。
  10. 如請求項9所述之設備,其中該控制器經組態以在該數個該量化操作之每一者中控制該比較器以比較該電壓與斜坡臨限值,以判定該溢出電荷之量或儲存於該電荷儲存單元處之該殘餘電荷的量。
  11. 如請求項10所述之設備,其中該控制器經組態以基於該數個該量化結果之間的變化率而產生輸出,其表示由該光電二極體接收到之入射光之強度。
  12. 如請求項11所述之設備,其中該控制器經組態以:判定該數個該量化結果之第一子集之間的第一變化率;判定該數個該量化結果之第二子集之間的第二變化率;及基於該第一變化率與該第二變化率之間的關係,以基於該第一變化率而產生該輸出。
  13. 如請求項12所述之設備,其中該控制器經組態以:基於該關係,以在獲得該電壓之由該數個該量化結果之該第二子集所表示的該樣本時,判定該電荷儲存單元為飽和;及基於該判定,以基於該第一變化率而產生該輸出。
  14. 如請求項10所述之設備,其中該控制器經組態以:在該數個該量化操作之每一者中,重設該電荷儲存單元;及基於該數個該量化結果之平均值而產生輸出,其表示由該光電二極體接收到之入射光之強度。
  15. 如請求項14所述之設備,其中該控制器經組態以在該數個該量化操作之每一者中控制該比較器以比較該電壓與靜態臨限值;且其中該數個該量化結果之每一者表示該電荷儲存單元變得由該溢出電荷所飽和的時間。
  16. 如請求項10所述之設備,其中該控制器經組態以在該第一積分週期內執行該數個該量化操作,以量化該溢出電荷之該至少一部分。
  17. 如請求項10所述之設備,其中該控制器經組態以在該第二積分週期內執行該數個該量化操作,以量化該殘餘電荷。
  18. 一種用於量測光強度之方法,其包含:接收程式設計資料;基於該程式設計資料而判定以下各者中之至少一者:包括浮動汲極之電荷儲存單元累積自光電二極體接收到之電荷的積分週期、或對該電荷進行取樣的次數;啟用該光電二極體以累積殘餘電荷,且在該光電二極體飽和之後將溢出電荷傳輸至該電荷儲存單元;控制該電荷儲存單元以在該積分週期內累積自該光電二極體接收到之該溢 出電荷的至少一部分;控制量化器以對該溢出電荷之該至少一部分或該殘餘電荷進行取樣該次數以獲得數個樣本;及控制該量化器來量化該數個樣本目以產生數個量化結果。
  19. 如請求項18所述之方法,其進一步包含:在第一時間,啟用該光電二極體以開始累積該溢出電荷;在該第一時間之後的第二時間開始,自重設狀態而釋放該電荷儲存單元;及在該第二時間之後的第三時間而重設該電荷儲存單元,其中基於該第二時間或該第三時間中之至少一者而設定該積分週期的持續時間。
  20. 如請求項18所述之方法,其進一步包含:執行數個量化程序,該量化程序中之每一者包含:控制該量化器之計數器以自開始計數值開始計數;控制該量化器之比較器以比較該電荷儲存單元處之電壓與一或多個臨限值,以產生比較結果;及基於該比較結果而控制記憶體,以將來自該計數器之計數值儲存為該電壓之樣本的量化結果。
TW108120147A 2018-06-11 2019-06-11 可組態影像感測器 TWI794508B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862683563P 2018-06-11 2018-06-11
US62/683,563 2018-06-11
US16/436,137 US11089210B2 (en) 2018-06-11 2019-06-10 Configurable image sensor
US16/436,137 2019-06-10

Publications (2)

Publication Number Publication Date
TW202002616A TW202002616A (zh) 2020-01-01
TWI794508B true TWI794508B (zh) 2023-03-01

Family

ID=68764454

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108120147A TWI794508B (zh) 2018-06-11 2019-06-11 可組態影像感測器

Country Status (7)

Country Link
US (1) US11089210B2 (zh)
EP (1) EP3804300A1 (zh)
JP (1) JP2021526326A (zh)
KR (1) KR20210019079A (zh)
CN (1) CN112640434A (zh)
TW (1) TWI794508B (zh)
WO (1) WO2019241267A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10917589B2 (en) 2017-06-26 2021-02-09 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
US10969273B2 (en) 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
US11004881B2 (en) 2018-04-03 2021-05-11 Facebook Technologies, Llc Global shutter image sensor
US10834344B2 (en) 2018-06-09 2020-11-10 Facebook Technologies, Llc Digital pixel with extended dynamic range
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11089241B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Pixel cell with multiple photodiodes
US10903260B2 (en) 2018-06-11 2021-01-26 Facebook Technologies, Llc Multi-photodiode pixel cell
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) * 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
JP7210172B2 (ja) * 2018-07-06 2023-01-23 キヤノン株式会社 撮像装置およびその制御方法
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11102430B2 (en) 2018-12-10 2021-08-24 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
JP7460345B2 (ja) * 2019-09-30 2024-04-02 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
WO2021252940A1 (en) * 2020-06-12 2021-12-16 University Of Washington Eye tracking in near-eye displays
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer
CN115866426B (zh) * 2022-11-30 2024-05-03 天津大学 基于横向溢流集成电容的多模式复用像素结构

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332200B1 (en) * 2014-12-05 2016-05-03 Qualcomm Incorporated Pixel readout architecture for full well capacity extension
US20170099422A1 (en) * 2015-10-01 2017-04-06 Qualcomm Incorporated High dynamic range solid state image sensor and camera system

Family Cites Families (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4596977A (en) 1984-12-03 1986-06-24 Honeywell Inc. Dual slope analog to digital converter with out-of-range reset
US5053771A (en) 1990-07-16 1991-10-01 Eastman Kodak Company Adaptive dual range analog to digital converter
JP2953297B2 (ja) 1994-03-30 1999-09-27 日本電気株式会社 受光素子およびその駆動方法
US6529241B1 (en) 1998-02-27 2003-03-04 Intel Corporation Photodetecting device supporting saturation detection and electronic shutter
US6522395B1 (en) 1999-04-30 2003-02-18 Canesta, Inc. Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
US6486504B1 (en) 1999-10-26 2002-11-26 Eastman Kodak Company CMOS image sensor with extended dynamic range
US6545624B2 (en) 2000-02-11 2003-04-08 Hyundai Electronics Industries Co., Ltd. Image sensor with analog-to-digital converter that generates a variable slope ramp signal
JP4949573B2 (ja) 2001-07-13 2012-06-13 浜松ホトニクス株式会社 光検出装置
US20030049925A1 (en) 2001-09-10 2003-03-13 Layman Paul Arthur High-density inter-die interconnect structure
CA2474560C (en) 2002-02-01 2012-03-20 Picometrix, Inc. Planar avalanche photodiode
CN1234234C (zh) 2002-09-30 2005-12-28 松下电器产业株式会社 固体摄像器件及使用该固体摄像器件的设备
US7280143B2 (en) 2003-04-14 2007-10-09 Micron Technology, Inc. CMOS image sensor with active reset and 4-transistor pixels
US6885331B2 (en) 2003-09-15 2005-04-26 Micron Technology, Inc. Ramp generation with capacitors
EP1530363B1 (en) 2003-11-04 2010-08-11 STMicroelectronics (Research & Development) Limited Improvements in or relating to image sensors
KR100574959B1 (ko) 2003-11-24 2006-04-28 삼성전자주식회사 자동 노출 조절 기능을 갖는 시모스 이미지 센서
US7518143B2 (en) 2004-02-27 2009-04-14 National University Corporation Tohoku University Solid-state imaging device, line sensor and optical sensor and method of operating solid-state imaging device
JP4317115B2 (ja) 2004-04-12 2009-08-19 国立大学法人東北大学 固体撮像装置、光センサおよび固体撮像装置の動作方法
GB0412296D0 (en) 2004-06-02 2004-07-07 Council Cent Lab Res Councils Imaging device
US7508431B2 (en) 2004-06-17 2009-03-24 Hoya Corporation Solid state imaging device
JP4349232B2 (ja) 2004-07-30 2009-10-21 ソニー株式会社 半導体モジュール及びmos型固体撮像装置
CN101010944B (zh) 2004-09-02 2010-06-16 索尼株式会社 摄像装置及摄像结果的输出方法
US7659772B2 (en) 2005-01-06 2010-02-09 Nec Corporation Semiconductor integrated circuit device
JP2006197393A (ja) 2005-01-14 2006-07-27 Canon Inc 固体撮像装置、カメラ、及び固体撮像装置の駆動方法
JP4459064B2 (ja) 2005-01-14 2010-04-28 キヤノン株式会社 固体撮像装置、その制御方法及びカメラ
JP4497366B2 (ja) * 2005-02-04 2010-07-07 国立大学法人東北大学 光センサおよび固体撮像装置
TW201101476A (en) 2005-06-02 2011-01-01 Sony Corp Semiconductor image sensor module and method of manufacturing the same
US20070013983A1 (en) 2005-07-04 2007-01-18 Dai Nippon Printing Co., Ltd. Holographic viewing device, and holographic viewing card incorporating it
KR100775058B1 (ko) 2005-09-29 2007-11-08 삼성전자주식회사 픽셀 및 이를 이용한 이미지 센서, 그리고 상기 이미지센서를 포함하는 이미지 처리 시스템
US7608823B2 (en) 2005-10-03 2009-10-27 Teledyne Scientific & Imaging, Llc Multimode focal plane array with electrically isolated commons for independent sub-array biasing
US7546026B2 (en) 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US7652313B2 (en) 2005-11-10 2010-01-26 International Business Machines Corporation Deep trench contact and isolation of buried photodetectors
JPWO2007097287A1 (ja) 2006-02-20 2009-07-16 パナソニック株式会社 撮像装置及びレンズ鏡筒
US7609079B2 (en) 2006-03-02 2009-10-27 Dialog Semiconductor Gmbh Probeless DC testing of CMOS I/O circuits
US7326903B2 (en) 2006-06-29 2008-02-05 Noble Peak Vision Corp. Mixed analog and digital pixel for high dynamic range readout
JP4855192B2 (ja) 2006-09-14 2012-01-18 富士フイルム株式会社 イメージセンサ及びデジタルカメラ
US7361989B1 (en) 2006-09-26 2008-04-22 International Business Machines Corporation Stacked imager package
US8107751B2 (en) 2007-03-16 2012-01-31 Sharp Laboratories Of America, Inc. DPCM with adaptive range and PCM escape mode
US7839703B2 (en) 2007-06-15 2010-11-23 Micron Technology, Inc. Subtraction circuits and digital-to-analog converters for semiconductor devices
US7825966B2 (en) 2007-06-29 2010-11-02 Omnivision Technologies, Inc. High dynamic range sensor with blooming drain
US7940311B2 (en) 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
US8426793B1 (en) 2007-10-04 2013-04-23 Geoffrey L. Barrows Vision sensor
EP2063632A1 (en) * 2007-11-20 2009-05-27 St Microelectronics S.A. Image sensor with multiple integration periods
EP2063630A1 (en) 2007-11-26 2009-05-27 Thomson Licensing Video capture device with variable shutter integration time
US8369458B2 (en) 2007-12-20 2013-02-05 Ralink Technology Corporation Wireless receiving system with an adaptively configurable analog to digital converter
EP2297783A1 (en) 2008-03-04 2011-03-23 MESA Imaging AG Drift field demodulation pixel with pinned photo diode
EP2104234B1 (en) 2008-03-21 2011-08-31 STMicroelectronics Limited Analog-to-digital conversion in image sensors
US8089035B2 (en) 2008-04-16 2012-01-03 Tower Semiconductor Ltd. CMOS image sensor with high sensitivity wide dynamic range pixel for high resolution applications
JP4661912B2 (ja) 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
US7795650B2 (en) 2008-12-09 2010-09-14 Teledyne Scientific & Imaging Llc Method and apparatus for backside illuminated image sensors using capacitively coupled readout integrated circuits
KR101575851B1 (ko) 2009-03-13 2015-12-10 삼성전자주식회사 불 휘발성 메모리 장치 및 그것의 프로그램 방법
EP2234387B8 (en) 2009-03-24 2012-05-23 Sony Corporation Solid-state imaging device, driving method of solid-state imaging device, and electronic apparatus
JP2010283525A (ja) * 2009-06-03 2010-12-16 Toshiba Corp 撮像装置
JP5306269B2 (ja) 2009-06-25 2013-10-02 キヤノン株式会社 光干渉断層法を用いる撮像装置及び撮像方法
US8569807B2 (en) 2009-09-01 2013-10-29 Taiwan Semiconductor Manufacturing Company, Ltd. Backside illuminated image sensor having capacitor on pixel region
CN102334293B (zh) 2009-09-11 2014-12-10 松下电器产业株式会社 模拟/数字变换器、图像传感器系统、照相机装置
KR101727270B1 (ko) 2009-11-06 2017-04-17 삼성전자주식회사 이미지 센서
US8384800B2 (en) 2009-11-23 2013-02-26 Samsung Electronics Co., Ltd. Methods of acquiring images
KR101111946B1 (ko) 2009-12-17 2012-02-14 엠텍비젼 주식회사 촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법
US8606051B2 (en) 2010-08-16 2013-12-10 SK Hynix Inc. Frame-wise calibration of column-parallel ADCs for image sensor array applications
KR20120029840A (ko) 2010-09-17 2012-03-27 삼성전자주식회사 이미지 센서의 구동 방법
WO2012043867A1 (en) 2010-09-30 2012-04-05 Canon Kabushiki Kaisha Solid-state imaging apparatus
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
TWI462265B (zh) 2010-11-30 2014-11-21 Ind Tech Res Inst 影像擷取裝置
KR101754131B1 (ko) 2010-12-01 2017-07-06 삼성전자주식회사 샘플링 회로와 광감지 장치
US8294077B2 (en) 2010-12-17 2012-10-23 Omnivision Technologies, Inc. Image sensor having supplemental capacitive coupling node
US8847136B2 (en) 2011-01-02 2014-09-30 Pixim, Inc. Conversion gain modulation using charge sharing pixel
US8717467B2 (en) 2011-01-25 2014-05-06 Aptina Imaging Corporation Imaging systems with array cameras for depth sensing
US8674282B2 (en) 2011-03-25 2014-03-18 Aptina Imaging Corporation Pumped pinned photodiode pixel array
KR101251744B1 (ko) 2011-04-13 2013-04-05 엘지이노텍 주식회사 Wdr 픽셀 어레이, 이를 포함하는 wdr 이미징 장치 및 그 구동방법
KR101241553B1 (ko) * 2011-04-13 2013-03-11 엘지이노텍 주식회사 Wdr 픽셀 어레이, 이를 포함하는 wdr 이미징 장치 및 그 구동방법
KR101241704B1 (ko) 2011-04-14 2013-03-19 엘지이노텍 주식회사 픽셀, 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동방법
US8637800B2 (en) 2011-04-19 2014-01-28 Altasens, Inc. Image sensor with hybrid heterostructure
US8575531B2 (en) 2011-04-26 2013-11-05 Aptina Imaging Corporation Image sensor array for back side illumination with global shutter using a junction gate photodiode
JP5808162B2 (ja) 2011-06-23 2015-11-10 キヤノン株式会社 撮像素子、撮像装置及び撮像素子の駆動方法
JP5868065B2 (ja) 2011-08-05 2016-02-24 キヤノン株式会社 撮像装置
JP5901186B2 (ja) 2011-09-05 2016-04-06 キヤノン株式会社 固体撮像装置及びその駆動方法
US20130056809A1 (en) 2011-09-07 2013-03-07 Duli Mao Image Sensor with Reduced Noiseby Blocking Nitridation Over Selected Areas
US8461660B2 (en) 2011-09-30 2013-06-11 Omnivision Technologies, Inc. CMOS image sensor with reset shield line
JP2013084785A (ja) 2011-10-11 2013-05-09 Sony Corp 固体撮像装置、撮像装置
JP2013098598A (ja) * 2011-10-28 2013-05-20 Konica Minolta Advanced Layers Inc 撮像装置
US8804021B2 (en) 2011-11-03 2014-08-12 Omnivision Technologies, Inc. Method, apparatus and system for providing improved full well capacity in an image sensor pixel
JP5963421B2 (ja) 2011-11-17 2016-08-03 オリンパス株式会社 固体撮像装置および撮像装置
KR20130062188A (ko) 2011-12-02 2013-06-12 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 장치
KR101801339B1 (ko) 2011-12-07 2017-11-27 한국전자통신연구원 고속 광대역 주파수 비교 장치
US8754798B2 (en) 2011-12-21 2014-06-17 Realtek Semiconductor Corp. High-speed successive-approximation-register analog-to-digital converter and method thereof
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
JP5917930B2 (ja) * 2012-01-31 2016-05-18 浜松ホトニクス株式会社 撮像装置
CN103258829A (zh) 2012-02-16 2013-08-21 索尼公司 固态成像装置、图像传感器及其制造方法以及电子设备
JP6164846B2 (ja) 2012-03-01 2017-07-19 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
JP5965674B2 (ja) 2012-03-05 2016-08-10 オリンパス株式会社 固体撮像装置および撮像装置
US8569700B2 (en) 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
TW201340708A (zh) 2012-03-19 2013-10-01 Sony Corp 固體攝像裝置及電子機器
EP2833619B1 (en) 2012-03-30 2023-06-07 Nikon Corporation Image pickup element and image pickup device
US8957358B2 (en) 2012-04-27 2015-02-17 Taiwan Semiconductor Manufacturing Company, Ltd. CMOS image sensor chips with stacked scheme and methods for forming the same
US9270906B2 (en) 2012-05-02 2016-02-23 Semiconductor Components Industries, Llc Exposure time selection using stacked-chip image sensors
US8779346B2 (en) 2012-05-14 2014-07-15 BAE Systems Imaging Solutions Inc. Digital pixel sensor with reduced noise
JP5885608B2 (ja) 2012-07-23 2016-03-15 株式会社東芝 固体撮像装置
JP6071315B2 (ja) 2012-08-08 2017-02-01 オリンパス株式会社 固体撮像装置および撮像装置
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9185273B2 (en) 2012-09-19 2015-11-10 Semiconductor Components Industries, Llc Imaging pixels with improved dynamic range
US9343497B2 (en) 2012-09-20 2016-05-17 Semiconductor Components Industries, Llc Imagers with stacked integrated circuit dies
US9094612B2 (en) 2012-09-25 2015-07-28 Semiconductor Components Industries, Llc Back side illuminated global shutter image sensors with back side charge storage
US9478579B2 (en) 2012-10-16 2016-10-25 Omnivision Technologies, Inc. Stacked chip image sensor with light-sensitive circuit elements on the bottom chip
ES2476115B1 (es) 2012-12-11 2015-04-20 Consejo Superior De Investigaciones Científicas (Csic) Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores
US9153616B2 (en) 2012-12-26 2015-10-06 Olympus Corporation Solid-state imaging device and imaging device with circuit elements distributed on multiple substrates, method of controlling solid-state imaging device, and imaging device with circuit elements distributed on multiple substrates
US8773562B1 (en) 2013-01-31 2014-07-08 Apple Inc. Vertically stacked image sensor
KR20140104169A (ko) 2013-02-20 2014-08-28 삼성전자주식회사 이미지 센서 및 이를 포함하는 컴퓨팅 시스템
JP2014175692A (ja) * 2013-03-06 2014-09-22 Sony Corp 信号処理装置、固体撮像装置、電子機器、信号処理方法、およびプログラム
JP2014236183A (ja) 2013-06-05 2014-12-15 株式会社東芝 イメージセンサ装置及びその製造方法
JP6188451B2 (ja) 2013-06-27 2017-08-30 オリンパス株式会社 アナログデジタル変換器および固体撮像装置
TWI659652B (zh) 2013-08-05 2019-05-11 新力股份有限公司 攝像裝置、電子機器
JP5604703B1 (ja) 2013-09-10 2014-10-15 弘一 関根 固体撮像装置
US10043843B2 (en) 2013-10-01 2018-08-07 Forza Silicon Corporation Stacked photodiodes for extended dynamic range and low light color discrimination
JP6394056B2 (ja) 2013-11-27 2018-09-26 ソニー株式会社 A/d変換装置、グレイコード生成装置、撮像素子、並びに、電子機器
KR102210539B1 (ko) 2013-12-26 2021-02-01 삼성전자주식회사 상관 이중 샘플링 회로, 이를 포함하는 아날로그-디지털 컨버터, 및 이미지 센서
KR102159261B1 (ko) 2014-01-21 2020-09-23 삼성전자 주식회사 출력신호를 보정할 수 있는 이미지 센서
JP2015146364A (ja) 2014-02-03 2015-08-13 ソニー株式会社 固体撮像素子、固体撮像素子の駆動方法、固体撮像素子の製造方法および電子機器
US9832409B2 (en) 2014-02-07 2017-11-28 National University Corporation Shizuoka University Image sensor
CN105981370B (zh) 2014-02-07 2019-07-19 拉姆伯斯公司 馈通补偿图像传感器
KR102245973B1 (ko) 2014-02-17 2021-04-29 삼성전자주식회사 상관 이중 샘플링 회로 및 이를 포함하는 이미지 센서
JP6278730B2 (ja) 2014-02-20 2018-02-14 オリンパス株式会社 固体撮像装置および撮像システム
EP2924979B1 (en) 2014-03-25 2023-01-18 IMEC vzw Improvements in or relating to imaging sensors
TWI656631B (zh) 2014-03-28 2019-04-11 日商半導體能源研究所股份有限公司 攝像裝置
US20150287766A1 (en) 2014-04-02 2015-10-08 Tae-Chan Kim Unit pixel of an image sensor and image sensor including the same
US9531976B2 (en) 2014-05-29 2016-12-27 Semiconductor Components Industries, Llc Systems and methods for operating image sensor pixels having different sensitivities and shared charge storage regions
JP2015230355A (ja) 2014-06-04 2015-12-21 リコーイメージング株式会社 撮像装置および撮像素子
JP2015231046A (ja) 2014-06-09 2015-12-21 株式会社東芝 固体撮像装置
JP6406888B2 (ja) 2014-06-17 2018-10-17 キヤノン株式会社 アナログデジタル変換回路の駆動方法、アナログデジタル変換回路、撮像装置、撮像システム、アナログデジタル変換回路の検査方法
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
KR102134636B1 (ko) 2014-07-14 2020-07-16 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
US9837457B2 (en) 2014-07-25 2017-12-05 Semiconductor Energy Laboratory Co., Ltd. Imaging device
US9432597B2 (en) 2014-07-25 2016-08-30 Rambus Inc. Low-noise, high dynamic-range image sensor
US9344658B2 (en) 2014-07-31 2016-05-17 Omnivision Technologies, Inc. Negative biased substrate for pixels in stacked image sensors
JP6314762B2 (ja) * 2014-09-18 2018-04-25 株式会社島津製作所 イメージセンサの信号処理装置及び信号読出方法
JP6522919B2 (ja) 2014-10-15 2019-05-29 オリンパス株式会社 撮像素子、撮像装置
US9325335B1 (en) 2014-10-24 2016-04-26 Teledyne Scientific & Imaging, Llc Comparator circuits with local ramp buffering for a column-parallel single slope ADC
KR102410019B1 (ko) 2015-01-08 2022-06-16 삼성전자주식회사 이미지 센서
US9515105B2 (en) 2015-02-18 2016-12-06 Semiconductor Components Industries, Llc Dual photodiode image pixels with preferential blooming path
US9524994B2 (en) 2015-04-14 2016-12-20 Semiconductor Components Industries, Llc Image sensor pixels with multiple compartments
US9819882B2 (en) 2015-06-05 2017-11-14 Caeleste Cvba Global shutter high dynamic range sensor
US9848142B2 (en) 2015-07-10 2017-12-19 Semiconductor Components Industries, Llc Methods for clocking an image sensor
TWI704811B (zh) 2015-07-27 2020-09-11 日商新力股份有限公司 固體攝像裝置及其控制方法、以及電子機器
KR102460175B1 (ko) 2015-08-21 2022-10-28 삼성전자주식회사 쉐어드 픽셀 및 이를 포함하는 이미지 센서
US10014333B2 (en) 2015-08-26 2018-07-03 Semiconductor Components Industries, Llc Back-side illuminated pixels with interconnect layers
US9909922B2 (en) 2015-09-03 2018-03-06 Johnson & Johnson Vision Care, Inc. Anti-aliasing photodetector system
US9948875B2 (en) 2015-10-01 2018-04-17 Semiconductor Components Industries, Llc High dynamic range imaging pixels with improved readout
US9654712B2 (en) 2015-10-07 2017-05-16 Semiconductor Components Industries, Llc Pixels with a global shutter and high dynamic range
KR102433575B1 (ko) 2015-10-12 2022-08-19 삼성전자주식회사 이미지 센서
US9936151B2 (en) 2015-10-16 2018-04-03 Capsovision Inc Single image sensor for capturing mixed structured-light images and regular images
CN108391450B (zh) 2015-10-21 2022-07-01 赫普塔冈微光有限公司 解调像素元件、像素元件阵列以及结合它们的光电元件
US9818777B2 (en) 2015-11-12 2017-11-14 Stmicroelectronics (Research & Development) Limited Hybrid analog-digital pixel implemented in a stacked configuration
US9991306B2 (en) 2015-12-10 2018-06-05 Semiconductor Components Industries, Llc Hybrid bonded image sensor and method of operating such image sensor
CN108886048B (zh) 2016-03-31 2022-12-16 索尼公司 摄像装置、摄像装置的制造方法和电子装置
US10063796B2 (en) * 2016-04-01 2018-08-28 Stmicroelectronics (Grenoble 2) Sas Sensing pixel having sampling circuitry to sample photodiode signal multiple times before reset of photodiode
US10015416B2 (en) 2016-05-24 2018-07-03 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
US9900117B2 (en) 2016-05-27 2018-02-20 Nxp Usa, Inc. Communication unit receiver, integrated circuit and method for ADC dynamic range selection
WO2017214391A1 (en) 2016-06-08 2017-12-14 Invisage Technologies, Inc. Image sensors with electronic shutter
EP3258683A1 (en) 2016-06-13 2017-12-20 ams AG Image sensor and method for operating an image sensor
US20170366766A1 (en) 2016-06-16 2017-12-21 Semiconductor Components Industries, Llc Image sensors having high dynamic range functionalities
US9967496B2 (en) 2016-06-30 2018-05-08 Sony Corporation Active reset circuit for reset spread reduction in single-slope ADC
JP7125345B2 (ja) 2016-07-06 2022-08-24 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像素子の製造方法、及び、電子機器
IL246796B (en) 2016-07-14 2020-05-31 Semi Conductor Devices An Elbit Systems Rafael Partnership Two-color light sensor and method
JP2018011272A (ja) * 2016-07-15 2018-01-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、及び、固体撮像素子の駆動方法、並びに、電子機器
US9979912B2 (en) 2016-09-12 2018-05-22 Semiconductor Components Industries, Llc Image sensors with power supply noise rejection capabilities
US9800260B1 (en) 2016-11-04 2017-10-24 Analog Devices Global Method and apparatus to increase dynamic range in delta-sigma ADC using internal feedback across all integrators in loop-filter
KR102694967B1 (ko) 2016-12-21 2024-08-14 에스케이하이닉스 주식회사 아날로그-디지털 변환 장치 및 그에 따른 씨모스 이미지 센서
EP3574470A4 (en) 2017-01-25 2020-07-29 BAE Systems Imaging Solutions Inc. EXTENDED DYNAMIC RANGE IMAGING NETWORK
US20180220093A1 (en) 2017-02-01 2018-08-02 Renesas Electronics Corporation Image sensor
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10917589B2 (en) 2017-06-26 2021-02-09 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10750097B2 (en) 2017-08-14 2020-08-18 Facebooke Technologies, Llc Varying exposure time of pixels in photo sensor using motion prediction
US10825854B2 (en) 2017-08-16 2020-11-03 Facebook Technologies, Llc Stacked photo sensor assembly with pixel level interconnect
US10608101B2 (en) 2017-08-16 2020-03-31 Facebook Technologies, Llc Detection circuit for photo sensor with stacked substrates
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
JP2019040897A (ja) 2017-08-22 2019-03-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子及び電子機器
JP6929750B2 (ja) 2017-09-29 2021-09-01 キヤノン株式会社 撮像装置、撮像システム、移動体
JP7039236B2 (ja) 2017-09-29 2022-03-22 キヤノン株式会社 逐次比較型ad変換器、撮像装置、撮像システム、移動体
JP7100439B2 (ja) 2017-10-20 2022-07-13 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
JP7018293B2 (ja) 2017-11-06 2022-02-10 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
US10827142B2 (en) 2018-03-02 2020-11-03 Facebook Technologies, Llc Digital pixel array with adaptive exposure
US11233085B2 (en) 2018-05-09 2022-01-25 Facebook Technologies, Llc Multi-photo pixel cell having vertical gate structure
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
JP7460345B2 (ja) 2019-09-30 2024-04-02 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332200B1 (en) * 2014-12-05 2016-05-03 Qualcomm Incorporated Pixel readout architecture for full well capacity extension
US20170099422A1 (en) * 2015-10-01 2017-04-06 Qualcomm Incorporated High dynamic range solid state image sensor and camera system

Also Published As

Publication number Publication date
WO2019241267A1 (en) 2019-12-19
CN112640434A (zh) 2021-04-09
US20190379827A1 (en) 2019-12-12
EP3804300A1 (en) 2021-04-14
TW202002616A (zh) 2020-01-01
US11089210B2 (en) 2021-08-10
JP2021526326A (ja) 2021-09-30
KR20210019079A (ko) 2021-02-19

Similar Documents

Publication Publication Date Title
TWI794508B (zh) 可組態影像感測器
US11910119B2 (en) Digital pixel with extended dynamic range
TWI783152B (zh) 具有延伸動態範圍之數位像素
TWI815918B (zh) 用於操作影像感測器之設備及方法
CN111989911B (zh) 具有扩展的动态范围的数字像素
TWI810312B (zh) 用於量測具有經擴展之動態範圍的數位像素之光強度的設備和方法
TWI798374B (zh) 類比至數位轉換器電路、包含此類比至數位轉換器電路的像素單元以及用於補償電荷漏出的方法
US11595602B2 (en) Image sensor post processing
WO2019168929A1 (en) Digital pixel array with adaptive exposure
TWI793334B (zh) 影像感測器後處理
TWI773791B (zh) 具有擴展動態範圍的數位像素