TW202011735A - 影像感測器後處理 - Google Patents

影像感測器後處理 Download PDF

Info

Publication number
TW202011735A
TW202011735A TW108119746A TW108119746A TW202011735A TW 202011735 A TW202011735 A TW 202011735A TW 108119746 A TW108119746 A TW 108119746A TW 108119746 A TW108119746 A TW 108119746A TW 202011735 A TW202011735 A TW 202011735A
Authority
TW
Taiwan
Prior art keywords
post
output
charge
intensity
relationship
Prior art date
Application number
TW108119746A
Other languages
English (en)
Other versions
TWI793334B (zh
Inventor
安德魯 山謬爾 博寇維奇
高 偉
新橋 劉
陳松
Original Assignee
美商菲絲博克科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商菲絲博克科技有限公司 filed Critical 美商菲絲博克科技有限公司
Publication of TW202011735A publication Critical patent/TW202011735A/zh
Application granted granted Critical
Publication of TWI793334B publication Critical patent/TWI793334B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/701Line sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/571Control of the dynamic range involving a non-linear response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/571Control of the dynamic range involving a non-linear response
    • H04N25/573Control of the dynamic range involving a non-linear response the logarithmic type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/59Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

在一個實例中,提供一種設備。該設備包含一影像感測器,該影像感測器經組態以基於一第一關係產生表示入射光之一第一強度的一第一原始輸出,且基於一第二關係產生表示入射光之一第二強度的一第二原始輸出。該設備進一步包含一後處理器,該後處理器經組態以:基於該第一原始輸出且基於該第一關係產生一第一經後處理輸出,使得該第一經後處理輸出係基於一第三關係而與該第一強度線性相關;及基於該第二原始輸出且基於該第二關係產生一第二經後處理輸出,使得該第二經後處理輸出係基於該第三關係而與該第二強度線性相關。

Description

影像感測器後處理
本發明大體上係關於影像感測器,且更具體而言,係關於像素胞元結構,其包括用於判定影像產生之光強度的介接電路系統。
本專利申請案主張2018年6月8日申請之題為「用於處理像素感測器之非線性輸出的方法及系統(METHOD AND SYSTEM FOR PROCESSING NON-LINEAR OUTPUT OF PIXEL SENSORS)」的美國臨時專利申請案第62/682,627號之優先權,該專利申請案讓與給本申請案之受讓人且出於所有目的以全文引用之方式併入本文中。
典型的影像感測器包括光電二極體以藉由將光子轉換成電荷(例如,電子或電洞)來感測入射光。影像感測器進一步包括浮動節點,該浮動節點經組態為電容器以收集在積分時段期間由光電二極體產生之電荷。所收集之電荷可在電容器處產生電壓。電壓可經緩衝且饋入至類比至數位轉換器(analog-to-digital converter,ADC),該轉換器可將電壓量化成表示入射光強度之數位值。對於不同光強度,影像感測器可產生多個數位值。可提供數位值以支援各種應用,諸如影像特徵擷取、深度感測、地點判定等。
本發明係關於影像感測器。更具體而言且非限制,本發明係關於一種像素胞元。本發明亦係關於由像素胞元產生之資料的後處理。
本發明提供一種用於量測入射光之強度的設備。在一個實例中,該設備包含一影像感測器及一後處理器。該影像感測器經組態以:基於一第一關係產生表示入射光之一第一強度的一第一原始輸出;及基於一第二關係產生表示入射光之一第二強度的一第二原始輸出。該後處理器經組態以:基於該第一原始輸出且基於該第一關係產生一第一經後處理輸出,使得該第一經後處理輸出係基於一第三關係而與該第一強度線性相關;及基於該第二原始輸出且基於該第二關係產生一第二經後處理輸出,使得該第二經後處理輸出係基於該第三關係而與該第二強度線性相關。
在一些態樣中,該第一原始輸出與該第一強度之間的該第一關係與一第一強度範圍相關聯。該第二原始輸出與該第二強度之間的該第二關係與一第二強度範圍相關聯。該第三關係與包含該第一強度範圍及該第二強度範圍之一第三強度範圍相關聯。
在一些態樣中,該影像感測器包含一光電二極體及一電荷儲存單元。該光電二極體經組態以:在一積分時段內回應於入射光而產生電荷;及將該電荷之至少一部分累積為殘餘電荷(residual charge)直至該光電二極體飽和。該電荷儲存單元經組態以將該剩餘電荷(remaining charge)累積為溢出電荷(overflow charge)直至該電荷儲存單元飽和。
在一些態樣中,該第三關係使一經後處理輸出與在該積分時段內由該光電二極體產生之電荷的一估計量線性相關。
在一些態樣中,該第一原始輸出量測當該電荷儲存單元在該積分時段結束之前飽和時的一飽和時間。該第二原始輸出量測在該積分時段內由該電荷儲存單元累積之該溢出電荷的一量。
在一些態樣中,該後處理器經組態以:基於該飽和時間判定由該電荷儲存單元累積該溢出電荷之一速率;基於累積該溢出電荷之該速率及該積分時段判定在該積分時段內由該光電二極體產生之電荷的該估計量;及基於電荷之該估計量判定該第一經後處理輸出。
在一些態樣中,該後處理器經組態以基於在該積分時段內由該電荷儲存單元接收之暗電流之一第一量及由該光電二極體接收之暗電流之一第二量判定電荷之該估計量。
在一些態樣中,該後處理器經組態以基於該電荷儲存單元之一第一電荷儲存容量及該光電二極體之一第二電荷儲存容量判定該溢出電荷之累積的該速率。
在一些態樣中,該後處理器經組態以:基於該第二原始輸出及該光電二極體之一電荷儲存容量判定電荷之該估計量;及基於電荷之該估計量判定該第二經後處理輸出。
在一些態樣中,該後處理器經組態以基於在該積分時段內由該電荷儲存單元接收之暗電流之一第一量及由該光電二極體接收之暗電流之一第二量判定電荷之該估計量。
在一些態樣中,該第一原始輸出量測在該積分時段內由該電荷儲存單元累積之該溢出電荷的一量。該第二原始輸出量測在該積分時段內由該光電二極體累積之該殘餘電荷的一量。
在一些態樣中,該影像感測器經組態以產生表示入射光之一第三強度的一第三原始輸出,該第三原始輸出量測當該電荷儲存單元飽和時的一飽和時間且基於一第四關係與該入射光之該第三強度相關。該後處理器經組態以基於該第三原始輸出且基於該第四關係產生一第三經後處理輸出,使得該第三經後處理輸出係基於該第三關係而與該第三強度線性相關。
在一些態樣中,該電荷儲存單元具有一可組態電荷儲存容量。該影像感測器經組態以將該溢出電荷儲存於具有一第一電荷儲存容量之該電荷儲存單元處,以產生該第一原始輸出。該影像感測器經組態以將該殘餘電荷自該光電二極體轉移至具有一第二電荷儲存容量之該電荷儲存單元,以產生該第二原始輸出。該第一經後處理輸出係基於該第一電荷儲存容量及該第二電荷儲存容量產生。
在一些態樣中,該第一經後處理輸出係基於在該積分時段內由該電荷儲存單元接收之暗電流之一第一量及由該光電二極體接收之暗電流之一第二量產生。該第二經後處理輸出係基於在該積分時段內由該光電二極體接收之暗電流之該第二量產生。
在一些態樣中,該後處理器包含將該第一原始輸出映射至該第一經後處理輸出、且將該第二原始輸出映射至該第二經後處理輸出之一或多個查找表。該後處理器經組態以基於該一或多個查找表產生該第一經後處理輸出及該第二經後處理輸出。
在一些態樣中,該一或多個查找表包含將該第一原始輸出映射至該第一經後處理輸出之一第一查找表,及將該第二原始輸出映射至該第二經後處理輸出之一第二查找表。該後處理器經組態以基於該第一強度而選擇該第一查找表且基於該第二強度而選擇該第二查找表。
在一些態樣中,該第一原始輸出及該第二原始輸出係基於一非均一量化程序產生。
在一些實例中,提供一種方法。該方法包含:藉由一影像感測器基於一第一關係產生表示入射光之一第一強度的一第一原始輸出;藉由該影像感測器基於一第二關係產生表示該入射光之一第二強度的一第二原始輸出;藉由一後處理器基於該第一原始輸出且基於該第一關係產生一第一經後處理輸出,使得該第一經後處理輸出係基於一第三關係而與該第一強度線性相關;及藉由該後處理器基於該第二原始輸出且基於該第二關係產生一第二經後處理輸出,使得該第二經後處理輸出係基於該第三關係而與該第二強度線性相關。
在一些態樣中,該方法進一步包含:藉由該影像感測器產生表示入射光之一第三強度的一第三原始輸出,其中該第三原始輸出量測當該影像感測器之一電荷儲存單元飽和時的一飽和時間且基於一第四關係與該入射光之該第三強度相關;及藉由該後處理器基於該第三原始輸出且基於該第四關係產生一第三經後處理輸出,使得該第三經後處理輸出係基於該第三關係而與該第三強度線性相關。
在一些實例中,提供一種非暫時性電腦可讀取媒體。該非暫時性電腦可讀取媒體儲存在由一硬體處理器執行時使該硬體處理器進行以下操作之指令:自一影像感測器接收基於一第一關係表示入射光之一第一強度的一第一原始輸出;自該影像感測器接收基於一第二關係表示該入射光之一第二強度的一第二原始輸出;基於該第一原始輸出且基於該第一關係產生一第一經後處理輸出,使得該第一經後處理輸出係基於一第三關係而與該第一強度線性相關;及基於該第二原始輸出且基於該第二關係產生一第二經後處理輸出,使得該第二經後處理輸出係基於該第三關係而與該第二強度線性相關。
在以下描述中,出於解釋之目的,闡述特定細節以便提供對本發明之某些具體實例的透徹理解。然而,將顯而易見,可在無此等特定細節之情況下實踐各種具體實例。諸圖及描述並不意欲為限制性的。
典型的影像感測器包括光電二極體以藉由將光子轉換成電荷(例如,電子或電洞)來感測入射光。影像感測器進一步包括浮動節點,該浮動節點經組態為電容器以收集在積分時段期間由光電二極體產生之電荷。所收集之電荷可在電容器處產生電壓。電壓可經緩衝且饋入至類比至數位轉換器(ADC),其可將電壓轉換成表示入射光強度之數位值。
由ADC產生的反映某一時段內儲存於浮動節點處之電荷之量的數位值可與入射光強度相關。然而,相關程度可能受不同因素影響。首先,儲存於浮動節點中之電荷之量可與入射光強度直接相關,直至浮動節點達到飽和極限。超過飽和極限,浮動節點可能無法接受由光電二極體產生之額外電荷,且額外電荷可能漏泄且未儲存。結果,儲存於浮動節點處之電荷之量可低於由光電二極體實際上產生之量。飽和極限可判定影像感測器之可量測光強度的上限。
各種因素亦可設定影像感測器之可量測光強度的下限。舉例而言,在浮動節點處收集之電荷可包括與入射光強度無關之雜訊電荷以及由暗電流產生之暗電荷。暗電流可包括由於結晶缺陷而在光電二極體之p-n接面處及在連接至電容器之其他半導體裝置之p-n接面處產生的漏電流。暗電流可流入電容器中且添加與入射光強度無關之電荷。在光電二極體處產生之暗電流典型地小於在其他半導體裝置處產生之暗電流。雜訊電荷之另一來源可為與其他電路系統之電容耦合。舉例而言,當ADC電路系統執行讀取操作以判定儲存於浮動節點中之電荷之量時,ADC電路系統可經由電容耦合將雜訊電荷引入至浮動節點中。
除雜訊電荷以外,ADC亦可在判定電荷量時引入量測誤差。量測誤差可降低數位輸出與入射光強度之間的相關程度。量測誤差之一個來源為量化誤差。在量化程序中,一組離散的量位準可用以表示一組連續的電荷量,其中每一量位準表示預定電荷量。ADC可比較輸入電荷量與量位準,判定最接近輸入量之量位準,且輸出所判定量位準(例如,呈表示量位準之數位碼的形式)。量化誤差可在由量位準表示之電荷量與映射至量位準之輸入電荷量之間存在失配時出現。可藉由較小量化步長大小來減小量化誤差(例如,藉由減小兩個鄰近量位準之間的電荷量差)。量測誤差之其他來源亦可包括例如裝置雜訊(例如,ADC電路系統之雜訊)及比較器偏移,其添加了電荷量量測之不確定性。雜訊電荷、暗電荷以及ADC量測誤差可定義影像感測器之可量測光強度的下限,而飽和極限可判定影像感測器之可量測光強度的上限。上限與下限之間的比率定義動態範圍,其可設定用於影像感測器之操作光強度的範圍。
影像感測器可見於許多不同應用中。作為一實例,影像感測器包括於數位成像裝置(例如,數位攝影機、智慧型手機等)中以提供數位成像。作為另一實例,影像感測器可經組態為輸入裝置以控制或影響裝置之操作,諸如控制或影響可穿戴式虛擬實境(VR)系統及/或擴增實境(AR)及/或混合實境(MR)系統中之近眼顯示器的顯示內容。舉例而言,影像感測器可用以產生使用者所位於之實體環境的實體影像資料。可將實體影像資料提供至操作同時定位及地圖繪製(SLAM)演算法以追蹤例如使用者之地點、使用者之定向及/或使用者在實體環境中之移動路徑的地點追蹤系統。影像感測器亦可用以產生包括用於量測使用者與實體環境中之物件之間的距離之立體深度資訊的實體影像資料。影像感測器亦可經組態為近紅外線(NIR)感測器。照明器可將NIR光之圖案(pattern)投影至使用者之眼球中。眼球之內部結構(例如,瞳孔)可自NIR光產生反射圖案。影像感測器可俘獲反射圖案之影像,且將影像提供至系統以追蹤使用者之眼球的移動,從而判定使用者之凝視點。基於此實體影像資料,VR/AR/MR系統可產生及更新用於經由近眼顯示器向使用者顯示之虛擬影像資料,以向使用者提供互動體驗。舉例而言,VR/AR/MR系統可基於使用者之凝視方向(其可發信使用者對物件之關注)、使用者之地點等更新虛擬影像資料。
可穿戴式VR/AR/MR系統可在具有極寬範圍之光強度的環境中操作。舉例而言,可穿戴式VR/AR/MR系統可能夠在室內環境中或在室外環境中及/或在當日之不同時間操作,且可穿戴式VR/AR/MR系統之操作環境的光強度可實質上變化。此外,可穿戴式VR/AR/MR系統亦可包括前述NIR眼球追蹤系統,其可需要將具有極低強度之光投射至使用者之眼球中以防止損害眼球。結果,可穿戴式VR/AR/MR系統之影像感測器可需要具有寬動態範圍以能夠遍及與不同操作環境相關聯之光強度之極寬範圍而適當地操作(例如,產生與入射光強度相關之輸出)。可穿戴式VR/AR/MR系統之影像感測器亦可需要以足夠高的速度產生影像,從而允許追蹤使用者地點、定向、凝視點等。具有相對有限之動態範圍且以相對低速產生影像之影像感測器可能不適合於此可穿戴式VR/AR/MR系統。
本發明係關於可提供延伸動態範圍之像素胞元。該像素胞元可包括光電二極體、電荷儲存單元、經組態為光電二極體與電荷儲存單元之間的轉移閘的電晶體,及處理電路。光電二極體可在積分時段內回應於入射光而產生電荷,且將至少一些電荷儲存為殘餘電荷直至光電二極體飽和。電荷儲存單元可為電晶體之浮動汲極、金屬電容器、金屬氧化物半導體(MOS)電容器或其任何組合。電荷儲存單元可儲存溢出電荷以產生第一電壓,溢出電荷為在光電二極體飽和且無法儲存額外電荷時自光電二極體轉移之電荷。電荷儲存單元可包括浮動汲極節點。
處理電路可藉由執行多個量測模式來量測在積分時段內由光電二極體接收之入射光的強度。在第一量測模式中,處理電路可藉由將第一電壓與第一斜坡臨限電壓比較以產生第一決策來執行量化程序。當第一決策指示第一電壓超過第一斜坡臨限電壓時,可自計數器俘獲第一計數值且將其儲存於記憶體中。第一計數值可表示第一斜坡臨限電壓超過第一電壓所花費之時間的量測結果,其亦可表示量化儲存於電荷儲存單元中之溢出電荷的結果。溢出電荷量可與入射光強度成比例。對於本發明之其餘部分,第一量測模式可被稱作「FD ADC」操作。
對於第二量測模式,處理電路可將殘餘電荷自光電二極體轉移至電荷儲存單元以產生第二電壓。在第二量測模式中,處理電路可藉由將第二電壓與第二斜坡臨限電壓比較以產生第二決策來執行另一量化程序。當第二決策指示第一次超過第二斜坡參考電壓時,可自計數器俘獲第二計數值且將其儲存於記憶體中。第二計數值可表示第二斜坡臨限電壓超過第二電壓所花費之時間的量測結果,其亦可表示量化儲存於電荷儲存單元中之殘餘電荷的結果。殘餘電荷量可與入射光強度成比例。在一些實例中,為了增加可減小量化誤差之電荷至電壓增益,可在儲存殘餘電荷時減小電荷儲存單元之電容。對於本發明之其餘部分,第二量測模式可被稱作「PD ADC」操作。
在一些具體實例中,處理電路亦可執行第三量測模式。在第三量測模式中,處理電路可比較第一電壓與表示電荷儲存單元之飽和限制的靜態臨限電壓以產生第三決策。當第三決策指示電荷儲存單元達到或超過飽和限制時,可自計數器俘獲第三計數值且將其儲存於記憶體中。第三計數值可表示電荷儲存單元變得飽和所花費之時間的量測結果,且持續時間可與入射光強度成反比。對於本發明之其餘部分,第三量測模式可被稱作飽和時間(time-to-saturation,TTS)量測操作。在一些實例中,可在第一量測模式之前執行第三量測模式。
不同的量測模式可針對不同的光強度範圍,且處理電路可基於入射光屬於哪一光強度範圍而自記憶體之第一、第二或第三計數值中輸出一者以表示入射光之強度。第一量測模式可針對中等光強度範圍,對於該範圍,預期光電二極體達到滿容量且飽和。第二量測模式可針對低光強度範圍,對於該範圍,預期光電二極體不飽和。第三量測模式可針對高光強度範圍,對於該範圍,電荷儲存單元飽和。基於入射光之強度範圍,處理電路可選擇來自記憶體之第一、第二或第三計數值中之一者以表示入射光之強度。
上文所描述之多模式量測操作可延伸像素胞元之光強度量測的動態範圍。具體而言,TTS量測操作允許量測超過飽和電荷儲存單元飽和之強度位準的高光強度,此可延伸動態範圍之上限。此外,對於低光強度,PD ADC操作量測儲存於光電二極體中之殘餘電荷。由於光電二極體典型地接收極少暗電流,因此由暗電流產生之暗電荷之量值相對於由入射光產生之真實信號可保持較小,此可減小可偵測之入射光強度且降低動態範圍之下限。
儘管多模式量測操作可延伸像素胞元之動態範圍,但來自每一量測操作模式之影像感測器之原始輸出(例如,計數值)相對於由計數值表示之光強度可具有不同關係。舉例而言,來自TTS模式之計數值表示飽和時間,其典型地與入射光強度成反比或相對於入射光強度至少為非線性的,而來自FD ADC及PD ADC操作之計數值量測電荷量且相對於入射光強度大體上為線性的。此外,來自FD ADC及PD ADC操作之計數值相對於入射光強度可具有不同的線性關係。此可能係由於例如FD ADC操作量測溢出電荷而非在積分時段由光電二極體產生之全部電荷(包括殘餘電荷),而PD ADC操作量測殘餘電荷,其可為在光電二極體不飽和之情況下在積分時段內由光電二極體產生之全部電荷。此外,如上文所描述,用於PD ADC操作之電荷儲存單元的電容相對於FD ADC操作可減小,以增加電荷至電壓轉換速率且減小量化誤差。由於FD ADC操作及PD ADC操作兩者皆基於量化電荷儲存單元處之電壓而量測電荷,因此電荷儲存單元之不同電容可導致電荷(其反映光強度)與用於FD ADC操作及PD ADC操作之計數值之間的不同線性關係。
不同操作模式當中之計數值與光強度之間的不同關係可能會對使用計數值判定入射光強度之應用造成問題。該應用典型地僅接收計數值而無計數值屬於哪些操作模式(或哪一光強度範圍)之其他指示,且可依賴於遍及整個動態範圍相對於光強度具有均一關係的計數值。此外,依賴於諸如SLAM之影像特徵擷取的一些應用可依賴於相對於光強度具有均一關係的計數值,以判定相鄰像素之計數值之間的差且基於差擷取影像特徵。在無額外後處理之情況下,此類應用可能無法運用自前述多模式量測操作輸出之計數值而適當地工作。
本發明提出可解決以上問題中之至少一些的若干技術。在一些實例中,一種設備包含影像感測器及後處理器。該影像感測器可包括光電二極體,該光電二極體經組態以在積分時段內回應於入射光而產生電荷,且將電荷之至少一部分累積為殘餘電荷直至光電二極體飽和。該影像感測器可進一步包括電荷儲存單元,該電荷儲存單元經組態以將剩餘電荷累積為溢出電荷直至電荷儲存裝置飽和。該影像感測器亦可包括量化器,該量化器用以量化殘餘電荷或溢出電荷以產生表示積分時段內之入射光之強度的原始輸出。該量化器可基於第一關係產生表示入射光之第一強度的第一原始輸出,且基於第二關係產生表示入射光之第二強度的第二原始輸出。第一原始輸出可量測例如在積分時段結束之前溢出電荷使電荷儲存單元飽和時的飽和時間,其中飽和時間基於第一關係與第一強度相關。第二原始輸出可量測積分時段內累積之電荷的量(例如,由電荷儲存單元累積之溢出電荷的量、由光電二極體累積之殘餘電荷的量等),其中電荷量基於第二關係與第二強度相關。
該後處理器可基於第一原始輸出且基於第一關係產生第一經後處理輸出,使得第一經後處理輸出係基於第三關係而與第一強度線性相關。該後處理器亦可基於第二原始輸出且基於第二關係產生第二經後處理輸出,使得第二經後處理輸出係基於第三關係而與第二強度線性相關。
具體而言,第三關係可使經後處理輸出與在積分內由光電二極體產生之電荷的估計量線性相關。為了產生第一經後處理輸出,後處理器可基於由來自影像感測器之第一原始表示輸出所表示的飽和時間,判定電荷儲存單元累積溢出電荷之速率,且接著基於溢出電荷之累積速率及積分時段,判定在積分時段內由光電二極體產生之電荷的估計量。可接著基於電荷之估計量判定第一經後處理輸出。此外,在第二原始輸出表示在積分時段內由電荷儲存單元累積之溢出電荷之量測結果的狀況下,後處理器可藉由組合第二原始輸出與光電二極體之電荷儲存容量,來判定在積分時段內由光電二極體產生之電荷的估計量。該後處理器亦可基於添加在積分時段內由電荷儲存單元及光電二極體累積之估計暗電荷的量判定電荷之估計量。此外,在影像感測器為了讀出及量化殘餘電荷而減小電荷儲存單元之電荷儲存容量、且為了讀出及量化溢出電荷而增加電荷儲存單元之電荷儲存容量的狀況下,可按比例調整基於溢出電荷之量測結果的原始輸出以考量不同的電荷儲存容量。
在一些實例中,後處理器可包括硬體電路,諸如數位信號處理器、通用中央處理單元(CPU)等,其可執行軟體指令以基於上文所描述之技術產生第一及第二經後處理輸出。在一些實例中,後處理器可包括將不同原始輸出映射至不同經後處理輸出之一或多個查找表(lookup table,LUT),且後處理器可基於查找表中之映射提供第一及第二經後處理輸出。舉例而言,當量化器使用非均一量化程序以產生第一及第二原始輸出時,以及不存在將第一關係及第二關係映射至第三關係之閉式解(close form)時,可使用查找表。
本發明之實例可包括人工實境系統或結合人工實境系統實施。人工實境為在向使用者呈現之前已以某一方式調整的實境形式,其可包括例如虛擬實境(VR)、擴增實境(AR)、混合實境(MR)、混雜實境或其某一組合及/或衍生物。人工實境內容可包括完全產生內容或與所俘獲之(例如,真實世界)內容組合之所產生內容。人工實境內容可包括視訊、音訊、觸覺反饋或其某一組合,其中之任一者可在單一通道中或在多個通道中呈現(諸如,對觀看者產生三維效應之立體視訊)。另外,在一些具體實例中,人工實境亦可與用以例如在人工實境中產生內容及/或以其他方式用於人工實境中(例如,在人工實境中執行活動)之應用程式、產品、配件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可實施於各種平台上,包括連接至主機電腦系統之頭戴式顯示器(HMD)、獨立式HMD、行動裝置或計算系統或能夠將人工實境內容提供至一或多個觀看者之任何其他硬體平台。
1A 為近眼顯示器100之具體實例的圖。近眼顯示器100向使用者呈現媒體。由近眼顯示器100呈現之媒體的實例包括一或多個影像、視訊及/或音訊。在一些具體實例中,音訊經由外部裝置(例如,揚聲器及/或頭戴式耳機)呈現,外部裝置自近眼顯示器100、控制台或其兩者接收音訊資訊,且基於音訊資訊呈現音訊資料。近眼顯示器100大體經組態以作為虛擬實境(VR)顯示器操作。在一些具體實例中,近眼顯示器100經修改以作為擴增實境(AR)顯示器及/或混合實境(MR)顯示器操作。
近眼顯示器100包括框架105及顯示器110。框架105耦接至一或多個光學元件。顯示器110經組態以供使用者看到由近眼顯示器100呈現之內容。在一些具體實例中,顯示器110包含波導顯示器總成,其用於將來自一或多個影像之光引導至使用者之眼睛。
近眼顯示器100進一步包括影像感測器120a、120b、120c及120d。影像感測器120a、120b、120c及120d中之每一者可包括像素陣列,該像素陣列經組態以產生表示沿著不同方向之不同視場的影像資料。舉例而言,感測器120a及120b可經組態以提供表示朝向沿著Z軸之方向A之兩個視場的影像資料,而感測器120c可經組態以提供表示朝向沿著X軸之方向B之視場的影像資料,且感測器120d可經組態以提供表示朝向沿著X軸之方向C之視場的影像資料。
在一些具體實例中,感測器120a至120d可經組態為輸入裝置以控制或影響近眼顯示器100之顯示內容,從而向穿戴近眼顯示器100之使用者提供互動VR/AR/MR體驗。舉例而言,感測器120a至120d可產生使用者所位於之實體環境的實體影像資料。可將實體影像資料提供至地點追蹤系統以追蹤使用者在實體環境中之地點及/或移動路徑。系統可接著基於例如使用者之地點及定向來更新提供至顯示器110之影像資料,以提供互動體驗。在一些具體實例中,地點追蹤系統可運算SLAM演算法,以當使用者在實體環境內移動時追蹤實體環境中及使用者視場內之一組物件。該地點追蹤系統可基於該組物件建構及更新實體環境之地圖,且追蹤使用者在該地圖內之地點。藉由提供對應於多個視場之影像資料,感測器120a至120d可向地點追蹤系統提供實體環境之更全面視圖,此可致使在建構及更新地圖時包括更多物件。在此配置之情況下,可改善追蹤使用者在實體環境內之地點的準確性及穩固性。
在一些具體實例中,近眼顯示器100可進一步包括一或多個主動照明器130以將光投射至實體環境中。投射之光可與不同頻譜(例如,可見光、紅外光、紫外光等)相關聯,且可用於各種目的。舉例而言,照明器130可在暗環境中(或在紅外光、紫外光等之強度低的環境中)投射光,以輔助感測器120a至120d俘獲暗環境內之不同物件的影像,從而例如實現對使用者之地點追蹤。照明器130可將某些標誌投影至環境內之物件上,以輔助地點追蹤系統識別物件以用於地圖建構/更新。
在一些具體實例中,照明器130亦可實現立體成像。舉例而言,感測器120a或120b中之一或多者可包括用於可見光感測之第一像素陣列及用於紅外(IR)光感測之第二像素陣列兩者。第一像素陣列可覆疊有彩色濾光片(例如,拜耳濾光片),其中第一像素陣列之每一像素經組態以量測與特定色彩(例如,紅色、綠色或藍色中之一者)相關聯之光的強度。第二像素陣列(用於IR光感測)亦可覆疊有僅允許IR光通過之濾光片,其中第二像素陣列之每一像素經組態以量測IR光之強度。像素陣列可產生物件之RGB影像及IR影像,其中IR影像之每一像素映射至RGB影像之每一像素。照明器130可將一組IR標誌投影於物件上,該物件之影像可由IR像素陣列俘獲。基於如影像中所展示之物件之IR標記的分佈,系統可估計物件之不同部分距IR像素陣列的距離,且基於距離產生物件之立體影像。基於物件之立體影像,系統可判定例如物件相對於使用者之相對位置,且可基於相對位置資訊來更新提供至顯示器100之影像資料以提供互動體驗。
如上文所論述,近眼顯示器100可在與極寬範圍之光強度相關聯的環境中操作。舉例而言,近眼顯示器100可在室內環境中或在室外環境中及/或在當日之不同時間操作。近眼顯示器100亦可在主動照明器130接通或不接通之情況下操作。結果,影像感測器120a至120d可需要具有寬動態範圍以能夠遍及與用於近眼顯示器100之不同操作環境相關聯的光強度之極寬範圍而適當地操作(例如,產生與入射光之強度相關的輸出)。
1B 為近眼顯示器100之另一具體實例的圖。 1B 說明面向穿戴近眼顯示器100之使用者之眼球135的近眼顯示器100之一側。如 1B 中所展示,近眼顯示器100可進一步包括複數個照明器140a、140b、140c、140d、140e及140f。近眼顯示器100進一步包括複數個影像感測器150a及150b。照明器140a、140b及140c可朝向方向D(其與 1A 之方向A相反)發射某頻率範圍之光(例如,NIR)。所發射之光可與某一圖案相關聯,且可由使用者之左眼球反射。感測器150a可包括像素陣列以接收反射光且產生經反射圖案之影像。類似地,照明器140d、140e及140f可發射攜載圖案之NIR光。 NIR光可由使用者之右眼球反射,且可由感測器150b接收。感測器150b亦可包括像素陣列以產生經反射圖案之影像。基於來自感測器150a及150b之經反射圖案的影像,系統可判定使用者之凝視點,且基於判定之凝視點更新提供至顯示器100之影像資料以向使用者提供互動體驗。
如上文所論述,為了避免損害使用者之眼球,照明器140a、140b、140c、140d、140e及140f典型地經組態以輸出極低強度之光。在影像感測器150a及150b包含與 1A 之影像感測器120a至120d相同之感測器裝置的狀況下,當入射光之強度極低時,影像感測器120a至120d可需要能夠產生與入射光之強度相關的輸出,此可進一步提高影像感測器之動態範圍要求。
此外,影像感測器120a至120d可需要能夠以高速產生輸出以追蹤眼球之移動。舉例而言,使用者之眼球可執行極快速移動(例如,跳視(saccade)移動),其中可存在自一個眼球位置至另一眼球位置之快速跳轉。為了追蹤使用者之眼球的快速移動,影像感測器120a至120d需要以高速產生眼球之影像。舉例而言,影像感測器產生影像圖框之速率(圖框速率)需要至少匹配眼球之移動速度。高圖框速率需要在產生影像圖框中所涉及之所有像素胞元的短的總曝光時間,以及用於將感測器輸出轉換成用於影像產生之數位值的高速度。此外,如上文所論述,影像感測器亦需要能夠在具有低光強度之環境下操作。
2 1 中所說明之近眼顯示器100之橫截面200的具體實例。顯示器110包括至少一個波導顯示器總成210。出射光瞳(exit pupil)230為在使用者穿戴近眼顯示器100時使用者之單一眼球220定位於眼箱(eyebox)區中的地點。出於說明之目的, 2 展示與眼球220及單一波導顯示器總成210相關聯之橫截面200,但第二波導顯示器用於使用者之第二眼睛。
波導顯示器總成210經組態以將影像光引導至位於出射光瞳230處之眼箱及引導至眼球220。波導顯示器總成210可由具有一或多個折射率之一或多種材料(例如,塑膠、玻璃等)構成。在一些具體實例中,近眼顯示器100包括在波導顯示器總成210與眼球220之間的一或多個光學元件。
在一些具體實例中,波導顯示器總成210包括一或多個波導顯示器之堆疊,包括但不限於堆疊式波導顯示器、變焦波導顯示器等。堆疊式波導顯示器為藉由堆疊各別單色源具有不同色彩之波導顯示器而建立的多色顯示器(例如,紅色-綠色-藍色(RGB)顯示器)。堆疊式波導顯示器亦為可投影於多個平面上之多色顯示器(例如,多平面彩色顯示器)。在一些組態中,堆疊式波導顯示器為可投影於多個平面上之單色顯示器(例如,多平面單色顯示器)。變焦波導顯示器為可調整自波導顯示器發射之影像光之聚焦位置的顯示器。在替代具體實例中,波導顯示器總成210可包括堆疊式波導顯示器及變焦波導顯示器。
3 說明波導顯示器300之具體實例的等角視圖。在一些具體實例中,波導顯示器300為近眼顯示器100之組件(例如,波導顯示器總成210)。在一些具體實例中,波導顯示器300為將影像光引導至特定地點之某其他近眼顯示器或其他系統的部分。
波導顯示器300包括源總成310、輸出波導320及控制器330。用於說明之目的, 3 展示與單一眼球220相關聯之波導顯示器300,但在一些具體實例中,與波導顯示器300分開或部分分開之另一波導顯示器將影像光提供至使用者之另一眼睛。
源總成310產生影像光355。源總成310產生影像光355且將其輸出至位於輸出波導320之第一側370-1上的耦合元件350。輸出波導320為將擴展之影像光340輸出至使用者之眼球220的光波導。輸出波導320在位於第一側370-1上之一或多個耦合元件350處接收影像光355且將所接收之輸入影像光355導引至引導元件360。在一些具體實例中,耦合元件350將來自源總成310之影像光355耦合至輸出波導320中。耦合元件350可為例如繞射光柵、全像(holographic)光柵、一或多個級聯(cascade)反射器、一或多個稜鏡表面元件及/或全像反射器陣列。
引導元件360將所接收之輸入影像光355重新引導至解耦元件365,使得所接收之輸入影像光355經由解耦元件365自輸出波導320解耦。引導元件360為輸出波導320之第一側370-1的部分或貼附至該第一側。解耦元件365為輸出波導320之第二側370-2的部分或貼附至該第二側,使得引導元件360與解耦元件365相對。引導元件360及/或解耦元件365可為例如繞射光柵、全像光柵、一或多個級聯反射器、一或多個稜鏡表面元件及/或全像反射器陣列。
第二側370-2表示沿著x維度及y維度之平面。輸出波導320可由促進影像光355之全內反射之一或多種材料構成。輸出波導320可由例如矽、塑膠、玻璃及/或聚合物構成。輸出波導320具有相對較小的外觀尺寸。舉例而言,輸出波導320可沿著x維度為大約50 mm寬,沿著y維度為大約30 mm長,且沿著z維度為大約0.5至1 mm厚。
控制器330控制源總成310之掃描操作。控制器330判定用於源總成310之掃描指令。在一些具體實例中,輸出波導320以大視場(field of view,FOV)將擴展之影像光340輸出至使用者之眼球220。舉例而言,以60度及/或大於60度及/或150度及/或小於150度之對角線FOV(在x及y上)將擴展之影像光340提供至使用者之眼球220。輸出波導320經組態以提供具有20 mm或大於20 mm及/或等於或小於50 mm之長度;及/或10 mm或大於10 mm及/或等於或小於50 mm之寬度的眼箱。
此外,控制器330亦基於由影像感測器370提供之影像資料控制由源總成310產生之影像光355。影像感測器370可位於第一側370-1上,且可包括例如 1A 之影像感測器120a至120d,以產生在使用者前方之實體環境的影像資料(例如,用於地點判定)。影像感測器370亦可位於第二側370-2上,且可包括 1B 之影像感測器150a及150b,以產生使用者之眼球220的影像資料(例如,用於凝視點判定)。影像感測器370可與不位於波導顯示器300內之遠端控制台介接。影像感測器370可將影像資料提供至遠端控制台,該遠端控制台可判定例如使用者之地點、使用者之凝視點等,且判定待顯示給使用者之影像的內容。該遠端控制台可將與所判定內容相關之指令傳輸至控制器330。基於指令,控制器330可控制影像光355由源總成310之產生及輸出。
4 說明波導顯示器300之橫截面400的具體實例。橫截面400包括源總成310、輸出波導320及影像感測器370。在 4 之實例中,影像感測器370可包括位於第一側370-1上之一組像素胞元402,以產生在使用者前方之實體環境的影像。在一些具體實例中,可存在插入於該組像素胞元402與實體環境之間的機械快門404,以控制該組像素胞元402之曝光。在一些具體實例中,機械快門404可由電子快門閘代替,如下文將論述。像素胞元402中之每一者可對應於影像之一個像素。儘管 4 中未展示,但應理解,像素胞元402中之每一者亦可覆疊有一濾光片以控制待由像素胞元感測之光的頻率範圍。
在接收到來自遠端控制台之指令之後,機械快門404可在積分時段中開放該組像素胞元402且使其曝光。在積分時段期間,影像感測器370可獲得入射於該組像素胞元402上之光的樣本,且基於由該組像素胞元402偵測到之入射光樣本的強度分佈而產生影像資料。影像感測器370可接著將影像資料提供至遠端控制台,該遠端控制台判定顯示內容,且將顯示內容資訊提供至控制器330。控制器330可接著基於顯示內容資訊判定影像光355。
源總成310根據來自控制器330之指令產生影像光355。源總成310包括源410及光學系統415。源410為產生同調(coherent)或部分同調光之光源。源410可為例如雷射二極體、垂直腔面發射雷射及/或發光二極體。
光學系統415包括調節來自源410之光的一或多個光學組件。調節來自源410之光可包括例如根據來自控制器330之指令而擴展、準直及/或調整定向。一或多個光學組件可包括一或多個透鏡、液體透鏡、鏡面、孔隙及/或光柵。在一些具體實例中,光學系統415包括具有複數個電極之液體透鏡,其允許以臨限值掃描角度掃描光束以使該光束移位至液體透鏡外之區。自光學系統415(以及源總成310)發射之光被稱作影像光355。
輸出波導320接收影像光355。耦合元件350將來自源總成310之影像光355耦合至輸出波導320中。在耦合元件350為繞射光柵之具體實例中,選擇繞射光柵之間距(pitch)使得在輸出波導320中發生全內反射,且影像光355在輸出波導320內部(例如,藉由全內反射)朝向解耦元件365傳播。
引導元件360將影像光355重新導向解耦元件365以與輸出波導320解耦。在引導元件360為繞射光柵之具體實例中,選擇繞射光柵之間距以使入射影像光355以相對於解耦元件365之表面傾斜的角度射出輸出波導320。
在一些具體實例中,引導元件360及/或解耦元件365在結構上類似。射出輸出波導320的擴展之影像光340沿著一或多個維度擴展(例如,可沿著x維度伸長)。在一些具體實例中,波導顯示器300包括複數個源總成310及複數個輸出波導320。源總成310中之每一者發射具有對應於原色(例如,紅色、綠色或藍色)之特定波長帶的單色影像光。輸出波導320中之每一者可按照分開距離堆疊在一起以輸出多色的擴展之影像光340。
5 為包括近眼顯示器100之系統500之具體實例的方塊圖。系統500包含各自耦接至控制電路系統510之近眼顯示器100、成像裝置535、輸入/輸出介面540以及影像感測器120a至120d及150a至150b。系統500可經組態為頭戴式裝置、可穿戴式裝置等。
近眼顯示器100為向使用者呈現媒體之顯示器。由近眼顯示器100呈現之媒體的實例包括一或多個影像、視訊及/或音訊。在一些具體實例中,音訊經由外部裝置(例如,揚聲器及/或頭戴式耳機)呈現,外部裝置自近眼顯示器100及/或控制電路系統510接收音訊資訊且向使用者呈現基於音訊資訊之音訊資料。在一些具體實例中,近眼顯示器100亦可充當AR眼鏡。在一些具體實例中,近眼顯示器100使用電腦產生之元素(例如,影像、視訊、聲音等)擴增實體真實世界環境之視圖。
近眼顯示器100包括波導顯示器總成210、一或多個位置感測器525及/或慣性量測單元(IMU) 530。波導顯示器總成210包括源總成310、輸出波導320及控制器330。
IMU 530為基於自位置感測器525中之一或多者接收的量測信號產生快速校準資料的電子裝置,快速校準資料指示近眼顯示器100相對於近眼顯示器100之初始位置的估計位置。
成像裝置535可產生用於各種應用之影像資料。舉例而言,成像裝置535可產生影像資料,以根據自控制電路系統510接收之校準參數提供緩慢校準資料。成像裝置535可包括例如 1A 之影像感測器120a至120d,該等影像感測器用於產生使用者所位於之實體環境的影像資料,從而用於執行對使用者之地點追蹤。成像裝置535可進一步包括例如 1B 之影像感測器150a至150b,該等影像感測器用於產生用於判定使用者之凝視點的影像資料,以識別使用者所關注之物件。
輸入/輸出介面540為允許使用者將動作請求發送至控制電路系統510之裝置。動作請求為執行特定動作之請求。舉例而言,動作請求可為開始或結束應用程式或執行該應用程式內之特定動作。
控制電路系統510根據自以下各者中之一或多者接收的資訊將媒體提供至近眼顯示器100以供呈現給使用者:成像裝置535、近眼顯示器100及輸入/輸出介面540。在一些實例中,控制電路系統510可容納於經組態為頭戴式裝置之系統500內。在一些實例中,控制電路系統510可為與系統500之其他組件以通信方式耦接的單獨控制台裝置。在 5 中所展示之實例中,控制電路系統510包括應用程式儲存器545、追蹤模組550及引擎555。
應用程式儲存器545儲存用於由控制電路系統510執行之一或多個應用程式。應用程式為在由處理器執行時產生供呈現給使用者之內容的一組指令。應用程式之實例包括:遊戲應用程式、會議應用程式、視訊播放應用程式或其他合適的應用程式。
追蹤模組550使用一或多個校準參數校準系統500,且可調整一或多個校準參數以減小在判定近眼顯示器100之位置中的誤差。
追蹤模組550使用來自成像裝置535之緩慢校準資訊追蹤近眼顯示器100之移動。追蹤模組550亦使用來自快速校準資訊之位置資訊判定近眼顯示器100之參考點的位置。
引擎555執行系統500內之應用程式,且自追蹤模組550接收近眼顯示器100之位置資訊、加速度資訊、速度資訊及/或預測未來位置。在一些具體實例中,由引擎555接收之資訊可用於產生至波導顯示器總成210之信號(例如,顯示指令),該信號判定呈現給使用者之內容的類型。舉例而言,為了提供互動體驗,引擎555可基於使用者之地點(例如,由追蹤模組550提供)或使用者之凝視點(例如,基於由成像裝置535提供之影像資料)、物件與使用者之間的距離(例如,基於由成像裝置535提供之影像資料)判定待呈現給使用者之內容。
6 說明像素胞元600之實例。像素胞元600可為像素陣列之部分且可產生對應於影像之像素的數位強度資料。舉例而言,像素胞元600可為 4 之像素胞元402的部分。如 6 中所展示,像素胞元600可包括光電二極體602以及處理電路,該等處理電路包括快門開關604、轉移閘606、重設開關607、電荷儲存單元608、緩衝器609及像素ADC 610。
在一些具體實例中,光電二極體602可包括例如P-N二極體、P-I-N二極體、鉸接二極體(pinned diode)等。光電二極體602可在接收到光後產生電荷,且所產生之電荷的量可與光強度成比例。光電二極體602亦可儲存所產生電荷中之一些直至光電二極體飽和,該飽和在達到光電二極體之井容量(well capacity)時發生。此外,快門開關604、轉移閘606及重設開關607中之每一者可包括電晶體。電晶體可包括例如金屬氧化物半導體場效電晶體(MOSFET)、雙極接面電晶體(BJT)等。快門開關604可充當電子快門閘(代替或與 4 之機械快門404組合)以控制像素胞元600之積分時段。在積分時段期間,快門開關604可藉由曝光啟用信號611停用(斷開),該曝光啟用信號611允許光電二極體602儲存所產生電荷,且在光電二極體602飽和時允許溢出電荷流動至電荷儲存單元608。在積分時段結束時,可啟用快門開關604以將由光電二極體602產生之電荷導向(steer)至光電二極體電流槽617中。此外,重設開關607亦可藉由重設信號618停用(斷開),該重設信號618允許電荷儲存單元608累積電荷。電荷儲存單元608可為轉移閘606之浮動端子處的裝置電容器、金屬電容器、MOS電容器或其任何組合。電荷儲存單元608可用以儲存一定量的電荷,其可由像素ADC 610量測以提供表示入射光強度之數位輸出。在量測模式完成之後,可啟用重設開關607以將儲存於電荷儲存單元608處之電荷清空至電荷槽620,從而使電荷儲存單元608可用於下一量測。
現參看 7 ,其說明針對不同光強度範圍相對於時間累積之電荷量。在特定時間點累積之電荷的總量可反映在積分時段期間入射於光電二極體602上之光的強度。當積分時段結束時,可量測該量。可針對電荷之臨限量定義臨限值702及臨限值704,該等臨限值定義入射光強度之低光強度範圍706、中等光強度範圍708及高光強度範圍710。舉例而言,若總累積電荷低於臨限值702 (例如,Q1),則入射光強度在低光強度範圍706內。若總累積電荷介於臨限值704與臨限值702(例如,Q2)之間,則入射光強度在中等光強度範圍708內。若總累積電荷高於臨限值704,則入射光強度在中等光強度範圍710內。若光電二極體在整個低光強度範圍706內未飽和且量測電容器在整個中等光強度範圍708內未飽和,則對於低及中等光強度範圍,累積電荷之量可與入射光強度相關。
低光強度範圍706及中等光強度範圍708以及臨限值702及704之定義可基於光電二極體602及電荷儲存單元608之儲存容量。舉例而言,可定義低光強度範圍706使得在積分時段結束時,儲存於光電二極體602中之電荷的總量低於或等於光電二極體之儲存容量,且臨限值702可基於光電二極體602之儲存容量。如下文將描述,可基於光電二極體602之經按比例調整儲存容量而設定臨限值702以考量光電二極體之潛在容量變化。此類配置可確保當為了判定強度而量測儲存於光電二極體602中之電荷的量時,光電二極體不飽和,且所量測量與入射光強度相關。此外,可定義中等光強度範圍708,使得在積分時段結束時儲存於電荷儲存單元608中之電荷的總量低於或等於量測電容器之儲存容量,且臨限值704可基於電荷儲存單元608之儲存容量。典型地,臨限值704亦設定成基於電荷儲存單元608之經按比例調整儲存容量,以確保當為了判定強度而量測儲存於電荷儲存單元608中之電荷的量時,量測電容器不飽和,且所量測量亦與入射光強度相關。如下文將描述,臨限值702及704可用以偵測光電二極體602及電荷儲存單元608是否飽和,其可判定入射光之強度範圍及待輸出之量測結果。
此外,在入射光強度處於高光強度範圍710內之狀況下,在電荷儲存單元608處累積之總溢出電荷可在積分時段結束之前超過臨限值704。由於額外電荷被累積,因此電荷儲存單元608可在積分時段結束之前達到滿容量,且可發生電荷洩漏。為了避免由於電荷儲存單元608達到滿容量而引起之量測誤差,可執行飽和時間量測以量測在電荷儲存單元608處累積之總溢出電荷達到臨限值704所花費的持續時間。電荷儲存單元608處之電荷累積的速率可基於臨限值704與飽和時間之間的比率而被判定,且在積分時段結束時(若電容器具有無限容量)可能已累積於電荷儲存單元608處之電荷的假設量(Q3),可根據電荷累積速率藉由外插而被判定。假設電荷量(Q3)可提供高光強度範圍710內之入射光強度的相當準確之表示。
返回參看 6 ,轉移閘606可由量測控制信號612控制,以針對如上文所描述之不同光強度範圍而控制殘餘電荷電容器603及電荷儲存單元608處之電荷累積。為量測高光強度範圍710及中等光強度範圍708,可控制轉移閘606以在部分接通狀態中操作。舉例而言,可基於光電二極體602處產生之對應於光電二極體之電荷儲存容量的電壓來設定轉移閘606之閘極電壓。在此類配置之情況下,僅溢出電荷(例如,在光電二極體飽和之後由光電二極體產生之電荷)將經由轉移閘606轉移到達電荷儲存單元608,以量測飽和時間(對於高光強度範圍710)及儲存於電荷儲存單元608中之電荷的量(對於中等光強度範圍708)。此外,為了量測低光強度範圍706,可控制轉移閘606處於完全接通狀態中以將儲存於光電二極體602中之電荷轉移至電荷儲存單元608,以量測儲存於光電二極體602中之電荷的量。
在電荷儲存單元608處累積之電荷可由緩衝器609感測以在類比輸出節點614處產生類比電壓之複本(但具有較大驅動強度)。類比輸出節點614處之類比電壓可由像素ADC 610轉換成一組數位資料(例如,包含邏輯一及零)。在積分時段結束之前(例如,對於中等光強度範圍708及高光強度範圍710)或在積分時段之後(對於低光強度範圍706),可對在電荷儲存單元608處產生之類比電壓進行取樣且可產生數位輸出。數位資料可由一組像素輸出匯流排616傳輸至例如 5 之控制電路系統510,以表示積分時段期間之光強度。
在一些實例中,電荷儲存單元608之電容可組態以改善針對低光強度範圍之光強度判定的準確性。舉例而言,當電荷儲存單元608用以量測儲存於殘餘電荷電容器603處之殘餘電荷時,可減小電荷儲存單元608之電容。減小電荷儲存單元608之電容可增加電荷儲存單元608處之電荷至電壓轉換比率,使得可針對一定量之所儲存電荷產生較高電壓。較高電荷至電壓轉換比率可減小由像素ADC 610引入之量測誤差(例如,量化誤差、比較器偏移等)對低光強度判定之準確性的影響。量測誤差可對可由像素ADC 610偵測及/或區分之最小電壓差設定限制。藉由增加電荷至電壓轉換比率,可減小對應於最小電壓差之電荷量,此又減小可由像素胞元600量測之光強度的下限且延伸動態範圍。另一方面,對於中等光強度,可增加電荷儲存單元608之電容以確保電荷儲存單元608具有足夠容量以儲存多達例如由臨限值定義704之量的電荷量。
8 說明像素ADC 610之內部組件的實例。如 8 中所展示,像素ADC 610包括臨限值產生器802、比較器804及數位輸出產生器806。數位輸出產生器806可進一步包括計數器808及記憶體810。計數器808可基於自由運行(free-running)時脈信號812產生一組計數值,而記憶體810可儲存由計數器808產生之計數值中的至少一些(例如,最新計數值)。在一些具體實例中,記憶體810可為計數器808之部分。記憶體810可為例如基於局部像素值儲存計數器值之鎖存電路,如下文所描述。臨限值產生器802包括數位至類比轉換器(DAC) 813,該數位至類比轉換器可接受一組數位值且輸出表示該組數位值之參考電壓(VREF) 815。如將在下文更詳細地論述,臨限值產生器802可接受靜態數位值以產生固定臨限值,或接受計數器808之輸出814以產生斜坡臨限值。
儘管 8 說明DAC 813(及臨限值產生器802)為像素ADC 610之部分,但應理解,DAC 813(及臨限值產生器802)可與來自不同像素胞元之多個數位輸出產生器806耦接。此外,數位輸出產生器806之至少部分(諸如計數器808)可在複數個(多個)像素胞元當中共用以產生數位值。
比較器804可比較在類比輸出節點614處產生之類比電壓與由臨限值產生器802提供之臨限值,且基於比較結果產生決策816。舉例而言,若類比輸出節點614處之類比電壓等於或超過由臨限值產生器802產生之臨限值,則比較器804可為決策816產生邏輯一。若類比電壓降低至臨限值以下,則比較器804亦可為決策816產生邏輯零。決策816可控制計數器808之計數操作及/或儲存於記憶體810中之計數值,以執行前述在類比輸出節點614處之斜坡類比電壓的飽和時間量測、以及在類比輸出節點614處之類比電壓的量化處理,以用於入射光強度判定。
9A 說明藉由像素ADC 610進行之飽和時間量測的實例。為了執行飽和時間量測,臨限值產生器802可控制DAC 813以產生固定VREF 815。可將固定VREF 815設定為對應於用於使電荷儲存單元608飽和之電荷量臨限值(例如, 7 之臨限值704)的電壓。計數器808可緊接在積分時段開始之後(例如,緊接在停用快門開關604之後)開始計數。在類比輸出節點614處之類比電壓斜降(或取決於實施方案而斜升)時,時脈信號812保持雙態觸發(toggle)以更新計數器808處之計數值。類比電壓可在某一時間點達到固定臨限值,此致使比較器804之決策816翻轉。決策816之翻轉可停止計數器808之計數,且計數器808處之計數值可表示飽和時間。可基於例如計數器808更新計數值之頻率而定義飽和時間量測之解析度。如下文將更詳細地論述,電荷儲存單元608處之電荷累積速率亦可基於持續時間而判定,且入射光強度可基於電荷累積速率而判定。
9B 說明藉由像素ADC 610量化類比電壓之實例。在量測開始之後,DAC 813可藉由計數器輸出714程式化以產生可取決於實施方案而斜升(在 9B 之實例中)或斜降的斜坡VREF 815。斜坡VREF 815之電壓範圍可介於臨限值704(用於電荷儲存單元608之飽和的電荷量臨限值)與臨限值702(用於光電二極體602之飽和的電荷量臨限值),其可定義中等光強度範圍。在 9B 之實例中,可以均一量化步長執行量化程序,其中VREF 815針對時脈信號812之每一時脈循環增加(或減小)相同量。VREF 815之增加(或減小)量對應於量化步長。當VREF 815達到類比輸出節點614處之類比電壓的一個量化步長內時,比較器804之決策816自負翻轉至正。決策816之翻轉可停止計數器808之計數,且計數值可對應於量化步長之總數,該等量化步長經累積以在一個量化步長內匹配類比電壓。計數值對應於VREF 815達到該類比電壓所花費之時間的量測結果,且可為儲存於電荷儲存單元608處之電荷之量的數位表示以及入射光強度之數位表示。如上文所論述,類比電壓之量化可在積分時段期間(例如,對於中等光強度範圍708)及在積分時段之後(例如,對於低光強度範圍706)發生。
如上文所論述,當由ADC 610輸出之量位準所表示(例如,由量化步長之總數所表示)的電荷量與藉由ADC 610映射至量位準之電荷的實際輸入量之間存在失配時,ADC 610可引入量化誤差。可藉由使用較小量化步長大小來減小量化誤差。在 9B 之實例中,基於例如減小量化操作之輸入範圍902(介於臨限值702與704之間)、減小待由計數器808量測之對應時間範圍、增加時脈信號812之時脈頻率或其任何組合,量化步長大小可藉由每時脈循環之VREF 815的增加(或減小)量而被減小。
儘管可藉由使用較小量化步長大小來減小量化誤差,但面積及執行速度可限制量化步長可減小多少。舉例而言,在時脈信號812之時脈頻率增加同時輸入範圍902保持相同的狀況下,表示電荷量(及光強度)之特定範圍所需的量化步長之總數可增加。可能需要較大數目個資料位元來表示增加數目個量化步長(例如,8個位元表示255個步長,7個位元表示127個步長等)。較大數目個資料位元可能需要將額外匯流排添加至像素輸出匯流排616,此在像素胞元600用於頭戴式裝置上或具有極有限空間之其他可穿戴式裝置上的情況下可能並不可行。此外,在量化步長大小數目較大之情況下,ADC 610可能需要在找到匹配(藉由一個量化步長)之量位準之前循環通過較大數目個量化步長,此導致增加處理功率消耗及時間且減小產生影像資料之速率。對於需要高圖框速率之一些應用(例如,追蹤眼球移動之應用),速率減小可能為不可接受的。
減小量化誤差之一種方式為使用非均一量化方案,其中遍及輸入範圍,量化步長不均一。 10A 說明針對非均一量化程序及均一量化程序之ADC碼(量化程序之輸出)與輸入電荷量位準之間的映射之實例。虛線說明用於非均一量化程序之映射,而實線說明用於均一量化程序之映射。對於均一量化程序,量化步長大小(由Δ1 指示)對於輸入電荷量之整個範圍係相同的。相比而言,對於非均一量化程序,量化步長大小取決於輸入電荷量而不同。舉例而言,用於低輸入電荷量之量化步長大小(由ΔS 指示)小於用於大輸入電荷量之量化步長大小(由ΔL 指示)。此外,對於相同的低輸入電荷量,可使用於非均一量化程序之量化步長大小(ΔS )小於用於均一量化程序之量化步長大小(Δ1 )。
使用非均一量化方案之一個優點為可減小用於量化低輸入電荷量之量化步長,此又減小量化低輸入電荷量之量化誤差,且可減小可由ADC 610區分之最小輸入電荷量。因此,減小之量化誤差可降低影像感測器之可量測光強度的下限,且動態範圍可增加。此外,儘管對於高輸入電荷量,量化誤差增加,但相較於高輸入電荷量,量化誤差可保持較小。因此,可減小引入至電荷之量測的總量化誤差。另一方面,覆蓋輸入電荷量之整個範圍的量化步長之總數可保持相同(或甚至減少),且可避免與增加量化步長之數目相關聯的前述潛在問題(例如,面積增加、處理速度減小等)。
10B 說明藉由像素ADC 610使用非均一量化程序量化類比電壓之實例。相較於 9B (其使用均一量化程序),VREF 815隨每一時脈循環以非線性方式增加,其中最初具有較小斜率且稍後具有較大斜率。斜率之差異係由於不均勻的量化步長大小。對於較低計數器計數值(其對應於較低輸入量範圍),使量化步長較小,因此VREF 815以較慢速率增加。對於較高計數器計數值(其對應於較高輸入量範圍),使量化步長較大,因此VREF 815以較高速率增加。可使用不同方案引入VREF 815中之不均勻量化步長。舉例而言,如上文所論述,DAC 813經組態以針對不同計數器計數值(來自計數器808)輸出電壓。DAC 813可經組態使得兩個相鄰計數器計數值之間的輸出電壓的差(其定義量化步長大小)對於不同計數器計數值係不同的。作為另一實例,計數器808亦可經組態以產生計數器計數值之跳變,而非增加或減小同一計數步長,以產生不均勻量化步長。在一些實例中, 10B 之非均一量化程序可用於低光強度範圍706及中等光強度範圍708之光強度判定。
現參看 11 ,其說明像素胞元1100之實例,該像素胞元可為 6 之像素胞元600的具體實例。在 11 之實例中,PD可對應於光電二極體602,電晶體M0可對應於快門開關604,電晶體M1可對應於轉移閘606,而電晶體M2可對應於重設開關607。此外,COF電容器與CEXT電容器之組合可對應於電荷儲存單元608。COF電容器可為浮動汲極節點之寄生電容器。電荷儲存單元608之電容可由信號LG組態。當啟用LG時,電荷儲存單元608提供COF電容器及CEXT電容器之組合容量。當停用LG時,CEXT電容器可與並聯組合斷開連接,且電荷儲存單元608僅包含COF電容器(外加其他寄生電容)。如上文所論述,為了低光強度判定,可減小電荷儲存單元608之電容以增加電荷至電壓轉換比率,且為了中等光強度判定可增加電荷儲存單元608之電容以提供必需容量。
像素胞元1100進一步包括緩衝器609之實例及像素ADC 610之實例。舉例而言,電晶體M3及M4形成源極隨耦器,其可為 6 之緩衝器609以緩衝在OF節點處產生之類比電壓,該類比電壓表示儲存於COF電容器處(或COF電容器及CEXT電容器處)之電荷的量。另外,CC電容器、比較器1102、電晶體M5、「反或(NOR)」閘1112連同記憶體810可為像素ADC 610之部分,以產生表示OF節點處之類比電壓的數位輸出。如上文所描述,量化可基於由比較器1102產生的在OF節點處產生之類比電壓與VREF之間的比較結果(VOUT)。此處,CC電容器經組態以產生追蹤緩衝器609之輸出的VIN電壓(在比較器1102之一個輸入處),且將VIN電壓提供至比較器1102以與VREF進行比較。VREF可為用於飽和時間量測(對於高光強度範圍)之靜態電壓,或用於量化類比電壓(對於低及中等光強度範圍)之斜坡電壓。ADC碼可由自由運行計數器(例如,計數器808)產生,且由比較器1102產生之比較結果可判定待儲存於記憶體810中且待作為入射光強度之數位表示輸出的ADC碼。在一些實例中,產生用於低及中等光強度判定之VREF可基於如在 10A 10B 中所論述之非均一量化方案。
除上文所揭示之技術以外,像素胞元1100包括可進一步改善入射光強度判定之準確性的技術。舉例而言,CC電容器與電晶體M5之組合可用以補償由比較器1102引入之量測誤差(例如,比較器偏移)以及引入至比較器1102之其他誤差信號,使得可改善比較器1102之準確性。雜訊信號可包括例如由重設開關607引入之重設雜訊電荷、緩衝器609之輸出處由於源極隨耦器臨限值失配而產生的雜訊信號等。當啟用電晶體M2及M5兩者時,反映比較器偏移之電荷量以及誤差信號可在重設階段期間儲存於CC電容器處。由於所儲存電荷,在重設階段期間亦可在CC電容器上產生電壓差。在量測階段期間,保持CC電容器上之電壓差,且CC電容器可藉由減去(或加上)電壓差來追蹤緩衝器609之輸出電壓以產生VIN。結果,VIN電壓可補償量測誤差及誤差信號,此改善VIN與VREF之間的比較及隨後量化的準確性。
此外,像素胞元1100進一步包括控制器1110。控制器1110可產生一連串控制信號,諸如SHUTTER、TX、RST1、RST2等,以操作像素胞元1100執行對應於 7 之三個光強度範圍(例如,低光強度範圍706、中等光強度範圍708及高光強度範圍710)之三階段量測操作。在每一階段中,像素胞元1100可在針對對應光強度範圍之量測模式中操作,且基於比較器1102之決策輸出(VOUT)判定入射光強度是否在對應光強度範圍內。像素胞元1100進一步包括一組暫存器以將一些階段之決策輸出儲存為FLAG_1及FLAG_2信號。基於FLAG_1及FLAG_2信號,控制器1110可自三個階段中之一者選擇ADC碼以表示入射光強度。選定ADC碼可儲存於記憶體810中,且記憶體810可藉由NOR閘1116基於FLAG_1及FLAG_2訊號之組合鎖定,以防止後續量測階段覆寫記憶體810中之選定ADC碼輸出。在三階段量測程序結束時,控制器1110可取回儲存於記憶體810中之ADC碼且將ADC碼提供為表示入射光強度之數位輸出。
現參看 12 ,其說明相對於時間之用於三階段量測操作的像素胞元1100之一連串控制信號。參看 12 ,T0'與T0之間的時間對應於第一重設階段。T0與T1之間的時間段對應於一積分時段及飽和一時間量測模式。介於T1與T2之間的時間段對應於一量測模式,以便量測儲存於浮動汲極中之溢出電荷之量。用於量測溢出電荷之量測模式在 12 中標記為「FD ADC」且可用於量測中等光強度708。此外,T2與T3之間的時間段包括第二重設階段,接著將儲存於光電二極體602中之電荷轉移至浮動汲極。此外,T3與T4之間的時間段對應於一量測模式,以便量測儲存於光電二極體中且轉移至浮動汲極之電荷之量。用於量測儲存於光電二極體中之電荷的量測模式在 12 中標記為「PD ADC」且可用以量測低光強度712。像素胞元1100可在時間T4提供表示入射光強度之數位輸出,且接著開始下一三階段量測操作。
12 中所展示,在T0之前,確證(assert)RST1及RST2信號、LG信號以及快門信號,而TX信號經偏壓於電壓VLOW 。VLOW 可對應於僅允許溢出電荷(若存在)自光電二極體PD經由電晶體M1流動至CEXT電容器及COF電容器之光電二極體PD的電荷容量。在此類配置之情況下,可重設光電二極體PD以及CEXT電容器及COF電容器兩者。此外,因為由光電二極體PD產生之電荷被電晶體M0分流掉,所以無電荷添加至電容器。光電二極體PD以及OF節點上之電壓可設定為等於VRESET 的電壓,其可表示光電二極體PD、CEXT電容器及COF電容器不儲存任何電荷之狀態。另外,比較器1102亦處於重設階段中,且CC電容器可儲存反映由M2引入之重設雜訊、比較器偏移、緩衝器609之臨限值失配等的電荷。此外,VREF亦可設定為等於VRESET 之值。在一些實例中,VRESET 可等於至像素胞元1100之供應電壓(例如,VDD)。此外,計數器808可處於重設狀態中。
在時間T0,計數器808可開始自初始值(例如,零)計數。在T0與T1之間的時間段期間,撤銷確證(de-assert)快門信號,而LG信號保持經確證且TX信號保持於VLOW 。T0與T1之間的時間段可為一積分時段。VREF可設定為等於VFDSAT 之值,VFDSAT 可對應於CEXT電容器及COF電容器兩者皆滿容量時OF節點之電壓。VFDSAT 與VRESET 之間的差可對應於例如 7 之臨限值704。在T0與T1之間的時間段期間,可執行飽和時間(TTS)量測,其中溢出電荷自光電二極體PD經由電晶體M1流動至COF電容器及CEXT電容器,以在OF節點處產生斜坡電壓。在計數器808自由運行時,可將OF節點處之類比電壓的經緩衝及誤差補償版本(VIN)與VFDSAT 進行比較。若儲存於COF電容器及CEXT電容器處之總電荷超過臨限值704(基於OF節點電壓),則比較器1102之輸出可翻轉,其指示入射光處於高強度範圍中,且TTS量測結果可用以表示入射光強度。因此,在翻轉時由計數器808產生之計數值可儲存至記憶體810中。可在時間T1進行對比較器1102之輸出的檢查1202,且比較器1102之翻轉亦使控制器1110確證暫存器1112中之FLAG1信號。非零FLAG_1信號值可使NOR閘1116之輸出保持為低而無關於至NOR閘之其他輸入,且可鎖定記憶體並防止後續量測階段覆寫計數值。另一方面,若比較器1102在T1與T2之間的時間段期間從未翻轉,其指示入射光強度低於高光強度範圍,則FLAG_1信號保持為零。控制器1110在時間段T0至T1之間不更新儲存於暫存器1114中之FLAG_2值,且FLAG_2值可保持為零。
在時間T1,計數器808可自其初始值(例如,零)重新開始計數。在T1與T2之間的時間段期間,可執行FD ADC操作,其中可藉由ADC 610量化OF節點處之類比電壓,以量測儲存於CEXT電容器及COF電容器中之溢出電荷的量。在一些實例中,在時間段T1至T2期間,可遮蔽光電二極體PD免受入射光(例如,藉由機械快門404)使得儲存於CEXT電容器及COF電容器中之總溢出電荷及OF節點處之類比電壓保持恆定。可將第一斜坡臨限電壓(在 12 中標記為「第一斜坡VREF」)供應至比較器1102,以與OF節點處之類比電壓的經緩衝及誤差補償版本(VIN)進行比較。在一些實例中,第一斜坡VREF可由DAC基於來自自由運行計數器之計數值產生。若斜坡VREF匹配VIN(在一個量化步長內),則比較器1102之輸出可翻轉,且若記憶體810未由第一量測階段(如由FLAG_1信號之零值指示)鎖定,則在翻轉時由計數器808產生之計數值可儲存至記憶體中。若記憶體被鎖定,則計數值將不儲存至記憶體810中。
在一些實例中,如 12 中所展示,第一斜坡VREF之電壓範圍可介於VFDSAT 與VRESET 之間。VFDSAT 可定義儲存於CEXT電容器及COF電容器中之總溢出電荷的上限(當其接近飽和時),而VRESET 可定義儲存於電容器中之總溢出電荷的下限(當不存在溢出電荷時,因此OF節點之電壓保持於VRESET )。FD ADC階段中之比較器1102的翻轉可指示OF節點電壓低於VRESET ,此可意謂儲存於電容器中之總溢出電荷超過下限。因此,FD ADC階段中之比較器1102的翻轉可指示光電二極體PD飽和,因此存在儲存於電容器中之溢出電荷,且溢出電荷之量化結果可表示入射光之強度。可在FD ADC之後在時間T2進行對比較器1102之輸出的檢查1204,且控制器1110可基於比較器1102之翻轉來確證暫存器1114中之FLAG_2信號,以鎖定儲存於記憶體810中之計數值,此防止後續階段將另一計數值儲存於記憶體810中。
在T2與T3之間的時間段開始時,可針對第二重設階段再次確證RST1信號及RST2信號兩者。第二重設階段之目的為重設CEXT及COF電容器,且製備用於在第三量測階段(對於低光強度範圍)中儲存自PDCAP電容器轉移之電荷的COF電容器。亦可撤銷確證LG信號以將CEXT電容器與COF電容器斷開連接且減小量測電容器之電容。減小電容將增加電荷至電壓轉換比率,以改善低光強度判定,如上文所論述。亦將比較器1102置於重設狀態中,其中CC電容器可用以儲存藉由重設CEXT及COF電容器而產生的雜訊電荷。接近時間T3,在重設完成之後,撤銷確證RST1及RST2信號,而偏壓TX可增加至VHIGH 以完全接通電晶體M1。儲存於光電二極體PD中之電荷可接著經由M1移至COF電容器中。
在時間T3,計數器808可自其初始值(例如,零)重新開始計數。在T3與T4之間的時間段期間,可針對低光強度範圍執行PD ADC操作。在彼時段期間,確證快門信號,而撤銷確證TX信號(例如,設定成零)或將其設定回至VLOW ,以防止儲存於COF電容器處之電荷經由M1漏泄。可將第二斜坡臨限電壓(在 12 中標記為「第二斜坡VREF」)供應至比較器1102,以與OF節點處之類比電壓的經緩衝及誤差補償版本(VIN)進行比較。第二斜坡VREF可具有介於以下兩者之間的電壓範圍:VPDSAT ,其表示在COF電容器儲存使光電二極體PD飽和之殘餘電荷量時該電容器處之電壓;及VRESET 。若第二斜坡VREF匹配VIN(在一個量化步長內),則比較器1102之輸出可翻轉,且若記憶體810未由第一量測階段(如由FLAG_1信號之零值指示)或由第二量測階段(如由FLAG_2信號之零值指示)鎖定,則在翻轉時由計數器808產生之計數值可儲存至記憶體中。
儘管 12 展示量測入射光強度之三階段量測操作,但應理解,基於例如用於操作環境之預期入射光強度範圍,跳過該等階段中之一或多者。舉例而言,若像素胞元在具有低周圍光之環境中(例如,在夜間)操作,則可跳過針對高光強度之第一量測階段。此外,若像素胞元在具有中等或強周圍光之環境中(例如,在日間)操作,則可跳過針對低光強度之第三量測階段。
13A 說明由像素胞元1100輸出之計數值與入射光強度之間的關係之實例。在 13A 中,x軸表示對數尺度上之入射光強度的範圍,包括用於TTS、FD ADC及PD ADC操作之強度範圍,而y軸表示線性尺度上之針對入射光強度之範圍的計數值輸出。如 13A 中所展示,對於不同強度範圍,計數值相對於入射光強度可具有不同關係。舉例而言,在PD ADC中,相比在FD ADC中,計數值相對於入射光強度以較高速率改變。此可由於在PD ADC中減小電荷儲存單元608之電荷儲存容量以增加電荷至電壓轉換增益。結果,相比FD ADC計數值之相同範圍,PD ADC計數值之給定範圍可覆蓋較小強度範圍,且可改善PD ADC之量化解析度。此外,在TTS中,相比在FD ADC中(及在PD ADC中),計數值相對於入射光以甚至更高速率改變。此可能係由於TTS量測飽和時間,而非如在FD ADC及PD ADC操作中量測電荷量之事實。
13B 說明由像素胞元1100輸出之計數值與入射光強度之間的關係之另一實例,其中使用 10A 10B 之非均一量化方案。在 13B 中,x軸表示線性尺度上之入射光強度的範圍,包括例如用於FD ADC操作之強度範圍,而y軸表示線性尺度上之針對入射光強度之範圍的計數值輸出。如 13B 中所展示,由於非均一量化方案,計數值不與入射光強度線性相關。朝向強度範圍之較低端,計數值相對於入射光強度之改變速率可能由於較小量化步長而較高。此外,朝向強度範圍之較高端,計數值相對於入射光強度之改變速率可能由於較大量化步長而較低。
計數值與光強度之間的變化關係可對使用計數值判定入射光強度之應用造成問題。該應用典型地僅接收計數值且不具有影像感測器之操作的其他資訊,諸如哪一(些)操作模式產生計數值、量化解析度等。該應用可基於預期計數值遍及整個動態範圍相對於光強度具有均一關係而對計數值操作。此外,依賴於諸如SLAM之影像特徵擷取的一些應用可能需要計數值相對於光強度具有均一關係,諸如 13C 中所展示之關係,以判定相鄰像素之計數值之間的差且基於差擷取影像特徵。在無額外後處理之情況下,此類應用可能無法運用自前述多模式量測操作輸出之計數值而適當地工作。
14 說明實例系統1400,其可提供相對於入射光強度具有均一關係之影像感測器輸出。如 14 中所展示,系統1400包括像素胞元600及後處理模組1402。像素胞元600可接收入射光1401且產生原始輸出1404及1406(例如,計數值)以表示入射光1401之不同強度。原始輸出1404及1406相對於由原始輸出表示之光強度可具有不同關係。舉例而言,可自TTS操作產生原始輸出1404,而可自FD ADC或PD ADC操作產生原始輸出1406。
後處理模組1402可對原始輸出1404及1406執行後處理操作以分別產生經後處理輸出1404及1406,該等經後處理輸出相對於由經後處理輸出表示之光強度具有相同關係,諸如 13C 中所展示之關係。在一些實例中,後處理模組1402可包括硬體處理器(例如,通用中央處理單元、數位信號處理器等)以執行用以執行後處理操作之軟體指令。在一些實例中,後處理模組1402可包括特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA )等,其可包括用以執行後處理之邏輯電路。
此外,如 14 中所展示,像素胞元600及後處理模組1402兩者可接收程式化資料1430。程式化資料1430可組態在像素胞元600處產生原始輸出之各種態樣,諸如類比至數位轉換增益(ADC增益)、積分時段等。ADC增益可定義計數值與OF電壓(其表示儲存於電荷儲存單元608中之電荷的量)之間的關係,而積分時段可定義由光電二極體產生且儲存於電荷儲存單元中之電荷的量與光強度之間的關係。基於程式化資料1430,後處理模組1402亦可判定原始輸出與光強度之間的關係以執行後處理操作。
返回參看 13C ,入射光強度與光電二極體PD在積分時段內回應於入射光而產生之電荷的量之間可存在均一關係。因此,為了自原始輸出判定經後處理輸出,後處理模組1402可針對FD ADC及PD ADC操作估計在積分時段內由光電二極體PD產生之電荷的量。對於TTS操作,假定原始輸出量測飽和時間且電荷儲存單元608可在積分時段結束之前停止積累電荷,後處理模組1402亦可估計在積分時段內將已由光電二極體PD產生之電荷的量。後處理模組1402可接著基於電荷量判定經後處理輸出。後處理模組1402亦可調整電荷量以加上或基板其他雜訊電荷,諸如由光電二極體PD及浮動汲極節點處之暗電流產生的暗電荷,以進一步改善經後處理輸出與光強度之間的關係之均一性。
15A 15B 15C 說明不同量測操作中之電荷與時間之間的實例關係,其可充當後處理模組1402處之後處理操作之基礎。 15A 說明用於PD ADC量測操作之實例關係。如 15A 中所展示,在積分時段內,在光電二極體PD飽和之前光電二極體PD可累積一定量的殘餘電荷QPD ,而光電二極體PD飽和時所累積殘餘電荷之量等於光電二極體滿井容量FWPD 。QPD 之部分為QPD_light_PDADC ,其係由光電二極體PD回應於入射光而被產生且與入射光之強度線性相關。剩餘的部分為來自在積分時段Tint 內暗電流DCPD 在光電二極體PD處之積分的暗電荷QDark_PDADC ,如下:
QPD_light_PDADC = QPD QDark_PDADC = QPD
Figure 02_image001
(等式1)
如上文所描述,在PD ADC操作期間,殘餘電荷QPD 被轉移至電荷儲存單元608以產生電壓,該電壓可由量化器(例如,比較器1102、計數器808及記憶體810)量化成計數值Dout_PD 。VRESET 與由Dout_PD 表示之電壓之間的電壓差可表示QPD 之經量化表示(具有ADC增益G)。等式1可如下重寫:
QPD_light_PDADC =
Figure 02_image003
(等式2)
在以上等式2中,VRESET_Q 表示類比重設電壓VRESET 之經量化版本。CHG 表示在高增益模式下將電荷轉換成經量化值之轉換因數,其具有單位e-/LSB,且基於用於PD ADC量測之高增益模式下的電荷儲存單元608之電容。Dout_PD 之經後處理輸出Dout_PD_post 可表示由具有ADC增益G之量化器,量化在高增益模式下藉由將QPD_light_PDADC 儲存於電荷儲存單元608中而產生的電壓,如下:
Figure 02_image005
(等式3)
基於來自像素胞元600之計數值係來自PD ADC操作的指示(例如,基於計數值在與PD ADC相關聯之計數值之範圍內或基於來自像素胞元600之其他信號),後處理器1402可使用等式3自原始輸出Dout_PD 計算經後處理輸出Dout_PD_post 。後處理器1402亦可自程式化資料1430獲得ADC增益G、積分時段Tint 、經量化重設電壓VRESET-Q 、暗電流、光電二極體之滿井容量等。
15B 說明用於FD ADC量測操作之電荷與時間之間的實例關係。如 15B 中所展示,在積分時段內,光電二極體PD可在其飽和時累積等於光電二極體滿井容量FWPD (以e-為單位)之殘餘電荷量。超過飽和點,溢出電荷Qov 可累積於電荷儲存單元608處直至積分時段結束。在積分時段內由光電二極體PD回應於光而產生之總電荷QPD_light_FDADC 可為FWPD 與Qov 之總和,但藉由來自在積分時段Tint 內暗電流DCPD 在光電二極體PD處之積分及暗電流DCFD 在浮動汲極節點處之積分的暗電荷QDark_FDADC 而偏移,如下:
QPD_light_FDADC = Qov + FWPD – QDark_FDADC = Qov + FWPD
Figure 02_image007
(等式4)
如上文所描述,在FD ADC操作期間,溢出電荷QFD 累積於電荷儲存單元608處以產生電壓,該電壓可藉由量化器(例如,比較器1102、計數器808及記憶體810)量化成計數值Dout_FD 。VRESET 與由Dout_PD 表示之電壓之間的電壓差可表示QFD 之經量化表示(具有ADC增益G)。等式4可如下重寫:
QPD_light_FDADC =
Figure 02_image009
(等式5)
在以上等式5中,CLG 表示低增益模式下之轉換因數,其具有單位e-/LSB,且基於低增益模式下電荷儲存單元608之電容,其中相對於PD ADC,電荷儲存單元608之電容增加。Dout_FD 之經後處理輸出Dout_FD_post 可表示由具有ADC增益G之量化器,量化藉由儲存QPD_light_FDADC 於CHG 中而產生的電壓(與PD ADC具有相同尺度),如下:
Figure 02_image011
=
Figure 02_image013
=
Figure 02_image015
(等式6)
基於來自像素胞元600之計數值係來自FD ADC操作的指示(例如,基於計數值在與FD ADC相關聯之計數值之範圍內或基於來自像素胞元600之其他信號),後處理器1402可使用等式6自原始輸出Dout_FD 計算經後處理輸出Dout_FD_post 。後處理器1402亦可自程式化資料1430獲得ADC增益G、積分時段Tint 、經量化重設電壓VRESET-Q 、暗電流、光電二極體之滿井容量等。
15C 說明用於TTS量測操作之電荷與時間之間的實例關係。如 15C 中所展示,在積分時段結束之前,溢出電荷可在時間Ts飽和(相對於積分時段之開始)。自積分時段開始時至時間Ts由光電二極體產生之電荷的總量等於FWPD (光電二極體PD之滿井容量)與Qov_saturate 之總和,Qov_saturate 為在低增益模式中使電荷儲存裝置608飽和之溢出電荷的量,其可由(VRESET -VFDSAT )×CLG 給出。時間Ts可由計數器808量測及量化以產生計數值Dout_TTS 。積分時段之結束可由計數值Dout_MAX 表示。為建立電荷與光強度之間的相同均一關係,如在等式3(對於PD ADC)及等式6(對於FD ADC)中,後處理模組1402可基於以下等式針對TTS操作,外插在高增益模式下在積分時段內應會被儲存於電荷儲存裝置608處之電荷的量QTTS_extrapolate
QTTS_extrapolate =
Figure 02_image017
(等式7)
此外,在積分時段開始時與Ts之間,光電二極體PD及浮動汲極節點可累積一定量的暗電荷QDark_TTS ,如下:
Figure 02_image019
(等式8)
外插電荷QTTS-extrapolate 可被偏移QDark-TTS 以獲得QPD-TTS ,其對應於由光電二極體回應於入射作為光而產生之電荷的部分,如下:
QPD_light_TTS = QTTS_extrapolate
Figure 02_image021
(等式9)
可如下依據Dout_TTS 重寫等式9:
QPD_light_TTS
Figure 02_image023
(等式10)
Dout_TTS 之經後處理輸出Dout_TTS_post 可表示由具有ADC增益G之量化器量化藉由儲存QPD-light 於CHG 中而產生的電壓(與PD ADC及FD ADC具有相同尺度),如下:
Figure 02_image025
(等式11)
等式11可如下與等式10組合:
Figure 02_image027
=
Figure 02_image029
(等式12)
基於來自像素胞元600之計數值係來自TTS操作的指示(例如,基於計數值在與TTS相關聯之計數值之範圍內或基於來自像素胞元600之其他信號),後處理器1402可使用等式12自原始輸出Dout_TTS 計算經後處理輸出Dout_TTS_post 。後處理器1402亦可自程式化資料1430獲得ADC增益G、積分時段Tint 、電荷儲存單元608在低增益模式中之儲存容量(就電荷而言)、暗電流、光電二極體之滿井容量等。
可在校準程序中量測以上等式中之參數,諸如光電二極體PD之滿井容量、暗電流、ADC增益、轉換增益等。亦可針對諸如溫度(其可影響暗電流)之不同環境條件而量測此等參數中之一些。可接著將對應於特定溫度之一組參數提供至後處理模組1402,以執行在彼特定溫度下獲得之計數值的後處理操作,從而進一步改善經後處理輸出與不同光強度之間的關係之均一性。
在一些情境中,不存在諸如等式3、6及12之用於將原始輸出映射至經後處理輸出的閉式等式。一個實例情境為在使用非均一量化時。在此類狀況下,一或多個查找表可實施於後處理模組1402中以執行後處理操作。 16A 16B 說明查找表之實例,該等查找表可為後處理模組1402之部分。如 16A 中所展示,查找表1602可將一組計數值(例如,0000、0001、0002等)映射至待提供為經後處理輸出之一組強度值,計數值可自非均一量化方案產生,使得較低值表示較精細量化步長,而較高值表示較粗略量化步長,該等量化步長由對應強度值之間的間隔反映。
在一些實例中,如 16B 中所展示,後處理模組1402可包括多個查找表,諸如查找表1610、1612及1614。每一查找表可用於特定量測模式(例如,TTS、PD ADC、FD ADC)、特定環境條件(例如,溫度),其各者可需要原始輸入與經後處理輸出之間的不同映射。後處理模組1402進一步包括路由邏輯1616及輸出邏輯1620。路由邏輯1616可接收來自像素胞元600之原始輸出1624以及程式化資料1430,且判定將原始輸出1624投送至查找表1610、1612或1614中之哪一者。該判定可基於例如原始輸出1624來自TTS、PD ADC或FD ADC操作之指示(例如,基於原始輸出在與TTS、PD ADC或FD ADC相關聯之計數值的範圍內,或基於來自像素胞元600之其他信號)、環境條件(例如,來自程式化資料1430)等。路由邏輯1616亦可將關於選擇哪一查找表以對原始輸出1624進行後處理之指示傳輸至輸出邏輯1620。基於該指示,輸出邏輯1620可轉遞來自選定查找表之輸出作為經後處理輸出1630。
17 說明量測光強度之實例方法1700的流程圖。方法1700可藉由例如包括影像感測器(例如,像素胞元600)及後處理模組1402之系統1400執行。
在步驟1702中,影像感測器可基於第一關係產生表示入射光之第一強度的第一原始輸出。第一關係可與諸如用於TTS操作之強度範圍的第一強度範圍相關聯,其中第一原始輸出可量測像素胞元600之電荷儲存單元608的飽和時間。
在步驟1704中,影像感測器可基於第二關係產生表示入射光之第二強度的第二原始輸出。第二關係可與不同於第一強度範圍之第二強度範圍相關聯。舉例而言,第二強度範圍可為用於FD ADC操作或用於PD ADC操作之強度範圍。在FD ADC操作之狀況下,當電荷儲存單元608在低增益模式(例如,具有增加電容)中操作時,第二原始輸出可量測在光電二極體飽和之後儲存於電荷儲存單元608中之溢出電荷的量。在PD ADC操作之狀況下,第二原始輸出可在高增益模式(例如,具有減小電容)中量測自光電二極體轉移至電荷儲存單元608之殘餘電荷的量。
在步驟1706中,後處理器可基於第一原始輸出且基於第一關係產生第一經後處理輸出,使得第一經後處理輸出係基於第三關係而與第一強度線性相關。第三關係可為計數值與光強度之間的線性且均一的關係,諸如由光電二極體產生之電荷的量相對於光強度的估計,諸如 13C 中所展示之關係。第一經後處理輸出可基於第一關係與第三關係之間的映射而判定,如描述於針對TTS操作之 15C 及等式12中。
在步驟1708中,後處理器可基於第二原始輸出且基於第二關係產生第二經後處理輸出,使得第二經後處理輸出係基於第三關係而與第二強度線性相關。第二經後處理輸出可基於第一關係與第三關係之間的映射而判定,如描述於針對PD ADC操作之 15A 及等式3中或如描述於針對FD ADC操作之 15B 及等式6中。
已出於說明之目的呈現本發明之具體實例的前述描述;其並不意欲為詳盡的或將本發明限制於所揭示之精確形式。熟習相關技術者可瞭解,根據以上揭示內容,許多修改及變化係可能的。
本說明書之一些部分關於資訊操作之演算法及符號表示來描述本發明之具體實例。熟習資料處理技術者通常使用此等演算法描述及表示來將其工作的主旨有效地傳達給其他熟習此項技術者。雖然在功能上、計算上或邏輯上描述此等操作,但應理解,此等操作藉由電腦程式或等效電路、微碼或類似者來實施。此外,亦已證實,在不失一般性的情況下,將操作之此等配置稱為模組係方便的。所描述操作及其相關聯模組可體現於軟體、韌體及/或硬體中。
所描述之步驟、操作或程序可單獨地或與其他裝置組合地藉由一或多個硬體或軟體模組來執行或實施。在一些具體實例中,軟體模組藉由包含電腦可讀取媒體之電腦程式產品實施,電腦可讀取媒體含有可由電腦處理器執行以用於執行所描述之任何或所有步驟、操作或程序的電腦程式碼。
本發明之具體實例亦可關於一種用於執行所描述之操作的設備。該設備可經特別建構以用於所需目的,及/或其可包含由儲存於電腦中之電腦程式選擇性地啟動或重組態之通用計算裝置。此電腦程式可儲存於非暫時性有形電腦可讀取儲存媒體或適合於儲存電子指令之任何類型之媒體中,該或該等媒體可耦接至電腦系統匯流排。此外,在本說明書中提及之任何計算系統可包括單一處理器,或可為使用多個處理器設計以用於提高計算能力的架構。
本發明之具體實例亦可關於一種藉由本文中所描述之計算程序產生的產品。此產品可包含由計算程序產生之資訊,其中資訊儲存於非暫時性有形電腦可讀取儲存媒體上,且可包括本文中所描述之電腦程式產品或其他資料組合之任何具體實例。
用於本說明書中之語言主要出於可讀取性及指導性之目的而加以選擇,且其可能尚未經選擇以劃定或限定本發明主題。因此,本發明之範疇不欲受此實施方式限制,而是由基於此處之應用發佈的任何技術方案限制。因此,具體實例之揭示內容意欲說明而非限制在以下申請專利範圍中所闡述之本發明的範疇。
100:近眼顯示器 105:框架 110:顯示器 120a:影像感測器 120b:影像感測器 120c:影像感測器 120d:影像感測器 130:主動照明器 135:眼球 140a:照明器 140b:照明器 140c:照明器 140d:照明器 140e:照明器 140f:照明器 150a:影像感測器 150b:影像感測器 200:橫截面 210:波導顯示器總成 220:眼球 230:出射光瞳 300:波導顯示器 310:源總成 320:輸出波導 330:控制器 340:擴展之影像光 350:耦合元件 355:影像光 360:引導元件 365:解耦元件 370:影像感測器 370-1:第一側 370-2:第二側 400:橫截面 402:像素胞元 404:機械快門 410:源 415:光學系統 500:系統 510:控制電路系統 525:位置感測器 530:慣性量測單元(IMU) 535:成像裝置 540:輸入/輸出介面 545:應用程式儲存器 550:追蹤模組 555:引擎 600:像素胞元 602:光電二極體 603:殘餘電荷電容器 604:快門開關 606:轉移閘 607:重設開關 608:電荷儲存單元 609:緩衝器 610:像素ADC 611:曝光啟用信號 612:量測控制信號 614:類比輸出節點 616:像素輸出匯流排 617:光電二極體電流槽 618:重設信號 620:電荷槽 702:臨限值 704:臨限值 706:低光強度範圍 708:中等光強度範圍/中等光強度 710:高光強度範圍 802:臨限值產生器 804:比較器 806:數位輸出產生器 808:計數器 810:記憶體 812:自由運行時脈信號 813:數位至類比轉換器(DAC) 814:輸出 815:參考電壓(VREF) 816:決策 902:輸入範圍 1100:像素胞元 1102:比較器 1110:控制器 1112:「反或(NOR)」閘 1114:暫存器 1116:「反或」閘 1202:檢查 1204:檢查 1400:系統 1401:入射光 1402:後處理模組/後處理器 1404:原始輸出 1406:原始輸出 1414:經後處理輸出 1416:經後處理輸出 1430:程式化資料 1602:查找表 1610:查找表 1612:查找表 1614:查找表 1616:路由邏輯 1620:輸出邏輯 1624:原始輸出 1630:經後處理輸出 1700:量測光強度之實例方法 1702:步驟 1704:步驟 1706:步驟 1708:步驟 A:方向 B:方向 C:方向 CC:電容器 CEXT:電容器 COF:電容器 D:方向 Dout_MAX:計數值 Dout_TTS:計數值 FLAG_1:信號 FLAG_2:信號 FWPD:光電二極體滿井電容 LG:信號 M0:電晶體 M1:電晶體 M2:電晶體 M3:電晶體 M4:電晶體 M5:電晶體 OF:節點 PD:光電二極體 Q1:總累積電荷 Q2:總累積電荷 Q3:假設電荷量 QDark_FDADC:暗電荷 QDark_PDADC:暗電荷 QDark_TTS:暗電荷 Qov:溢出電荷 QPD:殘餘電荷 QPD_light_FDADC:電荷 QPD_light_PDADC:殘餘電荷之部分 QTTS_extrapolate:電荷量 RST1:控制信號 RST2:控制信號 SHUTTER:控制信號 T0:時間 T0':時間 T1:時間 T2:時間 T3:時間 T4:時間 Ts:時間 TX:控制信號 VDD:供應電壓 VFDSAT:電壓 VHIGH:電壓 VIN:電壓 VLOW:電壓 VOUT:比較結果 VREF:參考電壓 VRESET:類比重設電壓 Δl:量化步長大小 ΔL:量化步長大小 ΔS:量化步長大小
參看以下諸圖描述說明性具體實例。
1A 1B 為近眼顯示器之具體實例的圖。
2 為近眼顯示器之橫截面的具體實例。
3 說明具有單一源總成之波導顯示器之具體實例的等角視圖。
4 說明波導顯示器之具體實例的橫截面。
5 為包括近眼顯示器之系統之具體實例的方塊圖。
6 說明像素胞元之具體實例的方塊圖。
7 說明用於藉由 6 之具體實例判定不同範圍之光強度的操作。
8 說明 6 之像素胞元之內部組件的實例。
9A 9B 說明用於判定光強度之實例方法。
10A 10B 說明用於執行量化之技術。
11 說明像素胞元之具體實例的方塊圖。
12 說明用以執行光強度量測之控制信號的實例序列。
13A 13B 13C 說明影像感測器之輸出與入射光強度之間的關係之實例。
14 說明執行影像感測器輸出之後處理的實例系統。
15A 15B 15C 說明針對各種量測模式之電荷累積量與時間之間的關係之實例。
16A 16B 說明用於後處理影像感測器輸出之系統的實例。
17 說明用於量測光強度之實例程序的流程圖。
該等圖僅出於說明之目的描繪本發明之具體實例。熟習此項技術者將易於自以下描述認識到,在不脫離本發明之原理或所稱讚益處之情況下,可使用所說明之結構及方法的替代具體實例。
在附圖中,類似組件及/或特徵可具有相同參考標記。另外,可藉由在參考標記之後加上破折號及區分類似組件之第二標記來區分相同類型之各種組件。若在說明書中僅使用第一參考標記,則描述適用於具有相同第一參考標記之類似組件中的任一者,而無關於第二參考標記。
600:像素胞元
1400:系統
1401:入射光
1402:後處理模組/後處理器
1404:原始輸出
1406:原始輸出
1414:經後處理輸出
1416:經後處理輸出
1430:程式化資料

Claims (20)

  1. 一種設備,其包含: 一影像感測器,其經組態以: 基於一第一關係產生表示入射光之一第一強度的一第一原始輸出,及 基於一第二關係產生表示入射光之一第二強度的一第二原始輸出; 及 一後處理器,其經組態以: 基於該第一原始輸出且基於該第一關係產生一第一經後處理輸出,使得該第一經後處理輸出係基於一第三關係而與該第一強度線性相關;及 基於該第二原始輸出且基於該第二關係產生一第二經後處理輸出,使得該第二經後處理輸出係基於該第三關係而與該第二強度線性相關。
  2. 如請求項1所述之設備,其中: 該第一原始輸出與該第一強度之間的該第一關係與一第一強度範圍相關聯; 該第二原始輸出與該第二強度之間的該第二關係與一第二強度範圍相關聯;且 該第三關係與包含該第一強度範圍及該第二強度範圍之一第三強度範圍相關聯。
  3. 如請求項2所述之設備,其中該影像感測器包含: 一光電二極體,其經組態以: 在一積分時段內回應於入射光而產生電荷, 及 將該電荷之至少一部分累積為殘餘電荷直至該光電二極體飽和;及 一電荷儲存單元,其經組態以將剩餘電荷累積為溢出電荷直至該電荷儲存單元飽和。
  4. 如請求項3所述之設備,其中該第三關係使一經後處理輸出與在該積分時段內由該光電二極體產生之電荷的一估計量線性相關。
  5. 如請求項4所述之設備, 其中該第一原始輸出量測當該電荷儲存單元在該積分時段結束之前飽和時的一飽和時間;且 其中該第二原始輸出量測在該積分時段內由該電荷儲存單元累積之該溢出電荷的一量。
  6. 如請求項5所述之設備,其中該後處理器經組態以: 基於該飽和時間判定該電荷儲存單元累積該溢出電荷之一速率; 基於累積該溢出電荷之該速率及該積分時段,判定在該積分時段內由該光電二極體產生之電荷的該估計量;及 基於電荷之該估計量判定該第一經後處理輸出。
  7. 如請求項6所述之設備,其中該後處理器經組態以基於在該積分時段內由該電荷儲存單元接收之暗電流之一第一量及由該光電二極體接收之暗電流之一第二量判定電荷之該估計量。
  8. 如請求項6所述之設備,其中該後處理器經組態以基於該電荷儲存單元之一第一電荷儲存容量及該光電二極體之一第二電荷儲存容量判定累積該溢出電荷之該速率。
  9. 如請求項4所述之設備,其中該後處理器經組態以: 基於該第二原始輸出及該光電二極體之一電荷儲存容量判定電荷之該估計量;及 基於電荷之該估計量判定該第二經後處理輸出。
  10. 如請求項9所述之設備,其中該後處理器經組態以基於在該積分時段內由該電荷儲存單元接收之暗電流之一第一量及由該光電二極體接收之暗電流之一第二量判定電荷之該估計量。
  11. 如請求項3所述之設備, 其中該第一原始輸出量測在該積分時段內由該電荷儲存單元累積之該溢出電荷的一量;且 其中該第二原始輸出量測在該積分時段內由該光電二極體累積之該殘餘電荷的一量。
  12. 如請求項11所述之設備,其中該影像感測器經組態以產生表示入射光之一第三強度的一第三原始輸出,該第三原始輸出量測當該電荷儲存單元飽和時的一飽和時間,且基於一第四關係與該入射光之該第三強度相關;且 其中該後處理器經組態以基於該第三原始輸出且基於該第四關係產生一第三經後處理輸出,使得該第三經後處理輸出係基於該第三關係而與該第三強度線性相關。
  13. 如請求項11所述之設備,其中該電荷儲存單元具有一可組態電荷儲存容量; 其中該影像感測器經組態以將該溢出電荷儲存於具有一第一電荷儲存容量之該電荷儲存單元處,以產生該第一原始輸出; 其中該影像感測器經組態以將該殘餘電荷自該光電二極體轉移至具有一第二電荷儲存容量之該電荷儲存單元,以產生該第二原始輸出;且 其中該第一經後處理輸出係基於該第一電荷儲存容量及該第二電荷儲存容量產生。
  14. 如請求項13所述之設備,其中該第一經後處理輸出係基於在該積分時段內由該電荷儲存單元接收之暗電流之一第一量及由該光電二極體接收之暗電流之一第二量產生;且 其中該第二經後處理輸出係基於在該積分時段內由該光電二極體接收之暗電流之該第二量產生。
  15. 如請求項1所述之設備,其中該後處理器包含一或多個查找表,該一或多個查找表將該第一原始輸出映射至該第一經後處理輸出,且將該第二原始輸出映射至該第二經後處理輸出;且 其中該後處理器經組態以基於該一或多個查找表產生該第一經後處理輸出及該第二經後處理輸出。
  16. 如請求項15所述之設備,其中該一或多個查找表包含將該第一原始輸出映射至該第一經後處理輸出之一第一查找表,及將該第二原始輸出映射至該第二經後處理輸出之一第二查找表; 且 其中該後處理器經組態以基於該第一強度而選擇該第一查找表,且基於該第二強度而選擇該第二查找表。
  17. 如請求項16所述之設備,其中該第一原始輸出及該第二原始輸出係基於一非均一量化程序產生。
  18. 一種方法,其包含: 藉由一影像感測器基於一第一關係產生表示入射光之一第一強度的一第一原始輸出; 藉由該影像感測器基於一第二關係產生表示該入射光之一第二強度的一第二原始輸出; 藉由一後處理器基於該第一原始輸出且基於該第一關係產生一第一經後處理輸出,使得該第一經後處理輸出係基於一第三關係而與該第一強度線性相關;及 藉由該後處理器基於該第二原始輸出且基於該第二關係產生一第二經後處理輸出,使得該第二經後處理輸出係基於該第三關係而與該第二強度線性相關。
  19. 如請求項18所述之方法,其進一步包含: 藉由該影像感測器產生表示入射光之一第三強度的一第三原始輸出,其中該第三原始輸出量測當該影像感測器之一電荷儲存單元飽和時的一飽和時間,且該第三原始輸出量測係基於一第四關係而與該入射光之該第三強度相關;及 藉由該後處理器基於該第三原始輸出且基於該第四關係產生一第三經後處理輸出,使得該第三經後處理輸出係基於該第三關係而與該第三強度線性相關。
  20. 一種非暫時性電腦可讀取媒體,其儲存在由一硬體處理器執行時使該硬體處理器進行以下操作之指令: 自一影像感測器接收基於一第一關係表示入射光之一第一強度的一第一原始輸出; 自該影像感測器接收基於一第二關係表示該入射光之一第二強度的一第二原始輸出; 基於該第一原始輸出且基於該第一關係產生一第一經後處理輸出,使得該第一經後處理輸出係基於一第三關係而與該第一強度線性相關;及 基於該第二原始輸出且基於該第二關係產生一第二經後處理輸出,使得該第二經後處理輸出係基於該第三關係而與該第二強度線性相關。
TW108119746A 2018-06-08 2019-06-06 影像感測器後處理 TWI793334B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862682627P 2018-06-08 2018-06-08
US62/682,627 2018-06-08
US16/432,072 US11363221B2 (en) 2018-06-08 2019-06-05 Image sensor post processing
US16/432,072 2019-06-05

Publications (2)

Publication Number Publication Date
TW202011735A true TW202011735A (zh) 2020-03-16
TWI793334B TWI793334B (zh) 2023-02-21

Family

ID=68764386

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108119746A TWI793334B (zh) 2018-06-08 2019-06-06 影像感測器後處理

Country Status (7)

Country Link
US (1) US11363221B2 (zh)
EP (1) EP3804293A1 (zh)
JP (1) JP2021526323A (zh)
KR (1) KR20210018349A (zh)
CN (1) CN112262565B (zh)
TW (1) TWI793334B (zh)
WO (1) WO2019236839A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7072362B2 (ja) * 2017-09-26 2022-05-20 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
EP3540774B1 (en) * 2018-03-16 2020-09-30 Teledyne Dalsa B.V. Image sensor and imaging system comprising the same
TWI698010B (zh) * 2018-08-09 2020-07-01 大陸商廈門星宸科技有限公司 用以控制影像擷取裝置的電路及相關的控制方法
KR20210059469A (ko) * 2019-11-15 2021-05-25 삼성전자주식회사 픽셀 어레이 및 이를 포함하는 이미지 센서
US11343448B2 (en) * 2020-05-05 2022-05-24 Pixart Imaging Incorporation Method of operating an HDR pixel circuit achieving high precision

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3924755B2 (ja) * 2001-09-13 2007-06-06 本田技研工業株式会社 高速事象撮影装置
JP4392492B2 (ja) 2003-06-02 2010-01-06 国立大学法人静岡大学 広ダイナミックレンジイメージセンサ
WO2006098374A1 (ja) * 2005-03-15 2006-09-21 Omron Corporation 撮像装置、信号処理装置及び信号処理方法
US7326903B2 (en) 2006-06-29 2008-02-05 Noble Peak Vision Corp. Mixed analog and digital pixel for high dynamic range readout
US8026966B2 (en) 2006-08-29 2011-09-27 Micron Technology, Inc. Method, apparatus and system providing a storage gate pixel with high dynamic range
JP5135953B2 (ja) * 2007-08-28 2013-02-06 コニカミノルタアドバンストレイヤー株式会社 画像処理装置、画像処理方法、及び撮像装置
US8130298B2 (en) * 2008-02-07 2012-03-06 International Business Machines Corporation Wide dynamic range image sensor utilizing switch current source at pre-determined switch voltage per pixel
JP2010093753A (ja) * 2008-10-10 2010-04-22 Sony Corp 固体撮像素子及び信号処理システム
US8698922B2 (en) * 2012-02-14 2014-04-15 Omni Vision Technologies, Inc. Black level correction for imaging pixels
TWI704811B (zh) * 2015-07-27 2020-09-11 日商新力股份有限公司 固體攝像裝置及其控制方法、以及電子機器
US9948875B2 (en) 2015-10-01 2018-04-17 Semiconductor Components Industries, Llc High dynamic range imaging pixels with improved readout
US11297258B2 (en) 2015-10-01 2022-04-05 Qualcomm Incorporated High dynamic range solid state image sensor and camera system
US9871965B2 (en) 2016-02-03 2018-01-16 Texas Instruments Incorporated Image processing for wide dynamic range (WDR) sensor data
WO2017141847A1 (ja) * 2016-02-15 2017-08-24 パナソニックIpマネジメント株式会社 固体撮像装置および撮像装置
US9838628B2 (en) * 2016-03-16 2017-12-05 Sony Corporation Detecting quantities beyond sensor saturation
JP2018152696A (ja) * 2017-03-13 2018-09-27 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、その駆動方法および電子機器
JP7100439B2 (ja) * 2017-10-20 2022-07-13 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US10923523B2 (en) * 2018-04-16 2021-02-16 Facebook Technologies, Llc Multi-photodiode pixel cell

Also Published As

Publication number Publication date
CN112262565B (zh) 2022-05-17
EP3804293A1 (en) 2021-04-14
JP2021526323A (ja) 2021-09-30
WO2019236839A1 (en) 2019-12-12
US11363221B2 (en) 2022-06-14
US20190379848A1 (en) 2019-12-12
KR20210018349A (ko) 2021-02-17
CN112262565A (zh) 2021-01-22
TWI793334B (zh) 2023-02-21

Similar Documents

Publication Publication Date Title
TWI794508B (zh) 可組態影像感測器
TWI783152B (zh) 具有延伸動態範圍之數位像素
US11910119B2 (en) Digital pixel with extended dynamic range
TWI815918B (zh) 用於操作影像感測器之設備及方法
CN111989911B (zh) 具有扩展的动态范围的数字像素
US11595602B2 (en) Image sensor post processing
US10804926B2 (en) Charge leakage compensation in analog-to-digital converter
TWI810312B (zh) 用於量測具有經擴展之動態範圍的數位像素之光強度的設備和方法
TW202007139A (zh) 具有多光電二極體的像素感測器
TWI793334B (zh) 影像感測器後處理