TW202007139A - 具有多光電二極體的像素感測器 - Google Patents

具有多光電二極體的像素感測器 Download PDF

Info

Publication number
TW202007139A
TW202007139A TW108122610A TW108122610A TW202007139A TW 202007139 A TW202007139 A TW 202007139A TW 108122610 A TW108122610 A TW 108122610A TW 108122610 A TW108122610 A TW 108122610A TW 202007139 A TW202007139 A TW 202007139A
Authority
TW
Taiwan
Prior art keywords
charge
photodiode
voltage
photodiodes
generate
Prior art date
Application number
TW108122610A
Other languages
English (en)
Inventor
安德魯 山謬爾 博寇維奇
新橋 劉
陳松
尼古拉斯 丹尼爾 特瑞爾
麥可 派翠克 肖布
Original Assignee
美商菲絲博克科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商菲絲博克科技有限公司 filed Critical 美商菲絲博克科技有限公司
Publication of TW202007139A publication Critical patent/TW202007139A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H04N25/623Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming by evacuation via the output or reset lines
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/18Automatic control for modifying the range of signals the converter can handle, e.g. gain ranging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/59Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

在一個實例中,一種設備包含:複數個光電二極體、一或多個電荷感測單元、一或多個類比至數位轉換器(ADC)以及一控制器。該控制器被配置以:啟用每一光電二極體以回應於入射光之不同分量而產生電荷;將該電荷從該複數個光電二極體轉移至該一或多個電荷感測單元以轉換成電壓;接收對複數個量化程序中之一或多個量化程序的選擇,所述複數個量化程序對應於複數個強度範圍;基於該選擇,控制該一或多個ADC以執行所選定的一或多個量化程序,以將來自該一或多個電荷感測單元之電壓量化成表示不同波長範圍之像素的分量的數位值;以及基於所述數位值而產生像素值。

Description

具有多光電二極體的像素感測器
本發明大體上係關於影像感測器,具體而言,係關於像素單元結構,其包括用於判定影像產生之光強度的介接電路系統。
本專利申請案主張2018年6月27日申請的標題為「Digital Pixel Sensor with Multiple Photodiodes」之美國臨時專利申請案第62/690,571號之優先權,該美國臨時專利申請案讓與給本申請案之受讓人,且出於所有目的以全文引用的方式併入本文中。
影像感測器中之典型像素包括光電二極體,以藉由將光子轉換成電荷(例如,電子或電洞)來感測入射光。入射光可包括用於不同應用(諸如2D及3D感測)的不同波長範圍之分量。此外,為減少影像失真,可執行全域快門操作,其中光電二極體陣列中之每一光電二極體在全域曝光週期中同時感測入射光以產生電荷。電荷可由電荷感測單元(例如,浮動擴散)轉換以轉換成電壓。像素單元陣列可基於由電荷感測單元轉換之電壓而量測入射光之不同分量,並提供量測結果以用於產生場景之2D及3D影像。
本發明係關於影像感測器。更具體而言且非限制性,本發明係關於像素單元。本發明亦關於操作像素單元之電路系統以產生入射光之強度的數位表示。
在一個實例中,一種設備包含:複數個光電二極體,每一光電二極體被配置以將一波長範圍之入射光的分量轉換成電荷;一或多個電荷感測單元;一或多個類比至數位轉換器(ADC);一記憶體;及一控制器,該控制器被配置以:啟用每一光電二極體以回應於該入射光之不同分量而產生電荷;將該電荷從該複數個光電二極體轉移至該一或多個電荷感測單元以轉換成電壓;接收對複數個量化程序中之一或多個量化程序的選擇,所述複數個量化程序對應於複數個強度範圍;基於該選擇,控制該一或多個ADC以執行所選定的一或多個量化程序,以將來自該一或多個電荷感測單元之電壓量化成表示不同波長範圍之像素的分量的數位值;將所述數位值中之至少一些數位值儲存於該記憶體中;及基於儲存於該記憶體中的所述數位值中之該至少一些數位值而產生像素值。
在一些態樣中,每一光電二極體被配置以在一積分週期內將該電荷之至少一部分累積為殘餘電荷直至每一光電二極體飽和為止,並在該光電二極體飽和之後將剩餘電荷作為溢出電荷轉移至該一或多個電荷感測單元。該一或多個電荷感測單元包含具有一可組態容量之電荷儲存裝置。該複數個量化操作包含:第一量化操作,其用以產生表示由配置在最大容量下之該電荷儲存裝置所接收之該溢出電荷的量之第一數位值,該第一量化操作與第一強度範圍相關聯;及第二量化操作,其用以在將該殘餘電荷轉移至配置在最小容量下之該電荷儲存裝置之後,產生表示儲存於該電荷儲存裝置處之該殘餘電荷的量之第二數位值,該第二量化操作與低於該第一強度範圍之第二強度範圍相關聯。
在一些態樣中,該複數個量化操作包含第三量化操作,其用以產生表示由該溢出電荷所引起的該電荷儲存裝置之飽和時間的第三數位值。
在一些態樣中,該設備進一步包含一光接收表面,該複數個光電二極體通過該光接收表面接收該入射光。該複數個光電二極體相對於該光接收表面形成一堆疊結構,使得每一光電二極體與該光接收表面分離不同的距離。由每一光電二極體轉換之分量係基於每一光電二極體與該光接收表面之間的各別距離。
在一些態樣中,該設備進一步包含在該光接收表面之第一側上的一濾光片陣列,該濾光片陣列具有定位於該光接收表面之該第一側上的複數個位置處之濾光片元件,以設定在各別位置處進入該光接收表面的該入射光之分量。該複數個光電二極體對應於複數個子像素,且定位於該光接收表面之第二側上的複數個位置處以接收該入射光之各別分量。
在一些態樣中,該設備進一步包含一單個微透鏡,其在包括該濾光片陣列之複數個濾光片陣列上方,且被配置以將從一場景之一個光點接收到之該入射光朝向該光接收表面之該第一側上的該複數個位置投射。
在一些態樣中,該設備進一步包含複數個微透鏡,該複數個微透鏡包括第一微透鏡,該第一微透鏡覆蓋該濾光片陣列且被配置以將從一場景之一個光點接收到之該入射光朝向該光接收表面之該第一側上的該複數個位置投射。
在一些態樣中,該一或多個感測單元包含一單個電荷感測單元。該一或多個ADC包含與該單個電荷感測單元之輸出耦接之一單個ADC。該設備進一步包含複數個開關,每一開關耦接於該複數個光電二極體中之一光電二極體與該單個電荷感測單元之輸入之間。該控制器被配置以:控制該複數個開關以將由每一光電二極體產生之電荷轉移至該單個電荷感測單元以轉換成電壓;及控制該單個ADC以量化由該單個電荷感測單元產生之電壓。
在一些態樣中,該控制器被配置以:控制該複數個開關中之第一開關,以將第一溢出電荷自該複數個光電二極體中之第一光電二極體轉移至該單個電荷感測單元以轉換成第一電壓;基於該選擇,控制該單個ADC以對該第一電壓執行該第一量化操作或該第三量化操作中之至少一者以產生第一數位值;控制該第一開關以將第一殘餘電荷自該第一光電二極體轉移至該單個電荷感測單元以轉換成第二電壓;基於該選擇,控制該單個ADC以對該第二電壓執行該第二量化操作以產生第二數位值;控制該複數個開關中之第二開關,以將第二殘餘電荷自該複數個光電二極體中之第二光電二極體轉移至該單個電荷感測單元以轉換成第三電壓;基於該選擇,控制該單個ADC以對該第三電壓執行該第二量化操作以產生第三數位值;以及從該記憶體輸出,以基於該第一數位值及該第二數位值中之一者而產生該像素值。
在一些態樣中,所述光電二極體中之每一者具有用於儲存該殘餘電荷之不同全井容量。該控制器被配置以:控制該複數個開關,以將溢出電荷同時自該複數個光電二極體中之每一光電二極體轉移至該單個電荷儲存單元以產生第一電壓;及基於該選擇,控制該單個ADC以使用該第一量化操作或該第三量化操作中之至少一者來量化該第一電壓以產生第一數位值;控制該複數個開關,以將殘餘電荷在不同時間處自每一光電二極體轉移至該單個電荷儲存單元,以產生各自對應於來自每一光電二極體之各別殘餘電荷的第二電壓;基於該選擇,控制該單個ADC以使用該第二量化操作來量化該第二電壓以產生第二數位值;及基於該第一數位值及該第二數位值而產生該像素值。
在一些態樣中,該控制器被配置以在第一時間週期內:控制該複數個開關,以將溢出電荷在不同時間處自該複數個光電二極體中之每一光電二極體轉移至該單個電荷感測單元,以產生各自對應於來自每一光電二極體之各別溢出電荷的第一電壓;及基於該選擇,控制該單個ADC以使用該第一量化操作或該第三量化操作中之至少一者來量化該第一電壓以產生第一數位值。該控制器進一步被配置以在第二時間週期內:控制該複數個開關,以將殘餘電荷在不同時間處自每一光電二極體轉移至該單個電荷儲存單元,以產生各自對應於來自每一光電二極體之各別殘餘電荷的第二電壓;及基於該選擇,控制該單個ADC以使用該第二量化操作來量化該第二電壓以產生第二數位值;及基於該第一數位值及該第二數位值中之至少一些數位值而產生該像素值。
在一些態樣中,該一或多個感測單元包含對應於該複數個光電二極體之複數個電荷感測單元。該設備進一步包含複數個開關,每一開關耦接於該複數個電荷感測單元中之每一電荷感測單元與該複數個光電二極體中之一對應光電二極體之間。
在一些態樣中,該控制器被配置以:啟用該複數個光電二極體中之第一光電二極體,以將第一電荷轉移至該複數個電荷感測單元中之第一電荷感測單元以產生第一電壓;啟用該複數個光電二極體中之第二光電二極體,以將第二電荷轉移至該複數個電荷感測單元中之第二電荷感測單元以產生第二電壓;基於該選擇,控制該一或多個ADC以對該第一電壓執行該第一量化操作以產生第一數位值,接著對該第二電壓進行該第二量化操作或該第三量化操作以產生第二數位值;及基於該第一數位值及該第二數位值而產生該像素值。
在一些態樣中,該控制器被配置以在第一時間週期內:啟用該複數個光電二極體中之第一光電二極體以回應於該入射光而產生第一電荷;啟用該第一光電二極體以將該第一電荷之第一溢出電荷轉移至該複數個電荷感測單元中之第一電荷感測單元以產生第一電壓;及基於該選擇,控制該一或多個ADC以對該第一電壓執行該第三量化操作以產生表示第一飽和時間之第一數位值。該控制器進一步被配置以在第二時間週期內:啟用該複數個光電二極體中之第二光電二極體以回應於該入射光而產生第二電荷;啟用該第二光電二極體以將該第二電荷之第二溢出電荷轉移至該複數個電荷感測單元中之第二電荷感測單元以產生第二電壓;及基於該選擇,控制該一或多個ADC以對該第二電壓執行該第三量化操作以產生表示第二飽和時間之第二數位值。該控制器進一步被配置以基於該第一數位值及該第二數位值而產生該像素值。
在一些態樣中,該複數個電荷感測單元包含第一電荷感測單元、第二電荷感測單元、第三電荷感測單元及第四電荷感測單元。該一或多個ADC包含第一ADC及第二ADC。該控制器被配置以:控制該第一ADC以量化來自該第一電荷感測單元之第一電壓及來自該第二電荷感測單元之第二電壓;及控制該第二ADC以量化來自該第三電荷感測單元之第三電壓及來自該第二電荷感測單元之第三電壓。
在一些態樣中,該控制器被配置以將每一個數位值儲存於該記憶體中。
在一些態樣中,該控制器被配置以:控制該一或多個ADC以基於量化對應於由該複數個光電二極體中之第一光電二極體產生的電荷之第一電壓而產生第一數位值;將該第一數位值儲存於該記憶體中;讀取該第一數位值以計算該像素值;控制該一或多個ADC以基於量化對應於由該複數個光電二極體中之第二光電二極體產生的電荷之第二電壓而產生第二數位值;在該記憶體中以該第二數位值覆寫該第一數位值;及讀取該第二數位值以計算該像素值。
在一個實例中,提供一種方法。該方法包含:啟用一像素單元之複數個光電二極體中之每一光電二極體以回應於由該像素單元接收之入射光的不同分量而產生電荷;將該電荷自該複數個光電二極體轉移至一或多個電荷感測單元以轉換成電壓;針對該複數個光電二極體中之每一光電二極體,接收對複數個量化程序中之一或多個量化程序的選擇,所述複數個量化程序對應於複數個強度範圍;基於該選擇,控制一或多個ADC以執行所選定的一或多個量化程序,以將來自該一或多個電荷感測單元之電壓量化成表示不同波長範圍之像素的分量的數位值;將所述數位值中之至少一些數位值儲存於一記憶體中;及基於儲存於該記憶體中的所述數位值中之該至少一些數位值而產生像素值。
在一些態樣中,該複數個量化程序包含:用以量測在該複數個光電二極體中之第一光電二極體飽和之前在該第一光電二極體處累積之殘餘電荷的量的第一量化程序、用以量測在該第一光電二極體飽和之後由該第一光電二極體轉移之溢出電荷的量的第二量化程序,及用以量測由來自該第一光電二極體之該溢出電荷所引起的該一或多個電荷感測單元之飽和時間的第三量化程序。
在以下描述中,出於解釋之目的,闡述特定細節以便提供對某些本發明實例之透徹理解。然而,將顯而易見的係,各種實例可在無此等特定細節之情況下得以實踐。圖式及描述並不意欲為限制性的。
典型影像感測器包括像素單元陣列。每一像素單元包括光電二極體以藉由將光子轉換成電荷(例如,電子或電洞)來量測入射光強度。由光電二極體產生之電荷可由包括浮動汲極節點之電荷感測單元轉換成電壓。電壓可由類比至數位轉換器(ADC)量化成數位值。數位值可表示由像素單元接收到之光的強度,且可形成可對應於自場景之光點接收到之光的像素。可自像素單元陣列之數位輸出導出包含像素陣列之影像。
影像感測器可用於執行不同成像模式,諸如2D及3D感測。該2D及3D感測可基於不同波長範圍之光來執行。例如,可見光可用於2D感測,而不可見光(例如,紅外光)可用於3D感測。影像感測器可包括光學濾光片陣列以允許不同光學波長範圍及色彩(例如,紅色、綠色、藍色、單色等)之可見光至經指派用於2D感測之第一像素單元集合,且不可見光至經指派用於3D感測之第二像素單元集合。
為執行2D感測,像素單元處之光電二極體可以與入射於像素單元上之可見光分量(例如,紅色、綠色、藍色、單色等)的強度成比例之速率產生電荷,且在曝光週期中累積之電荷量可用於表示可見光(或可見光之某一色彩分量)之強度。電荷可暫時儲存於光電二極體處,且接著轉移至電容器(例如,浮動擴散)以產生電壓。電壓可由類比至數位轉換器(ADC)取樣及量化以產生對應於可見光之強度的輸出。可基於來自被配置以感測可見光之不同色彩分量(例如,紅色、綠色及藍色)之多個像素單元的輸出而產生影像像素值。
此外,為執行3D感測,不同波長範圍之光(例如,紅外光)可投射至物件上,且經反射光可由像素單元偵測。光可包括結構化光、光脈衝等。可使用像素單元輸出以基於例如偵測經反射結構化光之圖案、量測光脈衝之飛行時間等來執行深度感測操作。為偵測經反射結構化光之圖案,可判定由像素單元在曝光時間期間產生的電荷量之分佈,且可基於對應於電荷量之電壓而產生像素值。對於飛行時間量測,可判定在像素單元之光電二極體處產生電荷之時序,以表示在像素單元處接收到經反射光脈衝之時間。當光脈衝投射至物件時與當在像素單元處接收到經反射光脈衝時之間的時間差可用於提供飛行時間量測。
像素單元陣列可用於產生場景之資訊。在一些實例中,陣列內之一像素單元子集(例如,第一集合)可偵測光之可見光分量以執行場景之2D感測,且陣列內之另一像素單元子集(例如,第二集合)可偵測光之紅外光分量以執行場景之3D感測。2D與3D成像資料之融合適用於提供虛擬實境(VR)、擴增實境(AR)及/或混合實境(MR)體驗之許多應用。例如,可佩戴VR/AR/MR系統可執行系統之使用者所在的環境之場景重建。基於經重建之場景,VR/AR/MR可產生顯示效果以提供互動式體驗。為了重建場景,像素單元陣列內之一像素單元子集可執行3D感測,以例如識別環境中之實體物件的集合並判定實體物件與使用者之間的距離。像素單元陣列內之另一像素單元子集可執行2D感測,以例如捕獲包括此等實體物件之紋理、色彩及反射率之視覺屬性。場景之2D及3D影像資料可接著合併,以建立例如包括物件之視覺屬性的場景之3D模型。作為另一實例,可佩戴VR/AR/MR系統亦可基於2D與3D影像資料之融合而執行頭部追蹤操作。例如,基於2D影像資料,VR/AR/AR系統可提取某些影像特徵以識別一物件。基於3D影像資料,VR/AR/AR系統可追蹤所識別物件相對於由使用者佩戴之可佩戴裝置的位置。VR/AR/AR系統可基於例如在使用者之頭部移動時追蹤所識別物件相對於可佩戴裝置之位置改變來追蹤頭部移動。
使用不同的像素單元集合以用於感測不同入射光分量(例如,不同的可見光分量、可見光與紅外光等)會帶來許多挑戰。首先,因為僅陣列之一像素單元子集用於量測特定入射光分量,所以成像之空間解析度被降低。例如,在不同的像素單元子集用於2D成像或3D成像之情況下,2D影像與3D影像兩者之空間解析度皆低於在像素單元陣列處可獲得之最大空間解析度。同樣,用於成像特定可見光分量之空間解析度亦低於在像素單元陣列處可獲得之最大空間解析度。儘管解析度可藉由包括較多像素單元來改良,但此方法可導致影像感測器之外觀尺寸以及功率消耗增大,此兩者尤其對於可佩戴裝置而言係不當的。
此外,由於經指派以量測不同波長範圍之光之像素單元並未共置,因此不同的像素單元可捕獲場景之不同光點之資訊,此可使不同入射光分量之影像之間的映射複雜化。例如,接收可見光之某一色彩分量(用於2D成像)的像素單元及接收不可見光(用於3D成像)的像素單元亦可捕獲場景之不同光點的資訊。此等像素單元之輸出無法簡單地合併以產生2D及3D影像。當像素單元陣列在捕獲移動物件之2D及3D影像時,像素單元之輸出之間的對應性之缺乏(歸因於其不同位置)會惡化。雖然存在可用於使不同像素單元輸出相關以產生用於2D影像之像素之處理技術且存在可用於使2D與3D影像之間相關之處理技術(例如,內插),但此等技術典型地為計算密集型,且也會增大功率消耗。在用於重建2D影像的與不同可見光分量相關聯之像素單元的映射中會發生類似問題。
本發明係關於具有像素單元陣列且可提供來自場景之光點的入射光之不同分量的共置成像之影像感測器,且係關於提供全域快門操作。具體而言,每一像素單元可包括複數個光電二極體、一或多個電荷感測單元、一或多個類比至數位轉換器(ADC)、記憶體及控制器。複數個光電二極體中之每一光電二極體被配置以將入射光之分量轉換成電荷。控制器可將電荷自複數個光電二極體轉移至一或多個電荷感測單元以將電荷轉換成電壓。控制器亦可接收對複數個量化程序中之一或多個量化程序的選擇,所述複數個量化程序對應於複數個強度範圍,並基於該選擇而控制ADC執行經選定一或多個量化程序,以將來自一或多個電荷感測單元之電壓量化成表示像素之分量的數位值,該像素可對應於場景之光點。控制器亦可將數位值中之至少一些數位值儲存於記憶體中,並基於儲存於記憶體中的數位值中之至少一些數位值而產生像素值。來自像素單元陣列之像素值可表示用以支援全域快門操作的由每一像素單元在全域曝光週期內接收到之入射光。
提出了啟用複數個光電二極體以轉換來自場景之光點的入射光之不同分量的各種技術,像素單元包括複數個光電二極體通過其接收入射光之光接收表面。在一些實例中,複數個光電二極體相對於光接收表面形成堆疊結構,使得每一光電二極體與光接收表面分離不同的距離。在入射光傳播通過堆疊結構時,每一光電二極體可基於每一光電二極體與光接收表面之間的各別距離而吸收並轉換不同分量。在一些實例中,每一光電二極體可形成於半導體基板中。像素單元可藉由堆疊包含複數個光電二極體之複數個半導體基板而形成,其中光接收表面在堆疊中形成於頂部或底部半導體基板上。
在一些實例中,複數個光電二極體可側向地配置且距接收表面具有相同距離,其中每一光電二極體對應於子像素且被配置以自場景之同一光點接收入射光。濾光片陣列可定位於像素單元之光接收表面的第一側上。濾光片陣列可包括定位於光接收表面之第一側上的複數個位置處之濾光片元件,以設定在各別位置處進入光接收表面的入射光之分量。複數個光電二極體可在單個半導體基板中,並定位於光接收表面之第二側上的複數個位置處以接收入射光之各別分量。在一些實例中,一或多個微透鏡可定位於濾光片陣列上方,以將自場景之同一光點接收到之入射光朝向光接收表面之第一側上的複數個位置投射,使得每一光電二極體可作為子像素接收來自同一光點之入射光。
一或多個電荷感測單元可包括可組態之電荷儲存裝置,及用以將由複數個光電二極體產生之電荷轉換成電壓的緩衝器。可組態電荷儲存裝置可包括浮動汲極以累積來自複數個光電二極體之電荷來產生電壓。輔助電容器(例如,金屬電容器、金屬氧化物半導體(MOS)電容器等)可與浮動汲極連接或斷開以擴大或降低電荷儲存裝置之容量。緩衝器可緩衝電荷儲存裝置處之電壓以增大其驅動強度。在一個實例中,一或多個電荷感測單元可包括單個電荷感測單元,其可在複數個光電二極體當中共用以執行電荷至電壓轉換。在一個實例中,一或多個電荷感測單元可包括複數個電荷感測單元,其各自對應於複數個光電二極體中之一光電二極體且被配置以將由各別光電二極體產生之電荷轉換成電壓。在這兩個實例中,像素單元進一步包括複數個開關,其中每一開關耦接於光電二極體與共用/對應電荷感測單元之間,該些開關可由控制器控制以控制電荷自光電二極體至電荷感測單元之轉移。在一或多個ADC共用於複數個電荷感測單元當中之情況下,每一電荷感測單元亦可包括耦接於緩衝器與一或多個ADC之間的開關,該開關可由控制器控制以選擇哪個電荷感測單元將輸出電壓提供至一或多個ADC。
控制器可控制一或多個ADC以量化由一或多個電荷感測單元輸出之輸出電壓。一或多個ADC可共用於電荷感測單元之間(在像素單元包括多個電荷感測單元之情況下),或可包括與像素單元之單個電荷感測單元耦接之單個ADC。一或多個ADC可基於與不同強度範圍相關聯之不同量化操作而量化電壓,此可增大光強度量測操作之動態範圍。具體而言,每一光電二極體可在曝光週期內產生電荷量,其中電荷量表示入射光強度。每一光電二極體亦具有量子井以將電荷中之至少一些電荷儲存為殘餘電荷。對於低光強度範圍,光電二極體可將電荷整體作為殘餘電荷儲存於量子井中。對於中等光強度範圍,量子井可由殘餘電荷飽和,且光電二極體可將剩餘電荷作為溢出電荷轉移至一或多個電荷感測單元。量子井容量可基於光電二極體與電荷感測單元之間的開關上之偏壓電壓而設定。對於高光強度範圍,一或多個電荷感測單元中之電荷儲存裝置可由溢出電荷飽和。控制器可基於對溢出電荷及殘餘電荷之量測而控制一或多個ADC,以針對高強度範圍、中等強度範圍及低強度範圍執行不同量化操作。
具體而言,對於高光強度範圍之量測,控制器可控制一或多個ADC藉由量化電荷儲存裝置由溢出電荷飽和所花費之時間來執行飽和時間(TTS)量測操作。TTS量測可在曝光時間內,且當光電二極體與電荷感測單元耦接且電荷感測單元之輸出與一或多個ADC耦接時而執行。電荷儲存裝置之容量可藉由連接浮動汲極與輔助電容器而最大化以用於TTS操作。在TTS操作中,計數器可在曝光時間之開始處開始。一或多個ADC可比較電荷感測單元之輸出電壓與表示電荷儲存裝置之飽和限制的靜態臨限值以產生決策。當決策指示電荷感測單元之輸出達到臨限值時,可將來自計數器之計數值儲存於記憶體中以表示飽和時間。TTS操作可在光強度過高以使得電荷儲存裝置變得飽和,且電荷感測單元之輸出不再與所產生電荷量(及光強度)相關時執行,此可擴展動態範圍之上限。
對於其中電荷儲存裝置並未由溢出電荷飽和的中等強度範圍之量測,控制器可控制一或多個ADC執行FD ADC量測操作以量測儲存於電荷儲存裝置中之溢出電荷量。FD ADC量測可在曝光週期內,且當光電二極體與可暫時儲存溢出電荷並將所儲存電荷轉換成第一電壓之電荷感測單元耦接時而執行。一或多個ADC可比較第一電壓與第一斜坡電壓以產生決策。計數器可在斜坡電壓之開始點處開始計數,且記憶體可儲存第一斜坡電壓達到第一電壓時的計數值。所儲存計數值可表示溢出電荷之量。在多個電荷感測單元共用ADC之情況下,ADC可依序比較由每一電荷感測單元輸出之第一電壓與斜坡電壓以產生計數值。
對於其中光電二極體之量子井並未由殘餘電荷飽和的低強度範圍之量測,控制器可控制一或多個ADC執行PD ADC量測操作以量測儲存於光電二極體中之殘餘電荷量。為執行PD ADC量測操作,控制器可控制光電二極體與電荷感測單元之間的開關,以將殘餘電荷自光電二極體轉移至電荷儲存裝置中以轉換成第二電壓。電荷儲存裝置之容量亦可經降低(例如,藉由斷開輔助電容器)以最大化電荷至電壓轉換增益,此可減少量化誤差。一或多個ADC可比較第二電壓與第二斜坡電壓以產生決策。計數器可在第二斜坡電壓之開始點處開始計數,且記憶體可儲存第二斜坡電壓達到第二電壓時的計數值。所儲存計數值可表示殘餘電荷之量。PD ADC操作(及殘餘電荷之轉移)可在曝光週期之後執行。在多個光電二極體共用電荷感測單元之情況下,控制器可針對每一光電二極體依序執行PD ADC操作,其中控制器可控制開關以將殘餘電荷自一個光電二極體轉移至電荷感測單元以產生第二電壓,並控制ADC量化第二電壓,且接著針對其他光電二極體重複操作。由於殘餘電荷典型地對光電二極體中之暗電流較不敏感,因此低光強度量測之雜訊底限可降低,此可進一步擴展動態範圍之下限。
控制器可基於一或多個電荷感測單元及一或多個ADC在複數個光電二極體當中之共用配置以及對量化操作之選擇,控制ADC針對每一光電二極體執行前述量化操作中之一或多者。如上文所描述,單個電荷感測單元可共用於複數個光電二極體當中。在一些實例中,控制器可控制開關以允許每一光電二極體依次將溢出電荷轉移至單個電荷感測單元以產生第一電壓,接著可基於該選擇由ADC在TTS操作及/或FD ADC操作中量化該第一電壓。可在針對光電二極體之量化操作的開始之間重設電荷感測單元。在完成對溢出電荷之量化後,控制器可控制開關以允許每一光電二極體依次將殘餘電荷轉移至電荷感測單元,接著進行PD ADC操作以量測殘餘電荷。雖然此等配置允許每一光電二極體具有對電荷感測單元之相同存取且可對每一光電二極體之輸出執行相同的量化操作集合,但每一光電二極體可具有用於累積溢出電荷之不同有效曝光週期,此可降級全域快門操作。
在一些實例中,控制器亦可基於該選擇而允許第一光電二極體在曝光週期內將溢出電荷轉移至電荷感測單元以執行TTS及FD ADC操作。在曝光週期結束之後,控制器可控制開關以允許所有光電二極體依次將殘餘電荷轉移至電荷感測單元並執行PD ADC操作。當例如特定分量之強度相比於其他分量極高時(例如,在具有用於3D感測之強紅外光照射的暗環境中)可使用此等配置。可為每一光電二極體提供相同曝光週期,以針對強紅外光分量或其他弱得多之可見光分量累積電荷。可對偵測強紅外光分量之光電二極體之輸出執行TTS及FD ADC操作,而可對其他光電二極體之輸出執行PD ADC操作,此可改良低強度(用於可見光)及高強度(用於紅外光)量測操作兩者之動態範圍。
在一些實例中,控制器亦可允許一些或全部光電二極體同時將溢出電荷轉移至電荷感測單元。例如,被配置以偵測相同波長範圍之光電二極體可同時將溢出電荷轉移至電荷感測單元。此外,對於偵測不同波長範圍之光電二極體,控制器可設定其開關之偏壓以設定用於此等光電二極體之不同量子井容量。例如,控制器可降低與預期在其他波長範圍當中為最強之特定波長範圍相關聯的光電二極體之量子井容量,使得光電二極體相比其他光電二極體較可能將溢出電荷轉移至電荷感測單元。此等配置不僅為每一光電二極體提供相同曝光週期(如在上文所描述之實例中),且還增強光量測操作之靈活性。具體而言,雖然TTS/FD ADC操作輸出較可能表示入射光之預期最強分量的輸出,但當操作條件改變且其他分量之強度亦增大時,TTS/FD ADC操作輸出亦可反映入射光之其他高強度分量。
在每一光電二極體對電荷感測單元具有完全存取,但電荷感測單元共用一或多個ADC之情況下,控制器亦可基於ADC之共用而調適量化操作。例如,基於該選擇,控制器可控制電荷感測單元中之開關以將光電二極體中之一者(及其電荷感測單元)連接至ADC以在積分週期內執行TTS操作。在TTS操作完成之後,控制器可針對光電二極體中之每一者及對應電荷感測單元,控制ADC執行FD ADC操作及/或PD ADC操作(例如,基於該選擇)。在一些實例中,控制器亦可控制電荷感測單元中之開關以依次連接ADC來執行TTS操作。在針對所有光電二極體完成TTS操作之後,控制器可針對光電二極體中之每一者控制ADC依序執行FD ADC操作及/或PD ADC操作。
記憶體可被配置以儲存光電二極體中之每一者的量化結果。在一些實例中,記憶體可被配置以同時儲存所有光電二極體之量化結果。在一些實例中,每一光電二極體之量化結果可依序儲存於記憶體中。像素單元之一個光電二極體的量化結果可儲存於記憶體中,被讀出以用於產生像素值,且接著由像素單元之另一光電二極體的量化結果覆寫。
在本發明之實例的情況下,像素單元可對入射光之不同分量執行共置成像,此可支援共置之2D及3D成像操作。使同一像素單元集合執行對不同分量之感測可促進由像素單元產生的不同分量之影像之間的對應性。此外,鑒於像素單元陣列之每一像素單元皆可用以產生影像,可利用像素單元陣列之全空間解析度。結果,亦可改良影像之空間解析度。此外,典型地,ADC消耗許多功率且佔據許多空間。藉由在每一像素單元之光電二極體當中共用ADC,亦可降低影像感測器之外觀尺寸及功率消耗,同時像素單元陣列之每一像素單元的ADC可在相同全域曝光週期內基於由每一像素單元所接收之入射光而產生像素值,以支援全域快門操作來減少影像失真。
所揭示技術可包括人工實境系統或結合人工實境系統實施。人工實境為在呈現給使用者之前已以某一方式調整的實境形式,其可包括例如虛擬實境(VR)、擴增實境(AR)、混合實境(MR)、混雜實境或其某一組合及/或衍生物。人工實境內容可包括完全產生內容或與所捕獲之(例如,真實世界)內容組合之所產生內容。人工實境內容可包括視訊、音訊、觸覺反饋或其某一組合,其中之任一者可在單個通道中或在多個通道中(諸如,對檢視者產生三維效應之立體聲視訊)呈現。另外,在一些實例中,人工實境亦可與用以例如在人工實境中建立內容及/或以其他方式用於人工實境中(例如,在人工實境中執行活動)之應用、產品、配件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可實施於各種平台上,包括連接至主機電腦系統之頭戴式顯示器(HMD)、獨立式HMD、行動裝置或計算系統,或能夠將人工實境內容提供至一或多個檢視者之任何其他硬體平台。
1A 為近眼顯示器100之實例的圖式。近眼顯示器100向使用者呈現媒體。由近眼顯示器100呈現之媒體的實例包括一或多個影像、視訊及/或音訊。在一些實例中,音訊經由外部裝置(例如,揚聲器及/或頭戴式耳機)呈現,外部裝置自近眼顯示器100、控制台或此兩者接收音訊資訊,且基於音訊資訊而呈現音訊資料。近眼顯示器100大體上被配置以操作為虛擬實境(VR)顯示器。在一些實例中,近眼顯示器100經修改以操作為擴增實境(AR)顯示器及/或混合實境(MR)顯示器。
近眼顯示器100包括框架105及顯示器110。框架105耦接至一或多個光學元件。顯示器110被配置以使使用者看見由近眼顯示器100呈現之內容。在一些實例中,顯示器110包含用於將來自一或多個影像之光引導至使用者之眼睛的波導顯示器總成。
近眼顯示器100進一步包括影像感測器120a、120b、120c及120d。影像感測器120a、120b、120c及120d中之每一者可包括像素單元陣列,該像素單元陣列被配置以產生表示沿著不同方向之不同視場的影像資料。例如,感測器120a及120b可被配置以提供表示朝向沿著Z軸之方向A之兩個視場的影像資料,而感測器120c可被配置以提供表示朝向沿著X軸之方向B之視場的影像資料,且感測器120d可被配置以提供表示朝向沿著X軸之方向C之視場的影像資料。
在一些實例中,感測器120a至120d可被配置為輸入裝置以控制或影響近眼顯示器100之顯示內容,以向佩戴近眼顯示器100之使用者提供互動式VR/AR/MR體驗。例如,感測器120a至120d可產生使用者所在之實體環境的實體影像資料。實體影像資料可提供至位置追蹤系統以追蹤使用者在實體環境中之位置及/或移動路徑。系統可接著基於例如使用者之位置及定向而更新提供至顯示器110之影像資料以提供互動式體驗。在一些實例中,位置追蹤系統可運算SLAM演算法,以當使用者在實體環境內移動時追蹤實體環境中及使用者視場內之物件集合。位置追蹤系統可基於該物件集合而建構及更新實體環境之地圖,且追蹤使用者在該地圖內之位置。藉由提供對應於多個視場之影像資料,感測器120a至120d可向位置追蹤系統提供實體環境之較整體視圖,此可導致較多物件包括於地圖之構造及更新中。藉由此配置,可改良追蹤使用者在實體環境內之位置的準確性及穩定性。
在一些實例中,近眼顯示器100可進一步包括一或多個主動照明器130以將光投射至實體環境中。投射之光可與不同頻譜(例如,可見光、紅外光、紫外光等)相關聯,且可用於各種目的。例如,照明器130可在暗環境中(或在具有低強度紅外光、紫外光等之環境中)投射光,以輔助感測器120a至120d捕獲暗環境內之不同物件的影像,從而例如實現對使用者之位置追蹤。照明器130可將某些標記物投射至環境內之物件上,以輔助位置追蹤系統識別物件以用於地圖建構/更新。
在一些實例中,照明器130亦可實現立體成像。例如,感測器120a或120b中之一或多者可包括用於可見光感測之第一像素單元陣列及用於紅外(IR)光感測之第二像素單元陣列兩者。第一像素單元陣列可覆疊有彩色濾光片(例如,拜耳濾光片),其中第一像素單元陣列中之每一像素被配置以量測與特定色彩(例如,紅色、綠色或藍色中之一者)相關聯之光的強度。第二像素單元陣列(用於IR光感測)亦可覆疊有僅允許IR光通過之濾光片,其中第二像素單元陣列中之每一像素被配置以量測IR光之強度。像素單元陣列可產生物件之RGB影像及IR影像,其中IR影像之每一像素映射至RGB影像之每一像素。照明器130可將IR標記物之集合投射於物件上,物件之影像可由IR像素單元陣列捕獲。基於如影像中示出之物件之IR標記物的分佈,系統可估計物件之不同部分距IR像素單元陣列的距離,並基於距離而產生物件之立體影像。基於物件之立體影像,系統可判定例如物件相對於使用者之相對方位,且可基於相對方位資訊來更新提供至顯示器100之影像資料以提供互動式體驗。
如上文所論述,近眼顯示器100可在與極寬範圍之光強度相關聯的環境中操作。例如,近眼顯示器100可在室內環境中或在室外環境中及/或在當日之不同時間操作。近眼顯示器100亦可在主動照明器130接通或不接通之情況下操作。結果,影像感測器120a至120d可需要具有寬動態範圍,以能夠遍及與用於近眼顯示器100之不同操作環境相關聯的極寬範圍之光強度而適當地操作(例如,產生與入射光之強度相關的輸出)。
1B 為近眼顯示器100之另一實例的圖式。 1B 說明近眼顯示器100之面朝佩戴近眼顯示器100之使用者之眼球135的一側。如 1B 中所示,近眼顯示器100可進一步包括複數個照明器140a、140b、140c、140d、140e及140f。近眼顯示器100進一步包括複數個影像感測器150a及150b。照明器140a、140b及140c可朝向方向D(其與 1A 之方向A相反)發射某頻率範圍之光(例如,NIR)。所發射之光可與某一圖案相關聯,且可由使用者之左眼球反射。感測器150a可包括像素單元陣列以接收經反射光且產生經反射圖案之影像。類似地,照明器140d、140e及140f可發射攜載圖案之NIR光。NIR光可由使用者之右眼球反射,且可由感測器150b接收。感測器150b亦可包括像素單元陣列以產生經反射圖案之影像。基於來自感測器150a及150b的經反射圖案之影像,系統可判定使用者之凝視點,並基於判定之凝視點而更新提供至顯示器100之影像資料以向使用者提供互動式體驗。
如上文所論述,為了避免損害使用者之眼球,照明器140a、140b、140c、140d、140e及140f典型地被配置以輸出極低強度之光。在影像感測器150a及150b包含與 1A 之影像感測器120a至120d相同之感測器裝置的情況下,當入射光之強度極低時,影像感測器120a至120d可需要能夠產生與入射光之強度相關的輸出,此可進一步增大影像感測器之動態範圍要求。
此外,影像感測器120a至120d會需要能夠高速地產生輸出以追蹤眼球之移動。例如,使用者之眼球可執行極快移動(例如,掃視移動),其中可存在自一個眼球方位至另一眼球方位之快速跳轉。為了追蹤使用者之眼球的快速移動,影像感測器120a至120d需要高速地產生眼球之影像。例如,影像感測器產生影像圖框之速率(圖框速率)需要至少匹配眼球之移動速度。高圖框速率需要在產生影像圖框中所涉及之所有像素單元的短的總曝光時間,以及用於將感測器輸出轉換成用於影像產生之數位值的高速度。此外,如上文所論述,影像感測器亦需要能夠在具有低光強度之環境下操作。
2 1 中所說明之近眼顯示器100之橫截面200的實例。顯示器110包括至少一個波導顯示器總成210。出射光瞳230為在使用者佩戴近眼顯示器100時使用者之單個眼球220定位於眼眶區中的位置。出於說明之目的, 2 示出與眼球220及單個波導顯示器總成210相關聯之橫截面200,但第二波導顯示器用於使用者之第二眼睛。
波導顯示器總成210被配置以將成像光引導至位於出射光瞳230處之眼眶及眼球220。波導顯示器總成210可由具有一或多個折射率之一或多種材料(例如,塑膠、玻璃等)構成。在一些實例中,近眼顯示器100包括在波導顯示器總成210與眼球220之間的一或多個光學元件。
在一些實例中,波導顯示器總成210包括一或多個波導顯示器之堆疊,包括但不限於堆疊式波導顯示器、變焦波導顯示器等。堆疊式波導顯示器為藉由堆疊各別單色源具有不同色彩之波導顯示器而建立的多色顯示器(例如,紅綠藍(RGB)顯示器)。堆疊式波導顯示器亦為可投射於多個平面上之多色顯示器(例如,多平面彩色顯示器)。在一些組態中,堆疊式波導顯示器為可投射於多個平面上之單色顯示器(例如,多平面單色顯示器)。變焦波導顯示器為可調整自波導顯示器發射的成像光之聚焦方位之顯示器。在替代實例中,波導顯示器總成210可包括堆疊式波導顯示器及變焦波導顯示器。
3 說明波導顯示器300之實例的等角視圖。在一些實例中,波導顯示器300為近眼顯示器100之組件(例如,波導顯示器總成210)。在一些實例中,波導顯示器300為將成像光引導至特定位置之某一其他近眼顯示器或其他系統的部分。
波導顯示器300包括源總成310、輸出波導320及控制器330。出於說明之目的, 3 示出與單個眼球220相關聯之波導顯示器300,但在一些實例中,與波導顯示器300分開或部分分開之另一波導顯示器將成像光提供至使用者之另一眼睛。
源總成310產生成像光355。源總成310產生成像光355且將成像光355輸出至位於輸出波導320之第一側370-1上的耦合元件350。輸出波導320為將擴展之成像光340輸出至使用者之眼球220的光波導。輸出波導320在位於第一側370-1上之一或多個耦合元件350處接收成像光355,且將所接收之輸入成像光355導引至引導元件360。在一些實例中,耦合元件350將來自源總成310之成像光355耦合至輸出波導320中。耦合元件350可為例如繞射光柵、全訊光柵、一或多個級聯反射器、一或多個稜鏡表面元件及/或全像反射器陣列。
引導元件360將所接收之輸入成像光355重新引導至解耦元件365,使得所接收之輸入成像光355經由解耦元件365自輸出波導320解耦。引導元件360為輸出波導320之第一側370-1的部分或貼附至該第一側。解耦元件365為輸出波導320之第二側370-2的部分或貼附至該第二側,使得引導元件360與解耦元件365相對。引導元件360及/或解耦元件365可為例如繞射光柵、全訊光柵、一或多個級聯反射器、一或多個稜鏡表面元件及/或全像反射器陣列。
第二側370-2表示沿著x維度及y維度之一平面。輸出波導320可由促進成像光355之全內反射之一或多種材料構成。輸出波導320可由例如矽、塑膠、玻璃及/或聚合物構成。輸出波導320具有相對較小的外觀尺寸。例如,輸出波導320可沿著x維度為大約50 mm寬,沿著y維度為大約30 mm長,且沿著z維度為大約0.5至1 mm厚。
控制器330控制源總成310之掃描操作。控制器330判定用於源總成310之掃描指令。在一些實例中,輸出波導320以大視場(FOV)將擴展之成像光340輸出至使用者之眼球220。例如,擴展之成像光340經以60度及/或更大及/或150度及/或更小之對角線FOV(在x及y上)提供至使用者之眼球220。輸出波導320被配置以提供具有20 mm或更大及/或等於或小於50 mm之長度;及/或10 mm或更大及/或等於或小於50 mm之寬度的眼眶。
此外,控制器330亦基於由影像感測器370提供之影像資料而控制由源總成310產生之成像光355。影像感測器370可位於第一側370-1上,且可包括例如 1A 之影像感測器120a至120d以產生在使用者前方之實體環境的影像資料(例如,用於位置判定)。影像感測器370亦可位於第二側370-2上,且可包括 1B 之影像感測器150a及150b以產生使用者之眼球220的影像資料(例如,用於凝視點判定)。影像感測器370可與不位於波導顯示器300內之遠端控制台介接。影像感測器370可將影像資料提供至遠端控制台,該遠端控制台可判定例如使用者之位置、使用者之凝視點等,並判定待顯示給使用者之影像的內容。遠端控制台可將與所判定內容相關之指令傳輸至控制器330。基於指令,控制器330可控制成像光355由源總成310之產生及輸出。
4 說明波導顯示器300之橫截面400的實例。橫截面400包括源總成310、輸出波導320及影像感測器370。在 4 之實例中,影像感測器370可包括位於第一側370-1上之像素單元集合402,以產生在使用者前方之實體環境的影像。在一些實例中,在像素單元集合402與實體環境之間插入有機械快門404以控制像素單元集合402之曝光。在一些實例中,機械快門404可由電子快門閘代替,如下文將論述。像素單元402中之每一者可對應於影像之一個像素。儘管 4 中未示,但應理解,像素單元402中之每一者亦可覆疊有濾光片以控制待由像素單元感測之光的頻率範圍。
在接收到來自遠端控制台之指令之後,機械快門404可打開且在一曝光週期中曝光像素單元集合402。在曝光週期期間,影像感測器370可獲得入射於像素單元集合402上之光的樣本,並基於由像素單元集合402偵測到的入射光樣本之強度分佈而產生影像資料。影像感測器370可接著將影像資料提供至遠端控制台,該遠端控制台判定顯示內容,且將顯示內容資訊提供至控制器330。控制器330可接著基於顯示內容資訊判定成像光355。
源總成310根據來自控制器330之指令產生成像光355。源總成310包括源410及光學系統415。源410為產生相干或部分相干光之光源。源410可為例如雷射二極體、垂直共振腔面射型雷射及/或發光二極體。
光學系統415包括調節來自源410之光的一或多個光學組件。調節來自源410之光可包括例如根據來自控制器330之指令而擴展、準直及/或調整定向。一或多個光學組件可包括一或多個透鏡、液體透鏡、鏡面、孔徑及/或光柵。在一些實例中,光學系統415包括具有複數個電極之液體透鏡,其允許掃描具有掃描角度之臨限值的光束以使光束移位至液體透鏡外部的區。自光學系統415(及亦源總成310)發射之光被稱作成像光355。
輸出波導320接收成像光355。耦合元件350將來自源總成310之成像光355耦合至輸出波導320中。在耦合元件350為繞射光柵之實例中,選擇繞射光柵之間距使得在輸出波導320中發生全內反射,且成像光355在輸出波導320內部(例如,藉由全內反射)朝向解耦元件365傳播。
引導元件360將成像光355朝向解耦元件365重新引導以與輸出波導320解耦。在引導元件360為繞射光柵之實例中,選擇繞射光柵之間距以致使入射成像光355相對於解耦元件365之表面以傾斜角度射出輸出波導320。
在一些實例中,引導元件360及/或解耦元件365在結構上類似。射出輸出波導320的擴展之成像光340沿著一或多個維度擴展(例如,可沿著x維度伸長)。在一些實例中,波導顯示器300包括複數個源總成310及複數個輸出波導320。源總成310中之每一者發射具有對應於原色(例如,紅色、綠色或藍色)之特定波長帶的單色成像光。輸出波導320中之每一者可藉由一分開距離堆疊在一起以輸出多色的擴展之成像光340。
5 為包括近眼顯示器100之系統500之實例的方塊圖。系統500包含各自耦接至控制電路系統510之近眼顯示器100、成像裝置535、輸入/輸出介面540以及影像感測器120a至120d及150a至150b。系統500可被配置為頭戴式裝置、可佩戴裝置等。
近眼顯示器100為向使用者呈現媒體的顯示器。由近眼顯示器100呈現的媒體之實例包括一或多個影像、視訊及/或音訊。在一些實例中,音訊經由外部裝置(例如,揚聲器及/或頭戴式耳機)呈現,外部裝置自近眼顯示器100及/或控制電路系統510接收音訊資訊,且將基於音訊資訊之音訊資料向使用者呈現。在一些實例中,近眼顯示器100亦可充當AR眼鏡。在一些實例中,近眼顯示器100藉由電腦產生之元素(例如,影像、視訊、聲音等)擴增實體真實世界環境之視圖。
近眼顯示器100包括波導顯示器總成210、一或多個方位感測器525及/或慣性量測單元(IMU)530。波導顯示器總成210包括源總成310、輸出波導320及控制器330。
IMU 530為基於自方位感測器525中之一或多者接收到的量測信號而產生快速校準資料的電子裝置,該快速校準資料指示近眼顯示器100相對於近眼顯示器100之初始方位的估計方位。
成像裝置535可產生用於各種應用之影像資料。例如,成像裝置535可產生影像資料,以根據自控制電路系統510接收到之校準參數提供緩慢校準資料。成像裝置535可包括例如 1A 之影像感測器120a至120d,該些影像感測器用於產生使用者所在之實體環境的影像資料,從而用於執行對使用者之位置追蹤。成像裝置535可進一步包括例如 1B 之影像感測器150a至150b,該些影像感測器用於產生用於判定使用者之凝視點的影像資料以識別使用者所關注之物件。
輸入/輸出介面540為允許使用者將動作請求發送至控制電路系統510之裝置。動作請求為執行特定動作之請求。例如,動作請求可為開始或結束應用程式或執行該應用程式內之特定動作。
控制電路系統510根據自以下各者中之一或多者接收到的資訊將媒體提供至近眼顯示器100以供呈現給使用者:成像裝置535、近眼顯示器100及輸入/輸出介面540。在一些實例中,控制電路系統510可容納於被配置為頭戴式裝置之系統500內。在一些實例中,控制電路系統510可為與系統500之其他組件以通信方式耦接的獨立控制台裝置。在 5 中所示之實例中,控制電路系統510包括應用程式儲存器545、追蹤模組550及引擎555。
應用程式儲存器545儲存用於由控制電路系統510執行之一或多個應用程式。應用程式為在由處理器執行時產生供呈現給使用者之內容的一組指令。應用程式之實例包括:遊戲應用程式、會議應用程式、視訊播放應用程式或其他合適的應用程式。
追蹤模組550使用一或多個校準參數來校準系統500,且可調整一或多個校準參數以減少近眼顯示器100之方位判定中的誤差。
追蹤模組550使用來自成像裝置535之緩慢校準資訊來追蹤近眼顯示器100之移動。追蹤模組550亦使用來自快速校準資訊之方位資訊來判定近眼顯示器100之參考點的方位。
引擎555執行系統500內之應用程式,且自追蹤模組550接收近眼顯示器100之方位資訊、加速度資訊、速度資訊及/或預測之未來方位。在一些實例中,由引擎555接收到之資訊可用於向波導顯示器總成210產生判定呈現給使用者之內容之類型的信號(例如,顯示指令)。例如,為了提供互動式體驗,引擎555可基於使用者之位置(例如,由追蹤模組550提供)或使用者之凝視點(例如,基於由成像裝置535提供之影像資料)、物件與使用者之間的距離(例如,基於由成像裝置535提供之影像資料)而判定待呈現給使用者之內容。
6 說明影像感測器600之實例。影像感測器600可為近眼顯示器100之部分,且可提供2D及3D影像資料至 5 之控制電路系統510以控制近眼顯示器100之顯示內容。如 6 中所示出,影像感測器600可包括像素單元陣列602,該陣列包括像素單元602a。像素單元602a可包括複數個光電二極體612(包括例如光電二極體612a、612b、612c及612d)、一或多個電荷感測單元614及一或多個類比至數位轉換器616。複數個光電二極體612可將入射光之不同分量轉換成電荷。例如,光電二極體612a至612c可對應於不同可見光通道,其中光電二極體612a可將可見光藍色分量(例如,450至490奈米(nm)之波長範圍)轉換成電荷。光電二極體612b可將可見光綠色分量(例如,520至560 nm之波長範圍)轉換成電荷。光電二極體612c可將可見光紅色分量(例如,635至700 nm之波長範圍)轉換成電荷。此外,光電二極體612d可將紅外光分量(例如,700至1000 nm)轉換成電荷。一或多個電荷感測單元614中之每一者可包括電荷儲存裝置及用以將由光電二極體612a至612d產生之電荷轉換成電壓的緩衝器,所述電壓可由一或多個ADC 616量化成數位值。自光電二極體612a至612c產生之數位值可表示像素之不同可見光分量,且每一分量可用於特定可見光通道中之2D感測。此外,自光電二極體612d產生之數位值可表示同一像素之紅外光分量且可用於3D感測。儘管圖6示出像素單元602a包括四個光電二極體,但應理解像素單元可包括不同數目個光電二極體(例如,兩個、三個等)。
另外,影像感測器600亦包括照明器622、光學濾光片624、成像模組628及感測控制器630。照明器622可為可投射紅外光用於3D感測之紅外光照明器,諸如雷射、發光二極體(LED)等。投射之光可包括例如結構化光、光脈衝等。光學濾光片624可包括濾光片元件陣列,其覆疊在包括像素單元606a之每一像素單元的複數個光電二極體612a至612d上。每一濾光片元件可設定由像素單元606a之每一光電二極體接收的入射光之波長範圍。例如,光電二極體612a上方之濾光片元件可透射可見光藍光分量而阻擋其他分量,光電二極體612b上方之濾光片元件可透射可見光綠光分量,光電二極體612c上方之濾光片元件可透射可見光紅光分量,而光電二極體612d上方之濾光片元件可透射紅外光分量。
影像感測器600進一步包括成像模組628。成像模組628可進一步包括用以執行2D成像操作之2D成像模組632及用以執行3D成像操作之3D成像模組634。操作可係基於由ADC 616提供之數位值。例如,基於來自光電二極體612a至612c中之每一者的數位值,2D成像模組632可產生表示每一可見光色彩通道之入射光分量的強度的像素值陣列,並產生每一可見光色彩通道之影像圖框。此外,3D成像模組634可基於來自光電二極體612d之數位值而產生3D影像。在一些實例中,基於數位值,3D成像模組634可偵測由物件之表面反射的結構化光之圖案,並比較所偵測圖案與由照明器622投射之結構化光的圖案,以判定表面之不同點相對於像素單元陣列之深度。為偵測經反射光之圖案,3D成像模組634可基於在像素單元處接收到之紅外光的強度而產生像素值。作為另一實例,3D成像模組634可基於由照明器622傳輸且由物件反射之紅外光的飛行時間而產生像素值。
影像感測器600進一步包括感測控制器640,以控制影像感測器600之不同組件執行物件之2D及3D成像。現參考 7A 7C ,其說明用於2D及3D成像之影像感測器600的實例操作。 7A 說明用於2D成像的實例操作。對於2D成像,像素單元陣列602可在包括自物件反射之可見光的環境中偵測可見光。例如,參考 7A ,可見光源700(例如,燈泡、太陽或環境可見光之其他源)可將可見光702投射至物件704上。可見光706可自物件704之光點708反射離開。可見光706亦可包括環境紅外光分量。可見光706可由光學濾光片陣列624過濾,以將可見光706之波長範圍w0、w1、w2及w3之不同分量分別傳遞至像素單元602a之光電二極體612a、612b、612c及612d。波長範圍w0、w1、w2及w3分別對應於藍色、綠色、紅色及紅外光。如 7A 中所示,由於紅外光照明器622並未接通,因此紅外光分量(w3)之強度係由環境紅外光貢獻且可極低。此外,可見光706之不同可見光分量亦可具有不同強度。電荷感測單元614可將由光電二極體產生之電荷轉換成電壓,所述電壓可由ADC 616量化成表示表示光點708之像素的紅色、藍色及綠色分量之數位值。參考圖7C,在產生數位值之後,感測控制器640可控制2D成像模組632基於數位值而產生包括影像集合710之影像集合,該集合包括紅色影像圖框710a、藍色影像圖框710b及綠色影像圖框710c,所述圖框各自表示藉由同一曝光週期714捕獲的場景之紅色、藍色或綠色彩色影像中之一者。來自紅色影像(例如,像素712a)、藍色影像(例如,像素712b)及綠色影像(例如,像素712c)之每一像素可表示來自場景之同一光點(例如,光點708)之光的可見光分量。不同影像集合720可由2D成像模組632在後續曝光週期724中產生。紅色影像710a、藍色影像710b及綠色影像710c中之每一者可表示特定色彩通道中之場景,且可經提供至應用程式以例如自特定色彩通道提取影像特徵。由於每一影像表示同一場景且影像之每一對應像素表示來自場景之同一光點的光,因此可改良不同色彩通道之間的影像之對應性。
此外,影像感測器600亦可執行物件704之3D成像。參考 7B ,感測控制器610可控制照明器622將紅外光732投射至物件704上,紅外光可包括光脈衝、結構化光等。紅外光732可具有700奈米(nm)至1毫米(mm)之波長範圍。紅外光734可自物件704之光點708反射離開,且可朝向像素單元陣列602傳播並穿過光學濾光片624,該光學濾光片可將(波長範圍w3之)紅外光分量提供至光電二極體612d以將其轉換成電荷。電荷感測單元614可將電荷轉換成電壓,該電壓可由ADC 616量化成數位值。參考 7C ,在產生數位值之後,感測控制器640可控制3D成像模組634基於數位值而產生作為曝光週期714內捕獲之影像710的部分的場景之紅外光影像710d。由於紅外光影像710d可表示紅外光通道中之同一場景,且紅外光影像710d之像素(例如,像素712d)表示來自場景之相同於影像710內之其他影像中的其他對應像素(像素712a至712c)之光點的光,因此亦可改良2D與3D成像之間的對應性。
8A 8D 說明像素單元中之光電二極體612之配置的實例。如 8A 中所示出,像素單元602a中之光電二極體612a至612d可沿著垂直於光接收表面800之軸線形成堆疊,像素單元602a通過該光接收表面接收來自光點804a之入射光802。例如,當光接收表面800平行於x軸及y軸時,光電二極體612a至612d可沿著縱軸(例如,z軸)形成堆疊。每一光電二極體可距光接收表面800具有不同的距離,且該距離可設定由每一光電二極體吸收並轉換成電荷的入射光802之分量。例如,光電二極體612a最接近光接收表面800,且可吸收在其他分量當中具有最短波長範圍之藍色分量並將其轉換成電荷。光812包括光802之剩餘分量(例如,綠色、紅色及紅外光)且可傳播至光電二極體612b,該光電二極體可吸收並轉換綠色分量。光822包括光812之剩餘分量(例如,紅色及紅外光)且可傳播至光電二極體612c,該光電二極體可吸收並轉換紅色分量。剩餘紅外光分量832可傳播至光電二極體612d以轉換成電荷。
每一光電二極體612a、612b、612c及612d可在單獨的半導體基板中,所述基板可經堆疊以形成影像感測器600。例如,光電二極體612a可在半導體基板840中,光電二極體612b可在半導體基板842中,光電二極體612c可在半導體基板844中,而光電二極體612d可在半導體基板846中。每一半導體基板可包括其他像素單元之其他光電二極體,諸如用以自光點804b接收光之像素單元602b。影像感測器600可包括另一半導體基板848,該基板可包括像素單元處理電路849,所述電路可包括例如電荷感測單元614、ADC 616等。每一半導體基板可連接至諸如金屬互連件850、852、854及856之金屬互連件,以將每一光電二極體處產生之電荷轉移至處理電路849。
8B 8D 說明光電二極體612之其他實例配置。如 8B 8D 中所示出,複數個光電二極體612可平行於光接收表面800側向地配置。 8B 之頂部圖示說明包括像素單元602a之像素單元陣列602的實例之側視圖,而 8B 之底部圖示說明包括像素單元602a之像素單元陣列602的俯視圖。如 8B 中所示出,在光接收表面800平行於x軸及y軸之情況下,光電二極體612a、612b、612c及612d亦可沿著x軸及y軸彼此鄰近地配置於半導體基板840中。像素單元602a進一步包括覆疊在光電二極體上之光學濾光片陣列860。光學濾光片陣列860可為光學濾光片624之部分。光學濾光片陣列860可包括覆疊在光電二極體612a、612b、612c及612d中之每一者上的濾光片元件,以設定由各別光電二極體接收之入射光分量的波長範圍。例如,濾光片元件860a覆疊在光電二極體612a上且可僅允許可見藍光進入光電二極體612a。此外,濾光片元件860b覆疊在光電二極體612b上且可僅允許可見綠光進入光電二極體612b。此外,濾光片元件860c覆疊在光電二極體612c上且可僅允許可見紅光進入光電二極體612c。濾光片元件860d覆疊在光電二極體612d上且可僅允許紅外光進入光電二極體612d。像素單元602a進一步包括一或多個微透鏡862,其可將來自場景之光點(例如,光點804a)之光864經由光學濾光片陣列860投射至光接收表面800之不同側向位置,此允許每一光電二極體變成像素單元602a之子像素且接收來自對應於像素的同一光點之光的分量。在一些實例中,一或多個微透鏡862可包括覆蓋像素單元陣列602之所有像素單元的微透鏡。在一些實例中,一或多個微透鏡862可包括在每一像素單元上方之微透鏡,及覆蓋多個像素單元之多個微透鏡。像素單元602a亦可包括半導體基板848,其可包括電路849(例如,電荷感測單元614、ADC 616等)以從由光電二極體產生之電荷產生數位值。半導體基板840及848可形成堆疊且可藉由互連件856連接。
光電二極體側向地配置且使用光學濾光片陣列以控制由光電二極體接收之光分量的 8B 之配置可提供眾多優點。例如,堆疊之數目及半導體基板之數目可減少,此不僅減少豎直高度且還減少半導體基板當中之互連件。此外,依賴於濾光片元件而非光之傳播距離來設定由每一光電二極體吸收之分量的波長範圍可在選擇波長範圍時提供靈活性。如 8C 之頂部圖示中所示出,像素單元陣列602可包括用於不同像素單元之不同光學濾光片陣列860。例如,像素單元陣列602之每一像素單元可具有為光電二極體612a及612b提供380至740 nm之波長範圍的單色通道(標記為「M」),且為光電二極體612d提供700至1000 nm之波長範圍的紅外光通道(標記為「NIR」)之光學濾光片陣列。但光學濾光片陣列亦可為不同像素單元提供不同的可見光色彩通道。例如,用於像素單元陣列602a、602b、602c及602d之光學濾光片陣列860可分別為像素單元陣列之光電二極體612c提供可見光綠色通道(標記為「G」)、可見光紅色通道(標記為「R」)、可見光藍色通道(標記為「B」)及可見光綠色通道。作為另一實例,如 8C 之底部圖示中所示出,每一光學濾光片陣列860可為每一像素單元陣列之光電二極體612b提供跨越380至1000 nm之波長範圍的單色及紅外光通道(標記為「M+NIR」)。
8D 說明用以提供 8C 中示出之實例通道的光學濾光片陣列860之實例。如 8D 中所示出,光學濾光片陣列860可包括光學濾光片之堆疊,以選擇由像素單元陣列內之每一光電二極體接收的光之波長範圍。例如,參考 8D 之頂部圖示,光學濾光片860a可包括形成堆疊之全傳遞元件870(例如,傳遞可見光及紅外光兩者之透明玻璃)及紅外光阻擋元件872,以為光電二極體612a提供單色通道。光學濾光片860b亦可包括全傳遞元件874及紅外光阻擋元件876以亦為光電二極體612b提供單色通道。此外,光學濾光片860c可包括傳遞綠色可見光(但拒絕其他可見光分量)之綠色傳遞元件876及紅外光阻擋元件878,以為光電二極體612c提供綠色通道。最後,光學濾光片860d可包括全傳遞元件880及可見光阻擋濾光片882(其可阻擋可見光但允許紅外光穿過),以為光電二極體612d提供紅外光通道。在另一實例中,如 8D 之底部圖示中所示出,光學濾光片860b可僅包括全傳遞元件872以為光電二極體612b提供單色及紅外光通道。
現參考 9A 9F ,其說明包括電荷感測單元614及ADC 616之實例的像素單元602a之額外組件。如 9A 中所示出,像素單元602a可包括光電二極體PD(例如,光電二極體612a)、快門開關M0、轉移開關M1、包含電荷儲存裝置902及可切換緩衝器904之電荷感測單元614,以及包含CC電容器、比較器906及輸出邏輯電路908之ADC 616。比較器906之輸出經由輸出邏輯電路908與可在像素單元602a內部或外部之記憶體912及計數器914耦接。像素單元602進一步包括用以控制開關、電荷感測單元614以及ADC 616之控制器920。如下文將描述,控制器920可基於入射光而設定用以累積電荷之曝光週期,且可控制電荷感測單元614及ADC 616執行與不同光強度範圍相關聯之多個量化操作以產生入射光之強度的數位表示。控制器920可接收用以選擇待執行(及待跳過)多個量化操作中之哪一者的選擇922。該選擇可來自代管使用入射光強度之數位表示的應用程式之主機裝置。控制器920可在像素單元602a內部或為感測控制器640之部分。每一開關可為諸如金屬氧化物半導體場效電晶體(MOSFET)、雙極接面電晶體(BJT)等之電晶體。
具體而言,快門開關M0可由控制器920提供之AB信號控制,以開始光電二極體PD可回應於入射光而產生並累積電荷之曝光週期。轉移開關M1可由控制器920提供之TG信號控制,以將電荷中的一些轉移至電荷儲存裝置902。在一個量化操作中,轉移開關M1可經偏壓為部分接通狀態以設定光電二極體PD之量子井容量,此亦設定儲存於光電二極體PD處之殘餘電荷量。在光電二極體PD被殘餘電荷飽和之後,溢出電荷可流過轉移開關M1至電荷儲存裝置902。在另一量化操作中,轉移開關M1可被完全接通以將殘餘電荷自光電二極體PD轉移至電荷儲存裝置以供量測。
電荷儲存裝置902具有可組態容量,且可將自開關M1轉移之電荷轉換成OF節點處之電壓。電荷儲存裝置902包括由M6開關連接之CFD 電容器(例如,浮動汲極)及CEXT 電容器(例如,MOS電容器)。M6開關可由LG信號啟用,以藉由並聯連接CFD 及CEXT 電容器而擴大電荷儲存裝置902之容量,或藉由將電容器彼此斷開而降低容量。電荷儲存裝置902之容量可經降低以用於量測殘餘電荷,以增大電荷至電壓增益並減少量化誤差。此外,電荷儲存裝置902之容量亦可經增大以用於量測溢出電荷,以降低飽和之可能性並改良非線性。如下文將描述,電荷儲存裝置902之容量可經調整以用於量測不同光強度範圍。電荷儲存裝置902亦與重設開關M2耦接,該重設開關可由控制器920提供之重設信號RST控制,以在不同量化操作之間重設CFD 及CEXT 電容器。
可切換緩衝器904可包括開關M3,其被配置為源極隨耦器以緩衝OF節點處之電壓來改良其驅動強度。經緩衝電壓可在ADC 616之輸入節點PIXEL_OUT處。M4電晶體為可切換緩衝器904提供電流源且可由VB信號偏壓。可切換緩衝器904亦包括由SEL信號啟用或停用之開關M5。當開關M5被停用時,源極隨耦器M3可自PIXEL_OUT節點斷開。如下文將描述,像素單元602a可包括各自包括可切換緩衝器904之多個電荷感測單元614,且電荷感測單元中之一者可在一個時間處基於SEL信號而與PIXEL_OUT(及ADC 616)耦接。
如上文所描述,由光電二極體PD在曝光週期內產生之電荷可暫時儲存於電荷儲存裝置902中並轉換成電壓。可基於電荷與入射光強度之間的預定關係量化電壓以表示入射光之強度。現參考 10 ,其說明針對不同光強度範圍相對於時間累積之電荷量。在特定時間點處累積之電荷的總量可反映在曝光週期內入射於 6 之光電二極體PD上之光的強度。當曝光週期結束時,可量測該量。可針對電荷之臨限量界定臨限值1002及臨限值1004,所述臨限值界定入射光強度之低光強度範圍1006、中等光強度範圍1008及高光強度範圍1010。例如,若總累積電荷低於臨限值1002(例如,Q1),則入射光強度處於低光強度範圍1006內。若總累積電荷介於臨限值1004與臨限值1002之間(例如,Q2),則入射光強度處於中等光強度範圍1008內。若總累積電荷高於臨限值1004,則入射光強度處於中等光強度範圍1010內。若光電二極體在整個低光強度範圍1006內未飽和且量測電容器在整個中等光強度範圍1008內未飽和,則對於低及中等光強度範圍,累積電荷之量可與入射光強度相關。
對低光強度範圍1006及中等光強度範圍1008以及臨限值1002及1004之界定可係基於光電二極體PD之全井容量及電荷儲存裝置902之容量。例如,可界定低光強度範圍706,使得在曝光週期結束時儲存於光電二極體PD中之殘餘電荷的總量低於或等於光電二極體之儲存容量,且臨限值1002可係基於光電二極體PD之全井容量。此外,可界定中等光強度範圍1008,使得在曝光週期結束時儲存於電荷儲存裝置902中之電荷的總量低於或等於量測電容器之儲存容量,且臨限值1004可係基於電荷儲存裝置902之儲存容量。典型地,臨限值1004可係基於電荷儲存裝置902之按比例調整儲存容量,以確保當量測儲存於電荷儲存裝置902中之電荷的量以用於強度判定時,量測電容器不飽和且所量測量亦與入射光強度相關。如下文將描述,臨限值1002及1004可用於偵測光電二極體PD及電荷儲存裝置902是否飽和,此可判定入射光之強度範圍。
另外,在入射光強度處於高光強度範圍1010內之情況下,在曝光週期結束之前,電荷儲存裝置902處累積之總溢出電荷可超出臨限值1004。由於額外電荷被累積,因此電荷儲存裝置902可在曝光週期結束之前達到全容量,且可能發生電荷洩漏。為了避免由於電荷儲存裝置902達到全容量而引起之量測誤差,可執行飽和時間量測以量測在電荷儲存裝置902處累積之總溢出電荷達到臨限值1004所花費之持續時間。電荷儲存裝置902處之電荷累積速率可基於臨限值1004與飽和時間之間的比率而判定,且在曝光週期結束時(若電容器具有無限容量)可能已累積於電荷儲存裝置902處之電荷的假設量(Q3)可根據電荷累積速率而藉由外插判定。假設電荷量(Q3)可提供高光強度範圍1010內之入射光強度的相當準確之表示。
返回參考 9 ,為量測高光強度範圍1010及中等光強度範圍1008,可由TG信號將轉移開關M1偏壓為部分接通狀態。例如,可基於光電二極體PD處產生之對應於光電二極體之全井容量的目標電壓來設定轉移開關M1之閘極電壓(TG)。藉由此類配置,僅溢出電荷(例如,在光電二極體飽和之後由光電二極體產生之電荷)將通過轉移開關M1轉移以到達電荷儲存裝置902,以量測飽和時間(對於高光強度範圍1010)及/或儲存於電荷儲存裝置902中之電荷的量(對於中等光強度範圍1008)。為量測中等及高光強度範圍,亦可最大化電荷儲存裝置902之容量(藉由連接CEXT 及CFD )以增大臨限值1004。
此外,為量測低光強度範圍1006,可以全接通狀態控制轉移開關M1以將儲存於光電二極體PD中之殘餘電荷轉移至電荷儲存裝置902。該轉移可在完成儲存於電荷儲存裝置902處之溢出電荷的量化操作之後且在重設電荷儲存裝置902之後發生。此外,可降低電荷儲存裝置902之容量。如上文所描述,降低電荷儲存裝置902之容量可增大電荷儲存裝置902處之電荷至電壓轉換比率,使得可針對某一量之所儲存電荷產生較高電壓。較高電荷至電壓轉換比率可降低由後續量化操作引入之量測誤差(例如,量化誤差、比較器偏移等)對低光強度判定之準確性的影響。量測誤差可對可由量化操作偵測及/或區分之最小電壓差設定限制。藉由增大電荷至電壓轉換比率,可降低對應於最小電壓差之電荷量,此又降低可由像素單元602a量測之光強度的下限且擴展動態範圍。
電荷儲存裝置902處累積之電荷(殘餘電荷及/或溢出電荷)可在OF節點處產生類比電壓,該類比電壓可由可切換緩衝器904在PIXEL_OUT處緩衝並由ADC 616量化。如 9 中所示出,ADC 616包括可由開關M8重設之比較器906及輸出邏輯電路908。ADC 616亦與記憶體912及計數器914耦接。計數器914可基於自由運行時脈信號而產生計數值之集合,而記憶體912可由比較器906經由輸出邏輯電路908控制以儲存由計數器914產生之計數值(例如,最新計數值)。記憶體912可例如為鎖存電路以基於如下文所描述之本端像素值而儲存計數器值。所儲存計數值可經由像素輸出匯流排816予以輸出。
比較器906可比較由CC電容器自PIXEL_OUT導出之類比電壓COMP_IN與臨限值VREF,並基於比較結果而產生決策VOUT。CC電容器可用於雜訊/偏移補償方案以將重設雜訊及比較器偏移資訊儲存於VCC電壓中,該電壓可被添加至PIXEL_OUT電壓以產生COMP_IN電壓,以抵消PIXEL_OUT電壓中之重設雜訊分量。當比較器906比較COMP_IN電壓與臨限值VREF以產生決策VOUT時,偏移分量保持在COMP_IN電壓中且可由比較器906之偏移抵消。若COMP_IN電壓等於或超過VREF,則比較器906可產生為邏輯一之VOUT。若COMP_IN電壓降為低於VREF,則比較器906亦可產生為邏輯零之VOUT。VOUT可控制鎖存信號,該信號控制記憶體912儲存來自計數器914之計數值。
11A 說明由ADC 616進行之飽和時間量測的實例。為了執行飽和時間量測,臨限值產生器(其可在像素單元602a外部)可產生固定VREF。固定VREF可經設定為對應於用於使電荷儲存裝置902飽和之電荷量臨限值(例如, 10 之臨限值1004)的電壓。計數器914可緊接在曝光週期開始之後(例如,緊接在停用快門開關M0之後)開始計數。在COMP_IN電壓歸因於電荷儲存裝置902處之溢出電荷累積而斜降(或取決於實施而斜升)時,時脈信號保持雙態觸發以更新計數器914處之計數值。COMP_IN電壓可在某一時間點處達到固定VREF臨限值,此致使VOUT自低翻轉為高。VOUT之改變可停止計數器914之計數,且計數器914處之計數值可表示飽和時間。
11B 說明量測電荷儲存裝置902處儲存之電荷量的實例。在量測開始之後,臨限值產生器可產生斜坡VREF,其取決於實施可斜升(在 11B 之實例中)或斜降。斜坡之速率可係基於供應至計數器914之時脈信號的頻率。在量測溢出電荷之情況中,斜坡VREF之電壓範圍可介於臨限值1004(用於使電荷儲存裝置902飽和之電荷量臨限值)與臨限值1002(用於使光電二極體PD飽和之電荷量臨限值)之間,該範圍可界定中等光強度範圍。在量測殘餘電荷之情況中,斜坡VREF之電壓範圍可係基於臨限值1002,且藉由電荷儲存裝置902之減少之容量按比例調整以用於殘餘電荷量測。在 11B 之實例中,可以均一量化步階執行量化程序,其中VREF針對每一時脈循環增大(或降低)相同量。VREF之增大(或降低)量對應於量化步階。當VREF達到COMP_IN電壓之一個量化步階內時,比較器906之VOUT翻轉,此可停止計數器914之計數,且計數值可對應於所累積以在一個量化步階內匹配COMP_IN電壓的量化步階之總數。計數值可變成儲存於電荷儲存裝置902處之電荷量的數位表示以及入射光強度之數位表示。
如上文所論述,當由ADC 616輸出之量位準所表示(例如,由量化步階之總數所表示)的電荷量與由ADC 808映射至量位準之實際輸入電荷量之間存在失配時,ADC 616可引入量化誤差。可藉由使用較小量化步階大小來減少量化誤差。在 11B 之實例中,可藉由VREF每時脈循環之增大(或降低)量來減少量化誤差。
儘管可藉由使用較小量化步階大小來減少量化誤差,但面積及執行速度可限制量化步階可減少多少。在較小量化步階大小之情況下,表示特定範圍之電荷量(及光強度)所需之量化步階的總數可增大。可能需要較大數目個資料位元來表示增大數目個量化步階(例如,8個位元表示255個步階,7個位元表示127個步階等)。較大數目個資料位元可能需要將額外匯流排添加至像素輸出匯流排816,此在像素單元601用於頭戴式裝置上或具有極有限空間之其他可佩戴裝置上的情況下可能並不可行。此外,在較大數目個量化步階大小之情況下,ADC 808可能需要在找到匹配(藉由一個量化步階)之量位準之前循環通過較大數目個量化步階,此導致處理功率消耗及時間增大且產生影像資料之速率降低。對於需要高圖框速率之一些應用(例如,追蹤眼球移動之應用),速率降低可能為不可接受的。
減少量化誤差之一種方式為採用非均一量化方案,其中遍及輸入範圍,量化步階不均一。 11C 說明針對非均一量化程序及均一量化程序之ADC碼(量化程序之輸出)與輸入電荷量位準之間的映射之實例。虛線說明用於非均一量化程序之映射,而實線說明用於均一量化程序之映射。對於均一量化程序,量化步階大小(由Δ1 表示)對於輸入電荷量之整個範圍係相同的。相比而言,對於非均一量化程序,量化步階大小取決於輸入電荷量而不同。例如,用於低輸入電荷量之量化步階大小(由Δs 表示)小於用於大輸入電荷量之量化步階大小(由ΔL 表示)。此外,對於相同的低輸入電荷量,可使用於非均一量化程序之量化步階大小(ΔS )小於用於均一量化程序之量化步階大小(Δ1 )。
採用非均一量化方案之一個優點為可減少用於量化低輸入電荷量之量化步階,此又減少量化低輸入電荷量之量化誤差,且可減少可由ADC 616區分之最小輸入電荷量。因此,減少之量化誤差可降低影像感測器之可量測光強度的下限,且動態範圍可增大。此外,儘管對於高輸入電荷量,量化誤差增大,但相比於高輸入電荷量,量化誤差可保持較小。因此,可減少引入至電荷之量測的總量化誤差。另一方面,覆蓋輸入電荷量之整個範圍的量化步階之總數可保持相同(或甚至減少),且可避免與增大量化步階之數目(例如,面積增大、處理速度降低等)相關聯的前述潛在問題。
11D 說明由像素ADC 808使用非均一量化程序來量化類比電壓之實例。相比於 11B (其採用均一量化程序),VREF隨每一時脈循環以非線性方式增大,其中最初具有較小斜率且稍後具有較大斜率。斜率之差異係歸因於不均勻量化步階大小。對於較低計數器計數值(其對應於較低輸入量範圍),使量化步階較小,因此VREF以較慢速率增大。對於較高計數器計數值(其對應於較高輸入量範圍),使量化步階較大,因此VREF以較高速率增大。非均一VREF斜率可基於例如改變計數器814之計數頻率、改變VREF電壓與計數器914之計數值之間的關係等來產生。在一些實例中, 11D 之非均一量化程序可用於低光強度範圍1006及中等光強度範圍1008之光強度判定。
返回參考 9 ,控制器920可基於選擇922執行TTS量化操作、量測溢出電荷量之量化操作(在下文中稱為「FD ADC」操作)及量測殘餘電荷量之量化操作(在下文中稱為「PD ADC」操作)。控制器920亦可跳過量化操作中之一或多者。輸出邏輯電路908可判定哪一量化操作將計數值儲存於記憶體912處。具體而言,輸出邏輯電路908包括暫存器集合932及934,以將量化操作之決策輸出儲存為FLAG_1及FLAG_2信號。基於FLAG_1及FLAG_2信號,控制器920可選擇三個階段中之一者中的計數值輸出以表示入射光強度。選定計數值可儲存於記憶體912中,且記憶體912可由NOR閘936基於FLAG_1及FLAG_2信號之組合鎖定,以防止後續量測階段覆寫記憶體912中之選定ADC碼輸出。在三階段量測程序結束時,控制器920可擷取儲存於記憶體912中之計數值且將計數值提供為表示入射光強度之數位輸出。
現參考 12 ,其說明由控制器920產生的像素單元602a之控制信號的實例序列。 12 說明AB、RST、COMP_RST、TG、LG及VREF相對於時間之改變。參考 12 ,時間T0與T1之間的週期可對應於第一重設階段,其中電荷儲存裝置902及比較器906可由控制器920藉由確證RST及COMP_RST信號來置於重設狀態下,同時可確證快門信號AB以防止由光電二極體PD產生之電荷到達電荷儲存裝置902。確證RST及LG信號兩者以重設CFD 及CEXT 電容器來將PIXEL_OUT設定為重設位準。在COMP_RST信號經確證且比較器906之正端子連接至Vref_high 之情況下,COMP_IN可被設定成Vref_high 及比較器偏移Vcomp_offset 之總和。此外,在RST信號經確證之情況下,PIXEL_OUT可被設定成重設電壓Vpixel_out_rst 且可包括重設雜訊VσKTC 。如下,第一取樣操作可由CC電容器執行以儲存VCC 電壓,其包括比較器偏移、重設雜訊及重設位準下之PIXEL_OUT電壓的分量:
Figure 02_image001
(等式1)
在時間T1處,釋放RST信號、AB信號及COMP_RST信號,此開始光電二極體PD可累積且轉移電荷之曝光週期(標記為Texposure )。曝光週期Texposure 可在時間T2處結束。在時間T1與T3之間,TG信號可將轉移開關M1設定為部分接通狀態以允許PD在光電二極體PD飽和之前累積殘餘電荷。若光強度處於 7 之中等或高強度範圍中,則光電二極體PD可飽和且經由轉移開關M1轉移溢出電荷。LG信號可保持經確證以在低增益模式下操作,其中CFD 電容器與CEXT 電容器並聯連接以形成電荷儲存裝置902來儲存溢出電荷。溢出電荷產生新PIXEL_OUT電壓Vpixel_out_sig1 。CC電容器可藉由添加VCC 電壓來將新PIXEL_OUT電壓Vpixel_out_sig1 以AC方式耦合至COMP_IN電壓中,該VCC 電壓包括重設雜訊及比較器偏移分量。新PIXEL_OUT電壓亦包括重設雜訊,該重設雜訊可由VCC 電壓之重設雜訊分量抵消。時間T1與T3之間的時間Tx時之COMP_IN電壓可為如下:
Figure 02_image003
(等式2)
在等式2中,Vpixel_out_sig1 與Vpixel_out_rst 之間的差表示儲存於電荷儲存裝置902中之溢出電荷量。COMP_IN電壓中之比較器偏移亦可抵消由比較器906在執行比較時引入之比較器偏移。
在時間T1與T3之間,可執行COMP_IN電壓之兩個量測階段,包括用於高光強度範圍1010之飽和時間(TTS)量測階段及用於中等光強度1008之溢出電荷量測的FD ADC階段。在時間T1與T2之間(Texposure ),可藉由用比較器906比較COMP_IN電壓與表示電荷儲存裝置902之飽和位準的靜態Vref_low 來執行TTS量測。當PIXEL_OUT電壓達到靜態VREF時,比較器906之輸出(VOUT)可跳變,且在VOUT跳變時來自計數器914之計數值可儲存至記憶體912中。在時間T2處,控制器920可在TTS階段結束時判定比較器906之VOUT的狀態,且可在VOUT經確證之情況下確證FLAG_1信號。FLAG_1信號之確證可指示電荷儲存裝置902飽和且可防止後續量測階段(FD ADC及PD ADC)覆寫儲存於記憶體912中之計數值。可接著提供來自TTS之計數值以表示在積分週期期間由光電二極體PD接收之光的強度。
在時間T2與T3之間(標記為TFDADC ),可藉由比較COMP_IN電壓與自Vref_low 斜坡至Vref_high 之斜坡VREF電壓來執行FD ADC操作,Vref_high 表示光電二極體PD之飽和位準(例如,臨限值1002),如 9B 中所描述。若比較器906之VOUT在FD ADC期間跳變,則在FLAG_1為低以指示電荷儲存裝置902不飽和時,在VOUT跳變時計數器914之計數值可儲存於記憶體912中。儘管曝光週期在時間T2處結束,但在時間T2與T3之間,光電二極體PD保持能夠累積殘餘電荷(若未飽和)或將溢出電荷轉移至電荷儲存裝置902。
在時間T3與T4之間(標記為TPDADC-transfer )可為第二重設階段,其中確證RST及COMP_RST信號兩者以重設電荷儲存裝置902(包含CFD 電容器與CEXT 電容器之並聯組合)及比較器906以準備用於後續PD ADC操作。可根據等式1設定VCC 電壓。
在釋放RST及COMP_RST之後,關斷LG以自CFD 斷開CEXT 以增大PD ADC操作之電荷至電壓轉換比率。TG經設定為完全接通M1轉移開關以將儲存於光電二極體PD中之殘餘電荷轉移至CFD 的位準。殘餘電荷產生新PIXEL_OUT電壓Vpixel_out_sig2 。CC電容器可藉由添加VCC 電壓來將新PIXEL_OUT電壓Vpixel_out_sig2 以AC方式耦合至COMP_IN電壓中。在時間T3與T4之間,除了在時間T1與T3之間產生之電荷之外,光電二極體PD保持能夠產生額外電荷,且將額外電荷轉移至電荷儲存裝置902。Vpixel_out_sig2 亦表示在時間T3與T4之間轉移之額外電荷。在時間T4處,COMP_IN電壓可為如下:
Figure 02_image005
(等式3)
在等式3中,Vpixel_out_sig2 與Vpixel_out_rst 之間的差表示在時間T3與T4之間由光電二極體轉移至電荷儲存裝置902之電荷量。COMP_IN電壓中之比較器偏移亦可抵消由比較器906在執行比較時引入之比較器偏移。
在時間T4處,確證AB信號以防止光電二極體PD累積及轉移額外電荷。此外,VREF可經設定為靜態位準Vref_low_margin 。比較器906可比較COMP_IN電壓與Vref_low_margin 以判定光電二極體PD是否飽和。Vref_low_margin 略微高於Vref_low ,Vref_low 表示光電二極體PD之飽和位準(例如,臨限值1002),以防止比較器906在殘餘電荷量接近但不超出飽和位準時錯誤地跳變。控制器920可判定比較器906之VOUT的狀態,且可在VOUT經確證以指示光電二極體PD飽和之情況下確證FLAG_2。若FLAG_2經確證,則可鎖定記憶體912以保留儲存於記憶體912中之計數值(來自FD ADC),且防止記憶體912由後續PD ADC操作覆寫。
在時間T4與T5之間,控制器920可藉由比較COMP_IN電壓與自Vref_low_margin 開始直至Vref_high 之VREF斜坡而執行PD ADC操作。在PD ADC階段中,Vref_high 可表示儲存於光電二極體PD中之殘餘電荷的最小可偵測量,而Vref_low_margin 可表示光電二極體PD之飽和臨限值,其具有容限以考慮暗電流,如上文所描述。若在PD ADC之前既未確證FLAG_1亦未確證FLAG_2,則可將比較器906在PD ADC期間跳變時獲得之計數值儲存至記憶體912中,且可提供來自PD ADC之計數值以表示光強度。
儘管 12 示出執行TTS、FD ADC及PD ADC操作,但應理解ADC 616(及像素單元602a)無需執行所有此等操作,且可基於選擇922而跳過其中之一些。如下文將描述,對於像素單元602a內之不同光電二極體,量化操作可發生變化。
現參考 13A ,其說明包括多個光電二極體之像素單元602a的實例。如 13A 中所示出,像素單元602a包括複數個光電二極體,包括PD0、PD1、PDn等。PD0、PD1及PDn可共用單個電荷感測單元614及單個ADC 616。光電二極體PD0、PD1、PDn可對應於光電二極體612a、612b及612c。每一光電二極體與各別快門開關及各別轉移開關耦接。例如,光電二極體PD0與快門開關M0a及轉移開關M1a耦接,光電二極體PD1與快門開關M0b及轉移開關M1b耦接,而光電二極體PDn與快門開關M0n及轉移開關M1n耦接。每一轉移開關與電荷儲存裝置902之OF節點耦接。控制器920可控制控制信號AB0、AB1及ABn(用於快門開關M0a、M0b及M0n)之時序及控制信號TG0、TG1及TGn(用於轉移開關M1a、M1b、M1n)之時序,以個別地啟用每一光電二極體來產生/累積殘餘電荷並將溢出電荷轉移至電荷感測單元614。另外,基於選擇922,控制器920亦可針對每一光電二極體執行量化操作。
13B 說明 13A 之像素單元602a的實例操作。在操作1302中,控制器920可控制快門開關M0a至M0n及轉移開關M1a至M1n,以使得每一光電二極體依次將溢出電荷轉移至單個電荷感測單元來產生第一電壓,接著可由ADC 616基於選擇922而在TTS操作及/或FD ADC操作中量化該電壓。例如,在操作1302中,控制器920可撤銷確證用於快門開關M0a、M0b及M0n之控制信號AB0、AB1及ABn,以針對光電二極體PD0、PD1及PDn開始曝光時間,使得每一光電二極體可回應於入射光之分量而產生並累積電荷。在時間T0與T2之間,控制器920可將電荷儲存裝置902配置在最大容量下,並藉由將轉移開關M1a偏壓為部分接通狀態而啟用光電二極體PD0以將溢出電荷轉移至電荷感測單元614,同時停用諸如M1b及M1n之其他轉移開關以防止其他光電二極體將溢出電荷轉移至電荷感測單元614。基於選擇922,控制器920可控制ADC 616在時間T0與T1之間執行TTS操作,接著在T1與T2之間執行FD ADC操作。可基於電荷儲存裝置902(配置在最大容量下)是否飽和而將表示PD0之TTS操作或FD ADC操作之輸出的數位值儲存於記憶體912中。控制器920可在時間T2與T3之間重設電荷儲存裝置902,並在時間T3與T5之間針對PD1重複前述操作,接著針對其他光電二極體重複前述操作。
在ADC 616完成對來自每一光電二極體之溢出電荷的量化操作之後,控制器920可允許每一光電二極體依次將殘餘電荷轉移至電荷感測單元614,接著進行PD ADC操作。例如,在時間T7與T8之間,控制器920可將電荷儲存裝置902配置在最小容量下,並將轉移開關M0a偏壓為完全接通狀態以將殘餘電荷自PD0轉移至電荷感測單元614,接著在時間T8與T9之間進行PD ADC操作以量化殘餘電荷。控制器920可在時間T9與T10之間重設電荷儲存裝置902以移除殘餘電荷,且接著在時間T10之後針對其他光電二極體(例如,PD1、PDn)重複此等操作。
雖然操作1302之配置允許每一光電二極體具有對電荷感測單元之相同存取且可對每一光電二極體之輸出執行相同的量化操作集合,但每一光電二極體對於溢出電荷可具有不同積分週期,此可降級全域快門操作。例如,光電二極體PD0之溢出電荷積分週期在時間T0與T2之間,而光電二極體PD1之溢出電荷積分週期在時間T3與T5之間。不同的積分週期會引起運動模糊,此係由於當影像感測器以高速移動時不同的光電二極體可自不同光點捕獲光,此可使影像失真並降級全域快門操作。
另一方面,在操作1304中,控制器920可控制快門開關M0a至M0n及轉移開關M1a至M1n,以僅允許一個光電二極體將溢出電荷轉移至電荷感測單元614以在曝光週期內執行TTS及FD ADC操作。例如,控制器920可在時間T0與T2之間將快門開關M0a設定為部分接通狀態以允許光電二極體PD0轉移溢出電荷,在該時間中ADC 616可執行TTS及FD ADC操作。控制器920可在時間T2與T3之間重設電荷儲存裝置902。在時間T3之後,控制器920可控制轉移開關M1a至M1n,以允許所有光電二極體依次將殘餘電荷轉移至電荷感測單元並執行PD ADC操作。例如,在時間T3與T5之間,光電二極體PD0可轉移殘餘電荷,接著進行PD ADC操作。當在時間T5與T6之間重設電荷儲存裝置902之後,另一光電二極體可轉移殘餘電荷,接著進行另一PD ADC操作。當例如特定分量之強度相比於其他分量極高時(例如,在具有用於3D感測之強紅外光照射的暗環境中)可使用此等配置。可為每一光電二極體提供相同曝光週期,以針對強紅外光分量或其他弱得多之可見光分量累積電荷。可對偵測強紅外光分量之光電二極體(例如,光電二極體PD0)之輸出執行TTS及FD ADC操作,而可對其他光電二極體之輸出執行PD ADC操作,此可改良低強度(用於可見光)及高強度(用於紅外光)量測操作兩者之動態範圍。
在一些實例中,控制器920亦可允許一些或全部光電二極體同時將溢出電荷或殘餘電荷轉移至電荷感測單元。此等配置可為分格操作之部分,在該操作中可部分或完全接通配置成偵測入射光之相同分量的光電二極體(例如, 8D 之光電二極體612a及612b,其皆偵測單色光)的轉移開關,以同時將溢出電荷或殘餘電荷轉移至電荷感測單元614。此等配置可減少依序量化操作之數目且可加速處理。在一些實例中,控制器920亦可允許偵測光之不同分量的光電二極體同時將溢出電荷轉移至電荷感測單元614,但設定轉移開關之偏壓以針對光電二極體設定不同量子井容量。例如,控制器可降低與預期在其他波長範圍當中為最強之特定波長範圍相關聯的光電二極體之量子井容量,使得光電二極體相比其他光電二極體較可能將溢出電荷轉移至電荷感測單元。此等配置不僅為每一光電二極體提供相同曝光週期(如在上文所描述之實例中),且還增強光量測操作之靈活性。具體而言,雖然TTS/FD ADC操作輸出較可能表示入射光之預期最強分量的輸出,但當操作條件改變且其他分量之強度亦增大時,TTS/FD ADC操作輸出亦可反映入射光之其他高強度分量。
在操作1302及1304兩者中,針對每一光電二極體執行之量化操作可係基於選擇922。例如,在操作1302中,基於選擇922,可針對PD0僅執行TTS操作,針對PD1僅執行FD操作等。此外,操作1304中選擇PD0以執行TTS及/或FD ADC操作亦可係基於選擇922。
現參考 14A ,其說明包括多個光電二極體之像素單元602a的另一實例。如 14A 中所示出,像素單元602a包括複數個光電二極體,包括PD0、PD1等;以及複數個電荷感測單元614,包括電荷感測單元614a、614b等。電荷感測單元614a包括電荷儲存裝置902a及可切換緩衝器904a,且被配置以將自光電二極體PD0轉移之殘餘電荷及溢出電荷轉換成電壓。電荷感測單元614b包括電荷儲存裝置902b及可切換緩衝器904b,且被配置以將自光電二極體PD1轉移之殘餘電荷及溢出電荷轉換成電壓。每一光電二極體與各別快門開關及各別轉移開關耦接。例如,光電二極體PD0與快門開關M0a及轉移開關M1a耦接,而光電二極體PD1與快門開關M0b及轉移開關M1b耦接。控制器920可控制控制信號AB0及AB1(用於快門開關M0a及M0b)、控制信號TG0及TG1(用於轉移開關M1a及M1b)以及控制信號RST0、LG0、RST1及LG1之時序,以個別地啟用每一光電二極體來產生/累積殘餘電荷並將溢出電荷轉移至各別電荷感測單元614。另外,基於選擇922,控制器920亦可控制控制信號SEL0及SEL1之時序,以為每一電荷感測單元614a及614b提供對ADC 616之存取來執行由選擇922選定之量化操作。
14B 說明 13A 之像素單元602a的實例操作。在操作1402中,控制器920可控制快門開關M0a至M0n及轉移開關M1a至M1n,以啟用每一光電二極體來同時將溢出電荷轉移至其各別電荷感測單元。例如,控制器920可撤銷確證用於快門開關M0a及M0b之控制信號AB0及AB1,以針對光電二極體PD0及PD1開始曝光時間,使得每一光電二極體可回應於入射光之分量而產生並累積電荷。然而,控制器920僅將電荷感測單元中之一者連接至ADC 616以執行TTS操作。例如,在時間T0與T1之間,控制器920可在曝光週期內確證SEL0,以將電荷感測單元614a之可切換緩衝器904連接至ADC 616來執行TTS操作。在T1之後,控制器920可控制每一電荷感測單元依次與ADC 616連接。當電荷感測單元與ADC 616連接時,可基於選擇922而執行FD ADC操作及PD ADC操作。例如,如操作1402中所示出,對於光電二極體PD0,在時間T1與T2之間執行FD ADC操作,接著在時間T3與T4之間進行PD ADC操作。控制器920接著可確證SEL1(而撤銷確證SEL0)以將電荷感測單元614b之可切換緩衝器904連接至ADC 616,以針對光電二極體PD1執行FD ADC操作(在時間T4與T5之間)及PD ADC操作(在時間T6與T7之間)。當例如光電二極體中之一者(例如,PD0)預期接收高強度光分量且結果其電荷儲存裝置預期飽和,而其他光電二極體預期接收中等/低強度光分量且其電荷儲存裝置並不預期變得飽和時可使用操作1402之配置。
在操作1404中,控制器920亦可允許每一光電二極體在開始於時間T0處之曝光週期期間依次執行TTS操作。例如,在時間T0與T1之間,控制器920可確證控制信號SEL0,以將電荷感測單元614a連接至ADC 616來針對PD0執行TTS操作。又,在時間T1與T2之間,控制器920可確證控制信號SEL1,以將電荷感測單元614b連接至ADC 616來針對PD1執行TTS操作。控制器920可針對其他光電二極體重複TTS操作。在時間T3處開始,控制器920可控制SEL0及SEL1信號之時序,以允許每一電荷感測單元依次與ADC 616連接來執行FD ADC操作及PD ADC操作。例如,針對PD0在時間T3與T4之間執行FD ADC操作,針對PD0在時間T5與T6之間執行PD ADC操作,接著針對PD1在時間T6與T7之間執行FD ADC操作,且針對PD1在時間T7與T8之間執行PD ADC操作。
在操作1402及1404兩者中,針對每一光電二極體執行之量化操作可係基於選擇922。例如,在操作1402中,基於選擇922,可針對PD0僅執行TTS操作,針對PD1僅執行FD操作等。此外,操作1402中選擇PD0以執行TTS及/或FD ADC操作亦可係基於選擇922。
13A 14B 中,記憶體912可被配置以儲存光電二極體中之每一者的量化結果。在一些實例中,記憶體912可被配置以同時儲存所有光電二極體之量化結果。在一些實例中,每一光電二極體之量化結果可依序儲存於記憶體912中。具體而言,像素單元之一個光電二極體的量化結果可經儲存於記憶體中,經讀出以用於產生像素值,且接著由像素單元之另一光電二極體的量化結果覆寫。
儘管 14A 說明在複數個電荷感測單元當中共用一ADC 616,但應理解,像素單元可包括由電荷感測單元之子集共用的多個ADC。例如,在像素單元包括四個光電二極體及四個電荷感測單元之情況下,每一對電荷感測單元可共用一個ADC且像素單元可包括兩個ADC。此等配置可減少每一ADC待執行之依序量化操作之數目,此可減少產生數位輸出所花費之時間且可增大圖框速率。
15 說明用於量測光之不同分量的強度之方法1500的流程圖。方法1500可由例如影像感測器600之各種組件執行,包括像素單元602a、記憶體912、計數器914及如 13A 14A 中所示出之控制器920。
方法1500以步驟1502開始,其中控制器920可啟用像素單元602a之複數個光電二極體(例如,PD0、PD1、PDn等)中之每一光電二極體,以回應於入射光之不同分量而產生電荷。如上文所描述,像素單元602a可包括複數個光電二極體。在一些實例中,如 8A 中所示出,光電二極體可經堆疊以距光接收表面具有不同的距離,此可設定由每一光電二極體吸收之光分量的波長。在一些實例中,如 8B 8C 中所示出,光電二極體可經側向地配置以形成像素單元之子像素,且可覆疊有一或多個微透鏡及一或多個光學濾光片陣列以選擇由每一光電二極體接收之光分量的波長。控制器可藉由停用與每一光電二極體耦接之快門開關(例如,M0a、M0b等)來啟用每一光電二極體,以回應於各別光分量而產生電荷。
在步驟1504中,控制器可將由複數個光電二極體產生之電荷轉移至一或多個電荷感測單元614以將電荷轉換成電壓。電荷可包括每一光電二極體處累積之殘餘電荷,以及在光電二極體飽和之後由每一光電二極體轉移之溢出電荷。在一些實例中,如 14A 中所示出,光電二極體共用單個電荷感測單元614。每一光電二極體經由轉移開關(例如,M1a、M1b、M1n等)與單個電荷感測單元耦接。控制器可控制轉移開關以控制每一光電二極體何時將溢出電荷轉移至單個電荷感測單元之時序,如 13B 中所描述。在一些實例中,如 14B 中所示出,每一光電二極體可具有對應電荷感測單元614,且控制器可允許每一光電二極體同時將溢出電荷轉移至其各別電荷感測單元614。
在步驟1506中,控制器可針對複數個光電二極體中之每一光電二極體,接收對複數個量化程序中之一或多個量化程序的選擇,所述複數個量化程序對應於複數個強度範圍。複數個量化程序可例如包括:用以量測電荷感測單元由溢出電荷飽和之時間的飽和時間(TTS)量測操作、用以量測溢出電荷量之FD ADC量測操作,及用以量測殘餘電荷量之PD ADC量測操作。TTS操作可係針對高光強度範圍,FD ADC量測操作可係針對中等光強度範圍,而PD ADC量測操作可係針對低光強度範圍。
對量化操作之選擇可特定針對於例如在光電二極體當中共用之電荷感測單元。例如,參考 13B ,該選擇可包括選擇每一光電二極體基於溢出電荷而在不同時間處執行TTS及FD ADC操作,接著針對每一光電二極體進行殘餘電荷轉移及PD ADC操作。該選擇亦可包括選擇光電二極體中之一者基於來自光電二極體之溢出電荷而執行TTS及FD ADC操作,接著針對每一光電二極體進行殘餘電荷轉移及PD ADC操作。作為另一實例,參考 14B ,該選擇可包括選擇每一光電二極體依次執行TTS、FD ADC及PD ADC操作,選擇每一光電二極體依次執行TTS操作,接著進行FD ADC及PD ADC操作。
在步驟1508中,控制器可控制一或多個ADC 616執行選定量化操作,以將來自一或多個電荷感測單元之電壓量化成表示不同波長範圍之像素的分量的數位值。例如,對於光電二極體中之一者,可基於TTS、FD ADC及PD ADC操作產生數位值,而對於其他光電二極體,可基於FD ADC及PD ADC操作產生數位值。量化可由比較器(例如,比較器906)比較電壓與靜態臨限值(對於TTS)或斜坡臨限值(對於FD ADC及PD ADC)來執行,以控制記憶體912何時自計數器914儲存計數值。計數值可為數位值。
在步驟1510中,控制器可將數位值中之至少一些數位值儲存於記憶體912中。在一些實例中,記憶體912可具有充分容量以儲存每一光電二極體之表示像素之分量的數位值。在一些實例中,記憶體912可儲存一個光電二極體之數位值,將數位值輸出至成像模組(例如,成像模組628)且接著儲存另一光電二極體之數位值。在步驟1512中,成像模組可獲取像素之數位值並基於數位值建構像素。
本描述之一些部分按關於資訊的操作之演算法及符號表示來描述本發明之實例。熟習資料處理技術者常用此等演算法描述及表示來將其實質性工作有效地傳達給熟習此項技術者。此等操作雖然在功能上、計算上或邏輯上加以描述,但應理解為係藉由電腦程式或等效電路、微碼等來實施。此外,在不失一般性的情況下,將此等操作配置稱為模組,有時亦證明為方便的。所描述操作及其相關聯模組可體現於軟體、韌體及/或硬體中。
所描述之步驟、操作或程序可單獨地或與其他裝置組合地藉由一或多個硬體或軟體模組來執行或實施。在一些實例中,軟體模組係藉由包含含有電腦程式碼之電腦可讀取媒體之電腦程式產品來實施,電腦程式碼可由電腦處理器執行以用於執行所描述之任何或所有步驟、操作或程序。
本發明之實例亦可關於用於執行所描述之操作的設備。該設備可經特別建構以用於所需目的,及/或其可包含由儲存於電腦中之電腦程式選擇性地啟動或重組態之通用計算裝置。此電腦程式可儲存於非暫時性有形電腦可讀取儲存媒體或適於儲存電子指令的任何類型之媒體中,這些媒體可耦接至電腦系統匯流排。此外,在本說明書中提及之任何計算系統可包括單個處理器,或可為採用多個處理器設計以用於增大計算能力之架構。
本發明之實例亦可關於由本文中所描述的計算程序產生之產品。此產品可包含產生於計算程序之資訊,且可包括本文中所描述之電腦程式產品或其他資料組合的任何實例,其中該資訊儲存於非暫時性有形電腦可讀取儲存媒體上。
用於本說明書中之語言主要出於可讀性及指導性之目的而加以選擇,且並非選來限定或限制發明標的物。因此,本發明之範圍不受此實施方式的限制,而是受根據在本申請案上發佈之任何請求項的限制。因此,實施例之揭示內容旨在說明而非限制本發明之範圍,本發明之範圍在所附申請專利範圍中闡述。
100‧‧‧近眼顯示器 105‧‧‧框架 110‧‧‧顯示器 120a‧‧‧影像感測器 120b‧‧‧影像感測器 120c‧‧‧影像感測器 120d‧‧‧影像感測器 130‧‧‧主動照明器 135‧‧‧眼球 140a‧‧‧照明器 140b‧‧‧照明器 140c‧‧‧照明器 140d‧‧‧照明器 140e‧‧‧照明器 140f‧‧‧照明器 150a‧‧‧影像感測器 150b‧‧‧影像感測器 200‧‧‧橫截面 210‧‧‧波導顯示器總成 220‧‧‧眼球 230‧‧‧出射光瞳 300‧‧‧波導顯示器 310‧‧‧源總成 320‧‧‧輸出波導 330‧‧‧控制器 340‧‧‧擴展之成像光 350‧‧‧耦合元件 355‧‧‧成像光 360‧‧‧引導元件 365‧‧‧解耦元件 370‧‧‧影像感測器 370-1‧‧‧第一側 370-2‧‧‧第二側 400‧‧‧橫截面 402‧‧‧像素單元集合 404‧‧‧機械快門 410‧‧‧源 415‧‧‧光學系統 500‧‧‧系統 510‧‧‧控制電路系統 525‧‧‧方位感測器 530‧‧‧慣性量測單元(IMU) 535‧‧‧成像裝置 540‧‧‧輸入/輸出介面 545‧‧‧應用程式儲存器 550‧‧‧追蹤模組 555‧‧‧引擎 600‧‧‧影像感測器 601‧‧‧像素單元 602‧‧‧像素單元陣列 602a‧‧‧像素單元 602b‧‧‧像素單元 602c‧‧‧像素單元陣列 602d‧‧‧像素單元陣列 612‧‧‧光電二極體 612a‧‧‧光電二極體 612b‧‧‧光電二極體 612c‧‧‧光電二極體 612d‧‧‧光電二極體 614‧‧‧電荷感測單元 614a‧‧‧電荷感測單元 614b‧‧‧電荷感測單元 616‧‧‧類比至數位轉換器(ADC) 622‧‧‧照明器 624‧‧‧光學濾光片 628‧‧‧成像模組 632‧‧‧2D成像模組 634‧‧‧3D成像模組 640‧‧‧感測控制器 700‧‧‧可見光源 702‧‧‧可見光 704‧‧‧物件 706‧‧‧可見光 708‧‧‧光點 710‧‧‧影像集合 710a‧‧‧紅色影像圖框 710b‧‧‧藍色影像圖框 710c‧‧‧綠色影像圖框 710d‧‧‧紅外光影像 712a‧‧‧像素 712b‧‧‧像素 712c‧‧‧像素 712d‧‧‧像素 714‧‧‧曝光週期 720‧‧‧影像集合 724‧‧‧曝光週期 732‧‧‧紅外光 734‧‧‧紅外光 800‧‧‧光接收表面 802‧‧‧入射光 804a‧‧‧光點 804b‧‧‧光點 808‧‧‧像素ADC 812‧‧‧光 814‧‧‧計數器 816‧‧‧像素輸出匯流排 822‧‧‧光 832‧‧‧紅外光分量 840‧‧‧半導體基板 842‧‧‧半導體基板 844‧‧‧半導體基板 846‧‧‧半導體基板 848‧‧‧半導體基板 849‧‧‧像素單元處理電路 850‧‧‧金屬互連件 852‧‧‧金屬互連件 854‧‧‧金屬互連件 856‧‧‧金屬互連件 860‧‧‧光學濾光片陣列 860a‧‧‧濾光片元件 860b‧‧‧濾光片元件 860c‧‧‧濾光片元件 860d‧‧‧濾光片元件 862‧‧‧微透鏡 864‧‧‧光 870‧‧‧全傳遞元件 872‧‧‧紅外光阻擋元件/全傳遞元件 874‧‧‧全傳遞元件 876‧‧‧紅外光阻擋元件/綠色傳遞元件 878‧‧‧紅外光阻擋元件 880‧‧‧全傳遞元件 882‧‧‧可見光阻擋濾光片 902‧‧‧電荷儲存裝置 902a‧‧‧電荷儲存裝置 902b‧‧‧電荷儲存裝置 904‧‧‧可切換緩衝器 904a‧‧‧可切換緩衝器 904b‧‧‧可切換緩衝器 906‧‧‧比較器 908‧‧‧輸出邏輯電路 912‧‧‧記憶體 914‧‧‧計數器 920‧‧‧控制器 922‧‧‧選擇 932‧‧‧暫存器集合 934‧‧‧暫存器集合 936‧‧‧NOR閘 1002‧‧‧臨限值 1004‧‧‧臨限值 1006‧‧‧低光強度範圍 1008‧‧‧中等光強度範圍 1010‧‧‧高光強度範圍 1302‧‧‧操作 1304‧‧‧操作 1402‧‧‧操作 1404‧‧‧操作 1500‧‧‧方法 1502‧‧‧步驟 1504‧‧‧步驟 1506‧‧‧步驟 1508‧‧‧步驟 1510‧‧‧步驟 1512‧‧‧步驟 A‧‧‧方向 AB‧‧‧快門信號 AB0‧‧‧控制信號 AB1‧‧‧控制信號 ABn‧‧‧控制信號 B‧‧‧方向/可見光藍色通道 C‧‧‧方向 CFD‧‧‧電容器 CEXT‧‧‧電容器 CC‧‧‧電容器 COMP_IN‧‧‧類比電壓 COMP_RST‧‧‧信號 D‧‧‧方向 FLAG_1‧‧‧信號 FLAG_2‧‧‧信號 G‧‧‧可見光綠色通道 LG‧‧‧信號 LG0‧‧‧控制信號 LG1‧‧‧控制信號 M‧‧‧單色通道 M0‧‧‧快門開關 M0a‧‧‧快門開關 M0b‧‧‧快門開關 M0n‧‧‧快門開關 M1‧‧‧轉移開關 M1a‧‧‧轉移開關 M1b‧‧‧轉移開關 M1n‧‧‧轉移開關 M2‧‧‧重設開關 M3‧‧‧ 開關/源極隨耦器 M4‧‧‧電晶體 M5‧‧‧開關 M6‧‧‧開關 M8‧‧‧開關 NIR‧‧‧紅外光通道 OF‧‧‧節點 PD‧‧‧光電二極體 PD0‧‧‧光電二極體 PD1‧‧‧光電二極體 PDn‧‧‧光電二極體 PIXEL_OUT‧‧‧輸入節點 Q1‧‧‧ 總累積電荷 Q2‧‧‧總累積電荷 Q3‧‧‧假設電荷量 R‧‧‧可見光紅色通道 RST‧‧‧重設信號 RST0‧‧‧控制信號 RST1‧‧‧控制信號 SEL‧‧‧信號 SEL0‧‧‧控制信號 SEL1‧‧‧控制信號 T0‧‧‧時間 T1‧‧‧時間 T2‧‧‧時間 T3‧‧‧時間 T4‧‧‧時間 T5‧‧‧時間 T6‧‧‧時間 T7‧‧‧時間 T8‧‧‧時間 T9‧‧‧時間 T10‧‧‧時間 Texposure‧‧‧曝光週期 TG‧‧‧信號 TG0‧‧‧控制信號 TG1‧‧‧控制信號 TGn‧‧‧控制信號 VB‧‧‧信號 VOUT‧‧‧決策 VREF‧‧‧臨限值 VCC‧‧‧電壓 Vcomp_offset‧‧‧比較器偏移 Vref_low‧‧‧飽和位準 Vref_low_margin‧‧‧靜態位準 Vref_high‧‧‧飽和位準 Vpixel_out_rst‧‧‧重設電壓 Vpixel_out_sig1‧‧‧新PIXEL_OUT電壓 Vpixel_out_sig2‧‧‧新PIXEL_OUT電壓 VσKTC‧‧‧重設雜訊 w0‧‧‧波長範圍 w1‧‧‧波長範圍 w2‧‧‧波長範圍 w3‧‧‧波長範圍 Δ1‧‧‧用於均一量化程序之量化步階大小 Δs‧‧‧用於低輸入電荷量之量化步階大小 ΔL‧‧‧用於大輸入電荷量之量化步階大小
參考下列圖式來描述說明性的實例。 1A 1B 為近眼顯示器之實例的圖式。 2 為近眼顯示器之橫截面的實例。 3 說明具有單個源總成之波導顯示器之實例的等角視圖。 4 說明波導顯示器之實例的橫截面。 5 為包括近眼顯示器之系統之實例的方塊圖。 6 說明影像感測器之實例的方塊圖。 7A 7B 7C 說明由 6 之影像感測器進行的實例操作。 8A 8B 8C 8D 說明 6 之影像感測器的光電二極體之配置的實例。 9 說明像素單元之實例的方塊圖。 10 說明由圖9之像素單元針對不同光強度範圍相對於時間所累積之電荷的實例。 11A 11B 11C 11D 說明用於執行量化之技術。 12 說明用以執行光強度量測之控制信號的實例序列。 13A 13B 說明具有多個光電二極體之像素單元及其操作的實例之方塊圖。 14A 14B 說明具有多個光電二極體之像素單元及其操作的實例之方塊圖。 15 說明用於量測光強度之實例程序的流程圖。 上述圖式僅出於說明之目的描繪本發明之實例。熟習此項技術者將易於自以下描述認識到,在不脫離本發明之原理或宣揚的益處的情況下,可採用說明的結構及方法之替代性實例。 在附圖中,類似組件及/或特徵可具有相同元件符號。此外,可藉由在元件符號之後加上破折號及在類似組件當中進行區分之第二標記來區分同一類型之各種組件。若在說明書中僅使用第一元件符號,則描述適用於具有相同第一元件符號的類似組件中之任一者而與第二元件符號無關。
1500‧‧‧方法
1502‧‧‧步驟
1504‧‧‧步驟
1506‧‧‧步驟
1508‧‧‧步驟
1510‧‧‧步驟
1512‧‧‧步驟

Claims (20)

  1. 一種設備,包含: 複數個光電二極體,每一光電二極體被配置以將一波長範圍之入射光的分量轉換成電荷; 一或多個電荷感測單元; 一或多個類比至數位轉換器(ADC); 一記憶體;及 一控制器,該控制器被配置以: 啟用每一光電二極體以回應於該入射光之不同分量而產生電荷; 將該電荷從該複數個光電二極體轉移至該一或多個電荷感測單元以轉換成電壓; 接收對複數個量化程序中之一或多個量化程序的選擇,所述複數個量化程序對應於複數個強度範圍; 基於該選擇,控制該一或多個ADC以執行所選定的一或多個量化程序,以將來自該一或多個電荷感測單元之電壓量化成表示不同波長範圍之像素的分量的數位值; 將所述數位值中之至少一些數位值儲存於該記憶體中;及 基於儲存於該記憶體中的所述數位值中之該至少一些數位值而產生像素值。
  2. 如請求項1所述之設備,其中每一光電二極體被配置以在一積分週期內將該電荷之至少一部分累積為殘餘電荷直至每一光電二極體飽和為止,並在該光電二極體飽和之後將剩餘電荷作為溢出電荷轉移至該一或多個電荷感測單元; 其中該一或多個電荷感測單元包含具有一可組態容量之電荷儲存裝置; 其中該複數個量化操作包含: 第一量化操作,其用以產生表示由配置在最大容量下之該電荷儲存裝置所接收之該溢出電荷的量之第一數位值,該第一量化操作與第一強度範圍相關聯;及 第二量化操作,其用以在將該殘餘電荷轉移至配置在最小容量下之該電荷儲存裝置之後,產生表示儲存於該電荷儲存裝置處之該殘餘電荷的量之第二數位值,該第二量化操作與低於該第一強度範圍之第二強度範圍相關聯。
  3. 如請求項2所述之設備,其中該複數個量化操作包含第三量化操作,其用以產生表示由該溢出電荷所引起的該電荷儲存裝置之飽和時間的第三數位值。
  4. 如請求項3所述之設備,其進一步包含一光接收表面,該複數個光電二極體通過該光接收表面接收該入射光; 其中該複數個光電二極體相對於該光接收表面形成一堆疊結構,使得每一光電二極體與該光接收表面分離不同的距離;且 其中由每一光電二極體轉換之分量係基於每一光電二極體與該光接收表面之間的各別距離。
  5. 如請求項3所述之設備,其進一步包含: 一光接收表面;及 一濾光片陣列,其在該光接收表面之第一側上,該濾光片陣列具有定位於該光接收表面之該第一側上的複數個位置處之濾光片元件,以設定在各別位置處進入該光接收表面的該入射光之分量, 其中該複數個光電二極體對應於複數個子像素,且定位於該光接收表面之第二側上的複數個位置處以接收該入射光之各別分量。
  6. 如請求項5所述之設備,其進一步包含一單個微透鏡,其在包括該濾光片陣列之複數個濾光片陣列上方,且被配置以將從一場景之一個光點接收到之該入射光朝向該光接收表面之該第一側上的該複數個位置投射。
  7. 如請求項5所述之設備,其進一步包含複數個微透鏡,該複數個微透鏡包括第一微透鏡,該第一微透鏡覆蓋該濾光片陣列且被配置以將從一場景之一個光點接收到之該入射光朝向該光接收表面之該第一側上的該複數個位置投射。
  8. 如請求項3所述之設備,其中該一或多個感測單元包含一單個電荷感測單元; 其中該一或多個ADC包含與該單個電荷感測單元之輸出耦接的一單個ADC; 其中該設備進一步包含複數個開關,每一開關耦接於該複數個光電二極體中之一光電二極體與該單個電荷感測單元之輸入之間; 其中該控制器被配置以: 控制該複數個開關以將由每一光電二極體產生之電荷轉移至該單個電荷感測單元以轉換成電壓;及 控制該單個ADC以量化由該單個電荷感測單元產生之電壓。
  9. 如請求項8所述之設備,其中該控制器被配置以: 控制該複數個開關中之第一開關,以將第一溢出電荷自該複數個光電二極體中之第一光電二極體轉移至該單個電荷感測單元以轉換成第一電壓; 基於該選擇,控制該單個ADC以對該第一電壓執行該第一量化操作或該第三量化操作中之至少一者以產生第一數位值; 控制該第一開關以將第一殘餘電荷自該第一光電二極體轉移至該單個電荷感測單元以轉換成第二電壓; 基於該選擇,控制該單個ADC以對該第二電壓執行該第二量化操作以產生第二數位值; 控制該複數個開關中之第二開關,以將第二殘餘電荷自該複數個光電二極體中之第二光電二極體轉移至該單個電荷感測單元以轉換成第三電壓; 基於該選擇,控制該單個ADC以對該第三電壓執行該第二量化操作以產生第三數位值;及 從該記憶體輸出,以基於該第一數位值及該第二數位值中之一者而產生該像素值。
  10. 如請求項8所述之設備,其中所述光電二極體中之每一者具有用於儲存該殘餘電荷之不同全井容量;且 其中該控制器被配置以: 控制該複數個開關,以將溢出電荷同時自該複數個光電二極體中之每一光電二極體轉移至該單個電荷儲存單元以產生第一電壓; 基於該選擇,控制該單個ADC以使用該第一量化操作或該第三量化操作中之至少一者來量化該第一電壓以產生第一數位值; 控制該複數個開關,以將殘餘電荷在不同時間處自每一光電二極體轉移至該單個電荷儲存單元,以產生各自對應於來自每一光電二極體之各別殘餘電荷的第二電壓; 基於該選擇,控制該單個ADC以使用該第二量化操作來量化該第二電壓以產生第二數位值;及 基於該第一數位值及該第二數位值而產生該像素值。
  11. 如請求項8所述之設備,其中該控制器被配置以: 在第一時間週期內: 控制該複數個開關,以將溢出電荷在不同時間處自該複數個光電二極體中之每一光電二極體轉移至該單個電荷感測單元,以產生各自對應於來自每一光電二極體之各別溢出電荷的第一電壓;及 基於該選擇,控制該單個ADC以使用該第一量化操作或該第三量化操作中之至少一者來量化該第一電壓以產生第一數位值; 在第二時間週期內: 控制該複數個開關,以將殘餘電荷在不同時間處自每一光電二極體轉移至該單個電荷儲存單元,以產生各自對應於來自每一光電二極體之各別殘餘電荷的第二電壓; 基於該選擇,控制該單個ADC以使用該第二量化操作來量化該第二電壓以產生第二數位值;及 基於所述第一數位值及所述第二數位值中之至少一些數位值而產生該像素值。
  12. 如請求項3所述之設備,其中該一或多個感測單元包含對應於該複數個光電二極體之複數個電荷感測單元;且 其中該設備進一步包含複數個開關,每一開關耦接於該複數個電荷感測單元中之每一電荷感測單元與該複數個光電二極體中之一對應光電二極體之間。
  13. 如請求項12所述之設備,其中該控制器被配置以: 啟用該複數個光電二極體中之第一光電二極體,以將第一電荷轉移至該複數個電荷感測單元中之第一電荷感測單元以產生第一電壓; 啟用該複數個光電二極體中之第二光電二極體,以將第二電荷轉移至該複數個電荷感測單元中之第二電荷感測單元以產生第二電壓; 基於該選擇,控制該一或多個ADC以對該第一電壓執行該第一量化操作以產生第一數位值,接著對該第二電壓進行該第二量化操作或該第三量化操作以產生第二數位值;及 基於該第一數位值及該第二數位值而產生該像素值。
  14. 如請求項13所述之設備,其中該控制器被配置以: 在第一時間週期內: 啟用該複數個光電二極體中之第一光電二極體以回應於該入射光而產生第一電荷; 啟用該第一光電二極體以將該第一電荷之第一溢出電荷轉移至該複數個電荷感測單元中之第一電荷感測單元以產生第一電壓;及 基於該選擇,控制該一或多個ADC以對該第一電壓執行該第三量化操作以產生表示第一飽和時間之第一數位值; 在第二時間週期內: 啟用該複數個光電二極體中之第二光電二極體以回應於該入射光而產生第二電荷; 啟用該第二光電二極體以將該第二電荷之第二溢出電荷轉移至該複數個電荷感測單元中之第二電荷感測單元以產生第二電壓;及 基於該選擇,控制該一或多個ADC以對該第二電壓執行該第三量化操作以產生表示第二飽和時間之第二數位值; 以及 基於該第一數位值及該第二數位值而產生該像素值。
  15. 如請求項12所述之設備,其中該複數個電荷感測單元包含第一電荷感測單元、第二電荷感測單元、第三電荷感測單元及第四電荷感測單元; 其中該一或多個ADC包含第一ADC及第二ADC;且 其中該控制器被配置以: 控制該第一ADC以量化來自該第一電荷感測單元之第一電壓及來自該第二電荷感測單元之第二電壓;及 控制該第二ADC以量化來自該第三電荷感測單元之第三電壓及來自該第二電荷感測單元之第三電壓。
  16. 如請求項1所述之設備,其中該控制器被配置以將每一個數位值儲存於該記憶體中。
  17. 如請求項1所述之設備,其中該控制器被配置以: 控制該一或多個ADC以基於量化對應於由該複數個光電二極體中之第一光電二極體產生的電荷之第一電壓而產生第一數位值; 將該第一數位值儲存於該記憶體中; 讀取該第一數位值以計算該像素值; 控制該一或多個ADC以基於量化對應於由該複數個光電二極體中之第二光電二極體產生的電荷之第二電壓而產生第二數位值; 在該記憶體中以該第二數位值覆寫該第一數位值;及 讀取該第二數位值以計算該像素值。
  18. 一種方法,其包含: 啟用一像素單元之複數個光電二極體中之每一光電二極體以回應於由該像素單元接收之入射光的不同分量而產生電荷; 將該電荷自該複數個光電二極體轉移至一或多個電荷感測單元以轉換成電壓; 針對該複數個光電二極體中之每一光電二極體,接收對複數個量化程序中之一或多個量化程序的選擇,所述複數個量化程序對應於複數個強度範圍; 基於該選擇,控制一或多個ADC以執行所選定的一或多個量化程序,以將來自該一或多個電荷感測單元之電壓量化成表示不同波長範圍之像素的分量的數位值; 將所述數位值中之至少一些數位值儲存於一記憶體中;及 基於儲存於該記憶體中的所述數位值中之該至少一些數位值而產生像素值。
  19. 如請求項18所述之方法,其中複數個量化程序包含:用以量測在該複數個光電二極體中之第一光電二極體飽和之前在該第一光電二極體處累積之殘餘電荷的量的第一量化程序、用以量測在該第一光電二極體飽和之後由該第一光電二極體轉移之溢出電荷的量的第二量化程序,及用以量測由來自該第一光電二極體之該溢出電荷所引起的該一或多個電荷感測單元之飽和時間的第三量化程序。
  20. 如請求項18所述之方法,其中該一或多個電荷感測單元包含由該複數個光電二極體共用之一單個電荷感測單元。
TW108122610A 2018-06-27 2019-06-27 具有多光電二極體的像素感測器 TW202007139A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862690571P 2018-06-27 2018-06-27
US62/690,571 2018-06-27
US16/453,538 2019-06-26
US16/453,538 US11463636B2 (en) 2018-06-27 2019-06-26 Pixel sensor having multiple photodiodes

Publications (1)

Publication Number Publication Date
TW202007139A true TW202007139A (zh) 2020-02-01

Family

ID=67303521

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108122610A TW202007139A (zh) 2018-06-27 2019-06-27 具有多光電二極體的像素感測器

Country Status (7)

Country Link
US (2) US11463636B2 (zh)
EP (1) EP3815354A1 (zh)
JP (1) JP2021528890A (zh)
KR (1) KR20210025617A (zh)
CN (1) CN112640438A (zh)
TW (1) TW202007139A (zh)
WO (1) WO2020006174A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10917589B2 (en) 2017-06-26 2021-02-09 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
US10969273B2 (en) 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
US11004881B2 (en) 2018-04-03 2021-05-11 Facebook Technologies, Llc Global shutter image sensor
US10834344B2 (en) 2018-06-09 2020-11-10 Facebook Technologies, Llc Digital pixel with extended dynamic range
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US10903260B2 (en) 2018-06-11 2021-01-26 Facebook Technologies, Llc Multi-photodiode pixel cell
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11089241B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Pixel cell with multiple photodiodes
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) * 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11102430B2 (en) 2018-12-10 2021-08-24 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
JP7191238B2 (ja) * 2019-08-28 2022-12-16 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
JP7352637B2 (ja) 2019-08-28 2023-09-28 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、センサシステム、画像処理装置、画像処理方法およびプログラム
US11936998B1 (en) * 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11985433B2 (en) * 2020-11-30 2024-05-14 Microsoft Technology Licensing, Llc SPAD array for intensity image sensing on head-mounted displays
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer
DE102022110844B4 (de) 2022-05-03 2023-12-28 Ifm Electronic Gmbh Verfahren zum Betreiben eines PMD-Pixels
DE102022110845B4 (de) 2022-05-03 2023-12-28 Ifm Electronic Gmbh Verfahren zum Betreiben eines PMD-Pixels

Family Cites Families (395)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4596977A (en) 1984-12-03 1986-06-24 Honeywell Inc. Dual slope analog to digital converter with out-of-range reset
US5053771A (en) 1990-07-16 1991-10-01 Eastman Kodak Company Adaptive dual range analog to digital converter
JP2953297B2 (ja) 1994-03-30 1999-09-27 日本電気株式会社 受光素子およびその駆動方法
US5963369A (en) 1996-06-03 1999-10-05 Steinthal; Gregory Digital solid-state binoculars
US5844512A (en) 1997-07-28 1998-12-01 Hewlett-Packard Company Autoranging apparatus and method for improved dynamic ranging in analog to digital converters
US6057586A (en) 1997-09-26 2000-05-02 Intel Corporation Method and apparatus for employing a light shield to modulate pixel color responsivity
US6529241B1 (en) 1998-02-27 2003-03-04 Intel Corporation Photodetecting device supporting saturation detection and electronic shutter
JP4178608B2 (ja) 1998-04-16 2008-11-12 株式会社ニコン 固体撮像装置
US6522395B1 (en) 1999-04-30 2003-02-18 Canesta, Inc. Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
US6486504B1 (en) 1999-10-26 2002-11-26 Eastman Kodak Company CMOS image sensor with extended dynamic range
US6545624B2 (en) 2000-02-11 2003-04-08 Hyundai Electronics Industries Co., Ltd. Image sensor with analog-to-digital converter that generates a variable slope ramp signal
JP4518616B2 (ja) 2000-04-13 2010-08-04 ソニー株式会社 固体撮像装置およびその駆動方法並びにカメラシステム
US20010040632A1 (en) 2000-05-09 2001-11-15 Yang David Xiao Dong Multiple sampling via a time-indexed method to achieve wide dynamic ranges
US6384905B1 (en) 2000-07-07 2002-05-07 The United States Of America As Represented By The Secretary Of The Navy Optic flow sensor with fused elementary motion detector outputs
JP3984808B2 (ja) 2000-09-07 2007-10-03 キヤノン株式会社 信号処理装置及びそれを用いた撮像装置並びに放射線撮像システム
JP2002314875A (ja) 2001-01-29 2002-10-25 Konica Corp 撮影装置及び撮像素子
US7079178B2 (en) 2001-02-20 2006-07-18 Jaroslav Hynecek High dynamic range active pixel CMOS image sensor and data processing system incorporating adaptive pixel reset
JP2002330349A (ja) 2001-04-26 2002-11-15 Fujitsu Ltd Xyアドレス型固体撮像装置
US6642503B2 (en) 2001-06-13 2003-11-04 Texas Instruments Incorporated Time domain sensing technique and system architecture for image sensor
JP4949573B2 (ja) 2001-07-13 2012-06-13 浜松ホトニクス株式会社 光検出装置
US9149175B2 (en) 2001-07-26 2015-10-06 Given Imaging Ltd. Apparatus and method for light control in an in-vivo imaging device
US20030049925A1 (en) 2001-09-10 2003-03-13 Layman Paul Arthur High-density inter-die interconnect structure
JP4938221B2 (ja) 2002-02-01 2012-05-23 ピコメトリックス インコーポレイテッド プレーナ・アバランシェ・フォトダイオード
US6963369B1 (en) 2002-04-01 2005-11-08 Pixim, Inc. Method for capturing and storing image information for multiple sampling operations in a digital pixel sensor
US7038820B1 (en) 2002-04-03 2006-05-02 Eastman Kodak Company Automatic exposure control for an image sensor
JP4175828B2 (ja) 2002-04-18 2008-11-05 抱 石井 撮像カメラ装置及びイメージャの画像データ読取り方法
US7362365B1 (en) 2002-06-26 2008-04-22 Pixim, Inc. Digital image capture having an ultra-high dynamic range
JP3792628B2 (ja) 2002-09-02 2006-07-05 富士通株式会社 固体撮像装置及び画像読み出し方法
CN1234234C (zh) 2002-09-30 2005-12-28 松下电器产业株式会社 固体摄像器件及使用该固体摄像器件的设备
AU2003260400A1 (en) 2003-01-10 2004-08-10 Paul Scherrer Institut Photon counting imaging device
US7280143B2 (en) 2003-04-14 2007-10-09 Micron Technology, Inc. CMOS image sensor with active reset and 4-transistor pixels
US7456879B2 (en) 2003-08-29 2008-11-25 Aptina Imaging Corporation Digital correlated double sampling using dual analog path
US6885331B2 (en) 2003-09-15 2005-04-26 Micron Technology, Inc. Ramp generation with capacitors
DE60333757D1 (de) 2003-11-04 2010-09-23 St Microelectronics Res & Dev Verbesserungen in oder in Bezug auf Bildsensoren
FR2862448B1 (fr) 2003-11-14 2006-12-29 St Microelectronics Sa Generateur de rampe de tension avec un asservissement de pente
KR100574959B1 (ko) 2003-11-24 2006-04-28 삼성전자주식회사 자동 노출 조절 기능을 갖는 시모스 이미지 센서
US6864817B1 (en) 2003-12-30 2005-03-08 Freescale Semiconductor, Inc. Signaling dependent adaptive analog-to-digital converter (ADC) system and method of using same
US7129883B2 (en) 2004-02-23 2006-10-31 Sony Corporation Method and apparatus for AD conversion, semiconductor device for detecting distribution of physical quantity, and electronic apparatus
WO2005083790A1 (ja) 2004-02-27 2005-09-09 Texas Instruments Japan Limited 固体撮像装置、ラインセンサ、光センサおよび固体撮像装置の動作方法
JP4317115B2 (ja) 2004-04-12 2009-08-19 国立大学法人東北大学 固体撮像装置、光センサおよび固体撮像装置の動作方法
CN101820537B (zh) 2004-04-23 2013-04-03 住友电气工业株式会社 活动图像数据的编码方法、终端装置以及双向对话型系统
GB0412296D0 (en) 2004-06-02 2004-07-07 Council Cent Lab Res Councils Imaging device
US7508431B2 (en) 2004-06-17 2009-03-24 Hoya Corporation Solid state imaging device
GB0416496D0 (en) 2004-07-23 2004-08-25 Council Of The Central Lab Of Imaging device
JP4349232B2 (ja) 2004-07-30 2009-10-21 ソニー株式会社 半導体モジュール及びmos型固体撮像装置
CA2578005A1 (en) 2004-08-23 2006-03-02 Sony Corporation Imaging apparatus, image processing method and integrated circuit
JP4816457B2 (ja) 2004-09-02 2011-11-16 ソニー株式会社 撮像装置及び撮像結果の出力方法
US7518645B2 (en) 2005-01-06 2009-04-14 Goodrich Corp. CMOS active pixel sensor with improved dynamic range and method of operation
JP4835856B2 (ja) 2005-01-06 2011-12-14 日本電気株式会社 半導体集積回路装置
JP2006197393A (ja) 2005-01-14 2006-07-27 Canon Inc 固体撮像装置、カメラ、及び固体撮像装置の駆動方法
JP4459064B2 (ja) 2005-01-14 2010-04-28 キヤノン株式会社 固体撮像装置、その制御方法及びカメラ
JP4589131B2 (ja) 2005-01-24 2010-12-01 株式会社フォトロン 画像センサおよびその画像読み出し方法
GB2438693B (en) 2005-03-30 2009-07-08 Micron Technology Inc High density row ram for column parallel CMOS image sensors
US7468501B2 (en) 2005-05-12 2008-12-23 California Institute Of Technology Linear dynamic range enhancement in a CMOS imager
TW201101476A (en) 2005-06-02 2011-01-01 Sony Corp Semiconductor image sensor module and method of manufacturing the same
US20070013983A1 (en) 2005-07-04 2007-01-18 Dai Nippon Printing Co., Ltd. Holographic viewing device, and holographic viewing card incorporating it
US7522341B2 (en) * 2005-07-12 2009-04-21 Micron Technology, Inc. Sharing of microlenses among pixels in image sensors
KR20080034508A (ko) 2005-08-08 2008-04-21 요셉 러브너 적응형 노출 제어
US7636115B2 (en) 2005-08-11 2009-12-22 Aptina Imaging Corporation High dynamic range imaging device using multiple pixel cells
JP2007074447A (ja) 2005-09-07 2007-03-22 Fujitsu Ltd Cmosセンサ
KR100775058B1 (ko) 2005-09-29 2007-11-08 삼성전자주식회사 픽셀 및 이를 이용한 이미지 센서, 그리고 상기 이미지센서를 포함하는 이미지 처리 시스템
US7608823B2 (en) 2005-10-03 2009-10-27 Teledyne Scientific & Imaging, Llc Multimode focal plane array with electrically isolated commons for independent sub-array biasing
US7659925B2 (en) 2005-10-04 2010-02-09 Alexander Krymski High speed CMOS image sensor circuits with memory readout
US7546026B2 (en) 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US7652313B2 (en) 2005-11-10 2010-01-26 International Business Machines Corporation Deep trench contact and isolation of buried photodetectors
EP1874043B1 (en) 2006-02-20 2013-12-04 Panasonic Corporation Image pick up apparatus
US7609079B2 (en) 2006-03-02 2009-10-27 Dialog Semiconductor Gmbh Probeless DC testing of CMOS I/O circuits
JP4819561B2 (ja) 2006-04-24 2011-11-24 浜松ホトニクス株式会社 固体撮像装置
JP4827627B2 (ja) 2006-06-16 2011-11-30 キヤノン株式会社 撮像装置及びその処理方法
US7326903B2 (en) 2006-06-29 2008-02-05 Noble Peak Vision Corp. Mixed analog and digital pixel for high dynamic range readout
EP1881609A1 (en) 2006-07-21 2008-01-23 STMicroelectronics (Research & Development) Limited Analogue to digital convertor having a non-linear ramp voltage
JP4289377B2 (ja) 2006-08-21 2009-07-01 ソニー株式会社 物理量検出装置及び撮像装置
JP4855192B2 (ja) 2006-09-14 2012-01-18 富士フイルム株式会社 イメージセンサ及びデジタルカメラ
US7361989B1 (en) 2006-09-26 2008-04-22 International Business Machines Corporation Stacked imager package
JP2008228232A (ja) 2007-03-15 2008-09-25 Canon Inc 撮像装置、撮像方法、プログラム、及び記憶媒体
US8107751B2 (en) 2007-03-16 2012-01-31 Sharp Laboratories Of America, Inc. DPCM with adaptive range and PCM escape mode
US7839703B2 (en) 2007-06-15 2010-11-23 Micron Technology, Inc. Subtraction circuits and digital-to-analog converters for semiconductor devices
US7825966B2 (en) 2007-06-29 2010-11-02 Omnivision Technologies, Inc. High dynamic range sensor with blooming drain
JP5067850B2 (ja) 2007-08-02 2012-11-07 キヤノン株式会社 システム、頭部装着型表示装置、その制御方法
US7956914B2 (en) 2007-08-07 2011-06-07 Micron Technology, Inc. Imager methods, apparatuses, and systems providing a skip mode with a wide dynamic range operation
US20090066820A1 (en) 2007-09-06 2009-03-12 Broadcom Corporation Filtering optimization via implicit bayer grid subsampling
US7940311B2 (en) 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
US8426793B1 (en) 2007-10-04 2013-04-23 Geoffrey L. Barrows Vision sensor
EP2063630A1 (en) 2007-11-26 2009-05-27 Thomson Licensing Video capture device with variable shutter integration time
US8369458B2 (en) 2007-12-20 2013-02-05 Ralink Technology Corporation Wireless receiving system with an adaptively configurable analog to digital converter
WO2009111556A1 (en) 2008-03-04 2009-09-11 Mesa Imaging Ag Drift field demodulation pixel with pinned photo diode
EP2104234B1 (en) 2008-03-21 2011-08-31 STMicroelectronics Limited Analog-to-digital conversion in image sensors
US8098955B2 (en) 2008-03-25 2012-01-17 Point Grey Research Inc. Efficient selection and application of regions of interest in digital imaging
JP5269456B2 (ja) 2008-03-26 2013-08-21 株式会社東芝 イメージセンサおよびその駆動方法
US8089035B2 (en) 2008-04-16 2012-01-03 Tower Semiconductor Ltd. CMOS image sensor with high sensitivity wide dynamic range pixel for high resolution applications
EP2133918B1 (en) 2008-06-09 2015-01-28 Sony Corporation Solid-state imaging device, drive method thereof and electronic apparatus
JP4661912B2 (ja) 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
US20130218728A1 (en) 2008-08-10 2013-08-22 Rick Dan Hashop Virtual on-line pre-shopping system and method
US7795650B2 (en) 2008-12-09 2010-09-14 Teledyne Scientific & Imaging Llc Method and apparatus for backside illuminated image sensors using capacitively coupled readout integrated circuits
US8625012B2 (en) 2009-02-05 2014-01-07 The Hong Kong University Of Science And Technology Apparatus and method for improving dynamic range and linearity of CMOS image sensor
JP5400406B2 (ja) 2009-02-06 2014-01-29 キヤノン株式会社 撮像装置
KR101575851B1 (ko) 2009-03-13 2015-12-10 삼성전자주식회사 불 휘발성 메모리 장치 및 그것의 프로그램 방법
ATE543215T1 (de) 2009-03-24 2012-02-15 Sony Corp Festkörper-abbildungsvorrichtung, ansteuerverfahren für festkörper- abbildungsvorrichtung und elektronische vorrichtung
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2010283525A (ja) * 2009-06-03 2010-12-16 Toshiba Corp 撮像装置
JP5306269B2 (ja) 2009-06-25 2013-10-02 キヤノン株式会社 光干渉断層法を用いる撮像装置及び撮像方法
US8569807B2 (en) 2009-09-01 2013-10-29 Taiwan Semiconductor Manufacturing Company, Ltd. Backside illuminated image sensor having capacitor on pixel region
CN102334293B (zh) 2009-09-11 2014-12-10 松下电器产业株式会社 模拟/数字变换器、图像传感器系统、照相机装置
KR101727270B1 (ko) 2009-11-06 2017-04-17 삼성전자주식회사 이미지 센서
US8384800B2 (en) 2009-11-23 2013-02-26 Samsung Electronics Co., Ltd. Methods of acquiring images
KR101111946B1 (ko) 2009-12-17 2012-02-14 엠텍비젼 주식회사 촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법
EP2517451B1 (en) 2009-12-24 2015-04-22 Imagerlabs Inc. Adjustable cmos sensor array
WO2011096207A1 (ja) 2010-02-05 2011-08-11 コニカミノルタオプト株式会社 固体撮像装置
US20120200499A1 (en) 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with event, sensor, and user action based control of applications resident on external devices with feedback
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
JP2011229120A (ja) 2010-03-30 2011-11-10 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法、及び、電子機器
JP2011216966A (ja) 2010-03-31 2011-10-27 Sony Corp 固体撮像素子および固体撮像素子の駆動方法、並びに電子機器
JP2011258728A (ja) 2010-06-08 2011-12-22 Sharp Corp 固体撮像素子および電子情報機器
JP5554644B2 (ja) 2010-06-29 2014-07-23 パナソニック株式会社 固体撮像装置
US20120016817A1 (en) 2010-07-19 2012-01-19 Smith S Alex Predicting Life Changes of Members of a Social Networking System
US8606051B2 (en) 2010-08-16 2013-12-10 SK Hynix Inc. Frame-wise calibration of column-parallel ADCs for image sensor array applications
KR20120029840A (ko) * 2010-09-17 2012-03-27 삼성전자주식회사 이미지 센서의 구동 방법
US8866945B2 (en) 2010-09-26 2014-10-21 Hiok Nam Tay Color image sampling and reconstruction
US8928789B2 (en) 2010-09-30 2015-01-06 Canon Kabushiki Kaisha Solid-state imaging apparatus
US8773577B2 (en) 2010-10-27 2014-07-08 Qualcomm Incorporated Region of interest extraction
US8698843B2 (en) 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US20120113119A1 (en) 2010-11-05 2012-05-10 Nova Research, Inc. Super resolution infrared imaging system
JP5664141B2 (ja) 2010-11-08 2015-02-04 ソニー株式会社 固体撮像素子およびカメラシステム
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
KR101710481B1 (ko) 2010-11-29 2017-02-28 삼성전자주식회사 Cds 회로, 이의 동작 방법, 및 이를 포함하는 장치들
TWI462265B (zh) 2010-11-30 2014-11-21 Ind Tech Res Inst 影像擷取裝置
KR101754131B1 (ko) 2010-12-01 2017-07-06 삼성전자주식회사 샘플링 회로와 광감지 장치
US8294077B2 (en) 2010-12-17 2012-10-23 Omnivision Technologies, Inc. Image sensor having supplemental capacitive coupling node
US8847136B2 (en) 2011-01-02 2014-09-30 Pixim, Inc. Conversion gain modulation using charge sharing pixel
US8717467B2 (en) 2011-01-25 2014-05-06 Aptina Imaging Corporation Imaging systems with array cameras for depth sensing
US8587501B2 (en) 2011-02-17 2013-11-19 Global Oled Technology Llc Electroluminescent display device with optically communicating chiplets
US8674282B2 (en) 2011-03-25 2014-03-18 Aptina Imaging Corporation Pumped pinned photodiode pixel array
TWI456990B (zh) 2011-04-08 2014-10-11 Pixart Imaging Inc 高動態範圍影像感測電路及高動態範圍影像讀取方法
KR101251744B1 (ko) 2011-04-13 2013-04-05 엘지이노텍 주식회사 Wdr 픽셀 어레이, 이를 포함하는 wdr 이미징 장치 및 그 구동방법
KR101241704B1 (ko) 2011-04-14 2013-03-19 엘지이노텍 주식회사 픽셀, 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동방법
US8637800B2 (en) 2011-04-19 2014-01-28 Altasens, Inc. Image sensor with hybrid heterostructure
US8575531B2 (en) 2011-04-26 2013-11-05 Aptina Imaging Corporation Image sensor array for back side illumination with global shutter using a junction gate photodiode
US9093579B2 (en) 2011-04-28 2015-07-28 Semiconductor Components Industries, Llc Dielectric barriers for pixel arrays
JP5808162B2 (ja) * 2011-06-23 2015-11-10 キヤノン株式会社 撮像素子、撮像装置及び撮像素子の駆動方法
US20190331914A1 (en) 2011-07-20 2019-10-31 Google Llc Experience Sharing with Region-Of-Interest Selection
JP5868065B2 (ja) 2011-08-05 2016-02-24 キヤノン株式会社 撮像装置
JP5901186B2 (ja) 2011-09-05 2016-04-06 キヤノン株式会社 固体撮像装置及びその駆動方法
US20130056809A1 (en) 2011-09-07 2013-03-07 Duli Mao Image Sensor with Reduced Noiseby Blocking Nitridation Over Selected Areas
US8890047B2 (en) 2011-09-21 2014-11-18 Aptina Imaging Corporation Stacked-chip imaging systems
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US8461660B2 (en) 2011-09-30 2013-06-11 Omnivision Technologies, Inc. CMOS image sensor with reset shield line
GB201117319D0 (en) 2011-10-06 2011-11-16 Isis Innovation Active pixel image sensor
JP2013084785A (ja) 2011-10-11 2013-05-09 Sony Corp 固体撮像装置、撮像装置
JP2013090127A (ja) 2011-10-18 2013-05-13 Olympus Corp 固体撮像装置および撮像装置
US8804021B2 (en) 2011-11-03 2014-08-12 Omnivision Technologies, Inc. Method, apparatus and system for providing improved full well capacity in an image sensor pixel
US9521338B2 (en) 2011-11-08 2016-12-13 Rambus Inc. Image sensor sampled at non-uniform intervals
US10598929B2 (en) 2011-11-09 2020-03-24 Google Llc Measurement method and system
JP5802520B2 (ja) 2011-11-11 2015-10-28 株式会社 日立産業制御ソリューションズ 撮像装置
JP5963421B2 (ja) 2011-11-17 2016-08-03 オリンパス株式会社 固体撮像装置および撮像装置
KR20130062188A (ko) 2011-12-02 2013-06-12 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 장치
KR101801339B1 (ko) 2011-12-07 2017-11-27 한국전자통신연구원 고속 광대역 주파수 비교 장치
JP6051516B2 (ja) 2011-12-07 2016-12-27 セイコーエプソン株式会社 撮影装置および撮影方法
US8754798B2 (en) 2011-12-21 2014-06-17 Realtek Semiconductor Corp. High-speed successive-approximation-register analog-to-digital converter and method thereof
US20130180841A1 (en) 2012-01-17 2013-07-18 Esat Yilmaz Sensor Stack with Opposing Electrodes
US8735795B2 (en) 2012-01-20 2014-05-27 Omnivision Technologies, Inc. Image sensor with integrated ambient light detection
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US9720232B2 (en) 2012-01-24 2017-08-01 The Arizona Board Of Regents On Behalf Of The University Of Arizona Compact eye-tracked head-mounted display
CN103258829A (zh) 2012-02-16 2013-08-21 索尼公司 固态成像装置、图像传感器及其制造方法以及电子设备
JP6004664B2 (ja) 2012-02-17 2016-10-12 キヤノン株式会社 光電変換装置、光電変換装置の駆動方法
US8742311B2 (en) 2012-02-27 2014-06-03 Omnivision Technologies, Inc. Enhanced pixel cell architecture for an image sensor having a direct output from a buried channel source follower transistor to a bit line
JP6164846B2 (ja) 2012-03-01 2017-07-19 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
JP5965674B2 (ja) 2012-03-05 2016-08-10 オリンパス株式会社 固体撮像装置および撮像装置
US8569700B2 (en) 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
TW201340708A (zh) 2012-03-19 2013-10-01 Sony Corp 固體攝像裝置及電子機器
KR101930755B1 (ko) 2012-03-21 2018-12-19 삼성전자주식회사 이미지 센서의 구동 방법
JP6402624B2 (ja) 2012-03-30 2018-10-10 株式会社ニコン 撮像素子および撮像装置
US8957358B2 (en) 2012-04-27 2015-02-17 Taiwan Semiconductor Manufacturing Company, Ltd. CMOS image sensor chips with stacked scheme and methods for forming the same
US9270906B2 (en) 2012-05-02 2016-02-23 Semiconductor Components Industries, Llc Exposure time selection using stacked-chip image sensors
US8963759B2 (en) 2012-05-03 2015-02-24 Semiconductor Components Industries, Llc Imaging systems with per-column analog-to-digital converter non-linearity correction capabilities
US8779346B2 (en) 2012-05-14 2014-07-15 BAE Systems Imaging Solutions Inc. Digital pixel sensor with reduced noise
JP5885608B2 (ja) 2012-07-23 2016-03-15 株式会社東芝 固体撮像装置
JP6071315B2 (ja) 2012-08-08 2017-02-01 オリンパス株式会社 固体撮像装置および撮像装置
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
KR101965632B1 (ko) 2012-09-07 2019-04-05 삼성전자 주식회사 아날로그-디지털 변환 회로, 이를 포함하는 이미지 센서, 및 그 동작 방법
US9185273B2 (en) 2012-09-19 2015-11-10 Semiconductor Components Industries, Llc Imaging pixels with improved dynamic range
US9343497B2 (en) 2012-09-20 2016-05-17 Semiconductor Components Industries, Llc Imagers with stacked integrated circuit dies
US9094612B2 (en) 2012-09-25 2015-07-28 Semiconductor Components Industries, Llc Back side illuminated global shutter image sensors with back side charge storage
KR20150068429A (ko) 2012-10-05 2015-06-19 램버스 인코포레이티드 조건부-리셋, 멀티-비트 판독 이미지 센서
CN103730455B (zh) 2012-10-16 2017-04-12 豪威科技股份有限公司 底部芯片上具有光敏电路元件的堆叠芯片图像传感器
US9478579B2 (en) 2012-10-16 2016-10-25 Omnivision Technologies, Inc. Stacked chip image sensor with light-sensitive circuit elements on the bottom chip
ES2476115B1 (es) 2012-12-11 2015-04-20 Consejo Superior De Investigaciones Científicas (Csic) Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores
US9153616B2 (en) 2012-12-26 2015-10-06 Olympus Corporation Solid-state imaging device and imaging device with circuit elements distributed on multiple substrates, method of controlling solid-state imaging device, and imaging device with circuit elements distributed on multiple substrates
JP6415454B2 (ja) 2013-01-25 2018-10-31 テレダイン・イノバシオネス・ミクロエレクトロニカス・ソシエダッド・リミターダ・ユニパーソナルTeledyne Innovaciones Microelectronicas,Slu 画像センサ用の高度の関心領域機能
US8773562B1 (en) 2013-01-31 2014-07-08 Apple Inc. Vertically stacked image sensor
KR20140104169A (ko) 2013-02-20 2014-08-28 삼성전자주식회사 이미지 센서 및 이를 포함하는 컴퓨팅 시스템
JP6164869B2 (ja) 2013-02-26 2017-07-19 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
GB2513579A (en) 2013-04-29 2014-11-05 Tobii Technology Ab Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system
JP6221341B2 (ja) 2013-05-16 2017-11-01 ソニー株式会社 固体撮像装置、固体撮像装置の製造方法および電子機器
JP2014236183A (ja) 2013-06-05 2014-12-15 株式会社東芝 イメージセンサ装置及びその製造方法
JP6303297B2 (ja) 2013-06-14 2018-04-04 富士通株式会社 端末装置、視線検出プログラムおよび視線検出方法
JP6188451B2 (ja) 2013-06-27 2017-08-30 オリンパス株式会社 アナログデジタル変換器および固体撮像装置
US20150097951A1 (en) 2013-07-17 2015-04-09 Geoffrey Louis Barrows Apparatus for Vision in Low Light Environments
TWI659652B (zh) 2013-08-05 2019-05-11 新力股份有限公司 攝像裝置、電子機器
US9054007B2 (en) 2013-08-15 2015-06-09 Omnivision Technologies, Inc. Image sensor pixel cell with switched deep trench isolation structure
WO2015038569A2 (en) 2013-09-10 2015-03-19 Rambus Inc. Oversampled image sensor with conditional pixel readout
JP5604703B1 (ja) 2013-09-10 2014-10-15 弘一 関根 固体撮像装置
CN105706439B (zh) 2013-09-16 2019-06-28 超龙凯姆公司 动态、单个光电二极管像素电路及其操作方法
US9410850B2 (en) 2013-09-20 2016-08-09 Vlad Joseph Novotny Infrared imager readout electronics
US10043843B2 (en) 2013-10-01 2018-08-07 Forza Silicon Corporation Stacked photodiodes for extended dynamic range and low light color discrimination
WO2015048906A1 (en) 2013-10-03 2015-04-09 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
FR3012003B1 (fr) 2013-10-14 2016-12-30 E2V Semiconductors Conversion analogique numerique a rampe, a multiples conversions ou unique conversion suivant le niveau de lumiere recu par un pixel
JP6413233B2 (ja) 2013-11-26 2018-10-31 株式会社ニコン 撮像装置および撮像素子
JP6394056B2 (ja) 2013-11-27 2018-09-26 ソニー株式会社 A/d変換装置、グレイコード生成装置、撮像素子、並びに、電子機器
KR20150071768A (ko) 2013-12-18 2015-06-29 에스케이하이닉스 주식회사 이미지 센서 및 그 제조방법
KR102210539B1 (ko) 2013-12-26 2021-02-01 삼성전자주식회사 상관 이중 샘플링 회로, 이를 포함하는 아날로그-디지털 컨버터, 및 이미지 센서
KR102130611B1 (ko) 2013-12-31 2020-07-06 삼성전자주식회사 아날로그-디지털 변환 회로, 이를 포함하는 이미지 센서 및 이미지 센서의 동작 방법
KR102159261B1 (ko) 2014-01-21 2020-09-23 삼성전자 주식회사 출력신호를 보정할 수 있는 이미지 센서
US20160018651A1 (en) 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
JP2015146364A (ja) 2014-02-03 2015-08-13 ソニー株式会社 固体撮像素子、固体撮像素子の駆動方法、固体撮像素子の製造方法および電子機器
WO2015119243A1 (ja) 2014-02-07 2015-08-13 国立大学法人静岡大学 イメージセンサ
WO2015120328A1 (en) 2014-02-07 2015-08-13 Rambus Inc. Feedthrough-compensated image sensor
KR102245973B1 (ko) 2014-02-17 2021-04-29 삼성전자주식회사 상관 이중 샘플링 회로 및 이를 포함하는 이미지 센서
JP6278730B2 (ja) 2014-02-20 2018-02-14 オリンパス株式会社 固体撮像装置および撮像システム
US20160011422A1 (en) 2014-03-10 2016-01-14 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing virtual or augmented reality environments
EP2924979B1 (en) 2014-03-25 2023-01-18 IMEC vzw Improvements in or relating to imaging sensors
TWI656631B (zh) 2014-03-28 2019-04-11 日商半導體能源研究所股份有限公司 攝像裝置
US20150287766A1 (en) 2014-04-02 2015-10-08 Tae-Chan Kim Unit pixel of an image sensor and image sensor including the same
KR102246553B1 (ko) 2014-04-24 2021-04-30 엘지전자 주식회사 Hmd 및 그 제어 방법
US9711553B2 (en) 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
US9491442B2 (en) 2014-04-28 2016-11-08 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
US9672416B2 (en) 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
US9531976B2 (en) 2014-05-29 2016-12-27 Semiconductor Components Industries, Llc Systems and methods for operating image sensor pixels having different sensitivities and shared charge storage regions
JP2015230355A (ja) 2014-06-04 2015-12-21 リコーイメージング株式会社 撮像装置および撮像素子
JP2015231046A (ja) 2014-06-09 2015-12-21 株式会社東芝 固体撮像装置
JP2016001633A (ja) 2014-06-11 2016-01-07 ソニー株式会社 固体撮像素子、および電子装置
JP6406888B2 (ja) 2014-06-17 2018-10-17 キヤノン株式会社 アナログデジタル変換回路の駆動方法、アナログデジタル変換回路、撮像装置、撮像システム、アナログデジタル変換回路の検査方法
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
US9247162B2 (en) 2014-06-27 2016-01-26 Omnivision Technologies, Inc. System and method for digital correlated double sampling in an image sensor
KR20160008267A (ko) 2014-07-14 2016-01-22 주식회사 윈스 네트워크 기반 영상감시체계에서의 사용자 행위 분석 시스템
KR102134636B1 (ko) 2014-07-14 2020-07-16 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
KR102192088B1 (ko) 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
JP6602763B2 (ja) 2014-07-25 2019-11-06 株式会社半導体エネルギー研究所 撮像装置
US10165209B2 (en) 2014-07-25 2018-12-25 Rambus Inc. Low-noise, high dynamic-range image sensor
WO2016013412A1 (ja) 2014-07-25 2016-01-28 ソニー株式会社 固体撮像素子、撮像制御方法、信号処理方法、及び、電子機器
US9344658B2 (en) 2014-07-31 2016-05-17 Omnivision Technologies, Inc. Negative biased substrate for pixels in stacked image sensors
KR102374109B1 (ko) 2014-08-01 2022-03-14 삼성전자주식회사 크로스토크 특성을 개선하는 이미지 센서 및 그의 제조 방법
KR20160032586A (ko) 2014-09-16 2016-03-24 삼성전자주식회사 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법
JP6522919B2 (ja) 2014-10-15 2019-05-29 オリンパス株式会社 撮像素子、撮像装置
US9325335B1 (en) 2014-10-24 2016-04-26 Teledyne Scientific & Imaging, Llc Comparator circuits with local ramp buffering for a column-parallel single slope ADC
JP2016092661A (ja) 2014-11-07 2016-05-23 ソニー株式会社 撮像素子および駆動方法、並びに電子機器
JP6702195B2 (ja) 2014-11-12 2020-05-27 ソニー株式会社 固体撮像装置および電子機器
US10284771B2 (en) 2014-12-03 2019-05-07 Nikon Corporation Image-capturing apparatus, electronic device, and program
US9332200B1 (en) 2014-12-05 2016-05-03 Qualcomm Incorporated Pixel readout architecture for full well capacity extension
CN104469195B (zh) 2014-12-18 2017-11-21 北京思比科微电子技术股份有限公司 高动态范围图像传感器像素结构及其操作方法
WO2016095057A1 (en) 2014-12-19 2016-06-23 Sulon Technologies Inc. Peripheral tracking for an augmented reality head mounted device
US9871065B2 (en) * 2014-12-22 2018-01-16 Google Inc. RGBZ pixel unit cell with first and second Z transfer gates
US9591247B2 (en) 2014-12-22 2017-03-07 Google Inc. Image sensor having an extended dynamic range upper limit
US9787928B2 (en) 2015-01-06 2017-10-10 Forza Silicon Corporation Layout and timing schemes for ping-pong readout architecture
KR102410019B1 (ko) 2015-01-08 2022-06-16 삼성전자주식회사 이미지 센서
US10008530B2 (en) 2015-01-30 2018-06-26 Taiwan Semiconductor Manufacturing Company Ltd. Image sensing device and manufacturing method thereof
US9515105B2 (en) 2015-02-18 2016-12-06 Semiconductor Components Industries, Llc Dual photodiode image pixels with preferential blooming path
US9564468B2 (en) 2015-03-20 2017-02-07 Taiwan Semiconductor Manufacturing Co., Ltd. Composite grid structure to reduce crosstalk in back side illumination image sensors
JP6407083B2 (ja) 2015-03-30 2018-10-17 キヤノン株式会社 光電変換装置、および、光電変換システム
US9524994B2 (en) 2015-04-14 2016-12-20 Semiconductor Components Industries, Llc Image sensor pixels with multiple compartments
US9819882B2 (en) 2015-06-05 2017-11-14 Caeleste Cvba Global shutter high dynamic range sensor
US10524667B2 (en) 2015-06-14 2020-01-07 Facense Ltd. Respiration-based estimation of an aerobic activity parameter
WO2017003477A1 (en) 2015-07-01 2017-01-05 Tyrrell Brian M Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
US9743024B2 (en) 2015-07-01 2017-08-22 Massachusetts Institute Of Technology Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
US9848142B2 (en) 2015-07-10 2017-12-19 Semiconductor Components Industries, Llc Methods for clocking an image sensor
WO2017013806A1 (ja) 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置
TWI704811B (zh) * 2015-07-27 2020-09-11 日商新力股份有限公司 固體攝像裝置及其控制方法、以及電子機器
US10534173B2 (en) 2015-08-03 2020-01-14 Facebook Technologies, Llc Display with a tunable mask for augmented reality
US9807294B2 (en) 2015-08-05 2017-10-31 Omnivision Technologies, Inc. Image sensor with symmetric multi-pixel phase-difference detectors, and associated methods
US20170038504A1 (en) 2015-08-05 2017-02-09 Lustrous Electro-Optic Co., Ltd. Close-up shots system and close-up shots module
KR102460175B1 (ko) 2015-08-21 2022-10-28 삼성전자주식회사 쉐어드 픽셀 및 이를 포함하는 이미지 센서
US10014333B2 (en) 2015-08-26 2018-07-03 Semiconductor Components Industries, Llc Back-side illuminated pixels with interconnect layers
KR102523136B1 (ko) 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
US9909922B2 (en) 2015-09-03 2018-03-06 Johnson & Johnson Vision Care, Inc. Anti-aliasing photodetector system
JP2017055248A (ja) 2015-09-09 2017-03-16 ルネサスエレクトロニクス株式会社 撮像素子
GB2558124B (en) 2015-09-16 2022-02-02 Canon Kk Image sensor and image capturing apparatus
US9948875B2 (en) 2015-10-01 2018-04-17 Semiconductor Components Industries, Llc High dynamic range imaging pixels with improved readout
US11297258B2 (en) 2015-10-01 2022-04-05 Qualcomm Incorporated High dynamic range solid state image sensor and camera system
US9654712B2 (en) 2015-10-07 2017-05-16 Semiconductor Components Industries, Llc Pixels with a global shutter and high dynamic range
KR102433575B1 (ko) 2015-10-12 2022-08-19 삼성전자주식회사 이미지 센서
US9936151B2 (en) 2015-10-16 2018-04-03 Capsovision Inc Single image sensor for capturing mixed structured-light images and regular images
CN108391450B (zh) 2015-10-21 2022-07-01 赫普塔冈微光有限公司 解调像素元件、像素元件阵列以及结合它们的光电元件
US9818777B2 (en) 2015-11-12 2017-11-14 Stmicroelectronics (Research & Development) Limited Hybrid analog-digital pixel implemented in a stacked configuration
US10096631B2 (en) 2015-11-30 2018-10-09 Semiconductor Energy Laboratory Co., Ltd. Signal processing circuit and semiconductor device including the signal processing circuit
JP6700758B2 (ja) 2015-12-04 2020-05-27 キヤノン株式会社 撮像装置の駆動方法
US9991306B2 (en) 2015-12-10 2018-06-05 Semiconductor Components Industries, Llc Hybrid bonded image sensor and method of operating such image sensor
EP3414702A1 (en) 2016-02-08 2018-12-19 Spero Devices, Inc. Analog co-processor
CN107534486B (zh) 2016-02-25 2021-04-30 松下电器(美国)知识产权公司 信号解码方法、信号解码装置以及记录介质
US9936150B2 (en) * 2016-03-17 2018-04-03 Semiconductor Components Industries, Llc Image sensors with a rolling shutter scanning mode and high dynamic range
US10715824B2 (en) 2016-03-17 2020-07-14 Facebook Technologies, Llc System and method for data compressing optical sensor data prior to transferring to a host system
US10420523B2 (en) 2016-03-21 2019-09-24 The Board Of Trustees Of The Leland Stanford Junior University Adaptive local window-based methods for characterizing features of interest in digital images and systems for practicing same
US10003726B2 (en) 2016-03-25 2018-06-19 Microsoft Technology Licensing, Llc Illumination module for near eye-to-eye display system
CN113923389A (zh) 2016-03-29 2022-01-11 株式会社尼康 摄像元件
CN108886048B (zh) 2016-03-31 2022-12-16 索尼公司 摄像装置、摄像装置的制造方法和电子装置
JP2017183658A (ja) 2016-03-31 2017-10-05 ソニー株式会社 固体撮像素子、撮像装置、および電子機器
US10720465B2 (en) 2016-03-31 2020-07-21 Nikon Corporation Image sensor and image capture device
WO2017177177A1 (en) 2016-04-07 2017-10-12 Tobii Ab Image sensor for vision based human computer interaction
US10594974B2 (en) 2016-04-07 2020-03-17 Tobii Ab Image sensor for vision based on human computer interaction
US10225499B2 (en) 2016-04-11 2019-03-05 Semiconductor Components Industries, Llc Backside illuminated global shutter pixel with active reset
US10110839B2 (en) 2016-05-03 2018-10-23 Semiconductor Components Industries, Llc Dual-photodiode image pixel
US9967472B2 (en) 2016-05-17 2018-05-08 JVC Kenwood Corporation Image sensor combining high dynamic range techniques
US10015416B2 (en) 2016-05-24 2018-07-03 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
US9900117B2 (en) 2016-05-27 2018-02-20 Nxp Usa, Inc. Communication unit receiver, integrated circuit and method for ADC dynamic range selection
US10072974B2 (en) 2016-06-06 2018-09-11 Semiconductor Components Industries, Llc Image sensors with LED flicker mitigaton global shutter pixles
EP3414777B1 (en) 2016-06-08 2021-01-06 Invisage Technologies, Inc. Image sensors with electronic shutter
EP3258683A1 (en) 2016-06-13 2017-12-20 ams AG Image sensor and method for operating an image sensor
US9942492B2 (en) 2016-06-16 2018-04-10 Semiconductor Components Industries, Llc Image sensors having high dynamic range functionalities
US20170366766A1 (en) 2016-06-16 2017-12-21 Semiconductor Components Industries, Llc Image sensors having high dynamic range functionalities
JP6627656B2 (ja) 2016-06-20 2020-01-08 リコーイメージング株式会社 焦点検出装置
US9967496B2 (en) 2016-06-30 2018-05-08 Sony Corporation Active reset circuit for reset spread reduction in single-slope ADC
JP7125345B2 (ja) 2016-07-06 2022-08-24 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像素子の製造方法、及び、電子機器
IL246796B (en) 2016-07-14 2020-05-31 Semi Conductor Devices An Elbit Systems Rafael Partnership Two-color light sensor and method
JP6806494B2 (ja) 2016-08-24 2021-01-06 キヤノン株式会社 撮像装置、撮像システム、移動体及び撮像装置の駆動方法
US9979912B2 (en) 2016-09-12 2018-05-22 Semiconductor Components Industries, Llc Image sensors with power supply noise rejection capabilities
JP2018046430A (ja) 2016-09-15 2018-03-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
US10186535B2 (en) 2016-09-19 2019-01-22 Semiconductor Components Industries, Llc Image sensors with stacked photodiodes
US9935618B1 (en) 2016-09-30 2018-04-03 Tower Semiconductor Ltd. Schmitt trigger circuit with hysteresis determined by modified polysilicon gate dopants
US10484628B2 (en) 2016-10-21 2019-11-19 The Johns Hopkins University Flexible pixel-wise exposure control and readout
US10110840B2 (en) 2016-10-25 2018-10-23 Semiconductor Components Industries, Llc Image sensor pixels with overflow capabilities
US9800260B1 (en) 2016-11-04 2017-10-24 Analog Devices Global Method and apparatus to increase dynamic range in delta-sigma ADC using internal feedback across all integrators in loop-filter
JP2018082261A (ja) 2016-11-15 2018-05-24 キヤノン株式会社 撮像素子
WO2018094086A1 (en) 2016-11-16 2018-05-24 Magic Leap, Inc. Multi-resolution display assembly for head-mounted display systems
KR20180056962A (ko) 2016-11-21 2018-05-30 삼성전자주식회사 전원 제어 회로를 포함하는 이벤트 기반 센서
GB2556910A (en) 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
US9955091B1 (en) 2016-12-20 2018-04-24 Omnivision Technologies, Inc. High dynamic range image sensor read out architecture using in-frame multi-bit exposure control
KR20180072134A (ko) 2016-12-21 2018-06-29 에스케이하이닉스 주식회사 아날로그-디지털 변환 장치 및 그에 따른 씨모스 이미지 센서
KR102621752B1 (ko) 2017-01-13 2024-01-05 삼성전자주식회사 Mram을 포함한 씨모스 이미지 센서
US10271037B2 (en) 2017-01-20 2019-04-23 Semiconductor Components Industries, Llc Image sensors with hybrid three-dimensional imaging
WO2018140012A1 (en) 2017-01-25 2018-08-02 BAE Systems Imaging Solutions Inc. Imaging array with extended dynamic range
US20180220093A1 (en) 2017-02-01 2018-08-02 Renesas Electronics Corporation Image sensor
US10070081B2 (en) 2017-02-03 2018-09-04 SmartSens Technology (U.S.), Inc. Stacked image sensor pixel cell with dynamic range enhancement and selectable shutter modes and in-pixel CDS
US10218923B2 (en) 2017-02-17 2019-02-26 Semiconductor Components Industries, Llc Methods and apparatus for pixel binning and readout
US10360732B2 (en) 2017-03-23 2019-07-23 Intel Corporation Method and system of determining object positions for image processing using wireless network angle of transmission
KR102401583B1 (ko) 2017-03-29 2022-05-24 삼성전자주식회사 이미지 센서
CN110771155B (zh) 2017-05-10 2021-11-16 普里露尼库斯新加坡私人有限公司 固态摄像装置、固态摄像装置的驱动方法、以及电子设备
JP6461234B2 (ja) 2017-05-19 2019-01-30 キヤノン株式会社 撮像装置及び撮像システム
JP6957204B2 (ja) 2017-05-30 2021-11-02 オリンパス株式会社 顕微鏡システム、制御方法、及び、プログラム
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10917589B2 (en) 2017-06-26 2021-02-09 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10395376B2 (en) 2017-07-19 2019-08-27 Qualcomm Incorporated CMOS image sensor on-die motion detection using inter-pixel mesh relationship
US10726627B2 (en) 2017-07-25 2020-07-28 Facebook Technologies, Llc Sensor system based on stacked sensor layers
US10090342B1 (en) 2017-08-01 2018-10-02 Semiconductor Components Industries, Llc Stacked image sensor capacitors and related methods
US10103193B1 (en) 2017-08-03 2018-10-16 Omnivision Technologies, Inc. Apparatus and method for low dark current floating diffusion
US10750097B2 (en) 2017-08-14 2020-08-18 Facebooke Technologies, Llc Varying exposure time of pixels in photo sensor using motion prediction
US10608101B2 (en) 2017-08-16 2020-03-31 Facebook Technologies, Llc Detection circuit for photo sensor with stacked substrates
US10825854B2 (en) 2017-08-16 2020-11-03 Facebook Technologies, Llc Stacked photo sensor assembly with pixel level interconnect
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
JP2019040897A (ja) 2017-08-22 2019-03-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子及び電子機器
JP7072362B2 (ja) 2017-09-26 2022-05-20 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
JP6887130B2 (ja) 2017-09-29 2021-06-16 パナソニックIpマネジメント株式会社 監視カメラシステム及び監視方法
JP6929750B2 (ja) 2017-09-29 2021-09-01 キヤノン株式会社 撮像装置、撮像システム、移動体
JP7039236B2 (ja) 2017-09-29 2022-03-22 キヤノン株式会社 逐次比較型ad変換器、撮像装置、撮像システム、移動体
US10506217B2 (en) 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
JP7100439B2 (ja) 2017-10-20 2022-07-13 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
KR102467845B1 (ko) 2017-10-24 2022-11-16 삼성전자주식회사 적층형 씨모스 이미지 센서
US10764526B1 (en) 2017-11-01 2020-09-01 Facebook Technologies, Llc Spatial derivative pixel array with adaptive quantization
JP7018293B2 (ja) 2017-11-06 2022-02-10 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US11039092B2 (en) 2017-11-15 2021-06-15 Nvidia Corporation Sparse scanout for image sensors
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
JP7179759B2 (ja) 2017-12-06 2022-11-29 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、固体撮像装置の制御方法およびコンピュータプログラム
US10708529B2 (en) 2017-12-20 2020-07-07 Semiconductor Components Industries, Llc Image sensors with low-voltage transistors
US11057581B2 (en) 2018-01-24 2021-07-06 Facebook Technologies, Llc Digital pixel array with multi-stage readouts
US20190246036A1 (en) 2018-02-02 2019-08-08 Futurewei Technologies, Inc. Gesture- and gaze-based visual data acquisition system
KR102469080B1 (ko) 2018-02-13 2022-11-23 에스케이하이닉스 주식회사 비교 장치 및 그에 따른 씨모스 이미지 센서
US10827142B2 (en) 2018-03-02 2020-11-03 Facebook Technologies, Llc Digital pixel array with adaptive exposure
JP2019153987A (ja) 2018-03-06 2019-09-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置の信号処理方法、並びに、電子機器
US10969273B2 (en) 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
US11004881B2 (en) 2018-04-03 2021-05-11 Facebook Technologies, Llc Global shutter image sensor
US10923523B2 (en) 2018-04-16 2021-02-16 Facebook Technologies, Llc Multi-photodiode pixel cell
US10812742B2 (en) 2018-04-18 2020-10-20 Facebook Technologies, Llc Apparatus and method for determining whether a photodiode saturates and outputting a digital value representing a charge from that photodiode based on that determination
US11233085B2 (en) 2018-05-09 2022-01-25 Facebook Technologies, Llc Multi-photo pixel cell having vertical gate structure
US11348955B2 (en) 2018-06-05 2022-05-31 Brillnics Singapore Pte. Ltd. Pixel structure for image sensors
US10804926B2 (en) 2018-06-08 2020-10-13 Facebook Technologies, Llc Charge leakage compensation in analog-to-digital converter
US10834344B2 (en) 2018-06-09 2020-11-10 Facebook Technologies, Llc Digital pixel with extended dynamic range
US11089241B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Pixel cell with multiple photodiodes
US10684681B2 (en) 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
US10903260B2 (en) 2018-06-11 2021-01-26 Facebook Technologies, Llc Multi-photodiode pixel cell
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10345447B1 (en) 2018-06-27 2019-07-09 Luminar Technologies, Inc. Dynamic vision sensor to direct lidar scanning
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10708522B2 (en) 2018-08-10 2020-07-07 International Business Machines Corporation Image sensor with analog sample and hold circuit control for analog neural networks
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11102430B2 (en) 2018-12-10 2021-08-24 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
JP7319780B2 (ja) 2019-01-11 2023-08-02 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11010327B2 (en) 2019-07-23 2021-05-18 Qualcomm Incorporated I3C point to point
JP7460345B2 (ja) 2019-09-30 2024-04-02 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US11394905B2 (en) 2019-12-13 2022-07-19 Sony Semiconductor Solutions Corporation Dynamic region of interest and frame rate for event based sensor and imaging camera
JP7455588B2 (ja) 2020-01-17 2024-03-26 キヤノン株式会社 撮像装置
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains

Also Published As

Publication number Publication date
US11463636B2 (en) 2022-10-04
JP2021528890A (ja) 2021-10-21
CN112640438A (zh) 2021-04-09
KR20210025617A (ko) 2021-03-09
US20220159204A1 (en) 2022-05-19
WO2020006174A1 (en) 2020-01-02
US11863886B2 (en) 2024-01-02
US20200007800A1 (en) 2020-01-02
EP3815354A1 (en) 2021-05-05

Similar Documents

Publication Publication Date Title
TW202007139A (zh) 具有多光電二極體的像素感測器
TWI815951B (zh) 具有適應性曝光時間的像素感測器
US11102430B2 (en) Pixel sensor having multiple photodiodes
CN112369013B (zh) 全局快门图像传感器
EP3425352A1 (en) Digital pixel with extended dynamic range
TW202027497A (zh) 具有多個光電二極體和共用比較器之像素感測器
US11943561B2 (en) Non-linear quantization at pixel sensor
CN112640434A (zh) 可配置的图像传感器
TW202011734A (zh) 具有延伸動態範圍之數位像素
WO2019236161A1 (en) Charge leakage compensation in analog-to-digital converter
TW202020507A (zh) 影像感測器後置處理
US11877080B2 (en) Pixel sensor having shared readout structure
JP2021519011A (ja) マルチフォトダイオードピクセルセル
KR20210018495A (ko) 확장된 동적 범위를 갖는 디지털 화소
TWI793334B (zh) 影像感測器後處理