TW202038596A - 動態可程式化影像感測器 - Google Patents

動態可程式化影像感測器 Download PDF

Info

Publication number
TW202038596A
TW202038596A TW108146257A TW108146257A TW202038596A TW 202038596 A TW202038596 A TW 202038596A TW 108146257 A TW108146257 A TW 108146257A TW 108146257 A TW108146257 A TW 108146257A TW 202038596 A TW202038596 A TW 202038596A
Authority
TW
Taiwan
Prior art keywords
image
pixel
controller
pixel unit
data
Prior art date
Application number
TW108146257A
Other languages
English (en)
Inventor
安德魯 山謬爾 博寇維奇
新橋 劉
漢斯 雷瑟霍夫
Original Assignee
美商菲絲博克科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商菲絲博克科技有限公司 filed Critical 美商菲絲博克科技有限公司
Publication of TW202038596A publication Critical patent/TW202038596A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Abstract

在一例子中，一種設備包括：一影像感測器，其包括一像素單元陣列，每一個像素單元包含一光二極體以及電路以產生影像資料，所述光二極體是被形成在一第一半導體基板中；以及一控制器，其被形成在一或多個包含所述像素單元陣列的所述電路的第二半導體基板中，所述第一及第二半導體基板形成一堆疊並且被容置在一半導體封裝之內。所述控制器被配置以：判斷藉由所述影像感測器產生的第一影像資料是否包含一物體的特點；根據所述第一影像資料是否包含所述物體的所述特點，產生用於所述影像感測器的程式化信號；以及根據所述程式化信號來控制所述影像感測器以產生第二影像資料。

Description

動態可程式化影像感測器
本揭露內容是大致有關於影像感測器，並且更明確地說是有關於動態可程式化影像感測器。 相關的申請案
此專利申請案主張2018年12月17日申請的名稱為“致能效能驅使的感測器-硬體共同最佳化的系統”的美國臨時專利申請案序號62/780,743、以及2019年12月16日申請的名稱為“動態可程式化影像感測器”的美國非臨時專利申請案序號16/716,050的優先權，所述美國專利申請案被讓與給本案的受讓人，並且為了所有的目的而以其整體被納入在此作為參考。
典型的影像感測器包含一像素單元陣列。每一個像素單元可包含一光二極體，以藉由轉換光子成為電荷(例如，電子或電洞)來感測光。在每一個像素單元所轉換的電荷可以被量化以變成為一數位像素值，並且一影像可以從一陣列的數位像素值而被產生。所述像素單元陣列的操作可以根據預設的程式化信號而被配置。
本揭露內容是有關於影像感測器。更明確地說，而且在無限制之下，此揭露內容是有關於一種影像感測器，其是可藉由整合的控制器根據所述影像感測器所捕捉的影像資料動態地程式化的。
在一例子中，一種設備包括：影像感測器，其包括像素單元陣列，每一個像素單元包含光二極體及電路以產生影像資料，所述光二極體被形成在第一半導體基板中；以及控制器，其被形成在一或多個包含所述像素單元陣列的所述電路的第二半導體基板中，所述第一及第二半導體基板形成堆疊並且被容置在半導體封裝之內。所述控制器被配置以：判斷藉由所述影像感測器產生的第一影像資料是否包含物體的特點；根據所述第一影像資料是否包含所述物體的所述特點來產生用於所述影像感測器的程式化信號；以及根據所述程式化信號來控制所述影像感測器以產生第二影像資料。
在某些特點中，所述設備進一步包括被配置以取出所述物體的所述特點的影像處理器。所述影像處理器是被實施在所述一或多個第二半導體基板中。
在某些特點中，所述影像處理器被配置以提供所述物體的所述抽取出的特點在第一影像幀中的像素位置至所述控制器。所述控制器被配置以：根據所述抽取出的特點的所述像素位置來判斷在包含所述第二影像資料的第二影像幀中的所關注的區域(ROI)；以及根據所述ROI來產生所述程式化信號。
在某些特點中，所述控制器被配置以根據所述物體的運動模型來判斷在所述第二影像幀中的所述ROI。
在某些特點中，所述程式化信號包括目標在所述ROI之內的所述像素單元陣列的第一子集合的程式化信號的第一子集合、以及目標在所述像素單元陣列的第二子集合的程式化信號的第二子集合。
在某些特點中，所述控制器被配置以控制所述像素單元陣列的所有的像素單元以輸出用於所述第一影像幀的像素資料。程式化信號的所述第一子集合控制所述像素單元陣列的所述第一子集合以輸出用於所述第二影像幀的像素資料。程式化信號的所述第二子集合控制所述像素單元陣列的所述第二子集合不輸出用於所述第二影像幀的像素資料。
在某些特點中，程式化信號的所述第一子集合控制以下的至少一個：由所述像素單元陣列的所述第一子集合所消耗的第一功率、藉由所述像素單元陣列的所述第一子集合輸出的第一像素資料的第一量化解析度、或是所述第一像素資料的第一位元長度。程式化信號的所述第二子集合控制以下的至少一個：由所述像素單元陣列的所述第二子集合所消耗的第二功率、藉由所述像素單元陣列的所述第二子集合輸出的第二像素資料的第二量化解析度、或是所述第一像素資料的第二位元長度。
在某些特點中，所述陣列像素單元的每一個像素單元是個別可定址的。所述程式化信號包括個別目標在每一個像素單元的像素層級的信號。
在某些特點中，所述控制器被配置以：從所述影像處理器接收所述第一影像資料並不包含所述物體的所述特點的指示；以及根據所述指示來產生所述程式化信號以控制所述影像感測器以根據以下的至少一個來執行子取樣操作：禁能所述像素單元陣列的子集合、或是控制所述像素單元陣列的所述子集合不輸出像素資料。
在某些特點中，所述控制器被配置以產生所述程式化信號以縮放所述影像感測器的供應電壓。
在某些特點中，所述影像處理器被配置以：從第二感測器接收指出所述物體的實體位置的位置資訊；以及根據所述位置資訊以從所述第一影像資料取出所述物體的所述特點。
在某些特點中，所述影像處理器實施神經網路以取出所述物體的所述特點。
在某些特點中，所述神經網路的權重是在所述設備操作在訓練模式中並且獲得所述物體的影像資料時獲得的。
在某些特點中，所述程式化信號是第一程式化信號。所述影像處理器包括複數個子區塊，每一個子區塊被配置以從來自所述影像感測器的影像資料區塊取出所述物體的所述特點。所述控制器被配置以根據所述物體的所述特點從所述第一影像資料藉由所述影像處理器的抽取的結果來發送第二程式化信號至所述影像處理器，以禁能所述子區塊的子集合用於所述物體的所述特點從所述第二影像資料的所述抽取。
在某些特點中，所述程式化信號是第一程式化信號。所述控制器被配置以發送第二程式化信號至所述影像處理器以調整以下的至少一個：所述影像處理器的供應電壓、或是所述影像處理器的操作頻率。
在某些特點中，所述程式化信號是第一程式化信號。所述控制器被配置以發送第二程式化信號至所述影像處理器以控制所述影像處理器不從所述第二影像資料取出所述物體的所述特點並且轉傳所述第二影像資料至外部的系統。
在某些特點中，所述設備進一步包括：像素互連，其藉由晶片至晶片銅接合而被實施在所述第一半導體基板以及所述一或多個第二半導體基板之間，以發送藉由在所述第一半導體基板中的所述光二極體產生的信號至在所述一或多個第二半導體基板中的所述每一個像素單元的所述電路；以及在所述第一半導體基板以及所述一或多個第二半導體基板之間的直通矽晶穿孔(TSV)，以從所述控制器發送所述程式化信號至所述影像感測器。
在某些例子中，一種方法被提出。所述方法包括：藉由控制器判斷藉由影像感測器產生的第一影像資料是否包含物體的特點，其中所述影像感測器以及所述控制器形成堆疊並且被容置在半導體封裝之內；根據所述第一影像資料是否包含所述物體的特點，藉由所述控制器產生用於所述影像感測器的程式化信號；以及藉由所述控制器並且根據所述程式化信號來控制所述影像感測器以產生第二影像資料。
在某些特點中，所述方法進一步包括藉由影像處理器抽取所述物體的所述特點。所述影像處理器是所述堆疊的部分並且被容置在所述半導體封裝之內。
在某些特點中，所述方法進一步包括：藉由所述影像處理器判斷所述物體的所述抽取出的特點在第一影像幀中的像素位置；藉由所述控制器並且根據所述抽取出的特點的所述像素位置來判斷在包含所述第二影像資料的第二影像幀中的所關注的區域(ROI)；以及藉由所述控制器，根據所述ROI來產生所述程式化信號。
在以下的說明中，為了解說之目的，特定的細節被闡述以便於提供發明的某些實施例的徹底理解。然而，將會明顯的是各種的實施例可以在無這些特定的細節下加以實施。所述圖式及說明並不欲為限制性的。
一影像感測器包含一像素單元陣列。每一個像素單元包含電路構件以執行一光感測操作。例如，每一個像素單元可包含一用以藉由轉換光子成為電荷(例如，電子或電洞)來感測入射光的光二極體、以及一用以轉換所述電荷成為一電壓的電荷感測單元(例如，一浮接的汲極以及一緩衝器)。所述影像感測器亦可包含一或多個類比至數位轉換器(ADC)以量化藉由所述像素單元的所述電荷感測單元輸出的電壓成為數位值。所述ADC可以例如藉由利用一比較器以比較一代表所述電荷的電壓與一或多個量化位準來量化所述電荷，並且一數位值可以根據所述比較結果而被產生。所述數位值接著可被儲存在一記憶體中，以產生所述影像。一影像感測器通常包含一控制器以傳送出一或多個晶片層級的程式化信號來配置所述影像感測器的所述像素單元的操作。例如，所述控制器可以導通或關斷所述影像感測器的所有的像素單元、設定其中所述像素單元執行光感測操作的一全域的曝光時間、等等。
來自一影像感測器的像素資料可以支援各種的應用程式，例如是2D及3D感測的融合、物體識別及追蹤、位置追蹤、等等。這些應用程式可以從所述影像取出一或多個物體的特點，並且根據所抽取出的特點來執行計算。例如，為了執行3D感測，一應用程式可以識別反射的結構光的像素(例如，點)、比較從所述像素抽取出的一圖案與所述發送的結構光、以及根據所述比較來執行深度計算。所述應用程式亦可以從提供所述結構光的抽取出的圖案的相同的像素單元識別2D像素資料，以執行2D及3D感測的融合。為了執行物體識別及追蹤，一應用程式亦可以識別所述物體的影像特點的像素、從所述像素取出所述影像特點、以及根據所述抽取結果來執行所述識別及追蹤。所述物體識別及追蹤的結果可以支援較高階的應用程式，例如是同步定位與地圖構建(SLAM)應用程式、眼動追蹤應用程式、等等。這些應用程式通常是在主機處理器上執行的，其可以和所述影像感測器電連接，並且經由互連來接收所述像素資料。所述主機處理器、所述影像感測器、以及所述互連可以是一行動裝置的一成像系統的部分。
儘管這些主機應用程式可以受益於藉由所述像素單元陣列所產生的影像資料，但是整體成像系統的效能，例如是功率消耗、速度、正確性、等等可能會受限於各種的因素。首先，通常那些應用程式對於所述影像資料的產生以及這些像素單元的光感測操作並無控制。缺少來自所述主機應用程式在像素單元的配置上的輸入可能會在所述影像感測器以及這些應用程式的可達成的效能上施予限制。例如，所述主機應用程式可以受益於高解析度的影像及/或高的幀率。較高解析度的影像容許所述應用程式能夠取出更詳細的特點/圖案(例如，反射的結構光的更精細的圖案、更詳細的影像特點、等等)，而提供在較高的幀率產生的影像是使得一應用程式能夠在較高的取樣率下追蹤一物體的位置、所述行動裝置的位置、等等，兩種程序都可以改善所述應用程式的效能。然而，高解析度的影像以及高的幀率可能會導致大量像素資料的產生、發送及處理，此可能會呈現許多的挑戰。例如，在高的資料速率下發送及處理大量的像素資料可能會導致在所述影像感測器、所述互連、以及所述主機處理器的高功率消耗。再者，所述影像感測器以及所述主機處理器可能會在大量的像素資料的產生及處理上施予頻寬限制，並且增加其延遲。所述高功率及高頻寬的要求對於因為形狀因數及安全考量而趨向在相當低功率以及在相當低速下運作的行動裝置而言尤其可能是有問題的。
此外，通常所述影像感測器以及所述主機處理器是根據不同的規格而個別地被設計及最佳化。此種配置可能會在所述影像感測器以及在所述主機處理器當它們組合以形成所述成像系統時，導致無效率以及資源(例如，功率、頻寬、等等)的浪費。例如，所述影像感測器可被配置以從每一個像素單元產生像素資料，並且發送所述像素資料至所述主機處理器，但是所述主機處理器並不需要來自每一個像素單元的像素資料，而只需要來自所述像素單元的一子集合的像素資料以追蹤一物體。作為另一例子的是，所述影像感測器可被配置以在一高的幀率下輸出高精確度的像素資料，此兩者都超過所述主機處理器的處理能力。因此，所述主機處理器只處理來自每一個像素單元的像素資料的一些最高有效位元(MSB)，並且需要跳過幀。當整體系統的效能(例如，幀率、精確性、等等)受限於所述主機處理器時，這些全都導致所述影像感測器在產生無法藉由所述主機處理器處理的像素資料上的功率及頻寬的浪費。
此揭露內容是有關於一種成像系統，其可以解決以上的問題中的至少某些問題。明確地說，所述影像系統可包含一影像感測器、一影像處理器、以及一控制器。所述影像感測器包含一像素單元陣列，其被配置以產生第一影像資料。所述影像處理器可以根據抽取一物體的特點來處理所述第一影像資料並且產生一輸出，其指出所述物體的所述特點是否在所述第一影像資料中、以及若它們是在其中的話，所述特點在所述第一影像資料中的像素位置。所述控制器可以根據所述影像處理器的輸出來判斷所述第一影像資料是否包含所述物體的所述特點，並且根據所述判斷來產生用於所述影像感測器的程式化信號。所述控制器接著可以控制所述影像感測器，以根據所述程式化信號來產生第二影像資料。所述影像感測器可被實施在一第一半導體基板上，而所述影像處理器以及所述控制器可被實施在一或多個第二半導體基板上，其中所述第一半導體基板以及所述一或多個第二半導體基板形成一堆疊並且被容置在一半導體封裝之內。在某些例子中，所述影像處理器以及所述控制器可以是被實施在單一半導體基板上的單一計算區塊的部分，而在其它例子中，所述影像處理器以及所述控制器可以是被實施在不同的半導體基板上的個別的處理電路區塊。所述影像感測器、所述影像處理器、以及所述控制器可以利用垂直的電連接，例如是直通矽晶穿孔(TSV)、晶片至晶片的銅接合、等等來電連接。
在某些例子中，所述影像感測器、所述影像處理器、以及所述控制器可以形成一閉迴路系統，以根據藉由所述影像感測器產生的影像資料來動態地程式化所述影像感測器。明確地說，在其中所述影像處理器輸出所述物體的所述特點在一包含所述第一影像資料的第一影像幀中的位置至所述控制器的一情形中，所述控制器可以判斷在一將藉由所述影像感測器產生的第二影像幀中的一所關注的區域(ROI)。所述控制器可以例如是根據所述物體的一運動模型來判斷所述ROI，以根據所述物體的所述特點在所述第一影像幀中的像素位置來預測所述物體在所述第二影像幀中的像素位置。所述控制器接著可以產生所述程式化信號的一第一子集合以用於所述像素單元陣列在所述ROI中的一第一子集合、以及所述程式化信號的一第二子集合以用於所述像素單元陣列在所述ROI之外的一第二子集合。所述程式化信號的所述不同的子集合可以不同地配置所述像素單元陣列的對應的子集合。例如，所述程式化信號的所述第一子集合可以導通像素單元的所述第一子集合及/或致能藉由像素單元的所述第一子集合的像素資料的輸出，而所述程式化信號的所述第二子集合可以關斷像素單元的所述第二子集合及/或禁能藉由像素單元的所述第二子集合的像素資料的輸出。作為另一例子的是，相對於藉由所述程式化信號的所述第二子集合之像素單元的所述第二子集合，所述程式化信號的所述第一子集合可以增加量化解析度、像素資料的位元長度、等等。在其中每一個像素單元包含多個被配置以感測不同頻率範圍的光的光二極體的一情形中，所述影像處理器可以取出對應於不同頻率範圍的特點，並且所述控制器可以針對於所述不同的頻率範圍來判斷ROI，並且根據用於所述不同頻率範圍的所述ROI來產生所述程式化信號。
在另一方面，在其中所述影像處理器輸出所述物體的所述特點並不在所述第一幀中，且/或所述物體的像素位置橫跨一些幀保持靜態的一情形中，所述控制器可以產生程式化信號以調整在所述影像感測器的操作的各種特點。例如，所述控制器可以控制所述影像感測器以執行一子取樣操作(例如，只有像素單元的一子集合被導通及/或致能以輸出像素資料)，以降低所述影像感測器的幀率、等等。
在某些例子中，在所述像素陣列中的每一個像素單元或是每一個像素單元群組(例如，2x2像素單元)是個別可程式化的。在以上兩種情形中，所述程式化信號可包含目標在每一個別的像素單元/像素單元群組的像素層級的程式化信號，以提供所述影像感測器的細微顆粒的控制。再者，所述影像處理器可以取出特點並且從每一個影像幀更新所述特點的像素位置，此容許所述控制器能夠動態地更新用於每一個幀的產生的程式化信號，以例如反映所述物體的特點的偵測/偵測不到、所述ROI的更新後的位置、等等。
所述影像處理器可以利用各種的技術來取出一物體的特點。例如，所述影像處理器可以實施一神經網路，例如是卷積神經網路(CNN)，以在權重下在所述像素資料上執行算術運算以執行所述抽取。所述影像處理器可包含記憶體裝置(例如，自旋隧道隨機存取記憶體(STRAM)、非揮發性隨機存取記憶體(NVRAM)、等等)以儲存所述權重。所述影像處理器可以離線接收所述權重、及/或根據一訓練程序來產生所述權重、或是兩者的一組合。例如，在其中所述影像處理器是用以取出使用者的一眼的特點的一情形中，所述影像處理器可以離線獲得一組最初的權重。所述影像處理器接著可以在一訓練模式中更新所述最初的權重，其中所述影像感測器是在使用者被要求觀看在一特定的實體位置的一特定物體時捕捉所述眼睛的影像，並且所述影像處理器更新所述最初的權重以使得所述眼睛的特點可從對應於所述實體位置的像素位置被抽取出。所述影像處理器亦可以從其它感測器(例如是一慣性的量測單元(IMU))接收感測器資料，其可包含所述物體的實體位置資訊，並且根據所述感測器資料來執行所述物體的所述特點的抽取。
在某些例子中，所述控制器亦可以控制所述影像處理器的特點抽取操作。例如，根據一操作狀況(例如，一場景的特點的密度、所述影像系統可利用的功率、一光狀況、等等)，所述控制器可以調整所述影像感測器的操作電壓、所述影像處理器抽取所述物體的特點所用的速度、等等。所述控制器亦可以提供ROI的預測的位置回到所述影像處理器，因而所述影像處理器在後續的影像幀中只從所述ROI取出特點。所述控制器亦可以禁能所述影像處理器的部分以達成一目標效率，其例如是根據由所述像素單元輸出的像素資料的一位元長度而定。在其中所述控制器判斷影像處理器無法完成所述特點的抽取(例如，低於一目標功率使用、在一所需的幀率、等等)的一情形中，所述控制器亦可以發送所述影像感測器的至少部分的像素資料至一外部的系統(例如，一主機)以執行所述特點抽取。所述控制器亦可以發送所述抽取出的特點至所述主機以支援各種的主機應用程式(例如，眼動追蹤、SLAM、等等)。
在所揭露的技術下，一影像感測器可以與包括所述影像處理器以及所述控制器的計算區塊密切整合，此致能所述影像感測器以及所述計算區塊由一特定目標(例如，一目標功率、一目標精確性、一目標速度、等等)驅使的共同最佳化。和其中影像系統的每一個構件是根據不同的規格而被最佳化的一情形相比較，此種配置可以改善整體成像系統的效能。例如，根據一功率預算，最高可達成的像素資料精確度可被決定，同時由所述影像感測器以及所述計算區塊的每一個所耗費的總功率維持低於所述功率預算。所述影像感測器以及於是計算區塊接著可被配置以根據所述目標像素資料精確度來運作以最大化整體系統的效能，同時低於所述功率預算的限制。
所述影像感測器以及所述計算區塊在單一半導體封裝之內的密切整合亦可以提供各種的效能優點。明確地說，所述影像處理操作的可靠度及安全性可以藉由在所述半導體封裝之內本地消耗所述影像感測器資料來加以執行。相對地，發送所述影像感測器資料至一外部的晶片(例如，經由有線或無線的資料連結)可能會使所述資料曝露而遭毀損及攔截。再者，資料隱密性也可被改善，因為可以避免儲存原始像素資料在一外部的記憶體中，所述原始影像資料是由所述影像處理器本地加以消耗的。再者，所述影像資料的本地處理例如藉由降低在傾向是頻寬有限的晶片至晶片互連上需要被發送的資料量亦降低系統延遲，因而致能在較高速下的操作。例如，所述原始像素資料並不需要被發送到晶片外至所述主機。而是，所述像素資料可以在內部發送至所述影像處理器以用於處理。此種配置可以改善其中延遲是一項重要度量，特別是相關感測、追蹤及顯示系統的應用程式(例如擴增實境(AR)應用程式、虛擬實境(VR)應用程式、等等)的效能。再者，功率消耗可被降低。明確地說，資料傳輸的功率消耗可以是直接相關於資料必須被傳送的實體距離。例如，C-PHY行動產業處理器介面(MIPI)需要幾微微焦耳(pJ)/位元，而透過一60GHz鏈路的無線發送需要數百pJ/位元。因此，功率消耗可以藉由將像素資料傳輸從晶片外的傳輸(例如，經由C-PHY MIPI、無線頻道、等等)移到所述封裝之內的互連而被降低。類似地，一32位元的晶片上的SRAM記憶體存取可以比一32位元的晶片外的DRAM記憶體存取消耗約小100倍的能量。因此，相較於其中所述影像感測器以及所述計算區塊是在藉由晶片外的互連或無線連線所連接的兩個不同的封裝中的一異質的系統，將所述感測及計算區塊兩者納入同一封裝中的一密切整合的系統可以導致低許多的功率消耗。
此外，在所揭露的技術下，一閉迴路回授系統可被實施以動態地配置在所述影像感測器及/或在所述影像處理器的操作，此可以進一步改善所述成像系統的整體效能。明確地說，所述控制器可以根據所述像素單元是否在一ROI中來程式化所述像素單元。所述控制器亦可以程式化在所述ROI之內的像素單元以在較高的精確性/較高速下產生像素資料，以進一步改善所述系統的效能。再者，所述控制器可以配置所述影像處理器以從一影像幀的所述ROI取出特點，以改善在特點抽取上的效率並且降低系統延遲。這些全部都可以降低在產生、發送及處理所述主機應用程式並不需要的像素資料上的資源(例如，功率、頻寬、等等)的浪費，同時容許所述資源能夠被用在改進所述主機應用程式所需的像素資料的品質。再者，由於所述影像感測器以及所述計算區塊是密切整合在單一半導體封裝之內，因此所述回授系統可被操作在高速下，並且所述程式化信號的更新可以是對於在所述成像系統的操作狀況上的改變更反應靈敏的。這些全部都可以改善所述成像系統的效率及整體效能，尤其是在捕捉快速變化的場景的影像上，以支援物體追蹤應用程式、SLAM應用程式、等等。
所揭露的技術可包含一人工實境系統、或是結合一人工實境系統來加以實施。人工實境是一種形式的實境，其在呈現給一使用者之前已經用某種方式調整，例如可包含一虛擬實境(VR)、一擴增實境(AR)、一混合實境(MR)、一混雜實境、或是其之某種組合及/或衍生。人工實境內容可包含完全是所產生的內容、或是結合所捕捉(例如，真實世界)的內容之產生的內容。所述人工實境內容可包含視訊、音訊、觸覺回授、或是其之某種組合，其之任一個都可以用單一通道或是多個通道來加以呈現(例如是產生三維效果給觀看者的立體視訊)。此外，在某些實施例中，人工實境亦可以是和應用程式、產品、配件、服務、或是其之某種組合相關的，其例如被用來在一人工實境中產生內容，且/或否則在一人工實境中被使用(例如，在人工實境中執行活動)。提供人工實境內容的人工實境系統可以在各種平台上加以實施，其包含連接至一主機電腦系統的一頭戴顯示器(HMD)、一獨立的HMD、一行動裝置或計算系統、或是任何其它能夠提供人工實境內容給一或多個觀看者的硬體平台。
圖1A是一近眼顯示器100的一個實施例的圖。近眼顯示器100是將媒體呈現給一使用者。藉由近眼顯示器100所呈現的媒體的例子包含一或多個影像、視訊、及/或音訊。在某些實施例中，音訊是經由一從所述近眼顯示器100、一主機、或是兩者接收音訊資訊的外部裝置(例如，揚聲器及/或頭戴式耳機)而被呈現的，並且根據所述音訊資訊來呈現音訊資料。近眼顯示器100一般是被配置以運作為一虛擬實境(VR)顯示器。在某些實施例中，近眼顯示器100被修改以運作為一擴增實境(AR)顯示器及/或一混合實境(MR)顯示器。
近眼顯示器100包含一框架105以及一顯示器110。框架105是耦接至一或多個光學元件。顯示器110是被配置以供使用者看見藉由近眼顯示器100呈現的內容。在某些實施例中，顯示器110包括一波導顯示器組件，其用於從一或多個影像導引光至使用者的眼睛。
近眼顯示器100進一步包含影像感測器120a、120b、120c及120d。影像感測器120a、120b、120c及120d的每一個可包含一像素陣列，其被配置以產生代表沿著不同方向的不同視野的影像資料。例如，感測器120a及120b可被配置以提供代表朝向一沿著Z軸的方向A的兩個視野的影像資料，而感測器120c可被配置以提供代表朝向一沿著X軸的方向B的一視野的影像資料，並且感測器120d可被配置以提供代表朝向一沿著X軸的方向C的一視野的影像資料。
在某些實施例中，感測器120a-120d可被配置為輸入裝置以控制或影響近眼顯示器100的顯示內容，提供一互動的VR/AR/MR體驗給一穿戴近眼顯示器100的使用者。例如，感測器120a-120d可以產生使用者位在其中的一實體環境的實體影像資料。所述實體影像資料可被提供至一位置追蹤系統，以追蹤使用者在實體環境中的一位置及/或一移動路徑。一系統接著可以例如是根據使用者的位置及方位來更新被提供至顯示器110的影像資料，以提供互動的體驗。在某些實施例中，所述位置追蹤系統可以運算一SLAM演算法，以在使用者在實體環境之內移動時，追蹤在實體環境中並且在使用者的一視野之內的一組物體。所述位置追蹤系統可以根據該組物體來建構及更新實體環境的一地圖，並且追蹤使用者在所述地圖之內的位置。藉由提供對應於多個視野的影像資料，感測器120a-120d可以提供實體環境的一更全面的視野給所述位置追蹤系統，此可以導致更多物體內含在所述地圖的建構及更新中。在此種配置下，追蹤使用者在實體環境之內的一位置的正確性及強健度可被改善。
在某些實施例中，近眼顯示器100可以進一步包含一或多個主動照明器130以投射光到實體環境中。所投射的光可以是與不同的頻譜相關的(例如，可見光、紅外光、紫外光、等等)，並且可以用於各種目的。例如，照明器130可以投射光在一暗的環境中(或是在一具有低強度的紅外光、紫外光、等等的環境中)，以協助感測器120a-120d在所述暗的環境之內捕捉不同物體的影像以例如致能使用者的位置追蹤。照明器130可以投影某些標記到環境之內的物體之上，以協助位置追蹤系統識別所述物體以用於地圖的建構/更新。
在某些實施例中，照明器130亦可以致能立體成像。例如，感測器120a或120b中的一或多個可包含一用於可見光感測的第一像素陣列、以及一用於紅外線(IR)光感測的第二像素陣列。所述第一像素陣列可被覆蓋一彩色濾光片(例如，一拜爾濾光片)，其中第一像素陣列的每一個像素被配置以量測和一特定色彩(例如，紅色、綠色、或藍色色彩中之一)相關的光的強度。所述第二像素陣列(用於IR光感測)亦可被覆蓋一只容許IR光通過的濾光片，其中第二像素陣列的每一個像素被配置以量測IR光的強度。所述像素陣列可以產生一物體的一RGB影像以及一IR影像，其中所述IR影像的每一個像素被對映到所述RGB影像的每一個像素。照明器130可以投影一組IR標記在所述物體上，所述IR標記的影像可被所述IR像素陣列捕捉。根據如同在所述影像中所示的物體的所述IR標記的一分布，所述系統可以估計所述物體的不同部分與所述IR像素陣列的一距離，並且根據所述距離來產生所述物體的一立體影像。根據所述物體的立體影像，所述系統例如可以判斷所述物體相對使用者的一相對位置，並且可以根據所述的相對位置資訊來更新被提供至顯示器100的影像資料，以提供互動的體驗。
如上所論述，近眼顯示器100可以在和一非常廣範圍的光強度相關的環境中操作。例如，近眼顯示器100可被操作在一室內環境中、或是在一戶外環境中，且/或在一天的不同時間操作。近眼顯示器100亦可以在不論主動照明器130是否被導通下運作。因此，影像感測器120a-120d可能需要具有一寬的動態範圍以能夠橫跨和用於近眼顯示器100的不同操作環境相關的一非常廣範圍的光強度來正常地運作(例如，用以產生一關聯入射光的強度的輸出)。
圖1B是近眼顯示器100的另一實施例的圖。圖1B描繪近眼顯示器100的一面對穿戴近眼顯示器100的使用者的眼球135的側邊。如同在圖1B中所示，近眼顯示器100可以進一步包含複數個照明器140a、140b、140c、140d、140e及140f。近眼顯示器100進一步包含複數個影像感測器150a及150b。照明器140a、140b及140c可以朝向方向D(與圖1A的方向A相反的)發射具有某個頻率範圍(例如，NIR)的光。所發射的光可以是和某一圖案相關的，並且可被使用者的左眼球反射。感測器150a可包含一像素陣列以接收所反射的光，並且產生一具有所反射的圖案的影像。類似地，照明器140d、140e及140f可以發射帶有所述圖案的NIR光。所述NIR光可被使用者的右眼球反射，並且可以藉由感測器150b來加以接收。感測器150b亦可以包含一像素陣列，以產生一具有所反射的圖案的影像。根據來自感測器150a及150b的具有所反射的圖案的影像，所述系統可以判斷使用者的一注視點，並且根據所判斷的注視點來更新被提供至顯示器100的影像資料，以提供一互動的體驗給使用者。
如上所論述的，為了避免傷害使用者的眼球，照明器140a、140b、140c、140d、140e及140f通常是被配置以輸出非常低強度的光。在其中影像感測器150a及150b包括和圖1A的影像感測器120a-120d相同的感測器裝置的一情形中，當入射光的強度非常低的時候，所述影像感測器120a-120d可能需要能夠產生一關聯入射光的強度的輸出，此可能進一步增加影像感測器的動態範圍要求。
再者，所述影像感測器120a-120d可能需要能夠在高速下產生一輸出，以追蹤眼球的移動。例如，使用者的眼球可能進行非常快速的移動(例如，一跳視(saccade)移動)，其中可能有從一眼球位置至另一位置的快速跳動。為了追蹤使用者的眼球的快速移動，影像感測器120a-120d需要在高速下產生眼球的影像。例如，影像感測器產生一影像幀所在的速率(所述幀率)需要至少匹配眼球的移動速度。高的幀率需要在產生影像幀中所牽涉到的全部像素單元的短的總曝光時間、以及高速的用於轉換所述感測器輸出成為用於影像產生的數位值。再者，如上所論述的，所述影像感測器亦需要能夠運作在一具有低的光強度的環境中。
圖2是在圖1中描繪的近眼顯示器100的一橫截面200的一實施例。顯示器110包含至少一波導顯示器組件210。一出射曈230是當使用者穿戴所述近眼顯示器100時，使用者的單一眼球220被定位在一眼動範圍(eyebox)區域中所在的位置。為了說明之目的，圖2是展示相關眼球220及單一波導顯示器組件210的橫截面200，但是一第二波導顯示器是被使用於使用者一的第二眼。
波導顯示器組件210被配置以導引影像光至一位在出射曈230的眼動範圍以及眼球220。波導顯示器組件210可以是由具有一或多個折射率的一或多個材料(例如，塑膠、玻璃、等等)所構成的。在某些實施例中，近眼顯示器100包含一或多個在波導顯示器組件210以及眼球220之間的光學元件。
在某些實施例中，波導顯示器組件210包含一堆疊的一或多個波導顯示器，其包含但不限於一堆疊的波導顯示器、一變焦波導顯示器、等等。所述堆疊的波導顯示器是一藉由堆疊波導顯示器所產生的多色顯示器(例如，一紅色-綠色-藍色(RGB)顯示器)，其是具有不同色彩的個別的單色源。所述堆疊的波導顯示器也是一可被投影在多個平面上的多色顯示器(例如，多平面的彩色顯示器)。在某些配置中，所述堆疊的波導顯示器是一可被投影在多個平面上的單色顯示器(例如，多平面的單色顯示器)。所述變焦波導顯示器是一可以調整從所述波導顯示器發射的影像光的一聚焦位置的顯示器。在替代的實施例中，波導顯示器組件210可包含所述堆疊的波導顯示器以及所述變焦波導顯示器。
圖3是描繪一波導顯示器300的一實施例的等角視圖。在某些實施例中，波導顯示器300是近眼顯示器100的一構件(例如，波導顯示器組件210)。在某些實施例中，波導顯示器300是某種導引影像光至一特定位置的其它近眼顯示器或其它系統的部分。
波導顯示器300包含一源組件310、一輸出波導320、以及一控制器330。為了說明之目的，圖3是展示波導顯示器300和單一眼球220相關的，但是在某些實施例中，另一與波導顯示器300分開或部分分開的波導顯示器提供影像光至使用者的另一眼睛。
源組件310產生影像光355。源組件310產生及輸出影像光355至一位在輸出波導320的一第一側邊370-1上的耦合元件350。輸出波導320是一光波導，其輸出擴張的影像光340至一使用者的一眼球220。輸出波導320是在一或多個位在第一側邊370-1上的耦合元件350接收影像光355，並且導引所接收的輸入影像光355至一導引元件360。在某些實施例中，耦合元件350將來自源組件310的影像光355耦合到輸出波導320之中。耦合元件350例如可以是一繞射光柵、一全像光柵、一或多個級聯的反光鏡、一或多個稜鏡的表面元件、及/或一陣列的全像反光鏡。
導引元件360重定向所接收到的輸入影像光355至去耦元件365，使得所接收到的輸入影像光355經由去耦元件365而從輸出波導320去耦合。導引元件360是輸出波導320的第一側邊370-1的部分、或是被附加至第一側邊370-1。去耦元件365是輸出波導320的第二側邊370-2的部分、或是被附加至第二側邊370-2，使得導引元件360是與去耦元件365相對的。導引元件360及/或去耦元件365例如可以是一繞射光柵、一全像光柵、一或多個級聯的反光鏡、一或多個稜鏡的表面元件、及/或一陣列的全像反光鏡。
第二側邊370-2代表沿著一x維度以及一y維度的一平面。輸出波導320可以是由一或多種促進影像光355的全內反射的材料所構成的。輸出波導320例如可以是由矽、塑膠、玻璃、及/或聚合物所構成的。輸出波導320具有一相當小的形狀因數。例如，輸出波導320可以是大約沿著x維度50mm寬的、沿著y維度30mm長的、以及沿著一z維度0.5-1mm厚的。
控制器330是控制源組件310的掃描操作。控制器330決定用於源組件310的掃描指令。在某些實施例中，輸出波導320是在大視野(FOV)下輸出擴張的影像光340至使用者的眼球220。例如，擴張的影像光340是在一60度及/或更大、且/或150度及/或更小的對角FOV(在x及y上)之下被提供至使用者的眼球220。輸出波導320被配置以提供具有一20mm或更大、且/或等於或小於50mm的長度；及/或一10mm或更大、且/或等於或小於50mm的寬度的眼動範圍。
再者，控制器330亦根據由影像感測器370提供的影像資料來控制藉由源組件310產生的影像光355。影像感測器370可以是位在第一側邊370-1上，並且例如可包含圖1A的影像感測器120a-120d。影像感測器120a-120d可被操作以執行例如在使用者前面(例如，面對第一側邊370-1)的一物體372的2D感測及3D感測。對於2D感測而言，影像感測器120a-120d的每一個像素單元可被操作以產生代表藉由一光源376產生並且從物體372反射出的光374的強度之像素資料。對於3D感測而言，影像感測器120a-120d的每一個像素單元可被操作以產生代表針對於藉由照明器325產生的光378的飛行時間量測之像素資料。例如，影像感測器120a-120d的每一個像素單元可以判斷當照明器325被致能以投影光378的一第一時間、以及當像素單元偵測到從物體372反射出的光378的一第二時間。在第一時間及第二時間之間的差值可以指出光378在影像感測器120a-120d以及物體372之間的飛行時間，並且飛行時間資訊可被利用以判斷在影像感測器120a-120d以及物體372之間的一距離。影像感測器120a-120d可以在不同的時間被操作以執行2D及3D感測，並且提供2D及3D影像資料至一遠端主機390，所述遠端主機390可以是(或者可以不是)位在波導顯示器300之內。所述遠端主機可以結合所述2D及3D影像以例如產生使用者位在其中的環境的一3D模型、追蹤使用者的一位置及/或方位、等等。所述遠端主機可以根據從所述2D及3D影像導出的資訊來決定將顯示給使用者的影像內容。所述遠端主機可以發送相關於所決定的內容之指令至控制器330。根據所述指令，控制器330可以控制影像光355藉由源組件310的產生及輸出，以提供一互動的體驗給使用者。
圖4是描繪波導顯示器300的一橫截面400的一實施例。所述橫截面400包含源組件310、輸出波導320、以及影像感測器370。在圖4的例子中，影像感測器370可包含一組位在第一側邊370-1上的像素單元402，以產生在使用者的前面的實體環境的一影像。在某些實施例中，在所述組的像素單元402以及實體環境之間可以插置有一機械式快門404以及一濾光片陣列406。機械式快門404可以控制所述組的像素單元402的曝光。在某些實施例中，機械式快門404可被如同將在以下論述的一電子式快門閘所取代。如同將在以下論述的，濾光片陣列406可以控制所述組的像素單元402被曝露到的光的一光學波長範圍。像素單元402的每一個可以對應於影像的一像素。儘管未顯示在圖4中，但所了解的是像素單元402的每一個亦可以被覆蓋一濾光片，以控制將藉由像素單元感測的光的光學波長範圍。
在從遠端主機接收指令之後，機械式快門404可以開啟並且在一曝光期間中曝光所述組的像素單元402。在曝光期間，影像感測器370可以獲得入射在所述組的像素單元402上的光的樣本，並且根據藉由所述組的像素單元402偵測到的入射光樣本的一強度分布來產生影像資料。影像感測器370接著可以提供影像資料至遠端的主機，其決定顯示內容，並且提供顯示內容資訊至控制器330。控制器330接著可以根據顯示內容資訊來決定影像光355。
源組件310根據來自控制器330的指令來產生影像光355。源組件310包含一源410以及一光學系統415。源410是產生同調或部分同調光的一光源。源410例如可以是一雷射二極體、一垂直腔面發射雷射、及/或一發光二極體。
光學系統415包含一或多個調節來自源410的光的光學構件。調節來自源410的光例如可包含根據來自控制器330的指令的擴展、準直、及/或調整方位。所述一或多個光學構件可包含一或多個透鏡、液體透鏡、反光鏡、孔徑、及/或光柵。在某些實施例中，光學系統415包含一具有複數個電極的液體透鏡，其容許具有一掃描角度的臨界值的一光束的掃描，以移位所述光束至一在液體透鏡之外的區域。從光學系統415(因而亦從源組件310)發射的光被稱為影像光355。
輸出波導320接收影像光355。耦合元件350將來自源組件310的影像光355耦合到輸出波導320中。在其中耦合元件350是繞射光柵的實施例中，繞射光柵的一間距被選擇成使得全內反射發生在輸出波導320中，因而影像光355在輸出波導320的內部(例如，藉由全內反射)朝向去耦元件365來傳播。
導引元件360將影像光355重定向朝向去耦元件365，以用於從輸出波導320去耦合。在其中導引元件360是一繞射光柵的實施例中，繞射光柵的間距被選擇以使得入射的影像光355在相對於去耦元件365的一表面的傾斜角度下離開輸出波導320。
在某些實施例中，導引元件360及/或去耦元件365在結構上是類似的。離開輸出波導320的擴張的影像光340是沿著一或多個維度擴張的(例如，可以是沿著x維度細長的)。在某些實施例中，波導顯示器300包含複數個源組件310以及複數個輸出波導320。源組件310的每一個發射一具有對應於一原色(例如，紅色、綠色、或是藍色)的波長的一特定頻帶之單色影像光。輸出波導320的每一個可以是在一分隔距離下堆疊在一起的，以輸出一多色的擴張的影像光340。
圖5是一種包含近眼顯示器100之系統500的一實施例的方塊圖。所述系統500包括近眼顯示器100、一成像裝置535、一輸入/輸出介面540、以及分別耦接至控制電路510的影像感測器120a-120d及150a-150b。系統500可被配置為一頭戴式裝置、一行動裝置、一可穿戴的裝置、等等。
近眼顯示器100是一種呈現媒體給一使用者的顯示器。藉由近眼顯示器100呈現的媒體的例子包含一或多個影像、視訊、及/或音訊。在某些實施例中，音訊是經由一外部的裝置(例如，揚聲器及/或頭戴式耳機)而被呈現的，所述外部的裝置從近眼顯示器100及/或控制電路510接收音訊資訊，並且根據音訊資訊來呈現音訊資料給一使用者。在某些實施例中，近眼顯示器100亦可以作用為一AR眼鏡。在某些實施例中，近眼顯示器100利用電腦產生的元素(例如，影像、視訊、聲音、等等)來擴增一實體真實世界環境的視野。
近眼顯示器100包含波導顯示器組件210、一或多個位置感測器525、及/或一慣性的量測單元(IMU)530。波導顯示器組件210包含源組件310、輸出波導320、以及控制器330。
IMU 530是一種電子裝置，其根據從位置感測器525中的一或多個接收到的量測信號來產生指出近眼顯示器100相對於其之一最初的位置之一估計的位置的快速校準資料。
成像裝置535可以產生用於各種應用程式的影像資料。例如，成像裝置535可以根據從控制電路510接收到的校準參數來產生影像資料，以提供慢速的校準資料。成像裝置535例如可包含圖1A的影像感測器120a-120d，以用於產生使用者位在其中的一實體環境的影像資料，以用於執行使用者的位置追蹤。成像裝置535可以進一步包含例如圖1B的影像感測器150a-150b，以用於產生判斷使用者的一注視點的影像資料，以識別使用者所關注的一物體。
輸入/輸出介面540是一種容許使用者傳送動作請求至控制電路510的裝置。一動作請求是執行一特定動作的一請求。例如，一動作請求可以是開始或結束一應用程式、或是執行在應用程式之內的一特定動作。
控制電路510提供媒體至近眼顯示器100，以用於根據從以下的一或多個：成像裝置535、近眼顯示器100、以及輸入/輸出介面540接收到的資訊來呈現給使用者。在某些例子中，控制電路510可被容納在系統500之內，其被配置為一頭戴式裝置。在某些例子中，控制電路510可以是一獨立的主機裝置，其是和系統500的其它構件通訊地耦接。在圖5所示的例子中，控制電路510包含一應用程式儲存545、一追蹤模組550、以及一引擎555。
應用程式儲存545是儲存一或多個用於藉由控制電路510執行的應用程式。一應用程式是一群組的指令，當其藉由一處理器執行時，其產生用於呈現給使用者的內容。應用程式的例子包含：遊戲應用程式、會議應用程式、視訊播放應用程式、或是其它適當的應用程式。
追蹤模組550利用一或多個校準參數來校準系統500，並且可以調整一或多個校準參數以降低在近眼顯示器100的位置的判斷上的誤差。
追蹤模組550利用來自成像裝置535的慢速的校準資訊來追蹤近眼顯示器100的移動。追蹤模組550亦利用來自快速的校準資訊的位置資訊來判斷近眼顯示器100的一參考點的位置。
引擎555執行在系統500之內的應用程式，並且從追蹤模組550接收近眼顯示器100的位置資訊、加速資訊、速度資訊、及/或預測的未來的位置。在某些實施例中，引擎555所接收到的資訊可被使用於產生一信號(例如，顯示器指令)至波導顯示器組件210，其決定被呈現給使用者的內容的一種類型。例如，為了提供一互動的體驗，引擎555可以根據使用者的一位置(例如，由追蹤模組550所提供)、或是使用者的一注視點(例如，根據由成像裝置535提供的影像資料)、在一物體以及使用者之間的一距離(例如，根據由成像裝置535提供的影像資料)，來決定將被呈現給使用者的內容。
圖6A、圖6B、圖6C及圖6D描繪一影像感測器600及其操作的例子。如同在圖6A中所示，影像感測器600可包含一像素單元陣列，其包含像素單元601，並且可以產生對應於一影像的像素的數位強度資料。像素單元601可以是圖4的像素單元402的部分。如同在圖6A中所示，像素單元601可包含一光二極體602、一電子式快門開關603、一傳輸開關604、一電荷儲存裝置605、一緩衝器606、以及一量化器607。光二極體602例如可包含一P-N二極體、一P-I-N二極體、一嵌入式(pinned)二極體、等等，而電荷儲存裝置605可以是傳輸開關604的一浮接的汲極節點。光二極體602可以在一曝光期間之內，在接收光之際產生及累積殘留電荷。在所述曝光期間之內藉由所述殘留電荷而飽和之際，光二極體602可以經由傳輸開關604來輸出溢出電荷至電荷儲存裝置605。電荷儲存裝置605可以轉換所述溢出電荷成為一電壓，所述電壓可藉由緩衝器606而被緩衝。所述緩衝的電壓可以藉由量化器607而被量化以產生量測資料608，以例如代表藉由光二極體602在所述曝光期間之內接收到的光強度。
量化器607可包含一比較器來比較所述緩衝的電壓與用於和不同的強度範圍相關的不同的量化操作之不同的臨界值。例如，針對於其中藉由光二極體602產生的溢出電荷量超出電荷儲存裝置605的一飽和極限的一高強度範圍，量化器607可以執行一飽和時間(TTS)量測操作，其藉由偵測所述緩衝的電壓是否超出一代表所述飽和極限的靜態臨界值，並且若確實如此的話，量測所述緩衝的電壓超過所述靜態臨界值所花的時間。所量測的時間可以是成反比於所述光強度。再者，針對於其中所述光二極體是因為所述殘留電荷而飽和，但是所述溢出電荷維持低於電荷儲存裝置605的飽和極限的一中等強度範圍，量化器607可以執行一FD ADC操作以量測被儲存在電荷儲存裝置605中的溢出電荷量。再者，針對其中所述光二極體並未因為所述殘留電荷而飽和，並且沒有溢出電荷累積在電荷儲存裝置605中的一低強度範圍，量化器607可以執行一PD ADC操作以量測累積在光二極體602中的殘留電荷量。TTS、FD ADC或是PD ADC操作中之一的輸出可以被輸出為量測資料608以代表光的強度。
圖6B描繪像素單元601的一範例的操作序列。如同在圖6B中所示，所述曝光期間可以根據控制電子式快門開關603的AB信號的時序來加以界定，所述AB信號當被致能時可以操控藉由光二極體602產生的電荷離開，並且根據控制傳輸開關604的TG信號的時序來加以界定，所述TG信號可被控制以傳輸所述溢出電荷以及接著所述殘留電荷至電荷儲存裝置605以用於讀出。例如，參照圖6B，所述AB信號可以在時間T0使其失效，以容許光二極體602產生電荷。T0可以標記所述曝光期間的開始。在所述曝光期間之內，所述TG信號可以將傳輸開關604設定在一部分導通的狀態，以容許光二極體602累積至少某些電荷作為殘留電荷直到光二極體602飽和為止，而在飽和之後，溢出電荷可被轉移到電荷儲存裝置605。在時間T0到T1之間，量化器607可以執行一TTS操作以判斷在電荷儲存裝置605的溢出電荷是否超出所述飽和極限，並且接著在時間T1到T2之間，量化器607可以執行一FD ADC操作以量測在電荷儲存裝置605的溢出電荷量。在時間T2到T3之間，可以使所述TG信號有效以偏壓傳輸開關604在一完全導通的狀態，以傳輸所述殘留電荷至電荷儲存裝置605。在時間T3，所述TG信號可以使其失效以隔離電荷儲存裝置605與光二極體602，而可以使所述AB信號有效以操控由光二極體602所產生的電荷離開。所述時間T3可以標記所述曝光期間的結束。在時間T3到T4之間，量化器607可以執行一PD操作來量測所述殘留電荷量。
所述AB及TG信號可以藉由一控制器(未顯示在圖6A中)來加以產生，所述控制器可以是像素單元601的部分以控制所述曝光期間的持續期間、以及所述量化操作的序列。所述控制器亦可以偵測電荷儲存裝置605是否飽和、以及光二極體602是否飽和，以從所述TTS、FD ADC或是PD ADC操作中之一選擇輸出作為量測資料608。例如，若電荷儲存裝置605是飽和的，則所述控制器可以提供所述TTS輸出作為量測資料608。若電荷儲存裝置605並未飽和，但是光二極體602是飽和的，則所述控制器可以提供所述FD ADC輸出作為量測資料608。若光二極體602並未飽和，則所述控制器可以提供所述PD ADC輸出作為量測資料608。在所述曝光期間之內產生的來自影像感測器600的每一個像素單元的量測資料608可以形成一影像幀。所述控制器可以在後續的曝光期間中重複在圖6B中的操作序列，以產生後續的影像幀。
來自影像感測器600的影像幀資料可被發送至一主機處理器(未顯示在圖6A-圖6D中)以支援不同的應用程式，例如是識別及追蹤物體612、執行物體612相對於影像感測器600的深度感測、等等。對於所有這些應用程式而言，只有一子集合的像素單元提供相關的資訊(例如，物體612的像素資料)，而其它的像素單元並不提供相關的資訊。例如，參照圖6C，在時間T0，影像感測器600的一像素單元群組620接收由物體612所反射的光，而在時間T6，物體612可能已經移位(例如，由於物體612的移動、影像感測器600的移動、或是兩者)，因而影像感測器600的一像素單元群組630接收由物體612所反射的光。
在某些例子中，影像感測器600可以只發送來自所述像素單元群組620及630的像素資料至所述主機處理器，以減少被發送的像素資料量。在某些例子中，影像感測器600亦可以使得所有的像素都發送像素資料，但是像素單元群組620及630可以具有不同於其它像素單元的配置。例如，像素單元群組620及630可以在一較高的量化解析度下產生及輸出所述像素資料來代表的影像物體612，而其餘的像素單元可以在一較低的解析度下產生及輸出所述像素資料。作為另一例子的是，像素單元群組620及630可以具有比其它像素單元更長的曝光期間。這些配置都可以容許產生及發送較高解析度的影像，而在功率及頻寬上並無對應的增加。例如，一包含更多像素單元的更大的像素單元陣列可被利用以成像物體612來改善影像解析度，然而當只有包含提供物體612的像素資料的像素單元之一子集合的像素單元產生高解析度的像素資料，並且發送所述高解析度的像素資料至所述主機處理器，同時其餘的像素單元並不產生/發送像素資料、或是在一非常低的解析度下產生/發送像素資料時，提供改善的影像解析度所需的頻寬及功率可被降低。再者，儘管影像感測器600可被操作以在一較高的幀率下產生影像，當每一影像只包含一小組的在高解析度下並且藉由大量位元來加以表示的像素值，而其餘的像素值是在非常低的解析度下並且藉由較小數量的位元來加以表示時，在頻寬及功率上的增加可被降低。
在3D感測的情形中，被傳送的像素資料量亦可被降低。例如，參照圖6D，一照明器640可以投影一圖案642的結構光到一物體650之上。所述結構光可被反映在一物體650的一表面上，並且一圖案652的反射光可被影像感測器600捕捉以產生一影像。主機處理器可以比對圖案652與圖案642，並且根據圖案652在所述影像中的影像位置來判斷物體650相對於影像感測器600的深度。針對於3D感測，只有像素單元群組660、662、664及666包含相關的資訊(例如，圖案652的像素資料)。為了降低被傳送的像素資料量，影像感測器600可被配置以只傳送來自像素單元群組660、662、664及666的像素資料、或是在一高的解析度下傳送來自像素單元群組660、662、664及666的像素資料，而其餘的像素資料是在一低的解析度下傳送至所述主機處理器。
圖7A、圖7B及圖7C描繪一成像系統700及其操作的例子。如同在圖7A中所示，成像系統700包含一影像感測器702、一影像處理器704、以及一控制器706。影像感測器702、影像處理器704、以及控制器706可以是一半導體晶片的部分，並且被容置在單一半導體封裝之內。影像感測器702包含一像素單元陣列712以產生影像資料，例如是影像資料722。在某些例子中，像素單元陣列712的每一個像素單元可包含圖6A的像素單元601，並且所述影像資料例如可包含代表藉由每一個像素單元接收到的光強度的像素資料。影像處理器704可以處理來自影像感測器702的影像資料722以取出一場景的特點，例如是物體612、圖案652、等等，並且產生所述抽取出的特點以及其在影像資料722中的像素位置的一輸出724。影像處理器704可以發送輸出724至一外部的系統，例如是一主機處理器725，以支援各種在主機處理器725上所操作的應用程式，例如是一SLAM應用程式、一物體追蹤應用程式、等等。主機處理器725以及成像系統700可以經由一互連(未顯示在圖7A中)，例如一與所述行動產業處理器介面(MIPI)相容的互連來加以電連接。此外，控制器706可以產生程式化信號726，以控制影像感測器702的光感測以及影像資料產生的操作。控制器706亦可以產生程式化信號728以控制影像處理器704的操作。
在某些例子中，影像感測器702、影像處理器704、以及控制器706可以形成一閉迴路系統，以動態地根據藉由所述影像感測器產生的影像資料來決定用於影像感測器702的程式化信號726及/或用於影像處理器704的程式化信號728。圖7B及圖7C描繪藉由影像感測器702、影像處理器704、以及控制器706的一回授操作的例子。如同在圖7B中所示，影像處理器704可以在時間T0從影像感測器702接收一影像幀730以作為影像資料722的部分。從影像幀730，影像處理器704可以取出所述場景的特點，其例如包含物體612的邊緣732、紋理734、等等、以及所述特點在影像幀730中的像素位置，並且包含識別在輸出724中的所述特點以及其像素位置的資訊。根據在輸出724中的所述特點以及所述像素位置，控制器706可以判斷物體612是否存在於影像幀730中。若物體612存在於影像幀730中，則控制器706可以判斷物體612的像素在影像幀730中的像素位置、以及在影像幀730中的一圍繞物體612的像素的所關注的區域(ROI)742。控制器706亦可以判斷在時間T1將藉由像素單元陣列712產生的一後續的影像幀中的ROI 742的位置。所述判斷可以是根據預測物體612的移動的一距離(在圖7B中被標示“d”)而定，其可以例如是根據物體612的一運動模型(例如，根據在先前的影像幀中被捕捉到的物體612的移動/像素位置的歷史)、在所述影像幀730以及所述後續的影像之間的時間差、等等。根據ROI 742在所述後續的影像幀中的位置，控制器706可以識別在時間T1在ROI 742之內的像素單元陣列712的一第一子集合、以及在時間T1在ROI 742之外的像素單元陣列712的一第二子集合。
控制器706可以根據像素單元陣列712的所述第一子集合及第二子集合的識別來產生程式化信號726及/或728。例如，控制器706接著可以產生用於在所述ROI中的所述像素單元陣列的所述第一子集合的程式化信號726的一第一子集合、以及用於在所述ROI之外的所述像素單元陣列的所述第二子集合的程式化信號726的一第二子集合。所述程式化信號的不同的子集合可以不同地配置所述像素單元陣列的對應的子集合。例如，程式化信號726的所述第一子集合可以導通像素單元的所述第一子集合，且/或致能藉由像素單元的所述第一子集合的像素資料的輸出，而程式化信號的所述第二子集合726可以關斷像素單元的所述第二子集合，且/或禁能藉由像素單元的所述第二子集合的像素資料的輸出，以降低藉由像素單元陣列712輸出的像素資料量。
作為另一例子的是，程式化信號726的所述第二子集合可以容許所述像素單元陣列的所述第二子集合產生及輸出像素資料，但是所述像素資料可以在比像素單元陣列712的所述第一子集合較低的精確度(例如，在較低的量化解析度、具有較小的位元長度、等等)下加以產生及輸出。此種配置容許影像處理器704能夠從所述像素單元陣列的所述第二子集合取出在ROI 742之外的場景的特點，並且提供所抽取出的特點至控制器706，此容許控制器706能夠確認在所述後續的影像幀中的ROI 742的預測的位置是否正確。同時，程式化信號726的所述第一子集合亦可以增高在像素單元陣列712的所述第一子集合的像素資料產生的精確度，以改善藉由影像感測器704針對於物體612抽取的特點的精確性。
在某些例子中，像素單元陣列712的每一個像素單元可包含多個被配置以感測不同頻率範圍的光的光二極體，並且針對於不同的頻率範圍產生不同的影像幀。例如，參照回圖7A及圖7B，像素單元陣列712可以產生在可見光頻率範圍中的一包含物體612的影像幀以用於2D感測、以及在紅外光頻率範圍中的包含圖案652的另一影像幀以用於3D感測。在此一情形中，影像處理器704可以從對應於不同頻率範圍的每一個幀取出特點。控制器706亦可以決定用於所述不同頻率範圍的每一個的ROI，並且根據針對於所述不同頻率範圍的ROI來產生程式化信號726。例如，控制器706可以對於操作在2D感測模式中的像素單元陣列712，根據物體612的ROI來產生一第一組程式化信號726，並且對於操作在3D感測模式中的像素單元陣列712，根據圖案652的ROI來產生一第二組程式化信號726。
在某些例子中，作為所述回授操作的部分，控制器706亦可以根據所述ROI的判斷來產生程式化信號728，以控制在影像處理器704的特點抽取操作，此可以降低由所述特點抽取操作引發的延遲及功率。例如，控制器706亦可以提供ROI 742的預測的位置回到影像處理器704以作為程式化信號728的部分，因而影像處理器704在藉由像素單元陣列712在時間T1輸出的後續的影像幀中只從所述ROI取出特點，因而不在所述影像幀的其它像素位置執行特點抽取操作。作為另一例子的是，在其中影像處理器704包含計算子區塊以平行處理來自每一個像素單元的像素資料的一情形中，控制器706亦可以禁能被指定到ROI 742之外的像素單元的計算子區塊、或者是配置那些子區塊以運作在一較低的功率下(例如，在一較低的操作頻率、在一較低的精確度、縮小那些子區塊的供應電壓、等等之下執行所述計算)，以降低由所述特點抽取操作所消耗的總功率。
圖7C描繪藉由影像感測器702、影像處理器704、以及控制器706的另一回授操作。在圖7C中，控制器706可能判斷在時間T0的影像幀730並不包含物體612的特點、或是物體612在先前的影像幀中已經是靜態的。根據此種判斷，控制器706可以產生程式化信號726以調整在像素單元陣列712的操作的各種特點。例如，如同在圖7C中所示，控制器706可以控制像素單元陣列712以執行一子取樣操作，其中像素單元陣列712被分成取樣群組(例如，群組750)，其分別包含多個像素單元，並且在時間 T1從每一個群組只有一像素單元(例如，像素單元752)被致能或容許以發送像素資料以用於後續的幀。作為另一例子的是，控制器706可以控制像素單元陣列712以在一較低的幀率下產生像素資料。控制器706亦可以產生程式化信號728以依此調整影像處理器704的操作。例如，在一其中像素單元陣列712執行一子取樣操作的情形中，控制器706可以控制影像處理器704以處理來自每一個取樣群組的一像素單元的像素資料。作為另一例子的是，在其中所述幀率被降低的一情形中，控制器706亦可以根據被降低的幀率來降低影像處理器704的操作頻率。
除了在圖7B及圖7C中所述的回授操作之外，成像系統700亦可以支援其它回授操作，例如是根據來自所述主機處理器725的輸入。例如，主機處理器725可以提供一操作狀況的資訊至控制器706。所述操作狀況例如可包含將被成像的一場景的特點的密度、所述成像系統可利用的功率、一光的狀況、等等。根據所述操作狀況，控制器706可以調整用於像素單元陣列712的程式化信號726及/或用於影像處理器704的程式化信號728。例如，在其中所述成像系統可利用的功率被降低(例如，由於低電量的電池)的一情形中，控制器706可以調整程式化信號726及/或程式化信號728以分別縮小在影像感測器702及影像處理器704的電壓供應。作為另一例子的是，在其中所述影像系統操作在一低光環境中的一情形中，控制器706可以調整程式化信號726以例如是增加像素單元陣列712的曝光期間、控制每一個像素單元只使用一特定的量化操作(例如，PD ADC)以產生像素資料、等等。控制器706亦可以調整程式化信號728以根據所述低光狀況來配置影像處理器704以執行抽取操作。
圖8A、圖8B、圖8C及圖8D描繪影像感測器702及影像處理器704的範例的構件。圖8A描繪影像感測器702的一個例子。如同在圖8A中所示，影像感測器704可包含一行控制器804、一列控制器806、以及一功率控制器807。行控制器804是和行匯流排808(例如，808a、808b、808c、…808n、等等)連接，而列控制器806是和列匯流排810(例如，810a、810b、…808n、等等)連接。列行控制器804或是列控制器806中之一亦和一程式化匯流排812連接，以發送目標在一特定的像素單元或是一群組的像素單元的一像素層級的程式化信號826。被標示P00 、P01 、P0j 、等等的每一個方塊可以代表像素單元陣列712的一像素單元、或是一像素單元群組(例如，一群組的2x2像素單元)。每一個像素單元或是像素單元群組可以連接至行匯流排808中之一、列匯流排810中之一、程式化匯流排812、電力匯流排816、以及一輸出資料匯流排以輸出量測資料(未顯示在圖8A中)。每一個像素單元(或是每一個像素單元群組)是藉由行控制器804在行匯流排808上提供的行位址信號830、以及列控制器806在列匯流排810上提供的列位址信號832而為個別可定址的，以經由像素層級的程式化匯流排812一次接收像素層級的程式化信號826。此外，功率控制器807可以根據程式化信號726來控制經由電力匯流排816而被供應至每一個像素單元的一電壓818，以藉由控制器706根據由如上所述的主機處理器725提供的操作狀況資訊來支援一電壓縮放操作。
參照回圖8A，影像感測器704進一步包含一程式化信號語法分析器820，其可以從程式化信號726取出像素層級的程式化信號。在某些例子中，程式化信號726可以具有一像素陣列程式化映射的形式，其可包含用於像素單元陣列712的每一個像素單元或是每一個像素單元群組的程式化資料。圖8B描繪像素陣列程式化映射840的一個例子。如同在圖8B中所示，像素陣列程式化映射840可包含一個二維陣列的像素層級的程式化資料，其中所述二維陣列的每一個像素層級的程式化資料目標是在像素單元陣列712的一像素單元或是一像素單元群組。例如，在其中每一個像素層級的程式化資料目標是在一像素單元的一情形中，並且假設像素單元陣列718具有M個像素的寬度(例如，M行的像素)以及N個像素的高度(例如，N列的像素)，則像素陣列程式化映射840亦可以具有M個項目的寬度(例如，M行的項目)以及N個項目的高度(例如，N列的項目)，其中每一個項目儲存用於一對應的像素單元的像素層級的程式化資料。例如，在像素陣列程式化映射840的項目(0, 0)的像素層級的程式化資料A00 目標是在像素單元陣列718的像素位置(0, 0)的像素單元P00 ，而在像素陣列程式化映射720的項目(0, 1)的像素層級的程式化資料A01 目標是在像素單元陣列718的像素位置(0, 1)的像素單元P01 。在其中像素層級的程式化資料目標是在一像素單元群組的一情形中，像素陣列程式化映射840沿著所述高度以及所述寬度的項目數量可以根據在每一個群組中的像素單元數量而被縮放。
像素陣列程式化映射840可被配置以支援在圖7B及圖7C中所述的回授操作。例如，在每一個項目所儲存的像素層級的程式化資料可以個別地程式化每一個像素單元(或是每一個像素單元群組)，以例如導通或關斷、致能或禁能像素資料的輸出、設定一量化解析度、設定輸出像素資料的一精確度、選擇一量化操作(例如，TTS、FD ADC、PD ADC中之一)、設定一幀率、等等。像素陣列程式化映射840可以例如是根據一或多個ROI的預測而被產生，其中如上所述，用於一ROI之內的像素單元的像素層級的程式化資料不同於用於所述ROI之外的像素單元的像素層級的程式化資料。像素陣列程式化映射840可被產生以選擇性地致能像素單元(或是像素單元群組)的一子集合以執行子取樣操作、或是程式化所有的像素單元以運作在相同但是經調整的幀率下。
參照回圖8A，程式化映射語法分析器820可以語法分析像素陣列程式化映射840(其可以是具有一串列的資料串流形式)，以識別用於每一個像素單元(或是每一個像素單元群組)的像素層級的程式化資料。所述像素層級的程式化資料的識別例如可以是根據所述二維的像素陣列程式化映射藉以轉換成為所述串列格式的一預設的掃描模式、以及所述像素層級的程式化資料藉由程式化映射語法分析器820從所述串列的資料串流接收到的順序而定的。對於程式化資料的每一個項目，程式化信號語法分析器820可以產生一列位址信號830以及一行位址信號832，並且分別發送列位址信號830及行位址信號832至列控制器806及行控制器804，以選擇像素單元並且發送像素層級的程式化信號826至所述所選的像素單元(或是像素單元群組)。
圖8C描繪像素單元陣列718的一像素單元850的範例的內部的構件，其可包含圖6A的像素單元601的至少某些構件。像素單元601可以經由電力匯流排816來接收一供應電壓。如同在圖8C中所示，像素單元850可包含多個光二極體852a、852b、等等，其分別可被配置以偵測一不同頻率範圍的光。例如，光二極體852a可以偵測可見光(例如，單色、或是紅色、綠色或藍色色彩中之一)，而光二極體852b可以偵測紅外光。像素單元850進一步包含一開關854(例如，一電晶體、一控制器阻障層、等等)以控制哪一個光二極體輸出用於像素資料產生的電荷。
此外，像素單元850進一步包含如同在圖6A中所示的電子式快門開關603、傳輸開關604、電荷儲存裝置605、緩衝器606、量化器607、以及一記憶體855。電荷儲存裝置605可以具有一可配置的電容以設定一電荷至電壓的轉換增益。在某些例子中，電荷儲存裝置605的電容可被增大以儲存針對於一中等光強度的FD ADC操作的溢出電荷，以降低電荷儲存裝置605因為所述溢出電荷而飽和的可能性。電荷儲存裝置605的電容亦可被降低以增加針對於一低的光強度的PD ADC操作的電荷至電壓的轉換增益。在所述電荷至電壓的轉換增益上的增加可以降低量化誤差，並且增加量化解析度。在某些例子中，電荷儲存裝置605的電容亦可以在所述FD ADC操作期間被降低，以增加量化解析度。緩衝器606包含其電流可藉由一偏壓信號BIAS1而被設定的一電流源856、以及一電源閘858，其可以藉由一PWR_GATE信號而被控制以導通/關斷緩衝器606。緩衝器606可被關斷以作為禁能像素單元850的部分。
此外，量化器607包含一比較器860以及輸出邏輯862。比較器860可以比較緩衝器的輸出與一VREF以產生一輸出。根據一量化操作(例如，TTS、FD ADC以及PD ADC操作)，比較器60可以比較所緩衝的電壓與不同的VREF電壓以產生輸出，並且所述輸出是進一步藉由輸出邏輯862來加以處理以使得記憶體855儲存來自一自由運行計數器的一值作為所述像素輸出。比較器860的偏壓電流可以藉由一偏壓信號BIAS2來加以控制，所述偏壓信號BIAS2可以設定比較器860的頻寬，而所述頻寬可以根據將由像素單元850所支援的幀率來加以設定。再者，比較器860的增益可以藉由一增益控制信號GAIN來加以控制。比較器860的增益可以根據將由像素單元850所支援的一量化解析度來加以設定。比較器860進一步包含一電源開關861，其亦可藉由所述PWR_GATE信號而被控制以導通/關斷比較器860。比較器860可被關斷以作為禁能像素單元850的部分。
此外，輸出邏輯862可以選擇所述TTS、FD ADC或是PD ADC操作中之一的輸出，並且根據所述選擇來決定是否轉傳比較器860的輸出至記憶體855，以儲存來自所述計數器的所述值。輸出邏輯862可包含內部的記憶體以根據比較器860的輸出來儲存所述光二極體852(例如，光二極體852a)是否因為所述殘留電荷而飽和、以及電荷儲存裝置605是否因為所述溢出電荷而飽和的指示。若電荷儲存裝置605因為所述溢出電荷而飽和，則輸出邏輯862可以選擇TTS輸出以被儲存在記憶體855中，並且避免記憶體855被所述FD ADC/PD ADC輸出覆寫所述TTS輸出。若電荷儲存裝置605並未飽和，但是所述光二極體852是飽和的，則輸出邏輯862可以選擇所述FD ADC輸出以被儲存在記憶體855中；否則輸出邏輯862可以選擇所述PD ADC輸出以被儲存在記憶體855中。在某些例子中，並非是所述計數器值，而是光二極體852是否因為所述殘留電荷而飽和、以及電荷儲存裝置605是否因為所述溢出電荷而飽和的所述指示可被儲存在記憶體855中，以提供所述最低精確度的像素資料。
此外，像素單元850可包含一像素單元控制器870，其可包含邏輯電路以產生控制信號，例如是AB、TG、BIAS1、BIAS2、GAIN、VREF、PWR_GATE、等等。像素單元控制器870亦可被像素層級的程式化信號826程式化。例如，為了禁能像素單元850，像素單元控制器870可藉由像素層級的程式化信號826而被程式化以使PWR_GATE無效以關斷緩衝器606及比較器860。再者，為了增高量化解析度，像素單元控制器870可藉由像素層級的程式化信號826而被程式化以降低電荷儲存裝置605的電容、經由GAIN信號來增加比較器860的增益、等等。為了增加幀率，像素單元控制器870可藉由像素層級的程式化信號826而被程式化以增加BIAS1信號及BIAS2信號來分別增加緩衝器606及比較器860的頻寬。再者，為了控制由像素單元850輸出的像素資料的精確度，像素單元控制器870可藉由像素層級的程式化信號826而被程式化，以例如只連接所述計數器的位元(例如，最高有效位元)的一子集合至記憶體855，因而記憶體855只儲存所述子集合的位元、或是儲存在輸出邏輯862中所儲存的指示至記憶體855以作為所述像素資料。此外，如上所述，像素單元控制器870可藉由像素層級的程式化信號826而被程式化以控制AB及TG信號的序列及時序，以例如根據所述操作狀況來調整所述曝光期間及/或選擇一特定的量化操作(例如，TTS、FD ADC或是PD ADC中之一)，同時跳過其它的量化操作。
圖8D描繪影像處理器704的範例的內部的構件。如同在圖8D中所示，影像處理器704可包含一特點抽取電路880以及一記憶體882。特點抽取電路880可包含一陣列的子區塊，例如是子區塊00 、子區塊10 、子區塊i0 、子區塊0j 、子區塊1j 、子區塊ij 、等等。每一個子區塊可被配置以從藉由像素單元陣列712產生的一區塊的像素資料取出特點，使得一影像幀的像素資料的區塊可以平行被處理，以加速所述抽取程序。每一個子區塊可以輸出代表所述抽取出的特點的資料、以及所述抽取出的特點的像素位置。記憶體882可以提供晶片上的記憶體以儲存所述子區塊的輸入資料(例如，所述像素資料)、用於所述特點抽取操作的各種配置資料、以及特點抽取電路880的所述子區塊的輸出。記憶體882例如可包含自旋隧道隨機存取記憶體(STRAM)、非揮發性隨機存取記憶體(NVRAM)、等等。在某些例子中，影像處理器704亦可包含一介面至一晶片外的記憶體(例如，動態隨機存取記憶體)，以支援在特點抽取電路880的特點抽取操作。
特點抽取電路880可以利用各種技術以執行所述特點抽取操作。在一例子中，特點抽取電路880的每一個子區塊可以在一區塊的像素資料與包含具有一將被抽取出的目標特點的像素的一濾波器之間執行一卷積運算，其中所述濾波器是在一特定的步長位置和像素資料的區塊的一部分重疊，並且所述濾波器的每一個元素以及在所述部分之內的每一個像素的乘積的總和可被決定。當所述濾波器在像素的區塊之內到處移位時，相關不同的步長位置的乘積總和的一分布可被決定作為所述卷積輸出。來自一區塊的像素資料的卷積輸出可被提供至控制器706，其可以識別所述卷積輸出的一波峰，並且若所述波峰超出一臨界值，則所述控制器可以判斷所述區塊的像素資料包含所述目標特點，而所述濾波器在像素資料的區塊之內的步長位置可以提供所述目標特點的像素位置。
在某些例子中，特點抽取電路880的每一個子區塊可包含電路以執行前述的卷積運算。在某些例子中，特點抽取電路880可包含一現場可程式化閘陣列(FPGA)、一數位信號處理器(DSP)、一線性求解器單元、一微控制器、等等。在某些例子中，特點抽取電路880可包含專用的算術電路以執行所述卷積運算。每一個子區塊的算術電路可以實施一神經網路(例如是一卷積神經網路(CNN))以執行所述卷積運算，其中所述算術電路可以代表複數個神經網路層。第一神經網路層包括分別被配置以相乘一像素值與一權重的節點以產生一中間的輸出，所述權重可以是所述卷積濾波器的部分。所述第二神經網路層可以相乘來自所述第一神經網路層的中間的輸出與另一組權重以產生輸出。所述輸出可以指出例如一目標特點是否在一區塊的像素資料中被偵測到、以及其像素位置。除了CNN之外，特點抽取電路880可以實施其它的神經網路拓樸/架構，例如一隨機神經網路、一脈衝神經網路、仿神經型態(neuromorphic)計算單元、等等。
所述神經網路的權重可被儲存且從記憶體882取出。所述權重可以藉由一訓練程序而被產生，以最大化所述神經網路在一區塊的像素資料中正確地偵測一特點的可能性。所述訓練程序可以離線、線上、或是兩者的一組合來加以執行。在一離線式訓練程序中，所述權重可以在所述特點抽取操作之前(例如，當影像處理器704被製造或供電時)，先被取出到影像處理器704。所述權重可以從一訓練程序，根據涵蓋預期將藉由影像處理器704處理的一影像資料範圍的一訓練資料集來加以獲得。所述訓練資料集可被儲存在一雲端環境中，並且所述訓練亦可以在所述雲端環境中，以一離線式訓練程序來加以執行。從所述離線式訓練程序獲得的權重可以是對於不同的成像系統700的所有影像處理器704共通的。
在一線上式訓練程序中，影像處理器704所用的權重可以是在影像處理器704接收待被偵測的實際物體的影像資料時獲得的。一範例的應用程式可以是眼動追蹤(例如，根據藉由所述影像感測器捕捉的眼睛的影像)。作為所述線上式訓練程序的部分，影像處理器704可以在一訓練模式中運作，其中當使用者被要求注視在空間中的特定目標或位置時，其接收所述使用者的眼睛的像素資料。透過所述訓練程序，影像處理器704可以調整所述權重以最大化正確地識別所述使用者的眼睛的可能性。在此一情形中，由一特定的成像系統700的影像處理器704所用的權重可以是不同於另一成像系統700的影像處理器704所用的權重，因為所述權重是針對於一特定的使用者及/或針對於一特定的操作狀況而被最佳化的。
在某些例子中，影像處理器704所用的權重可以是藉由離線式及線上式訓練處理的一組合而獲得的。例如，所述第一神經網路層所用的權重可以是被用來取出一物體的一般特點的一般權重，而上層的神經網路層的權重可以在一線上式訓練程序中加以訓練，以變成是一使用者及/或一特定的操作狀況特定的。
除了像素資料以及所述權重之外，特點抽取電路880亦可以根據其它輸入來執行所述特點抽取操作，例如是來自一慣性的量測單元的感測器資料，所述慣性的量測單元可以偵測成像系統700的運動及位置。根據所述感測器資料，特點抽取電路880可以考量成像系統700的運動、及/或成像系統700相對於待被偵測的目標物體的相對實體位置來調整所述特點抽取操作，其全部都可被反映在所述像素資料中。
除了特點抽取電路880及記憶體882之外，影像處理器704可以進一步包含一功率控制器884、一時脈控制器886、以及一特點抽取控制器888，其每一個都可藉由來自控制器706的程式化信號828來加以控制。功率控制器884可以根據來自控制器706的程式化信號828來控制影像處理器704的一供應電壓。例如，根據一目標功率使用、一幀率、一延遲要求、等等，功率控制器884可以縮放供應到特點抽取電路880的供應電壓。此外，時脈控制器886可以根據程式化信號828來控制被供應至特點抽取電路880的一時脈信號的頻率，以設定特點抽取電路880的操作頻率。所述操作頻率可以例如是根據由影像感測器702供應的像素資料的一幀率、一目標功率使用、一延遲要求、等等而被設定。
此外，特點抽取控制器888可以根據程式化信號828來控制在特點抽取電路880的特點抽取操作。例如，特點抽取控制器888可以根據來自控制器706的ROI資訊以禁能特點抽取電路880的一或多個子區塊，那些子區塊並不預期將從影像感測器702接收像素資料。作為另一例子的是，特點抽取控制器888亦可以控制子區塊的輸出，例如是所述輸出的一精確度(例如，位元長度)、所述輸出是否被壓縮、等等。特點抽取電路880可以控制特點抽取電路880以跳過所述特點抽取操作，並且直接轉傳所述像素資料至例如主機處理器725或是其它外部的系統。例如，此可以發生在控制器706判斷特點抽取電路880無法準時完成所述特點抽取操作(例如，根據藉由功率控制器884以及時脈控制器886所設定的一功率/頻率)，並且判斷所述特點抽取操作將藉由一外部的系統執行時。
圖9A及圖9B描繪在成像系統700中的影像感測器702、影像處理器704、以及控制器706的實體配置的例子。如同在圖9A中所示，成像系統700可包含一第一半導體基板900，其包含影像感測器702的某些構件，例如是所述像素單元的光二極體、以及一或多個第二半導體基板902，其包含所述像素單元的量化器、影像處理器704、以及控制器706。在某些例子中，一或多個第二半導體基板902包含一第二半導體基板902a，其包含影像處理器704、以及一第二半導體基板902b，其包含控制器706。在某些例子中，影像處理器704及控制器706可以是在同一第二半導體基板902中。
在某些例子中，第一半導體基板900以及一或多個第二半導體基板902可以沿著一垂直的方向(例如，其藉由z軸來加以表示)形成一堆疊，其具有垂直的互連904及906以在所述基板之間提供電連接。此種配置可以縮減在影像感測器702、影像處理器704、以及控制器706之間的電連接的繞線距離，此可以增加資料(尤其是像素資料)從影像感測器702至影像處理器704的發送速度，並且降低用於所述發送所需的功率。
圖9B描繪成像系統700的堆疊結構的範例細節。如同在圖9B中所示，第一半導體基板900可包含一背側表面908，其被配置為一光接收表面並且包含每一個像素單元的光二極體、以及一前側表面910，傳輸電晶體604以及電荷儲存裝置605(例如，傳輸電晶體604的浮接的汲極)被實施在其上，而緩衝器606、量化器607、以及影像處理器704是被實施在第二半導體基板902a的一前側表面912之下。第一半導體基板900的前側表面910可以藉由垂直的互連904來和第二半導體基板902a的前側表面912電連接，所述垂直的互連904包含晶片至晶片的銅接合。所述晶片至晶片的銅接合可以提供例如在每一個像素單元的傳輸電晶體604以及每一個像素單元的緩衝器606之間的像素互連。每一個像素單元的量化器607於是可以經由未顯示在圖9B中的水平的金屬互連(例如，與x或y軸平行的)來連接至影像處理器704。
此外，成像系統700進一步包含直通矽晶穿孔(TSV)，其提供例如在影像感測器702以及控制器706之間的垂直的互連。所述TSV可以是在所述堆疊的肩部區域920及922上，並且可以發送例如是程式化信號726。所述TSV貫穿第二半導體基板902a，並且可以經由水平的金屬互連(未顯示在圖9B中)來和影像處理器704連接以提供程式化信號728至影像處理器704。
圖10描繪一種操作一影像感測器的方法1000。方法1000可以例如藉由圖7A的成像系統700來加以執行，所述成像系統700例如包含影像感測器702、影像處理器704、以及控制器706。影像感測器702可包含一像素單元陣列，其被配置以產生影像資料。所述影像感測器可被實施在一第一半導體基板上，而所述影像處理器以及所述控制器可被實施在一或多個第二半導體基板上，其中所述第一半導體基板以及所述一或多個第二半導體基板形成一堆疊，並且被容置在一半導體封裝之內。在某些例子中，所述影像處理器以及所述控制器可以是被實施在單一半導體基板上的單一計算區塊的部分，而在其它例子中，所述影像處理器以及所述控制器可以是被實施在不同的半導體基板上的個別的處理電路區塊。所述影像感測器、所述影像處理器、以及所述控制器可以利用垂直的電連接，例如是直通矽晶穿孔(TSV)、晶片至晶片的銅接合、等等來加以電連接。
在步驟1002中，控制器706可以判斷來自影像感測器702的第一影像資料是否包含一物體的所述特點。所述判斷可以是根據影像處理器704的輸出，其可以從所述第一影像取出所述物體的特點。所述影像處理器可以利用各種的技術來取出一物體的特點。例如，所述影像處理器可以實施一神經網路(例如是卷積神經網路(CNN))，以在權重下在所述像素資料上執行算術運算以執行所述抽取。所述影像處理器可包含記憶體裝置(例如，自旋隧道隨機存取記憶體(STRAM)、非揮發性隨機存取記憶體(NVRAM)、等等)以儲存所述權重。所述影像處理器可以離線接收所述權重、及/或根據一訓練程序來產生所述權重、或是兩者的一組合。例如，在其中所述影像處理器是用以取出使用者的一眼的特點的一情形中，所述影像處理器可以離線獲得一組最初的權重。所述影像處理器接著可以在一訓練模式中更新所述最初的權重，其中所述影像感測器是在使用者被要求觀看在一特定的實體位置的一特定物體時捕捉所述眼睛的影像，並且所述影像處理器更新所述最初的權重以使得所述眼睛的特點可從對應於所述實體位置的像素位置被抽取出。所述影像處理器亦可以從其它感測器(例如是一慣性的量測單元(IMU))接收感測器資料，其可包含所述物體的實體位置資訊，並且根據所述感測器資料來執行所述物體的所述特點的抽取。
在步驟1004中，控制器706可以根據所述第一影像資料是否包含所述物體的特點來產生用於所述影像感測器的程式化信號。在步驟1006中，控制器706接著可以根據所述程式化信號來控制所述影像感測器以產生第二影像資料。
明確地說，在其中所述影像處理器輸出所述物體的所述特點在一包含所述第一影像資料的第一影像幀中的位置至所述控制器的一情形中，所述控制器可以判斷在一將藉由所述影像感測器產生的第二影像幀中的一所關注的區域(ROI)。所述控制器可以例如是根據所述物體的一運動模型來判斷所述ROI，以根據所述物體的所述特點在所述第一影像幀中的像素位置來預測所述物體在所述第二影像幀中的像素位置。所述控制器接著可以產生所述程式化信號的一第一子集合以用於所述像素單元陣列在所述ROI中的一第一子集合、以及所述程式化信號的一第二子集合以用於所述像素單元陣列在所述ROI之外的一第二子集合。所述程式化信號的所述不同的子集合可以不同地配置所述像素單元陣列的對應的子集合。例如，所述程式化信號的所述第一子集合可以導通像素單元的所述第一子集合及/或致能藉由像素單元的所述第一子集合的像素資料的輸出，而所述程式化信號的所述第二子集合可以關斷像素單元的所述第二子集合及/或禁能藉由像素單元的所述第二子集合的像素資料的輸出。作為另一例子的是，相對於藉由所述程式化信號的所述第二子集合之像素單元的所述第二子集合，所述程式化信號的所述第一子集合可以增加量化解析度、像素資料的位元長度、等等。在其中每一個像素單元包含多個被配置以感測不同頻率範圍的光的光二極體的一情形中，所述影像處理器可以取出對應於不同頻率範圍的特點，並且所述控制器可以針對於所述不同的頻率範圍來判斷ROI，並且根據用於所述不同頻率範圍的所述ROI來產生所述程式化信號。
在另一方面，在其中所述影像處理器輸出所述物體的所述特點並不在所述第一幀中，且/或所述物體的像素位置橫跨一些幀保持靜態的一情形中，所述控制器可以產生程式化信號以調整在所述影像感測器的操作的各種特點。例如，所述控制器可以控制所述影像感測器以執行一子取樣操作(例如，只有像素單元的一子集合被導通及/或致能以輸出像素資料)，以降低所述影像感測器的幀率、等等。
在某些例子中，所述控制器亦可以控制所述影像處理器的特點抽取操作。例如，根據一操作狀況(例如，一場景的特點的密度、所述影像系統可利用的功率、一光狀況、等等)，所述控制器可以調整所述影像感測器的操作電壓、所述影像處理器抽取所述物體的特點所用的速度、等等。所述控制器亦可以提供ROI的預測的位置回到所述影像處理器，因而所述影像處理器在後續的影像幀中只從所述ROI取出特點。所述控制器亦可以禁能所述影像處理器的部分以達成一目標效率，其例如是根據由所述像素單元輸出的像素資料的一位元長度而定。在其中所述控制器判斷影像處理器無法完成所述特點的抽取(例如，低於一目標功率使用、在一所需的幀率、等等)的一情形中，所述控制器亦可以發送所述影像感測器的至少部分的像素資料至一外部的系統(例如，一主機)以執行所述特點抽取。所述控制器亦可以發送所述抽取出的特點至所述主機以支援各種的主機應用程式(例如，眼動追蹤、SLAM、等等)。
此說明的某些部分是在資訊上的運算的演算法以及符號表示方面來描述本揭露內容的實施例。這些演算法的說明及表示是那些熟習資料處理技術者普遍使用的，以有效地傳達其工作的本質給其他熟習此項技術者。這些運算儘管是在功能上、計算上、或是邏輯上加以敘述的，但理解到的是藉由電腦程式或等效電路、微碼、或類似者來實施的。再者，亦已經證實的是有時稱這些運算的配置為模組是便利的，而不失去一般性。所述運算以及其相關的模組可以用軟體、韌體、及/或硬體來體現。
所述步驟、操作、或是程序可以利用一或多個硬體或軟體模組、單獨或結合其它裝置來加以執行或實施。在某些實施例中，一軟體模組是利用一包括電腦可讀取的媒體之電腦程式產品來加以實施，所述電腦程式產品包含電腦程式碼，其可藉由一電腦處理器來執行，以用於執行所述步驟、操作、或是程序的任一個或是全部。
本揭露內容的實施例亦可以有關於一種用於執行所述操作之設備。所述設備可以是針對於所需的目的特別被建構的、且/或其可包括一般用途的計算裝置，所述計算裝置藉由在所述電腦中儲存的一電腦程式而選擇性地被啟動或是被重新配置。此種電腦程式可被儲存在一非暫態的實體電腦可讀取的儲存媒體、或是任意類型的適合用於儲存電子指令的媒體中，所述媒體可以耦接至一電腦系統匯流排。再者，在說明書中所參照的任何計算系統都可包含單一處理器、或者可以是為了增大計算功能而採用多個處理器的設計的架構。
本揭露內容的實施例亦可以有關於藉由在此所述的一計算程序產生的一產品。此種產品可包括產生自一計算程序的資訊，其中所述資訊被儲存在一非暫態的實體電腦可讀取的儲存媒體上，並且可包含在此所述的一電腦程式產品或是其它資料組合的任何實施例。
說明書中所用的語言已經主要為了可閱讀性以及指導的目的來選擇的，因而其可能尚未被選擇來描述或限制本發明的標的。因此，所欲的是本揭露內容的範疇並未受限於此詳細說明，而是藉由在一申請案上根據其所核准的任何請求項來加以限制。於是，所述實施例的揭露內容是欲為舉例說明本揭露內容的範疇，而非限制性的，所述範疇是被闡述在以下的申請專利範圍中。
100:近眼顯示器 105:框架 110:顯示器 120a、120b、120c、120d:影像感測器 130:主動照明器 135:眼球 140a、140b、140c、140d、140e、140f:照明器 150a、150b:影像感測器 200:橫截面 210:波導顯示器組件 220:眼球 230:出射曈 300:波導顯示器 310:源組件 320:輸出波導 325:照明器 330:控制器 340:擴張的影像光 350:耦合元件 355:影像光 360:導引元件 365:去耦元件 370:影像感測器 370-1:第一側邊 370-2:第二側邊 372:物體 374:光 376:光源 378:光 390:遠端主機 400:橫截面 402:像素單元 404:機械式快門 406:濾光片陣列 410:源 415:光學系統 500:系統 510:控制電路 525:位置感測器 530:慣性的量測單元(IMU) 535:成像裝置 540:輸入/輸出介面 545:應用程式儲存 550:追蹤模組 555:引擎 600:影像感測器 601:像素單元 602:光二極體 603:電子式快門電晶體 604:傳輸電晶體 605:電荷儲存裝置 606:緩衝器 607:量化器 608:量測資料 610:影像 612:物體 620:像素單元群組 630:像素單元群組 640:照明器 642:圖案 650:物體 652:圖案 660、662、664、666:像素單元群組 700:成像系統 702:影像感測器 704:影像處理器 706:控制器 712:像素單元陣列 722:影像資料 724:輸出 725:主機處理器 726:程式化信號 728:程式化信號 730:影像幀 732:邊緣 734:紋理 742:所關注的區域(ROI) 750:群組 752:像素單元 804:行控制器 806:列控制器 807:功率控制器 808、808a、808b、808c…808n:行匯流排 810、810a、810b…808n:列匯流排 812:程式化匯流排 816:電力匯流排 818:電壓 820:程式化信號語法分析器 830:行位址信號 832:列位址信號 840:像素陣列程式化映射 850:像素單元 852、852a、852b:光二極體 854:開關 855:記憶體 856:電流源 858:電源閘 860:比較器 861:電源開關 862:輸出邏輯 870:像素單元控制器 880:特點抽取電路 882:記憶體 884:功率控制器 886:時脈控制器 888:特點抽取控制器 900:第一半導體基板 902、902a、902b:第二半導體基板 904、906:垂直的互連 908:背側表面 910:前側表面 912:前側表面 920、922:肩部區域 1000:方法 1002:步驟 1004:步驟 1006:步驟
舉例說明的實施例是參考以下的圖式來加以描述。
[圖1]A及圖1B是一近眼顯示器的一實施例的圖。
[圖2]是所述近眼顯示器的一橫截面的一實施例。
[圖3]是描繪一具有單一光源組件的波導顯示器的一實施例的等角視圖。
[圖4]是描繪所述波導顯示器的一實施例的一橫截面。
[圖5]是一種包含所述近眼顯示器之系統的一實施例的方塊圖。
[圖6]A、圖6B、圖6C及圖6D描繪一影像感測器及其操作的例子。
[圖7]A、圖7B及圖7C描繪一成像系統及其操作的一個例子。
[圖8]A、圖8B、圖8C及圖8D描繪圖7A–7C的影像處理系統的範例構件。
[圖9]A及圖9B描繪圖7A–圖7C的成像系統的範例實體配置。
[圖10]描繪一用於產生影像資料的範例程序的流程圖。
所述圖式只是為了說明之目的而描繪本揭露內容的實施例。熟習此項技術者從以下的說明將會輕易地體認到所描繪的結構及方法的替代實施例可被採用，而不脫離此揭露內容的原理或是所宣揚的益處。
在所附的圖中，類似的構件及/或特點可以具有相同的元件符號。再者，相同類型的各種構件可以藉由在元件符號之後接上一破折號以及一第二符號來加以區別，所述第二符號是在類似的構件之間做區別。若只有第一元件符號在說明書中被使用，則所述說明可以適用於具有相同的第一元件符號的類似的構件的任一個，而不論第二元件符號為何。
700:成像系統
704:影像處理器
706:控制器
850:像素單元
852:光二極體
900:第一半導體基板
902a、902b:第二半導體基板
908:背側表面
910:前側表面
912:前側表面
920、922:肩部區域

Claims (20)

  1. 一種設備，其包括： 影像感測器，其包括像素單元陣列，每一個像素單元包含光二極體及電路以產生影像資料，所述光二極體被形成在第一半導體基板中；以及 控制器，其被形成在一或多個包含所述像素單元陣列的所述電路的第二半導體基板中，所述第一及第二半導體基板形成堆疊並且被容置在半導體封裝之內； 其中所述控制器被配置以： 判斷藉由所述影像感測器產生的第一影像資料是否包含物體的特點； 根據所述第一影像資料是否包含所述物體的所述特點來產生用於所述影像感測器的程式化信號；以及 根據所述程式化信號來控制所述影像感測器以產生第二影像資料。
  2. 如請求項1之設備，其進一步包括被配置以取出所述物體的所述特點的影像處理器； 其中所述影像處理器是被實施在所述一或多個第二半導體基板中。
  3. 如請求項2之設備，其中所述影像處理器被配置以提供所述物體的所述抽取出的特點在第一影像幀中的像素位置至所述控制器； 其中所述控制器被配置以： 根據所述抽取出的特點的所述像素位置來判斷在包含所述第二影像資料的第二影像幀中的所關注的區域(ROI)；以及 根據所述ROI來產生所述程式化信號。
  4. 如請求項3之設備，其中所述控制器被配置以根據所述物體的運動模型來判斷在所述第二影像幀中的所述ROI。
  5. 如請求項3之設備，其中所述程式化信號包括目標在所述ROI之內的所述像素單元陣列的第一子集合的程式化信號的第一子集合、以及目標在所述像素單元陣列的第二子集合的程式化信號的第二子集合。
  6. 如請求項5之設備，其中所述控制器被配置以控制所述像素單元陣列的所有的像素單元以輸出用於所述第一影像幀的像素資料； 其中程式化信號的所述第一子集合控制所述像素單元陣列的所述第一子集合以輸出用於所述第二影像幀的像素資料；以及 其中程式化信號的所述第二子集合控制所述像素單元陣列的所述第二子集合不輸出用於所述第二影像幀的像素資料。
  7. 如請求項5之設備，其中程式化信號的所述第一子集合控制以下的至少一個：由所述像素單元陣列的所述第一子集合所消耗的第一功率、藉由所述像素單元陣列的所述第一子集合輸出的第一像素資料的第一量化解析度、或是所述第一像素資料的第一位元長度；以及 其中程式化信號的所述第二子集合控制以下的至少一個：由所述像素單元陣列的所述第二子集合所消耗的第二功率、藉由所述像素單元陣列的所述第二子集合輸出的第二像素資料的第二量化解析度、或是所述第一像素資料的第二位元長度。
  8. 如請求項3之設備，其中所述陣列像素單元的每一個像素單元是個別可定址的；以及 其中所述程式化信號包括個別目標在每一個像素單元的像素層級的信號。
  9. 如請求項2之設備，其中所述控制器被配置以： 從所述影像處理器接收所述第一影像資料並不包含所述物體的所述特點的指示；以及 根據所述指示來產生所述程式化信號以控制所述影像感測器以根據以下的至少一個來執行子取樣操作：禁能所述像素單元陣列的子集合、或是控制所述像素單元陣列的所述子集合不輸出像素資料。
  10. 如請求項1之設備，其中所述控制器被配置以產生所述程式化信號以縮放所述影像感測器的供應電壓。
  11. 如請求項3之設備，其中所述影像處理器被配置以： 從第二感測器接收指出所述物體的實體位置的位置資訊；以及 根據所述位置資訊以從所述第一影像資料取出所述物體的所述特點。
  12. 如請求項2之設備，其中所述影像處理器實施神經網路以取出所述物體的所述特點。
  13. 如請求項12之設備，其中所述神經網路的權重是在所述設備操作在訓練模式中並且獲得所述物體的影像資料時獲得的。
  14. 如請求項2之設備，其中所述程式化信號是第一程式化信號； 其中所述影像處理器包括複數個子區塊，每一個子區塊被配置以從來自所述影像感測器的影像資料區塊取出所述物體的所述特點；以及 其中所述控制器被配置以根據所述物體的所述特點從所述第一影像資料藉由所述影像處理器的抽取的結果來發送第二程式化信號至所述影像處理器，以禁能所述子區塊的子集合用於所述物體的所述特點從所述第二影像資料的所述抽取。
  15. 如請求項2之設備，其中所述程式化信號是第一程式化信號；以及 其中所述控制器被配置以發送第二程式化信號至所述影像處理器以調整以下的至少一個：所述影像處理器的供應電壓、或是所述影像處理器的操作頻率。
  16. 如請求項2之設備，其中所述程式化信號是第一程式化信號；以及 其中所述控制器被配置以發送第二程式化信號至所述影像處理器以控制所述影像處理器不從所述第二影像資料取出所述物體的所述特點，並且轉傳所述第二影像資料至外部的系統。
  17. 如請求項1之設備，其進一步包括： 像素互連，其藉由晶片至晶片銅接合而被實施在所述第一半導體基板以及所述一或多個第二半導體基板之間，以發送藉由在所述第一半導體基板中的所述光二極體產生的信號至在所述一或多個第二半導體基板中的所述每一個像素單元的所述電路；以及 在所述第一半導體基板以及所述一或多個第二半導體基板之間的直通矽晶穿孔(TSV)，以從所述控制器發送所述程式化信號至所述影像感測器。
  18. 一種方法，其包括： 藉由控制器判斷藉由影像感測器產生的第一影像資料是否包含物體的特點，其中所述影像感測器以及所述控制器形成堆疊並且被容置在半導體封裝之內； 根據所述第一影像資料是否包含所述物體的特點，藉由所述控制器產生用於所述影像感測器的程式化信號；以及 藉由所述控制器並且根據所述程式化信號來控制所述影像感測器以產生第二影像資料。
  19. 如請求項18之方法，其進一步包括： 藉由影像處理器抽取所述物體的所述特點， 其中所述影像處理器是所述堆疊的部分並且被容置在所述半導體封裝之內。
  20. 如請求項19之方法，其進一步包括： 藉由所述影像處理器判斷所述物體的所述抽取出的特點在第一影像幀中的像素位置； 藉由所述控制器並且根據所述抽取出的特點的所述像素位置來判斷在包含所述第二影像資料的第二影像幀中的所關注的區域(ROI)；以及 藉由所述控制器，根據所述ROI來產生所述程式化信號。
TW108146257A 2018-12-17 2019-12-17 動態可程式化影像感測器 TW202038596A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862780743P 2018-12-17 2018-12-17
US62/780,743 2018-12-17
US16/716,050 2019-12-16
US16/716,050 US11888002B2 (en) 2018-12-17 2019-12-16 Dynamically programmable image sensor

Publications (1)

Publication Number Publication Date
TW202038596A true TW202038596A (zh) 2020-10-16

Family

ID=71073141

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108146257A TW202038596A (zh) 2018-12-17 2019-12-17 動態可程式化影像感測器

Country Status (7)

Country Link
US (1) US11888002B2 (zh)
EP (1) EP3900319B1 (zh)
JP (1) JP2022511414A (zh)
KR (1) KR20210102329A (zh)
CN (1) CN113196741B (zh)
TW (1) TW202038596A (zh)
WO (1) WO2020131860A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US20190363118A1 (en) * 2018-05-25 2019-11-28 Facebook Technologies, Llc Programmable pixel array
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11037968B2 (en) * 2019-04-05 2021-06-15 Waymo Llc Image sensor architecture
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11468146B2 (en) 2019-12-06 2022-10-11 Globalfoundries U.S. Inc. Array of integrated pixel and memory cells for deep in-sensor, in-memory computing
US11195580B2 (en) * 2020-02-26 2021-12-07 Globalfoundries U.S. Inc. Integrated pixel and two-terminal non-volatile memory cell and an array of cells for deep in-sensor, in-memory computing
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
CN114079709B (zh) * 2020-08-07 2024-04-12 安霸国际有限合伙企业 用于卷帘式快门传感器的驱动器机构以获取结构光图案
CN114359014A (zh) * 2020-09-30 2022-04-15 安霸国际有限合伙企业 用于卷帘式快门传感器的动态驱动器机构以获取结构光图案
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11849232B2 (en) * 2020-11-03 2023-12-19 Samsung Electronics Co., Ltd. Integrated image sensor with internal feedback and operation method thereof
US11756283B2 (en) * 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
CN112992956B (zh) * 2021-05-17 2022-02-01 甬矽电子(宁波)股份有限公司 芯片封装结构、芯片封装方法和电子设备
US11706546B2 (en) * 2021-06-01 2023-07-18 Sony Semiconductor Solutions Corporation Image sensor with integrated single object class detection deep neural network (DNN)
KR20230114071A (ko) * 2022-01-24 2023-08-01 삼성전자주식회사 거리 정보를 획득하는 전자 장치 및 이의 제어 방법
WO2023171333A1 (ja) * 2022-03-08 2023-09-14 ソニーセミコンダクタソリューションズ株式会社 光検出装置および電子機器
SE2251116A1 (en) * 2022-09-28 2024-03-29 Tobii Ab Image acquisition with dynamic resolution

Family Cites Families (216)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4121896A (en) 1976-03-24 1978-10-24 Shepherd Thomas H Apparatus for the production of contact lenses
JPH09142031A (ja) 1995-11-22 1997-06-03 Fujicopian Co Ltd 熱転写記録材料
US6486504B1 (en) 1999-10-26 2002-11-26 Eastman Kodak Company CMOS image sensor with extended dynamic range
US6384905B1 (en) 2000-07-07 2002-05-07 The United States Of America As Represented By The Secretary Of The Navy Optic flow sensor with fused elementary motion detector outputs
US7079178B2 (en) 2001-02-20 2006-07-18 Jaroslav Hynecek High dynamic range active pixel CMOS image sensor and data processing system incorporating adaptive pixel reset
US6854045B2 (en) 2001-06-29 2005-02-08 Intel Corporation Hardware emulation of parallel ATA drives with serial ATA interface
JP4175828B2 (ja) 2002-04-18 2008-11-05 抱 石井 撮像カメラ装置及びイメージャの画像データ読取り方法
ATE432535T1 (de) 2003-01-10 2009-06-15 Scherrer Inst Paul Photonenzähl-abbildungseinrichtung
CN101789482B (zh) 2003-03-10 2013-04-17 丰田合成株式会社 固体元件装置及其制造方法
US7280143B2 (en) 2003-04-14 2007-10-09 Micron Technology, Inc. CMOS image sensor with active reset and 4-transistor pixels
EP1649445A4 (en) 2003-04-24 2009-03-25 Displaytech Inc MICRO-DISPLAY AND INTERFACE ON A SINGLE CHIP
US7362355B1 (en) 2003-08-04 2008-04-22 Pixim, Inc. Digital CMOS image sensor incorporating a programmable multi-functional lookup table
JP4241259B2 (ja) 2003-08-06 2009-03-18 セイコーエプソン株式会社 マイクロレンズの製造方法
US6853579B1 (en) 2003-09-09 2005-02-08 Taiwan Semiconductor Manufacturing Co., Ltd. Non-refresh four-transistor memory cell
US6885331B2 (en) 2003-09-15 2005-04-26 Micron Technology, Inc. Ramp generation with capacitors
US6934182B2 (en) 2003-10-03 2005-08-23 International Business Machines Corporation Method to improve cache capacity of SOI and bulk
JP4228876B2 (ja) 2003-10-23 2009-02-25 富士フイルム株式会社 磁気記録媒体
JP4317115B2 (ja) 2004-04-12 2009-08-19 国立大学法人東北大学 固体撮像装置、光センサおよび固体撮像装置の動作方法
KR101099884B1 (ko) 2004-04-23 2011-12-28 히또시 기야 동화상데이터의 부호화방법, 복호화방법, 이들을 실행하는단말장치, 및 쌍방향 대화형 시스템
GB0416496D0 (en) 2004-07-23 2004-08-25 Council Of The Central Lab Of Imaging device
RU2367109C2 (ru) 2004-08-23 2009-09-10 Сони Корпорейшн Устройство формирования изображения, способ обработки изображения и интегральная схема
US7603514B2 (en) 2005-03-31 2009-10-13 Intel Corporation Method and apparatus for concurrent and independent data transfer on host controllers
TWI429066B (zh) 2005-06-02 2014-03-01 Sony Corp Semiconductor image sensor module and manufacturing method thereof
JP2006348085A (ja) 2005-06-13 2006-12-28 Nissan Motor Co Ltd イオン性液体を用いたクッションアクチュエータ、及びそれからなる車両用部品
US7359275B1 (en) 2005-09-08 2008-04-15 Integrated Device Technology, Inc. Reduced size dual-port SRAM cell
KR100775058B1 (ko) 2005-09-29 2007-11-08 삼성전자주식회사 픽셀 및 이를 이용한 이미지 센서, 그리고 상기 이미지센서를 포함하는 이미지 처리 시스템
US7659925B2 (en) 2005-10-04 2010-02-09 Alexander Krymski High speed CMOS image sensor circuits with memory readout
JP4238898B2 (ja) 2006-08-30 2009-03-18 ソニー株式会社 光学素子の製造装置
JP2008228232A (ja) 2007-03-15 2008-09-25 Canon Inc 撮像装置、撮像方法、プログラム、及び記憶媒体
JP2008270500A (ja) 2007-04-19 2008-11-06 Sharp Corp 固体撮像素子およびその製造方法、電子情報機器
US7920409B1 (en) 2007-06-05 2011-04-05 Arizona Board Of Regents For And On Behalf Of Arizona State University SRAM cell with intrinsically high stability and low leakage
JP5067850B2 (ja) 2007-08-02 2012-11-07 キヤノン株式会社 システム、頭部装着型表示装置、その制御方法
US7956914B2 (en) * 2007-08-07 2011-06-07 Micron Technology, Inc. Imager methods, apparatuses, and systems providing a skip mode with a wide dynamic range operation
US8441535B2 (en) 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
EP2104234B1 (en) 2008-03-21 2011-08-31 STMicroelectronics Limited Analog-to-digital conversion in image sensors
US8098955B2 (en) 2008-03-25 2012-01-17 Point Grey Research Inc. Efficient selection and application of regions of interest in digital imaging
KR101084675B1 (ko) 2008-07-04 2011-11-22 주식회사 엘지화학 방사형 액정 화합물, 및 이를 포함하는 광학 필름 및 액정 디스플레이 장치
TWI422063B (zh) 2008-11-14 2014-01-01 Samsung Electronics Co Ltd 半導體發光裝置
US7969759B1 (en) 2008-12-19 2011-06-28 Suvolta, Inc. Method and apparatus for improving SRAM write operations
KR20100089389A (ko) 2009-02-03 2010-08-12 삼성전자주식회사 점착 조성물 및 이로부터 제조되는 점착 필름
KR101627725B1 (ko) 2009-02-03 2016-06-07 삼성전자 주식회사 광경화형 화합물
US8625012B2 (en) 2009-02-05 2014-01-07 The Hong Kong University Of Science And Technology Apparatus and method for improving dynamic range and linearity of CMOS image sensor
JP5498202B2 (ja) 2009-03-03 2014-05-21 富士フイルム株式会社 バリア性積層体、ガスバリアフィルムおよびこれらを用いたデバイス
KR101581222B1 (ko) 2009-03-30 2015-12-30 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법 및 컴퓨터 판독가능 저장매체
US8868821B2 (en) 2009-08-26 2014-10-21 Densbits Technologies Ltd. Systems and methods for pre-equalization and code design for a flash memory
JP5342969B2 (ja) * 2009-09-10 2013-11-13 富士フイルム株式会社 撮像装置及び撮像方法
JP5330520B2 (ja) 2009-09-11 2013-10-30 パナソニック株式会社 アナログ・デジタル変換器、イメージセンサシステム、カメラ装置
US8174868B2 (en) 2009-09-30 2012-05-08 Taiwan Semiconductor Manufacturing Co., Ltd. Embedded SRAM structure and chip
US8405017B2 (en) 2009-12-24 2013-03-26 Imagerlabs Inc. Adjustable CMOS sensor array
US20120200499A1 (en) 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with event, sensor, and user action based control of applications resident on external devices with feedback
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
KR20110100974A (ko) 2010-03-05 2011-09-15 동우 화인켐 주식회사 착색 감광성 수지 조성물, 이를 포함하는 컬러필터 및 액정표시장치
IT1400750B1 (it) 2010-06-30 2013-07-02 St Microelectronics Srl Memoria sram 5t per applicazioni a bassa tensione
IT1400749B1 (it) 2010-06-30 2013-07-02 St Microelectronics Srl Cella sram configurabile dinamicamente per funzionamento a bassa tensione
JP5630146B2 (ja) 2010-08-23 2014-11-26 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム。
US8183639B2 (en) 2010-10-07 2012-05-22 Freescale Semiconductor, Inc. Dual port static random access memory cell layout
US20120240007A1 (en) 2010-10-20 2012-09-20 Stec, Inc. Ldpc decoding for solid state storage devices
US8773577B2 (en) * 2010-10-27 2014-07-08 Qualcomm Incorporated Region of interest extraction
US8698843B2 (en) 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US20120113119A1 (en) 2010-11-05 2012-05-10 Nova Research, Inc. Super resolution infrared imaging system
US9030598B2 (en) 2010-11-24 2015-05-12 Nokia Corporation Optically refracting surfaces
TWI462265B (zh) 2010-11-30 2014-11-21 Ind Tech Res Inst 影像擷取裝置
KR101453769B1 (ko) 2010-12-24 2014-10-22 제일모직 주식회사 감광성 수지 조성물 및 이를 이용한 컬러 필터
US8631294B2 (en) 2011-02-02 2014-01-14 Seagate Technology Llc Methods and devices to increase memory device data reliability
US8587501B2 (en) 2011-02-17 2013-11-19 Global Oled Technology Llc Electroluminescent display device with optically communicating chiplets
KR101241704B1 (ko) 2011-04-14 2013-03-19 엘지이노텍 주식회사 픽셀, 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동방법
US20190331914A1 (en) 2011-07-20 2019-10-31 Google Llc Experience Sharing with Region-Of-Interest Selection
JP5868065B2 (ja) 2011-08-05 2016-02-24 キヤノン株式会社 撮像装置
JP2013043383A (ja) 2011-08-24 2013-03-04 Fujifilm Corp バリア性積層体、ガスバリアフィルムおよびこれらを用いたデバイス
JP5901186B2 (ja) 2011-09-05 2016-04-06 キヤノン株式会社 固体撮像装置及びその駆動方法
US20130056809A1 (en) 2011-09-07 2013-03-07 Duli Mao Image Sensor with Reduced Noiseby Blocking Nitridation Over Selected Areas
US8890047B2 (en) 2011-09-21 2014-11-18 Aptina Imaging Corporation Stacked-chip imaging systems
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
CN103906624B (zh) 2011-09-26 2016-02-10 富士胶片株式会社 屏障积层体与其制造方法与其用途、屏障装置的制造方法、可聚合化合物与可聚合组合物
GB201117319D0 (en) * 2011-10-06 2011-11-16 Isis Innovation Active pixel image sensor
US10598929B2 (en) 2011-11-09 2020-03-24 Google Llc Measurement method and system
KR20130062188A (ko) 2011-12-02 2013-06-12 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 장치
US20130180841A1 (en) 2012-01-17 2013-07-18 Esat Yilmaz Sensor Stack with Opposing Electrodes
KR20130084492A (ko) 2012-01-17 2013-07-25 삼성전자주식회사 비휘발성 메모리 시스템
US8735795B2 (en) 2012-01-20 2014-05-27 Omnivision Technologies, Inc. Image sensor with integrated ambient light detection
CN104204904B (zh) 2012-01-24 2018-05-18 亚利桑那大学评议会 紧凑式眼睛跟踪头戴式显示器
KR101990971B1 (ko) 2012-01-30 2019-06-19 삼성전자 주식회사 메모리, 메모리 시스템, 및 메모리에 대한 에러 검출/정정 방법
JP6110595B2 (ja) 2012-02-07 2017-04-05 イーエイチエス レンズ フィリピン インク 眼鏡用偏光プラスチックレンズの製造方法
US9185307B2 (en) 2012-02-21 2015-11-10 Semiconductor Components Industries, Llc Detecting transient signals using stacked-chip imaging systems
TW201340708A (zh) 2012-03-19 2013-10-01 Sony Corp 固體攝像裝置及電子機器
JP5934544B2 (ja) 2012-03-29 2016-06-15 富士フイルム株式会社 ガスバリアフィルム
JP5749678B2 (ja) 2012-03-29 2015-07-15 富士フイルム株式会社 ガスバリアフィルム
US9723233B2 (en) 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
US8957358B2 (en) 2012-04-27 2015-02-17 Taiwan Semiconductor Manufacturing Company, Ltd. CMOS image sensor chips with stacked scheme and methods for forming the same
US9350928B2 (en) 2012-05-02 2016-05-24 Semiconductor Components Industries, Llc Image data compression using stacked-chip image sensors
US9233511B2 (en) 2012-05-10 2016-01-12 Optiz, Inc. Method of making stamped multi-layer polymer lens
US8779346B2 (en) 2012-05-14 2014-07-15 BAE Systems Imaging Solutions Inc. Digital pixel sensor with reduced noise
US9058281B2 (en) 2012-06-01 2015-06-16 Seagate Technology Llc Allocating memory usage based on quality metrics
KR20140024707A (ko) 2012-08-21 2014-03-03 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 기기
KR101384332B1 (ko) 2012-09-06 2014-04-10 현대모비스 주식회사 차량 영상처리 장치 및 방법과 이를 이용한 차량 영상처리 시스템
KR101965632B1 (ko) 2012-09-07 2019-04-05 삼성전자 주식회사 아날로그-디지털 변환 회로, 이를 포함하는 이미지 센서, 및 그 동작 방법
KR20150068429A (ko) 2012-10-05 2015-06-19 램버스 인코포레이티드 조건부-리셋, 멀티-비트 판독 이미지 센서
WO2014114740A1 (en) * 2013-01-25 2014-07-31 Innovaciones Microelectrónicas S.L. (Anafocus) Automatic region of interest function for image sensors
EP2969258A4 (en) 2013-03-13 2016-11-30 Harvard College COMPRESSIVE COMPOSITION FOR PREPARING GLOSSY SURFACES WITH LIQUID INFUSION AND METHOD OF USE
GB2513579A (en) 2013-04-29 2014-11-05 Tobii Technology Ab Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system
JP2014236183A (ja) 2013-06-05 2014-12-15 株式会社東芝 イメージセンサ装置及びその製造方法
JP6303297B2 (ja) 2013-06-14 2018-04-04 富士通株式会社 端末装置、視線検出プログラムおよび視線検出方法
JP6188451B2 (ja) 2013-06-27 2017-08-30 オリンパス株式会社 アナログデジタル変換器および固体撮像装置
WO2015038569A2 (en) 2013-09-10 2015-03-19 Rambus Inc. Oversampled image sensor with conditional pixel readout
US9410850B2 (en) 2013-09-20 2016-08-09 Vlad Joseph Novotny Infrared imager readout electronics
CA2888943C (en) 2013-10-03 2015-08-18 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
KR102210539B1 (ko) 2013-12-26 2021-02-01 삼성전자주식회사 상관 이중 샘플링 회로, 이를 포함하는 아날로그-디지털 컨버터, 및 이미지 센서
US20160170207A1 (en) 2014-01-24 2016-06-16 Osterhout Group, Inc. See-through computer display systems
JP6336286B2 (ja) * 2014-01-31 2018-06-06 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置
JP6338385B2 (ja) * 2014-01-31 2018-06-06 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置
US9264639B2 (en) 2014-02-07 2016-02-16 Rambus Inc. Feedthrough-compensated image sensor
US20160011422A1 (en) 2014-03-10 2016-01-14 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing virtual or augmented reality environments
EP2924979B1 (en) 2014-03-25 2023-01-18 IMEC vzw Improvements in or relating to imaging sensors
TWI656631B (zh) 2014-03-28 2019-04-11 日商半導體能源研究所股份有限公司 攝像裝置
JP2015195235A (ja) 2014-03-31 2015-11-05 ソニー株式会社 固体撮像素子、電子機器、および撮像方法
KR102246553B1 (ko) 2014-04-24 2021-04-30 엘지전자 주식회사 Hmd 및 그 제어 방법
US9672416B2 (en) 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
US20190307313A1 (en) 2014-05-09 2019-10-10 Jack Wade Systems and methods for medical imaging
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9247162B2 (en) 2014-06-27 2016-01-26 Omnivision Technologies, Inc. System and method for digital correlated double sampling in an image sensor
KR102192088B1 (ko) 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
US10165209B2 (en) 2014-07-25 2018-12-25 Rambus Inc. Low-noise, high dynamic-range image sensor
KR20160032586A (ko) 2014-09-16 2016-03-24 삼성전자주식회사 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법
US10515284B2 (en) * 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
JP6702195B2 (ja) * 2014-11-12 2020-05-27 ソニー株式会社 固体撮像装置および電子機器
CN107005641B (zh) 2014-12-03 2021-01-05 株式会社尼康 拍摄装置、电子设备以及存储有程序的记录介质
US9560296B2 (en) * 2014-12-05 2017-01-31 Qualcomm Incorporated Pixel readout architecture for full well capacity extension
WO2016095057A1 (en) 2014-12-19 2016-06-23 Sulon Technologies Inc. Peripheral tracking for an augmented reality head mounted device
US9819882B2 (en) 2015-06-05 2017-11-14 Caeleste Cvba Global shutter high dynamic range sensor
US10535296B2 (en) 2015-06-10 2020-01-14 Apple Inc. Display panel redundancy schemes
US10524667B2 (en) 2015-06-14 2020-01-07 Facense Ltd. Respiration-based estimation of an aerobic activity parameter
WO2017003477A1 (en) 2015-07-01 2017-01-05 Tyrrell Brian M Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
US9743024B2 (en) 2015-07-01 2017-08-22 Massachusetts Institute Of Technology Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
WO2017013806A1 (ja) 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置
US10437061B2 (en) 2015-08-03 2019-10-08 Facebook Technologies, Llc Near-ocular display based on hologram projection
US10607413B1 (en) 2015-09-08 2020-03-31 Ultrahaptics IP Two Limited Systems and methods of rerendering image hands to create a realistic grab experience in virtual reality/augmented reality environments
KR102057157B1 (ko) 2015-09-16 2019-12-18 캐논 가부시끼가이샤 촬상 소자 및 촬상 장치
CN112040118B (zh) 2015-09-16 2022-06-07 佳能株式会社 摄像设备
US9735131B2 (en) 2015-11-10 2017-08-15 Taiwan Semiconductor Manufacturing Company, Ltd. Multi-stack package-on-package structures
US10096631B2 (en) 2015-11-30 2018-10-09 Semiconductor Energy Laboratory Co., Ltd. Signal processing circuit and semiconductor device including the signal processing circuit
DE102015122055B4 (de) 2015-12-17 2018-08-30 Carl Zeiss Ag Optisches System sowie Verfahren zum Übertragen eines Quellbildes
WO2017139342A1 (en) 2016-02-08 2017-08-17 Spero Devices, Inc. Analog co-processor
JP6736911B2 (ja) 2016-02-29 2020-08-05 セイコーエプソン株式会社 光束径拡大素子及び画像表示装置
US10715824B2 (en) * 2016-03-17 2020-07-14 Facebook Technologies, Llc System and method for data compressing optical sensor data prior to transferring to a host system
US10420523B2 (en) 2016-03-21 2019-09-24 The Board Of Trustees Of The Leland Stanford Junior University Adaptive local window-based methods for characterizing features of interest in digital images and systems for practicing same
US10003726B2 (en) 2016-03-25 2018-06-19 Microsoft Technology Licensing, Llc Illumination module for near eye-to-eye display system
US10594974B2 (en) * 2016-04-07 2020-03-17 Tobii Ab Image sensor for vision based on human computer interaction
US20170293799A1 (en) * 2016-04-07 2017-10-12 Tobii Ab Image sensor for vision based human computer interaction
US9646681B1 (en) 2016-04-25 2017-05-09 Qualcomm Incorporated Memory cell with improved write margin
US9885870B2 (en) 2016-04-25 2018-02-06 Microsoft Technology Licensing, Llc Diffractive optical elements with analog modulations and switching
US9967472B2 (en) 2016-05-17 2018-05-08 JVC Kenwood Corporation Image sensor combining high dynamic range techniques
US20180027174A1 (en) 2016-07-19 2018-01-25 Qualcomm Incorporated Signaling camera configuration changes using metadata defined for a camera command set
JP6806494B2 (ja) * 2016-08-24 2021-01-06 キヤノン株式会社 撮像装置、撮像システム、移動体及び撮像装置の駆動方法
US20210283871A1 (en) 2016-09-06 2021-09-16 The Australian National University Method for fabricating lenses
JP2018046430A (ja) 2016-09-15 2018-03-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
US9859245B1 (en) 2016-09-19 2018-01-02 Taiwan Semiconductor Manufacturing Co., Ltd. Chip package structure with bump and method for forming the same
US10484628B2 (en) 2016-10-21 2019-11-19 The Johns Hopkins University Flexible pixel-wise exposure control and readout
KR102563846B1 (ko) 2016-11-16 2023-08-03 매직 립, 인코포레이티드 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리
KR20180056962A (ko) 2016-11-21 2018-05-30 삼성전자주식회사 전원 제어 회로를 포함하는 이벤트 기반 센서
GB2556910A (en) 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
US10395111B2 (en) 2016-12-01 2019-08-27 Varjo Technologies Oy Gaze-tracking system and method
US10984235B2 (en) * 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
US9955091B1 (en) 2016-12-20 2018-04-24 Omnivision Technologies, Inc. High dynamic range image sensor read out architecture using in-frame multi-bit exposure control
KR102621752B1 (ko) * 2017-01-13 2024-01-05 삼성전자주식회사 Mram을 포함한 씨모스 이미지 센서
US10218923B2 (en) 2017-02-17 2019-02-26 Semiconductor Components Industries, Llc Methods and apparatus for pixel binning and readout
US10838110B2 (en) 2017-03-03 2020-11-17 Microsoft Technology Licensing, Llc Metasurface optical coupling elements for a display waveguide
JP2018148528A (ja) * 2017-03-09 2018-09-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
US10360732B2 (en) 2017-03-23 2019-07-23 Intel Corporation Method and system of determining object positions for image processing using wireless network angle of transmission
CN106955120B (zh) 2017-03-31 2020-12-29 北京东软医疗设备有限公司 成像方法及成像系统
JP7170673B2 (ja) 2017-06-13 2022-11-14 ドリンクサビー，インコーポレイテッド 比色センサーおよびその製造方法
US10395376B2 (en) 2017-07-19 2019-08-27 Qualcomm Incorporated CMOS image sensor on-die motion detection using inter-pixel mesh relationship
US20210264679A1 (en) 2017-07-25 2021-08-26 Facebook Technologies, Llc Smart sensor
US10726627B2 (en) 2017-07-25 2020-07-28 Facebook Technologies, Llc Sensor system based on stacked sensor layers
US11568609B1 (en) 2017-07-25 2023-01-31 Meta Platforms Technologies, Llc Image sensor having on-chip compute circuit
US10090342B1 (en) * 2017-08-01 2018-10-02 Semiconductor Components Industries, Llc Stacked image sensor capacitors and related methods
JP7072362B2 (ja) * 2017-09-26 2022-05-20 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US10506217B2 (en) 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
KR102467845B1 (ko) * 2017-10-24 2022-11-16 삼성전자주식회사 적층형 씨모스 이미지 센서
US11039092B2 (en) 2017-11-15 2021-06-15 Nvidia Corporation Sparse scanout for image sensors
KR102558488B1 (ko) 2017-12-06 2023-07-20 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 장치, 고체 촬상 장치의 제어 방법 및 컴퓨터 프로그램
US11112613B2 (en) 2017-12-18 2021-09-07 Facebook Technologies, Llc Integrated augmented reality head-mounted display for pupil steering
US10708529B2 (en) 2017-12-20 2020-07-07 Semiconductor Components Industries, Llc Image sensors with low-voltage transistors
US10999539B2 (en) * 2017-12-26 2021-05-04 Waymo Llc Adjustable vertical field of view
JP6951967B2 (ja) 2017-12-28 2021-10-20 日本電産サンキョー株式会社 レンズユニット及び金型の製造方法
WO2019133008A1 (en) 2017-12-30 2019-07-04 Intel Corporation Ultra-thin, hyper-density semiconductor packages
US11057581B2 (en) 2018-01-24 2021-07-06 Facebook Technologies, Llc Digital pixel array with multi-stage readouts
US20190246036A1 (en) 2018-02-02 2019-08-08 Futurewei Technologies, Inc. Gesture- and gaze-based visual data acquisition system
KR102469080B1 (ko) 2018-02-13 2022-11-23 에스케이하이닉스 주식회사 비교 장치 및 그에 따른 씨모스 이미지 센서
US11828942B2 (en) 2018-03-12 2023-11-28 Magic Leap, Inc. Tilting array based display
US20190363118A1 (en) 2018-05-25 2019-11-28 Facebook Technologies, Llc Programmable pixel array
KR20190139082A (ko) 2018-06-07 2019-12-17 삼성전자주식회사 메모리 장치의 비트 에러율 균등화 방법
US10684681B2 (en) 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
US11067848B1 (en) 2018-06-22 2021-07-20 Facebook Technologies, Llc Switchable reflective devices including first and second optically transparent materials with different refractive indexes and methods and systems for fabrication thereof
US10345447B1 (en) 2018-06-27 2019-07-09 Luminar Technologies, Inc. Dynamic vision sensor to direct lidar scanning
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
JP6725733B2 (ja) 2018-07-31 2020-07-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
US10708522B2 (en) 2018-08-10 2020-07-07 International Business Machines Corporation Image sensor with analog sample and hold circuit control for analog neural networks
JP6638852B1 (ja) 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US10915995B2 (en) * 2018-09-24 2021-02-09 Movidius Ltd. Methods and apparatus to generate masked images based on selective privacy and/or location tracking
EP3864500A4 (en) 2018-10-12 2022-10-12 Supermem, Inc. ERROR CORRECTING MEMORY SYSTEMS
KR102599047B1 (ko) 2018-11-13 2023-11-06 삼성전자주식회사 데이터 신뢰성을 향상한 메모리 컨트롤러, 이를 포함하는 메모리 시스템 및 메모리 컨트롤러의 동작방법
JP2020088723A (ja) 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US10755128B2 (en) 2018-12-18 2020-08-25 Slyce Acquisition Inc. Scene and user-input context aided visual search
US10867655B1 (en) 2019-07-08 2020-12-15 Micron Technology, Inc. Methods and apparatus for dynamically adjusting performance of partitioned memory
US11010327B2 (en) 2019-07-23 2021-05-18 Qualcomm Incorporated I3C point to point
US11018113B2 (en) 2019-10-17 2021-05-25 Taiwan Semiconductor Manufacturing Company, Ltd. Memory module, semiconductor package including the same, and manufacturing method thereof
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11394905B2 (en) 2019-12-13 2022-07-19 Sony Semiconductor Solutions Corporation Dynamic region of interest and frame rate for event based sensor and imaging camera
JP7455588B2 (ja) 2020-01-17 2024-03-26 キヤノン株式会社 撮像装置
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US10970619B1 (en) 2020-08-21 2021-04-06 Moffett Technologies Co., Limited Method and system for hierarchical weight-sparse convolution processing
US20220076726A1 (en) 2020-09-04 2022-03-10 Micron Technology, Inc. Methods and apparatus for probabilistic refresh in volatile memory devices
US11620818B2 (en) 2020-10-01 2023-04-04 Intel Corporation Spatially sparse neural network accelerator for multi-dimension visual analytics

Also Published As

Publication number Publication date
CN113196741B (zh) 2023-09-26
US20200195875A1 (en) 2020-06-18
CN113196741A (zh) 2021-07-30
WO2020131860A1 (en) 2020-06-25
EP3900319B1 (en) 2024-02-28
KR20210102329A (ko) 2021-08-19
US11888002B2 (en) 2024-01-30
JP2022511414A (ja) 2022-01-31
EP3900319A1 (en) 2021-10-27

Similar Documents

Publication Publication Date Title
TW202038596A (zh) 動態可程式化影像感測器
US11948089B2 (en) Sparse image sensing and processing
JP7292269B2 (ja) 拡張ダイナミックレンジを有するデジタルピクセル
TW202007139A (zh) 具有多光電二極體的像素感測器
TW202005356A (zh) 可程式化的像素陣列
EP3900324B1 (en) Programmable pixel array
TW201943093A (zh) 像素單元、全域快門影像感測器及決定用於產生影像之光強度的方法
US20210044742A1 (en) Dynamically programmable image sensor
US11960638B2 (en) Distributed sensor system
US20240114226A1 (en) Integrated sensing and display system
TW202219890A (zh) 稀疏影像感測及處理
TW202228433A (zh) 使用彩色網格陣列進行影像次取樣