TWI788652B - 影像感測器架構 - Google Patents

影像感測器架構 Download PDF

Info

Publication number
TWI788652B
TWI788652B TW109111283A TW109111283A TWI788652B TW I788652 B TWI788652 B TW I788652B TW 109111283 A TW109111283 A TW 109111283A TW 109111283 A TW109111283 A TW 109111283A TW I788652 B TWI788652 B TW I788652B
Authority
TW
Taiwan
Prior art keywords
integrated circuit
circuit layer
neural network
group
groups
Prior art date
Application number
TW109111283A
Other languages
English (en)
Other versions
TW202105985A (zh
Inventor
盧希恩 伊昂
維拉德 康斯坦堤尼 卡迪
卡爾 華倫 克雷達克
Original Assignee
美商威摩有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商威摩有限責任公司 filed Critical 美商威摩有限責任公司
Publication of TW202105985A publication Critical patent/TW202105985A/zh
Application granted granted Critical
Publication of TWI788652B publication Critical patent/TWI788652B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/73—Means for bonding being of different types provided for in two or more of groups H01L2224/10, H01L2224/18, H01L2224/26, H01L2224/34, H01L2224/42, H01L2224/50, H01L2224/63, H01L2224/71
    • H01L2224/732—Location after the connecting process
    • H01L2224/73251—Location after the connecting process on different surfaces
    • H01L2224/73261—Bump and TAB connectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Facsimile Heads (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本發明揭示一種影像感測器，其包含：一第一積體電路層，其包含基於位置分組成像素感測器群組之像素感測器；一第二積體電路層，其與該第一積體電路層電連通，該第二積體電路層包含經組態以各自一對應像素感測器群組接收像素資訊之影像處理電路群組，該等影像處理電路群組進一步經組態以在該影像感測器之操作期間對該像素資訊執行影像處理操作以提供經處理像素資訊；一第三積體電路層，其與該第二積體電路層電連通，且該第三積體電路層包含經組態以各自一對應影像處理電路群組接收該經處理像素資訊且在該影像感測器之操作期間對該經處理像素資訊執行物件偵測之分析之神經網路電路群組。

Description

影像感測器架構
本說明書係關於影像感測器及包含影像感測器之系統。
本說明書描述與一影像感測器相關之技術，其擷取影像且對影像感測器執行處理以偵測物件。本說明書進一步描述用於將資料自影像感測器傳輸至一遠端處理器之資料傳輸協定。
一般言之，本說明書中描述之標的物之一個新穎態樣可以一種影像感測器體現，其包含：一第一積體電路層，其包含基於位置分組成像素感測器群組之像素感測器；一第二積體電路層，其與該第一積體電路層電連通，該第二積體電路層包含經組態以各別自一對應像素感測器群組接收像素資訊之影像處理電路群組，該等影像處理電路群組進一步經組態以在該影像感測器之操作期間對該像素資訊執行影像處理操作以提供經處理像素資訊；一第三積體電路層，其與該第二積體電路層電連通，該第三積體電路層包含經組態以各別自一對應影像處理電路群組接收該經處理像素資訊之神經網路電路群組，該等神經網路電路群組進一步經組態以在該影像感測器之操作期間對該經處理像素資訊執行物件偵測之分析；及輸出指 示藉由該等神經網路電路群組之物件偵測之該分析之結果之資訊之電路，其中該第一積體電路層堆疊於該第二積體電路層上且該第二積體電路層堆疊於該第三積體電路層上。
此態樣之其他實施例包含執行對應於影像感測器之動作且執行動作以形成影像感測器之對應方法。
此等及其他實施例可各視情況包含以下特徵之一或多者。在一些態樣中，物件偵測之該分析之該等結果包含由以下者組成之群組之至少一者：表示偵測之像素之選定所關注區域；含有時間及幾何位置資訊之後設資料；在物件偵測之前之中間運算結果；關於網路確定性位準之統計資訊；及經偵測物件之分類。在某些態樣中，該等神經網路電路群組各包含經組態以實施一卷積神經網路之電路。
在一些態樣中，該卷積神經網路各偵測由對應於該影像處理電路群組之該像素感測器群組感測之物件，該影像處理電路群組對應於該神經網路電路群組。在一些實施方案中，該第三積體電路層包含經組態以實施一遞迴式神經網路之電路。在某些態樣中，該遞迴式神經網路接收關於由該等神經網路電路群組之全部偵測之該等物件之該資訊且偵測跨多個該等像素感測器群組感測之物件。
在一些態樣中，該等神經網路電路群組之各者定位於將該經處理像素資訊提供至該神經網路電路群組之該影像處理電路群組正下方。在某些態樣中，該等影像處理電路群組之各者定位在將該像素資訊提供至該影像處理電路群組之該像素感測器群組正下方或緊鄰將該像素資訊提供至該影像處理電路群組之該像素感測器群組。在一些實施方案中，該第一積體電路層、該第二積體電路層及該第三積體電路層整合在一單一整 合式晶片中。
在一些態樣中，該等像素感測器群組之各者包含相同數目個像素感測器。在某些態樣中，對該像素資訊執行之該等影像處理操作包含在處理之前之高動態範圍融合。在一些實施方案中，該等影像處理電路群組之各者包含一類比數位轉換器。一般言之，本說明書中描述之標的物之一個新穎態樣可以一種方法體現，其包含以下動作：獲得由一影像感測器之像素感測器擷取之多個影像；使用整合於該影像感測器中之神經網路電路分析該多個影像用於物件偵測；針對該多個影像之各者使用整合於該影像感測器中之該神經網路電路產生與用於物件偵測之該多個影像之該分析之結果相關之神經網路輸出資料；及自該影像感測器傳輸該多個影像之各者之該神經網路輸出資料及該多個影像之一子集之影像資料而非該多個影像之各者之影像資料。
此態樣之其他實施例包含經組態以執行方法之動作之對應影像感測器。
此等及其他實施例可各視情況包含以下特徵之一或多者。在一些態樣中，傳輸該多個影像之各者之該神經網路輸出資料及該多個影像之一子集之影像資料而非該多個影像之各者之影像資料包含：傳輸該多個影像中之一第一影像之該影像資料及該第一影像之該神經網路輸出資料，傳輸一第二影像之該神經網路輸出資料，且在傳輸該第二影像之該影像資料之前且在未傳輸該第二影像之該影像資料之情況下傳輸該多個影像中之一第三影像之該影像資料及該第三影像之該神經網路輸出資料。
在某些態樣中，動作包含在傳輸該多個影像中之該第一影像之該影像資料及該第一影像之該神經網路輸出資料時分析該多個影像中 之該第二影像用於物件偵測。在一些實施方案中，動作包含在擷取該第三影像時產生與用於物件偵測之該多個影像之該分析之結果相關之該神經網路輸出資料。在一些態樣中，自該影像感測器傳輸該多個影像之各者之該神經網路輸出資料及該多個影像之一子集之影像資料而非該多個影像之各者之影像資料包含：以每秒特定數目個圖框傳輸該多個影像之該子集之該影像資料且在未傳輸該多個影像之該子集之該影像資料時傳輸該等影像之該神經網路輸出資料。
在某些態樣中，該多個影像之該子集包括由該影像感測器擷取之每第N影像，其中N係大於1之一整數。在一些實施方案中，該等影像之一特定影像之該影像資料包含指示該影像內之各像素之值之資料。在一些態樣中，該等影像之一特定影像之該神經網路輸出資料包含以下一或多者：表示偵測之像素之選定所關注區域；含有時間及幾何位置資訊之後設資料；在物件偵測之前之中間運算結果；關於網路確定性位準之統計資訊；及經偵測物件之分類。
在某些態樣中，該等影像之一特定影像之該神經網路輸出資料表示提供至一處理器用於進一步處理之經部分處理資料。在一些實施方案中，傳輸該神經網路輸出資料及該影像資料包括將該神經網路輸出資料及該影像資料傳輸至一中央處理單元。
本說明書中描述之標的物之特定實施例可經實施以便實現一或多個以下優點。此技術之一優點可係，相對於唯獨使用遠離影像感測器之處理器以便處理影像資料，在影像感測器中包含多個堆疊積體電路層可容許處理分佈於層當中，此可容許層之並行處理及/或更多處理出現於影像感測器上。
使用影像感測器之層而非在影像感測器外部執行額外處理可移除對於在影像感測器外部處理特定資料之需要，此可減小用於自影像感測器輸出資訊之頻寬之量。例如，僅可需要輸出由影像感測器擷取之圖框之一子集，此係因為可已經針對圖框完成對影像感測器之某一處理。另一優點可係多個層可經配置使得資訊可在層之間之一短距離內傳送，此可容許資料之更快傳輸。
在本說明書中描述之標的物之一或多項實施例之細節在隨附圖式及下文之描述中闡述。自描述、圖式及發明申請專利範圍將變得明白標的物之其他特徵、態樣及優點。
100:影像感測器
110:第一積體電路層
112A至112C:像素感測器群組
120:第二積體電路層
122A至122C:影像處理電路群組
130:第三積體電路層
132A至132C:神經網路電路群組
134:全影像神經網路電路
200:程序
210:動作
220:動作
230:動作
240:動作
300:積體電路層
310A,310B,310C:像素感測器群組
320:汽車安全完整性位準
330:互連件
400:積體電路層
410A,410B,410C:影像處理電路群組
420:汽車安全完整性位準
430:互連件
500:積體電路層
510A,510B,510C:神經網路電路群組
520:汽車安全完整性位準
530:互連件
600:圖式
610:第一列
620:第二列
630:第三列
700:圖式
710:第一列
720:第二列
730:第三列
740:第四列
800:程序
810:動作
820:動作
830:動作
840:動作
900:系統
910:自主車輛
920:相機光學器件
940:電腦處理模組
1000:系統
1110:第一晶片
1120:第二晶片
圖1係具有三個積體電路層之一例示性影像感測器之一方塊圖。
圖2係用於使用一影像感測器之三個積體電路層偵測一物件之一例示性程序之一流程圖。
圖3係具有像素感測器群組之一例示性積體電路層之一方塊圖。
圖4係具有影像處理電路群組之一例示性積體電路層之一方塊圖。
圖5係具有神經網路電路群組之一例示性積體電路層之一方塊圖。
圖6係無神經網路電路之一例示性影像感測器之時序之一圖式。
圖7係具有神經網路電路之一例示性影像感測器之時序之 一圖式。
圖8係用於自具有神經網路電路之一影像感測器傳輸神經網路輸出資料及影像資料之一例示性程序之一流程圖。
圖9係包含由一自主車輛使用之影像感測器之一例示性系統之一方塊圖。
圖10係包含在單獨晶片上之像素感測器群組及神經網路電路之一例示性系統之一方塊圖。
各種圖式中之相同元件符號及名稱指示相同元件。
相關申請案之交叉參考
本申請案主張2019年4月5日申請之美國專利申請案第16/376,634號之優先權，該案之完整內容以引用的方式併入本文中。
圖1係具有三個積體電路層之一例示性影像感測器100之一方塊圖。影像感測器100可使用三個積體電路層以偵測物件。例如，影像感測器100可擷取包含一人之一影像且輸出「經偵測人」之一指示。在另一實例中，影像感測器100可擷取一影像且輸出包含由影像感測器100偵測之一車輛之影像之一部分。
三個積體電路層包含一第一積體電路層110、一第二積體電路層120及一第三積體電路層130。第一積體電路層110堆疊於第二積體電路層120上，且第二積體電路層120堆疊於第三積體電路層130上。例如，第一積體電路層110與第二積體電路層120之頂部直接接觸，且第三積體電路層130與第二積體電路層120之底部直接接觸。
第一積體電路層110可與第二積體電路層120電連通。例 如，第一積體電路層110及第二積體電路層120可使用互連件彼此實體連接。第二積體電路層120可與第三積體電路層130電連通。例如，第二積體電路層120及第三積體電路層130可使用互連件彼此實體連接。
第一積體電路層110可具有與第二積體電路層120相同之一面積。例如，第一積體電路層110及第二積體電路層120之長度及寬度可相同而高度可不同。第三積體電路層130可具有大於第一積體電路層110及第二積體電路層120之一面積。例如，第三積體電路層130可具有比第一積體電路層110及第二積體電路層120之長度及寬度兩者大20%之一長度及寬度。
第一積體電路層110可包含根據位置分組成像素感測器群組(各像素感測器群組在圖1中稱為「像素群組」)112A至112C(統稱為112)之一像素感測器陣列。例如，第一積體電路層110可包含分組成320 x 240個像素感測器群組之一6400 x 4800像素感測器陣列，其中各像素感測器群組包含一20 x 20像素感測器陣列。
像素感測器群組112之各者可包含2 x 2像素感測器子群組。例如，20 x 20像素感測器之像素感測器群組之各者可包含10 x 10像素感測器子群組，其中各像素感測器子群組包含在一左上側中之一紅色像素感測器、在一右下側中之一綠色像素感測器、在一左下側中之一第一透明像素感測器及在一右上側中之一第二透明像素感測器，各子群組亦稱為紅色-透明-透明-綠色(RCCG)子群組。
在一些實施方案中，像素感測器群組之大小可經選擇以增加矽利用率。例如，像素感測器群組之大小可係使得更多矽由具有像素感測器之相同圖案之像素感測器群組覆蓋。
第二積體電路層120可包含影像處理電路群組(各影像處理電路群組在圖1中稱為「程序群組」)122A至122C(統稱為122)。例如，第二積體電路層120可包含320 x 240個影像處理電路群組。
影像處理電路群組122可經組態以各別自一對應像素感測器群組接收像素資訊且進一步經組態以對像素資訊執行影像處理操作以在影像感測器100之操作期間提供經處理像素資訊。
在一些實施方案中，各影像處理電路群組122可自一單一對應像素感測器群組112接收像素資訊。例如，影像處理電路群組122A可自像素感測器群組112A且不自任何其他像素群組接收像素資訊，且影像處理電路群組122B可自像素感測器群組112B且不自任何其他像素群組接收像素資訊。
在一些實施方案中，各影像處理電路群組122可自多個對應像素感測器群組112接收像素資訊。例如，影像處理電路群組122A可自像素感測器群組112A及112B兩者且未自其他像素群組接收像素資訊，且影像處理電路群組122B可自像素群組112C及另一像素群組且未自其他像素群組接收像素資訊。
使影像處理電路群組122自對應像素群組接收像素資訊可導致像素資訊自第一積體電路層110至第二層120之快速傳送，此係因為影像處理電路群組122可實體上接近對應像素感測器群組112。資訊傳送之距離愈遠，傳送耗時可愈長。例如，像素感測器群組112A可在影像處理電路群組122A正上方，且像素感測器群組112A可不在影像處理電路群組122C正上方，因此若在像素感測器群組112A與影像處理電路群組122C之間存在互連件，則將像素資訊自像素感測器群組112A傳送至影像處理 電路群組122A可快於將像素資訊自像素感測器群組112A傳送至影像處理電路群組122C。
影像處理電路群組122可經組態以對影像處理電路群組122自像素群組接收之像素資訊執行影像處理操作。例如，影像處理電路群組122A可對來自像素感測器群組112A之像素資訊執行高動態範圍融合且影像處理電路群組122B可對來自像素感測器群組112B之像素資訊執行高動態範圍融合。其他影像處理操作可包含(例如)類比轉數位信號轉換及解馬賽克。
使影像處理電路群組122對來自對應像素感測器群組112之像素資訊執行影像處理操作可實現藉由影像處理電路群組122以一分散式方式並行執行影像處理操作。例如，影像處理電路群組122A可對來自像素感測器群組112A之像素資訊執行影像處理操作，同時影像處理電路群組122B對來自像素群組112B之像素資訊執行影像處理操作。
第三積體電路層130可包含神經網路電路群組(各神經網路電路群組在圖1中稱為「NN群組」)132A至132C(統稱為132)及全影像神經網路電路134。例如，第三積體電路層130可包含320 x 240個神經網路電路群組。
神經網路電路群組132可經組態以各別自一對應影像處理電路群組接收經處理像素資訊且進一步經組態以在影像感測器100之操作期間對經處理像素資訊執行物件偵測之分析。在一些實施方案中，神經網路電路群組132可各實施一卷積神經網路(CNN)。
在一些實施方案中，各神經網路電路群組132可自一單一對應影像處理電路群組122接收經處理像素資訊。例如，神經網路電路群 組132A可自影像處理電路群組122A且不自任何其他影像處理電路群組接收經處理像素資訊，且神經網路電路群組132B可自影像處理電路群組122B且不自任何其他影像處理電路群組接收經處理像素資訊。
在一些實施方案中，各神經網路電路群組132可自多個對應影像處理電路群組122接收經處理像素資訊。例如，神經網路電路群組132A可自影像處理電路群組122A及122B兩者且未自其他影像處理電路群組接收經處理像素資訊，且神經網路電路群組132B可自影像處理電路群組122C及另一像素群組兩者且未自其他像素群組接收經處理像素資訊。
使神經網路電路群組132自對應影像處理電路群組接收經處理像素資訊可導致經處理像素資訊自第二積體電路層120至第三積體電路層130之快速傳送，此係因為神經網路電路群組132可實體上接近對應影像處理電路群組122。資訊傳送之距離愈遠，傳送耗時可愈長。例如，影像處理電路群組122A可在神經網路電路群組132A正上方，因此若在影像處理電路群組122A與神經網路電路群組132C之間存在互連件，則將經處理像素資訊自影像處理電路群組122A傳送至神經網路電路群組132A可快於將經處理像素資訊自影像處理電路群組122A傳送至神經網路電路群組132C。
神經網路電路群組132可經組態以自神經網路電路群組132自影像處理電路群組122接收之經處理像素資訊偵測物件。例如，神經網路電路群組132A可自來自影像處理電路群組122A之經處理像素資訊偵測物件，且神經網路電路群組132B可自來自影像處理電路群組122B之經處理像素資訊偵測物件。
使神經網路電路群組132自來自對應影像處理電路群組122 之經處理像素資訊偵測物件實現藉由神經網路電路群組132之各者以一分散式方式並行執行偵測。例如，神經網路電路群組132A可自來自影像處理電路群組122A之經處理像素資訊偵測物件，同時神經網路電路群組132B可自來自影像處理電路群組122B之經處理像素資訊偵測物件。
在一些實施方案中，神經網路電路群組132可執行中間處理。因此，影像感測器100可使用三個積體電路層110、120及130以執行某一中間處理且僅輸出一中間結果。例如，影像感測器100可擷取包含一人之一影像且在不分類所關注物件(人)之情況下輸出「影像之某一區域中之所關注區域」之一指示。在影像感測器100外部執行之其他處理可將所關注區域分類為一人。
因此，來自影像感測器100之輸出可包含表示某一卷積神經網路之輸出之某一資料。此資料自身可難以解密，但一旦其繼續在影像感測器100外部經處理，資料便可用於將區域分類為包含一人。此混合方法可具有減少所需頻寬之一優點。因此，來自神經網路電路群組132之輸出可包含表示偵測之像素之選定所關注區域、含有時間及幾何位置資訊之後設資料、在物件偵測之前之中間運算結果、關於網路確定性位準之統計資訊及經偵測物件之分類之一或多者。
在一些實施方案中，神經網路電路群組132可經組態而以高重新叫用及低精確性實施CNN。神經網路電路群組132可各輸出其中物件經偵測之經偵測物件之一清單及物件之偵測之時序。
全影像神經網路電路134可經組態以自神經網路電路群組132之各者接收指示神經網路電路群組132偵測之物件之資料且自資料偵測物件。例如，神經網路電路群組132可無法偵測由多個像素群組擷取之 物件，此係因為各個別神經網路電路群組可僅接收對應於物件之經處理像素資訊之一部分，但全影像神經網路電路134可自多個神經網路電路群組132接收資料以便能夠偵測由多個像素群組感測之物件。在一些實施方案中，全影像神經網路電路134可實施一遞迴式神經網路(RNN)。神經網路可關於其等架構(層之數目及類型、啟動功能等)以及關於神經網路組件之實際值(例如，權重、偏向等)兩者組態。
在一些實施方案中，使影像感測器100執行處理可簡化一處理管線架構，提供更高頻寬及更低延時，容許選擇性圖框速率操作，使用堆疊架構降低成本，提供更高系統可靠性(此係因為一積體電路可具有更少潛在失效點)且提供運算資源之顯著成本及功率節約。
在一些實施方案中，可使用其中將一基板插置於層之間且使用自矽至基板之打線接合實施連接之一矽至矽直接接合方法或一「覆晶」方法將第三積體電路層130接合至第二積體電路層120。
圖2係用於使用一影像感測器之三個積體電路層偵測一物件之一例示性程序200之一流程圖。程序200可由圖1之影像感測器100或某一其他影像感測器執行。
程序200可包含藉由在一第一積體電路層中且基於位置分組成像素感測器群組之像素感測器獲得像素資訊(210)。例如，第一積體電路層110中之像素感測器群組112中之像素感測器之各者可產生像素資訊(其係表示由像素感測器感測之光之一強度之類比信號)。在一些實施方案中，像素感測器群組之各者包含相同數目個像素感測器。例如，像素感測器群組112之各者可包含形成20 x 20 RCCG子群組之四百個像素感測器。
程序200可包含藉由一第二積體電路層中之影像處理電路群組對來自一對應像素感測器群組之像素資訊執行影像處理操作以提供經處理像素資訊(220)。例如，影像處理電路群組122A可自像素感測器群組112A接收像素資訊且對來自像素感測器群組112A之像素資訊執行影像處理操作，而影像處理電路群組122B自像素感測器群組112B接收像素資訊且對來自像素感測器群組112B之像素資訊執行影像處理操作。
在一些實施方案中，影像處理電路群組之各者定位於將像素資訊提供至影像處理電路群組之像素感測器群組正下方。例如，影像處理電路群組122A可定位於像素感測器群組112A正下方且影像處理電路群組122B可定位於像素感測器群組112B正下方。在一些實施方案中，影像處理電路群組之各者可定位成緊鄰將像素資訊提供至影像處理電路群組之像素感測器群組。在一些實施方案中，第二積體電路層可與第一積體電路層電連通。例如，第二積體電路層120可藉由由導電材料形成之互連件連接至第一積體電路層110。
程序200可包含藉由在一第三積體電路層中之神經網路電路群組對來自一對應影像處理電路群組之經處理像素資訊執行物件偵測之分析(230)。例如，神經網路電路群組132A可自影像處理電路群組122A接收經處理像素資訊且自來自影像處理電路群組122A之經處理像素資訊偵測物件，而神經網路電路群組132B自影像處理電路群組122B接收像素資訊且自來自影像處理電路群組122B之經處理像素資訊偵測物件。在另一實例中，神經網路電路群組132可自對應影像處理電路群組122接收經處理像素資訊且輸出表示偵測之像素之選定所關注區域、含有時間及幾何位置資訊之後設資料、在物件偵測之前之中間運算結果、關於網路確定性位 準之統計資訊及經偵測物件之分類之一或多者。
在一些實施方案中，神經網路電路群組各包含經組態以實施一CNN之電路。例如，神經網路電路群組132A可包含用於實施一第一CNN之電路且神經網路電路群組132B可包含用於實施一第二不同CNN之電路。
卷積神經網路可各偵測由對應於影像處理電路群組(其對應於神經網路電路群組)之像素感測器群組感測之物件。例如，神經網路電路群組132A之CNN可偵測由像素感測器群組112A中之像素感測器擷取之一第一物件且神經網路電路群組132B之CNN可偵測由像素感測器群組112B中之像素感測器擷取之一第二物件。
在一些實施方案中，第三積體電路層包含經組態以實施一RNN之電路。例如，第三積體電路層130可包含經組態用於接收關於由全部神經網路電路群組偵測之物件之資訊且偵測跨多個像素感測器群組感測之物件之一RNN之電路。
在一些實施方案中，神經網路電路群組之各者定位於將經處理像素資訊提供至神經網路電路群組之影像處理電路群組正下方。例如，神經網路電路群組132A可定位於影像處理電路群組122A正下方且神經網路電路群組132B可定位於影像處理電路群組122B正下方。
在一些實施方案中，第三積體電路層可與第二積體電路層電連通。例如，第三積體電路層130可藉由由導電材料形成之互連件連接至第二積體電路層120。
程序200可包含輸出指示藉由神經網路電路群組之物件偵測之分析之結果之資訊(240)。例如，第三積體電路層130可包含經組態以 將來自影像感測器100之後設資料輸出至影像感測器100外部之一中央處理單元之電路，其中後設資料指定由神經網路電路群組132偵測之物件。
在一些實施方案中，程序200可在第一積體電路層堆疊於第二積體電路層上且第二積體電路層堆疊於第三積體電路層上之情況下執行。例如，程序200可由其中第一積體電路層110之一底部直接接觸第二積體電路層120之一頂部且第二積體電路層120之一底部直接接觸第三積體電路層130之一頂部之一影像感測器100執行。
在一些實施方案中，程序200可在第一積體電路層、第二積體電路層及第三積體電路層整合於一單一整合式晶片中之情況下執行。例如，程序200可由係一單一整合式晶片之一影像感測器100執行。
圖3係具有像素感測器群組之一例示性積體電路層300之一方塊圖。在一些實施方案中，積體電路層300可係圖1中展示之第一積體電路層110。積體電路層300包含像素感測器群組310A、310B和310C、用於列驅動器之電路、時序及汽車安全完整性位準320及互連件330。如圖3中展示，像素感測器群組310A、310B和310C各包含RCCG子群組之多個2 x 2陣列，且像素感測器群組310A、310B和310C之各者包含RCCG子群組之相同數目個2 x 2陣列。然而，積體電路層300之其他實施方案可包含不同像素感測器群組。例如，各像素群組可包含RCCG子群組之3 x 3陣列。
圖4係具有影像處理電路群組之一例示性積體電路層400之一方塊圖。在一些實施方案中，積體電路層400可係圖1中展示之第二積體電路層120。積體電路層400可包含影像處理電路群組410A、410B和410C、用於邏輯之電路及汽車安全完整性位準420及互連件430。如圖4中 展示，影像處理電路群組410A、410B和410C之各者可包含用於高/低類比轉數位轉換器(ADCS)之電路、用於高動態範圍融合之電路、用於汽車安全完整性位準之電路、用於像素記憶體之電路及用於一多工器之電路。多工器可容許在層之間作為單一像素(每像素多個位元)或在一單一鏈路(連接)上序列化之像素群組朝向具有神經網路電路群組之積體電路層500路由資訊之靈活性。影像處理電路群組410A、410B和410C之各者可覆蓋與將像素資訊提供至影像處理電路群組410A、410B和410C之像素感測器群組310A、310B和310C相同之區域。
圖5係具有神經網路電路群組之一例示性積體電路層500之一方塊圖。在一些實施方案中，積體電路層500可係圖1中展示之第三積體電路層130。積體電路層500可包含神經網路電路群組510A、510B和510C、用於邏輯之電路及汽車安全完整性位準520、互連件530及一RNN。
如圖5中展示，神經網路電路群組510A、510B和510C之各者可包含用於記憶體之電路、一CNN及一解多工器。解多工器可解串列化位元及像素以復原如擷取之像素組態。神經網路電路群組510A、510B和510C之各者可覆蓋與將經處理像素資訊提供至神經網路電路群組410A、410B和410C之影像處理電路群組410A、410B和410C相同之一區域。
圖6係無神經網路電路之一例示性影像感測器之時序之一圖式600。圖式600可包含表示傳送圖框之時序之一第一列610、表示擷取圖框之時序之一第二列620及指示與上文之動作相關之例示性時框之一第三列630。
圖式600展示一影像感測器可如何每一百毫秒擷取一圖框(亦稱為影像)達十毫秒且接著傳送經傳送圖框達二十毫秒。影像感測器可在一百毫秒之剩餘八十毫秒內閒置。影像感測器可僅每一百毫秒傳送一單一影像，此係因為對圖框之處理係在影像感測器外部完成且每圖框花費八十毫秒。例如，影像感測器外部之一中央處理單元對一全影像之物件偵測可花費八十毫秒。因此，圖式600可展示如何每一百毫秒僅使用一單一圖框。
圖7係具有神經網路電路之一例示性影像感測器之時序之一圖式700。例如，圖式700可展示圖1之影像感測器100之時序。
圖式700可包含表示傳送圖框之時序之一第一列710、表示產生與圖框內之經偵測物件相關之神經網路輸出資料之時序之一第二列720、表示擷取圖框之時序之一第三列730及指示與上文之動作相關之例示性時框之一第四列740。
圖式700可展示影像感測器如何每十毫秒擷取圖框，其中每一百毫秒，影像感測器傳送一圖框達二十毫秒且傳送針對由影像感測器擷取之十個圖框產生之神經網路輸出資料達剩餘八十毫秒。因此，影像感測器可提供多達圖式600中之圖框十倍之圖框之資訊，此係因為雖然每一百毫秒仍僅傳送一單一圖框之影像資料，但在圖式700中，每一百毫秒亦提供十個圖框之神經網路輸出資料。
由於來自影像感測器之神經網路輸出資料可已經指示在圖框及其他圖框中是否偵測物件，故使影像感測器傳送用於進一步處理之一圖框連同神經網路輸出資料可導致影像感測器外部之更少處理。
如圖式700中展示，一旦擷取一圖框便產生一圖框之神經 網路輸出資料。例如，一旦擷取圖框A，便可接著自圖框A產生神經網路輸出資料。在另一實例中，一旦擷取圖框B，便可接著自圖框B產生神經網路輸出資料。
在擷取一圖框時產生另一圖框之神經網路輸出資料。例如，可在產生圖框A之神經網路輸出資料時擷取圖框B。使用影像感測器100，第一積體電路層110擷取圖框B同時第三積體電路層130偵測物件且產生指示經偵測物件之神經網路輸出資料。
如圖式700中展示，在產生一圖框之神經網路輸出資料之後傳送該神經網路輸出資料。例如，一旦自圖框A產生神經網路輸出資料且一旦已完成傳送圖框A便傳送該神經網路輸出資料。在一些實施方案中，一旦一群組完成處理便可開始神經網路輸出資料之傳送。針對捲動快門感測器，此可係有效的。
在一些實施方案中，關於傳輸，影像感測器100亦可多工影像灰度或色彩資料與神經網路輸出資料。例如，可將全影像灰度或色彩資料與經預處理物件及時間資訊多工成一單一資料串流。經多工資料串流可具有比全影像串流資訊遠更低(例如，小三倍以上)的輸出頻寬要求。多工以具有經多工資訊之一單一串行鏈路作為相機輸出而非多個鏈路可大大簡化車輛級架構，此係因為實體鏈路之數目可減小。
圖8係用於自具有神經網路電路之一影像感測器傳輸神經網路輸出資料及影像資料之一例示性程序800之一流程圖。程序800可由圖1之影像感測器100或某一其他影像感測器執行。
程序800可包含獲得由一影像感測器之像素感測器擷取之多個影像(810)。例如，影像感測器100之第一積體電路層110中之像素群 組112C之像素感測器可每十毫秒擷取一不同圖框。
程序800可包含使用整合於影像感測器中之神經網路電路分析多個影像用於物件偵測(820)。針對實例，影像感測器100之第三積體電路層130中之神經網路電路群組132可偵測神經網路電路群組接收其之經處理像素資訊之圖框之部分之各者內之物件。
程序800可包含針對多個影像之各者使用整合於影像感測器中之神經網路電路產生與用於物件偵測之多個影像之分析之結果相關之神經網路輸出資料(830)。例如，一第一神經網路電路群組132A可產生指示在圖框A之一部分中偵測一第一物件之後設資料且一第二神經網路電路群組132B可產生指示在圖框A之另一部分中未偵測物件之後設資料。
程序800可包含自影像感測器傳輸多個影像之各者之神經網路輸出資料及多個影像之一子集之影像資料而非多個影像之各者之影像資料(840)。例如，影像感測器100可傳輸對應於由神經網路電路群組之各者產生之後設資料之指示神經網路電路群組是否在由影像感測器100擷取之各圖框之各自部分中偵測物件之資料及僅由影像感測器擷取之每第十圖框之影像資料。
在一些實施方案中，傳輸多個影像之各者之神經網路輸出資料及多個影像之一子集之影像資料而非多個影像之各者之影像資料包含：傳輸多個影像中之一第一影像之影像資料及第一影像之神經網路輸出資料；及在傳輸第二影像之影像資料之前且在未輸第二影像之影像資料之情況下傳輸多個影像中之一第三影像之影像資料及第三影像之神經網路輸出資料。例如，影像感測器100可傳輸圖框A之影像資料，接著傳輸圖框A至圖框I之神經網路輸出資料，接著傳輸圖框K之影像資料，且接著傳輸圖 框J至圖框T之神經網路輸出資料。
在一些實施方案中，自影像感測器傳輸多個影像之各者之神經網路輸出資料及多個影像之一子集之影像資料而非多個影像之各者之影像資料包含以每秒特定數目個圖框傳輸多個影像之子集之影像資料且在未傳輸多個影像之子集之影像資料時傳輸影像之神經網路輸出資料。例如，影像感測器100可以每秒十個圖框傳輸影像資料(其中傳輸各圖框之影像資料達十毫秒)且在未傳輸影像資料時在每秒之剩餘九百毫秒期間傳輸其他影像之神經網路輸出資料。
在一些實施方案中，傳輸神經網路輸出資料及影像資料包含將神經網路輸出資料及影像資料傳輸至一中央處理單元。例如，影像感測器100可將圖框A之影像資料及圖框A至圖框I之神經網路輸出資料傳輸至一電腦，使得電腦可使用圖框A及圖框A至圖框I之神經網路輸出資料執行額外物件偵測。
在一些實施方案中，程序800包含在傳輸多個影像中之第一影像之影像資料及第一影像之神經網路輸出資料時分析多個影像中之第二影像用於物件偵測。例如，第三積體電路層130之神經網路電路群組132可在自影像感測器100輸出針對圖框A產生之神經網路輸出資料時偵測圖框B中之物件。
在一些實施方案中，程序800包含在擷取第三影像時產生與用於物件偵測之多個影像之分析之結果相關之神經網路輸出資料。例如，第三積體電路層130之神經網路電路群組132可在第一積體電路層110中之像素群組擷取圖框C時產生與圖框B內之物件偵測相關之神經網路輸出資料。
在一些實施方案中，在程序800中，傳送其之影像資料之多個影像之子集包含由影像感測器擷取之每第N影像，其中N係大於1之一整數。例如，多個影像之子集可係由影像感測器100擷取之每第十影像。在一些實施方案中，在程序800中，該等影像之一特定影像之影像資料包含指示影像內之各像素之值之資料。例如，影像資料可係影像中之各像素之紅-綠-藍(RGB)強度值。
在一些實施方案中，在程序800中，該等影像之一特定影像之神經網路輸出資料包含表示偵測之像素之選定所關注區域、含有時間及幾何位置資訊之後設資料、在物件偵測之前之中間運算結果、關於網路確定性位準之統計資訊及經偵測物件之分類之一或多者。例如，圖框A之神經網路輸出資料可指示在圖框A之特定座標處偵測一人。在一些實施方案中，在程序800中，該等影像之一特定影像之神經網路輸出資料表示提供至一處理器用於進一步處理之經部分處理資料。例如，代替表示經偵測物件，神經網路輸出資料可表示欲在影像感測器100外部經進一步處理以偵測物件之經部分處理資料。
圖9係包含由一自主車輛910使用之影像感測器100之一例示性系統900之一方塊圖。自主車輛910可係擷取影像、偵測影像中之物件且接著基於自主車輛910偵測之物件駕駛之一自動駕駛車輛。例如，自主車輛910可偵測在自主車輛910前方移動之另一車輛，且緊跟在該車輛之後。在另一實例中，自主車輛910可偵測在自主車輛910前方之一人且停止。
自主車輛910可包含相機光學器件920、影像感測器100及一電腦處理模組940。相機光學器件920可包含修改光之透鏡。例如，相 機光學器件920可包含一全景透鏡。影像感測器100可接收由相機光學器件920修改之光且基於落在影像感測器100上之光擷取影像。
影像感測器100可接著跨將影像感測器100及電腦處理模組940電耦合之一資料傳輸電纜將資料傳輸至電腦處理模組940。例如，影像感測器100可每一百毫秒擷取一圖框達十毫秒，且跨資料傳輸電纜並至電腦處理模組940傳輸每第十經擷取圖框之影像資料及由影像感測器100擷取之全部圖框之神經網路輸出資料。電腦處理模組940可自影像感測器100接收影像資料及神經網路輸出資料，視情況使用影像資料及神經網路輸出資料執行進一步物件偵測，且基於經偵測物件判定自主車輛910應如何移動。
因此，使用對影像感測器100執行至少某一處理用於物件偵測之影像感測器100，電腦處理模組940可基於每十毫秒獲得之影像判定如何移動，而使用另一影像感測器，電腦處理模組940可僅基於每一百毫秒獲得之影像判定如何移動。因此，藉由使用影像感測器100而非另一影像感測器，自主車輛910可更快速地偵測物件且回應於該等物件而移動。
圖10係包含在單獨晶片上之像素感測器群組及神經網路電路之一例示性系統1000之一方塊圖。系統1000可係包含一第一晶片1110(其包含像素感測器群組)及一第二晶片1120(其包含神經網路電路)之一相機。像素感測器群組及神經網路電路可類似於上述像素感測器群組及神經網路電路，惟其等不包含於一單一整合式晶片內之不同層中而代替性地在第一晶片1110及第二晶片1120中除外。例如，第一晶片1110及第二晶片1120可定位於系統1000中彼此之頂部上且由導電材料連接，使得資料可 在對應像素感測器群組與神經網路電路之間傳送。
可在數位電子電路，或在電腦軟體、韌體或硬體中實施本說明書中描述之標的物及操作之實施例，包含本說明書中揭示之結構及其等結構等效物或其等之一或多者之組合。可將本說明書中描述之標的物之實施例實施為一或多個電腦程式，即，編碼於電腦儲存媒體上用於藉由資料處理設備執行或控制資料處理設備之操作之電腦程式指令之一或多個模組。
一電腦儲存媒體可係一電腦可讀儲存裝置、一電腦可讀儲存基板、一隨機或串列存取記憶體陣列或裝置或其等之一或多者之一組合或包含於一電腦可讀儲存裝置、一電腦可讀儲存基板、一隨機或串列存取記憶體陣列或裝置或其等之一或多者之一組合中。再者，雖然一電腦儲存媒體非一經傳播信號，但一電腦儲存媒體可係編碼於一人為產生之傳播信號中之電腦程式指令之一源或目的地。電腦儲存媒體亦可係一或多個單獨實體組件或媒體(例如，多個CD、磁碟或其他儲存裝置)或包含於一或多個單獨實體組件或媒體(例如，多個CD、磁碟或其他儲存裝置)中。
本說明書中描述之操作可實施為藉由一資料處理設備對儲存於一或多個電腦可讀儲存裝置上或自其他源接收之資料執行之操作。
術語「資料處理設備」涵蓋用於處理資料之全部種類之設備、裝置及機器，包含(藉由實例)一可程式化處理器、一電腦、一系統單晶片或前述之多者或組合。設備可包含專用邏輯電路，例如，一FPGA(場可程式化閘陣列)或一ASIC(特定應用積體電路)。除了硬體之外，設備亦可包含針對所關注電腦程式形成一執行環境之程式碼，例如，構成處理器韌體、一協定堆疊、一資料庫管理系統、一作業系統、一跨平台運行 時間環境、一虛擬機器或其等之一或多者之一組合之程式碼。設備及執行環境可實現各種不同運行模型基礎設施，諸如網頁服務、分散式運算及網格運算基礎設施。
一電腦程式(其亦可稱為一程式、軟體、軟體應用程式、指令碼或程式碼)可以任何形式之程式設計語言(包含編譯或解譯語言，宣告或程序語言)編寫，且其可以任何形式部署，包含作為一獨立程式或作為一模組、組件、副常式、物件或適用於一運算環境中之其他單元。一電腦程式可(但無需)對應於一檔案系統中之一檔案。一程式可儲存於保存其他程式或資料(例如，儲存於一標記語言文件中之一或多個指令碼)之一檔案之一部分中，儲存於專用於所述程式之一單一檔案中，或儲存於多個協調檔案(例如，儲存一或多個模組、子程式或程式碼之部分之檔案)中。一電腦程式可經部署以在一個電腦上或在定位於一個位置或跨多個位置分佈且由一通信網路互連之多個電腦上執行。
本說明書中描述之程序及邏輯流程可由一或多個可程式化處理器執行，該一或多個可程式化處理器執行一或多個電腦程式以藉由操作輸入資料且產生輸出而執行動作。程序及邏輯流程亦可由專用邏輯電路(例如，一FPGA(場可程式化閘陣列)或一ASIC(特定應用積體電路))執行，且設備亦可實施為專用邏輯電路(例如，一FPGA(場可程式化閘陣列)或一ASIC(特定應用積體電路))。
適於執行一電腦程式之處理器包含(藉由實例)通用微處理器及專用微處理器兩者，及任何種類之數位電腦之任何一或多個處理器。一般言之，一處理器將自一唯讀記憶體或一隨機存取記憶體或兩者接收指令及資料。一電腦之主要元件係用於根據指令執行動作之一處理器及用於 儲存指令及資料之一或多個記憶體裝置。一般言之，一電腦亦將包含用於儲存資料之一或多個大容量儲存裝置(例如，磁碟、磁光碟或光碟)，或經可操作地耦合以自該一或多個大容量儲存裝置接收資料或將資料傳送至該一或多個大容量儲存裝置或兩者。然而，一電腦無需具有此等裝置。再者，一電腦可嵌入於另一裝置中，例如一行動電話、一個人數位助理(PDA)、一行動音訊或視訊播放器、一遊戲機、一全球定位系統(GPS)接收器或一可攜式儲存裝置(例如，一通用串列匯流排(USB)隨身碟)等。適於儲存電腦程式指令及資料之裝置包含全部形式之非揮發性記憶體、媒體及記憶體裝置，包含(藉由實例)：半導體記憶體裝置，例如，EPROM、EEPROM及快閃記憶體裝置；磁碟，例如，內部硬碟或可抽換式磁碟；磁光碟；及CD-ROM及DVD-ROM光碟。處理器及記憶體可輔以專用邏輯電路或併入專用邏輯電路中。
為提供與一使用者之互動，本說明書中描述之標的物之實施例可實施於一電腦上，該電腦具有：用於將資訊顯示給使用者之一顯示裝置，例如，一CRT(陰極射線管)或LCD(液晶顯示器)監視器；及一鍵盤及一指向裝置，例如，一滑鼠或一軌跡球，藉由其等使用者可將輸入提供至電腦。亦可使用其他種類之裝置來提供與一使用者之互動；例如，提供給使用者之回饋可為任何形式之感覺回饋，例如，視覺回饋、聽覺回饋或觸覺回饋；且可以任何形式接收來自使用者之輸入，包含聲音、語音或觸覺輸入。另外，一電腦可藉由將文件發送至由一使用者使用之一裝置且自該裝置接收文件而與使用者互動；例如，藉由回應於自一使用者之使用者裝置上之一網頁瀏覽器接收之請求而將網頁發送至該網頁瀏覽器。
本說明書中描述之標的物之實施例可實施於一運算系統 中，該運算系統包含一後端組件(例如，作為一資料伺服器)，或包含一中間體組件(例如，一應用程式伺服器)，或包含一前端組件(例如，具有一使用者可透過其與本說明書中描述之標的物之一實施方案互動之一圖形使用者介面或一網頁瀏覽器之一使用者電腦)，或一或多個此等後端組件、中間體組件或前端組件之任何組合。系統之組件可由任何形式或媒體之數位資料通信(例如，一通信網路)互連。通信網路之實例包含一區域網路(「LAN」)及一廣域網路(「WAN」)、一網間網路(例如，網際網路)及同級間網路(例如，特用同級間網路)。
運算系統可包含使用者及伺服器。一使用者及伺服器通常彼此遠離且通常透過一通信網路互動。使用者及伺服器之關係憑藉運行於各自電腦上且彼此具有一使用者-伺服器關係之電腦程式而產生。在一些實施例中，一伺服器將資料(例如，一HTML頁)傳輸至一使用者裝置(例如，用於將資料顯示給與使用者裝置互動之一使用者且自該使用者接收使用者輸入之目的)。可在伺服器處自使用者裝置接收在使用者裝置處(例如，因使用者互動)產生之資料。
雖然本說明書含有許多具體實施方案細節，但不應將此等細節理解為對任何特徵或可主張之內容之範疇之限制，而是應理解為專屬於特定實施例的特徵之描述。亦可在一單一實施例中組合實施本說明書中在單獨實施例之背景內容中描述之特定特徵。相反地，亦可在多個實施例中單獨地或以任何適合子組合實施在一單一實施例之背景內容中描述之各種特徵。此外，儘管上文可將特徵描述為以特定組合作用且甚至最初如此主張，然在一些情況中，來自一所主張組合之一或多個特徵可自該組合去除，且該所主張組合可係關於一子組合或一子組合之變動。
類似地，雖然在圖式中以一特定順序描繪操作，但不應將此理解為要求依所展示之特定順序或依循序順序執行此等操作，或執行全部所繪示之操作以達成所要結果。在某些境況中，多重任務處理及並行處理可為有利的。再者，不應將上文描述之實施例中之各種系統組件之分離理解為在全部實施例中皆要求此分離，且應將此理解為所描述之程式組件及系統通常可一起整合於一單一軟體產品中或封裝至多個軟體產品中。
因此，已描述標的物之特定實施例。其他實施例係在以下發明申請專利範圍之範疇內。在一些情況中，在發明申請專利範圍中敘述之動作可依一不同順序執行且仍達成所要結果。另外，附圖中描繪之程序不一定要求所展示之特定順序或循序順序以達成所要結果。在某些實施方案中，多重任務處理及並行處理可為有利的。
100:影像感測器
110:第一積體電路層
112A至112C:像素感測器群組
120:第二積體電路層
122A至122C:影像處理電路群組
130:第三積體電路層
132A至132C:神經網路電路群組
134:全影像神經網路電路

Claims (20)

  1. 一種影像感測器，其包括：一第一積體電路層，其包括基於位置分組成像素感測器群組之像素感測器；一第二積體電路層，其與該第一積體電路層電連通，該第二積體電路層包括多個影像處理電路群組，該等影像處理電路群組藉由對應互連件(interconnects)實體耦合至對應像素感測器群組且經組態以各別自該等對應像素感測器群組接收像素資訊，該等影像處理電路群組進一步經組態以在該影像感測器之操作期間對該像素資訊執行影像處理操作以提供經處理像素資訊；一第三積體電路層，其與該第二積體電路層電連通，該第三積體電路層包括經組態以各別自一對應影像處理電路群組接收該經處理像素資訊之神經網路電路群組，該等神經網路電路群組進一步經組態以在該影像感測器之操作期間針對用於該等對應像素感測器群組之該經處理像素資訊執行物件偵測之分析；及電路，其輸出指示藉由該等神經網路電路群組之物件偵測之該分析之結果之資訊，其中該第一積體電路層堆疊於該第二積體電路層上且該第二積體電路層堆疊於該第三積體電路層上。
  2. 如請求項1之影像感測器，其中物件偵測之該分析之該等結果包含由以下各者組成之群組之至少一者： 表示偵測之像素之選定所關注區域；含有時間及幾何位置資訊之後設資料；在物件偵測之前之中間運算結果；關於網路確定性位準之統計資訊；及經偵測物件之分類。
  3. 如請求項1之影像感測器，其中該等神經網路電路群組各包含經組態以實施一卷積神經網路之電路。
  4. 如請求項3之影像感測器，其中該等卷積神經網路各偵測由對應於該影像處理電路群組之該像素感測器群組感測之物件，該影像處理電路群組對應於該神經網路電路群組。
  5. 如請求項1之影像感測器，其中該第三積體電路層包含經組態以實施一遞迴式神經網路之電路。
  6. 如請求項5之影像感測器，其中該遞迴式神經網路接收關於由該等神經網路電路群組之全部偵測之該等物件之該資訊且偵測跨多個該等像素感測器群組感測之物件。
  7. 如請求項1之影像感測器，其中該等神經網路電路群組之各者定位於將該經處理像素資訊提供至該神經網路電路群組之該影像處理電路群組正下方。
  8. 如請求項1之影像感測器，其中該等影像處理電路群組之各者定位在將該像素資訊提供至該影像處理電路群組之該像素感測器群組正下方或緊鄰將該像素資訊提供至該影像處理電路群組之該像素感測器群組。
  9. 如請求項1之影像感測器，其中該第一積體電路層、該第二積體電路層及該第三積體電路層整合在一單一整合式晶片中。
  10. 如請求項1之影像感測器，其中該等像素感測器群組之各者包括相同數目個像素感測器。
  11. 如請求項1之影像感測器，其中對該像素資訊執行之該等影像處理操作包括在處理之前之高動態範圍融合。
  12. 如請求項1之影像感測器，其中該等影像處理電路群組之各者包含一類比數位轉換器。
  13. 一種用於使用一影像感測器之三個積體電路層偵測一物件之方法，其包括：藉由在一第一積體電路層中且基於位置分組成像素感測器群組之像素感測器獲得像素資訊；藉由經由對應互連件實體耦合至對應像素感測器群組且在與該第一積體電路層電連通之一第二積體電路層中之影像處理電路群組，針對來自 該等對應像素感測器群組之該像素資訊執行影像處理操作以提供經處理像素資訊；藉由在與該第二積體電路層電連通之一第三積體電路層中之神經網路電路群組針對來自一對應影像處理電路群組之用於該等對應像素感測器群組之該經處理像素資訊執行物件偵測之分析；及輸出指示藉由該等神經網路電路群組之物件偵測之該分析之結果之資訊，其中該第一積體電路層堆疊於該第二積體電路層上且該第二積體電路層堆疊於該第三積體電路層上。
  14. 如請求項13之方法，其中物件偵測之該分析之該等結果包含由以下各者組成之群組之至少一者：表示偵測之像素之選定所關注區域；含有時間及幾何位置資訊之後設資料；在物件偵測之前之中間運算結果；關於網路確定性位準之統計資訊；及經偵測物件之分類。
  15. 如請求項13之方法，其中該等神經網路電路群組各包含經組態以實施一卷積神經網路之電路。
  16. 如請求項15之方法，其中該等卷積神經網路各偵測由對應於該影像處理電路群組之該像素感測器群組感測之物件，該影像處理電路群組對應 於該神經網路電路群組。
  17. 如請求項13之方法，其中該第三積體電路層包含經組態以實施一遞迴式神經網路之電路。
  18. 如請求項17之方法，其中該遞迴式神經網路接收關於由該等神經網路電路群組之全部偵測之該等物件之該資訊且偵測跨多個該等像素感測器群組感測之物件。
  19. 如請求項13之方法，其中該等神經網路電路群組之各者定位於將該經處理像素資訊提供至該神經網路電路群組之該影像處理電路群組正下方。
  20. 一種形成一影像感測器之方法，其包括：形成包括基於位置分組成像素感測器群組之像素感測器之一第一積體電路層；將一第二積體電路層與該第一積體電路層電耦合，該第二積體電路層包括多個影像處理電路群組，該等影像處理電路群組藉由對應互連件實體耦合至對應像素感測器群組且經組態以各別自該等對應像素感測器群組接收像素資訊，該等影像處理電路群組進一步經組態以在該影像感測器之操作期間對該像素資訊執行影像處理操作以提供經處理像素資訊；將一第三積體電路層與該第二積體電路層電耦合，該第三積體電路層包括經組態以各別自一對應影像處理電路群組接收該經處理像素資訊之神經網路電路群組，該等神經網路電路群組進一步經組態以在該影像感測 器之操作期間針對用於該等對應像素感測器群組之該經處理像素資訊而執行物件偵測之分析；及電耦合電路至該等神經網路電路群組，其中該電路輸出指示藉由該等神經網路電路群組之物件偵測之該分析之結果之資訊，及其中該第一積體電路層堆疊於該第二積體電路層上且該第二積體電路層堆疊於該第三積體電路層上。
TW109111283A 2019-04-05 2020-04-01 影像感測器架構 TWI788652B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/376,634 2019-04-05
US16/376,634 US11037968B2 (en) 2019-04-05 2019-04-05 Image sensor architecture

Publications (2)

Publication Number Publication Date
TW202105985A TW202105985A (zh) 2021-02-01
TWI788652B true TWI788652B (zh) 2023-01-01

Family

ID=72662052

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109111283A TWI788652B (zh) 2019-04-05 2020-04-01 影像感測器架構

Country Status (8)

Country Link
US (2) US11037968B2 (zh)
EP (1) EP3949382A4 (zh)
JP (1) JP7275307B2 (zh)
KR (1) KR20210135358A (zh)
CN (1) CN113647096B (zh)
IL (1) IL286944A (zh)
TW (1) TWI788652B (zh)
WO (1) WO2020205743A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11284021B1 (en) * 2019-12-30 2022-03-22 Waymo Llc Smart sensor scheduler
US11861337B2 (en) * 2020-08-26 2024-01-02 Micron Technology, Inc. Deep neural networks compiler for a trace-based accelerator
US20220097690A1 (en) * 2020-09-30 2022-03-31 Toyota Motor Engineering & Manufacturing North America, Inc. Optical sense-compute solution for real-time navigation involving multiple vehicles
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
US11706546B2 (en) * 2021-06-01 2023-07-18 Sony Semiconductor Solutions Corporation Image sensor with integrated single object class detection deep neural network (DNN)
US20230032925A1 (en) * 2021-07-29 2023-02-02 Meta Platforms Technologies, Llc Improved architecture for coupling digital pixel sensors and computing components
TWI786992B (zh) 2021-12-14 2022-12-11 國立清華大學 整合卷積神經網路運算電路的影像感測器
EP4221188A1 (en) * 2022-01-27 2023-08-02 VoxelSensors SRL Efficient image sensor
US11979674B2 (en) * 2022-09-08 2024-05-07 Micron Technology, Inc. Image enhancement using integrated circuit devices having analog inference capability

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016095117A1 (en) * 2014-12-17 2016-06-23 Nokia Technologies Oy Object detection with neural network
WO2016121523A1 (ja) * 2015-01-30 2016-08-04 ソニー株式会社 固体撮像素子および制御方法、並びに電子機器
US20160267695A1 (en) * 2015-03-13 2016-09-15 Trimble Navigation Limited Acceleration of exposure fusion with pixel shaders
US20190035154A1 (en) * 2017-07-25 2019-01-31 Oculus Vr, Llc Sensor system based on stacked sensor layers

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2617798B2 (ja) 1989-09-22 1997-06-04 三菱電機株式会社 積層型半導体装置およびその製造方法
US20030206236A1 (en) 2002-05-06 2003-11-06 Agfa Corporation CMOS digital image sensor system and method
US6894265B2 (en) 2003-01-31 2005-05-17 Foveon, Inc. Vertical color filter sensor group and semiconductor integrated circuit fabrication method for fabricating same
JP5500007B2 (ja) * 2010-09-03 2014-05-21 ソニー株式会社 固体撮像素子およびカメラシステム
US9185307B2 (en) * 2012-02-21 2015-11-10 Semiconductor Components Industries, Llc Detecting transient signals using stacked-chip imaging systems
US8981511B2 (en) * 2012-02-29 2015-03-17 Semiconductor Components Industries, Llc Multi-chip package for imaging systems
JPWO2013164915A1 (ja) * 2012-05-02 2015-12-24 株式会社ニコン 撮像装置
US9350928B2 (en) * 2012-05-02 2016-05-24 Semiconductor Components Industries, Llc Image data compression using stacked-chip image sensors
KR102159256B1 (ko) 2013-11-25 2020-09-23 삼성전자 주식회사 픽셀 어레이 및 이를 포함하는 이미지 센서
US10078791B2 (en) * 2014-01-09 2018-09-18 Irvine Sensors Corporation Methods and devices for cognitive-based image data analytics in real time
US9819889B2 (en) * 2015-08-07 2017-11-14 Omnivision Technologies, Inc. Method and system to implement a stacked chip high dynamic range image sensor
KR102147361B1 (ko) 2015-09-18 2020-08-24 삼성전자주식회사 객체 인식 장치 및 방법, 객체 인식 모델 학습 장치 및 방법
US10460231B2 (en) 2015-12-29 2019-10-29 Samsung Electronics Co., Ltd. Method and apparatus of neural network based image signal processor
US9830709B2 (en) * 2016-03-11 2017-11-28 Qualcomm Incorporated Video analysis with convolutional attention recurrent neural networks
JP6540886B2 (ja) * 2016-03-30 2019-07-10 株式会社ニコン 特徴抽出素子、特徴抽出システム、および判定装置
CN111526267B (zh) * 2016-08-03 2022-09-02 株式会社半导体能源研究所 摄像装置、摄像模块、电子设备及摄像系统
CN206139527U (zh) * 2016-09-14 2017-05-03 郑州轻工业学院 全景视觉马铃薯分选和缺陷检测装置
JP6731819B2 (ja) * 2016-09-26 2020-07-29 日立オートモティブシステムズ株式会社 移動体軌道予測システム
US10013773B1 (en) * 2016-12-16 2018-07-03 Waymo Llc Neural networks for object detection
US20180247199A1 (en) * 2017-02-24 2018-08-30 Qualcomm Incorporated Method and apparatus for multi-dimensional sequence prediction
DE102017204347A1 (de) * 2017-03-15 2018-09-20 Audi Ag Verfahren und System zum Bestimmen einer kinematischen Eigenschaft eines Objekts, Verfahren zum Steuern eines Assistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
WO2018175564A1 (en) * 2017-03-21 2018-09-27 The Charles Stark Draper Laboratory, Inc. Neuromorphic digital focal plane array
KR102415508B1 (ko) 2017-03-28 2022-07-01 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
JP2018182569A (ja) * 2017-04-14 2018-11-15 株式会社メガチップス 画像処理装置、画像処理システム、情報処理システム及び画像処理方法
TWI614624B (zh) * 2017-04-24 2018-02-11 太豪生醫股份有限公司 雲端醫療影像分析系統與方法
US10217028B1 (en) * 2017-08-22 2019-02-26 Northrop Grumman Systems Corporation System and method for distributive training and weight distribution in a neural network
CN108806243B (zh) * 2018-04-24 2020-09-29 东南大学 一种基于Zynq-7000的交通流量信息采集终端
US11888002B2 (en) * 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016095117A1 (en) * 2014-12-17 2016-06-23 Nokia Technologies Oy Object detection with neural network
WO2016121523A1 (ja) * 2015-01-30 2016-08-04 ソニー株式会社 固体撮像素子および制御方法、並びに電子機器
US20160267695A1 (en) * 2015-03-13 2016-09-15 Trimble Navigation Limited Acceleration of exposure fusion with pixel shaders
US20190035154A1 (en) * 2017-07-25 2019-01-31 Oculus Vr, Llc Sensor system based on stacked sensor layers

Also Published As

Publication number Publication date
US11972342B2 (en) 2024-04-30
US20210305295A1 (en) 2021-09-30
EP3949382A4 (en) 2022-10-26
CN113647096A (zh) 2021-11-12
TW202105985A (zh) 2021-02-01
JP7275307B2 (ja) 2023-05-17
US11037968B2 (en) 2021-06-15
EP3949382A1 (en) 2022-02-09
KR20210135358A (ko) 2021-11-12
IL286944A (en) 2021-12-01
WO2020205743A1 (en) 2020-10-08
CN113647096B (zh) 2024-07-19
US20200321374A1 (en) 2020-10-08
JP2022525794A (ja) 2022-05-19

Similar Documents

Publication Publication Date Title
TWI788652B (zh) 影像感測器架構
US11888002B2 (en) Dynamically programmable image sensor
US20210142086A1 (en) Sparse image sensing and processing
US20220076402A1 (en) High bandwidth camera data transmission
US12108141B2 (en) Dynamically programmable image sensor
US11379692B2 (en) Learning method, storage medium and image processing device
CN114582009A (zh) 一种基于混合注意力机制的单眼注视点估计方法及系统
TW202321991A (zh) 稀疏影像處理
Delbruck Fun with asynchronous vision sensors and processing
US20220405553A1 (en) Sparse image processing
Yin et al. Design Considerations for 3D Heterogeneous Integration Driven Analog Processing-in-Pixel for Extreme-Edge Intelligence
Gómez-Rodríguez et al. Neuromorphic real-time objects tracking using address event representation and silicon retina
CN117581256A (zh) 稀疏图像处理
JP2023134172A (ja) 情報処理装置、情報処理方法および情報処理プログラム、ならびに、情報処理システム