TWI786992B - 整合卷積神經網路運算電路的影像感測器 - Google Patents

整合卷積神經網路運算電路的影像感測器 Download PDF

Info

Publication number
TWI786992B
TWI786992B TW110146670A TW110146670A TWI786992B TW I786992 B TWI786992 B TW I786992B TW 110146670 A TW110146670 A TW 110146670A TW 110146670 A TW110146670 A TW 110146670A TW I786992 B TWI786992 B TW I786992B
Authority
TW
Taiwan
Prior art keywords
signal
circuit
switch
voltage
weight
Prior art date
Application number
TW110146670A
Other languages
English (en)
Other versions
TW202324194A (zh
Inventor
謝志成
徐子翔
Original Assignee
國立清華大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立清華大學 filed Critical 國立清華大學
Priority to TW110146670A priority Critical patent/TWI786992B/zh
Priority to US17/690,012 priority patent/US11770642B2/en
Application granted granted Critical
Publication of TWI786992B publication Critical patent/TWI786992B/zh
Publication of TW202324194A publication Critical patent/TW202324194A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一種整合卷積神經網路運算電路的影像感測器，其中包括：像素陣列，包括區分為多個像素群組的多個像素，各個像素轉換光訊號為第一脈寬調變訊號；卷積運算電路，根據每個像素群組中各像素的第一脈寬調變訊號控制對應權重電流的開啟時間，並將多個像素的權重電流累積為積分電流；比較電路將積分電流轉換為第二脈寬調變訊號並與相鄰像素群組比較，輸出數值較大的第二脈寬調變訊號；及分類電路，根據各像素群組所對應全連接層節點的權重，將第二脈寬調變訊號量化為量化值，累計所有像素群組的量化值為特徵值並與特徵門檻值比較以獲得分類結果。

Description

整合卷積神經網路運算電路的影像感測器
本發明是有關於一種影像感測器，且特別是有關於一種整合卷積神經網路運算電路的影像感測器。
隨著卷積神經網路(convolutional neural network，CNN)的進階研究及開發，人工智慧(artificial intelligence，AI)在各種應用上取得越來越多的成功，例如影像識別及影像分類。然而，複雜的網路訓練及運算需要現場可程式邏輯閘陣列(field-programmable gate array，FPGA)、中央處理單元(central processing unit，CPU)、圖像處理器(graphics processing unit，GPU)等硬體資源來支持大量的運算工作。而大量的資料存取及運算演算法中的乘加(multiply-accumulate，MAC)運算，將造成可觀的能源損耗及資料傳輸延遲。
因此，功率限制、計算能力和本地端資料儲存是將智能 網路引入物聯網(internet-of-things，IoT)裝置的關鍵挑戰。
本發明提出了一種整合卷積神經網路運算的影像感測器，可在單一影像感測晶片中完成影像感測、卷積神經網路運算與人臉或特徵判別。
本發明提供一種整合卷積神經網路運算的影像感測器，其包括像素陣列、卷積運算電路、比較電路及分類電路。其中，像素陣列包括區分為多個像素群組的多個像素，各個像素轉換所接收的光訊號為第一脈寬調變(pulse width modulation，PWM)訊號。卷積運算電路根據每一個像素群組中各個像素的第一脈寬調變訊號控制對應的權重電流的開啟時間，並將多個像素的權重電流累積為積分電流，其中權重電流的數值對應於經訓練卷積神經網路中卷積層節點的權重。比較電路將積分電流轉換為第二脈寬調變訊號，並比較相鄰的像素群組的第二脈寬調變訊號，輸出數值較大的第二脈寬調變訊號。分類電路根據各個像素群組在經訓練卷積神經網路中所對應的全連接層節點的權重，將像素群組的第二脈寬調變訊號量化為多個量化值其中之一，累計所有像素群組的量化值為特徵值並與特徵門檻值比較以獲得分類結果。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
10:特徵影像資料集
12:卷積神經網路
20:影像感測器
21:脈寬調變像素陣列
22:感測器內運算電路
221、50:類比卷積運算電路
222:激勵函數運算電路
223、60:最大池化運算電路
224:類比數位轉換器電路
225:數位全連接運算電路
23:數位控制電路
24:列控制電路
25:行選擇電路
26:卷積運算權重暫存與處理電路
27:全連接運算權重暫存與處理電路
40:像素電路
52:符號位元邏輯
54:開關電流積分單元
70:權重產生電路
72:緩衝器
74:電流數位類比轉換器
92:量化計數器
94:解碼器
96:可逆計數器
A、B、C:流程
A1、B1、B2、C1、C2、C3、C4:步驟
A1:加總開關
ADD:加訊號
AN:邏輯及閘
B2TFC:量化值
CLKLoad、CLKFC_QZ、CLKFC_SUM:時脈訊號
CLKFC_CNT:量化時脈訊號
CLKFCE:脈衝訊號
CME、CMo:中央電容
CMP:比較器
CMPEN,MODE:模式訊號
CNTFC:脈衝數目
CSELFC:選擇訊號
COLFC:全連接選擇訊號
CR:積分電容
DFF、FF1~FF9:正反器
FCE:全連接元件訊號
IB、I:電流
IP:正權重相關電流
IN:負權重相關電流
INT、MCN、MCP、MRD、MRST、SCIE、SCIO、SCIRST、SUBE、SUBO:開關
MP0~MP20:邏輯或閘
MUX:多工器
ph:光電流
PD:光感測器
PIX_RST:重置訊號線
PW、PWMP:脈寬調變訊號
P:濾波器權重
RAMP1、RAMP2:斜坡產生器
RAMPE、RAMPO、SUBE、SUBO:訊號
RSEL、RSELB:選擇訊號線
QZ0~QZ20:邏輯及閘
S1~S4:權重開關
SIGN、SIGNFC:符號位元訊號
SPA(0,0)、SPA(0,1)、SPA(10,0)、SPA(1,1):像素群組
SUB:減訊號
VB、VPD、VPW:電壓
VIN、VIP:輸入端
VPE、VP:正積分電壓
VNE、VN:負積分電壓
VR、VREF:參考電壓
UDC:可逆計數器
W1、W2、W4:權重位元訊號
ZERO:零位元訊號
圖1是根據本發明一實施例所繪示的執行概念的示意圖。
圖2是根據本發明一實施例所繪示的整合卷積神經網路運算的影像感測器的架構圖。
圖3是根據本發明一實施例所繪示的影像感測器20在不同模式下的操作流程圖。
圖4是根據本發明一實施例所繪示的像素電路的電路圖。
圖5是根據本發明一實施例所繪示的卷積運算電路和最大池化運算電路的電路圖。
圖6是根據本發明一實施例所繪示的權重產生電路的電路圖。
圖7是根據本發明一實施例所繪示的最大池化運算的示意圖。
圖8A至圖8F是根據本發明一實施例所繪示的最大池化運算電路的電路圖及對應的時序圖。
圖9A及圖9B分別是根據本發明一實施例所繪示的比較電路與分類電路的電路圖及對應的時序圖。
本發明實施例提出一個可運算執行經訓練驗證之卷積神經網路，可在單一影像感測晶片中完成影像感測、卷積神經網路 運算與人臉或特徵判別(如人臉偵測等應用)，另亦可提供原始影像、卷積運算影像之多模式輸出。其中，本發明實施例是以脈寬調變(pulse width modulation，PWM)像素作為感光元件，於縱向平行電路中執行完整卷積神經網路所需運算，輸出人臉或特徵判別結果。藉此，可解決資料運算需在晶片間傳輸所造成的幀率下降、功耗上升與判別速度較慢等問題。
圖1是根據本發明一實施例所繪示的執行概念的示意圖。請參照圖1，本實施例透過欲判別之特徵影像資料集(dataset)10，如人臉與非人臉影像，對卷積神經網路12進行訓練與驗證(包括3x3卷積運算、2x2最大池化運算、全連接運算等)，產生卷積運算權重與全連接運算權重，而創建一個客製化卷積神經網路12。此卷積神經網路12的權重及運算可實現於下述的影像感測器，使其可獨立進行影像拍攝與人臉特徵判別。
圖2是根據本發明一實施例所繪示的整合卷積神經網路運算的影像感測器的架構圖。請參照圖2，本實施例的影像感測器20例如是將影像感測、卷積神經網路運算及特徵判別整合在單一影像感測晶片上，其中主要包含脈寬調變像素陣列(以下簡稱像素陣列)21、縱向平行感測器內運算電路22及周邊控制電路(包括數位控制電路23、列控制電路24、行選擇電路25、卷積運算權重暫存與處理電路26、全連接運算權重暫存與處理電路27等)。其中，像素陣列21例如具有128×128像素，負責感測環境影像並擷取光訊號、感測器內運算電路22則可實現一個完整的卷積神經 網路，其中例如包含步長(stride)為3的3x3類比卷積運算電路(以下簡稱卷積運算電路)221、執行線性整流的激勵函數(ReLU)運算電路222、步長為2的2x2最大池化運算電路(即，比較電路)223、類比數位轉換器電路224與數位全連接運算電路(即，分類電路)225。
圖3是根據本發明一實施例所繪示的影像感測器20在不同模式下的操作流程圖。請參照圖3，像素陣列21輸出的像素陣列資料經A流程(包括步驟A1)經過類比數位換器電路224輸出一般影像。B流程(包括步驟B1、B2)經類比卷積運算電路221與類比數位轉換器電路224輸出卷積運算影像。C流程(包括步驟C1、C2、C3、C4)可完成一個完整卷積神經網路，而輸出人臉或特徵判別的運算結果。
在一實施例中，影像感測器20主要包括像素陣列21、卷積運算電路221、最大池化運算電路223及全連接運算電路224。其中，像素陣列21包括區分為多個像素群組的多個像素，各個像素轉換所接收的光訊號為第一脈寬調變訊號。卷積運算電路221根據每一個像素群組中各個像素的第一脈寬調變訊號控制對應的權重電流的開啟時間，並將多個像素的權重電流累積為積分電流。其中，所述權重電流的數值對應於經訓練卷積神經網路中卷積層節點的權重。最大池化運算電路223將積分電流轉換為第二脈寬調變訊號，並與相鄰的像素群組的第二脈寬調變訊號進行比較，從而輸出數值較大的第二脈寬調變訊號。全連接運算電路225 根據各個像素群組在經訓練卷積神經網路中所對應的全連接層節點的權重，將像素群組的第二脈寬調變訊號量化為多個量化值其中之一，累計所有像素群組的量化值為特徵值並與特徵門檻值比較以獲得分類結果。其中，各個像素群組中的像素的數目例如是依據經訓練卷積神經網路所使用的核心(kernel)的大小來決定，例如為3×3，但不限於此。對於影像感測器20中的像素陣列21、卷積運算電路221、最大池化運算電路223及全連接運算電路224，以下將各舉實施例詳細說明。
在一實施例中，像素陣列21中每個像素的電路例如包括光感測器、像素內比較器、像素重置開關及輸出選擇開關。舉例來說，圖4是根據本發明一實施例所繪示的像素電路的電路圖。請參照圖4，像素電路40包括光感測器PD、像素內比較器(包括開關MCP和MCN)、輸出選擇開關MRD及像素重置開關MRST。其中，光感測器例如是光電二極體(photodiode)。開關MCP具有耦接參考電壓VR的控制端，以及耦接選擇訊號線RSEL的第一端。開關MCN具有耦接開關MCP的第二端的第一端，耦接光感測器PD的第一端及接地端的第二端，以及耦接光感測器PD的第二端的控制端。在曝光階段，電壓VPD的值是經由光電二極體PD所感測到的光電流ph從初始電壓VPD<RST>開始放電。在經過一段曝光時間後，電壓VPD的值是由像素內比較器基於斜坡參考電壓(ramping reference voltage)使用脈寬調變轉換來選擇的讀出值。像素重置開關MRST具有耦接重置訊號線PIX_RST的控制端、耦 接光感測器PD的第二端的第一端，以及耦接開關MCP的第二端及開關MCN的第一端的第二端，且經配置以根據重置訊號線PIX_RST的重置訊號選擇性地導通第一端及第二端。輸出選擇開關MRD具有耦接開關MCP的第二端及開關MCN的第一端的控制端、耦接選擇訊號線RSELB的第一端，以及耦接訊號輸出線的第二端，經配置以輸出自光訊號轉換的脈寬調變訊號PW<m>。針對同一行(例如Col<n>)的列方向上的三個像素，本實施例一次可輸出三個脈寬調變訊號PW<m-1>、PW<m>、PW<m+1>。
在一實施例中，卷積運算電路221包括對應於像素群組的多行像素的多個行卷積運算電路。以大小為3×3像素的像素群組為例，卷積運算電路221包括分別對應於其中3行像素的3個行卷積運算電路。各個行卷積運算電路包括多個符號位元邏輯、多個開關電流積分(switch-current integration，SCI)單元及積分電路。
符號位元元邏輯分別接收像素的第一脈寬調變訊號，並根據對應於各像素的權重相關訊號中的符號位元訊號及零位元訊號，選通(gate)第一脈寬調變訊號。
詳細而言，影像感測器20開始運作時，例如會將由5位元訊號(包括W1、W2、W4、SIGN、ZERO)表示的3×3核心的9個權重，在9個時脈週期內載入暫存器。而在開關電流積分運作期間，影像感測器20即會應用其中的3位元訊號(W1、W2、W4)來將陣列共用的電流數位類比轉換器(IDAC)控制在正確的電流 水準，並將另外2位元(SIGN、ZERO)用於符號位元邏輯。其中，符號位元邏輯例如會在零位元訊號(ZERO)為1時，輸出選通第一脈寬調變訊號的訊號，並在零位元訊號為0時，輸出不選通第一脈寬調變訊號的訊號。此外，符號位元邏輯例如會在符號位元訊號(SIGN)為1時，輸出選通為加(ADD)的訊號，並在符號位元訊號為0時，輸出選通為減(SUB)的訊號。
開關電流積分單元分別接收經符號位元邏輯選通的第一脈寬調變訊號，並根據對應於各個像素的權重相關訊號中的權重位元訊號，控制對應於該像素的權重電流的開啟時間。
積分電路包括至少一個積分電容，用以累積由所有開關電流積分單元輸出的權重電流以產生積分電壓。
在一實施例中，各個開關電流積分單元更包括正開關及負開關。其中當所接收的權重相關訊號中的符號位元訊號為正值時，開關電流積分單元將會關閉負開關並開啟正開關以經由正開關輸出權重電流；當所接收的權重相關訊號中的符號位元訊號為負值時，開關電流積分單元則會關閉正開關並開啟負開關以經由負開關輸出權重電流。此外，上述的積分電路包括第一側電路及第二側電路，其中的第一側電路包括第一積分電容，用以累積由所有正開關輸出的權重電流以產生正積分電壓，而第二側電路包括第二積分電容，用以累積由所有負開關輸出的權重電流以產生負積分電壓。
舉例來說，圖5是根據本發明一實施例所繪示的卷積運 算電路和最大池化運算電路的電路圖。請參照圖5，本實施例包括卷積運算電路50和最大池化運算電路60。左側繪示3×3像素群組中各像素對應的濾波器權重P<x>，由左上至右下依序為P<1>~P<9>，其可區分為零位元訊號ZERO<1：9>、符號位元訊號SIGN<1：9>及權重位元訊號W1,2,4<1：9>，其中零位元訊號ZERO<1：9>及符號位元訊號SIGN<1：9>分別輸入右側卷積運算電路52的三個行卷積運算電路COL<n-1>~COL<n+1>中的符號位元邏輯；權重位元訊號W1,2,4<1：9>則經由9組電流數位類比轉換器(IDAC)74轉換為電壓訊號VB<1：9>，而分別輸入右側卷積運算電路52的三個行卷積運算電路COL<n-1>~COL<n+1>中的開關電流積分(SCI)單元。
詳細而言，圖6是根據本發明一實施例所繪示的權重產生電路的電路圖。請參照圖6，本實施例的權重產生電路70包括9個5位元的正反器FF1~FF9、緩衝器72以及多個電流數位類比轉換器(IDAC)74。
正反器FF1~FF9依序串接，其中的第一正反器FF1的輸入端接收權重相關訊號(包括SIGN、ZERO、W1、W2、W4)，其他正反器FF1~FF8的輸入端則耦接所串接的前一個正反器的輸出端。正反器FF1~FF9的時脈輸入端接收時脈訊號CLKLoad。
緩衝器72暫存正反器FF1~FF9輸出的權重相關訊號中的零位元訊號ZERO<1：9>、符號位元訊號SIGN<1：9>及權重位元訊號W1,2,4<1：9>。9組電流數位類比轉換器(IDAC)74分別接收緩 衝器72暫存的像素的權重位元元訊號W1,2,4<1：9>。其中，各電流數位類比轉換器包括多個權重開關S1~S4及加總開關A1。權重開關S1~S4具有彼此耦接的第一端及彼此耦接且接地的第二端，其中權重開關S1~S4的面積具有預設比例(例如圖6中所示的1：1：2：4)，使得權重開關S1~S4在控制端根據權重位元訊號W1,2,4<1：9>開啟時，導通具有該預設比例的電流(例如圖6中所示的IB、IB、2×IB、4×IB)。加總開關A1具有耦接供應電壓的第一端以及耦接權重開關S1~S4的第一端的第二端及控制端，其中控制端的電壓VB<1：9>對應於流經權重開關S1~S4的權重電流(IB、IB、2×IB、4×IB)的總和。
本實施例的卷積運算電路在執行卷積運算時，通過同時開啟三列(<m-1>、<m>、<m+1>)來選擇3×3像素子陣列，以輸出相鄰行(<n-1>、<n>、<n+1>)的9個像素值。此9個像素的輸出將以9個權重電流相乘，並積分在積分電容CME，以完成卷積(MAC)運算。
以第<n>行的行卷積運算電路為例，當符號位元訊號SIGN<m>=1或0時，來自三個選定列的三個訊號相關脈衝(PW<m>)首先由3組符號位元邏輯52根據正/負權重選通(gated)為加(ADD<m>)/減(SUB<m>)訊號。同時，在開關電流積分單元54中，由電壓VB<m>偏置的權重電流IP<m>/IN<m>被開啟，並在積分電容CME的左右兩側累積為該行COL<n>的積分電流IP<n>/IN<n>。
在積分電容CME上的累積電荷是由時間域的加(ADD<m>)/減(SUB<m>)訊號及權重電流來決定。通過同時開啟相鄰兩行(COL<n-1>和COL<n+1>)的行卷積運算電路，正權重相關電流(IP<n-1>、IP<n>、IP<n+1>)和負權重相關電流(IN<n-1>、IN<n>、IN<n+1>)分別被加總為IP和IN，並分別積分在積分電容CME的兩側，從而實現3×3像素子陣列及3×3核心的MAC運算。
經過使用SCI的MAC運算之後，在積分電容CM的兩側的積分電壓VP和VN可分別表示類比卷積的正負結果。在一實施例中，最大池化運算電路利用電壓比較器比較所述正積分電壓及所述負積分電壓以輸出卷積結果，並使用判斷邏輯(judging logic，JG)檢視卷積結果的訊號極性(POL)，即檢視是否正積分電壓VP大於負積分電壓VN。其中，判斷邏輯在卷積結果為正積分電壓大於負積分電壓時，可控制積分電路保存正積分電壓與負積分電壓的電壓差，而在卷積結果為正積分電壓小於負積分電壓時，則可控制積分電路將正積分電壓與負積分電壓重置。
此外，最大池化運算電路更包括耦接積分電路的第一側電路的第一斜坡電路及耦接積分電路的第二側電路的第二斜坡電路。
舉例來說，當訊號極性=1(即，VP>VN)時，負積分電壓VN將由以訊號SUB控制，連接至積分起始電壓VREF，而正積分電壓VP將同時向下位移VN電壓量，完成正負積分電壓相減動作 (VP-VN)。另一方面，為了實現激勵函數(ReLU)運算，若輸入為負值(即，VP-VN<0)，正負積分電壓VN與VP將由訊號SUB控制，同時連接至積分起始電壓VREF，重置正負積分電壓結果。
使用上述的架構，ReLU函數可簡單地藉由依據訊號極性只將正卷積結果量化並忽略負卷積結果來實現。
舉例來說，圖7是根據本發明一實施例所繪示的最大池化運算的示意圖。圖8A至圖8F是根據本發明一實施例所繪示的最大池化運算電路的電路圖及對應的時序圖。請參照圖7，本實施例是以3×3像素為像素群組，說明對相鄰4個像素群組SPA(0,0)、SPA(0,1)、SPA(10,0)、SPA(1,1)實施卷積及最大池化運算的過程。
首先，針對偶數列(第0列)的像素群組SPA(0,0)，請同時參照圖7及圖8A，在經由圖5的卷積運算電路50運算之後，其輸出的積分電流將通過開關INT而累積於電容CR，並藉由開通開關SCIE，在中央電容CME兩側累積正負積分電壓VPE和VNE。正負積分電壓VPE和VNE分別輸入比較器CMP的輸入端VIP和VIN，而經由比較器CMP判斷VPE>VNE。請參考圖8B，此時判斷邏輯62、64根據比較器CMP的判斷結果，輸出訊號SUBE，以控制連接於參考電壓VREF的開關SUBE導通，而在中央電容CME的左側保存完整的卷積運算結果。
接著，針對奇數列(第1列)的像素群組SPA(1,0)，請同時參照圖7及圖8C，在經由圖5的卷積運算電路50運算之後，其輸出的積分電流將通過開關INT而累積於電容CR，並藉由開通 開關SCIO，在中央電容CMO兩側累積正負積分電壓VPO和VNO。正負積分電壓VPO和VNO分別輸入比較器CMP的輸入端VIP和VIN，而經由比較器CMP判斷VPE<VNE。請參考圖8D，此時判斷邏輯62、64根據比較器CMP的判斷結果，輸出訊號SUBO，以控制連接於參考電壓VREF的兩側開關SUBO導通，而將正負積分電壓VPO和VNO同時重置至積分起始點，此代表完整卷積運算結果可視為0。
然後，進行最大池化運算，請同時參照圖7及圖8E，在此模式中，開關INT斷開停止接收積分電流，而判斷邏輯62、64根據比較器CMP的判斷結果，輸出訊號SUBE及RAMPE，以針對中央電容CME控制連接於參考電壓VREF的右側開關SUBE導通，並控制連接於斜坡產生器RAMP1的左側開關RAMPE導通，使得累積於中央電容CME左側的積分電壓VPE輸入比較器CMP的輸入端VIP。另一方面，判斷邏輯62、64還根據比較器CMP的判斷結果，輸出訊號SUBO及RAMPO，以針對中央電容CMO控制連接於參考電壓VREF的左側及右側開關SUBO導通，而將累積於中央電容CMO左側的積分電壓VPO重置並入比較器CMP的輸入端VIN。
請同時參照圖7及圖8F，比較器CMP將比較輸入端VIP、VIN的電壓，而輸出脈寬調變訊號PWMP<j>。其中，針對偶數列(第0列)的像素群組SPA(0,0)執行卷積及ReLU運算的結果為0.7，而針對奇數列(第1列)的像素群組SPA(1,0)執行卷積及 ReLU運算的結果為0，因此經由比較器CMP輸出的脈寬調變訊號PWMP<j>為0.7。另一方面，針對偶數列(第0列)的在列方向上相鄰的像素群組SPA(0,1)執行卷積及ReLU運算的結果為0，而針對奇數列(第1列)的在列方向上相鄰的像素群組SPA(1,1)執行卷積及ReLU運算的結果為0.2，因此經由比較器CMP輸出的脈寬調變訊號PWMP<j+1>為0.2。兩個脈寬調變訊號PWMP<j>和PWMP<j+1>可經由邏輯或閘取脈寬較長的脈寬調變訊號輸出，而獲得最大池化結果(0.7)。
詳細而言，比較電路例如包括邏輯或閘，用以取列方向上相鄰的像素群組的第二脈寬調變訊號中脈寬最長的第二脈寬調變訊號，而輸出至分類電路。
在一實施例中，分類電路包括多個行分類電路、可逆計數器(up-down counter)及特徵比較器。其中，各個行分類電路對應於像素群組中在列方向上相鄰的兩個像素群組中的多行像素，其中包括邏輯及閘、量化計數器及解碼器。邏輯及閘輸入全連接層節點的權重相關訊號中的零位元訊號、比較電路輸出的第二脈寬調變訊號及時脈訊號，並輸出非零且位在第二脈寬調變訊號的脈寬內的量化時脈訊號。量化計數器用以計算量化時脈訊號中的脈衝數目。解碼器則用以將脈衝數目解碼為量化值。可逆計數器則根據全連接層節點的權重相關訊號中的符號位元訊號，累計所有行分類電路輸出的量化值來作為特徵值。特徵值比較器則會將所計算的特徵值與特徵門檻值比較，以獲得分類結果。
舉例來說，圖9A及圖9B分別是根據本發明一實施例所繪示的比較電路與分類電路的電路圖及時序圖。請參照圖9A，本實施例的比較電路包括邏輯或閘MP0~MP20。以邏輯或閘MP0為例，其可接收列方向上相鄰像素群組的第二脈寬調變訊號PWMP<0>、PWMP<1>。請同時參照圖9A及圖9B，在濾波器#1處理時間內，邏輯或閘MP0例如是取脈寬調變訊號PWMP<0>、PWMP<1>中脈寬最長的脈寬調變訊號輸出為脈寬調變訊號PWFC<0>。同理，邏輯或閘MP1例如是取脈寬調變訊號PWMP<2>、PWMP<3>中脈寬最長的脈寬調變訊號輸出為脈寬調變訊號PWFC<1>。
另一方面，本實施例的分類電路包括多個行分類電路，各個行分類電路對應於列方向上相鄰的兩個像素群組中的多行像素。其中，每個行分類電路具有6行間距且包括邏輯及閘、量化計數器及解碼器。
以第1個行分類電路為例，邏輯及閘QZ0將接收全連接層節點的權重相關訊號中的零位元訊號ZEROFC<0>、最大池化運算電路的邏輯或閘MP0輸出的脈寬調變訊號PWFC<0>及時脈訊號CLKFC_QZ的輸入，並輸出非零且位在脈寬調變訊號PWFC<0>的脈寬內的量化時脈訊號CLKFC_CNT<0>至量化計數器92。
在一實施例中，量化計數器92例如包括3位元計數器及鎖存器，其是利用3位元記錄脈衝數目。在第1個行分類電路中，量化計數器92會計算量化時脈訊號CLKFC_CNT<0>中的脈衝數目 CNTFC<0>。請同時參照圖9A及圖9B，在本實施例中，邏輯及閘QZ0所接收的零位元訊號ZEROFC<0>=0，因此輸出量化時脈訊號CLKFC_CNT<0>為0，量化計數器92所計算的脈衝數目CNTFC<0>為3位元的[000]。另一方面，邏輯及閘QZ1所接收的零位元訊號ZEROFC<0>=1，因此輸出非零且位在脈寬調變訊號PWFC<1>的脈寬內的量化時脈訊號CLKFC_CNT<1>(包括3個脈衝)，因此量化計數器92所計算的脈衝數目CNTFC<0>為3位元的[011]。
接著，解碼器94則將量化計數器92計算的脈衝數目CNTFC<0>解碼為量化值B2TFC<0>。在一實施例中，解碼器94例如是二元溫度計(binary-to-thermometer)解碼器，用以將3位元的脈衝數目轉碼為4位元的量化值。此量化值的4個位元將經由多工器MUX輸入串接的4個正反器DFF，並經由開關(由選擇訊號CSELFC控制)的切換，依序輸入邏輯及閘AN，以藉由時脈訊號CLKFC_SUM轉換為脈衝訊號CLKFCE，最終送入可逆計數器UDC進行計數。在本實施例中，可逆計數器UDC例如是15位元的可進行上數及下數的計數器，但不限於此。
可逆計數器UDC除了接收由行分類電路依序輸出的量化值(轉換為脈衝訊號CLKFCE)外，還接收全連接層節點的權重相關訊號中的符號位元訊號SIGNFC，以根據符號位元訊號SIGNFC的正負值將所有行分類電路輸出的量化值累計為特徵值。其中，若符號位元訊號SIGNFC為正，則可逆計數器UDC將使用量化值對累計的特徵值進行上數，若符號位元訊號SIGNFC為負，則可逆 計數器UDC則使用量化值對累計的特徵值進行下數，最終獲得整合所有行分類電路輸出的量化值的特徵值。
請同時參照圖9A及圖9B，在濾波器#2處理時間內，由行全連接選擇訊號COLFC<0：20>依序開啟正反器DFF的輸出開關，以輸出全連接元件訊號FCE<0：20>，再經由邏輯及閘AN使用時脈訊號CLKFC_SUM轉換為脈衝訊號CLKFCE後送入可逆計數器UDC以根據符號位元訊號SIGNFC進行上數及下數。其中，在脈衝訊號CLKFCE中，對應於第2個行分類電路的時脈包括3個脈衝且符號位元訊號SIGNFC為正，因此可逆計數器UDC將對特徵值進行上數3(即，+3)；對應於第3個行分類電路的時脈包括2個脈衝且符號位元訊號SIGNFC為負，因此可逆計數器UDC將對特徵值進行下數2(即，-2)，以此類推，最終可逆計數器UDC即可輸出整合所有行分類電路輸出的量化值的特徵值。
綜上所述，本發明實施例的整合卷積神經網路運算的影像感測器是以脈衝寬度調變像素作為感光元件，於縱向平行電路中執行完整卷積神經網路所需運算，直接輸出人臉或特徵判別結果，從而解決資料運算需在晶片間傳輸所造成之幀率下降、功耗上升與判別速度較慢的問題。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
20:影像感測器
21:脈寬調變像素陣列
22:感測器內運算電路
221:類比卷積運算電路
222:激勵函數運算電路
223:最大池化運算電路
224:類比數位轉換器電路
225:數位全連接運算電路
23:數位控制電路
24:列控制電路
25:行選擇電路
26:卷積運算權重暫存與處理電路
27:全連接運算權重暫存與處理電路

Claims (10)

  1. 一種整合卷積神經網路運算的影像感測器，包括： 像素陣列，包括區分為多個像素群組的多個像素，各所述像素轉換所接收的光訊號為第一脈寬調變（pulse width modulation，PWM）訊號； 卷積運算電路，根據每一所述像素群組中各所述像素的所述第一脈寬調變訊號控制對應的一權重電流的開啟時間，並累積所述多個像素的所述權重電流為積分電流，其中所述權重電流的數值對應於經訓練卷積神經網路中卷積層節點的權重； 比較電路，轉換所述積分電流為第二脈寬調變訊號，並比較列方向上相鄰的所述像素群組的所述第二脈寬調變訊號，輸出數值較大的所述第二脈寬調變訊號；以及 分類電路，根據各所述像素群組在所述經訓練卷積神經網路中所對應的全連接層節點的權重，將所述像素群組的所述第二脈寬調變訊號量化為多個量化值其中之一，累計所有所述像素群組的所述量化值為特徵值並與特徵門檻值比較以獲得分類結果。
  2. 如請求項1所述的影像感測器，其中各所述像素包括： 光感測器； 像素內比較器，包括第一開關及第二開關，其中 所述第一開關具有耦接參考電壓的控制端，以及耦接選擇訊號線的第一端， 所述第二開關具有耦接所述第一開關的第二端的第一端，耦接所述光感測器的第一端及接地端的第二端，以及耦接所述光感測器的第二端的控制端； 像素重置開關，具有耦接重置訊號線的控制端、耦接所述光感測器的第二端的第一端，以及耦接所述第一開關的第二端及所述第二開關的第一端的第二端，經配置以根據所述重置訊號線的重置訊號選擇性地導通所述第一端及所述第二端；以及 輸出選擇開關，具有耦接所述第一開關的第二端及所述第二開關的第一端的控制端、耦接第二選擇訊號線的第一端，以及耦接訊號輸出線的第二端，經配置以輸出自所述光訊號轉換的所述第一脈寬調變訊號。
  3. 如請求項1所述的影像感測器，其中所述卷積運算電路包括對應於所述像素群組的多行像素的多個行卷積運算電路，各所述行卷積運算電路包括： 多個符號位元邏輯，分別接收所述像素的所述第一脈寬調變訊號，並根據對應於各所述像素的權重相關訊號中的符號位元訊號及零位元訊號，選通（gate）所述第一脈寬調變訊號； 多個開關電流積分（switch-current integration，SCI）單元，分別接收經所述符號位元邏輯選通的所述第一脈寬調變訊號，並根據對應於各所述像素的所述權重相關訊號中的權重位元訊號，控制對應於該像素的所述權重電流的所述開啟時間；以及 積分電路，包括至少一積分電容，累積由所有的所述開關電流積分單元輸出的所述權重電流以產生積分電壓。
  4. 如請求項3所述的影像感測器，其中所述卷積運算電路更包括： 權重產生電路，包括： 依序串接的多個正反器，其中所述正反器中的第一正反器的輸入端接收所述權重相關訊號，所述正反器中的其他正反器的輸入端耦接所串接的前一所述正反器的輸出端； 緩衝器，暫存所述正反器輸出的所述權重相關訊號的多個零位元訊號、多個符號位元訊號及多個權重位元訊號；以及 多個電流數位類比轉換器（IDAC），分別接收所述緩衝器暫存的所述像素的所述權重位元訊號，各所述電流數位類比轉換器包括： 多個權重開關，具有彼此耦接的第一端及彼此耦接且接地的第二端，其中所述權重開關的面積具有預設比例，使得所述權重開關在控制端根據所述權重位元訊號開啟時，導通具有所述預設比例的電流；以及 加總開關，具有耦接供應電壓的第一端以及耦接所述權重開關的所述第一端的第二端及控制端，其中所述控制端的電壓對應於流經所述權重開關的所述權重電流的總和。
  5. 如請求項3所述的影像感測器，其中 各所述開關電流積分單元更包括正開關及負開關，其中 當所接收的所述權重相關訊號中的所述符號位元訊號為正值時，關閉所述負開關並開啟所述正開關以經由所述正開關輸出所述權重電流，以及 當所接收的所述權重相關訊號中的所述符號位元訊號為負值時，關閉所述正開關並開啟所述負開關以經由所述負開關輸出所述權重電流；以及 所述積分電路包括第一側電路及第二側電路，其中 所述第一側電路包括第一積分電容，用以累積由所有的所述正開關輸出的所述權重電流以產生正積分電壓，以及 所述第二側電路包括第二積分電容，用以累積由所有的所述負開關輸出的所述權重電流以產生負積分電壓。
  6. 如請求項5所述的影像感測器，其中所述比較電路包括： 電壓比較器，比較所述正積分電壓及所述負積分電壓以輸出卷積結果；以及 判斷邏輯，檢視所述卷積結果的訊號極性，在所述卷積結果為所述正積分電壓大於所述負積分電壓時，控制所述積分電路保存所述正積分電壓與所述負積分電壓的電壓差，以及在所述卷積結果為所述正積分電壓小於所述負積分電壓時，控制所述積分電路重置所述正積分電壓與所述負積分。
  7. 如請求項6所述的影像感測器，其中所述比較電路更包括： 第一斜坡電路，耦接所述積分電路的所述第一側電路；以及 第二斜坡電路，耦接所述積分電路的所述第二側電路，其中 所述判斷邏輯在判斷所述卷積結果為所述正積分電壓大於所述負積分電壓時，利用參考電壓重置所述負積分電壓，並控制所述第一斜坡電路將所述正積分電壓向下位移數值等同於所述負積分電壓的電壓量，以保存所述正積分電壓與所述負積分電壓的電壓差，且 所述判斷邏輯在判斷所述卷積結果為所述正積分電壓小於所述負積分電壓時，禁能所述第一斜坡電路及所述第二斜坡電路，並利用參考電壓重置所述正積分電壓與所述負積分電壓。
  8. 如請求項1所述的影像感測器，其中所述比較電路包括： 邏輯或閘，取列方向上相鄰的所述像素群組的所述第二脈寬調變訊號中脈寬最長的所述第二脈寬調變訊號輸出。
  9. 如請求項1所述的影像感測器，其中所述分類電路包括： 多個行分類電路，各所述行分類電路對應於所述像素群組中在列方向上相鄰的兩個像素群組中的多行像素，其中包括： 邏輯及閘，輸入所述全連接層節點的權重相關訊號中的零位元訊號、所述比較電路輸出的所述第二脈寬調變訊號及時脈訊號，輸出非零且位在所述第二脈寬調變訊號的脈寬內的量化時脈訊號； 量化計數器，計算所述量化時脈訊號中的脈衝數目；以及 解碼器，解碼所述脈衝數目為量化值； 可逆計數器（up-down counter），根據所述全連接層節點的權重相關訊號中的符號位元訊號，累計所有的所述行分類電路輸出的所述量化值作為所述特徵值；以及 特徵值比較器，比較所述特徵值及所述特徵門檻值，以獲得所述分類結果。
  10. 如請求項1所述的影像感測器，其中各所述像素群組中的所述像素的數目是依據所述經訓練卷積神經網路的核心（kernel）的大小來決定。
TW110146670A 2021-12-14 2021-12-14 整合卷積神經網路運算電路的影像感測器 TWI786992B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110146670A TWI786992B (zh) 2021-12-14 2021-12-14 整合卷積神經網路運算電路的影像感測器
US17/690,012 US11770642B2 (en) 2021-12-14 2022-03-09 Image sensor integrated with convolutional neural network computation circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110146670A TWI786992B (zh) 2021-12-14 2021-12-14 整合卷積神經網路運算電路的影像感測器

Publications (2)

Publication Number Publication Date
TWI786992B true TWI786992B (zh) 2022-12-11
TW202324194A TW202324194A (zh) 2023-06-16

Family

ID=85795003

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110146670A TWI786992B (zh) 2021-12-14 2021-12-14 整合卷積神經網路運算電路的影像感測器

Country Status (2)

Country Link
US (1) US11770642B2 (zh)
TW (1) TWI786992B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117857942A (zh) * 2024-03-07 2024-04-09 珠海燧景科技有限公司 读出电路、图像传感器及摄像系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018184192A1 (en) * 2017-04-07 2018-10-11 Intel Corporation Methods and systems using camera devices for deep channel and convolutional neural network images and formats
EP3451670A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with mode-aware deep learning
WO2019208677A1 (ja) * 2018-04-27 2019-10-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
US11037968B2 (en) 2019-04-05 2021-06-15 Waymo Llc Image sensor architecture
JP2020187409A (ja) 2019-05-10 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 画像認識装置、固体撮像装置、および画像認識方法
CN110929569B (zh) 2019-10-18 2023-10-31 平安科技（深圳）有限公司 人脸识别方法、装置、设备及存储介质
US11726793B2 (en) 2019-11-15 2023-08-15 Intel Corporation Data locality enhancement for graphics processing units
US11385526B2 (en) 2019-11-15 2022-07-12 Samsung Electronics Co., Ltd. Method of processing image based on artificial intelligence and image processing device performing the same
US20230028426A1 (en) * 2021-07-15 2023-01-26 Teraki Gmbh Method and system for optimizing image and video compression for machine vision

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
期刊 Korekado, Keisuke, et al. "A convolutional neural network VLSI for image recognition using merged/mixed analog-digital architecture." International Conference on Knowledge-Based and Intelligent Information and Engineering Systems. Springer, Berlin, Heidelberg 2003 pages 1-8 *

Also Published As

Publication number Publication date
US20230188865A1 (en) 2023-06-15
US11770642B2 (en) 2023-09-26
TW202324194A (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
US10594971B2 (en) Imaging device and imaging system performing multiple A/D conversions of a singular pixel signal
JP6097574B2 (ja) 撮像装置、その駆動方法、及び撮像システム
CN207099208U (zh) 图像传感器
JP5181087B2 (ja) 単一スロープ型アナログ‐デジタル・コンバータ
US8111312B2 (en) Solid-state imaging device, method of driving the same, and camera
CN207099209U (zh) 图像传感器与模数转换电路
US9232166B2 (en) Photoelectric conversion apparatus, method for driving the same, and photoelectric conversion system using first and second analog-to-digital converters to convert analog signal from respective plural electrical signal supply units based on signal change
CN207083171U (zh) 图像传感器
US7755531B2 (en) Analog reference voltage generator, method thereof, analog-to-digital converter including the same, and image sensor including the same
US20210029320A1 (en) Digital CDS Readout with 1.5 ADC Conversions Per Pixel
KR20120022034A (ko) 픽셀 데이터의 고속 출력을 위한 이미지 센서
US9900538B2 (en) Phase delay counting analog-to-digital converter circuitry
TWI786992B (zh) 整合卷積神經網路運算電路的影像感測器
US10904466B2 (en) Digital correlated double sampling circuits and image sensors including the same
JP2008294613A (ja) アナログ−デジタル変換器及びこれを用いたイメージセンサ
KR101695275B1 (ko) 아날로그-디지털 변환 장치, 이를 포함하는 이미지 센싱 장치 및 방법
CN114125334B (zh) 可输出时间信号及进行模拟运算的像素电路
CN217770053U (zh) 两步式单斜坡模数转换器、读出电路及图像系统
US8907835B2 (en) A/D conversion circuit and solid-state image pickup device
CN116266889A (zh) 整合卷积神经网络运算电路的图像传感器
CN115765739A (zh) 列级读出电路、列级逐次逼近型模数转换器及红外成像仪
US20090046181A1 (en) Method and apparatus providing improved successive approximation analog-to-digital conversion for imagers
Nelson et al. A Single-slope look-ahead ramp (SSLAR) ADC for column parallel CMOS Image sensors
US9113101B2 (en) Image sensor and image capturing system
KR20230099899A (ko) 다중 클럭을 이용하는 카운터 및 이의 동작 방법