JP7364244B2 - 電荷ドメイン数理エンジンおよび方法 - Google Patents

電荷ドメイン数理エンジンおよび方法 Download PDF

Info

Publication number
JP7364244B2
JP7364244B2 JP2020568952A JP2020568952A JP7364244B2 JP 7364244 B2 JP7364244 B2 JP 7364244B2 JP 2020568952 A JP2020568952 A JP 2020568952A JP 2020568952 A JP2020568952 A JP 2020568952A JP 7364244 B2 JP7364244 B2 JP 7364244B2
Authority
JP
Japan
Prior art keywords
charge
reservoir
pair
reservoirs
charge transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020568952A
Other languages
English (en)
Other versions
JP2021515955A (ja
Inventor
シー，デビッド
ガイテケビッチ，セルゲイ
ドラボス，ピーター
シブライ，アンドレアス
シブライ，エリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aistorm inc
Original Assignee
Aistorm inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aistorm inc filed Critical Aistorm inc
Publication of JP2021515955A publication Critical patent/JP2021515955A/ja
Application granted granted Critical
Publication of JP7364244B2 publication Critical patent/JP7364244B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C19/00—Digital stores in which the information is moved stepwise, e.g. shift registers
    • G11C19/18—Digital stores in which the information is moved stepwise, e.g. shift registers using capacitors as main elements of the stages
    • G11C19/182—Digital stores in which the information is moved stepwise, e.g. shift registers using capacitors as main elements of the stages in combination with semiconductor elements, e.g. bipolar transistors, diodes
    • G11C19/184—Digital stores in which the information is moved stepwise, e.g. shift registers using capacitors as main elements of the stages in combination with semiconductor elements, e.g. bipolar transistors, diodes with field-effect transistors, e.g. MOS-FET
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/14—Arrangements for performing computing operations, e.g. operational amplifiers for addition or subtraction 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/16—Arrangements for performing computing operations, e.g. operational amplifiers for multiplication or division
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/16—Arrangements for performing computing operations, e.g. operational amplifiers for multiplication or division
    • G06G7/163—Arrangements for performing computing operations, e.g. operational amplifiers for multiplication or division using a variable impedance controlled by one of the input signals, variable amplification or transfer function
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C19/00—Digital stores in which the information is moved stepwise, e.g. shift registers
    • G11C19/02—Digital stores in which the information is moved stepwise, e.g. shift registers using magnetic elements
    • G11C19/08—Digital stores in which the information is moved stepwise, e.g. shift registers using magnetic elements using thin films in plane structure
    • G11C19/0875—Organisation of a plurality of magnetic shift registers
    • G11C19/0883—Means for switching magnetic domains from one path into another path, i.e. transfer switches, swap gates or decoders
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C19/00—Digital stores in which the information is moved stepwise, e.g. shift registers
    • G11C19/18—Digital stores in which the information is moved stepwise, e.g. shift registers using capacitors as main elements of the stages
    • G11C19/182—Digital stores in which the information is moved stepwise, e.g. shift registers using capacitors as main elements of the stages in combination with semiconductor elements, e.g. bipolar transistors, diodes
    • G11C19/188—Organisation of a multiplicity of shift registers, e.g. regeneration, timing or input-output circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/04—Shift registers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/1461—Pixel-elements with integrated switching, control, storage or amplification elements characterised by the photosensitive area
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H01L27/14806—Structural or functional details thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/40—Electrodes ; Multistep manufacturing processes therefor
    • H01L29/41—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions
    • H01L29/423—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions not carrying the current to be rectified, amplified or switched
    • H01L29/42312—Gate electrodes for field effect devices
    • H01L29/42316—Gate electrodes for field effect devices for field-effect transistors
    • H01L29/4232—Gate electrodes for field effect devices for field-effect transistors with insulated gate
    • H01L29/42324—Gate electrodes for transistors with a floating gate
    • H01L29/42328—Gate electrodes for transistors with a floating gate with at least one additional gate other than the floating gate and the control gate, e.g. program gate, erase gate or select gate
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76—Unipolar devices, e.g. field effect transistors
    • H01L29/772—Field effect transistors
    • H01L29/78—Field effect transistors with field effect produced by an insulated gate
    • H01L29/792—Field effect transistors with field effect produced by an insulated gate with charge trapping gate insulator, e.g. MNOS-memory transistors
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K23/00—Pulse counters comprising counting chains; Frequency dividers comprising counting chains
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K3/00—Circuits for generating electric pulses; Monostable, bistable or multistable circuits
    • H03K3/02—Generators characterised by the type of circuit or by the means used for producing pulses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/19—Arrangements for performing computing operations, e.g. operational amplifiers for forming integrals of products, e.g. Fourier integrals, Laplace integrals, correlation integrals; for analysis or synthesis of functions using orthogonal functions
    • G06G7/1907—Arrangements for performing computing operations, e.g. operational amplifiers for forming integrals of products, e.g. Fourier integrals, Laplace integrals, correlation integrals; for analysis or synthesis of functions using orthogonal functions using charge transfer devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Description

（関連出願）
本特許出願は、Ｄａｖｉｄ Ｓｃｈｉｅの名において「ＣＨＡＲＧＥ ＤＯＭＡＩＮ ＭＡＴＨＥＭＡＴＩＣＡＬ ＥＮＧＩＮＥ」の表題の２０１８年３月２日に出願された米国仮出願第６２／６３７，４９６号に関連し、およびこれは、その全体が参照により本明細書に援用される。本特許出願は、米国特許法第１１９条（ｅ）の下で利益を主張する。
一般に、本発明は、イメージ検出装置に、およびより詳細には電荷ドメイン数理エンジンに関し、リザーバにおける電荷ストアは、機械学習入力層の乗算器に直接結合され得る。
シリコンイメージングにおいて、スピルおよびフィル回路、ＣＣＤシフトレジスタ、光検出器、相関二重サンプリング回路および類似の装置などの電荷ドメイン構造を使用して電荷の取り込みまたは移動に依存することは一般的である。スピルおよびフィル回路は、埋設された埋め込みフォトダイオードの概念に依存し得る。図１は、アクティブドーピングプロフィールを示す埋設されたピンダイオード構造１０の断面図を示す。埋設された埋め込みフォトダイオード１０は、光がストレージウェルＳＷ領域に埋設された埋め込みフォトダイオード１０によって収集されるときに作られる電子を取り込み得る。第２の電荷リザーバ、浮遊拡散ＦＤは、ＴＧとラベルしたトランスファゲートの反対側に作られる。
図２Ａを参照して、スピルおよびフィル回路２０が参照されるであろう。スピルおよびフィル回路２０は、トランスファゲートＴＧの正面に電子を保持する埋め込みフォトダイオード（ＰＰＤ）電荷レセプタクルの概念を使用する。トランスファゲートＴＧは、必要とされる電子流に準拠して下ろされ、および上げられる。ある時点で、トランスファゲートＴＧは、ポテンシャル障壁を下ろし、および電子がストレージウェルＳＷ電荷リザーバから浮遊拡散ＦＤ電荷リザーバへあふれる。装置は、全ての電子がストレージウェルＳＷ電荷リザーバから浮遊拡散ＦＤ電荷リザーバへ確実に移動するように作られる。図２Ｂは、ストレージウェルＳＷ電荷リザーバから浮遊拡散ＦＤ電荷リザーバへのエネルギー線図を示す。
図３を参照して、スピルおよびフィル回路３０が参照されるであろう。フィルおよびスピル回路３０は、図２Ａのスピルおよびフィル回路２０の使用を使用するが、トランスファゲートＴＧに結合したリセット装置３２および浮遊拡散ＦＤ電荷リザーバ上の電荷を電圧に変換し、次いでこれがその他の回路によって読み込まれ得るソースフォロアＳＦの概念を含む。典型的には、相関二重サンプリング（ＣＤＳ）は、ノイズをサンプリングし、およびリセット後の浮遊拡散ＦＤ電荷リザーバの出力に対して相殺し、および次いでスピル（電荷伝達）後に再び読み込むために使用され得、その結果ストレージウェルＳＷに蓄積された最後の積算電荷に起因する相違のみが残る。こうすることより、任意のオフセット電荷および一定のノイズが除去される。
２つの電荷リザーバの代わりに、単一の電荷リザーバは、重み付き入力および加算結果または重み付き加算器を製作するために使用されるであろう。初めに、前記リザーバは、既知の電荷レベルにリセットされるであろう。その後、第１のサイクルの間、複数の入力電流移動手段が電荷リザーバからの電荷を前記電流移動手段のそれぞれと結合して、電荷を個々に比例した割合にて（所望の重み値に準拠して）出力電流移動手段に移動して第２のサイクルにおいて使用されるであろうが、前記第１のサイクルの間には止まる。加えて、前記複数の入力電流移動手段のそれぞれは、さらに個々の入力の大きさに準拠して時間でゲート制御され、またはある時間の間のみ電荷を移動させるであろう。ゲート制御された期間に生じる入力電荷移動の大きさは、重み付き入力の大きさに準拠する電荷を前記電荷リザーバから移動するであろう。第１のサイクルの終わりに、一旦全ての入力移動手段がこれらの電荷を移動したら、第２のサイクルは、出力電荷移動手段に電荷リザーバにおける電荷をその本来のレベルまで戻らせるであろう。そうするためにかかる時間は、入力の重み付けした和に比例するだろう。これにより、生じる重み付き加算器は、時間として入力を受け取り、重みは、電荷移動割合の大きさであり、および時間として出力を生じる。
一旦電荷が浮遊拡散ＦＤ電荷リザーバへ伝達されると、電荷を電圧または電流に、およびその後デジタル値に変換するためのソースフォロアＳＦの代わりに使用され得る多数のその他の回路がある。たとえば、撮像素子の列は、カウンタに依存し得るし、これがそれぞれのピクセルフォロア値および記録したそれぞれの特定のピクセルに付随するデジタルワードと比較される。電荷ドメインからデジタルワードへの変換の速度および出力効率を最適化することを試みる多くの回路がある。
マシンビジョンは、人工知能（ＡＩ）または機械学習の共通アップリケーションである。自律的またはマシンビジョン補強された乗り物、指紋または顔認識などのハンドセットセキュリティ、スマートシティセンサ、防犯カメラ、Ｘ線、超音波および医学的診断、ロボット工学、ドローン、ウエアラブル心拍数モニタ、行動解析およびモニタリング並びに多くのその他の適用は、種々の課題についてのイメージの解析に依存し、これらの多くは、時間および電力がクリティカルである。
現在、機械学習システムは、入力がデジタルワードまたは少なくとも電圧、電流またはスパイキング波形（これは、電圧または電圧の波形でもある）であることを必要とする。電荷の変換は、図３に示したソースフォロアＳＦなどの結合回路に依存し、これらの全てが３つの好ましくない副作用と関連することが公知である。第１は、結合回路によるノイズの導入によるイメージ品質の損失である。図１～３に記述されたストレージウェルＳＷなどのリザーバまたは浮遊拡散ＦＤ領域において保持された電荷を電圧または電流に変換する任意の回路は、ノイズを必ず導入するであろうことが当業者には周知である。このノイズは、たとえば１４ビットのピクセル精度を持つイメージを１２ビット相当の精度に低下し得る。医学的または緊急を要する生命安全適用において、これは、重要な情報を不明瞭にし得る。電流または電圧ドメインへの変換の第２の副作用は、変換に付随する時間である。結合回路の出力時の電圧または電流のデジタル化は、時間を要する。補強された乗り物、生命安全適用または高速イメージング適用において、この待ち時間は、死または致死率などの望ましい結果または非常に望ましくない結果との間の相違を文字通り意味し得る。最後に、電荷ドメインから電圧または電流ドメインおよび最後にデジタルドメインへの情報の変換は、さらなるエネルギーをさらに必要とする。このエネルギーは、結合回路それ自体、並びに、神経形態学的なスパイキング波形などの所望の波形のデジタル化または生成することに関連した回路網に付随する。
したがって、上の問題を解決するシステムおよび方法を提供することが望ましいであろう。本システムおよび方法は、リザーバにおいて蓄積された電荷を機械学習入力層の乗算器または重み付き加算器に直接結合するであろう。
一つの態様に従って、乗算器が開示される。乗算器は、一対の電荷リザーバを有する。一対の電荷リザーバは、直列に結合される。第１の電荷移動装置は、同じ割合で一対の電荷リザーバへ、または、一対の電荷リザーバから電荷移動を誘導する。第２の電荷移動装置は、一対のリザーバの１つへ、または一対のリザーバの１つから電荷移動を誘導し、電荷移動の割合は、第１の電荷移動装置と比例した割合にて電荷を付加するか、または除去するかの一方にプログラムされる。第１の電荷移動装置またはその他の機構は、第１のサイクルの間に一対の電荷リザーバの第１に第１の電荷を荷電する。第１の電荷移動装置および第２の電荷移動装置は、一対の電荷リザーバの第１が第１の電荷を枯渇するまで第２のサイクルの間に一対の電荷リザーバから比例した割合で電荷を除去する。
一つの態様に従って、ニューラルネットワークを形成する方法が開示される。ニューラルネットワークは、アナログ乗算器を有する。アナログ乗算器は、一対の電荷リザーバを有し、一対の電荷リザーバは、直列に結合する。第１の電荷移動装置は、同じ割合で一対の電荷リザーバへ、または一対の電荷リザーバから電荷移動を誘導する。第２の電荷移動装置は、一対のリザーバの１つへ、または一対のリザーバの１つから電荷移動を誘導し、電荷移動の割合は、第１の電荷移動装置と比例した割合で電荷を添加するか、または除去するかの一方にプログラムされる。第１の電荷移動装置またはその他の機構は、第１のサイクルの間に一対の電荷リザーバの第１に入力電荷を荷電する。第１の電荷移動装置および第２の電荷移動装置は、一対の電荷リザーバの第１が入力電荷を枯渇するまで第２のサイクルの間に一対の電荷リザーバから比例した割合で電荷を除去する。入力収集装置は、入力情報に準拠して一対のリザーバの第１において電荷を蓄積するための機構として使用される。
一つの態様に従って、アナログ乗算器が開示される。アナログ乗算器は、埋め込みフォトダイオードおよび光検出器を含むアクティブピクセルを有し、アクティブピクセルへの入力情報は、第１の入力電荷リザーバに蓄積される。第２の電荷リザーバは、第１の電荷リザーバと第２の電荷リザーバとの間に配置されたトランスファゲートによって第１のリザーバに結合され、移動の電荷の第１の割合は、トランスファゲートによって制御されてもよい。第２の電荷移動装置は、第２の電荷リザーバに結合され、電荷移動の第２の割合は、電荷移動の第１の割合のものに比例してプログラムされてもよい。入力電荷は、第１のサイクルの間にのみ第１の電荷リザーバに荷電され、かつ、トランスファゲートおよび第２の電荷移動装置は、第１の電荷リザーバが枯渇して第２のサイクルの最後にて第２の電荷リザーバにおいて電荷乗算を生じるまで第２のサイクルの間に比例して荷電する。
一つの態様に従って、乗算器が開示される。乗算器は、一対の電荷リザーバを有し、一対の電荷リザーバのそれぞれは、ゲート制御された電荷移動装置に結合される。ゲート制御された電荷移動装置は、電荷移動の割合が比例するようにプログラムされ、ゲート制御された電荷移動装置は、一旦、一対の電荷リザーバの１つが枯渇されると電荷移動を止める。
もう一つの態様に従って、重み付き加算器が開示される。重み付き加算器は、単一の電荷リザーバからなる。複数の入力電流移動装置は、単一の電荷リザーバに結合され、入力電流移動装置のそれぞれについて、電流の移動の割合は、重み被乗数に準拠し、および電荷移動の出力電荷移動装置割合と比例する。第１のサイクルの間のそれぞれの出力電荷移動装置の伝導時間は、入力値に準拠する。第１のサイクルの間に単一の電荷リザーバに付加される、または除去される電荷は、入力値の加重和を表す。第２のサイクルの間、出力電荷移動装置は、電荷を付加するか、または除去するかの一方をして、その本来のレベルまで単一の電荷リザーバを戻すであろうし、本来の値まで戻るために要する時間は、比例する入力電荷移動装置の移動の割合によって加重された入力値時間の和を表す。
一つの態様に従って、重み付き加算器が開示される。重み付き加算器は、第１のサイクルの間に入力値に準拠する時間の間、出力電荷移動装置割合と比例した割合で複数の重み電荷移動装置からの電荷を付加するか、または除去するかの一方をする。出力電荷移動装置は、電荷を付加するか、または除去するかの１つをして第２のサイクルの間に本来の電荷レベルまで電荷レベルを変化する。加重されている出力時間は、重み電荷移動装置の出力電荷移動装置割合と比例することによって加重された入力時間の表示を加算する。
本出願は、以下の図面に関してさらに詳述される。これらの図は、本出願の範囲を限定することを意図しないが、むしろその一定の特性を図示する。同じ参照番号が図面の全体にわたって使用されて、同じまたは同様の部分をいう。
アクティブなドーピングプロフィールを示す埋設されたピンダイオード構造の横断面図を示す。
スピルおよびフィル回路を示す。
図２Ａのスピルおよびフィル回路についてストレージウェルＳＷ電荷リザーバから浮遊拡散ＦＤ電荷リザーバへのエネルギー線図を示す。
バス（ＣＯＬ ＢＵＳ）への選択ライン（ＳＥＬ）を介して浮遊拡散（ＦＤ）の電圧を読み出すためにリセット機構（ＲＳＴ）に、およびソースフォロア（ＳＦ）にさらに結合された図２Ａのスピルおよびフィル回路を示す。
本出願の一つの側面に準拠して電荷ドメイン数理エンジンの基礎を形成するニューラルネットワークアーキテクチャの代表的態様を示すブロック図である。
本出願の一つの側面に従って二次元シフトレジスタを持つ埋め込みフォトダイオード（ＰＰＤ）の代表的態様を示すブロック図である。
本出願の一つの側面に準拠したＣＣＤシフトレジスタの上部レベル図を示す。
本出願の一つの側面に従ったポリフィンガーに沿った前記ＣＣＤシフトレジスタの横断面図を示す。
本出願の一つの側面に従ったポリフィンガーを横切って切断する前記ＣＣＤシフトレジスタの横断面図を示す。
ＣＣＤシフトレジスタの異なる構成を示し、データは、垂直に、および次いで水平に移動して異なる方向に情報の流れを変化させてもよい。
乗算および加算係数のシストリック再配置の概念を示し、本発明の一つの側面に従った最適化された方法でニューラルネットワークの重み付き加算器に重みおよび入力値を提供する（重み付き加算器への係数の供給を再配置する）ためのＣＣＤシフトレジスタまたはその他の手段を使用して得られるであろう効率を図示する。
第１の電荷移動手段および電荷移動手段の１つのみに結合された第１と比例した比例電荷移動手段によって共に結合された結合電荷リザーバの概念を図示し、図８Ａは、電荷リザーバとしてコンデンサおよび電荷移動装置として電流源を使用するこの構成を示し、および図８Ｂは、埋め込みフォトダイオードストレージウェル、浮遊拡散およびトランスファゲートを使用する類似の構成を示す。 第１の電荷移動手段および電荷移動手段の１つのみに結合された第１と比例した比例電荷移動手段によって共に結合された結合電荷リザーバの概念を図示し、図８Ａは、電荷リザーバとしてコンデンサおよび電荷移動装置として電流源を使用するこの構成を示し、および図８Ｂは、埋め込みフォトダイオードストレージウェル、浮遊拡散およびトランスファゲートを使用する類似の構成を示す。
スイッチ構成を介してパルスまたは電流源重みを結合するために使用され得るクロスバーを示す。
出力ノードに加重電荷を加算し、およびまた時間でいくつかのフレームにわたってこのような電荷の加算をシフトすることができる時間加重クロスバーを示す。
スイッチング装置に対する電荷注入を減少する、または電流源におけるリンギングを減少するために使用し得る接合部を欠いたトランスファゲートを示す。
本出願の一つの側面に従ってパルス出力を伴った重み付き加算器の代表的態様を示すブロック図である。
添付の図に関連して以下に述べる記述は、開示の現在好ましい態様の記述として意図され、および本開示が構築されても、および／または利用されてもよい形態のみを表すことは意図されない。記述は、図示された態様に関連して開示を構築し、および動作するための機能および工程の順序を記載する。しかし、同じまたは均等の機能および順序は、異なる態様によって達成されてもよく、またこの開示の精神および範囲内に包含されることが意図されることが理解されるべきである。
リザーバにおいて蓄積された電荷を直接機械学習入力層の乗算器に結合することは望ましい。図４を参照して、本出願の基礎を形成するニューラルネットワークアーキテクチャ４０を示すブロック図が参照され得る。ニューラルネットワークアーキテクチャ４０において、円４２は、ニューロンであり、または入力層の場合においては、入力電圧、電荷、電流、波形またはデジタルワードである。線４４は、乗算器であり、入力情報に重み（ｗ）を乗じる。結果は、決定回路に供給され、およびその出力は、次いで次の層に供給される。それぞれのニューロンとして、潜在的にバイアスおよび潜在的に決定回路は、重み付き入力の加算器を含み、以下の層において多くのニューロンに接続されてもよく、したがって重みの数は、非常に大きくすることができる。
上記に基づいて、入力層をＳＷまたはＦＤなどの電荷リザーバと置換すること、およびこの入力層を第１の内部層に直接接続する乗算器内でこの電荷を利用することができる場合、結合およびデジタル化回路に付随するノイズによる待ち時間、電力および情報損失を除去することがでるであろう。
図５を参照して、一旦電荷がＳＷまたはＦＤなどのリザーバに蓄積されると、図５に示すように電荷が結合したシフトレジスタ５０においてその電荷を蓄積することが可能である。シフトレジスタ５０は、複数のセル５２で形成され得る。シフトレジスタ５０は、電荷情報の忠実度の損失を伴わずに電荷を移動し得る。また、電荷を複数の軸に沿って移動すること、および特定のリザーバ内に保持された電荷を組み合わせることができる。また、複数のシフトレジスタ５０を使用して異なる方向に、および異なる速度にて乗算した情報を移動することができる。
図５において、埋め込みフォトダイオード（ＰＰＤ）は、上部左に大きな長方形によって表され得る。これは、ＴＧを介して電荷リザーバに電荷を送達する。垂直に電荷を荷電し続け、および次いでシフトレジスタ５０の構築に基づいて水平にこれらを移動することができる。この方法では、小さな領域において、高い忠実度で電荷情報を一時的に蓄積することができる。また、１つのリザーバにおける電荷を誘導して既存の電荷を持つリザーバに流して加算を行うことができる。
図６Ａ～６Ｄは、電荷結合素子（ＣＣＤ）シフトレジスタ６０の複数の横断面図を示す。ＣＣＤシフトレジスタ６０は、蓄積された内容のＸおよびＹ移動を可能にする。
数理的構築を利用して機械学習システムにおける乗算の効率を改善することは、一般的である。たとえば、マトリックス乗算では、これらが情報を再ロードしなければならなくなることなく効率的に再利用し得るように、異なる配列を介して被乗数を移動することが一般的である。シストリック構造は、被乗数をロードしなければならない回数を減少させるために使用され得るし、かつ以前の算出を使用する例である。電荷結合シフトレジスタを利用してこれらのタイプの数理的効率改善に適合して電荷被乗数を編成すること、およびいくつかの場合において電荷結合シフトレジスタをさらに利用して加算のために電荷を組み合わせることが望ましいであろう。
図７Ａ～７Ｂを参照して、シストリックアレイの概念が開示され得る。シストリックアレイは、メモリローディングを減少させ、およびデータを帰納的または効率的な構築物に編成してマトリックス乗算の効率を上昇させる。異なるシストリックインプリメンテーションによって必要とされるように、ＣＣＤシフトレジスタを伴うシストリック技術を実行することは、オペランドを、シフトレジスタを介して異なる速度にて、および異なる方向に容易に移動することができるので、有用である。
図８Ａ～８Ｂは、複数のインプリメンテーションにおける電荷に基づいたアナログ乗算器を示す。図８Ａにおいて、インプリメンテーション８０は、コンデンサが電荷蓄積のために使用されており、スイッチＳ１およびＳ２が第１のサイクルの間に入力電荷リザーバＣ１を荷電するために使用され場合を示す（Ｓ１はオフ、Ｉ１はオフである、Ｉ２はオフである、Ｓ２はオンにされ、電流源８２はしばらくオンにされ、スイッチＳ２はこのサイクルの終わりにオフにされる）。図８Ｂにおいて、埋め込みフォトダイオードＰＰＤは、電流源８２およびスイッチＳ２がしばらく光にそれを曝露することによってＣ１を荷電するのと同じ方法でリザーバＳＷを荷電することを示す。両方の場合において、入力電荷リザーバ（一方の場合においてＣ１およびその他においてＳＷ）は、第１のサイクルの間に電荷で満たされる。
第２のサイクルにおいて、図８ＡにおいてＳ１は、閉じている（Ｓ２は、開いている）。電流源Ｉ１およびＩ２は、大きさに比例し、オンにされる。Ｃ１は、Ｉ１＋Ｉ２の電流の大きさによって荷電され、およびＣ２は、１２の電流の大きさによって荷電される。ノードは、Ｃ１における電荷が完全に消散される（それ全体の電圧がゼロに到達する）までモニタされる。これは、Ｑｃ１／（Ｉ１＋Ｉ２）時間を要し、Ｑｃ１は、第１のサイクルの間にＣ１に導入される電荷であった。Ｃ２は、このＱｃ１／（Ｉ１＋Ｉ２）時間の間のみ１２によって荷電され、これはＩ２＊Ｑｃ１／（Ｉ１＋Ｉ２）の電荷が見られるであろうことを意味する。これは、これがＩ２／（Ｉ１＋Ｉ２）の比率を乗じた電荷Ｃ１を受けるだろうことを意味する。Ｉ２／（Ｉ１＋Ｉ２）を制御することにより、乗算器利得をセットした。
類似の方法において、図８Ｂでは、埋め込みフォトダイオードＰＰＤにおける電荷が、ＴＧ経路によって制御される割合で浮遊拡散ＦＤへフィールドによって移動され得る。また、ＴＧＩを介した第２の電荷経路は、ＳＷからの電荷移動の割合に比例した割合でＦＤを満たす。ＳＷを枯渇させるために要する時間は、Ｑｃ１／ｉ１＝ｔである。電流ｉ１＋ｉ２は、時間ｔの間ＦＤに流れており、したがって、Ｑｃ１＊（ｉ１＋ｉ２）／ｉ１は、ＦＤにおける電荷である。したがって、電荷を（ｉ１＋ｉ２）／ｉ１で効率的に乗じた。埋め込みフォトダイオードの代わりに、ＣＣＤアレイまたはその他の浮遊拡散がｉ１の供与源であることもできるであろう。ＦＤは、これらを結合回路によって電圧または電流に読み込ませてもよく、またはさらなる算出のために使用されてもよい。
ＣＣＤシフトレジスタにＰＰＤ乗算器の出力を結合することにより、二次元ＣＣＤシフトレジスタまたは第２のＣＣＤシフトレジスタを使用して、あたかもこれらがニューロンに入っているかのように電荷を加算してもよい。シストリックアーキテクチャが使用される場合、電荷リザーバは、これらがＣＣＤアレイを介して移動するので、適切なオペランドに結合されてもよく、および結果を乗算器の入力リザーバに加算してもよく、または結果を再使用のためにもう一つのシフトレジスタセルに再注入することもできるであろう。同報通信トポロジーのためには、ＣＣＤシフトレジスタを使用して、複数の入力のコピーを生成してｘｉオペランドを複数の乗算器に荷電してもよい。
したがって、１つまたは複数のＣＣＤアレイに被乗数を蓄積すること、および次いでメモリローディングおよび乗算器効率を最小限にするようにシストリック構成と適合してアレイを介して情報を移動することは、有用であろう。
同時に前記第１のリザーバへの複数の入力のローディングを可能にすることは、有用であろう。これは、以前の層からの複数のニューロンの出力などの複数の重み付き入力から公知の電荷を、前記第１の乗算器リザーバに加算することによって達成され得る。図９は、クロスバー９０の概念を示す。クロスバー９０は、入力のセットと出力のセットとの間の個々のスイッチのアセンブリーである。スイッチは、マトリックスで配置されてもよい。時間加重クロスバー９０がＭ入力およびＮ出力を有する場合、クロスバーは、Ｍ×Ｎクロスポイントを持つマトリックスまたは接続が交差する場所を有する。それぞれにて、クロスポイントは、スイッチであり；閉じるときに、それは、入力の１つを出力の１つに接続する。所与のクロスバーは、単一の層、無閉塞スイッチである。無閉塞スイッチは、その他の並行接続がその他の入力をその他の出力へ接続することを防げないことを意味する。図９において参照され得るように、金属線９２は、共になり、およびこれら間のスイッチがオンにされて、異なる層において、または金属もしくはその他の導体の同じ層において共に接続し得る。いくつかのクロスバーにより、かなりのファンアウトを生じることができる。ゲート制御された電流源９４を、このような構成を介して結合してもよい。
同時に前記第１のリザーバへの複数の入力のローディングを可能にすることは、有用であろう。これは、以前の層からの複数のニューロンの加重出力などの複数の重み付き入力からの公知の電荷を、前記第１の乗算器リザーバに加算することによって達成され得る。図１０は、時間加重クロスバー１００の可能な構成の１つを示すが、現在のところスイッチの第２の列が閉じていると仮定する。この場合において、接続された経路は、さらに同じ大きさの電流源１０２に結合される。経路は、ＮＶＭ電圧などの蓄積された電圧がコンパレーター１０４によって定まるランプ電圧に一致するまで荷電し始めない。電流は、比例するので、これにより、蓄積された電圧と比例した電荷を生じ、およびランプが同じ供与源から生成される。これらの電流は、浮遊拡散に注入しても、もしくは拡散内で光学的に結合してもよく、またはコンデンサもしくはその他のストレージエレメントが乗算器のために使用される場合、直接使用してもよい。この時間遅延クロスバー１００は、相対または直接アドレス指定を使用してアドレス指定してもよく、およびニューロンが特定の物理的な位置を有する場合であっても柔軟なニューラルネットワーク構成が可能になる。結果として、重みが電流の大きさによって、および入力値が時間によって設定される。その後の層またはＰＰＤ入力などの電荷入力を伴う層については、それぞれの重み付き加算器の出力は、時間であることができ、およびしたがってコンパレーター１０４は、必要でなく－以前のニューロンの出力を、直接スイッチをゲート制御するために適用することができる。
電流の大きさは、ダイナミックに、またはＮＶＭメモリに由来し得る。これは、強誘電のメモリスタなどのアナログメモリでもよい。これは、アナログ浮遊ゲートまたはフラッシュメモリであることもできるであろう。またはこれは、ＤＮＡメモリであることができるであろう。ＤＮＡメモリは、３ｎｍのような非常に小さな領域において非常に長い存在期間でアナログまたはデジタルメモリを製造する際に最近多大な見込みを示している。パナソニックによって開発されたものなどの強誘電のメモリスタは、正確なアナログ量を生じることができることが示されている。
神経形態学的なスパイキングネットワークは、制御ニューロン加重入力加算器が閾値に達するときにニューロン経路をオンにするのみであり、十分な入力電荷を蓄積していないニューロンを使用されないままにするので、これらは、エネルギー効率的である。前記重み付き加算器がニューロンを生成するために使用されるときに、このようなインプリメンテーションを可能にする本出願において記述した重み付き加算器を改変することは有用であろう。これは、コンパレーターを第１の／入力電荷リザーバに結合することによって行うことができ、および一旦このリザーバにおける電荷がレベルに達すると、割り込みを生成して、ニューロンの出力を所望のニューラルネットワーク内のその適切な接続に結合するようにコントローラに強制する。また、いくつかの神経形態学的なスパイキングネットワークは、大きさおよび／または時間遅延情報についての要求を有する。時間遅延は、複数回時間遅延クロスバーにおいてランプを繰り返すことを介して、および図１０におけるスイッチ１０６の第２のセットの使用を介して導入してもよい。たとえば、ランプが５回繰り返され、およびコントローラがそのランプにおいて電流が加えられされるべきであることを示す５ビットの文字を提供した場合、簡易なカウンタを使用して、適切な５ビットの遅延文字にマッチする場合に電流が流れることを可能にすることのみによって、いつ前記第２のスイッチをオンにして前記時間遅延を実行するかを決定することができるであろう。
一定の場合において、完全に電荷リザーバを分離することが、むしろ直列にこれらを結合するよりも効率的であり得る。この場合において、第１のサイクルの間および第２のサイクルの間の第１の電荷リザーバ電荷は、それが枯渇されるまで制御された割合で電荷移動手段によって放出される。この同じ第２のサイクルの間、第１を荷電するものに比例する大きさであるようにプログラムされた第２の電荷移動手段は、第１の電荷リザーバにおける電荷が枯渇されるまで第２の電荷リザーバを荷電する。ここで、第２の電荷リザーバにおける電荷は、電荷移動の割合の比率を乗じた第１のものであろう。たとえば、電荷移動手段が電流源であり、およびＩ１が第１の電荷リザーバを枯渇し、およびＩ２が第２を荷電していた場合、第２のサイクルの最後に前記第２の電荷リザーバにおける電荷は、Ｉ２／Ｉ１＊Ｑ１であるだろうし、式中Ｑ１は、第１の電荷リザーバにおける最初の荷電である。電荷移動手段は、ＭＯＳＦＥＴ、トランスファゲート、傾斜接合または電荷を制御することができ、一方で始められる、または止められるその他の装置であることができ得る。
電荷注入を減少させて、および極めて小さな当量のキャパシタンスの使用を可能にするために、トランスファゲートは、接合部を欠いたＭＯＳＦＥＴで生成され、その構造は、またオーバーラップキャパシタンスを最小限にするようにデザインされる。例を図１１に示す。
図１２を参照して、重み付き加算器１２０を示す態様が検討され得る。ここで、ＭＮ１のゲートからなる単一の電荷リザーバを示してあり、これはまた、Ｃ１（コンデンサまたは浮遊拡散であることができ得る）、ゲーティングＭＯＳＦＥＴ １２２のドレインおよびＩｏｕｔとしても知られる電流源１２６に結合される。ｗ１およびｗｎ並びにバイアスｂ１と表示した電荷移動装置１２４は、所望の重み入力に準拠して、および電流源Ｉｏｕｔ１２６に比例してプログラムされる。これらの重み入力は、時間入力ａ１、ａｎおよびｂによってゲート制御され、これらは、ＭＯＳＦＥＴ １２２のゲートを駆動する緩衝器に接続して示してある。リセットの間、ＭＮ１のゲートは、そのＶｔコンパレーター閾値を下回って引かれ、これによりＭＯＳＦＥＴ Ｍ１のドレインを反転させ、およびこれがスイッチオフされた後にＭＮ１ゲートがそのスイッチング閾値に到達するまでインバータ１２８が電流源１２６をオンにすることが可能になるだろう。第１のサイクルにおいて、複数個のパルスがａ１…ａｎおよびｂを入力する時は、効率的に重みが所与の長さの時間の間流れることができ、その結果加重電荷をＭＮ１のゲートにて電荷リザーバから除去させる。一旦この電流が除去されると、ＭＮ１のドレインは、再びその状態を反転させ、およびインバータ１２８に電流源Ｉｏｕｔをオンにさせるであろうし、これにより重み付き入力によって除去された電荷を置き換えるであろう。そうするために要する時間は、ａｏｕｔにて加重和出力パルスを示すであろう。
開示の態様を種々の具体的態様に関して記述してきたが、当業者であれば、開示の態様が特許請求の範囲の精神および範囲内の改変を伴って実施されてもよいことを認識するであろう。
（付記）
本願発明は、明細書記載の実施形態に基づいて以下の構成を取り得る。
［構成１］
一対の電荷リザーバであって、直列に結合される、一対の電荷リザーバと、
同じ割合にて一対の電荷リザーバへ、または前記一対の電荷リザーバから電荷移動を誘導する第１の電荷移動装置と、
一対のリザーバの１つへ、または前記一対のリザーバの１つから電荷移動を誘導する第２の電荷移動装置であって、電荷移動の割合は、前記第１の電荷移動装置と比例した割合で電荷を付加するか、または除去するかの一方にプログラムされる、電荷移動装置と、
を備え、
第１の電荷は、第１のサイクルの間に前記一対の電荷リザーバの第１に荷電され、前記第１の電荷移動装置および前記第２の電荷移動装置は、前記一対の電荷リザーバの第１が前記第１の電荷を枯渇し、電荷が前記第２の電荷リザーバにおける電荷移動割合の比率を乗じた前記第１の電荷を表すままになるまで、前記第２のサイクルの間に前記一対の電荷リザーバから比例した割合で電荷を除去する、乗算器。
［構成２］
電荷移動を止めるための装置をさらに含む、構成１に記載の乗算器。
［構成３］
前記第１の電荷移動装置および前記第２の電荷移動装置は、電界の制御に基づく、構成１に記載の乗算器。
［構成４］
前記第１の電荷移動装置は、前記一対の電荷リザーバと直列に結合される第１の電流源であり、および前記第２の電荷移動装置は、前記一対の電荷リザーバが交わるノードにて結合される第２の電流源である、構成１に記載の乗算器。
［構成５］
前記電荷移動を止めるための装置は、トランスファゲートであり、トランスファゲートは、イベントに準拠してバリアを下ろし、および次いでバリアを上げ、一方でその他の時には電荷移動を制御するようにフィールドを保持する、構成２に記載の乗算器。
［構成６］
前記一対の電荷リザーバは、コンデンサである、構成１に記載の乗算器。
［構成７］
前記一対の電荷リザーバは、浮遊拡散である、構成１に記載の乗算器。
［構成８］
前記第１の電荷は、スイッチドキャパシタ回路、アクティブピクセル回路；またはＶ／Ｉ ｔｏ 電荷回路の１つによって前記一対の電荷リザーバの第１に導入される、構成１に記載の乗算器。
［構成９］
アナログ乗算器であって、
直列に結合する一対の電荷リザーバ、
同じ割合にて前記一対の電荷リザーバへの、または、前記一対の電荷リザーバからの電荷移動を誘導する第１の電荷移動装置、および、
前記一対のリザーバの１つへ、または前記一対のリザーバから電荷移動を誘導する第２の電荷移動装置であって、電荷移動の割合は、前記第１の電荷移動装置と比例した割合で電荷を付加するか、または除去するかの一方にプログラムされる、第２の電荷移動装置を備え、
第１のサイクルの間の前記一対の電荷リザーバの第１への第１の電荷、前記第１の電荷移動装置および前記第２の電荷移動装置は、前記一対の電荷リザーバの第１が第１の電荷を枯渇するまで第２のサイクルの間に前記一対の電荷リザーバから比例した割合で電荷を除去する、アナログ乗算器と、
入力情報に準拠して前記一対のリザーバの第１において電荷を蓄積するための入力収集装置と、
を備える、ニューラルネットワーク。
［構成１０］
前記アナログ乗算器は、電荷移動を止めるための装置を含む、構成９に記載のニューラルネットワーク。
［構成１１］
前記ニューラルネットワークと同じ集積回路上に形成された入力フォトダイオードを含む、構成９に記載のニューラルネットワーク。
［構成１２］
前記入力収集装置は、電荷ドメイン回路であり、かつ、前記入力情報は、光学情報である、構成９に記載のニューラルネットワーク。
［構成１３］
前記入力収集装置と前記一対の電荷リザーバの第１との間に結合された少なくとも１つの電荷結合素子（ＣＣＤ）シフトレジスタを含む、構成９に記載のニューラルネットワーク。
［構成１４］
前記入力収集装置に結合された少なくとも１つの電荷結合素子（ＣＣＤ）シフトレジスタを含み、前記ＣＣＤシフトレジスタは、前記一対の電荷リザーバの第１として使用される、構成９に記載のニューラルネットワーク。
［構成１５］
前記ＣＣＤシフトレジスタは、二次元シフトレジスタである、構成１３に記載のニューラルネットワーク。
［構成１６］
前記ＣＣＤシフトレジスタは、その周囲周辺でセルにて情報を受け入れることができる二次元の結合されたアレイである、ニューラルネットワーク。
［構成１７］
前記一対の電荷リザーバの第１に入力オペランドを情報通信するために使用される時間加重クロスバーを含み、前記少なくとも１つのＣＣＤシフトレジスタは、シストリック応答に従って電荷を結合するために使用される、構成１３に記載のニューラルネットワーク。
［構成１８］
第２のオペランドは、第２のＣＣＤシフトレジスタにおける電荷として蓄積され、複数のＣＣＤシフトレジスタは、シストリックアルゴリズム毎にそれぞれのオペランドを渡す、構成１７に記載のニューラルネットワーク。
［構成１９］
埋め込みフォトダイオードまたはその他の光検出器の少なくとも１つを含むアクティブピクセルであって、アクティブピクセルへの入力情報は、第１の入力電荷リザーバにおいて蓄積される、アクティブピクセルと、
前記第１のリザーバに結合された第２の電荷リザーバと、
前記第１の電荷リザーバ前記と第２の電荷リザーバとの間に配置されたトランスファゲートであって、電荷の移動の第１の割合は、前記トランスファゲートに結合されたフィールドによって制御されてもよい、トランスファゲートと、
前記第２の電荷リザーバに結合された第２の電荷移動装置であって、電荷移動の第２の割合は、電荷移動の前記第１の割合のものに比例してプログラムされてもよい、第２の電荷移動装置と、
を備え、
第１の電荷は、第１のサイクルの間にのみ前記第１の電荷リザーバに荷電され、および前記トランスファゲートおよび前記第２の電荷移動装置は、前記第１の電荷リザーバが枯渇して第２のサイクルの最後にて前記第２の電荷リザーバにおいて電荷乗算を生じるまで第２のサイクルの間に比例して電荷を移動する、
アナログ乗算器。
［構成２０］
オーバーラップキャパシタンスを最小限にするために接合部を欠いたトランスファゲートを含む、構成１９に記載のアナログ乗算器。
［構成２１］
それぞれがゲート制御された電荷移動装置に結合される一対の電荷リザーバを備え、
前記ゲート制御された電荷移動装置は、電荷移動の割合が比例するようにプログラムされ、前記ゲート制御された電荷移動装置は、一旦、前記一対の電荷リザーバの１つが枯渇されると電荷移動を止める、乗算器。
［構成２２］
前記一対の電荷リザーバの第１に複数の重み付き入力を荷電する装置を含む、構成２１に記載の乗算器。
［構成２３］
プログラミング装置によってそれぞれが個々に時間でゲート制御された前記一対の電荷リザーバの第１に結合された複数の電荷移動割合を制御された入力を含む、構成２１に記載の乗算器。
［構成２４］
複数のクロスバー導体線と、
複数の導体線に結合する複数のゲート制御された電流源であって、これによって複数のゲート制御された電流源が入力電圧、電流および時間枠または単に時間の１つに準拠してゲート制御される、ゲート制御された電流源と、
前記複数のゲート制御された電流源のそれぞれに結合され、および所望のニューラルネットワーク構成に準拠して前記複数のゲート制御された電流源のそれぞれが複数の重み付き入力を加算することを可能にする、コントローラ回路と、
を備える、乗算器。
［構成２５］
時間加重クロスバーは、ゲーティング時間をセットするためのアナログメモリ、メモリスタメモリ、浮遊ゲートメモリ、フラッシュメモリまたはＤＮＡメモリの１つを含む、構成２４に記載の乗算器。
［構成２６］
単一の電荷リザーバ、
第１のサイクルにおいて前記単一の電荷リザーバへ、または前記単一の電荷リザーバから電荷を結合するか、または電荷を除去するかのそれぞれ一方をする複数の入力電荷移動装置と、
第２のサイクルの間に前記単一の電荷リザーバを開始電荷レベルまで戻し、その後に電荷移動が終わるように、電荷を前記単一の電荷リザーバへ結合するか、または除去するかの一方をする出力電荷移動装置と、
を備える、重み付き加算器。
［構成２７］
前記複数の入力電荷移動装置は、前記出力電荷移動装置が第２のサイクルの間に電荷を結合する、または除去するであろう割合と比例した割合で電荷を結合する、または除去するが、前記複数の入力電荷移動装置は、入力情報に準拠してそれぞれが個々に時間でゲート制御され、かつ、
第２のサイクルの間に、出力電荷移動装置が電荷を結合し、または除去して開始電荷レベルまで単一の電荷リザーバを戻す間の時間は、重み付き加算器の出力を表す、構成２６に記載の重み付き加算器。
［構成２８］
前記加算器は、コンパレーターを有するスパイキング回路を含み、前記コンパレーターは、前記単一の電荷リザーバが所定レベルに達するときに前記コントローラ回路に割り込みを開始する、構成２６に記載の重み付き加算器。

Claims (13)

  1. 一対の電荷リザーバであって、直列に結合される第１の電荷リザーバと第２の電荷リザーバとからなる、一対の電荷リザーバと、
    同じ割合にて前記一対の電荷リザーバへ、または前記一対の電荷リザーバから電荷移動を誘導する第１の電荷移動装置と、
    一対の電荷リザーバの１つへ、または前記一対の電荷リザーバの１つから電荷移動を誘導する第２の電荷移動装置であって、電荷移動の割合は、前記第１の電荷移動装置と比例した割合で電荷を付加するか、または除去するかの一方にプログラムされる、電荷移動装置と、
    を備え、
    第１の電荷は、第１のサイクルの間に前記一対の電荷リザーバの第１の電荷リザーバに荷電され、前記第１の電荷移動装置および前記第２の電荷移動装置は、前記一対の電荷リザーバの前記第１のリザーバが前記第１の電荷を枯渇し、電荷が前記第２の電荷リザーバにおける電荷移動割合の比率を乗じた前記第１の電荷を表すままになるまで、第２のサイクルの間に前記一対の電荷リザーバから比例した割合で電荷を除去する、乗算器。
  2. 電荷移動を止めるための装置をさらに含む、請求項１に記載の乗算器。
  3. 前記第１の電荷移動装置および前記第２の電荷移動装置は、電界の制御に基づく、請求項１に記載の乗算器。
  4. 前記第１の電荷移動装置は、前記一対の電荷リザーバと直列に結合される第１の電流源であり、および前記第２の電荷移動装置は、前記一対の電荷リザーバが交わるノードにて結合される第２の電流源である、請求項１に記載の乗算器。
  5. 前記電荷移動を止めるための装置は、トランスファゲートであり、トランスファゲートは、イベントに準拠してバリアを下ろし、および次いでバリアを上げ、一方でその他の時には電荷移動を制御するようにフィールドを保持する、請求項２に記載の乗算器。
  6. 前記一対の電荷リザーバは、コンデンサである、請求項１に記載の乗算器。
  7. 前記一対の電荷リザーバは、浮遊拡散である、請求項１に記載の乗算器。
  8. 前記第１の電荷は、スイッチドキャパシタ回路、アクティブピクセル回路；またはＶ／Ｉ ｔｏ 電荷回路の１つによって前記一対の電荷リザーバの第１に導入される、請求項１に記載の乗算器。
  9. 埋め込みフォトダイオードまたはその他の光検出器の少なくとも１つを含むアクティブピクセルであって、アクティブピクセルへの入力情報は、第１の入力電荷リザーバにおいて蓄積される、アクティブピクセルと、
    前記第１の入力電荷リザーバに結合された第２の電荷リザーバと、
    前記第１の入力電荷リザーバと第２の電荷リザーバとの間に配置されたトランスファゲートであって、電荷の移動の第１の割合は、前記トランスファゲートに結合されたフィールドによって制御されてもよい、トランスファゲートと、
    前記第２の電荷リザーバに結合された第２の電荷移動装置であって、電荷移動の第２の割合は、電荷移動の前記第１の割合のものに比例してプログラムされてもよい、第２の電荷移動装置と、
    を備え、
    第１の電荷は、第１のサイクルの間にのみ前記第１の入力電荷リザーバに荷電され、および前記トランスファゲートおよび前記第２の電荷移動装置は、前記第１の入力電荷リザーバが枯渇して第２のサイクルの最後にて前記第２の電荷リザーバにおいて電荷乗算を生じるまで第２のサイクルの間に比例して電荷を移動する、
    アナログ乗算器。
  10. オーバーラップキャパシタンスを最小限にするために接合部を欠いたトランスファゲートを含む、請求項９に記載のアナログ乗算器。
  11. それぞれがゲート制御された電荷移動装置に結合される一対の電荷リザーバを備え、
    前記ゲート制御された電荷移動装置は、電荷移動の割合が比例するようにプログラムされ、前記ゲート制御された電荷移動装置は、一旦、前記一対の電荷リザーバの１つが枯渇されると電荷移動を止める、乗算器。
  12. 前記一対の電荷リザーバの第１に複数の重み付き入力を荷電する装置を含む、請求項１１に記載の乗算器。
  13. プログラミング装置によってそれぞれが個々に時間でゲート制御された前記一対の電荷リザーバの第１に結合された複数の電荷移動割合を制御された入力を含む、請求項１１に記載の乗算器。
JP2020568952A 2018-03-02 2019-03-04 電荷ドメイン数理エンジンおよび方法 Active JP7364244B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862637496P 2018-03-02 2018-03-02
US62/637,496 2018-03-02
PCT/US2019/020577 WO2019169396A1 (en) 2018-03-02 2019-03-04 Charge domain mathematical engine and method
US16/291,864 US11494628B2 (en) 2018-03-02 2019-03-04 Charge domain mathematical engine and method
US16/291,864 2019-03-04

Publications (2)

Publication Number Publication Date
JP2021515955A JP2021515955A (ja) 2021-06-24
JP7364244B2 true JP7364244B2 (ja) 2023-10-18

Family

ID=73336280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020568952A Active JP7364244B2 (ja) 2018-03-02 2019-03-04 電荷ドメイン数理エンジンおよび方法

Country Status (6)

Country Link
US (3) US11494628B2 (ja)
EP (1) EP3759653A4 (ja)
JP (1) JP7364244B2 (ja)
KR (1) KR20200128109A (ja)
CN (1) CN111954888A (ja)
WO (1) WO2019169396A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021093563A (ja) * 2019-12-06 2021-06-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、制御方法
US11689848B2 (en) 2020-05-14 2023-06-27 Knowles Electronics, Llc Capacitive sensor assembly and electrical circuit therefor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008537820A (ja) 2005-03-29 2008-09-25 ユーユーテック リミテッド 電子シナプス・デバイス
JP2017194963A (ja) 2016-04-14 2017-10-26 株式会社半導体エネルギー研究所 半導体装置

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4723114A (en) * 1986-07-07 1988-02-02 Texas Instruments Incorporated Method and circuit for trimming the frequency of an oscillator
US5034746A (en) * 1988-09-21 1991-07-23 International Business Machines Corporation Analog-to-digital converter for computer disk file servo position error signal
US5015876A (en) * 1989-06-30 1991-05-14 Hewlett-Packard Company High speed charge-coupled sampler and rate reduction circuit
FR2649505B1 (fr) * 1989-07-07 1991-10-25 Sgs Thomson Microelectronics Circuit integre avec oscillateur reglable a frequence independante de la tension d'alimentation
JPH06131481A (ja) * 1992-10-20 1994-05-13 Takayama:Kk 重み付き加算回路
JPH06150033A (ja) * 1992-11-06 1994-05-31 Takayama:Kk 重み付き加算回路
JP2985999B2 (ja) * 1993-02-04 1999-12-06 株式会社高取育英会 重み付き加算回路
CN1094679C (zh) * 1994-05-06 2002-11-20 皇家菲利浦电子有限公司 半导体器件
US5444411A (en) * 1994-05-24 1995-08-22 United Microelectronics Corporation Functional MOS transistor with gate-level weighted sum and threshold operations
US5708385A (en) * 1995-06-02 1998-01-13 Yozan, Inc. Weighted addition circuit
JPH0944582A (ja) * 1995-07-28 1997-02-14 Sharp Corp 重み付き加算回路
US6804697B2 (en) * 2000-07-24 2004-10-12 Texas Instruments Incorporated Circuit for precise measurement of the average value of the outputs of multiple circuit unit elements
JP3479506B2 (ja) * 2000-10-18 2003-12-15 有限会社リニアセル・デザイン 加重平均値演算回路
US7352454B2 (en) * 2000-11-09 2008-04-01 Canesta, Inc. Methods and devices for improved charge management for three-dimensional and color sensing
US7068603B2 (en) * 2001-07-06 2006-06-27 Juniper Networks, Inc. Cross-bar switch
US7319423B2 (en) * 2002-07-31 2008-01-15 Quantum Semiconductor Llc Multi-mode ADC and its application to CMOS image sensors
US6801028B2 (en) * 2002-11-14 2004-10-05 Fyre Storm, Inc. Phase locked looped based digital pulse converter
WO2005101285A1 (en) * 2004-04-12 2005-10-27 University Of Florida Research Foundation, Inc. Time-mode analog computation circuits and methods
US7791989B2 (en) * 2005-05-18 2010-09-07 Rohm Co., Ltd. Arithmetic processing circuit unit and disc device
US7994465B1 (en) * 2006-02-06 2011-08-09 Microsoft Corporation Methods and devices for improved charge management for three-dimensional and color sensing
KR20090101739A (ko) * 2008-03-24 2009-09-29 삼성전자주식회사 전류원을 이용하는 전압 가산기
US8134630B2 (en) * 2008-05-09 2012-03-13 Truesense Imaging, Inc. System and method for draining residual charge from charge-coupled device (CCD) shift registers in image sensors having reset drains
US8299472B2 (en) * 2009-12-08 2012-10-30 Young-June Yu Active pixel sensor with nanowire structured photodetectors
US7965151B2 (en) * 2009-06-02 2011-06-21 Power Integrations, Inc. Pulse width modulator with two-way integrator
US9136364B2 (en) * 2009-09-16 2015-09-15 Power Integrations, Inc. Field effect transistor with access region recharge
US8269570B2 (en) * 2010-08-03 2012-09-18 Texas Instruments Incorporated Systems and methods of ripple reduction in a DC/DC converter
JP5951351B2 (ja) * 2011-05-20 2016-07-13 株式会社半導体エネルギー研究所 加算器及び全加算器
US9338036B2 (en) * 2012-01-30 2016-05-10 Nvidia Corporation Data-driven charge-pump transmitter for differential signaling
WO2014151443A1 (en) 2013-03-15 2014-09-25 Adc Telecommunications, Inc. Ferrules for fiber optic connectors
US8963589B1 (en) * 2014-01-10 2015-02-24 Stmicroelectronics S,R.L. Ramp generator circuit
FR3022397B1 (fr) * 2014-06-13 2018-03-23 New Imaging Technologies Cellule photoelectrique de type c-mos a transfert de charge, et capteur matriciel comprenant un ensemble de telles cellules
KR102263042B1 (ko) * 2014-10-16 2021-06-09 삼성전자주식회사 픽셀, 상기 픽셀을 포함하는 이미지 센서, 및 상기 픽셀을 포함하는 이미지 처리 시스템
US9641189B2 (en) * 2014-12-17 2017-05-02 Analog Devices, Inc. Calibration techniques for SAR ADCs with on-chip reservoir capacitors
US9749565B2 (en) * 2015-05-18 2017-08-29 Analog Devices, Inc. Interline charge-coupled devices
KR20160140503A (ko) * 2015-05-29 2016-12-07 페어차일드코리아반도체 주식회사 신호 연산기
US9917120B2 (en) * 2015-11-09 2018-03-13 Semiconductor Components Industries, Llc Pixels with high dynamic range and a global shutter scanning mode
FR3056857B1 (fr) * 2016-09-26 2018-11-16 Commissariat A L'energie Atomique Et Aux Energies Alternatives Circuit sommateur
CN112005240A (zh) * 2018-03-02 2020-11-27 艾斯多姆有限公司 单晶体管乘法器及其方法
WO2019210276A1 (en) * 2018-04-26 2019-10-31 David Schie Analog learning engine and method
US20190332929A1 (en) * 2018-04-26 2019-10-31 David Schie Event driven mathematical engine and method
KR20210077704A (ko) * 2018-10-09 2021-06-25 에이아이스톰, 아이엔씨. 차지 기반 스위치드 매트릭스 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008537820A (ja) 2005-03-29 2008-09-25 ユーユーテック リミテッド 電子シナプス・デバイス
JP2017194963A (ja) 2016-04-14 2017-10-26 株式会社半導体エネルギー研究所 半導体装置

Also Published As

Publication number Publication date
JP2021515955A (ja) 2021-06-24
US11494628B2 (en) 2022-11-08
CN111954888A (zh) 2020-11-17
EP3759653A4 (en) 2022-04-20
KR20200128109A (ko) 2020-11-11
US20230046100A1 (en) 2023-02-16
WO2019169396A1 (en) 2019-09-06
US20190286977A1 (en) 2019-09-19
EP3759653A1 (en) 2021-01-06
US20230018395A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
US20230046100A1 (en) Charge domain mathematical engine and method
US7088860B2 (en) Dynamically reconfigurable signal processing circuit, pattern recognition apparatus, and image processing apparatus
US3940602A (en) Signal processing imager array using charge transfer concepts
TW202143026A (zh) 記憶體內運算架構及用於執行乘積累加運算的方法
EP0300365A2 (en) Intellegent scan image sensor
US9972656B2 (en) Image sensor and method of reading out an image sensor
CN105144699A (zh) 阈值监测的有条件重置的图像传感器
Farhat Optoelectronic neural networks and learning machines
JPS626384A (ja) 集積化された光電センサ−
CN114418080A (zh) 存算一体运算方法、忆阻器神经网络芯片及存储介质
KR102565057B1 (ko) 가변 정전 용량형 가중치 메모리 소자와 가중치 메모리 시스템 및 그 동작 방법
US4514821A (en) Electro-optical CCD transversal filter with analog reference weights
Leobandung et al. Synchronized analog capacitor arrays for parallel convolutional neural network training
JPS6337994B2 (ja)
US20040057058A1 (en) Moving-body detecting image sensor
Morsali et al. Deep Mapper: A Multi-Channel Single-Cycle Near-Sensor DNN Accelerator
Kozemiako et al. Optoelectronic spiking neural network
JP2563090B2 (ja) 汎用電荷モードアナログ演算回路
WO2004027680A1 (en) Arithmetic circuit
Prange et al. Cascadable digital emulator IC for 16 biological neurons
Hirai VLSI Neural Network Systems
Hoekstra (Junction) Charge-Coupled Device Technology for Artificial Neural Networks
Tower et al. The transversal imager: A photonic neurochip with programmable synaptic weights
Chiang CCD retina and neural net processor
Ruiz-Llata et al. Prototype optoelectronic Hamming neural network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230928

R150 Certificate of patent or registration of utility model

Ref document number: 7364244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150