JP6985988B2 - ニューラルネットワーク回路 - Google Patents
ニューラルネットワーク回路 Download PDFInfo
- Publication number
- JP6985988B2 JP6985988B2 JP2018117762A JP2018117762A JP6985988B2 JP 6985988 B2 JP6985988 B2 JP 6985988B2 JP 2018117762 A JP2018117762 A JP 2018117762A JP 2018117762 A JP2018117762 A JP 2018117762A JP 6985988 B2 JP6985988 B2 JP 6985988B2
- Authority
- JP
- Japan
- Prior art keywords
- analog
- signal
- voltage
- switch
- mos transistor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
- G06F7/5443—Sum of products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
- G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
- G06F2207/4802—Special implementations
- G06F2207/4814—Non-logic devices, e.g. operational amplifiers
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03K—PULSE TECHNIQUE
- H03K19/00—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits
- H03K19/20—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits characterised by logic function, e.g. AND, OR, NOR, NOT circuits
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Neurology (AREA)
- Analogue/Digital Conversion (AREA)
Description
図1に示すように、実施例1のニューラルネットワーク回路には、多数のデジタル信号が入力される。多数のデジタル信号のうちの例えば3つの入力信号である入力1、入力2、入力3はそれぞれ、D/A変換器11A、D/A変換器11B、D/A変換器11Cによりアナログ電圧に変換される。それぞれのアナログ電圧は、アナログデジタル乗算部(アナデジ乗算部)12A、アナログデジタル乗算部(アナデジ乗算部)12B、アナログデジタル乗算部(アナデジ乗算部)12Cに入力される。
アナログデジタル乗算部12A〜12Cのアナログ入力電圧VINは、スイッチ31を介して、出力ノードOUTに接続されている。スイッチ31はクロック信号φにもとづいてオン/オフが制御される。また、重み係数であるアナログデジタル乗算部12A〜12Cのデジタル入力信号は、1本または複数本のビット信号で表される。実施例1では4ビットの例を示している。
図9のタイムチャートに示すように、図1における初段のD/A変換器11A、D/A変換器11B、D/A変換器11Cのそれぞれのアナログ出力電圧は、図9の最上部の波形のように変化している。これに対して、第1層に属する各アナログデジタル乗算部12A〜12Cのクロック信号φは、図9の「第1層のφ」の波形となる。
図2に示すように、実施例2のニューラルネットワーク回路には多数のデジタル信号が入力される。多数のデジタル信号のうちの例えば3つの入力信号である入力1、入力2、入力3はそれぞれ、D/A変換器11A、D/A変換器11B、D/A変換器11Cによりアナログ電圧に変換される。それぞれのアナログ電圧は、アナログデジタル乗算部(アナデジ乗算部)12A、アナログデジタル乗算部(アナデジ乗算部)12B、アナログデジタル乗算部(アナデジ乗算部)12Cに入力される。
図10のタイムチャートに示すように、初段のD/A変換器11A、D/A変換器11B、D/A変換器11Cのそれぞれのアナログ出力電圧は、図10の最上部の波形のように変化している。これに対して、第1層に属する各アナログデジタル乗算部の前記クロック信号φは図10の「第1層のφ」の波形となる。
実施例3では、図3のアナログデジタル乗算部における各MOSトランジスタを、NMOSからPMOSに置換している。PMOSとすることで1/f雑音の影響を低減することができる。
図5に示すように、実施例4では、図3のアナログデジタル乗算部を差動回路構成としている。すなわち、アナログ入力電圧VINは、正側入力電圧VINPと負側入力電圧VINNの差の電圧である。正側入力電圧VINPは、正側の出力ノードOUTPに正側のスイッチ31Pを介して接続される。正側のそれぞれのMOSトランジスタ32P、33P、34P、35Pのソース端子とドレイン端子が、正側の出力ノードOUTPに接続されている。
実施例5では、図4のPMOS型アナログデジタル乗算部を差動回路構成としている。すなわち、アナログ入力電圧VINは、正側入力電圧VINPと負側入力電圧VINNの差の電圧である。正側入力電圧VINPは、正側の出力ノードOUTPに正側のスイッチ41Pを介して接続されている。また、正側のそれぞれのPMOSトランジスタ42P、43P、44P、45Pのソース端子とドレイン端子が正側の出力ノードOUTPに接続されている。
実施例6では、図5の実施例4に対して、スイッチ71Pとスイッチ71Nを追加することで、負の重み係数に対する乗算を可能にしている。スイッチ71Pは、負側入力電圧VINNと正側の出力ノードOUTPの間に挿入され、スイッチ71Nは、正側入力電圧VINPと負側の出力ノードOUTNの間に挿入されている。
実施例8では、図3のアナログデジタル乗算部における各MOSトランジスタのゲート端子と、ソース端子とドレイン端子への接続を入れ換えている。
12A、12B、12C、12D、12E、12F アナログデジタル乗算部
13A、13B、13C、13D、13E、13F スイッチ
14 アナログ活性化関数回路
15 スイッチ
16 配線容量
21 A/D変換器
22 デジタル活性化関数回路
31 スイッチ
32、33、34、35 NMOSトランジスタ
31P 正側スイッチ
32P、33P、34P、35P 正側NMOSトランジスタ
31N 負側スイッチ
32N、33N、34N、35N 負側NMOSトランジスタ
41 スイッチ
42、43、44、45 PMOSトランジスタ
41P 正側スイッチ
42P、43P、44P、45P 正側PMOSトランジスタ
41N 負側スイッチ
42N、43N、44N、45N 負側PMOSトランジスタ
71P、71N スイッチ
81P、81N スイッチ
Claims (13)
- デジタル入力信号をアナログ入力電圧に変換する複数のD/A変換器と、
複数の前記D/A変換器にそれぞれ接続され、前記アナログ入力電圧とデジタル信号である重み係数とを乗算して所定の乗算結果を出力する複数のアナログデジタル乗算部と、
複数の前記乗算結果を加算した加算結果を保持する容量と、
前記加算結果に対して、活性化関数に相当するアナログ処理を行うアナログ活性化関数回路と、前記容量上の電荷の交流成分を放電するスイッチと、を有するニューラルネットワーク回路であって、
前記アナログデジタル乗算部の各々は、
前記アナログ入力電圧が接続される出力ノードと、
前記デジタル信号に相当する少なくとも一つのビット信号に対応して設けられたMOSトランジスタと、を有し、
前記MOSトランジスタは、ソース端子とドレイン端子とゲート端子を有し、
前記ソース端子とドレイン端子は前記出力ノードに接続され、
前記ゲート端子には、前記ビット信号に基づく電圧が印加され、
前記乗算結果として、前記アナログ入力電圧と前記ビット信号の積に対応する電荷信号を出力し、
複数の前記アナログデジタル乗算部は、
複数の前記出力ノードを接続することにより、前記アナログデジタル乗算部の各々の前記電荷信号の和に対応するアナログ積和電圧を前記容量上に生成することを特徴とするニューラルネットワーク回路。 - 前記アナログデジタル乗算部は、
前記アナログ入力電圧を前記出力ノードに接続するためのスイッチを更に有し、
前記スイッチを制御することにより、前記アナログデジタル乗算部の各々の前記電荷信号が加算されて、前記電荷信号の和に対応する前記アナログ積和電圧を生成することを特徴とする請求項1に記載のニューラルネットワーク回路。 - 前記アナログ活性化関数回路は、
前記加算結果としての前記アナログ積和電圧に対して、前記活性化関数に相当する前記アナログ処理を行い、この処理結果をアナログ電圧として出力することを特徴とする請求項1に記載のニューラルネットワーク回路。 - 前記MOSトランジスタはバックゲート端子を更に有し、
前記バックゲート端子をDC電位に固定することを特徴とする請求項1に記載のニューラルネットワーク回路。 - 前記MOSトランジスタはNMOSで構成され、
前記バックゲート端子は、前記DC電位としてグランド電位に固定されることを特徴とする請求項4に記載のニューラルネットワーク回路。 - 前記MOSトランジスタはPMOSで構成され、
前記バックゲート端子は、前記DC電位として電源電圧に固定されることを特徴とする請求項4に記載のニューラルネットワーク回路。 - 前記アナログデジタル乗算部は、
前記アナログ入力電圧が、正側入力電圧と負側入力電圧からなる差動信号で表わされ、
前記正側入力電圧は、第1のスイッチを介して正側の前記出力ノードに接続され、
正側の前記MOSトランジスタの前記ソース端子と前記ドレイン端子が正側の前記出力ノードに接続され、
前記負側入力電圧は、第2のスイッチを介して負側の前記出力ノードに接続され、
負側の前記MOSトランジスタの前記ソース端子と前記ドレイン端子が負側の前記出力ノードに接続され、
前記正側の前記MOSトランジスタの前記ゲート端子及び負側の前記MOSトランジスタの前記ゲート端子には、前記ビット信号に基づく電圧がそれぞれ印加され、
前記第1のスイッチ及び前記第2のスイッチを制御することにより、前記アナログデジタル乗算部の各々の前記電荷信号が加算されて、前記電荷信号の和に対応する前記アナログ積和電圧を生成することを特徴とする請求項1に記載のニューラルネットワーク回路。 - 前記アナログデジタル乗算部は、
前記正側入力電圧を負側の前記出力ノードに接続する第3のスイッチと、
前記負側入力電圧を正側の前記出力ノードに接続する第4のスイッチと、を更に有し、
前記デジタル信号の正負の符号に基づいて、前記第1のスイッチ、前記第2のスイッチ、前記第3のスイッチ及び前記第4のスイッチを制御することにより、前記アナログ積和電圧を生成することを特徴とする請求項7に記載のニューラルネットワーク回路。 - デジタル入力信号をアナログ入力電圧に変換する複数のD/A変換器と、
複数の前記D/A変換器にそれぞれ接続され、前記アナログ入力電圧とデジタル信号である重み係数とを乗算して所定の乗算結果を出力する複数のアナログデジタル乗算部と、
複数の前記乗算結果を加算した加算結果を保持する容量と、
前記加算結果に対して、活性化関数に相当するアナログ処理を行うアナログ活性化関数回路と、前記容量上の電荷の交流成分を放電するスイッチと、を有するニューラルネットワーク回路であって、
前記アナログデジタル乗算部の各々は、
前記アナログ入力電圧が接続される出力ノードと、
前記デジタル信号に相当する少なくとも一つのビット信号に対応して設けられたMOSトランジスタと、を有し、
前記MOSトランジスタは、ソース端子とドレイン端子とゲート端子を有し、
前記ゲート端子は前記出力ノードに接続され、
前記ソース端子と前記ドレイン端子には、前記ビット信号に基づく電圧が印加され、
前記乗算結果として、前記アナログ入力電圧と前記ビット信号の積に対応する電荷信号を出力し、
複数の前記アナログデジタル乗算部は、
複数の前記出力ノードを接続することにより、前記アナログデジタル乗算部の各々の前記電荷信号の和に対応するアナログ積和電圧を前記容量上に生成することを特徴とするニューラルネットワーク回路。 - 前記アナログデジタル乗算部は、
前記アナログ入力電圧を前記出力ノードに接続するためのスイッチを更に有し、
前記スイッチを制御することにより、前記アナログデジタル乗算部の各々の前記電荷信号が加算されて、前記電荷信号の和に対応する前記アナログ積和電圧を生成することを特徴とする請求項9に記載のニューラルネットワーク回路。 - 前記アナログ活性化関数回路は、
前記加算結果としての前記アナログ積和電圧に対して、前記活性化関数に相当する前記アナログ処理を行い、この処理結果をアナログ電圧として出力することを特徴とする請求項9に記載のニューラルネットワーク回路。 - デジタル入力信号をアナログ入力電圧に変換する複数の第1のD/A変換器と、
複数の前記第1のD/A変換器にそれぞれ接続され、前記アナログ入力電圧とデジタル信号である重み係数とを乗算して所定の乗算結果をアナログ信号として出力する複数のアナログデジタル乗算部と、
複数の前記乗算結果を加算した加算結果を保持する容量と、
アナログ電圧である前記加算結果をデジタル信号に変換するA/D変換器と、
前記A/D変換器から出力される前記デジタル信号としての前記加算結果に対して、活性化関数に相当するデジタル処理を行うデジタル活性化関数回路と、
前記デジタル活性化関数回路のデジタル出力信号をアナログ電圧に変換する第2のD/A変換器と、前記容量上の電荷の交流成分を放電するスイッチと、を有するニューラルネットワーク回路であって、
前記アナログデジタル乗算部の各々は、
前記アナログ入力電圧が接続される出力ノードと、
前記デジタル信号に相当する少なくとも一つのビット信号に対応して設けられたMOSトランジスタと、を有し、
前記MOSトランジスタは、ソース端子とドレイン端子とゲート端子を有し、
前記ソース端子とドレイン端子は前記出力ノードに接続され、
前記ゲート端子には、前記ビット信号に基づく電圧が印加され、
前記乗算結果として、前記アナログ入力電圧と前記ビット信号の積に対応する電荷信号を出力し、
複数の前記アナログデジタル乗算部は、
複数の前記出力ノードを接続することにより、前記アナログデジタル乗算部の各々の前記電荷信号の和に対応するアナログ積和電圧を前記容量上に生成することを特徴とするニューラルネットワーク回路。 - 前記アナログデジタル乗算部は、
前記アナログ入力電圧を前記出力ノードに接続するためのスイッチを更に有し、
前記スイッチを制御することにより、前記アナログデジタル乗算部の各々の前記電荷信号が加算されて、前記電荷信号の和に対応する前記アナログ積和電圧を生成することを特徴とする請求項12に記載のニューラルネットワーク回路。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018117762A JP6985988B2 (ja) | 2018-06-21 | 2018-06-21 | ニューラルネットワーク回路 |
US16/411,269 US11386321B2 (en) | 2018-06-21 | 2019-05-14 | Neural network circuit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018117762A JP6985988B2 (ja) | 2018-06-21 | 2018-06-21 | ニューラルネットワーク回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019219990A JP2019219990A (ja) | 2019-12-26 |
JP6985988B2 true JP6985988B2 (ja) | 2021-12-22 |
Family
ID=68981977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018117762A Active JP6985988B2 (ja) | 2018-06-21 | 2018-06-21 | ニューラルネットワーク回路 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11386321B2 (ja) |
JP (1) | JP6985988B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11669446B2 (en) * | 2018-06-18 | 2023-06-06 | The Trustees Of Princeton University | Configurable in memory computing engine, platform, bit cells and layouts therefore |
EP3674991B1 (en) * | 2018-12-28 | 2024-07-17 | IMEC vzw | Multibit neural network |
US11301211B2 (en) * | 2020-04-13 | 2022-04-12 | International Business Machines Corporation | Differential mixed signal multiplier with three capacitors |
US11893078B2 (en) * | 2020-08-29 | 2024-02-06 | Ceremorphic, Inc. | Analog dot product multiplier |
JP2022102512A (ja) | 2020-12-25 | 2022-07-07 | ソニーセミコンダクタソリューションズ株式会社 | 積和演算装置およびニューラルネットワーク |
US11977936B2 (en) * | 2020-12-31 | 2024-05-07 | Ceremorphic, Inc. | Differential analog multiplier-accumulator |
US11983507B2 (en) * | 2020-12-31 | 2024-05-14 | Ceremorphic, Inc. | Differential analog multiplier for a signed binary input |
CN116931873B (zh) * | 2023-09-11 | 2023-11-28 | 安徽大学 | 两字节乘法电路及其任意位宽为2次幂的乘法电路与芯片 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3804946A1 (de) * | 1988-02-18 | 1989-08-31 | Tetra Pak Rausing & Co Kg | Verfahren und vorrichtung zum vereinzeln von ebenen teilen |
US5122983A (en) * | 1990-01-12 | 1992-06-16 | Vanderbilt University | Charged-based multiplier circuit |
JP2985996B2 (ja) | 1992-11-27 | 1999-12-06 | 株式会社高取育英会 | 乗算回路 |
US11809837B2 (en) * | 2020-09-04 | 2023-11-07 | International Business Machines Corporation | Integer matrix multiplication based on mixed signal circuits |
-
2018
- 2018-06-21 JP JP2018117762A patent/JP6985988B2/ja active Active
-
2019
- 2019-05-14 US US16/411,269 patent/US11386321B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019219990A (ja) | 2019-12-26 |
US20190392298A1 (en) | 2019-12-26 |
US11386321B2 (en) | 2022-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6985988B2 (ja) | ニューラルネットワーク回路 | |
EP1676197B1 (en) | Operation circuit and operation control method thereof | |
EP3259735B1 (en) | Spike domain convolution circuit | |
WO2021044821A1 (ja) | 演算装置及び積和演算システム | |
EP0395387B1 (en) | Display drive circuit | |
KR102026332B1 (ko) | 뉴런 모방 회로 | |
EP1662666A1 (en) | Pulse polarity modulation circuit | |
US5990709A (en) | Circuit for comparing two electrical quantities provided by a first neuron MOS field effect transistor and a reference source | |
JP2007241475A (ja) | 差動乗算回路及び積和演算回路 | |
EP3001554A1 (en) | Fractional output voltage multiplier | |
WO2020195867A1 (ja) | 演算装置及び積和演算システム | |
US6946894B2 (en) | Current-mode synapse multiplier circuit | |
US20210216856A1 (en) | Switched artificial synapse | |
US7035835B2 (en) | High-precision current-mode pulse-width-modulation circuit | |
Soltany et al. | A novel low power and low voltage bulk-input four-quadrant analog multiplier in voltage mode | |
US20200226456A1 (en) | Neuromorphic arithmetic device and operating method thereof | |
Rahman et al. | A high speed and high resolution VLSI winner-take-all circuit for neural networks and fuzzy systems | |
JP3177636B2 (ja) | パルス変調演算回路 | |
US11782680B2 (en) | Arithmetic logic unit, multiply-accumulate operation device, multiply-accumulate operation circuit, and multiply-accumulate operation system | |
JPH06187472A (ja) | アナログニューラルネットワーク | |
US6809558B1 (en) | Push-pull output neuron circuit | |
JPH09259205A (ja) | 積和演算回路 | |
JP2020160888A (ja) | 演算装置及び積和演算システム | |
JPS584280Y2 (ja) | 論理回路 | |
Salam et al. | An analog MOS implementation of the synaptic weights for feedforward/feedback neural nets |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6985988 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |