JP7089750B2 - ボルツマンマシン - Google Patents
ボルツマンマシン Download PDFInfo
- Publication number
- JP7089750B2 JP7089750B2 JP2018135306A JP2018135306A JP7089750B2 JP 7089750 B2 JP7089750 B2 JP 7089750B2 JP 2018135306 A JP2018135306 A JP 2018135306A JP 2018135306 A JP2018135306 A JP 2018135306A JP 7089750 B2 JP7089750 B2 JP 7089750B2
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- boltzmann machine
- neuron
- synaptic
- signal line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Neurology (AREA)
- Semiconductor Integrated Circuits (AREA)
- Logic Circuits (AREA)
Description
V1=TW/C・(I+ 0+I- 2) (1)
で与えられる。なお、図1のニューロン回路の入力に加算されるバイアス項重みを表すバイアス電流I+ Bnも基本的に上記したシナプス回路のp型トランジスタT1とp型の3端子素子T2と同様に負のEXEパルスと負のバイアス電圧VBPとによって動作する。
V2=-TW/C・(I+ 0+I- 2) (2)
で与えられる。なお、図1のニューロン回路の入力に加算されるバイアス項重みを表すバイアス電流I- Bnも基本的に上記したシナプス回路のn型トランジスタT4とn型の3端子素子T3と同様に正のINHパルスと正のバイアス電圧VBNとによって動作する。
Vn=TW/C(ΣI+ njSj+I+ Bn)-TW/C(ΣI- njSj+I- Bn)
=TW/C(Σ(I+ nj-I- nj)Sj+(I+ Bn-I- Bn)) (3)
で与えられる。ここで、Sjはニューロン回路jの発火状態(1または0)を意味する。
Pi=1/(1+exp(-(Vi-VT)/T)) (4)
で表すことが出き、これを図示したのが図12(a)のシグモイド関数である。式(4)中のTは温度であり、この温度Tを徐々に小さく(アニール)することで、ニューロンの発火が確率論的な動作から決定論的な動作になる。図12(a)では、温度Tが高―>中―>低へ変化する場合での関数を例示している。動作の初期は高い温度から始め、温度を徐々に下げる(高→中→低)ことで、局所解に留まることなく、最適解の探索を行うことになる。図12(b)に示すように、本発明で言う「ノイズ回路」を用いることで、ニューロンの発火確率はシグモイド関数を階段状に近似したものになる。ノイズの注入量が温度Tに相当する。ノイズの注入量を減らす(温度を徐々に下げる)ことで、最適解の探索を行う。ノイズを全く注入しない時は、温度T=0に相当する。
11、37、39、40:クロック同期パルス発生器
12A、12B、36:遅延回路
13、23、24、31:ゲート
14、20、21、22:n型トランジスタ
16、17:p型トランジスタ
18、19:CMOS
25:疑似乱数発生器(LFSR)
26:スイッチング回路
27、32:ノイズ注入回路
28、33:シナプス回路
30:制御回路
35:パルス発生器
38:インバータ
41:ANDゲート
42:ORゲート
Claims (13)
- ボルツマンマシンを実現するためのボルツマンマシン回路であって、
格子状の信号線の各格子点に1つずつ配置されたシナプス回路と、
前記格子状の信号線の隣接する2つの列の間に1つずつ配線された列状の追加の信号線と、
前記追加の信号線の各々に1つずつ接続するニューロン回路であって、各々が接続する追加の信号線に隣接する一方の列の信号線にも接続するニューロン回路と、を備え、
前記追加の信号線の各々は前記格子状の信号線の1つの行に接続し、当該信号線の1つの行上の複数の前記シナプス回路の出力が当該追加の信号線に接続する前記ニューロン回路の入力となり、当該ニューロン回路の出力は接続する前記一方の列の信号線上の複数のシナプス回路の入力となる、ボルツマンマシン回路。 - 前記シナプス回路は、前記一方の列の信号線を介して接続する前記ニューロン回路の出力を受けて動作する、スイッチング可能な正の可変電流源と負の可変電流源を含む、請求項1に記載のボルツマンマシン回路。
- 前記正の可変電流源はP型のFeFETまたはフローティングゲートトランジスタを含み、前記負の可変電流源はN型のFeFETまたはフローティングゲートトランジスタを含む、請求項2に記載のボルツマンマシン回路。
- 前記シナプス回路は、前記一方の列の信号線を介して接続する前記ニューロン回路の出力を受けて動作する、カレントミラー回路と2つのスイッチング可能な可変電流源を含む、請求項1に記載のボルツマンマシン回路。
- 前記2つのスイッチング可能な可変電流源は、P型またはN型のFeFETまたはフローティングゲートトランジスタを含む、請求項4に記載のボルツマンマシン回路。
- 前記ニューロン回路は、前記追加の信号線を介して接続する前記格子状の信号線の1つの行上の前記複数のシナプス回路の出力を受けて動作する同期比較器を含む、請求項1~5のいずれか1項に記載のボルツマンマシン回路。
- 前記同期比較器は、前記複数のシナプス回路の出力の合計値と所定のしきい値の比較結果に応じて所定のタイミングでパルス信号を出力する、請求項6に記載のボルツマンマシン回路。
- 前記所定のタイミングを制御するためのタイミング制御回路をさらに含む、請求項7に記載のボルツマンマシン回路。
- 前記タイミング制御回路は、前記同期比較器の前記パルス信号が複数のニューロン状態を表すように前記所定のタイミングを制御する、請求項8に記載のボルツマンマシン回路。
- 前記格子状の信号線の各行に1つずつ接続し、前記ニューロン回路の各々にノイズ信号を送るためのノイズ注入回路をさらに含む、請求項1~8のいずれか1項に記載のボルツマンマシン回路。
- 前記ノイズ注入回路は、所定の制御信号を受けて動作する、直列接続する正の電流源と負の電流源を含む、請求項10に記載のボルツマンマシン回路。
- 前記所定の制御信号を生成するための疑似乱数発生回路とスイッチング回路をさらに含む、請求項11に記載のボルツマンマシン回路。
- 請求項1~12のいずれか1項に記載のボルツマンマシン回路を含む集積回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018135306A JP7089750B2 (ja) | 2018-07-18 | 2018-07-18 | ボルツマンマシン |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018135306A JP7089750B2 (ja) | 2018-07-18 | 2018-07-18 | ボルツマンマシン |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020013350A JP2020013350A (ja) | 2020-01-23 |
JP7089750B2 true JP7089750B2 (ja) | 2022-06-23 |
Family
ID=69169880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018135306A Active JP7089750B2 (ja) | 2018-07-18 | 2018-07-18 | ボルツマンマシン |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7089750B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7467944B2 (ja) | 2020-01-30 | 2024-04-16 | セイコーエプソン株式会社 | 液体吐出ヘッド及び液体吐出装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009282782A (ja) | 2008-05-22 | 2009-12-03 | Sharp Corp | 抵抗変化型可変抵抗素子を備えた積演算装置、及び積和演算装置、これらの装置を各ニューロン素子に備えるニューラルネットワーク、並びに積演算方法 |
JP2017138760A (ja) | 2016-02-03 | 2017-08-10 | 富士通株式会社 | ボルツマンマシン、ボルツマンマシンの制御方法及びボルツマンマシンを有する情報処理装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5053974A (en) * | 1987-03-31 | 1991-10-01 | Texas Instruments Incorporated | Closeness code and method |
JP2552711B2 (ja) * | 1988-07-15 | 1996-11-13 | 富士通株式会社 | ボルツマンマシン型ニューロコンピュータシステム |
JPH04188381A (ja) * | 1990-11-22 | 1992-07-06 | Matsushita Electric Ind Co Ltd | ニューロプロセッサ |
JPH05210649A (ja) * | 1992-01-24 | 1993-08-20 | Mitsubishi Electric Corp | 神経回路網表現装置 |
-
2018
- 2018-07-18 JP JP2018135306A patent/JP7089750B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009282782A (ja) | 2008-05-22 | 2009-12-03 | Sharp Corp | 抵抗変化型可変抵抗素子を備えた積演算装置、及び積和演算装置、これらの装置を各ニューロン素子に備えるニューラルネットワーク、並びに積演算方法 |
JP2017138760A (ja) | 2016-02-03 | 2017-08-10 | 富士通株式会社 | ボルツマンマシン、ボルツマンマシンの制御方法及びボルツマンマシンを有する情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020013350A (ja) | 2020-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11232345B2 (en) | Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices | |
Aamir et al. | An accelerated LIF neuronal network array for a large-scale mixed-signal neuromorphic architecture | |
US9466362B2 (en) | Resistive cross-point architecture for robust data representation with arbitrary precision | |
Burr et al. | Large-scale neural networks implemented with non-volatile memory as the synaptic weight element: Comparative performance analysis (accuracy, speed, and power) | |
JP6591548B2 (ja) | ニューロモーフィック記憶回路、それを動作させるための方法、およびそのコンピュータ・プログラム | |
US20200053299A1 (en) | Image sensor with analog sample and hold circuit control for analog neural networks | |
Wu et al. | Homogeneous spiking neuromorphic system for real-world pattern recognition | |
JP2021507349A (ja) | 抵抗処理ユニット・アレイのクロスポイント・デバイスに重みを記憶するための方法、そのクロスポイント・デバイス、ニューラル・ネットワークを実施するためのクロスポイント・アレイ、そのシステム、およびニューラル・ネットワークを実施するための方法 | |
CN108780520B (zh) | 人工神经元装置 | |
US7415683B2 (en) | Method and apparatus for a chaotic computing module | |
Matsubara et al. | A generalized rotate-and-fire digital spiking neuron model and its on-FPGA learning | |
Park et al. | Compact neuromorphic system with four-terminal Si-based synaptic devices for spiking neural networks | |
US20190279079A1 (en) | Neuromorphic system with transposable memory and virtual look-up table | |
JP6524933B2 (ja) | ボルツマンマシン、ボルツマンマシンの制御方法及びボルツマンマシンを有する情報処理装置 | |
Milo et al. | Attractor networks and associative memories with STDP learning in RRAM synapses | |
Dlugosz et al. | Parallel programmable asynchronous neighborhood mechanism for Kohonen SOM implemented in CMOS technology | |
JPWO2019049686A1 (ja) | 半導体記憶素子を用いたニューラルネットワーク演算回路及び動作方法 | |
JP7089750B2 (ja) | ボルツマンマシン | |
Kia et al. | Nonlinear dynamics based machine learning: Utilizing dynamics-based flexibility of nonlinear circuits to implement different functions | |
KR102499691B1 (ko) | 단일 게이트의 피드백 전계효과 전자소자를 이용하는 축적 및 발화 뉴런회로 | |
JP6989552B2 (ja) | ニューラルネットワーク装置 | |
Oshio et al. | A memcapacitive spiking neural network with circuit nonlinearity-aware training | |
Liu et al. | Exploring sparsity of firing activities and clock gating for energy-efficient recurrent spiking neural processors | |
Asgari et al. | A systolic architecture for Hopfield neural networks | |
Cho et al. | Design of Digital CMOS Neuromorphic IC with Current-starved SRAM Synapse for Unsupervised Stochastic Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7089750 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |