JP3912852B2 - ニューロ素子 - Google Patents
ニューロ素子 Download PDFInfo
- Publication number
- JP3912852B2 JP3912852B2 JP14978397A JP14978397A JP3912852B2 JP 3912852 B2 JP3912852 B2 JP 3912852B2 JP 14978397 A JP14978397 A JP 14978397A JP 14978397 A JP14978397 A JP 14978397A JP 3912852 B2 JP3912852 B2 JP 3912852B2
- Authority
- JP
- Japan
- Prior art keywords
- voltage
- input
- output
- variable
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Amplifiers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、人間の脳の神経系を模倣したニューラルネットワークを構成するためのニューロ素子に関し、特に、半導体集積回路で容易に実現できるニューロ素子に関するものである。
【０００２】
【従来の技術】
人間の脳の神経系を模倣したニューラルネットワークを有する情報処理装置（ニューロコンピュータ）が注目されている。このようなニューロコンピュータは、所定の学習アルゴリズムに従って多数のニューロン間の結合強度を変更することにより、ノイマン型コンピュータが不得意であるあいまいな情報処理における解を得ることができる。
【０００３】
ニューラルネットワークをプログラムではなく装置として実現するために必要であるニューロ素子として、EEPROMを用いたものが提案されている（特開平３−144785号公報）。このニューロ素子では、各入力信号にそれぞれの係数を乗算し、それらの合計を例えばシグモイド関数のようなしきい値関数に入力し、その関数の計算値をニューロ素子の出力としている。
【０００４】
一方、しきい値関数とは異なり、動径基底関数を用いたニューラルネットワークも考案されているが、この種のニューラルネットワークをハードウェアにて実現する構成としては、ガウス関数を動径基底関数としたニューラルネットワークが知られている（“A Gaussian Synapse Circuit For Analog VLSI Neural Networks" ）。
図４（ａ）は、このガウス関数を動径基底関数としたニューラルネットワークを構成するニューロ素子の構成例を示す回路図である。このニューロ素子は、ＭＯＳトランジスタを用いた１対の差動増幅器とカレントミラー回路とを組み合わせたものとなっており、高圧側電源電圧ＶDDがソースに印加されたＭＯＳトランジスタＭ3 のドレインに２つのＭＯＳトランジスタＭ1 ，Ｍ2 のソースが接続され、ＭＯＳトランジスタＭ2 のゲートはコンデンサＣ1 を介して接地されている。
【０００５】
ＭＯＳトランジスタＭ1 のドレインは、低圧側電源電圧ＶSSがソースに印加された２つのＭＯＳトランジスタＭ4 ，Ｍ5 のドレインに接続され、ＭＯＳトランジスタＭ5 はドレインとゲートとが接続されている。
高圧側電源電圧ＶDDがソースに印加されたＭＯＳトランジスタＭ9 のドレインに２つのＭＯＳトランジスタＭ7 ，Ｍ8 のソースが接続され、ＭＯＳトランジスタＭ8 のドレインはコンデンサＣ2 を介して接地されている。
【０００６】
ＭＯＳトランジスタＭ7 のドレインは、低圧側電源電圧ＶSSがソースに印加された２つのＭＯＳトランジスタＭ10，Ｍ11のドレインに接続され、ＭＯＳトランジスタＭ11はドレインとゲートとが接続されている。
ＭＯＳトランジスタＭ8 のドレインはＭＯＳトランジスタＭ1 のドレインに接続され、ＭＯＳトランジスタＭ2 のドレインはＭＯＳトランジスタＭ7 のドレインに接続されている。
【０００７】
高圧側電源電圧ＶDDがソースに印加されたＭＯＳトランジスタＭ15のドレインは、低圧側電源電圧ＶSSがソースに印加された２つのＭＯＳトランジスタＭ6 ，Ｍ12のドレインに接続され、ＭＯＳトランジスタＭ6 のドレインはＭＯＳトランジスタＭ5 のドレインに、ＭＯＳトランジスタＭ12のゲートはＭＯＳトランジスタＭ11のゲートにそれぞれ接続されている。
【０００８】
高圧側電源電圧ＶDDがソースに印加されたＭＯＳトランジスタＭ13のドレインは、定電流源ＩX1の一方に接続され、定電流源ＩX1の他方は低圧側電源電圧ＶSSが印加されている。ＭＯＳトランジスタＭ13のドレインは、ＭＯＳトランジスタＭ13，Ｍ3 ，Ｍ9 ，Ｍ15のそれぞれのゲートに接続されている。
低圧側電源電圧ＶSSがソースに印加されたＭＯＳトランジスタＭ14のドレインは、定電流源ＩX2の一方に接続され、定電流源ＩX2の他方は高圧側電源電圧ＶDDが印加されている。ＭＯＳトランジスタＭ14のドレインは、ＭＯＳトランジスタＭ14，Ｍ4 ，Ｍ10のそれぞれのゲートに接続されている。
【０００９】
１対の差動増幅器としての入力電圧ＶINの正側はＭＯＳトランジスタＭ1 のゲートに、負側はＭＯＳトランジスタＭ7 のゲートに与えられる。入力電圧ＶINのリファレンス電圧ＶW の正側はＭＯＳトランジスタＭ2 のゲートに、負側はＭＯＳトランジスタＭ8 のゲートに与えられる。ニューロ素子としての出力電流ＩOUT は、ＭＯＳトランジスタＭ15のドレインから得られる。
【００１０】
このような構成のニューロ素子では、１対の差動増幅器における入力電圧ＶINとリファレンス電圧ＶW とに応じた、ＭＯＳトランジスタＭ1 ，Ｍ8 のドレイン電流の合計電流Ｉ1 及びＭＯＳトランジスタＭ2 ，Ｍ7 のドレイン電流の合計電流Ｉ2 が、定電流源であるＭＯＳトランジスタＭ4 ，Ｍ5 及びＭＯＳトランジスタＭ11，Ｍ10を通じて流れる。そのとき、上段カレントミラー回路のＭＯＳトランジスタＭ15を通じて流れる電流の内、電流Ｉ1 ，Ｉ2 と同じ量の電流が定電流源であるＭＯＳトランジスタＭ6 ，Ｍ12を通じて接地側に流れ、残りの電流が出力電流ＩOUT として出力されるようになっている。
【００１１】
ここで、この回路は（１）式に示すような、出力であるガウス関数特性の入力電圧に対するシフトに相当するsynapse weightＷjiと、標準偏差を決定するσjiとを、それぞれ差動増幅器リファレンス電圧ＶW と、図４（ｂ）に示すようなトランジスタサイズ（ゲート幅／ゲート長）の変化により表現している。（１）式において、Ｙj は出力ニューロンを、Ｘj は入力ニューロンを表す。
【００１２】
【数１】
【００１３】
図５（ａ）は、図４（ａ）に示したニューロ素子の、差動増幅器におけるリファレンス電圧ＶW を変化させたときの入出力特性を示したグラフであり、リファレンス電圧ＶW の高低変化に応じて、特性曲線が差動増幅器における入力電圧ＶINの高低方向へシフトする。
図５（ｂ）は、図４（ａ）に示したニューロ素子の、カレントミラー回路の定電流源ＩX1，ＩX2の電流値ＩX を変化させたときの入出力特性を示したグラフであり、定電流源ＩX1，ＩX2の電流値ＩX が増加するに従って出力電流ＩOUT も増加する。
これらの基底関数特性曲線の変化により、ニューラルネットワークにおけるシナプスの重み付けが可能となる。
【００１４】
【発明が解決しようとする課題】
従来は、図５（ｂ）に示すように、入出力特性全体において、定電流源ＩX1，ＩX2の電流値ＩX の変化に対し、同じ比率で出力電流ＩOUT は変化していない。つまり、パラメータ変更に際して出力が線形に変化しない。これは、出力電流ＩOUT が上段カレントミラーの電流と差動増幅器の電流との差し引きにより決定されている為と考えられるが、このような特性のずれは、ニューラルネットワークにおいて基底関数の積和演算を行う際、その出力結果の信頼性を大幅に低下させる。
【００１５】
また、動径基底関数特性における、入力に対するシフト量及び振幅を、それぞれ差動増幅器リファレンス電圧ＶW 及び定電流源ＩX1，ＩX2の電流値ＩX の変化により行っており、この場合、回路外部からリファレンス電圧ＶW 及び定電流源ＩX1，ＩX2の電流値ＩX を制御し、その状態を記憶する必要があり、ネットワーク全体の信号処理時間が長くなる問題がある。
本発明は、このような事情に鑑みてなされたものであり、信頼性が高く、高速動作が可能なニューロ素子を提供することを目的とする。
【００１６】
【課題を解決するための手段】
第１発明に係るニューロ素子は、入力に応じて動径基底関数に基づく信号を出力し、ニューラルネットワークを構成すべくなしてあるニューロ素子において、
２出力の差動増幅器と、該２出力を乗算して前記信号として出力する乗算器と、前記動径基底関数における入力に対する出力シフト量を変化させるための電圧を出力する可変電圧回路とを備え、前記ニューラルネットワークの仮想するノードへの前記入力を前記差動増幅器の少なくとも一方の入力となし、該入力に前記電圧を加算すべくなしてあることを特徴とする。
【００１７】
第２発明に係るニューロ素子は、前記可変電圧回路は、ベース電圧が可変抵抗と定電流回路とにより制御されるエミッタホロワ可変電圧回路であることを特徴とする。
【００１８】
第３発明に係るニューロ素子は、前記差動増幅器の負荷抵抗は可変抵抗器であることを特徴とする。
【００１９】
本発明に係るニューロ素子では、差動増幅器とその差動増幅器の２出力を乗算する乗算器とから構成されたニューロ素子において、動径基底関数特性における入力に対する出力シフト量の変化を、差動増幅器の入力側外部入力電圧に直列に、可変抵抗器と定電流回路とによりベース電圧が制御されるエミッタホロワ可変電圧回路を付加することにより実現している。また、差動増幅器の負荷抵抗に可変抵抗器を使用することにより、出力ノードの電圧降下量を変化させ、出力特性の振幅を抵抗値に対し線形に変化させる。
【００２０】
これにより、動径基底関数特性における振幅、及び入力に対するシフト量を変化させるのに、回路外部で各電流源及び各電圧源を制御しその状態を記憶する必要がなくなり、ネットワーク全体の信号処理時間が短縮される。つまり、学習過程におけるニューラルネットワーク内の動径基底関数の各パラメータを各可変抵抗器により保持することができ、回路外部からの制御が不要となり、ネットワークの信号処理速度も格段に向上する。
【００２１】
【発明の実施の形態】
以下に、本発明をその実施の形態を示す図面に基づいて説明する。
図１は、本発明に係るニューロ素子の実施の形態の構成を示す回路図である。このニューロ素子は、差動増幅回路部３（差動増幅器）と入力電圧回路部２と基準電圧回路部４と乗算器５とエミッタホロワ可変電圧回路部１（可変電圧回路）とから構成されている。
【００２２】
差動増幅回路部３は、トランジスタＴＲ1 のコレクタが、一方の可変抵抗器ＶＲC （負荷抵抗）を介して定電圧源ＶDDに接続され、エミッタが、一端が接地された定電流源ＩEEに接続されている。また、トランジスタＴＲ2 のコレクタが、他方の可変抵抗器ＶＲC （負荷抵抗）を介して定電圧源ＶDDに接続され、エミッタが定電流源ＩEEに接続されている。これらの両トランジスタＴＲ1 ，ＴＲ2 の特性は同一である。また、両可変抵抗器ＶＲC は、図示しない外部からの制御電圧に応じてその抵抗値を調整できる可変抵抗器である。
【００２３】
入力電圧回路部２は、時間的に変化する入力信号源としての入力電圧源ＶIN及び抵抗ＲB1，ＲB2からなる閉回路であり、可変入力電圧源ＶINの正側端子に抵抗ＲB1が、負側端子に抵抗ＲB2が接続され、両抵抗ＲB1，ＲB2の共通接続点がトランジスタＴＲ1 のベースに接続されている。
エミッタホロワ可変電圧回路部１は、トランジスタＴＲ3 のコレクタが定電圧源ＶDDに接続され、エミッタが、他端が接地された抵抗ＲB3の一端と、可変入力電圧源ＶINの負側端子とに接続されている。また、一端が定電圧源ＶDDに接続された可変抵抗器ＶＲB （可変抵抗）の他端に、定電流源ＩBB（定電流回路）の一端が接続され、定電流源ＩBBの他端は接地されている。可変抵抗器ＶＲB の他端はトランジスタＴＲ3 のベースにも接続されている。可変抵抗器ＶＲB は、図示しない外部からの制御電圧に応じてその抵抗値を調整できる可変抵抗器である。
【００２４】
基準電圧回路部４は、基準電圧源ＶREF 及び抵抗ＲB1，ＲB2からなる閉回路であり、基準電圧源ＶREF の正側端子に抵抗ＲB1が、負側端子に抵抗ＲB2が接続され、両抵抗ＲB1，ＲB2の共通接続点がトランジスタＴＲ2 のベースに接続されている。また、基準電圧源ＶREF の負側端子はバイアス電圧源ＶBSの正側端子にも接続され、バイアス電圧源ＶBSの負側端子は接地されている。
乗算器５は、トランジスタＴＲ1 ，ＴＲ2 のコレクタ電圧Ｖ1 ，Ｖ2 が個別に入力される。
【００２５】
このような構成のニューロ素子では、両トランジスタＴＲ1 ，ＴＲ2 の特性を表す式（２）（３）と、差動増幅回路部３における条件式（４）とから計算により求めた式（５）（６）で表される入力電圧ＶINに応じたシグモイド特性を有する差動出力電流ＩC1，ＩC2が流れる。
【００２６】
【数２】
【００２７】
【数３】
【００２８】
そして、差動出力電流ＩC1，ＩC2と可変抵抗器ＶＲCの抵抗値とで決まる差動出力電圧Ｖ1 ，Ｖ2 を乗算器５において掛け算し、最終的な回路出力として、式（７）で表される動径基底関数特性を有するＩC1・ＩC2に比例した電圧Ｖ1 ・Ｖ2 が、乗算器５から出力される。
【００２９】
【数４】
【００３０】
ここで、ＩE1，ＩE2はトランジスタＴＲ1 ，ＴＲ2 のエミッタ電流を、ＶE1，ＶE2はトランジスタＴＲ1 ，ＴＲ2 のベース・エミッタ間電圧を表す。また、αはトランジスタＴＲ1 ，ＴＲ2 のベース接地短絡電流増幅率を、ｑは電子の電荷量を、ｋはボルツマン定数を、Ｔは温度を、ＩS はトランジスタＴＲ1 ，ＴＲ2 の逆方向飽和電流を表す。
【００３１】
ここで、ニューラルネットワークの学習過程において、ネットワーク内の各ニューロン間の結合強度を変更する必要が有るが、これをハードウェアにより実現する為には、各ニューロンの出力である動径基底関数特性を式（８）及び図２で表されるようにする。
【００３２】
【数５】
【００３３】
ここに、ＶOUT ＝Ｖ1 ・Ｖ2 である。このとき、変数Ｃk により出力振幅を、変数βk により半値幅を、変数θk により入力に対するシフト量をそれぞれ変化させる必要がある。ｆ［ｘ（ｔ）］はネットワークにおける各ニューロン出力の積和を、ｘ（ｔ）はネットワークの入力データを表す。
【００３４】
以下に、このニューロ素子において、入力に対する出力シフト量、及び出力振幅の変化を実現する方法を説明する。
図１に示したように、差動増幅回路部３の入力電圧回路部２に直列に付加したエミッタホロワ可変電圧回路部１内の定電圧源ＶDD側抵抗ＶＲB 、及び差動増幅回路部３の両コレクタ負荷抵抗ＶＲC は可変抵抗器となっており、各抵抗値の変化により、図２に示すように動径基底関数特性の入力に対するシフト量及び振幅を変化させる。
詳細には、可変抵抗器ＶＲB の抵抗値を変化させることにより、入力側のトランジスタＴＲ1 のベースバイアス電圧が、基準側のトランジスタＴＲ2 のベースバイアス電圧に対しオフセットされるようになり、そのオフセット分だけ差動増幅回路部３の平衡点は移動し、動径基底関数出力特性も入力電圧ＶINに対しシフトする。
【００３５】
このときの可変抵抗器ＶＲB の抵抗値の変化は、実用的な回路電源電圧を考慮すると、１ｋΩ〜１００ｋΩ程度が適当である。また、コレクタ負荷抵抗である可変抵抗器ＶＲC の抵抗値を変化させることにより、差動出力電圧Ｖ1 ，Ｖ2 の電圧降下が変化し、差動増幅回路部３の出力のシグモイド特性及び乗算器５の出力の動径基底関数特性の振幅が変化する。
このときのコレクタ負荷抵抗である可変抵抗器ＶＲC の抵抗値としては、素子の増幅特性及びフルスイングを考慮すると、１００Ω〜１０ｋΩが適当である。
【００３６】
図３（ａ）は、可変抵抗器ＶＲB の抵抗値を３０ｋΩ〜３８ｋΩに変化させたときのニューロ素子の入出力特性を示したグラフである。ここに、ＶOUT ＝Ｖ1 ・Ｖ2 である。抵抗値を３０ｋΩ，３４ｋΩ，３８ｋΩと増加させるに従い、出力特性は、同一の関数特性を保った状態で、入力電圧ＶINに対しシフトしており、そのシフト量は抵抗値の変化に対して線形に変化している。
図３（ｂ）は、可変抵抗器ＶＲC の抵抗値を１ｋΩ〜３ｋΩに変化させたときのニューロ素子の入出力特性を示したグラフである。抵抗値を１ｋΩ，２ｋΩ，３ｋΩと増加させるに従い、特性曲線も、式（７）で表される動径基底関数特性を保った状態で、その振幅が２倍、３倍となっており、可変抵抗器ＶＲC の抵抗値の変化に対して線形に変化している。
【００３７】
【発明の効果】
第１，２発明に係るニューロ素子によれば、その入力電圧に可変電圧回路からの可変電圧を加算するので、ニューロ素子の出力である動径基底関数特性の、入力電圧に対するシフト量を線形に変化させることができる。
【００３８】
第３発明に係るニューロ素子によれば、さらに、差動増幅器の可変負荷抵抗器により、ニューロ素子の出力である動径基底関数特性の、入力電圧に対する振幅を線形に変化させることができるので、ニューラルネットワークの学習過程において必要であるネットワーク内の各ニューロン間の結合強度を正確に変更でき、ネットワーク出力の信頼性を大幅に向上させることができる。従って、内蔵の各可変抵抗器により、基底関数の各パラメータを変化させることができるので、ニューラルネットワークの完全なハードウェア化が実現可能となり、信号処理速度も格段に速くなる。
【図面の簡単な説明】
【図１】本発明に係るニューロ素子の実施の形態の構成を示す回路図である。
【図２】変数Ｃk ，θk の、ニューロ素子の入出力特性に対する影響を説明する為の説明図である。
【図３】可変抵抗器の抵抗値を変化させたときのニューロ素子の入出力特性を示したグラフである。
【図４】ガウス関数を動径基底関数としたニューラルネットワークを構成する従来のニューロ素子の構成例を示す回路図である。
【図５】図４に示したニューロ素子の入出力特性を示したグラフである。
【符号の説明】
１ エミッタホロワ可変電圧回路部（可変電圧回路）
２ 入力電圧回路部
３ 差動増幅回路部（差動増幅器）
４ 基準電圧回路部
５ 乗算器
ＩBB 定電流源（定電流回路）
ＴＲ1 〜ＴＲ3 トランジスタ
ＶＲB 可変抵抗器（可変抵抗）
ＶＲC 可変抵抗器（負荷抵抗、コレクタ負荷抵抗）
ＶIN 入力電圧源
【発明の属する技術分野】
本発明は、人間の脳の神経系を模倣したニューラルネットワークを構成するためのニューロ素子に関し、特に、半導体集積回路で容易に実現できるニューロ素子に関するものである。
【０００２】
【従来の技術】
人間の脳の神経系を模倣したニューラルネットワークを有する情報処理装置（ニューロコンピュータ）が注目されている。このようなニューロコンピュータは、所定の学習アルゴリズムに従って多数のニューロン間の結合強度を変更することにより、ノイマン型コンピュータが不得意であるあいまいな情報処理における解を得ることができる。
【０００３】
ニューラルネットワークをプログラムではなく装置として実現するために必要であるニューロ素子として、EEPROMを用いたものが提案されている（特開平３−144785号公報）。このニューロ素子では、各入力信号にそれぞれの係数を乗算し、それらの合計を例えばシグモイド関数のようなしきい値関数に入力し、その関数の計算値をニューロ素子の出力としている。
【０００４】
一方、しきい値関数とは異なり、動径基底関数を用いたニューラルネットワークも考案されているが、この種のニューラルネットワークをハードウェアにて実現する構成としては、ガウス関数を動径基底関数としたニューラルネットワークが知られている（“A Gaussian Synapse Circuit For Analog VLSI Neural Networks" ）。
図４（ａ）は、このガウス関数を動径基底関数としたニューラルネットワークを構成するニューロ素子の構成例を示す回路図である。このニューロ素子は、ＭＯＳトランジスタを用いた１対の差動増幅器とカレントミラー回路とを組み合わせたものとなっており、高圧側電源電圧ＶDDがソースに印加されたＭＯＳトランジスタＭ3 のドレインに２つのＭＯＳトランジスタＭ1 ，Ｍ2 のソースが接続され、ＭＯＳトランジスタＭ2 のゲートはコンデンサＣ1 を介して接地されている。
【０００５】
ＭＯＳトランジスタＭ1 のドレインは、低圧側電源電圧ＶSSがソースに印加された２つのＭＯＳトランジスタＭ4 ，Ｍ5 のドレインに接続され、ＭＯＳトランジスタＭ5 はドレインとゲートとが接続されている。
高圧側電源電圧ＶDDがソースに印加されたＭＯＳトランジスタＭ9 のドレインに２つのＭＯＳトランジスタＭ7 ，Ｍ8 のソースが接続され、ＭＯＳトランジスタＭ8 のドレインはコンデンサＣ2 を介して接地されている。
【０００６】
ＭＯＳトランジスタＭ7 のドレインは、低圧側電源電圧ＶSSがソースに印加された２つのＭＯＳトランジスタＭ10，Ｍ11のドレインに接続され、ＭＯＳトランジスタＭ11はドレインとゲートとが接続されている。
ＭＯＳトランジスタＭ8 のドレインはＭＯＳトランジスタＭ1 のドレインに接続され、ＭＯＳトランジスタＭ2 のドレインはＭＯＳトランジスタＭ7 のドレインに接続されている。
【０００７】
高圧側電源電圧ＶDDがソースに印加されたＭＯＳトランジスタＭ15のドレインは、低圧側電源電圧ＶSSがソースに印加された２つのＭＯＳトランジスタＭ6 ，Ｍ12のドレインに接続され、ＭＯＳトランジスタＭ6 のドレインはＭＯＳトランジスタＭ5 のドレインに、ＭＯＳトランジスタＭ12のゲートはＭＯＳトランジスタＭ11のゲートにそれぞれ接続されている。
【０００８】
高圧側電源電圧ＶDDがソースに印加されたＭＯＳトランジスタＭ13のドレインは、定電流源ＩX1の一方に接続され、定電流源ＩX1の他方は低圧側電源電圧ＶSSが印加されている。ＭＯＳトランジスタＭ13のドレインは、ＭＯＳトランジスタＭ13，Ｍ3 ，Ｍ9 ，Ｍ15のそれぞれのゲートに接続されている。
低圧側電源電圧ＶSSがソースに印加されたＭＯＳトランジスタＭ14のドレインは、定電流源ＩX2の一方に接続され、定電流源ＩX2の他方は高圧側電源電圧ＶDDが印加されている。ＭＯＳトランジスタＭ14のドレインは、ＭＯＳトランジスタＭ14，Ｍ4 ，Ｍ10のそれぞれのゲートに接続されている。
【０００９】
１対の差動増幅器としての入力電圧ＶINの正側はＭＯＳトランジスタＭ1 のゲートに、負側はＭＯＳトランジスタＭ7 のゲートに与えられる。入力電圧ＶINのリファレンス電圧ＶW の正側はＭＯＳトランジスタＭ2 のゲートに、負側はＭＯＳトランジスタＭ8 のゲートに与えられる。ニューロ素子としての出力電流ＩOUT は、ＭＯＳトランジスタＭ15のドレインから得られる。
【００１０】
このような構成のニューロ素子では、１対の差動増幅器における入力電圧ＶINとリファレンス電圧ＶW とに応じた、ＭＯＳトランジスタＭ1 ，Ｍ8 のドレイン電流の合計電流Ｉ1 及びＭＯＳトランジスタＭ2 ，Ｍ7 のドレイン電流の合計電流Ｉ2 が、定電流源であるＭＯＳトランジスタＭ4 ，Ｍ5 及びＭＯＳトランジスタＭ11，Ｍ10を通じて流れる。そのとき、上段カレントミラー回路のＭＯＳトランジスタＭ15を通じて流れる電流の内、電流Ｉ1 ，Ｉ2 と同じ量の電流が定電流源であるＭＯＳトランジスタＭ6 ，Ｍ12を通じて接地側に流れ、残りの電流が出力電流ＩOUT として出力されるようになっている。
【００１１】
ここで、この回路は（１）式に示すような、出力であるガウス関数特性の入力電圧に対するシフトに相当するsynapse weightＷjiと、標準偏差を決定するσjiとを、それぞれ差動増幅器リファレンス電圧ＶW と、図４（ｂ）に示すようなトランジスタサイズ（ゲート幅／ゲート長）の変化により表現している。（１）式において、Ｙj は出力ニューロンを、Ｘj は入力ニューロンを表す。
【００１２】
【数１】
図５（ａ）は、図４（ａ）に示したニューロ素子の、差動増幅器におけるリファレンス電圧ＶW を変化させたときの入出力特性を示したグラフであり、リファレンス電圧ＶW の高低変化に応じて、特性曲線が差動増幅器における入力電圧ＶINの高低方向へシフトする。
図５（ｂ）は、図４（ａ）に示したニューロ素子の、カレントミラー回路の定電流源ＩX1，ＩX2の電流値ＩX を変化させたときの入出力特性を示したグラフであり、定電流源ＩX1，ＩX2の電流値ＩX が増加するに従って出力電流ＩOUT も増加する。
これらの基底関数特性曲線の変化により、ニューラルネットワークにおけるシナプスの重み付けが可能となる。
【００１４】
【発明が解決しようとする課題】
従来は、図５（ｂ）に示すように、入出力特性全体において、定電流源ＩX1，ＩX2の電流値ＩX の変化に対し、同じ比率で出力電流ＩOUT は変化していない。つまり、パラメータ変更に際して出力が線形に変化しない。これは、出力電流ＩOUT が上段カレントミラーの電流と差動増幅器の電流との差し引きにより決定されている為と考えられるが、このような特性のずれは、ニューラルネットワークにおいて基底関数の積和演算を行う際、その出力結果の信頼性を大幅に低下させる。
【００１５】
また、動径基底関数特性における、入力に対するシフト量及び振幅を、それぞれ差動増幅器リファレンス電圧ＶW 及び定電流源ＩX1，ＩX2の電流値ＩX の変化により行っており、この場合、回路外部からリファレンス電圧ＶW 及び定電流源ＩX1，ＩX2の電流値ＩX を制御し、その状態を記憶する必要があり、ネットワーク全体の信号処理時間が長くなる問題がある。
本発明は、このような事情に鑑みてなされたものであり、信頼性が高く、高速動作が可能なニューロ素子を提供することを目的とする。
【００１６】
【課題を解決するための手段】
第１発明に係るニューロ素子は、入力に応じて動径基底関数に基づく信号を出力し、ニューラルネットワークを構成すべくなしてあるニューロ素子において、
２出力の差動増幅器と、該２出力を乗算して前記信号として出力する乗算器と、前記動径基底関数における入力に対する出力シフト量を変化させるための電圧を出力する可変電圧回路とを備え、前記ニューラルネットワークの仮想するノードへの前記入力を前記差動増幅器の少なくとも一方の入力となし、該入力に前記電圧を加算すべくなしてあることを特徴とする。
【００１７】
第２発明に係るニューロ素子は、前記可変電圧回路は、ベース電圧が可変抵抗と定電流回路とにより制御されるエミッタホロワ可変電圧回路であることを特徴とする。
【００１８】
第３発明に係るニューロ素子は、前記差動増幅器の負荷抵抗は可変抵抗器であることを特徴とする。
【００１９】
本発明に係るニューロ素子では、差動増幅器とその差動増幅器の２出力を乗算する乗算器とから構成されたニューロ素子において、動径基底関数特性における入力に対する出力シフト量の変化を、差動増幅器の入力側外部入力電圧に直列に、可変抵抗器と定電流回路とによりベース電圧が制御されるエミッタホロワ可変電圧回路を付加することにより実現している。また、差動増幅器の負荷抵抗に可変抵抗器を使用することにより、出力ノードの電圧降下量を変化させ、出力特性の振幅を抵抗値に対し線形に変化させる。
【００２０】
これにより、動径基底関数特性における振幅、及び入力に対するシフト量を変化させるのに、回路外部で各電流源及び各電圧源を制御しその状態を記憶する必要がなくなり、ネットワーク全体の信号処理時間が短縮される。つまり、学習過程におけるニューラルネットワーク内の動径基底関数の各パラメータを各可変抵抗器により保持することができ、回路外部からの制御が不要となり、ネットワークの信号処理速度も格段に向上する。
【００２１】
【発明の実施の形態】
以下に、本発明をその実施の形態を示す図面に基づいて説明する。
図１は、本発明に係るニューロ素子の実施の形態の構成を示す回路図である。このニューロ素子は、差動増幅回路部３（差動増幅器）と入力電圧回路部２と基準電圧回路部４と乗算器５とエミッタホロワ可変電圧回路部１（可変電圧回路）とから構成されている。
【００２２】
差動増幅回路部３は、トランジスタＴＲ1 のコレクタが、一方の可変抵抗器ＶＲC （負荷抵抗）を介して定電圧源ＶDDに接続され、エミッタが、一端が接地された定電流源ＩEEに接続されている。また、トランジスタＴＲ2 のコレクタが、他方の可変抵抗器ＶＲC （負荷抵抗）を介して定電圧源ＶDDに接続され、エミッタが定電流源ＩEEに接続されている。これらの両トランジスタＴＲ1 ，ＴＲ2 の特性は同一である。また、両可変抵抗器ＶＲC は、図示しない外部からの制御電圧に応じてその抵抗値を調整できる可変抵抗器である。
【００２３】
入力電圧回路部２は、時間的に変化する入力信号源としての入力電圧源ＶIN及び抵抗ＲB1，ＲB2からなる閉回路であり、可変入力電圧源ＶINの正側端子に抵抗ＲB1が、負側端子に抵抗ＲB2が接続され、両抵抗ＲB1，ＲB2の共通接続点がトランジスタＴＲ1 のベースに接続されている。
エミッタホロワ可変電圧回路部１は、トランジスタＴＲ3 のコレクタが定電圧源ＶDDに接続され、エミッタが、他端が接地された抵抗ＲB3の一端と、可変入力電圧源ＶINの負側端子とに接続されている。また、一端が定電圧源ＶDDに接続された可変抵抗器ＶＲB （可変抵抗）の他端に、定電流源ＩBB（定電流回路）の一端が接続され、定電流源ＩBBの他端は接地されている。可変抵抗器ＶＲB の他端はトランジスタＴＲ3 のベースにも接続されている。可変抵抗器ＶＲB は、図示しない外部からの制御電圧に応じてその抵抗値を調整できる可変抵抗器である。
【００２４】
基準電圧回路部４は、基準電圧源ＶREF 及び抵抗ＲB1，ＲB2からなる閉回路であり、基準電圧源ＶREF の正側端子に抵抗ＲB1が、負側端子に抵抗ＲB2が接続され、両抵抗ＲB1，ＲB2の共通接続点がトランジスタＴＲ2 のベースに接続されている。また、基準電圧源ＶREF の負側端子はバイアス電圧源ＶBSの正側端子にも接続され、バイアス電圧源ＶBSの負側端子は接地されている。
乗算器５は、トランジスタＴＲ1 ，ＴＲ2 のコレクタ電圧Ｖ1 ，Ｖ2 が個別に入力される。
【００２５】
このような構成のニューロ素子では、両トランジスタＴＲ1 ，ＴＲ2 の特性を表す式（２）（３）と、差動増幅回路部３における条件式（４）とから計算により求めた式（５）（６）で表される入力電圧ＶINに応じたシグモイド特性を有する差動出力電流ＩC1，ＩC2が流れる。
【００２６】
【数２】
【数３】
そして、差動出力電流ＩC1，ＩC2と可変抵抗器ＶＲCの抵抗値とで決まる差動出力電圧Ｖ1 ，Ｖ2 を乗算器５において掛け算し、最終的な回路出力として、式（７）で表される動径基底関数特性を有するＩC1・ＩC2に比例した電圧Ｖ1 ・Ｖ2 が、乗算器５から出力される。
【００２９】
【数４】
ここで、ＩE1，ＩE2はトランジスタＴＲ1 ，ＴＲ2 のエミッタ電流を、ＶE1，ＶE2はトランジスタＴＲ1 ，ＴＲ2 のベース・エミッタ間電圧を表す。また、αはトランジスタＴＲ1 ，ＴＲ2 のベース接地短絡電流増幅率を、ｑは電子の電荷量を、ｋはボルツマン定数を、Ｔは温度を、ＩS はトランジスタＴＲ1 ，ＴＲ2 の逆方向飽和電流を表す。
【００３１】
ここで、ニューラルネットワークの学習過程において、ネットワーク内の各ニューロン間の結合強度を変更する必要が有るが、これをハードウェアにより実現する為には、各ニューロンの出力である動径基底関数特性を式（８）及び図２で表されるようにする。
【００３２】
【数５】
ここに、ＶOUT ＝Ｖ1 ・Ｖ2 である。このとき、変数Ｃk により出力振幅を、変数βk により半値幅を、変数θk により入力に対するシフト量をそれぞれ変化させる必要がある。ｆ［ｘ（ｔ）］はネットワークにおける各ニューロン出力の積和を、ｘ（ｔ）はネットワークの入力データを表す。
【００３４】
以下に、このニューロ素子において、入力に対する出力シフト量、及び出力振幅の変化を実現する方法を説明する。
図１に示したように、差動増幅回路部３の入力電圧回路部２に直列に付加したエミッタホロワ可変電圧回路部１内の定電圧源ＶDD側抵抗ＶＲB 、及び差動増幅回路部３の両コレクタ負荷抵抗ＶＲC は可変抵抗器となっており、各抵抗値の変化により、図２に示すように動径基底関数特性の入力に対するシフト量及び振幅を変化させる。
詳細には、可変抵抗器ＶＲB の抵抗値を変化させることにより、入力側のトランジスタＴＲ1 のベースバイアス電圧が、基準側のトランジスタＴＲ2 のベースバイアス電圧に対しオフセットされるようになり、そのオフセット分だけ差動増幅回路部３の平衡点は移動し、動径基底関数出力特性も入力電圧ＶINに対しシフトする。
【００３５】
このときの可変抵抗器ＶＲB の抵抗値の変化は、実用的な回路電源電圧を考慮すると、１ｋΩ〜１００ｋΩ程度が適当である。また、コレクタ負荷抵抗である可変抵抗器ＶＲC の抵抗値を変化させることにより、差動出力電圧Ｖ1 ，Ｖ2 の電圧降下が変化し、差動増幅回路部３の出力のシグモイド特性及び乗算器５の出力の動径基底関数特性の振幅が変化する。
このときのコレクタ負荷抵抗である可変抵抗器ＶＲC の抵抗値としては、素子の増幅特性及びフルスイングを考慮すると、１００Ω〜１０ｋΩが適当である。
【００３６】
図３（ａ）は、可変抵抗器ＶＲB の抵抗値を３０ｋΩ〜３８ｋΩに変化させたときのニューロ素子の入出力特性を示したグラフである。ここに、ＶOUT ＝Ｖ1 ・Ｖ2 である。抵抗値を３０ｋΩ，３４ｋΩ，３８ｋΩと増加させるに従い、出力特性は、同一の関数特性を保った状態で、入力電圧ＶINに対しシフトしており、そのシフト量は抵抗値の変化に対して線形に変化している。
図３（ｂ）は、可変抵抗器ＶＲC の抵抗値を１ｋΩ〜３ｋΩに変化させたときのニューロ素子の入出力特性を示したグラフである。抵抗値を１ｋΩ，２ｋΩ，３ｋΩと増加させるに従い、特性曲線も、式（７）で表される動径基底関数特性を保った状態で、その振幅が２倍、３倍となっており、可変抵抗器ＶＲC の抵抗値の変化に対して線形に変化している。
【００３７】
【発明の効果】
第１，２発明に係るニューロ素子によれば、その入力電圧に可変電圧回路からの可変電圧を加算するので、ニューロ素子の出力である動径基底関数特性の、入力電圧に対するシフト量を線形に変化させることができる。
【００３８】
第３発明に係るニューロ素子によれば、さらに、差動増幅器の可変負荷抵抗器により、ニューロ素子の出力である動径基底関数特性の、入力電圧に対する振幅を線形に変化させることができるので、ニューラルネットワークの学習過程において必要であるネットワーク内の各ニューロン間の結合強度を正確に変更でき、ネットワーク出力の信頼性を大幅に向上させることができる。従って、内蔵の各可変抵抗器により、基底関数の各パラメータを変化させることができるので、ニューラルネットワークの完全なハードウェア化が実現可能となり、信号処理速度も格段に速くなる。
【図面の簡単な説明】
【図１】本発明に係るニューロ素子の実施の形態の構成を示す回路図である。
【図２】変数Ｃk ，θk の、ニューロ素子の入出力特性に対する影響を説明する為の説明図である。
【図３】可変抵抗器の抵抗値を変化させたときのニューロ素子の入出力特性を示したグラフである。
【図４】ガウス関数を動径基底関数としたニューラルネットワークを構成する従来のニューロ素子の構成例を示す回路図である。
【図５】図４に示したニューロ素子の入出力特性を示したグラフである。
【符号の説明】
１ エミッタホロワ可変電圧回路部（可変電圧回路）
２ 入力電圧回路部
３ 差動増幅回路部（差動増幅器）
４ 基準電圧回路部
５ 乗算器
ＩBB 定電流源（定電流回路）
ＴＲ1 〜ＴＲ3 トランジスタ
ＶＲB 可変抵抗器（可変抵抗）
ＶＲC 可変抵抗器（負荷抵抗、コレクタ負荷抵抗）
ＶIN 入力電圧源
Claims (3)
- 入力に応じて動径基底関数に基づく信号を出力し、ニューラルネットワークを構成すべくなしてあるニューロ素子において、
２出力の差動増幅器と、該２出力を乗算して前記信号として出力する乗算器と、前記動径基底関数における入力に対する出力シフト量を変化させるための電圧を出力する可変電圧回路とを備え、前記ニューラルネットワークの仮想するノードへの前記入力を前記差動増幅器の少なくとも一方の入力となし、該入力に前記電圧を加算すべくなしてあることを特徴とするニューロ素子。 - 前記可変電圧回路は、ベース電圧が可変抵抗と定電流回路とにより制御されるエミッタホロワ可変電圧回路である請求項１記載のニューロ素子。
- 前記差動増幅器の負荷抵抗は可変抵抗器である請求項１又は２記載のニューロ素子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14978397A JP3912852B2 (ja) | 1997-06-06 | 1997-06-06 | ニューロ素子 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14978397A JP3912852B2 (ja) | 1997-06-06 | 1997-06-06 | ニューロ素子 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10340308A JPH10340308A (ja) | 1998-12-22 |
| JP3912852B2 true JP3912852B2 (ja) | 2007-05-09 |
Family
ID=15482629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14978397A Expired - Fee Related JP3912852B2 (ja) | 1997-06-06 | 1997-06-06 | ニューロ素子 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3912852B2 (ja) |
-
1997
- 1997-06-06 JP JP14978397A patent/JP3912852B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10340308A (ja) | 1998-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0349007B1 (en) | Semiconductor integrated circuit for neural network | |
| Yang et al. | A memristor-based neural network circuit with synchronous weight adjustment | |
| JP2760543B2 (ja) | 多重帰還回路 | |
| US5305250A (en) | Analog continuous-time MOS vector multiplier circuit and a programmable MOS realization for feedback neural networks | |
| JPH05225364A (ja) | 可変抵抗型ｍｏｓｆｅｔアナログ乗算器 | |
| JP3912852B2 (ja) | ニューロ素子 | |
| Jain | Design and simulation of fuzzy membership functions for the fuzzification module of fuzzy system using operational amplifier | |
| US5625752A (en) | Artificial neural system with binary weighting by equal resistor network | |
| CN112420841B (zh) | 负微分电阻电路以及神经元晶体管结构 | |
| Li et al. | A 0.7 v low-power fully programmable gaussian function generator for brain-inspired gaussian correlation associative memory | |
| US5570456A (en) | Analog circuit implementing a fuzzy logic controller | |
| Abden et al. | Multilayer perceptron analog hardware implementation using low power operational transconductance amplifier | |
| Vidal-Verdú et al. | A design approach for analog neuro/fuzzy systems in CMOS digital technologies | |
| JP3191678B2 (ja) | ニューロ素子 | |
| JP3175567B2 (ja) | ニューロ素子 | |
| Vidal-Verdu et al. | A basic building block approach to CMOS design of analog neuro/fuzzy systems | |
| Baturone et al. | Implementation of inference/defuzzification methods via continuous-time analog circuits | |
| Hasler et al. | A four-quadrant floating-gate synapse | |
| Pandey et al. | High Precision Low-Voltage WTA/LTA Circuit for Signal Processing Applications | |
| Mayes et al. | Pulsed VLSI for RBF neural networks | |
| CN116451751A (zh) | 单个非易失性器件存储正负权重的突触结构、神经网络电路、存算一体芯片和电子设备 | |
| JPH02311972A (ja) | ニューロン素子回路 | |
| Asai et al. | A MOS circuit for a nonmonotonic neural network with excellent retrieval capabilities | |
| Jain | Analysis & simulation of electrical parameters of fuzzy system using different types of current amplifiers with different membership functions for AkT pathway | |
| KR940005512B1 (ko) | 신경 회로망의 비선형 시냅스회로 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040603 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061016 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070130 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |