JP2615422B2 - 時系列学習神経回路素子およびそれを用いた時系列学習神経回路 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、時系列の学習・記憶に
基づく情報処理や制御技術、また神経回路（ニューラル
ネットワーク）を集積回路としてハードウェア化するこ
とを可能とした時系列学習神経回路素子およびそれを用
いた時系列学習神経回路に関するものである。

【０００２】

【従来の技術】従来の神経回路を集積化するためには、
アナログ方式とデジタル方式があった。アナログ方式で
は、素子数が多くなると結線が増加することと、入力結
合係数を自由に変化させたり長期に保持することが困難
である等の障害があった。また、デジタル方式では、入
力信号と結合係数の計算のために精度の良い乗算回路を
必要とし、その積和計算等にも時間がかかること、非線
形関数の計算も煩雑であり障害となっていた。従来の神
経回路素子は、基本的にアナログ信号を素子間で受渡し
て作動するため、結線と計算の複雑さは集積回路のため
の避け難い障害となっていた。

【０００３】そこで、新しい神経回路素子の集積化の方
法としてパルス入出力による神経回路素子（特願平４−
２５４１８９号）が提案され、結合係数や結線の問題も
解決され、計算処理も簡単なデジタル回路で実現できる
手段が示された。ただし、その素子の学習の方法につい
ては、まだ提案されてなかった。

【０００４】神経回路の学習法としては、従来からバッ
クプロパゲーション（ＢＰ）やヘブの学習則などの学習
方法が用いられていた。これらの学習法では、時間的に
は固定化された条件での学習であるため、時間の前後関
係、すなわち時系列の連想を学習することは考慮されて
いない。ＢＰの学習方法を載せたニューラルネットワー
クの集積回路も一部には試作されているが、学習の演算
には回路全体の情報を必要とし、その学習のための回路
も複雑となり大規模集積化は出来ていない。

【０００５】そこで、パルス入出力による神経回路を時
系列入力で学習させる方法が、神経回路の時系列学習方
法（特願平５−３４５３２１号）により示された。この
学習は、入力と出力の局所情報のみで学習するヘブの学
習則に近く、ＢＰと比べて学習のための計算量は改善さ
れている。この学習法は出力に応答出力があるとき、各
入力の時間履歴値と、学習しきい値との比較により時間
の相関関係を求め、結合係数の強化または減衰を学習す
る方法である。

【０００６】パルス入出力による神経回路素子にこの学
習法を回路として組み込み集積化する方法はまだ示され
ていない。その理由としては、入出力の応答演算は今ま
で通りデジタル入出力結線の方法で可能であるが、学習
演算のためには各入力の時間履歴値が必要でそれがアナ
ログ値であるので、その信号を各入力部に伝達し学習を
実行するには、結線が非常に複雑になりさらに大量のメ
モリも必要となる。このことは、デジタル回路で多数個
素子を集積化する障害となって、それを備えた時系列の
学習可能な集積回路を実現する方法はなかった。

【０００７】また時系列学習法で、層構造の神経回路を
構成して、パターン認識の学習をするとき、入力のパタ
ーンに対して望みの出力素子に出力するように教え込む
ために、どのように教師信号を用いるかという手段は示
されていなかった。

【０００８】

【発明が解決しようとする課題】以上のように、時系列
学習可能なニューラルネットワークの回路は、学習方法
も含め、大規模集積化にはいくつかの障害があった。そ
こで本発明は、 （ａ）正しく時系列学習ができる機能をもち、各素子の
学習のための演算が単純で高速である、 （ｂ）神経回路素子間の学習のための結線を単純化で
き、デジタル回路で多数の素子を持つ集積回路が実現で
きる、 （ｃ）素子間の信号伝達のための結線が単純で信頼性が
あり、多数個のグループを集めてグループ間の結線によ
り大規模システム化することができる、 （ｄ） 多層構造の神経回路を構築した時、出力素子と
して出力層の任意の素子が選択できるように、誘導信号
を用いた学習が容易にできる、ことの可能な時系列学習
神経回路素子およびそれを用いた時系列学習神経回路を
提供することを目的とする。

【０００９】

【課題を解決するための手段】このような目的を達成す
るためには、本発明は、パルス入出力による神経回路素
子（特願平４−２５４１８９号）を用いて動作回路をつ
くり、これに時系列学習法（特願平５−３４５３２１
号）を基本とした時系列学習の回路を、工夫して付加す
ることで回路を実現したものである。

【００１０】すなわち、本発明にかかる時系列学習神経
回路素子は、多数入力を持つ神経回路素子で、入力メモ
リ部の入力値とそれに対応した入力端の結合係数の積を
総和した結果と該神経回路素子内の前の時点の残留値か
ら減衰した値との和をとり、その演算結果を集積値とし
て、当該集積値と予め定めた閾値とを比較し、前記集積
値が前記閾値を越える場合は、比較結果として出力ビッ
ト１の出力信号を出し、前記集積値から定数値を差し引
いた値を前記残留値として取り扱うと共に、前記集積値
が前記閾値以下の場合は、比較結果として出力ビット０
の出力信号を出し、当該集積値を前記残留値として取り
扱う応答演算回路による演算手段と、当該神経回路素子
の学習には、各入力の時間経過を示す入力履歴値を求
め、出力応答があった場合に於いて、当該履歴値が大き
いときには結合係数を強化し中間レベルでは減衰とし極
小か零では不変とする履歴判定により、新しい結合係数
を求める操作を学習演算回路により行い、入力と出力の
時間の前後関係を結合係数の内に銘記しまた読み出せる
機能を持ち、この学習に際し前段入力素子から当該素子
への入力の履歴値を送信側の前段入力素子の出力の履歴
値で代わりに求め、その履歴値と学習のしきい値と比較
する事により結合係数の強化か減衰または不変の履歴判
定値を前段入力素子内の履歴判定回路でつくり、この判
定信号を受信側の各素子の入力端に送ることにより当該
神経回路素子の入力履歴判定値として当該素子の前記の
学習演算を行うことで時系列の連想記憶を可能とする学
習手 段とを備えたものである。

【００１１】また、本発明にかかる時系列学習神経回路
は、請求項１の時系列学習神経回路素子を多数個１つの
基板上に配置して集積化することにより、１つの機能グ
ループを形成し、それらグループを複数個集めたグルー
プ間で時系列の連想学習を行い、時間の流れを連想記憶
するシステムを構築し、同時に教師又は誘導信号により
出力素子を選定した学習ができる選定手段を備えたもの
である。

【００１２】

【作用】本発明に係る時系列学習神経回路素子では、パ
ルス入出力により各種素子間の信号のための結線は、複
数のアドレス線と単一のデータ線のみで良い。また、学
習のためには、時系列学習法から各入力の履歴値を求め
る必要があるが、各出力側でその値を求めそれを各素子
に転送して入力の履歴とすることで、効率よい計算が出
来る。また、この学習法は、入力履歴値と出力が発火し
たときのみ学習するという局所的関係により行われるた
め、ＢＰ法のように複雑な計算を必要としないし、素子
間の結線回路がどんなに複雑になっても学習できる。さ
らに、学習のための結線数の増加を極力少なくするため
には、結合係数の増減の数式を新たに検討して、学習の
しきい値と比較した増強か減衰かの結果のみを転送する
方式を取り入れることにより、２本のデータ線で学習を
行うことができる。

【００１３】本発明にかかる時系列学習神経回路は、上
の方式により各素子間の信号は、動作モードでは（ＯＮ
／ＯＦＦ）の信号，学習モードでは（増強／減衰／不
変）の信号のデジタル信号のみである。そのため、各素
子間や基板間の結線もアドレス線と２本のデータ線で接
続できる自由さがあり、大規模システムも構築できる。
また、ある入力パターンに対し特定の出力素子が応答す
るように教え込むには、出力素子に入力に対応した信号
を誘導信号として用い、直接出力素子に入力することで
発火確率を高め可能となる。

【００１４】本発明によると、時系列学習のための入力
履歴値の計算をパルス出力側で求め、学習のしきい値と
比較した結果（強化／減衰／不変）のみを入力側に送る
ことで、素子間の結線数を極力少なく出来る。そのため
集積化や大規模システムが可能になる。また、出力端子
に誘導信号を与えることにより、出力パターンを教え込
むことも可能となる。

【００１５】

【実施例】以下、図面を用いて本発明の実施例を詳細に
説明する。図１が本発明による時系列学習神経回路素子
の一実施例を示す要素関係を示すブロック図であり、入
力メモリ部１，応答演算回路２，履歴判定回路３，学習
演算回路４の要素部分から構成されている。

【００１６】ここで扱う時系列学習神経回路素子（以
下、単に素子という）の入力メモリ部１と応答演算回路
２の入出力応答の部分は、「神経回路素子」として、特
願平４−２５４１８９号で明らかにされている入出力が
パルス信号で応答する素子を用いる。その神経回路素子
の動作を図６〜図８に参照しながら説明する。

【００１７】図６に示すように、いまｉ番目の素子があ
り、多数のｊ入力を受けて動作することを考える。多数
の入力の内のｊからの入力Ｘｊのパルスはｊからｉへの
結合係数Ｗｊｉを経て素子内部に集積される。一方、素
子内部の残留ポテンシャルＶｉは、減衰定数ａにより次
の時間区分ではａＶｉとして、集積値Ｕｉに加わる。こ
こでの動作はある時間幅の離散時間による処理を行うこ
ととして、以上のことを示すと次式になる。

【００１８】

【数１】 この集積値Ｕｉはパルス発生のしきい値Ｔと比較され
て、しきい値より大きいときパルスを発生し（Ｘｉ＝
１）、Ｕｉから定数ｐを減じた値が内部ポテンシャルＶ
ｉとして次に残留する。集積値Ｕｉがしきい値より小さ
いとパルスは発生せず（Ｘｉ＝０）、Ｕｉがそのまま残
留ポテンシャルＶｉとなる。これをまとめると次式とな
る。

【００１９】

【数２】 以上の動作を各素子毎に並列的に繰り返し計算し応答出
力を求める。

【００２０】この応答の演算部分をデジタル回路で構成
したのが図７であり、２０は結合係数記憶部、３０は演
算処理部であり、〔数１〕の集積計算は、入力はパルス
でＸｊは１か０であるためＸｊ＝１であるＷｊｉのみを
加算することとなり、ａＶｉの計算は定数ａとの乗算で
あるため複雑な回路とならない。〔数２〕では、数値比
較と減算のみであり簡単なデジタル回路でつくれる。入
出力のデータは０，１であるため時間分割のシリアル転
送にすれば、図８のように結線はアドレス結線と１本の
データ結線で可能となる。さらに、結合係数Ｗｊｉは各
素子毎にデジタルメモリを用いれば自由に変更でき保持
できる。この神経回路素子が上記のように、デジタル回
路で集積化するのに適した方式であることは、前記の特
願平４−２５４１８９号で示されているとおりである。
このような神経回路素子を多数組み合わせて神経回路網
を構成して情報処理をする。

【００２１】次に、この神経回路素子に付加する学習機
能について説明する。パルスによる学習則として、図５
に示す「神経回路の時系列学習法」（特願平５−３４５
３２１号）を基本的には適応することとする。その学習
法を説明すると、上記の神経回路素子の各入力部に、入
力の減衰しながら履歴値Ｈｊｉを保持する部分を備え
る。履歴値の計算は、各離散時間毎に素子としての応答
動作を繰り返しながら、パルス入力（Ｘｊ＝１）がある
毎に入力のあった結合部の履歴値に定数ｑを加えるもの
とする。履歴値の減衰定数をｄとしてこのことを表すと
次式となる。

【００２２】

【数３】 一方、学習により結合係数Ｗｊｉを変えるのは、素子に
大きな入力がありパルス出力があった時に生じるとす
る。発火（Ｘｉ（ｔ）＝１）があると、各入力部の履歴
値Ｈｊｉ（ｔ）が参照され、それが学習のしきい値と比
較され結合係数Ｗｊｉの増強／減衰／不変が決められ
る。学習のしきい値には、増強しきい値Ｇ１と減衰しき
い値Ｇ２の二つのレベル（Ｇ１＞Ｇ２＞０）があり、
〔数３〕から分かるように入力から短時間内でＨｊｉ
（ｔ）≧Ｇ１ならば増強となり、入力からしばらく経っ
てＧ１＞Ｈｊｉ（ｔ）≧Ｇ２ならば減衰となり、それ以
外のしばらく入力が無かったＧ２＞Ｈｊｉ（ｔ）また
は、出力発火がない素子では学習は行われず結合係数は
不変となる。

【００２３】入力結合には興奮性と制御性があるが、結
合係数Ｗｊｉを正にとれば興奮性の結合として計算で
き、負に取れば制御性の結合として計算できる。そこ
で、結合係数Ｗｊｉには上限Ｗｍａｘと下限Ｗｍｉｎを
設け、学習速度定数として増強定数ｋ１、減衰定数ｋ２
とすると、結合係数Ｗｊｉの変化分ΔＷｊｉは出力発火
があった素子で、

【００２４】

【数４】 Hji(t)≧G1ならば、増強となり、ΔWji ＝k1（Wmax−Wji)

【００２５】

【数５】 G1＞Hji(t)≧G2ならば、減衰となり、ΔWji ＝k2(Wmin −Wji) で計算される。

【００２６】〔数４〕，〔数５〕は、Ｗｍａｘ，Ｗｍｉ
ｎをＷｍとし、ｋ１，ｋ２をｋとすると、次式にまとま
る。

【００２７】

【数６】 ここで計算を簡単にするためにいくつかの省略をしてい
る。実際の積分された入力の履歴値Ｈｊｉには、結合係
数Ｗｊｉも関係して、Ｗｊｉ・Ｈｊｉ（ｔ）が学習閾値
Ｇ１，Ｇ２と比較されるべきであるが、Ｗｊｉの初期値
はランダムにしたり時系列を重視することから、履歴値
に対するＷｊｉの値の影響は無視してＨｊｉ（ｔ）と学
習レベルと比較することとした。また、変化分ΔＷは履
歴値Ｈｊｉと学習閾値Ｇ１，Ｇ２とも関係するはずであ
るが、ここでは増強／減衰がそれぞれ一定の学習速度定
数ｋ１，ｋ２となるとして無視した。

【００２８】このような簡略化により、学習の計算が簡
略になる。例えば、素子の各入力毎の履歴値Ｈｊｉを求
めるには、各素子毎に全ての入力の履歴値を求めなくて
も、代わりに各素子の出力側の履歴値Ｈｊを求め、それ
を各素子に伝達して学習の結合係数の計算に用いること
ができる。以上のことが、前記の特願平５−３４５３１
号中に示されている。

【００２９】しかし、上記の学習法により学習機能を持
つ回路を付加するためには、次のような障害があった。
学習のために、出力側で履歴を求め、各素子の入力部に
転送する方法をとると、履歴値Ｈｊがアナログ量である
ため各素子に転送するための結線数のことや、各素子で
保持するためのメモリ量の問題もあり、そのまま回路化
することができない。このことは、パルス入出力の素子
にして折角１ビットの応答データで素子間の結線を簡略
化できたことにも矛盾する。

【００３０】そこで、本発明では、この問題を解決し、
時系列学習機能を持つデジタル集積化された神経回路
を、図１の入力メモリ部１，応答演算回路２，履歴判定
回路３，学習演算回路４により実現したことを次に説明
する。図において、入力メモリ部１は、入力状態メモリ
１１，結合係数メモリ１２，学習判定メモリ１３からな
る。なお、Ｓ１は応答入力、Ｓ２は判定入力、Ｓ３は応
答出力、Ｓ４は判定出力、Ｓ５〜Ｓ８は入力メモリ部１
の出力、Ｓ９は学習による結合係数の置き換え出力、Ｓ
１０は応答演算回路２の出力、Ｓ１１，Ｓ１２は学習演
算回路４，履歴判定回路３への入力、Ｓ１３は履歴判定
回路３の出力を示す。

【００３１】まず、図１で示された入力メモリ部１の入
力状態メモリ１１，結合係数メモリ１２と応答演算回路
２のデジタル回路で構成された神経回路素子（その処理
手順は図２（ａ）に示す）に、出力の履歴値を演算し判
定するデジタル回路の履歴判定回路３を付加する。処理
手段は図２（ｂ）で示すように、残留履歴値Ｈｊの減衰
値ｄＨｊを求める回路を定数乗算器でつくり、その値に
出力Ｘｊがある度にｑを加える〔数３〕の計算をする加
算回路をつくる。ここで得られた出力側履歴値を、各素
子の出力部にそのまま転送する前に、学習しきい値Ｇ
１，Ｇ２との比較を行い、〔数４〕，〔数５〕に基づき
結合係数の学習が増強／減衰／不変かの判定値にまで処
理する。この判定値を、各素子の入力部の判定値記憶メ
モリに転送する。この判定値は２ビット以下であるの
で、記憶メモリも節約でき、データも２本の結線でシリ
アル転送可能となる。

【００３２】結合係数の学習は、転送された判定結果に
基づき、〔数４〕，〔数５〕の計算をする図１の学習演
算回路４を付加して行う。その回路の処理内容は、図２
（ｃ）に示す。まず、素子が出力パルスがあったことを
確認することと、判定が増強／減衰／不変か判別する回
路４を作る。〔数６〕により、増強にはＷｍ＝Ｗｍａ
ｘ，ｋ＝ｋ１と、減衰にはＷｍ＝Ｗｍｉｎ，ｋ＝ｋ２と
代入して、減算回路で（Ｗｍ−Ｗｊｉ）をもとめ、定数
乗算回路でその値に定数ｋを乗算してΔＷｊｉを得る。
さらに加減算回路で（Ｗｊｉ＋ΔＷｊｉ）から新しい結
合係数Ｗｊｉを得て、結合係数を書き換える。以上が、
付加する学習演算回路４である。

【００３３】結合係数学習のために付加された回路は、
学習判定メモリ１３と図２（ａ），（ｂ）の処理手段を
持つ履歴判定回路３と学習演算回路４のみであり、判別
・定数乗算・加減算など簡単なデジタル回路でつくれ、
集積化も容易である。

【００３４】また判定値は、増強ならば第１のビットが
１、減衰ならば第２ビットが１、不変ならば第１，第２
ビット共に０とすれば、２ビット以下の信号で２本の結
線を追加するのみで結線数、メモリ共に少なく出来る。
アドレス線は、各素子に応答データや判定データを時間
的シリアルに転送するとき、入力状態メモリと学習判定
メモリの位置を素子毎に指定する為の線で、素子数が１
０２４個ならば１０本、２０４８個ならば１１本あれば
十分である。

【００３５】この神経回路素子の動作は、同期した動作
をしてその一周期を見ると、図１に示すように先ず入力
データを設定し、応答モードで素子の出力応答を演算処
理し、学習モードに切り替わり、学習演算により先の判
定値と出力応答から結合係数の増減分を計算し結合係数
を調整し、次の段階の為に履歴値計算と判定を行うとい
う、応答・学習の２つの動作モードを繰り返して行う。
高速な応答演算処理を必要とするときには、必ずしも応
答演算毎に学習演算処理をする必要はないので、何回か
の応答演算と履歴判定処理のあと１回の学習演算処理を
行う手順をくり返し行う方法をとる。

【００３６】なお、神経回路システムを構築するために
は、請求項１の神経回路素子１００を図３に示すように
１つの基板上に１０００個程度配置して集積回路を作
る。図３の入出力制御部は、応答と判定の入力データが
これを通じて各素子の入力メモリ部１に送られ、応答と
判定の出力を各素子から受け取る役割をし、また基盤外
の回路との信号入出力のインタフェースの役割も果た
す。この１つの基板上の回路を機能グループとして、多
数のグループを組み合わせることにより、システムをつ
くりあげる。本発明の神経回路では、素子間の入出力信
号はデジタル信号であるので信頼性があり、グループの
基板間の結線数も、３本のデータ線，アドレス線と、他
にクロックやモードに使う制御線等で容易に結線でき、
大規模なシステムも構築できる。応答・学習のモードを
用いた信号の時間制御をすると、入力と出力のデータ線
は共通に使える。

【００３７】学習判定には、〔数４〕，〔数５〕のよう
に２つの学習閾値Ｇ１，Ｇ２により増強・減衰・不変の
判別をしたが、学習閾値をＧ１のみとして、出力発火が
あるとき、Ｈｊ≧Ｇ１で増強、Ｇ１＞Ｈｊで減衰の判定
をする簡略化を図ると、学習判定データは１本のデータ
線で送ることができ、さらに少ない結線となる。このと
きの学習の意味は先の場合と少し異なる。すなわち、入
出力に時間相関があると増強することは同じであるが、
それ以外は、発火があると必ず結合係数が減衰すること
となる。特定な入力パターンに対してのみ応答する出力
素子として学習するときは、この方が効率よく学習でき
る。このように学習の判定の区分を何段階にするかで、
学習判定データ線の本数は決まるので、詳細な多値判定
をするために判定データ線を多くするか、単純な判定で
判定データ線を少なくするかを、必要に応じて適切に選
ぶことができる。

【００３８】一般の神経回路網には、内部で相互の結合
をした相互結合回路と、層状構造の図４のように結合を
した層状結合回路が用いられる。図３のような集積回路
をそれぞれの神経回路網で使う場合には、相互結合回路
では入出力制御部で出力値と入力値を一対一に対応させ
て、同じアドレスに転送する処理を繰り返せばよい。そ
のほかの結合回路の構成には、入出力制御部により入力
メモリ部１の使い方を工夫することにより対処できる。
図４の層状結合回路では、入力と出力が全く異なる素子
からのものであるので、入力層からの外部入力データを
入出力制御部で受け、各素子の入力メモリ部１の入力状
態メモリと学習判定メモリに書き込み、各素子の出力の
応答と判定出力データを入出力制御部で受け、出力層の
入力部に転送する方法をとればよい。

【００３９】相互結合がありさらに直接入力または外部
との結合もある混在した結合回路の場合には、入力メモ
リ部１の一部を相互結合用として使い、残りを直接入力
用や外部結合用のために用いるなどメモリ部の使い方を
区分けして対処する。具体的には、素子がＮ個として相
互結合し、外部入力がＭ個ある場合、入力メモリ部はＮ
＋Ｍ個準備して、メモリ部の１〜Ｎを相互結合用に残り
のＭ個を外部結合用に用いることで対処できる。このよ
うに本発明による神経回路は、複雑な帰還ループを持つ
回路などいろいろな結合の回路にも柔軟に対応でき、学
習則も入出力に関する局所的なものであるので問題はな
い。

【００４０】いま、図４のような層状結合回路で、入力
発火パターンをある出力パターンに変換する場合、入力
に対する望ましい選定出力が得られるように、出力に選
定手段の持つ学習をする方法を示す。層状結合回路にお
いて、出力層の素子に教師または誘導信号として入力層
の信号を、発火してほしい出力層の素子に先に示した方
法で直接入力する結合をつくる。そうすることにより、
出力層の誘導信号を受けた素子が入力と時間相関をもっ
て発火するため、入力層と中間層素子と選定された出力
層素子との結合計数が強化される学習を行うことがで
き、入力に対して望みの選定された出力が得られる連想
記憶回路ができる。

【００４１】また、図４のような層状結合回路で、多層
構造を取ることにより時系列連想記憶がより緻密になる
ことを示す。入力層Ａ，Ｂ，Ｃに対して、中間層，出力
層の発火応答がそれぞれＡ’，Ｂ’，Ｃ’およびＡ”，
Ｂ”，Ｃ”であったとする。そこで事象がＡ→Ｂ→Ｃの
順序で起こったとすると、その影響が中間層，出力層の
発火応答となり、時系列の学習もＡ→Ｂ’，Ｂ→Ｃ’の
結合の強化が進む。同時にＡ’→Ｂ”，Ｂ’→Ｃ”の強
化も進むので、多層構造によりＡ→Ｂ→Ｃの時系列連想
記憶回路はより緻密にすることができる。もし、ＡとＣ
との時間間隔が増強よりも減衰の関係にあると、ＡとＣ
を分離するような結合ができる。

【００４２】以上のように、本発明によれば時系列学習
神経回路素子を集積化し、グループ化して、グループ間
の結合も学習させることができるので、大規模な神経情
報処理ネットワークを構築することができる。

【００４３】

【発明の効果】以上説明したように、本発明にかかる時
系列学習神経回路素子は、多数入力を持つ神経回路素子
で、入力メモリ部の入力値とそれに対応した入力端の結
合係数の積を総和した結果と該神経回路素子内の前の時
点の残留値から減衰した値との和をとり、その演算結果
を集積値として、当該集積値と予め定めた閾値とを比較
し、前記集積値が前記閾値を越える場合は、比較結果と
して出力ビット１の出力信号を出し、前記集積値から定
数値を差し引いた値を前記残留値として取り扱うと共
に、前記集積値が前記閾値以下の場合は、比較結果とし
て出力ビット０の出力信号を出し、当該集積値を前記残
留値として取り扱う応答演算回路による演算手段と、当
該神経回路素子の学習には、各入力の時間経過を示す入
力履歴値を求め、出力応答があった場合に於いて、当該
履歴値が大きいときには結合係数を強化し中間レベルで
は減衰とし極小か零では不変とする履歴判定により、新
しい結合係数を求める操作を学習演算回路により行い、
入力と出力の時間の前後関係を結合係数の内に銘記しま
た読み出せる機能を持ち、この学習に際し前段入力素子
から当該素子への入力の履歴値を送信側の前段入力素子
の出力の履歴値で代わりに求め、その履歴値と学習のし
きい値と比較する事により結合係数の強化か減衰または
不変の履歴判定値を前段入力素子内の履歴判定回路でつ
くり、この判定信号を受信側の各素子の入力端に送るこ
とにより当該神経回路素子の入力履歴判定値として当該
素子の前記の学習演算を行うことで時系列の連想記憶を
可能とする学習手段とを備えた構成であるので、非常に
単純な計算による時系列学習法となるため、簡単なデジ
タル回路により構成され、神経回路の大規模集積化がで
きる利点がある。とくに、応答の入出力信号と学習機能
のために判定信号を含めても、入出力がデジタル信号で
あるため素子または集積回路の基板間を信頼性をもった
デジタル結線ができ、さらにその結線数も少数ででき
る。そのため、多数のグループを組み合わせた大きなシ
ステムを組み立てることも可能になる。

【００４４】また、本発明にかかる時系列学習神経回路
は、請求項１の時系列学習神経回路素子を多数個１つの
基板上に配置して集積化することにより、１つの機能グ
ループを形成し、それらグループを複数個集めたグルー
プ間で時系列の連想学習を行い、時間の流れを連想記憶
するシステムを構築し、同時に教師又は誘導信号により
出力素子を選定した学習ができる選定手段を備えたの
で、入力は他のグループの出力から、出力は他のグルー
プへの出力のように、入力メモリ部の柔軟な使い分けが
可能なことにより、各種の結合様式を持った神経回路を
構成することが自由にできる。そのため相互結合回路や
層状結合回路を組み合わせた回路網で、時系列の学習を
行い緻密な時系列連想記憶回路を作ることが可能であ
る。

【００４５】ここで用いた時系列学習法は、素子の入出
力だけできまる局所性をもつことから、相互結合や帰還
回路等どのような結合をした回路にも適応できる。ま
た、出力側の素子に教師信号として誘導信号を入力する
ことにより、回路の出力の制御も自由にでき、任意の出
力パターンをもつ連想記憶回路を作ることができる。

【００４６】本発明は、生理学的機能に近い自然な学習
法を神経回路として実現するので、脳の機能と同じよう
に、時系列の事象の流れを神経回路の結合係数の中に正
確に学習し、読み出す方法が実現できる。そして、時間
的ダイナミックな現象を取り扱うことのできる高度な神
経回路網を実現する効果をもたらす。すなわち、神経回
路の中に、時間的な因果関係を導入した論理回路も構築
することができ、よりヒトの脳神経系に近い高度な情報
処理が可能となる。

【図面の簡単な説明】

【図１】時系列学習回路の内容を示す構成図である。

【図２】各構成要件の処理内容を示す説明図である。

【図３】時系列学習を集積回路とするための構成図であ
る。

【図４】層状結合回路としての動作を示す説明図であ
る。

【図５】神経回路の時系列学習法の内容を示す構成図で
ある。

【図６】先に提案した神経回路素子の入力と出力との関
係を示す図である。

【図７】先に提案した神経回路素子をデジタル回路で実
現した例を示すブロック図である。

【図８】図７の神経回路素子を複数の接続した神経回路
を示すブロック図である。

【符号の説明】

１ 入力メモリ部 １１ 入力状態メモリ １２ 結合係数メモリ １３ 学習判定メモリ ２ 応答演算回路 ３ 履歴判定回路 ４ 学習演算回路 １００ 神経回路素子 Ｘｊ（ｔ−１） 時間ｔ−１のｊ素子の出力（時間ｔで
は他の素子へのｊ素子からの入力） Ｘｉ（ｔ） 時間ｔのときのｉ素子の出力 Ｗｊｉ ｊ素子からｉ素子への結合係数 Ｖｉ（ｔ） 時間ｔのときのｉ素子の内部残留値 Ｈｊ（ｔ） 時間ｔのときのｊ素子からの入力の履歴値 Ｇ１ 結合係数の学習が、増強または減衰するためのし
きい値 Ｇ２ 結合係数の学習が、増強または減衰するためのし
きい値 Ｋ１ 結合係数の学習が、増強または減衰するときの学
習速度定数 Ｋ２ 結合係数の学習が、増強または減衰するときの学
習速度定数

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍ ｐｏｓｉｕｍ ｏｎ Ｎｅｕｒａｌ Ｉ ｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓ ｉｎｇ（ＩＳＫＩＴ’92）（1992）、 Ｙ．Ｓｈｉｇｅｍａｔｓｕ、Ｇ．Ｍａｔ ｓｕｍｏｔｏ、Ｓ．Ａｋｉｙａｍａ、 “Ａ Ｄｙｎａｍｉｃ Ｎｅｕｒａｌ Ｃｅｌｌ Ｍｏｄｅｌ Ｄｒｉｖｅｎｂ ｙ Ｐｕｌｓｅ Ｔｒａｉｎ．”、Ｐ. 130−Ｐ．134

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 多数入力を持つ神経回路素子で、入力メ
   モリ部の入力値とそれに対応した入力端の結合係数の積
   を総和した結果と該神経回路素子内の前の時点の残留値
   から減衰した値との和をとり、その演算結果を集積値と
   して、当該集積値と予め定めた閾値とを比較し、前記集
   積値が前記閾値を越える場合は、比較結果として出力ビ
   ット１の出力信号を出し、前記集積値から定数値を差し
   引いた値を前記残留値として取り扱うと共に、前記集積
   値が前記閾値以下の場合は、比較結果として出力ビット
   ０の出力信号を出し、当該集積値を前記残留値として取
   り扱う応答演算回路による演算手段と、当該神経回路素子の学習には、各入力の時間経過を示す
   入力履歴値を求め、出力応答があった場合に於いて、当
   該履歴値が大きいときには結合係数を強化し中間レベル
   では減衰とし極小か零では不変とする履歴判定により、
   新しい結合係数を求める操作を学習演算回路により行
   い、入力と出力の時間の前後関係を結合係数の内に銘記
   しまた読み出せる機能を持ち、この学習に際し前段入力
   素子から当該素子への入力の履歴値を送信側の前段入力
   素子の出力の履歴値で代わりに求め、その履歴値と学習
   のしきい値と比較する事により結合係数の強化か減衰ま
   たは不変の履歴判定値を前段入力素子内の履歴判定回路
   でつくり、この判定信号を受信側の各素子の入力端に送
   ることにより当該神経回路素子の入力履歴判定値として
   当該素子の前記の学習演算を行うことで時系列の連想記
   憶を可能とする学習手段と を備えたことを特徴とする時
   系列学習神経回路素子。
2. 【請求項２】 請求項１の時系列学習神経回路素子を多
   数個１つの基板上に配置して集積化することにより、１
   つの機能グループを形成し、それらグループを複数個集
   めたグループ間で時系列の連想学習を行い、時間の流れ
   を連想記憶するシステムを構築し、同時に教師又は誘導
   信号により出力素子を選定した学習ができる選定手段を
   備えたことを特徴とする時系列学習神経回路。