JPH07262158A - 時系列学習神経回路素子およびそれを用いた時系列学習神経回路 - Google Patents
時系列学習神経回路素子およびそれを用いた時系列学習神経回路Info
- Publication number
- JPH07262158A JPH07262158A JP6078003A JP7800394A JPH07262158A JP H07262158 A JPH07262158 A JP H07262158A JP 6078003 A JP6078003 A JP 6078003A JP 7800394 A JP7800394 A JP 7800394A JP H07262158 A JPH07262158 A JP H07262158A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- output
- input
- value
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【目的】 時系列をもって発生する事象を連想学習し、
正しい順序に読み出し可能な神経回路素子をデジタル回
路で組み立て、それを、集積回路化可能とする。 【構成】 時系列の学習機能を持つ神経回路素子をデジ
タル回路で作り、これを多数接続して神経回路とする。
その学習の方法は、素子の発火出力があったとき、各入
力の履歴値を学習のしきい値と比較し、履歴値が大きい
とき入力結合係数を増強し、中間値のとき減衰する学習
を行う機能を持たせる。パルスによる入出力信号動作
と、入力結合係数の学習のために履歴値から増強/減衰
/不変の判断信号を各素子間で利用し合う構成を取るこ
とにより、デジタル回路で集積化可能としたことを特徴
としている。
正しい順序に読み出し可能な神経回路素子をデジタル回
路で組み立て、それを、集積回路化可能とする。 【構成】 時系列の学習機能を持つ神経回路素子をデジ
タル回路で作り、これを多数接続して神経回路とする。
その学習の方法は、素子の発火出力があったとき、各入
力の履歴値を学習のしきい値と比較し、履歴値が大きい
とき入力結合係数を増強し、中間値のとき減衰する学習
を行う機能を持たせる。パルスによる入出力信号動作
と、入力結合係数の学習のために履歴値から増強/減衰
/不変の判断信号を各素子間で利用し合う構成を取るこ
とにより、デジタル回路で集積化可能としたことを特徴
としている。
Description
【0001】
【産業上の利用分野】本発明は、時系列の学習・記憶に
基づく情報処理や制御技術、また神経回路(ニューラル
ネットワーク)を集積回路としてハードウェア化するこ
とを可能とした時系列学習神経回路素子およびそれを用
いた時系列学習神経回路に関するものである。
基づく情報処理や制御技術、また神経回路(ニューラル
ネットワーク)を集積回路としてハードウェア化するこ
とを可能とした時系列学習神経回路素子およびそれを用
いた時系列学習神経回路に関するものである。
【0002】
【従来の技術】従来の神経回路を集積化するためには、
アナログ方式とデジタル方式があった。アナログ方式で
は、素子数が多くなると結線が増加することと、入力結
合係数を自由に変化させたり長期に保持することが困難
である等の障害があった。また、デジタル方式では、入
力信号と結合係数の計算のために精度の良い乗算回路を
必要とし、その積和計算等にも時間がかかること、非線
形関数の計算も煩雑であり障害となっていた。従来の神
経回路素子は、基本的にアナログ信号を素子間で受渡し
て作動するため、結線と計算の複雑さは集積回路のため
の避け難い障害となっていた。
アナログ方式とデジタル方式があった。アナログ方式で
は、素子数が多くなると結線が増加することと、入力結
合係数を自由に変化させたり長期に保持することが困難
である等の障害があった。また、デジタル方式では、入
力信号と結合係数の計算のために精度の良い乗算回路を
必要とし、その積和計算等にも時間がかかること、非線
形関数の計算も煩雑であり障害となっていた。従来の神
経回路素子は、基本的にアナログ信号を素子間で受渡し
て作動するため、結線と計算の複雑さは集積回路のため
の避け難い障害となっていた。
【0003】そこで、新しい神経回路素子の集積化の方
法としてパルス入出力による神経回路素子(特願平4−
254189号)が提案され、結合係数や結線の問題も
解決され、計算処理も簡単なデジタル回路で実現できる
手段が示された。ただし、その素子の学習の方法につい
ては、まだ提案されてなかった。
法としてパルス入出力による神経回路素子(特願平4−
254189号)が提案され、結合係数や結線の問題も
解決され、計算処理も簡単なデジタル回路で実現できる
手段が示された。ただし、その素子の学習の方法につい
ては、まだ提案されてなかった。
【0004】神経回路の学習法としては、従来からバッ
クプロパゲーション(BP)やヘブの学習則などの学習
方法が用いられていた。これらの学習法では、時間的に
は固定化された条件での学習であるため、時間の前後関
係、すなわち時系列の連想を学習することは考慮されて
いない。BPの学習方法を載せたニューラルネットワー
クの集積回路も一部には試作されているが、学習の演算
には回路全体の情報を必要とし、その学習のための回路
も複雑となり大規模集積化は出来ていない。
クプロパゲーション(BP)やヘブの学習則などの学習
方法が用いられていた。これらの学習法では、時間的に
は固定化された条件での学習であるため、時間の前後関
係、すなわち時系列の連想を学習することは考慮されて
いない。BPの学習方法を載せたニューラルネットワー
クの集積回路も一部には試作されているが、学習の演算
には回路全体の情報を必要とし、その学習のための回路
も複雑となり大規模集積化は出来ていない。
【0005】そこで、パルス入出力による神経回路を時
系列入力で学習させる方法が、神経回路の時系列学習方
法(特願平5−345321号)により示された。この
学習は、入力と出力の局所情報のみで学習するヘブの学
習則に近く、BPと比べて学習のための計算量は改善さ
れている。この学習法は出力に応答出力があるとき、各
入力の時間履歴値と、学習しきい値との比較により時間
の相関関係を求め、結合係数の強化または減衰を学習す
る方法である。
系列入力で学習させる方法が、神経回路の時系列学習方
法(特願平5−345321号)により示された。この
学習は、入力と出力の局所情報のみで学習するヘブの学
習則に近く、BPと比べて学習のための計算量は改善さ
れている。この学習法は出力に応答出力があるとき、各
入力の時間履歴値と、学習しきい値との比較により時間
の相関関係を求め、結合係数の強化または減衰を学習す
る方法である。
【0006】パルス入出力による神経回路素子にこの学
習法を回路として組み込み集積化する方法はまだ示され
ていない。その理由としては、入出力の応答演算は今ま
で通りデジタル入出力結線の方法で可能であるが、学習
演算のためには各入力の時間履歴値が必要でそれがアナ
ログ値であるので、その信号を各入力部に伝達し学習を
実行するには、結線が非常に複雑になりさらに大量のメ
モリも必要となる。このことは、デジタル回路で多数個
素子を集積化する障害となって、それを備えた時系列の
学習可能な集積回路を実現する方法はなかった。
習法を回路として組み込み集積化する方法はまだ示され
ていない。その理由としては、入出力の応答演算は今ま
で通りデジタル入出力結線の方法で可能であるが、学習
演算のためには各入力の時間履歴値が必要でそれがアナ
ログ値であるので、その信号を各入力部に伝達し学習を
実行するには、結線が非常に複雑になりさらに大量のメ
モリも必要となる。このことは、デジタル回路で多数個
素子を集積化する障害となって、それを備えた時系列の
学習可能な集積回路を実現する方法はなかった。
【0007】また時系列学習法で、層構造の神経回路を
構成して、パターン認識の学習をするとき、入力のパタ
ーンに対して望みの出力素子に出力するように教え込む
ために、どのように教師信号を用いるかという手段は示
されていなかった。
構成して、パターン認識の学習をするとき、入力のパタ
ーンに対して望みの出力素子に出力するように教え込む
ために、どのように教師信号を用いるかという手段は示
されていなかった。
【0008】
【発明が解決しようとする課題】以上のように、時系列
学習可能なニュートラルネットワークの回路は、学習方
法も含め、大規模集積化にはいくつかの障害があった。
そこで本発明は、(a)正しく時系列学習ができる機能
をもち、各素子の学習のための演算が単純で高速であ
る、(b)神経回路素子間の学習のための結線を単純化
でき、デジタル回路で多数の素子を持つ集積回路が実現
できる、(c)素子間の信号伝達のための結線が単純で
信頼性があり、多数個のグループを集めてグループ間の
結線により大規模システム化することができる、(d)
多層構造の神経回路を構築した時、出力素子として出
力層の任意の素子が選択できるように、誘導信号を用い
た学習が容易にできる、ことの可能な時系列学習神経回
路素子およびそれを用いた時系列学習神経回路を提供す
ることを目的とする。
学習可能なニュートラルネットワークの回路は、学習方
法も含め、大規模集積化にはいくつかの障害があった。
そこで本発明は、(a)正しく時系列学習ができる機能
をもち、各素子の学習のための演算が単純で高速であ
る、(b)神経回路素子間の学習のための結線を単純化
でき、デジタル回路で多数の素子を持つ集積回路が実現
できる、(c)素子間の信号伝達のための結線が単純で
信頼性があり、多数個のグループを集めてグループ間の
結線により大規模システム化することができる、(d)
多層構造の神経回路を構築した時、出力素子として出
力層の任意の素子が選択できるように、誘導信号を用い
た学習が容易にできる、ことの可能な時系列学習神経回
路素子およびそれを用いた時系列学習神経回路を提供す
ることを目的とする。
【0009】
【課題を解決するための手段】このような目的を達成す
るためには、本発明は、パルス入出力による神経回路素
子(特願平4−254189号)を用いて動作回路をつ
くり、これに時系列学習法(特願平5−345321
号)を基本とした時系列学習の回路を、工夫して付加す
ることで回路を実現したものである。
るためには、本発明は、パルス入出力による神経回路素
子(特願平4−254189号)を用いて動作回路をつ
くり、これに時系列学習法(特願平5−345321
号)を基本とした時系列学習の回路を、工夫して付加す
ることで回路を実現したものである。
【0010】すなわち、本発明にかかる時系列学習神経
回路素子は、多数入力を持つ神経回路素子で、入力メモ
リ部の入力値とそれに対応した入力端の結合係数の積を
総和した結果と該神経回路素子内の前の時点の残留値か
ら減衰した値との和をとり、その演算結果を集積値とし
て、当該集積値と予め定めた閾値とを比較し、前記集積
値が前記閾値を越える場合は、比較結果として出力ビッ
ト1の出力信号を出し、前記集積値から定数値を差し引
いた値を前記残留値として取り扱うと共に、前記集積値
が前記閾値以下の場合は、比較結果として出力ビット0
の出力信号を出し、当該集積値を前記残留値として取り
扱う応答演算回路による演算手段と、当該神経回路素子
の出力応答状態と入力毎の時間履歴による入出力の時間
相関の判定結果とから、各入力毎の結合係数を強化・減
衰または不変とする学習を学習演算回路により行い、人
力と出力の時間の前後関係を正しく読み出せるようにそ
れらの結合係数の内に記憶する機能を持ち、素子間の学
習に際し入力の時間的履歴値を代わりに出力の履歴値で
求め信号の時間相関関係を当該履歴値と学習の閾値と比
較することから求め、その判定した結果である強化か減
衰または不変の信号を履歴判定回路でつくり、出力先の
各素子に送ることにより時系列の連想学習をする学習手
段とを備えたものである。
回路素子は、多数入力を持つ神経回路素子で、入力メモ
リ部の入力値とそれに対応した入力端の結合係数の積を
総和した結果と該神経回路素子内の前の時点の残留値か
ら減衰した値との和をとり、その演算結果を集積値とし
て、当該集積値と予め定めた閾値とを比較し、前記集積
値が前記閾値を越える場合は、比較結果として出力ビッ
ト1の出力信号を出し、前記集積値から定数値を差し引
いた値を前記残留値として取り扱うと共に、前記集積値
が前記閾値以下の場合は、比較結果として出力ビット0
の出力信号を出し、当該集積値を前記残留値として取り
扱う応答演算回路による演算手段と、当該神経回路素子
の出力応答状態と入力毎の時間履歴による入出力の時間
相関の判定結果とから、各入力毎の結合係数を強化・減
衰または不変とする学習を学習演算回路により行い、人
力と出力の時間の前後関係を正しく読み出せるようにそ
れらの結合係数の内に記憶する機能を持ち、素子間の学
習に際し入力の時間的履歴値を代わりに出力の履歴値で
求め信号の時間相関関係を当該履歴値と学習の閾値と比
較することから求め、その判定した結果である強化か減
衰または不変の信号を履歴判定回路でつくり、出力先の
各素子に送ることにより時系列の連想学習をする学習手
段とを備えたものである。
【0011】また、本発明にかかる時系列学習神経回路
は、請求項1の時系列学習神経回路素子を多数個1つの
基板上に配置して集積化することにより、1つの機能グ
ループを形成し、それらグループを複数個集めたグルー
プ間で時系列の連想学習を行い、時間の流れを連想記憶
するシステムを構築し、同時に教師又は誘導信号により
出力素子を選定した学習ができる選定手段を備えたもの
である。
は、請求項1の時系列学習神経回路素子を多数個1つの
基板上に配置して集積化することにより、1つの機能グ
ループを形成し、それらグループを複数個集めたグルー
プ間で時系列の連想学習を行い、時間の流れを連想記憶
するシステムを構築し、同時に教師又は誘導信号により
出力素子を選定した学習ができる選定手段を備えたもの
である。
【0012】
【作用】本発明に係る時系列学習神経回路素子では、パ
ルス入出力により各種素子間の信号のための結線は、複
数のアドレス線と単一のデータ線のみで良い。また、学
習のためには、時系列学習法から各入力の履歴値を求め
る必要があるが、各出力側でその値を求めそれを各素子
に転送して入力の履歴とすることで、効率よい計算が出
来る。また、この学習法は、入力履歴値と出力が発火し
たときのみ学習するという局所的関係により行われるた
め、BP法のように複雑な計算を必要としないし、素子
間の結線回路がどんなに複雑になっても学習できる。さ
らに、学習のための結線数の増加を極力少なくするため
には、結合係数の増減の数式を新たに検討して、学習の
しきい値と比較した増強か減衰かの結果のみを転送する
方式を取り入れることにより、2本のデータ線で学習を
行うことができる。
ルス入出力により各種素子間の信号のための結線は、複
数のアドレス線と単一のデータ線のみで良い。また、学
習のためには、時系列学習法から各入力の履歴値を求め
る必要があるが、各出力側でその値を求めそれを各素子
に転送して入力の履歴とすることで、効率よい計算が出
来る。また、この学習法は、入力履歴値と出力が発火し
たときのみ学習するという局所的関係により行われるた
め、BP法のように複雑な計算を必要としないし、素子
間の結線回路がどんなに複雑になっても学習できる。さ
らに、学習のための結線数の増加を極力少なくするため
には、結合係数の増減の数式を新たに検討して、学習の
しきい値と比較した増強か減衰かの結果のみを転送する
方式を取り入れることにより、2本のデータ線で学習を
行うことができる。
【0013】本発明にかかる時系列学習神経回路は、上
の方式により各素子間の信号は、動作モードでは(ON
/OFF)の信号,学習モードでは(増強/減衰/不
変)の信号のデジタル信号のみである。そのため、各素
子間や基板間の結線もアドレス線と2本のデータ線で接
続できる自由さがあり、大規模システムも構築できる。
また、ある入力パターンに対し特定の出力素子が応答す
るように教え込むには、出力素子に入力に対応した信号
を誘導信号として用い、直接出力素子に入力することで
発火確率を高め可能となる。
の方式により各素子間の信号は、動作モードでは(ON
/OFF)の信号,学習モードでは(増強/減衰/不
変)の信号のデジタル信号のみである。そのため、各素
子間や基板間の結線もアドレス線と2本のデータ線で接
続できる自由さがあり、大規模システムも構築できる。
また、ある入力パターンに対し特定の出力素子が応答す
るように教え込むには、出力素子に入力に対応した信号
を誘導信号として用い、直接出力素子に入力することで
発火確率を高め可能となる。
【0014】本発明によると、時系列学習のための入力
履歴値の計算をパルス出力側で求め、学習のしきい値と
比較した結果(強化/減衰/不変)のみを入力側に送る
ことで、素子間の結線数を極力少なく出来る。そのため
集積化や大規模システムが可能になる。また、出力端子
に誘導信号を与えることにより、出力パターンを教え込
むことも可能となる。
履歴値の計算をパルス出力側で求め、学習のしきい値と
比較した結果(強化/減衰/不変)のみを入力側に送る
ことで、素子間の結線数を極力少なく出来る。そのため
集積化や大規模システムが可能になる。また、出力端子
に誘導信号を与えることにより、出力パターンを教え込
むことも可能となる。
【0015】
【実施例】以下、図面を用いて本発明の実施例を詳細に
説明する。図1が本発明による時系列学習神経回路素子
の一実施例を示す要素関係を示すブロック図であり、入
力メモリ部1,応答演算回路2,履歴判定回路3,学習
演算回路4の要素部分から構成されている。
説明する。図1が本発明による時系列学習神経回路素子
の一実施例を示す要素関係を示すブロック図であり、入
力メモリ部1,応答演算回路2,履歴判定回路3,学習
演算回路4の要素部分から構成されている。
【0016】ここで扱う時系列学習神経回路素子(以
下、単に素子という)の入力メモリ部1と応答演算回路
2の入出力応答の部分は、「神経回路素子」として、特
開平4−254189号で明らかにされている入出力が
パルス信号で応答する素子を用いる。その神経回路素子
の動作を図6〜図8に参照しながら説明する。
下、単に素子という)の入力メモリ部1と応答演算回路
2の入出力応答の部分は、「神経回路素子」として、特
開平4−254189号で明らかにされている入出力が
パルス信号で応答する素子を用いる。その神経回路素子
の動作を図6〜図8に参照しながら説明する。
【0017】図6に示すように、いまi番目の素子があ
り、多数のj入力を受けて動作することを考える。多数
の入力の内のjからの入力Xjのパルスはjからiへの
結合係数Wjiを経て素子内部に集積される。一方、素
子内部の残留ポテンシャルViは、減衰定数aにより次
の時間区分ではaViとして、集積値Uiに加わる。こ
こでの動作はある時間幅の離散時間による処理を行うこ
ととして、以上のことを示すと次式になる。
り、多数のj入力を受けて動作することを考える。多数
の入力の内のjからの入力Xjのパルスはjからiへの
結合係数Wjiを経て素子内部に集積される。一方、素
子内部の残留ポテンシャルViは、減衰定数aにより次
の時間区分ではaViとして、集積値Uiに加わる。こ
こでの動作はある時間幅の離散時間による処理を行うこ
ととして、以上のことを示すと次式になる。
【0018】
【数1】 この集積値Uiはパルス発生のしきい値Tと比較され
て、しきい値より大きいときパルスを発生し(Xi=
1)、Uiから定数pを減じた値が内部ポテンシャルV
iとして次に残留する。集積値Uiがしきい値より小さ
いとパルスは発生せず(Xi=0)、Uiがそのまま残
留ポテンシャルViとなる。これをまとめると次式とな
る。
て、しきい値より大きいときパルスを発生し(Xi=
1)、Uiから定数pを減じた値が内部ポテンシャルV
iとして次に残留する。集積値Uiがしきい値より小さ
いとパルスは発生せず(Xi=0)、Uiがそのまま残
留ポテンシャルViとなる。これをまとめると次式とな
る。
【0019】
【数2】 Ui(t)≧Tならば、Xi(t) =1およびVi(t) =Ui(t) −p Ui(t)<Tならば、Xi(t) =0およびVi(t) =Ui(t) 以上の動作を各素子毎に並列的に繰り返し計算し応答出
力を求める。
力を求める。
【0020】この応答の演算部分をデジタル回路で構成
したのが図7であり、20は結合係数記憶部、30は演
算処理部であり、〔数1〕の集積計算は、入力はパルス
でXjは1か0であるためXj=1であるWjiのみを
加算することとなり、aViの計算は定数aとの乗算で
あるため複雑な回路とならない。〔数2〕では、数値比
較と減算のみであり簡単なデジタル回路でつくれる。入
出力のデータは0,1であるため時間分割のシリアル転
送にすれば、図8のように結線はアドレス結線と1本の
データ結線で可能となる。さらに、結合係数Wjiは各
素子毎にデジタルメモリを用いれば自由に変更でき保持
できる。この神経回路素子が上記のように、デジタル回
路で集積化するのに適した方式であることは、前記の特
願平4−254189号で示されているとおりである。
このような神経回路素子を多数組み合わせて神経回路網
を構成して情報処理をする。
したのが図7であり、20は結合係数記憶部、30は演
算処理部であり、〔数1〕の集積計算は、入力はパルス
でXjは1か0であるためXj=1であるWjiのみを
加算することとなり、aViの計算は定数aとの乗算で
あるため複雑な回路とならない。〔数2〕では、数値比
較と減算のみであり簡単なデジタル回路でつくれる。入
出力のデータは0,1であるため時間分割のシリアル転
送にすれば、図8のように結線はアドレス結線と1本の
データ結線で可能となる。さらに、結合係数Wjiは各
素子毎にデジタルメモリを用いれば自由に変更でき保持
できる。この神経回路素子が上記のように、デジタル回
路で集積化するのに適した方式であることは、前記の特
願平4−254189号で示されているとおりである。
このような神経回路素子を多数組み合わせて神経回路網
を構成して情報処理をする。
【0021】次に、この神経回路素子に付加する学習機
能について説明する。パルスによる学習則として、図5
に示す「神経回路の時系列学習法」(特願平5−345
321号)を基本的には適応することとする。その学習
法を説明すると、上記の神経回路素子の各入力部に、入
力の減衰しながら履歴値Hjiを保持する部分を備え
る。履歴値の計算は、各離散時間毎に素子としての応答
動作を繰り返しながら、パルス入力(Xj=i)がある
毎に入力のあった結合部の履歴値に定数qを加えるもの
とする。履歴値の減衰定数をdとしてこのことを表すと
次式となる。
能について説明する。パルスによる学習則として、図5
に示す「神経回路の時系列学習法」(特願平5−345
321号)を基本的には適応することとする。その学習
法を説明すると、上記の神経回路素子の各入力部に、入
力の減衰しながら履歴値Hjiを保持する部分を備え
る。履歴値の計算は、各離散時間毎に素子としての応答
動作を繰り返しながら、パルス入力(Xj=i)がある
毎に入力のあった結合部の履歴値に定数qを加えるもの
とする。履歴値の減衰定数をdとしてこのことを表すと
次式となる。
【0022】
【数3】Hji(t)=d ・Hji(t −1)+q ・Xj(t−1) 一方、学習により結合係数Wjiを変えるのは、素子に
大きな入力がありパルス出力があった時に生じるとす
る。発火(Xi(t)=1)があると、各入力部の履歴
値Hji(t)が参照され、それが学習のしきい値と比
較され結合係数Wjiの増強/減衰/不変が決められ
る。学習のしきい値には、増強しきい値G1と減衰しき
い値G2の二つのレベル(G1>G2>0)があり、H
ji(t)≧G1ならば増強となり、G1>Hji
(t)≧G2ならば減衰となり、それ以外のG2>Hj
i(t)または、出力発火がない素子では学習は行われ
ず結合係数は不変となる。
大きな入力がありパルス出力があった時に生じるとす
る。発火(Xi(t)=1)があると、各入力部の履歴
値Hji(t)が参照され、それが学習のしきい値と比
較され結合係数Wjiの増強/減衰/不変が決められ
る。学習のしきい値には、増強しきい値G1と減衰しき
い値G2の二つのレベル(G1>G2>0)があり、H
ji(t)≧G1ならば増強となり、G1>Hji
(t)≧G2ならば減衰となり、それ以外のG2>Hj
i(t)または、出力発火がない素子では学習は行われ
ず結合係数は不変となる。
【0023】入力結合には興奮性と制御性があるが、結
合係数Wjiを正にとれば興奮性の結合として計算で
き、負に取れば制御性の結合として計算できる。そこ
で、結合係数Wjiには上限Wmaxと下限Wminを
設け、学習速度定数として増強定数k1、減衰定数k2
とすると、結合係数Wjiの変化分ΔWjiは出力発火
があった素子で、
合係数Wjiを正にとれば興奮性の結合として計算で
き、負に取れば制御性の結合として計算できる。そこ
で、結合係数Wjiには上限Wmaxと下限Wminを
設け、学習速度定数として増強定数k1、減衰定数k2
とすると、結合係数Wjiの変化分ΔWjiは出力発火
があった素子で、
【0024】
【数4】Hji(t)≧G1ならば、増強となり、ΔWji =k1
(Wmax−Wji)
(Wmax−Wji)
【0025】
【数5】G1>Hji(t)≧G2ならば、減衰となり、ΔWji =
k2(Wmin −Wji) で計算される。
k2(Wmin −Wji) で計算される。
【0026】〔数4〕,〔数5〕は、Wmax,Wmi
nをWmとし、k1,k2をkとすると、次式にまとま
る。
nをWmとし、k1,k2をkとすると、次式にまとま
る。
【0027】
【数6】ΔWji =k (Wm−Wji) ここで計算を簡単にするためにいくつかの省略をしてい
る。実際の積分された入力の履歴値Hjiには、結合係
数Wjiも関係して、Wji・Hji(t)が学習閾値
G1,G2と比較されるべきであるが、Wjiの初期値
はランダムにしたり時系列を重視することから、履歴値
に対するWjiの値の影響は無視してHji(t)と学
習レベルと比較することとした。また、変化分ΔWは履
歴値Hjiと学習閾値G1,G2とも関係するはずであ
るが、ここでは増強/減衰がそれぞれ一定の学習速度k
1,k2となるとして無視した。
る。実際の積分された入力の履歴値Hjiには、結合係
数Wjiも関係して、Wji・Hji(t)が学習閾値
G1,G2と比較されるべきであるが、Wjiの初期値
はランダムにしたり時系列を重視することから、履歴値
に対するWjiの値の影響は無視してHji(t)と学
習レベルと比較することとした。また、変化分ΔWは履
歴値Hjiと学習閾値G1,G2とも関係するはずであ
るが、ここでは増強/減衰がそれぞれ一定の学習速度k
1,k2となるとして無視した。
【0028】このような簡略化により、学習の計算が簡
略になる。例えば、素子の各入力毎の履歴値Hjiを求
めるには、各素子毎に全ての入力の履歴値を求めなくて
も、代わりに各素子の出力側の履歴値Hjを求め、それ
を各素子に伝達して学習の伝達係数の計算に用いること
ができる。以上のことが、前記の特願平5−34532
号中に示されている。
略になる。例えば、素子の各入力毎の履歴値Hjiを求
めるには、各素子毎に全ての入力の履歴値を求めなくて
も、代わりに各素子の出力側の履歴値Hjを求め、それ
を各素子に伝達して学習の伝達係数の計算に用いること
ができる。以上のことが、前記の特願平5−34532
号中に示されている。
【0029】しかし、上記の学習法により学習機能を持
つ回路を付加するためには、次のような障害があった。
学習のために、出力側で履歴を求め、各素子の入力部に
転送する方法をとると、履歴値Hjがアナログ量である
ため各素子に転送するための結線数のことや、各素子で
保持するためのメモリ量の問題もあり、そのまま回路化
することができない。このことは、パルス入出力の素子
にして折角1ビットの応答データで素子間の結線を簡略
化できたことにも矛盾する。
つ回路を付加するためには、次のような障害があった。
学習のために、出力側で履歴を求め、各素子の入力部に
転送する方法をとると、履歴値Hjがアナログ量である
ため各素子に転送するための結線数のことや、各素子で
保持するためのメモリ量の問題もあり、そのまま回路化
することができない。このことは、パルス入出力の素子
にして折角1ビットの応答データで素子間の結線を簡略
化できたことにも矛盾する。
【0030】そこで、本発明では、この問題を解決し、
時系列学習機能を持つデジタル集積化された神経回路
を、図1の入力メモリ部1,応答演算回路2,履歴判定
回路3,学習演算回路4により実現したことを次に説明
する。図において、入力メモリ部1は、入力状態メモリ
11,結合係数メモリ12,学習判定メモリ13からな
る。なお、S1は応答入力、S2は判定入力、S3は応
答出力、S4は判定出力、S5〜S8は入力メモリ部1
の出力、S9は学習による結合係数の置き換え出力、S
はS10は応答演算回路2の出力、S11,S12は学
習演算回路4,履歴判定回路3への入力、S13は履歴
判定回路3の出力を示す。
時系列学習機能を持つデジタル集積化された神経回路
を、図1の入力メモリ部1,応答演算回路2,履歴判定
回路3,学習演算回路4により実現したことを次に説明
する。図において、入力メモリ部1は、入力状態メモリ
11,結合係数メモリ12,学習判定メモリ13からな
る。なお、S1は応答入力、S2は判定入力、S3は応
答出力、S4は判定出力、S5〜S8は入力メモリ部1
の出力、S9は学習による結合係数の置き換え出力、S
はS10は応答演算回路2の出力、S11,S12は学
習演算回路4,履歴判定回路3への入力、S13は履歴
判定回路3の出力を示す。
【0031】まず、図1で示された入力メモリ部1の入
力状態メモリ11,結合係数メモリ12と応答演算回路
2のデジタル回路で構成された神経回路素子(その処理
手順は図2(a)に示す)に、出力の履歴値を演算し判
定するデジタル回路の履歴判定回路3を付加する。処理
手段は図2(b)で示すように、残留履歴値Hjの減衰
値dHjを求める回路を定数乗算器でつくり、その値に
出力Xjがある度にqを加える〔数3〕の計算をする加
算回路をつくる。ここで得られた出力側履歴値を、各素
子の出力部にそのまま転送する前に、学習しきい値との
比較を行い、結合係数の学習が増強/減衰/不変かの判
定値にまで処理する。この判定値を、各素子の入力部の
判定値記憶メモリに転送する。この判定値は2ビット以
下であるので、記憶メモリも節約でき、データも2本の
結線でシリアル転送可能となる。
力状態メモリ11,結合係数メモリ12と応答演算回路
2のデジタル回路で構成された神経回路素子(その処理
手順は図2(a)に示す)に、出力の履歴値を演算し判
定するデジタル回路の履歴判定回路3を付加する。処理
手段は図2(b)で示すように、残留履歴値Hjの減衰
値dHjを求める回路を定数乗算器でつくり、その値に
出力Xjがある度にqを加える〔数3〕の計算をする加
算回路をつくる。ここで得られた出力側履歴値を、各素
子の出力部にそのまま転送する前に、学習しきい値との
比較を行い、結合係数の学習が増強/減衰/不変かの判
定値にまで処理する。この判定値を、各素子の入力部の
判定値記憶メモリに転送する。この判定値は2ビット以
下であるので、記憶メモリも節約でき、データも2本の
結線でシリアル転送可能となる。
【0032】結合係数の学習は、転送された判定結果に
基づき、〔数4〕,〔数5〕の計算をする図1の学習演
算回路を付加して行う。その回路の処理内容は、図2
(c)に示す。まず、素子が出力パルスがあったことを
確認することと、判定が増強/減衰/不変か判別する回
路を作る。〔数6〕により、増強にはWm=Wmax,
k=k1と、減衰にはWm=Wmin,k=k2と代入
して、減算回路で(Wm−Wji)をもとめ、定数乗算
回路でその値に定数kを乗算してΔWjiを得る。さら
に加減算回路で(Wji−ΔWji)から新しい結合係
数Wjiを得て、結合係数を書き換える。以上が、付加
する学習演算回路4である。
基づき、〔数4〕,〔数5〕の計算をする図1の学習演
算回路を付加して行う。その回路の処理内容は、図2
(c)に示す。まず、素子が出力パルスがあったことを
確認することと、判定が増強/減衰/不変か判別する回
路を作る。〔数6〕により、増強にはWm=Wmax,
k=k1と、減衰にはWm=Wmin,k=k2と代入
して、減算回路で(Wm−Wji)をもとめ、定数乗算
回路でその値に定数kを乗算してΔWjiを得る。さら
に加減算回路で(Wji−ΔWji)から新しい結合係
数Wjiを得て、結合係数を書き換える。以上が、付加
する学習演算回路4である。
【0033】結合係数学習のために付加された回路は、
学習判定メモリ13と図2(a),(b)の処理手段を
持つ履歴判定回路3と学習演算回路4のみであり、判別
・定数乗算・加減算など簡単なデジタル回路でつくれ、
集積化も容易である。
学習判定メモリ13と図2(a),(b)の処理手段を
持つ履歴判定回路3と学習演算回路4のみであり、判別
・定数乗算・加減算など簡単なデジタル回路でつくれ、
集積化も容易である。
【0034】また判定値は、増強ならば第1のビットが
1、減衰ならば第2ビットが1、不変ならば第1,第2
ビット共に0とすれば、2ビット以下の信号で2本の結
線を追加するのみで結線数、メモリ共に少なく出来る。
アドレス線は、各素子に応答データや判定データを時間
的シリアルに転送するとき、入力状態メモリと学習判定
メモリの位置を素子毎に指定する為の線で、素子数が1
024個ならば10本、2048個ならば11本あれば
十分である。
1、減衰ならば第2ビットが1、不変ならば第1,第2
ビット共に0とすれば、2ビット以下の信号で2本の結
線を追加するのみで結線数、メモリ共に少なく出来る。
アドレス線は、各素子に応答データや判定データを時間
的シリアルに転送するとき、入力状態メモリと学習判定
メモリの位置を素子毎に指定する為の線で、素子数が1
024個ならば10本、2048個ならば11本あれば
十分である。
【0035】この神経回路素子の動作は、同期した動作
をしてその一周期を見ると、図1に示すように先ず入力
データを設定し、応答モードで素子の出力応答を演算処
理し、学習モードに切り替わり、学習演算により先の判
定値と出力応答から結合係数の増減分を計算し結合係数
を調整し、次の段階の為に履歴値計算と判定を行うとい
う、応答・学習の2つの動作モードを繰り返して行う。
高速な応答演算処理を必要とするときはに、必ずしも応
答演算毎に学習演算処理をする必要はないので、何回か
の応答演算と履歴判定処理のあと1回の学習演算処理を
行う手順をくり返し行う方法をとる。
をしてその一周期を見ると、図1に示すように先ず入力
データを設定し、応答モードで素子の出力応答を演算処
理し、学習モードに切り替わり、学習演算により先の判
定値と出力応答から結合係数の増減分を計算し結合係数
を調整し、次の段階の為に履歴値計算と判定を行うとい
う、応答・学習の2つの動作モードを繰り返して行う。
高速な応答演算処理を必要とするときはに、必ずしも応
答演算毎に学習演算処理をする必要はないので、何回か
の応答演算と履歴判定処理のあと1回の学習演算処理を
行う手順をくり返し行う方法をとる。
【0036】なお、神経回路システムを構築するために
は、請求項1の神経回路素子を図3に示すように1つの
基板上に1000個程度配置して集積回路を作る。図3
の入出力制御部は、応答と判定の入力データがこれを通
じて各素子の入力メモリ部に送られ、応答と判定の出力
を各素子から受け取る役割をし、また基盤外の回路との
信号入出力のインタフェースの役割も果たす。この1つ
の基板上の回路を機能グループとして、多数のグループ
を組み合わせることにより、システムをつくりあげる。
本発明の神経回路では、素子間の入出力信号はデジタル
信号であるので信頼性があり、グループの基板間の結線
数も、3本のデータ線,アドレス線と、他にクロックや
モードに使う制御線等で容易に結線でき、大規模なシス
テムも構築できる。応答・学習のモードを用いた信号の
時間制御をすると、入力と出力のデータ線は共通に使え
る。
は、請求項1の神経回路素子を図3に示すように1つの
基板上に1000個程度配置して集積回路を作る。図3
の入出力制御部は、応答と判定の入力データがこれを通
じて各素子の入力メモリ部に送られ、応答と判定の出力
を各素子から受け取る役割をし、また基盤外の回路との
信号入出力のインタフェースの役割も果たす。この1つ
の基板上の回路を機能グループとして、多数のグループ
を組み合わせることにより、システムをつくりあげる。
本発明の神経回路では、素子間の入出力信号はデジタル
信号であるので信頼性があり、グループの基板間の結線
数も、3本のデータ線,アドレス線と、他にクロックや
モードに使う制御線等で容易に結線でき、大規模なシス
テムも構築できる。応答・学習のモードを用いた信号の
時間制御をすると、入力と出力のデータ線は共通に使え
る。
【0037】学習判定には、〔数4〕,〔数5〕のよう
に2つの学習閾値G1,G2により増強・減衰・不変の
判別をしたが、学習閾値をG1のみとして、出力発火が
あるとき、Hj≧G1で増強、G1>Hjで減衰の判定
をする簡略化を図ると、学習判定データは1本のデータ
線で送ることができ、さらに少ない結線となる。このと
きの学習の意味は先の場合と少し異なる。すなわち、入
出力に時間相関があると増強することは同じであるが、
それ以外は、発火があると必ず結合係数が減衰すること
となる。特定な入力パターンに対してのみ応答する出力
素子として学習するときは、この方が効率よく学習でき
る。このように学習の判定の区分を何段階にするかで、
学習判定データ線の本数は決まるので、詳細な多値判定
をするために判定データ線を多くするか、単純な判定で
判定データ線を少なくするかを、必要に応じて適切に選
ぶことができる。
に2つの学習閾値G1,G2により増強・減衰・不変の
判別をしたが、学習閾値をG1のみとして、出力発火が
あるとき、Hj≧G1で増強、G1>Hjで減衰の判定
をする簡略化を図ると、学習判定データは1本のデータ
線で送ることができ、さらに少ない結線となる。このと
きの学習の意味は先の場合と少し異なる。すなわち、入
出力に時間相関があると増強することは同じであるが、
それ以外は、発火があると必ず結合係数が減衰すること
となる。特定な入力パターンに対してのみ応答する出力
素子として学習するときは、この方が効率よく学習でき
る。このように学習の判定の区分を何段階にするかで、
学習判定データ線の本数は決まるので、詳細な多値判定
をするために判定データ線を多くするか、単純な判定で
判定データ線を少なくするかを、必要に応じて適切に選
ぶことができる。
【0038】一般の神経回路網には、内部で相互の結合
をした相互結合回路と、層状構造の図4のように結合を
した層状結合回路が用いられる。図3のような集積回路
をそれぞれの神経回路網で使う場合には、相互結合回路
では入出力制御部で出力値と入力値を一対一に対応させ
て、同じアドレスに転送する処理を繰り返せばよい。そ
のほかの結合回路の構成には、入出力制御部により入力
メモリ部1の使い方を工夫することにより対処できる。
図4の層状結合回路では、入力と出力が全く異なる素子
からのものであるので、入力層からの外部入力データを
入出力制御部で受け、各素子の入力メモリ部の入力状態
メモリと学習判定メモリに書き込み、各素子の出力の応
答と判定出力データを入出力制御部で受け、出力層の入
力部に転送する方法をとればよい。
をした相互結合回路と、層状構造の図4のように結合を
した層状結合回路が用いられる。図3のような集積回路
をそれぞれの神経回路網で使う場合には、相互結合回路
では入出力制御部で出力値と入力値を一対一に対応させ
て、同じアドレスに転送する処理を繰り返せばよい。そ
のほかの結合回路の構成には、入出力制御部により入力
メモリ部1の使い方を工夫することにより対処できる。
図4の層状結合回路では、入力と出力が全く異なる素子
からのものであるので、入力層からの外部入力データを
入出力制御部で受け、各素子の入力メモリ部の入力状態
メモリと学習判定メモリに書き込み、各素子の出力の応
答と判定出力データを入出力制御部で受け、出力層の入
力部に転送する方法をとればよい。
【0039】相互結合がありさらに直接入力または外部
との結合もある混在した結合回路の場合には、入力メモ
リ部の一部を相互結合用として使い、残りを直接入力用
や外部結合用のために用いるなどメモリ部の使い方を区
分けして対処する。具体的は、素子がN個として相互結
合し、外部入力がM個ある場合、入力メモリ部はN+M
個準備して、メモリ部の1〜Nを相互結合用に残りのM
個を外部結合用に用いることで対処できる。このように
本発明による神経回路は、複雑な帰還ループを持つ回路
などいろいろな結合の回路にも柔軟に対応でき、学習則
も入出力に関する局所的なものであるので問題はない。
との結合もある混在した結合回路の場合には、入力メモ
リ部の一部を相互結合用として使い、残りを直接入力用
や外部結合用のために用いるなどメモリ部の使い方を区
分けして対処する。具体的は、素子がN個として相互結
合し、外部入力がM個ある場合、入力メモリ部はN+M
個準備して、メモリ部の1〜Nを相互結合用に残りのM
個を外部結合用に用いることで対処できる。このように
本発明による神経回路は、複雑な帰還ループを持つ回路
などいろいろな結合の回路にも柔軟に対応でき、学習則
も入出力に関する局所的なものであるので問題はない。
【0040】いま、図4のような層状結合回路で、入力
発火パターンをある出力パターンに変換する場合、入力
に対する望ましい選定出力が得られるように、出力に選
定手段の持つ学習をする方法を示す。層状結合回路にお
いて、出力層の素子に教師または誘導信号として入力層
の信号を、発火してほしい出力層の素子に先に示した方
法で直接入力する結合をつくる。そうすることにより、
出力層の誘導信号を受けた素子が入力と時間相関をもっ
て発火するため、入力層と中間層素子と選定された出力
層素子との結合計数が強化される学習を行うことがで
き、入力に対して望みの選定された出力が得られる連想
記憶回路ができる。
発火パターンをある出力パターンに変換する場合、入力
に対する望ましい選定出力が得られるように、出力に選
定手段の持つ学習をする方法を示す。層状結合回路にお
いて、出力層の素子に教師または誘導信号として入力層
の信号を、発火してほしい出力層の素子に先に示した方
法で直接入力する結合をつくる。そうすることにより、
出力層の誘導信号を受けた素子が入力と時間相関をもっ
て発火するため、入力層と中間層素子と選定された出力
層素子との結合計数が強化される学習を行うことがで
き、入力に対して望みの選定された出力が得られる連想
記憶回路ができる。
【0041】また、図4のような層状結合回路で、多層
構造を取ることにより時系列連想記憶がより緻密になる
ことを示す。入力A,B,Cに対して、中間層,出力層
の発火応答がそれぞれA’,B’,C’およびA”,
B”,C”であったとする。そこで事象がA,B,Cの
順序で起こったとすると、その影響が中間層,出力層の
発火応答となり、時系列の学習もA→B’,B→C’の
結合の強化が進む。同時にA’→B”,B’→C”の強
化も進むので、多層構造によりA→B→Cの時系列連想
記憶回路はより緻密にすることができる。もし、AとC
との時間間隔が増強よりも減衰の関係にあると、AとC
を分離するような結合ができる。
構造を取ることにより時系列連想記憶がより緻密になる
ことを示す。入力A,B,Cに対して、中間層,出力層
の発火応答がそれぞれA’,B’,C’およびA”,
B”,C”であったとする。そこで事象がA,B,Cの
順序で起こったとすると、その影響が中間層,出力層の
発火応答となり、時系列の学習もA→B’,B→C’の
結合の強化が進む。同時にA’→B”,B’→C”の強
化も進むので、多層構造によりA→B→Cの時系列連想
記憶回路はより緻密にすることができる。もし、AとC
との時間間隔が増強よりも減衰の関係にあると、AとC
を分離するような結合ができる。
【0042】以上のように、本発明によれば時系列学習
神経回路素子を集積化し、グループ化して、グループ間
の結合も学習させることができるので、大規模な神経情
報処理ネットワークを構築することができる。
神経回路素子を集積化し、グループ化して、グループ間
の結合も学習させることができるので、大規模な神経情
報処理ネットワークを構築することができる。
【0043】
【発明の効果】以上説明したように、本発明にかかる時
系列学習回路素子は、多数入力を持つ神経回路素子で、
入力メモリ部の入力値とそれに対応した入力端の結合係
数の積を総和した結果と該神経回路素子内の前の時点の
残留値から減衰した値との和をとり、その演算結果を集
積値として、当該集積値と予め定めた閾値とを比較し、
前記集積値が前記閾値を越える場合は、比較結果として
出力ビット1の出力信号を出し、前記集積値から定数値
を差し引いた値を前記残留値として取り扱うと共に、前
記集積値が前記閾値以下の場合は、比較結果として出力
ビット0の出力信号を出し、当該集積値を前記残留値と
して取り扱う応答演算回路による演算手段と、当該神経
回路素子の出力応答状態と入力毎の時間履歴による入出
力の時間相関の判定結果とから、各入力毎の結合係数を
強化・減衰または不変とする学習を学習演算回路により
行い、人力と出力の時間の前後関係を正しく読み出せる
ようにそれらの結合係数の内に記憶する機能を持ち、素
子間の学習に際し入力の時間的履歴値を代わりに出力の
履歴値で求め信号の時間相関関係を当該履歴値と学習の
閾値と比較することから求め、その判定した結果である
強化か減衰または不変の信号を履歴判定回路でつくり、
出力先の各素子に送ることにより時系列の連想学習をす
る学習手段とを備えた構成であるので、非常に単純な計
算による時系列学習法となるため、簡単なデジタル回路
により構成され、神経回路の大規模集積化ができる利点
がある。とくに、応答の入出力信号と学習機能のために
判定信号を含めても、入出力がデジタル信号であるため
素子または集積回路の基板間を信頼性をもったデジタル
結線ができ、さらにその結線数も少数でできる。そのた
め、多数のグループを組み合わせた大きなシステムを組
み立てることも可能になる。
系列学習回路素子は、多数入力を持つ神経回路素子で、
入力メモリ部の入力値とそれに対応した入力端の結合係
数の積を総和した結果と該神経回路素子内の前の時点の
残留値から減衰した値との和をとり、その演算結果を集
積値として、当該集積値と予め定めた閾値とを比較し、
前記集積値が前記閾値を越える場合は、比較結果として
出力ビット1の出力信号を出し、前記集積値から定数値
を差し引いた値を前記残留値として取り扱うと共に、前
記集積値が前記閾値以下の場合は、比較結果として出力
ビット0の出力信号を出し、当該集積値を前記残留値と
して取り扱う応答演算回路による演算手段と、当該神経
回路素子の出力応答状態と入力毎の時間履歴による入出
力の時間相関の判定結果とから、各入力毎の結合係数を
強化・減衰または不変とする学習を学習演算回路により
行い、人力と出力の時間の前後関係を正しく読み出せる
ようにそれらの結合係数の内に記憶する機能を持ち、素
子間の学習に際し入力の時間的履歴値を代わりに出力の
履歴値で求め信号の時間相関関係を当該履歴値と学習の
閾値と比較することから求め、その判定した結果である
強化か減衰または不変の信号を履歴判定回路でつくり、
出力先の各素子に送ることにより時系列の連想学習をす
る学習手段とを備えた構成であるので、非常に単純な計
算による時系列学習法となるため、簡単なデジタル回路
により構成され、神経回路の大規模集積化ができる利点
がある。とくに、応答の入出力信号と学習機能のために
判定信号を含めても、入出力がデジタル信号であるため
素子または集積回路の基板間を信頼性をもったデジタル
結線ができ、さらにその結線数も少数でできる。そのた
め、多数のグループを組み合わせた大きなシステムを組
み立てることも可能になる。
【0044】また、本発明にかかる時系列学習神経回路
は、請求項1の時系列学習神経回路素子を多数個1つの
基板上に配置して集積化することにより、1つの機能グ
ループを形成し、それらグループを複数個集めたグルー
プ間で時系列の連想学習を行い、時間の流れを連想記憶
するシステムを構築し、同時に教師又は誘導信号により
出力素子を選定した学習ができる選定手段を備えたの
で、入力は他のグループの出力から、出力は他のグルー
プへの出力のように、入力メモリ部の柔軟な使い分けが
可能なことにより、各種の結合様式を持った神経回路を
構成することが自由にできる。そのため相互結合回路や
層状結合回路を組み合わせた回路網で、時系列の学習を
行い緻密な時系列連想記憶回路を作ることが可能であ
る。
は、請求項1の時系列学習神経回路素子を多数個1つの
基板上に配置して集積化することにより、1つの機能グ
ループを形成し、それらグループを複数個集めたグルー
プ間で時系列の連想学習を行い、時間の流れを連想記憶
するシステムを構築し、同時に教師又は誘導信号により
出力素子を選定した学習ができる選定手段を備えたの
で、入力は他のグループの出力から、出力は他のグルー
プへの出力のように、入力メモリ部の柔軟な使い分けが
可能なことにより、各種の結合様式を持った神経回路を
構成することが自由にできる。そのため相互結合回路や
層状結合回路を組み合わせた回路網で、時系列の学習を
行い緻密な時系列連想記憶回路を作ることが可能であ
る。
【0045】ここで用いた時系列学習法は、素子の入出
力だけできまる局所性をもつことから、相互結合や帰還
回路等どのような結合をした回路にも適応できる。ま
た、出力側の素子に教師信号として誘導信号を入力する
ことにより、回路の出力を制御も自由にでき、任意の出
力パターンをもつ連想記憶回路を作ることができる。
力だけできまる局所性をもつことから、相互結合や帰還
回路等どのような結合をした回路にも適応できる。ま
た、出力側の素子に教師信号として誘導信号を入力する
ことにより、回路の出力を制御も自由にでき、任意の出
力パターンをもつ連想記憶回路を作ることができる。
【0046】本発明は、生理学的機能に近い自然な学習
法を神経回路として実現するので、脳の機能と同じよう
に、時系列の事象の流れを神経回路の結合係数の中に正
確に学習し、読み出す方法が実現できる。そして、時間
的ダイナミックな現象を取り扱うことのできる高度な神
経回路網を実現する効果をもたらす。すなわち、神経回
路の中に、時間的な因果関係を導入した論理回路も構築
することができ、よりヒトの脳神経系に近い高度な情報
処理が可能となる。
法を神経回路として実現するので、脳の機能と同じよう
に、時系列の事象の流れを神経回路の結合係数の中に正
確に学習し、読み出す方法が実現できる。そして、時間
的ダイナミックな現象を取り扱うことのできる高度な神
経回路網を実現する効果をもたらす。すなわち、神経回
路の中に、時間的な因果関係を導入した論理回路も構築
することができ、よりヒトの脳神経系に近い高度な情報
処理が可能となる。
【図1】時系列学習回路の内容を示す構成図である。
【図2】各構成要件の処理内容を示す説明図である。
【図3】時系列学習を集積回路とするための構成図であ
る。
る。
【図4】層状結合回路としての動作を示す説明図であ
る。
る。
【図5】神経回路の時系列学習法の内容を示す構成図で
ある。
ある。
【図6】先に提案した神経回路素子の入力と出力との関
係を示す図である。
係を示す図である。
【図7】先に提案した神経回路素子をデジタル回路で実
現した例を示すブロック図である。
現した例を示すブロック図である。
【図8】図7の神経回路素子を複数の接続した神経回路
を示すブロック図である。
を示すブロック図である。
1 入力メモリ部 11 入力状態メモリ 12 結合係数メモリ 13 学習判定メモリ 2 応答演算回路 3 履歴判定回路 4 学習演算回路 100 神経回路素子 Xj(t−1) 時間t−1のj素子の出力(時間tで
は他の素子へのj素子からの入力) Xi(t) 時間tのときのi素子の出力 Wji j素子からi素子への結合係数 Vi(t) 時間tのときのi素子の内部ポテンシャル Hj(t) 時間tのときのj素子からの入力の履歴値 G1 結合係数の学習が、増強または減衰するためのし
きい値 G2 結合係数の学習が、増強または減衰するためのし
きい値 K1 結合係数の学習が、増強または減衰するときの学
習速度定数 K2 結合係数の学習が、増強または減衰するときの学
習速度定数
は他の素子へのj素子からの入力) Xi(t) 時間tのときのi素子の出力 Wji j素子からi素子への結合係数 Vi(t) 時間tのときのi素子の内部ポテンシャル Hj(t) 時間tのときのj素子からの入力の履歴値 G1 結合係数の学習が、増強または減衰するためのし
きい値 G2 結合係数の学習が、増強または減衰するためのし
きい値 K1 結合係数の学習が、増強または減衰するときの学
習速度定数 K2 結合係数の学習が、増強または減衰するときの学
習速度定数
Claims (2)
- 【請求項1】 多数入力を持つ神経回路素子で、入力メ
モリ部の入力値とそれに対応した入力端の結合係数の積
を総和した結果と該神経回路素子内の前の時点の残留値
から減衰した値との和をとり、その演算結果を集積値と
して、当該集積値と予め定めた閾値とを比較し、前記集
積値が前記閾値を越える場合は、比較結果として出力ビ
ット1の出力信号を出し、前記集積値から定数値を差し
引いた値を前記残留値として取り扱うと共に、前記集積
値が前記閾値以下の場合は、比較結果として出力ビット
0の出力信号を出し、当該集積値を前記残留値として取
り扱う応答演算回路による演算手段と、 当該神経回路素子の出力応答状態と入力毎の時間履歴に
よる入出力の時間相関の判定結果とから、各入力毎の結
合係数を強化・減衰または不変とする学習を学習演算回
路により行い、人力と出力の時間の前後関係を正しく読
み出せるようにそれらの結合係数の内に記憶する機能を
持ち、素子間の学習に際し入力の時間的履歴値を代わり
に出力の履歴値で求め信号の時間相関関係を当該履歴値
と学習の閾値と比較することから求め、その判定した結
果である強化か減衰または不変の信号を履歴判定回路で
つくり、出力先の各素子に送ることにより時系列の連想
学習をする学習手段とを備えたことを特徴とする時系列
学習神経回路素子。 - 【請求項2】 請求項1の時系列学習神経回路素子を多
数個1つの基板上に配置して集積化することにより、1
つの機能グループを形成し、それらグループを複数個集
めたグループ間で時系列の連想学習を行い、時間の流れ
を連想記憶するシステムを構築し、同時に教師又は誘導
信号により出力素子を選定した学習ができる選定手段を
備えたことを特徴とする時系列学習神経回路。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6078003A JP2615422B2 (ja) | 1994-03-23 | 1994-03-23 | 時系列学習神経回路素子およびそれを用いた時系列学習神経回路 |
US08/405,963 US5704016A (en) | 1994-03-23 | 1995-03-17 | Temporal learning neural network |
GB9505846A GB2287820B (en) | 1994-03-23 | 1995-03-22 | Temporal associative learning neural processing element and temporal learning neural network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6078003A JP2615422B2 (ja) | 1994-03-23 | 1994-03-23 | 時系列学習神経回路素子およびそれを用いた時系列学習神経回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07262158A true JPH07262158A (ja) | 1995-10-13 |
JP2615422B2 JP2615422B2 (ja) | 1997-05-28 |
Family
ID=13649626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6078003A Expired - Lifetime JP2615422B2 (ja) | 1994-03-23 | 1994-03-23 | 時系列学習神経回路素子およびそれを用いた時系列学習神経回路 |
Country Status (3)
Country | Link |
---|---|
US (1) | US5704016A (ja) |
JP (1) | JP2615422B2 (ja) |
GB (1) | GB2287820B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016067478A1 (ja) * | 2014-10-29 | 2016-05-06 | 洋彰 宮崎 | 自動論理構築機 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09231189A (ja) * | 1996-02-26 | 1997-09-05 | Fuji Xerox Co Ltd | 連想記憶装置および連想記憶方法 |
JP3146257B2 (ja) * | 1997-04-25 | 2001-03-12 | 大幸薬品株式会社 | 連想素子、これを用いた連想装置及びその方法 |
US6397201B1 (en) | 1997-12-02 | 2002-05-28 | David W. Arathorn | E-cell (equivalent cell) and the basic circuit modules of e-circuits: e-cell pair totem, the basic memory circuit and association extension |
US6269354B1 (en) | 1998-11-30 | 2001-07-31 | David W. Arathorn | General purpose recognition e-circuits capable of translation-tolerant recognition, scene segmentation and attention shift, and their application to machine vision |
US6801878B1 (en) * | 1999-04-08 | 2004-10-05 | George Mason University | System and method for managing sensors of a system |
US6424961B1 (en) | 1999-12-06 | 2002-07-23 | AYALA FRANCISCO JOSé | Adaptive neural learning system |
US7493295B2 (en) * | 2003-01-17 | 2009-02-17 | Francisco J. Ayala | Method, system and computer program for developing cortical algorithms |
JP2007504576A (ja) * | 2003-01-17 | 2007-03-01 | アヤラ,フランシスコ,ジェイ | 人工知能を開発するためのシステム及び方法 |
JP4780921B2 (ja) * | 2004-03-17 | 2011-09-28 | キヤノン株式会社 | 並列パルス信号処理装置、及びその制御方法 |
EP1650672A3 (en) * | 2004-10-21 | 2006-08-23 | HONDA MOTOR CO., Ltd. | A neural network element with reinforcement/attenuation learning |
US7478192B2 (en) * | 2004-11-03 | 2009-01-13 | Saffron Technology, Inc. | Network of networks of associative memory networks |
US7904398B1 (en) | 2005-10-26 | 2011-03-08 | Dominic John Repici | Artificial synapse component using multiple distinct learning means with distinct predetermined learning acquisition times |
WO2007137047A2 (en) * | 2006-05-16 | 2007-11-29 | Greer Douglas S | Modeling the neocortex |
US7814038B1 (en) | 2007-12-06 | 2010-10-12 | Dominic John Repici | Feedback-tolerant method and device producing weight-adjustment factors for pre-synaptic neurons in artificial neural networks |
KR101838560B1 (ko) | 2011-07-27 | 2018-03-15 | 삼성전자주식회사 | 뉴로모픽 칩에서 스파이크 이벤트를 송수신하는 송수신 장치 및 방법 |
CN106951962B (zh) * | 2017-03-22 | 2020-09-01 | 南京地平线机器人技术有限公司 | 用于神经网络的复合运算单元、方法和电子设备 |
US11551028B2 (en) | 2017-04-04 | 2023-01-10 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network |
US10387298B2 (en) | 2017-04-04 | 2019-08-20 | Hailo Technologies Ltd | Artificial neural network incorporating emphasis and focus techniques |
US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
US11615297B2 (en) | 2017-04-04 | 2023-03-28 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network compiler |
US11544545B2 (en) | 2017-04-04 | 2023-01-03 | Hailo Technologies Ltd. | Structured activation based sparsity in an artificial neural network |
US11966835B2 (en) | 2018-06-05 | 2024-04-23 | Nvidia Corp. | Deep neural network accelerator with fine-grained parallelism discovery |
US11769040B2 (en) | 2018-09-10 | 2023-09-26 | Nvidia Corp. | Scalable multi-die deep learning system |
US11270197B2 (en) | 2019-03-12 | 2022-03-08 | Nvidia Corp. | Efficient neural network accelerator dataflows |
US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6083994A (ja) * | 1983-10-14 | 1985-05-13 | 三菱電機株式会社 | 表示装置 |
FR2625347B1 (fr) * | 1987-12-23 | 1990-05-04 | Labo Electronique Physique | Structure de reseau de neurones et circuit et arrangement de reseaux de neurones |
US5222195A (en) * | 1989-05-17 | 1993-06-22 | United States Of America | Dynamically stable associative learning neural system with one fixed weight |
JPH0693249B2 (ja) * | 1992-08-28 | 1994-11-16 | 工業技術院長 | 神経回路素子 |
JP2737583B2 (ja) * | 1992-11-26 | 1998-04-08 | 松下電器産業株式会社 | ニューラルネットワーク回路 |
-
1994
- 1994-03-23 JP JP6078003A patent/JP2615422B2/ja not_active Expired - Lifetime
-
1995
- 1995-03-17 US US08/405,963 patent/US5704016A/en not_active Expired - Fee Related
- 1995-03-22 GB GB9505846A patent/GB2287820B/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016067478A1 (ja) * | 2014-10-29 | 2016-05-06 | 洋彰 宮崎 | 自動論理構築機 |
Also Published As
Publication number | Publication date |
---|---|
GB2287820B (en) | 1998-01-07 |
GB9505846D0 (en) | 1995-05-10 |
GB2287820A (en) | 1995-09-27 |
US5704016A (en) | 1997-12-30 |
JP2615422B2 (ja) | 1997-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH07262158A (ja) | 時系列学習神経回路素子およびそれを用いた時系列学習神経回路 | |
Maass et al. | On the computational power of circuits of spiking neurons | |
Maeda et al. | Simultaneous perturbation learning rule for recurrent neural networks and its FPGA implementation | |
EP3881246A2 (en) | Resilient neural network | |
Maassa et al. | On the computational power of circuits of spiking neurons | |
CN109697511A (zh) | 数据推理方法、装置及计算机设备 | |
CN109615069B (zh) | 一种具有异步传输特性的神经网络的电路结构 | |
JP3256553B2 (ja) | 信号処理装置の学習方法 | |
CN113011572B (zh) | 一种轴突变化量确定方法和装置、权重处理方法和装置 | |
JP3523325B2 (ja) | ニューラルネットワーク及びこれを用いた信号処理装置、自律システム、自律型ロボット並びに移動システム | |
JP3255425B2 (ja) | 信号処理方法 | |
JP3302712B2 (ja) | 信号処理装置 | |
JP2544489B2 (ja) | ニュ―ラルネットワ―クモデルの学習方法 | |
Richert et al. | ASICs for prototyping of pulse-density modulated neural networks | |
JPH07505733A (ja) | ニューラル・ネットワーク/ファジィ変換装置 | |
JP2517662B2 (ja) | 連鎖制御装置 | |
JPH05307624A (ja) | 信号処理装置 | |
JPH05290014A (ja) | 信号処理装置 | |
JP2004139606A (ja) | 自律システム及び自律型ロボット | |
JPH0683994A (ja) | 神経回路素子 | |
JPH0830708A (ja) | 神経機能素子 | |
JPH03257658A (ja) | ニューラルネットワークの動的システムモデル化方法 | |
JPH0475161A (ja) | 信号処理装置 | |
JPH02100756A (ja) | ニューラルネットワークの後向き伝搬訓練方法 | |
JPH02292689A (ja) | 学習型神経回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
EXPY | Cancellation because of completion of term |