JPH07296093A - 神経回路模倣素子 - Google Patents
神経回路模倣素子Info
- Publication number
- JPH07296093A JPH07296093A JP6084638A JP8463894A JPH07296093A JP H07296093 A JPH07296093 A JP H07296093A JP 6084638 A JP6084638 A JP 6084638A JP 8463894 A JP8463894 A JP 8463894A JP H07296093 A JPH07296093 A JP H07296093A
- Authority
- JP
- Japan
- Prior art keywords
- pulse train
- random number
- coupling coefficient
- circuit
- generation circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Complex Calculations (AREA)
Abstract
(57)【要約】
【目的】 オフセット入力導入方式と結合係数の値を２
進数で保存しパルス列に変換して演算に供する方式との
各種組み合わせ構成を、回路規模を増大させることなく
実現させること。 【構成】 各ニューロン中に設けられたリニアフィード
バックシフトレジスタ１７よりなる第２の乱数生成回路
による乱数、又は、第２の乱数生成回路を構成するリニ
アフィードバックシフトレジスタ１７の出力を入力とす
るシフトレジスタ２１の予め定められたビットを、ニュ
ーロンにおけるオフセット入力パルス列生成とシナプス
における第１の乱数生成回路の生成多項式選択用に共用
させた。
進数で保存しパルス列に変換して演算に供する方式との
各種組み合わせ構成を、回路規模を増大させることなく
実現させること。 【構成】 各ニューロン中に設けられたリニアフィード
バックシフトレジスタ１７よりなる第２の乱数生成回路
による乱数、又は、第２の乱数生成回路を構成するリニ
アフィードバックシフトレジスタ１７の出力を入力とす
るシフトレジスタ２１の予め定められたビットを、ニュ
ーロンにおけるオフセット入力パルス列生成とシナプス
における第１の乱数生成回路の生成多項式選択用に共用
させた。
Description
【０００１】
【産業上の利用分野】本発明は、神経細胞を模倣したニ
ューラルコンピュータ用の神経回路模倣素子に関する。
ューラルコンピュータ用の神経回路模倣素子に関する。
【０００２】
【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」をネットワークにし、情報の並列
処理を目指したのが、いわゆるニューラルネットワーク
である。文字認識や連想記憶、運動制御等、生体ではい
とも簡単に行われていても、従来のノイマン型コンピュ
ータではなかなか達成しないものが多い。生体の神経
系、特に生体特有の機能、即ち並列処理、自己学習等を
模倣して、これらの問題を解決しようとする試みが盛ん
に行われている。これらの試みは、計算機シミュレーシ
ョンで行われているものが多く、本来の機能を発揮する
には、並列処理が必要であり、そのためにはニューラル
ネットワークのハードウエア化が必要である。
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」をネットワークにし、情報の並列
処理を目指したのが、いわゆるニューラルネットワーク
である。文字認識や連想記憶、運動制御等、生体ではい
とも簡単に行われていても、従来のノイマン型コンピュ
ータではなかなか達成しないものが多い。生体の神経
系、特に生体特有の機能、即ち並列処理、自己学習等を
模倣して、これらの問題を解決しようとする試みが盛ん
に行われている。これらの試みは、計算機シミュレーシ
ョンで行われているものが多く、本来の機能を発揮する
には、並列処理が必要であり、そのためにはニューラル
ネットワークのハードウエア化が必要である。
【０００３】この内、電気回路で実現したものとして
は、例えば、特開昭６２−２９５１８８号公報に示され
るようなものがある。しかし、これは基本的にはアナロ
グ方式のものである。即ち、入出力量を電流値や電圧値
で表し、内部の演算も全てアナログ的に行うようにして
いる。このようなアナログ方式の場合、例えば温度特性
や電源投入直後のドリフト等のため、精度よく安定的に
動作させるのは困難である。また、神経回路網の場合、
アンプ数は少なくとも数百個程度必要であり、非線形な
動作を行わせるので、特に安定性が求められる。
は、例えば、特開昭６２−２９５１８８号公報に示され
るようなものがある。しかし、これは基本的にはアナロ
グ方式のものである。即ち、入出力量を電流値や電圧値
で表し、内部の演算も全てアナログ的に行うようにして
いる。このようなアナログ方式の場合、例えば温度特性
や電源投入直後のドリフト等のため、精度よく安定的に
動作させるのは困難である。また、神経回路網の場合、
アンプ数は少なくとも数百個程度必要であり、非線形な
動作を行わせるので、特に安定性が求められる。
【０００４】このようなことから、神経回路網をデジタ
ル方式で表現したものが、信学技法ＩＣＤ８８−１３０
等において報告されているが、これは従来のアナログ方
式をエミュレートしたもので、カウンタを使う等、回路
がやや複雑となっている。
ル方式で表現したものが、信学技法ＩＣＤ８８−１３０
等において報告されているが、これは従来のアナログ方
式をエミュレートしたもので、カウンタを使う等、回路
がやや複雑となっている。
【０００５】このような欠点を解消するため、デジタル
方式のニューロンモデル、より詳細には、デジタル方式
の一種として、信号をパルス列で表現するパルス密度型
の学習機能付きニューロンモデルが特開平４−５４９号
公報（フォワードプロセスの基本）、特開平４−１１１
１８５号公報（学習プロセスの基本）等として本出願人
により提案されている。
方式のニューロンモデル、より詳細には、デジタル方式
の一種として、信号をパルス列で表現するパルス密度型
の学習機能付きニューロンモデルが特開平４−５４９号
公報（フォワードプロセスの基本）、特開平４−１１１
１８５号公報（学習プロセスの基本）等として本出願人
により提案されている。
【０００６】しかし、このようなニューロンモデルの提
案例による場合、例えば、入力が“０”の時は出力は必
ず“０”となるように対応付けが決まっており、例え
ば、入力が“０”の時に出力として“１”が必要なもの
には対応できない。
案例による場合、例えば、入力が“０”の時は出力は必
ず“０”となるように対応付けが決まっており、例え
ば、入力が“０”の時に出力として“１”が必要なもの
には対応できない。
【０００７】そこで、ニューロンにオフセット信号を第
２入力として導入することにより、処理能力を高めるよ
うにしたものが特開平５−６３５６号公報等として本出
願人により提案されている。
２入力として導入することにより、処理能力を高めるよ
うにしたものが特開平５−６３５６号公報等として本出
願人により提案されている。
【０００８】一方、前述したニューロンモデルの提案例
のように、パルス列で表現された信号の論理演算を基本
とする場合、自己学習により結合係数の値を更新させる
ために、結合係数の値をパルス列で表現して記憶してお
くことが必須であり、現実的には必要なパルス長分のレ
ジスタないしはメモリを要する。ここに、高い精度で演
算を行う場合、パルス長は長くとらなくてはならない。
例えば、信号の精度として７ビット程度を考えると、お
よそ１２８（＝２7 ）ビット長のランダムパルス列が必
要である。従って、結合係数の値をそのまま記憶してお
くためには、一つの結合に対して１２８ビット、入力が
ｎ個のニューロンでは１２８・ｎビット長のレジスタな
いしはメモリを必要とする。よって、多数の入力信号を
持つニューロンをデジタル論理回路によるハードウエア
で実現するには、さらにこれらのニューロンを数百から
数千の単位で網状に結合して神経回路網を構成する必要
があり、膨大な数のレジスタないしはメモリが必要とな
る。これにより、ハードウエア規模が大きくなり、製造
コストの面で大きな障害となる。
のように、パルス列で表現された信号の論理演算を基本
とする場合、自己学習により結合係数の値を更新させる
ために、結合係数の値をパルス列で表現して記憶してお
くことが必須であり、現実的には必要なパルス長分のレ
ジスタないしはメモリを要する。ここに、高い精度で演
算を行う場合、パルス長は長くとらなくてはならない。
例えば、信号の精度として７ビット程度を考えると、お
よそ１２８（＝２7 ）ビット長のランダムパルス列が必
要である。従って、結合係数の値をそのまま記憶してお
くためには、一つの結合に対して１２８ビット、入力が
ｎ個のニューロンでは１２８・ｎビット長のレジスタな
いしはメモリを必要とする。よって、多数の入力信号を
持つニューロンをデジタル論理回路によるハードウエア
で実現するには、さらにこれらのニューロンを数百から
数千の単位で網状に結合して神経回路網を構成する必要
があり、膨大な数のレジスタないしはメモリが必要とな
る。これにより、ハードウエア規模が大きくなり、製造
コストの面で大きな障害となる。
【０００９】このようなことから、結合係数の値は２進
数で保存し、演算の際にはパルス列で表現された結合係
数に変換することにより、パルス列表現のまま結合係数
の値を保存するものに比べ回路規模を小さくし得るよう
にしたものが特開平５−１６５９８７号公報として本出
願人により提案されている。
数で保存し、演算の際にはパルス列で表現された結合係
数に変換することにより、パルス列表現のまま結合係数
の値を保存するものに比べ回路規模を小さくし得るよう
にしたものが特開平５−１６５９８７号公報として本出
願人により提案されている。
【００１０】
【発明が解決しようとする課題】そこで、特開平５−６
３５６号公報に示されるオフセット信号方式と、特開平
５−１６５９８７号公報に示される結合係数の値の２進
数による保存及びパルス列変換出力方式とを組み合わせ
れば、より効果的になることが予想される。しかし、両
方式を単に組み合わせただけでは回路規模が大きくなっ
てしまう傾向があり、回路規模の小型化の要請に反する
ものとなる。
３５６号公報に示されるオフセット信号方式と、特開平
５−１６５９８７号公報に示される結合係数の値の２進
数による保存及びパルス列変換出力方式とを組み合わせ
れば、より効果的になることが予想される。しかし、両
方式を単に組み合わせただけでは回路規模が大きくなっ
てしまう傾向があり、回路規模の小型化の要請に反する
ものとなる。
【００１１】
【課題を解決するための手段】請求項１記載の神経回路
模倣素子は、パルス列で表現された信号を信号伝達手段
として各ニューロン間をシナプスにより結合した神経回
路模倣素子において、結合係数の値を２進数で保存する
メモリと、生成多項式の選択自在なリニアフィードバッ
クシフトレジスタよりなる第１の乱数生成回路及び前記
メモリに保存された結合係数の値をこの第１の乱数生成
回路により生成された乱数と比較してパルス列で表現さ
れた結合係数を出力する比較器を備えた数値・パルス列
変換装置とを前記各シナプスに設け、“０．５”なるパ
ルス密度のオフセット入力パルス列を生成するオフセッ
ト信号生成回路と、リニアフィードバックシフトレジス
タよりなり生成された乱数をこのオフセット信号生成回
路によるオフセット入力パルス列生成及び前記第１の乱
数生成回路の生成多項式選択用に出力する第２の乱数生
成回路とを各ニューロンに設けたものである。
模倣素子は、パルス列で表現された信号を信号伝達手段
として各ニューロン間をシナプスにより結合した神経回
路模倣素子において、結合係数の値を２進数で保存する
メモリと、生成多項式の選択自在なリニアフィードバッ
クシフトレジスタよりなる第１の乱数生成回路及び前記
メモリに保存された結合係数の値をこの第１の乱数生成
回路により生成された乱数と比較してパルス列で表現さ
れた結合係数を出力する比較器を備えた数値・パルス列
変換装置とを前記各シナプスに設け、“０．５”なるパ
ルス密度のオフセット入力パルス列を生成するオフセッ
ト信号生成回路と、リニアフィードバックシフトレジス
タよりなり生成された乱数をこのオフセット信号生成回
路によるオフセット入力パルス列生成及び前記第１の乱
数生成回路の生成多項式選択用に出力する第２の乱数生
成回路とを各ニューロンに設けたものである。
【００１２】請求項２記載の神経回路模倣素子は、請求
項１記載の神経回路模倣素子におけるニューロン構成に
代えて、オフセット信号生成回路の他に、リニアフィー
ドバックシフトレジスタよりなる第２の乱数生成回路
と、この第２の乱数生成回路からの乱数出力を入力とし
て予め定められたビットを用いて前記オフセット信号生
成回路によるオフセット入力パルス列生成及び前記第１
の乱数生成回路の生成多項式選択用に出力するシフトレ
ジスタとを各ニューロンに設けたものである。
項１記載の神経回路模倣素子におけるニューロン構成に
代えて、オフセット信号生成回路の他に、リニアフィー
ドバックシフトレジスタよりなる第２の乱数生成回路
と、この第２の乱数生成回路からの乱数出力を入力とし
て予め定められたビットを用いて前記オフセット信号生
成回路によるオフセット入力パルス列生成及び前記第１
の乱数生成回路の生成多項式選択用に出力するシフトレ
ジスタとを各ニューロンに設けたものである。
【００１３】請求項３，４記載の神経回路模倣素子は、
各々請求項１，２記載の神経回路模倣素子において、各
シナプス中にニューロンに対する入力信号パルス列と結
合係数パルス列との論理積を演算して重み付けを行う論
理積回路を付加し、各ニューロン中に結合係数パルス列
により重み付けされた入力信号パルス列について全シナ
プス分の論理和を演算する論理和回路を付加したもので
ある。
各々請求項１，２記載の神経回路模倣素子において、各
シナプス中にニューロンに対する入力信号パルス列と結
合係数パルス列との論理積を演算して重み付けを行う論
理積回路を付加し、各ニューロン中に結合係数パルス列
により重み付けされた入力信号パルス列について全シナ
プス分の論理和を演算する論理和回路を付加したもので
ある。
【００１４】請求項５記載の神経回路模倣素子は、パル
ス列で表現された信号を信号伝達手段として各ニューロ
ン間をシナプスにより結合した神経回路模倣素子におい
て、結合係数の絶対値を２進数で保存するメモリと、前
記結合係数の正負の符号を保存する符号メモリと、生成
多項式の選択自在なリニアフィードバックシフトレジス
タよりなる第１の乱数生成回路及び前記メモリに保存さ
れた結合係数の値をこの第１の乱数生成回路により生成
された乱数と比較してパルス列で表現された結合係数を
出力する比較器を備えた数値・パルス列変換装置と、ニ
ューロンに対する入力信号パルス列と結合係数パルス列
との論理積を演算して重み付けを行う論理積回路とを前
記各シナプスに設け、結合係数パルス列により重み付け
された入力信号パルス列について全シナプス分の論理和
を前記結合係数の符号別に演算する論理和回路と、
“０．５”なるパルス密度のオフセット入力パルス列を
生成するオフセット信号生成回路と、前記結合係数の符
号別に演算された論理和結果同士が一致しているときに
は前記オフセット入力パルス列を出力し不一致のときに
は正の符号を持つ結合係数の論理和結果なるパルス列を
出力する出力選択回路と、リニアフィードバックシフト
レジスタよりなり生成された乱数を前記オフセット信号
生成回路によるオフセット入力パルス列生成及び前記第
１の乱数生成回路の生成多項式選択用に出力する第２の
乱数生成回路とを各ニューロンに設けたものである。
ス列で表現された信号を信号伝達手段として各ニューロ
ン間をシナプスにより結合した神経回路模倣素子におい
て、結合係数の絶対値を２進数で保存するメモリと、前
記結合係数の正負の符号を保存する符号メモリと、生成
多項式の選択自在なリニアフィードバックシフトレジス
タよりなる第１の乱数生成回路及び前記メモリに保存さ
れた結合係数の値をこの第１の乱数生成回路により生成
された乱数と比較してパルス列で表現された結合係数を
出力する比較器を備えた数値・パルス列変換装置と、ニ
ューロンに対する入力信号パルス列と結合係数パルス列
との論理積を演算して重み付けを行う論理積回路とを前
記各シナプスに設け、結合係数パルス列により重み付け
された入力信号パルス列について全シナプス分の論理和
を前記結合係数の符号別に演算する論理和回路と、
“０．５”なるパルス密度のオフセット入力パルス列を
生成するオフセット信号生成回路と、前記結合係数の符
号別に演算された論理和結果同士が一致しているときに
は前記オフセット入力パルス列を出力し不一致のときに
は正の符号を持つ結合係数の論理和結果なるパルス列を
出力する出力選択回路と、リニアフィードバックシフト
レジスタよりなり生成された乱数を前記オフセット信号
生成回路によるオフセット入力パルス列生成及び前記第
１の乱数生成回路の生成多項式選択用に出力する第２の
乱数生成回路とを各ニューロンに設けたものである。
【００１５】請求項６記載の神経回路模倣素子は、請求
項５記載の神経回路模倣素子におけるニューロン構成に
代えて、論理和回路、オフセット信号生成回路及び出力
選択回路の他に、リニアフィードバックシフトレジスタ
よりなる第２の乱数生成回路と、この第２の乱数生成回
路からの乱数出力を入力として予め定められたビットを
用いてオフセット信号生成回路によるオフセット入力パ
ルス列生成及び第１の乱数生成回路の生成多項式選択用
に出力するシフトレジスタとを各ニューロンに設けたも
のである。
項５記載の神経回路模倣素子におけるニューロン構成に
代えて、論理和回路、オフセット信号生成回路及び出力
選択回路の他に、リニアフィードバックシフトレジスタ
よりなる第２の乱数生成回路と、この第２の乱数生成回
路からの乱数出力を入力として予め定められたビットを
用いてオフセット信号生成回路によるオフセット入力パ
ルス列生成及び第１の乱数生成回路の生成多項式選択用
に出力するシフトレジスタとを各ニューロンに設けたも
のである。
【００１６】請求項７，８記載の神経回路模倣素子は、
各々請求項５，６記載の神経回路模倣素子における各シ
ナプス中のメモリ及び符号メモリに代えて、興奮性と抑
制性とを示す２種類の結合係数の値を２進数で保存する
メモリと、前記結合係数の興奮性／抑制性に対応した正
負の符号を保存する符号メモリとを設けたものである。
各々請求項５，６記載の神経回路模倣素子における各シ
ナプス中のメモリ及び符号メモリに代えて、興奮性と抑
制性とを示す２種類の結合係数の値を２進数で保存する
メモリと、前記結合係数の興奮性／抑制性に対応した正
負の符号を保存する符号メモリとを設けたものである。
【００１７】
【作用】請求項１ないし８記載の神経回路模倣素子の各
々に示されるようなオフセット入力導入方式と結合係数
の値を２進数で保存しパルス列に変換して演算に供する
方式との各種組み合わせ構成において、各ニューロン中
に設けられたリニアフィードバックシフトレジスタより
なる第２の乱数生成回路による乱数、又は、第２の乱数
生成回路を構成するリニアフィードバックシフトレジス
タの出力を入力とするシフトレジスタの予め定められた
ビットを、ニューロンにおけるオフセット入力パルス列
生成とシナプスにおける第１の乱数生成回路の生成多項
式選択用に共用しているので、回路規模の増大を防止し
て組み合わせ得るものとなる。
々に示されるようなオフセット入力導入方式と結合係数
の値を２進数で保存しパルス列に変換して演算に供する
方式との各種組み合わせ構成において、各ニューロン中
に設けられたリニアフィードバックシフトレジスタより
なる第２の乱数生成回路による乱数、又は、第２の乱数
生成回路を構成するリニアフィードバックシフトレジス
タの出力を入力とするシフトレジスタの予め定められた
ビットを、ニューロンにおけるオフセット入力パルス列
生成とシナプスにおける第１の乱数生成回路の生成多項
式選択用に共用しているので、回路規模の増大を防止し
て組み合わせ得るものとなる。
【００１８】
【実施例】本発明の一実施例を図面に基づいて説明す
る。本発明の神経回路模倣素子は、パルス列で表現され
た信号を信号伝達手段とし、かつ、前述した特開平５−
６３５６号公報方式と、特開平５−１６５９８７号公報
方式との組み合わせ構成を基本とするものであり、ま
ず、アルゴリズムの概要から説明する。
る。本発明の神経回路模倣素子は、パルス列で表現され
た信号を信号伝達手段とし、かつ、前述した特開平５−
６３５６号公報方式と、特開平５−１６５９８７号公報
方式との組み合わせ構成を基本とするものであり、ま
ず、アルゴリズムの概要から説明する。
【００１９】ニューロンへの入力信号ｙi は、例えば、
図２に示すようなパルス列信号で表す。即ち、図２の例
は、“１０１１０１”＝４／６を表し、同期パルス６個
中に信号は“１”が４個、“０”が２個である。つま
り、同期パルスの立上り時又は立下り時に入力信号が
“０”か“１”かを判断する。このとき、“１”と
“０”の並び方は、ランダムであることが望ましい。ニ
ューロンからの出力信号も同様である。
図２に示すようなパルス列信号で表す。即ち、図２の例
は、“１０１１０１”＝４／６を表し、同期パルス６個
中に信号は“１”が４個、“０”が２個である。つま
り、同期パルスの立上り時又は立下り時に入力信号が
“０”か“１”かを判断する。このとき、“１”と
“０”の並び方は、ランダムであることが望ましい。ニ
ューロンからの出力信号も同様である。
【００２０】一方、各ニューロン間の結合の度合を示す
結合係数Ｗijも同様にパルス列で表現する。図３の例
は、“１０１０１０”＝３／６を表す式である。この場
合も、同期パルスの立上り時又は立下り時に入力信号が
“０”か“１”かを判断するものであり、また、“１”
と“０”の並び方はランダムであることが望ましい。
結合係数Ｗijも同様にパルス列で表現する。図３の例
は、“１０１０１０”＝３／６を表す式である。この場
合も、同期パルスの立上り時又は立下り時に入力信号が
“０”か“１”かを判断するものであり、また、“１”
と“０”の並び方はランダムであることが望ましい。
【００２１】入力信号ｙi の結合係数Ｗijによる重み付
けは、これらのパルス列同士の論理積、即ち、 ｙi ∩Ｗij …………………………（１） により実現する。図２及び図３に示した例によれば、結
合係数により重み付けされた入力信号は“１０１００
０”＝２／６となる。ここに、このような論理積結果に
よるパルス密度は、近似的には入力信号ｙi のパルス密
度と結合係数Ｗijのパルス密度との積となり、アナログ
方式の結合係数と同様の機能を有する。これは、信号の
列が長いほど、また、“１”と“０”との並び方がラン
ダムであるほど、数値の積に近い機能を持つことにな
る。なお、入力信号パルス列に比べて結合係数パルス列
が短く、読み出すべきデータがなくなったら、再びデー
タの先頭に戻って読み出しを繰り返えせばよい。
けは、これらのパルス列同士の論理積、即ち、 ｙi ∩Ｗij …………………………（１） により実現する。図２及び図３に示した例によれば、結
合係数により重み付けされた入力信号は“１０１００
０”＝２／６となる。ここに、このような論理積結果に
よるパルス密度は、近似的には入力信号ｙi のパルス密
度と結合係数Ｗijのパルス密度との積となり、アナログ
方式の結合係数と同様の機能を有する。これは、信号の
列が長いほど、また、“１”と“０”との並び方がラン
ダムであるほど、数値の積に近い機能を持つことにな
る。なお、入力信号パルス列に比べて結合係数パルス列
が短く、読み出すべきデータがなくなったら、再びデー
タの先頭に戻って読み出しを繰り返えせばよい。
【００２２】次に、各ニューロン間を結合するシナプス
分の空間和をパルス列同士の論理和を演算する論理和回
路で実現する。即ち、一つのニューロンは多入力である
ので、前述した「入力信号パルス列と結合係数パルス列
との論理積」も多数あるので、これらの論理和をとる。
この論理和演算が、アナログ計算における和の計算及び
非線形関数（シグモイド関数）の部分に対応する。即
ち、パルス密度が低い場合、その論理和をとったものの
パルス密度は、各々のパルス密度の和に近似的に一致す
る。パルス密度が高くなるにつれ、論理和出力は段々飽
和してくるので、パルス密度の和とは一致せず、非線形
性が出てくる。論理和の場合、パルス密度は１よりも大
きくなることがなく、かつ、０より小さくなることもな
く、さらには、単調増加関数であり、シグモイド関数と
近似的に同等となる。
分の空間和をパルス列同士の論理和を演算する論理和回
路で実現する。即ち、一つのニューロンは多入力である
ので、前述した「入力信号パルス列と結合係数パルス列
との論理積」も多数あるので、これらの論理和をとる。
この論理和演算が、アナログ計算における和の計算及び
非線形関数（シグモイド関数）の部分に対応する。即
ち、パルス密度が低い場合、その論理和をとったものの
パルス密度は、各々のパルス密度の和に近似的に一致す
る。パルス密度が高くなるにつれ、論理和出力は段々飽
和してくるので、パルス密度の和とは一致せず、非線形
性が出てくる。論理和の場合、パルス密度は１よりも大
きくなることがなく、かつ、０より小さくなることもな
く、さらには、単調増加関数であり、シグモイド関数と
近似的に同等となる。
【００２３】ここに、結合には興奮性と抑制性がある
が、デジタル方式においては、結合係数Ｗijの正負符号
によりこれを表す。そこで、結合係数Ｗijの正負符号に
より各結合を興奮性結合と抑制性結合との２つのグルー
プに分け、各々グループ別に論理和をとる。このように
して得られた興奮性グループの論理和結果をｙFjとし、
抑制性グループの論理和結果をｙIjとすると、各々
（２)(３）式で表される。
が、デジタル方式においては、結合係数Ｗijの正負符号
によりこれを表す。そこで、結合係数Ｗijの正負符号に
より各結合を興奮性結合と抑制性結合との２つのグルー
プに分け、各々グループ別に論理和をとる。このように
して得られた興奮性グループの論理和結果をｙFjとし、
抑制性グループの論理和結果をｙIjとすると、各々
（２)(３）式で表される。
【００２４】
【数１】
【００２５】或いは、一つの入力信号ｙi に対して興奮
性を表す結合係数Ｗij(+) と抑制性を表す結合係数Ｗ
ij(-) との両方を用意し、各々論理積をとる（ｙi ∩Ｗ
ij(+)、ｙi ∩Ｗij(-) ）。さらに、これらの論理積結
果同士の論理和を各々とる。このようにして得られた興
奮性グループの論理和結果をｙFjとし、抑制性グループ
の論理和結果をｙIjとすると、各々（４)(５）式で表さ
れる。
性を表す結合係数Ｗij(+) と抑制性を表す結合係数Ｗ
ij(-) との両方を用意し、各々論理積をとる（ｙi ∩Ｗ
ij(+)、ｙi ∩Ｗij(-) ）。さらに、これらの論理積結
果同士の論理和を各々とる。このようにして得られた興
奮性グループの論理和結果をｙFjとし、抑制性グループ
の論理和結果をｙIjとすると、各々（４)(５）式で表さ
れる。
【００２６】
【数２】
【００２７】このようにして得られた興奮性グループの
論理和結果ｙFjと抑制性グループの論理和結果ｙIjと
が、不一致であれば興奮性グループの結果を論理和結果
ｙFjをニューロン出力とする。即ち、興奮性グループの
論理和結果ｙFjが“０”で抑制性グループの論理和結果
ｙIjが“１”であれば、“０”を出力し、逆に、興奮性
グループの論理和結果ｙFjが“１”で抑制性グループの
論理和結果ｙIjが“０”であれば、“１”を出力する。
一方、興奮性グループの論理和結果ｙFjと抑制性グルー
プの論理和結果ｙIjとが一致したときには、別個に用意
されたパルス密度が“０．５”（或いは、約“０．
５”）のオフセット入力パルス列信号ｙHjをニューロン
出力とする。即ち、数式で示すと、ニューロンからの出
力信号ｙj は（６）式で表される。
論理和結果ｙFjと抑制性グループの論理和結果ｙIjと
が、不一致であれば興奮性グループの結果を論理和結果
ｙFjをニューロン出力とする。即ち、興奮性グループの
論理和結果ｙFjが“０”で抑制性グループの論理和結果
ｙIjが“１”であれば、“０”を出力し、逆に、興奮性
グループの論理和結果ｙFjが“１”で抑制性グループの
論理和結果ｙIjが“０”であれば、“１”を出力する。
一方、興奮性グループの論理和結果ｙFjと抑制性グルー
プの論理和結果ｙIjとが一致したときには、別個に用意
されたパルス密度が“０．５”（或いは、約“０．
５”）のオフセット入力パルス列信号ｙHjをニューロン
出力とする。即ち、数式で示すと、ニューロンからの出
力信号ｙj は（６）式で表される。
【００２８】
【数３】
【００２９】ニューロンのネットワークは階層型とす
る。そして、ネットワーク全体を同期させておけば、各
層とも上述した機能により計算できる。
る。そして、ネットワーク全体を同期させておけば、各
層とも上述した機能により計算できる。
【００３０】以上のアルゴリズムに基づく構成例を以下
に説明する。図４に階層型ネットワーク全体の模式的構
成例を示し、多数のニューロン１間が適宜シナプス２に
より結合されて構成されている。ここに、シナプス２部
分は図５又は図６に示すように構成され、ニューロン１
部分は図７に示すように構成されている。
に説明する。図４に階層型ネットワーク全体の模式的構
成例を示し、多数のニューロン１間が適宜シナプス２に
より結合されて構成されている。ここに、シナプス２部
分は図５又は図６に示すように構成され、ニューロン１
部分は図７に示すように構成されている。
【００３１】まず、シナプス２部分の構成の一例を示す
図５から説明する。入力信号ｙi は図２で説明したよう
にパルス列表現されたものである。また、図３に示した
ような結合係数Ｗijの値を数値、具体的には、２進数に
よる絶対値で保存するメモリ３が設けられている。この
メモリ３の読出出力側には数値→パルス列変換回路（数
値・パルス列変換装置）４が接続されている。ここに、
メモリ３と数値→パルス列変換回路４との間は、数値を
表すのに必要な本数（ビット幅）ｎで結ばれている。さ
らに、図では省略してあるが、前記メモリ３に対して
は、アウトプットイネーブル信号やライトイネーブル信
号などの読み書きに必要な信号が与えられている。前記
入力信号ｙi と数値→パルス列変換回路４によりパルス
列表現に変換された結合係数Ｗijとの論理積（即ち、
（１）式）を演算するＡＮＤゲート（論理積回路）５が
設けられている。このＡＮＤゲート５の出力は結合が興
奮性か抑制性かによってグループ分けしなければならな
いが、予め各々のグループへの出力信号ｙFij ，ｙIij
を用意し、何れに出力するのかを切り換えるようにした
方が汎用性の高いものとなる。このため、結合が興奮性
か抑制性かを表すビットを１ビット構成のグループ分け
用メモリ（符号メモリ）６に保存しておき、その情報を
用いて切換ゲート回路７により切り換える。切換ゲート
回路７は２つのＡＮＤゲート７ａ，７ｂと一方の入力に
介在されたインバータ７ｃとにより構成されている。
図５から説明する。入力信号ｙi は図２で説明したよう
にパルス列表現されたものである。また、図３に示した
ような結合係数Ｗijの値を数値、具体的には、２進数に
よる絶対値で保存するメモリ３が設けられている。この
メモリ３の読出出力側には数値→パルス列変換回路（数
値・パルス列変換装置）４が接続されている。ここに、
メモリ３と数値→パルス列変換回路４との間は、数値を
表すのに必要な本数（ビット幅）ｎで結ばれている。さ
らに、図では省略してあるが、前記メモリ３に対して
は、アウトプットイネーブル信号やライトイネーブル信
号などの読み書きに必要な信号が与えられている。前記
入力信号ｙi と数値→パルス列変換回路４によりパルス
列表現に変換された結合係数Ｗijとの論理積（即ち、
（１）式）を演算するＡＮＤゲート（論理積回路）５が
設けられている。このＡＮＤゲート５の出力は結合が興
奮性か抑制性かによってグループ分けしなければならな
いが、予め各々のグループへの出力信号ｙFij ，ｙIij
を用意し、何れに出力するのかを切り換えるようにした
方が汎用性の高いものとなる。このため、結合が興奮性
か抑制性かを表すビットを１ビット構成のグループ分け
用メモリ（符号メモリ）６に保存しておき、その情報を
用いて切換ゲート回路７により切り換える。切換ゲート
回路７は２つのＡＮＤゲート７ａ，７ｂと一方の入力に
介在されたインバータ７ｃとにより構成されている。
【００３２】切り換える必要のない場合には、各々固定
しても構わない。これは、図５においてグループ分け用
メモリ６を“０”又は“１”に何れかに固定したものと
等価であることを意味する。
しても構わない。これは、図５においてグループ分け用
メモリ６を“０”又は“１”に何れかに固定したものと
等価であることを意味する。
【００３３】また、一つの入力信号ｙi に対して、興奮
性を表す結合係数Ｗij(+) 用のメモリと、抑制性を表す
結合係数Ｗij(-) 用のメモリとの両方を用意してもよ
い。図６はこの例をシナプス２部分の構成の他例として
示すものである。図中、３Ｆが興奮性を表す結合係数の
値を２進数（絶対値）で保存するメモリ、３Ｉが抑制性
を表す結合係数の値を２進数（絶対値）で保存するメモ
リであり、各々には、図５の場合と同様に数値→パルス
列変換回路４Ｆ，４Ｉが接続されている。また、各々の
数値→パルス列変換回路４Ｆ，４Ｉによりパルス列変換
された結合係数Ｗij(+) ，Ｗij(-) と入力信号ｙi との
論理積を各々とって重み付けを行うＡＮＤゲート５Ｆ，
５Ｉが設けられ、興奮性、抑制性各々の出力信号
ｙFij ，ｙIij が別個に得られるように構成されてい
る。
性を表す結合係数Ｗij(+) 用のメモリと、抑制性を表す
結合係数Ｗij(-) 用のメモリとの両方を用意してもよ
い。図６はこの例をシナプス２部分の構成の他例として
示すものである。図中、３Ｆが興奮性を表す結合係数の
値を２進数（絶対値）で保存するメモリ、３Ｉが抑制性
を表す結合係数の値を２進数（絶対値）で保存するメモ
リであり、各々には、図５の場合と同様に数値→パルス
列変換回路４Ｆ，４Ｉが接続されている。また、各々の
数値→パルス列変換回路４Ｆ，４Ｉによりパルス列変換
された結合係数Ｗij(+) ，Ｗij(-) と入力信号ｙi との
論理積を各々とって重み付けを行うＡＮＤゲート５Ｆ，
５Ｉが設けられ、興奮性、抑制性各々の出力信号
ｙFij ，ｙIij が別個に得られるように構成されてい
る。
【００３４】ついで、ニューロン１部分の構成例を示す
図７について説明する。まず、パルス列表現の結合係数
Ｗij(+) ，Ｗij(-) により重み付けされた入力信号（シ
ナプス２からの出力信号）ｙFij ，ｙIij のパルス列に
ついて全シナプス分の論理和を興奮性、抑制性別のグル
ープ毎にとるＯＲゲート（論理和回路）８Ｆ，８Ｉが設
けられている。即ち、ＯＲゲート８Ｆは（２）式又は
（４）式の論理演算を行い、ＯＲゲート８Ｉは（３）式
又は（５）式の論理演算を行うものである。これらのＯ
Ｒゲート８Ｆ，８Ｉの出力側にはゲート回路（出力選択
回路）９が接続されている。このゲート回路９はオフセ
ット入力信号生成器（オフセット信号生成器）１０から
のパルス密度が“０．５”なるパルス列表現のオフセッ
ト入力パルス列ｙHjも入力として、（６）式に示した論
理演算を行うものである。よって、２個のインバータ９
ａ，９ｂと３個のＡＮＤゲート９ｃ，９ｄ，９ｅと１個
のＯＲゲート９ｆとにより構成されている。よって、こ
のゲート回路９のＯＲゲート９ｆからは、興奮性、抑制
性別に演算された論理和結果ｙFj，ｙIj同士が一致して
いるときにはオフセット入力パルス列ｙHjが出力され、
不一致のときには正の符号を持つ結合係数の論理和結果
なるパルス列ｙFjが出力される。
図７について説明する。まず、パルス列表現の結合係数
Ｗij(+) ，Ｗij(-) により重み付けされた入力信号（シ
ナプス２からの出力信号）ｙFij ，ｙIij のパルス列に
ついて全シナプス分の論理和を興奮性、抑制性別のグル
ープ毎にとるＯＲゲート（論理和回路）８Ｆ，８Ｉが設
けられている。即ち、ＯＲゲート８Ｆは（２）式又は
（４）式の論理演算を行い、ＯＲゲート８Ｉは（３）式
又は（５）式の論理演算を行うものである。これらのＯ
Ｒゲート８Ｆ，８Ｉの出力側にはゲート回路（出力選択
回路）９が接続されている。このゲート回路９はオフセ
ット入力信号生成器（オフセット信号生成器）１０から
のパルス密度が“０．５”なるパルス列表現のオフセッ
ト入力パルス列ｙHjも入力として、（６）式に示した論
理演算を行うものである。よって、２個のインバータ９
ａ，９ｂと３個のＡＮＤゲート９ｃ，９ｄ，９ｅと１個
のＯＲゲート９ｆとにより構成されている。よって、こ
のゲート回路９のＯＲゲート９ｆからは、興奮性、抑制
性別に演算された論理和結果ｙFj，ｙIj同士が一致して
いるときにはオフセット入力パルス列ｙHjが出力され、
不一致のときには正の符号を持つ結合係数の論理和結果
なるパルス列ｙFjが出力される。
【００３５】ここに、数値→パルス列変換回路４（４
Ｆ，４Ｉも同様）は、例えば、図８に示すように、乱数
生成装置（第１の乱数生成回路）１１と、メモリ３から
の２進数による結合係数値をこの乱数生成装置１１によ
る乱数と比較してパルス列表現の結合係数をＡＮＤゲー
ト５等へ出力する比較器１２とにより構成されている。
前記乱数生成装置１１は、例えば、図９に示すように基
準クロックに同期して乱数を発生する７ビット構成のシ
フトレジスタ１３とその最上位ビット（ｂ６）のデータ
と残りの適宜ビットのデータとを入力として最下位ビッ
ト（ｂ０）を順次更新する排他的ＯＲゲート１４とによ
るリニアフィードバックシフトレジスタ（ＬＦＳＲ）１
５により構成されている。これにより、０〜（２＾ｍ−
１）（ｍはシフトレジスタ１３のビット数）までの一様
乱数が得られるものである。このＬＦＳＲ１５の生成多
項式は複数存在し、回路でも適宜切り換えられるように
しておいたほうがよりランダムな乱数列が得られる。前
記比較器１２は乱数生成装置１１（ＬＦＳＲ１５）によ
り生成された乱数値とメモリ３からの結合係数値とを比
較し、メモリ３からのデータのほうが大きい時には
“１”、小さい時には“０”を出力するものである。こ
れにより、パルス密度が（メモリ３のデータ／２＾ｍ）
となるパルス列による結合係数が得られる。
Ｆ，４Ｉも同様）は、例えば、図８に示すように、乱数
生成装置（第１の乱数生成回路）１１と、メモリ３から
の２進数による結合係数値をこの乱数生成装置１１によ
る乱数と比較してパルス列表現の結合係数をＡＮＤゲー
ト５等へ出力する比較器１２とにより構成されている。
前記乱数生成装置１１は、例えば、図９に示すように基
準クロックに同期して乱数を発生する７ビット構成のシ
フトレジスタ１３とその最上位ビット（ｂ６）のデータ
と残りの適宜ビットのデータとを入力として最下位ビッ
ト（ｂ０）を順次更新する排他的ＯＲゲート１４とによ
るリニアフィードバックシフトレジスタ（ＬＦＳＲ）１
５により構成されている。これにより、０〜（２＾ｍ−
１）（ｍはシフトレジスタ１３のビット数）までの一様
乱数が得られるものである。このＬＦＳＲ１５の生成多
項式は複数存在し、回路でも適宜切り換えられるように
しておいたほうがよりランダムな乱数列が得られる。前
記比較器１２は乱数生成装置１１（ＬＦＳＲ１５）によ
り生成された乱数値とメモリ３からの結合係数値とを比
較し、メモリ３からのデータのほうが大きい時には
“１”、小さい時には“０”を出力するものである。こ
れにより、パルス密度が（メモリ３のデータ／２＾ｍ）
となるパルス列による結合係数が得られる。
【００３６】また、このようなＬＦＳＲ１５（乱数生成
装置１１）は各シナプス２毎に存在するので、各シナプ
ス２のＬＦＳＲ１５（乱数生成装置１１）毎に各々がな
るべく異なった乱数列を発生させるのがよい。このた
め、各ＬＦＳＲ１５はｂ０，ｂ１，ｂ４，ｂ５の内、何
れのビットから排他的ＯＲゲート１４に入力させるかを
切り換える切換器１６が設けられ、生成多項式が切り換
え自在とされている。
装置１１）は各シナプス２毎に存在するので、各シナプ
ス２のＬＦＳＲ１５（乱数生成装置１１）毎に各々がな
るべく異なった乱数列を発生させるのがよい。このた
め、各ＬＦＳＲ１５はｂ０，ｂ１，ｂ４，ｂ５の内、何
れのビットから排他的ＯＲゲート１４に入力させるかを
切り換える切換器１６が設けられ、生成多項式が切り換
え自在とされている。
【００３７】また、図１に示すように、各ＬＦＳＲ１５
において、どの生成多項式を選択するかを決定するため
の生成多項式選択用シフトレジスタ（第２の乱数生成装
置）１７がＬＦＳＲ構成でＬＦＳＲ１５とは別にニュー
ロン１側に設けられ、この生成多項式選択用シフトレジ
スタ１７による乱数が用いられるように構成されてい
る。この生成多項式選択用シフトレジスタ１７はＬＦＳ
Ｒ１５と同様に、基準クロックに同期して乱数を発生す
る７ビット構成のシフトレジスタ１８とその最上位ビッ
ト（ｂ６）のデータと残りの適宜ビットのデータとを入
力として最下位ビット（ｂ０）を順次更新する排他的Ｏ
Ｒゲート１９とによるＬＦＳＲ構成のものであり、生成
多数式を選択切り換えするための切換器２０が付加され
ている。
において、どの生成多項式を選択するかを決定するため
の生成多項式選択用シフトレジスタ（第２の乱数生成装
置）１７がＬＦＳＲ構成でＬＦＳＲ１５とは別にニュー
ロン１側に設けられ、この生成多項式選択用シフトレジ
スタ１７による乱数が用いられるように構成されてい
る。この生成多項式選択用シフトレジスタ１７はＬＦＳ
Ｒ１５と同様に、基準クロックに同期して乱数を発生す
る７ビット構成のシフトレジスタ１８とその最上位ビッ
ト（ｂ６）のデータと残りの適宜ビットのデータとを入
力として最下位ビット（ｂ０）を順次更新する排他的Ｏ
Ｒゲート１９とによるＬＦＳＲ構成のものであり、生成
多数式を選択切り換えするための切換器２０が付加され
ている。
【００３８】このような生成多項式選択用シフトレジス
タ１７の生成した乱数によるＬＦＳＲ１５の生成多項式
の選択には、生成多項式選択用シフトレジスタ１７中の
シフトレジスタ１８のビット（の一部）を用いてもよ
く、或いは、この生成多項式選択用シフトレジスタ１７
の出力を多段のシフトレジスタに入力させ、このシフト
レジスタの予め定められたビット（の一部）を用いるよ
うにしてもよい。また、生成多項式選択用シフトレジス
タ１７は必ずしも各ＬＦＳＲ１５毎に１個ずつ用意する
必要はなく、複数のＬＦＳＲ１５に対して１個の生成多
項式選択用シフトレジスタ１７を設けるようにしてもよ
い。図１では、生成多項式選択用シフトレジスタ１７の
出力を入力とする複数段のシフトレジスタ２１を設け、
例えば、２ビットずつｎ個の各シナプス２のＬＦＳＲ１
５の多項式選択用に振り分けた例を併せて示すものであ
る。
タ１７の生成した乱数によるＬＦＳＲ１５の生成多項式
の選択には、生成多項式選択用シフトレジスタ１７中の
シフトレジスタ１８のビット（の一部）を用いてもよ
く、或いは、この生成多項式選択用シフトレジスタ１７
の出力を多段のシフトレジスタに入力させ、このシフト
レジスタの予め定められたビット（の一部）を用いるよ
うにしてもよい。また、生成多項式選択用シフトレジス
タ１７は必ずしも各ＬＦＳＲ１５毎に１個ずつ用意する
必要はなく、複数のＬＦＳＲ１５に対して１個の生成多
項式選択用シフトレジスタ１７を設けるようにしてもよ
い。図１では、生成多項式選択用シフトレジスタ１７の
出力を入力とする複数段のシフトレジスタ２１を設け、
例えば、２ビットずつｎ個の各シナプス２のＬＦＳＲ１
５の多項式選択用に振り分けた例を併せて示すものであ
る。
【００３９】パルス密度が“０．５”なるパルス列表現
のオフセット入力パルス列ｙHjを生成出力する前記オフ
セット入力信号生成器１０も基本的には数値→パルス列
変換回路４と同様にＬＦＳＲを用いた乱数に基づき発生
させることができる。この乱数列はシナプス２側の乱数
とは独立したものが望ましいが、オフセット入力信号生
成器１０に専用のＬＦＳＲを設けると回路規模が大きく
なってしまう。そこで、本実施例では前述したようにシ
ナプス２用の生成多項式選択用に設けた生成多項式選択
用シフトレジスタ１７を、このオフセット入力信号生成
器１０におけるオフセット入力パルス列ｙHjの生成にも
共用化したものである。
のオフセット入力パルス列ｙHjを生成出力する前記オフ
セット入力信号生成器１０も基本的には数値→パルス列
変換回路４と同様にＬＦＳＲを用いた乱数に基づき発生
させることができる。この乱数列はシナプス２側の乱数
とは独立したものが望ましいが、オフセット入力信号生
成器１０に専用のＬＦＳＲを設けると回路規模が大きく
なってしまう。そこで、本実施例では前述したようにシ
ナプス２用の生成多項式選択用に設けた生成多項式選択
用シフトレジスタ１７を、このオフセット入力信号生成
器１０におけるオフセット入力パルス列ｙHjの生成にも
共用化したものである。
【００４０】以上、説明したように信号をパルス密度で
表現する手法は、実際の回路のみならず、計算機上でシ
ミュレートする場合にも有用である。計算機上では、演
算は直列的に行われるが、アナログ値を用いて計算させ
るのに比べて、“０”“１”の２値の論理演算のみであ
るので、計算速度が著しく向上する。一般に、実数値の
四則演算は、１回の計算に多くのマシンサイクルを必要
とするが、論理演算では少なくて済む。また、論理演算
のみであると、高速処理向けの低水準言語が使用しやす
いといった特徴も持つ。また、上述した方式を実施する
に当り、その全部を回路化する必要はなく、一部又は全
部をソフトウェアで行わせるようにしてもよい。また、
回路構成自体も例示したものに限らず、論理が等価な別
の回路で置き換えるようにしてもよく、さらには、負論
理に置き換えるようにしてもよい。
表現する手法は、実際の回路のみならず、計算機上でシ
ミュレートする場合にも有用である。計算機上では、演
算は直列的に行われるが、アナログ値を用いて計算させ
るのに比べて、“０”“１”の２値の論理演算のみであ
るので、計算速度が著しく向上する。一般に、実数値の
四則演算は、１回の計算に多くのマシンサイクルを必要
とするが、論理演算では少なくて済む。また、論理演算
のみであると、高速処理向けの低水準言語が使用しやす
いといった特徴も持つ。また、上述した方式を実施する
に当り、その全部を回路化する必要はなく、一部又は全
部をソフトウェアで行わせるようにしてもよい。また、
回路構成自体も例示したものに限らず、論理が等価な別
の回路で置き換えるようにしてもよく、さらには、負論
理に置き換えるようにしてもよい。
【００４１】ところで、具体例として自己学習式文字認
識装置への適用例を説明する。図４のように３層構造に
ネットワーク構成し、第１層は２５６個、第２層は２０
個、第３層は５個のニューロン構成とした。ここに、第
１，２層間、第２，３層間はニューロン１同士が全て結
合されている。このようなネットワークに対して手書き
文字を入力し、文字認識を行わせた。まず、手書き文字
をスキャナで読み取り、図１０に示すように１６×１６
のメッシュに分け、文字部分のあるメッシュを“１”、
ないメッシュを“０”とした。この２５６個のデータを
ネットワーク（第１層）に入力させた。出力層の５個の
各ニューロン１を「１」〜「５」までに対応させ、その
数字が入力した時に対応するニューロン１の出力が
“１”でその他のニューロン１の出力が“０”になるよ
うに学習させた。学習は、コンピュータシミュレーショ
ンによりルーメルハートのバックプロパゲーション法
（誤差逆伝搬法）を用いた。また、乱数生成装置１１と
して７ビットのＬＦＳＲ１５を用いた。さらに、このＬ
ＦＳＲ１５を外部からアクセス可能にしておき、初期値
としてランダムな値をロードした。そして、学習済みの
結合係数を１２７倍（ＬＦＳＲが７ビットのため）し、
結合係数用のメモリ３にロードした。本実施例では、入
力は“０”か“１”であるので、入力信号パルス列は常
にＬレベル又はＨレベルの単純なものである。最初、各
結合係数をランダムに設定しておくと、出力結果は必ず
しも所望の値とはならない。そこで、自己学習機能を用
いて、各結合係数を新たに求め、これを何回か繰り返す
ことによって所望の出力が得られるようにする。ここ
に、最終出力はトランジスタを介してＬＥＤと結び、Ｌ
レベルの時には消灯、Ｈレベルの時には点灯するように
した。同期クロックを１０００ｋＨｚとしたので、パル
ス密度に応じて、人間の目にはＬＥＤの明るさが変って
見え、従って、一番明るいＬＥＤ部分が答えとなる。十
分学習させた文字に対しては１００％の認識率が得られ
たものである。
識装置への適用例を説明する。図４のように３層構造に
ネットワーク構成し、第１層は２５６個、第２層は２０
個、第３層は５個のニューロン構成とした。ここに、第
１，２層間、第２，３層間はニューロン１同士が全て結
合されている。このようなネットワークに対して手書き
文字を入力し、文字認識を行わせた。まず、手書き文字
をスキャナで読み取り、図１０に示すように１６×１６
のメッシュに分け、文字部分のあるメッシュを“１”、
ないメッシュを“０”とした。この２５６個のデータを
ネットワーク（第１層）に入力させた。出力層の５個の
各ニューロン１を「１」〜「５」までに対応させ、その
数字が入力した時に対応するニューロン１の出力が
“１”でその他のニューロン１の出力が“０”になるよ
うに学習させた。学習は、コンピュータシミュレーショ
ンによりルーメルハートのバックプロパゲーション法
（誤差逆伝搬法）を用いた。また、乱数生成装置１１と
して７ビットのＬＦＳＲ１５を用いた。さらに、このＬ
ＦＳＲ１５を外部からアクセス可能にしておき、初期値
としてランダムな値をロードした。そして、学習済みの
結合係数を１２７倍（ＬＦＳＲが７ビットのため）し、
結合係数用のメモリ３にロードした。本実施例では、入
力は“０”か“１”であるので、入力信号パルス列は常
にＬレベル又はＨレベルの単純なものである。最初、各
結合係数をランダムに設定しておくと、出力結果は必ず
しも所望の値とはならない。そこで、自己学習機能を用
いて、各結合係数を新たに求め、これを何回か繰り返す
ことによって所望の出力が得られるようにする。ここ
に、最終出力はトランジスタを介してＬＥＤと結び、Ｌ
レベルの時には消灯、Ｈレベルの時には点灯するように
した。同期クロックを１０００ｋＨｚとしたので、パル
ス密度に応じて、人間の目にはＬＥＤの明るさが変って
見え、従って、一番明るいＬＥＤ部分が答えとなる。十
分学習させた文字に対しては１００％の認識率が得られ
たものである。
【００４２】
【発明の効果】請求項１ないし８記載の発明の神経回路
模倣素子によれば、各々の請求項に示されるようなオフ
セット入力導入方式と結合係数の値を２進数で保存しパ
ルス列に変換して演算に供する方式との各種組み合わせ
構成において、各ニューロン中に設けられたリニアフィ
ードバックシフトレジスタよりなる第２の乱数生成回路
による乱数、又は、第２の乱数生成回路を構成するリニ
アフィードバックシフトレジスタの出力を入力とするシ
フトレジスタの予め定められたビットを、ニューロンに
おけるオフセット入力パルス列生成とシナプスにおける
第１の乱数生成回路の生成多項式選択用に共用させたの
で、回路規模の増大を防止しつつ、処理能力の向上と結
合係数の保存の容易化とを図ることができる。
模倣素子によれば、各々の請求項に示されるようなオフ
セット入力導入方式と結合係数の値を２進数で保存しパ
ルス列に変換して演算に供する方式との各種組み合わせ
構成において、各ニューロン中に設けられたリニアフィ
ードバックシフトレジスタよりなる第２の乱数生成回路
による乱数、又は、第２の乱数生成回路を構成するリニ
アフィードバックシフトレジスタの出力を入力とするシ
フトレジスタの予め定められたビットを、ニューロンに
おけるオフセット入力パルス列生成とシナプスにおける
第１の乱数生成回路の生成多項式選択用に共用させたの
で、回路規模の増大を防止しつつ、処理能力の向上と結
合係数の保存の容易化とを図ることができる。
【図１】本発明の一実施例を示す生成多項式選択用シフ
トレジスタの回路構成図である。
トレジスタの回路構成図である。
【図２】入力信号パルス列を示すタイミングチャートで
ある。
ある。
【図３】結合係数パルス列を示すタイミングチャートで
ある。
ある。
【図４】ネットワーク構成例を示す模式図である。
【図５】シナプス部分の構成例の一例を示すブロック図
である。
である。
【図６】シナプス部分の構成例の他例を示すブロック図
である。
である。
【図７】ニューロン部分の構成例を示す論理回路図であ
る。
る。
【図８】数値→パルス列変換回路の構成を示す回路図で
ある。
ある。
【図９】乱数生成装置の構成を示す回路図である。
【図１０】手書き文字例を示す説明図である。
１ ニューロン ２ シナプス ３ メモリ ４ 数値・パルス列変換手段 ５ 論理積回路 ６ 符号メモリ ８ 論理和回路 ９ 出力選択回路 １０ オフセット信号生成回路 １１ 第１の乱数生成回路 １２ 比較器 １５ リニアフィードバックシフトレジスタ １７ 第２の乱数生成回路 ２１ シフトレジスタ
Claims (8)
- 【請求項１】 パルス列で表現された信号を信号伝達手
段として各ニューロン間をシナプスにより結合した神経
回路模倣素子において、結合係数の値を２進数で保存す
るメモリと、生成多項式の選択自在なリニアフィードバ
ックシフトレジスタよりなる第１の乱数生成回路及び前
記メモリに保存された結合係数の値をこの第１の乱数生
成回路により生成された乱数と比較してパルス列で表現
された結合係数を出力する比較器を備えた数値・パルス
列変換装置とを前記各シナプスに設け、“０．５”なる
パルス密度のオフセット入力パルス列を生成するオフセ
ット信号生成回路と、リニアフィードバックシフトレジ
スタよりなり生成された乱数をこのオフセット信号生成
回路によるオフセット入力パルス列生成及び前記第１の
乱数生成回路の生成多項式選択用に出力する第２の乱数
生成回路とを各ニューロンに設けたことを特徴とする神
経回路模倣素子。 - 【請求項２】 パルス列で表現された信号を信号伝達手
段として各ニューロン間をシナプスにより結合した神経
回路模倣素子において、結合係数の値を２進数で保存す
るメモリと、生成多項式の選択自在なリニアフィードバ
ックシフトレジスタよりなる第１の乱数生成回路及び前
記メモリに保存された結合係数の値をこの第１の乱数生
成回路により生成された乱数と比較してパルス列で表現
された結合係数を出力する比較器を備えた数値・パルス
列変換装置とを前記各シナプスに設け、“０．５”なる
パルス密度のオフセット入力パルス列を生成するオフセ
ット信号生成回路と、リニアフィードバックシフトレジ
スタよりなる第２の乱数生成回路と、この第２の乱数生
成回路からの乱数出力を入力として予め定められたビッ
トを用いて前記オフセット信号生成回路によるオフセッ
ト入力パルス列生成及び前記第１の乱数生成回路の生成
多項式選択用に出力するシフトレジスタとを各ニューロ
ンに設けたことを特徴とする神経回路模倣素子。 - 【請求項３】 パルス列で表現された信号を信号伝達手
段として各ニューロン間をシナプスにより結合した神経
回路模倣素子において、結合係数の値を２進数で保存す
るメモリと、生成多項式の選択自在なリニアフィードバ
ックシフトレジスタよりなる第１の乱数生成回路及び前
記メモリに保存された結合係数の値をこの第１の乱数生
成回路により生成された乱数と比較してパルス列で表現
された結合係数を出力する比較器を備えた数値・パルス
列変換装置と、ニューロンに対する入力信号パルス列と
結合係数パルス列との論理積を演算して重み付けを行う
論理積回路とを前記各シナプスに設け、結合係数パルス
列により重み付けされた入力信号パルス列について全シ
ナプス分の論理和を演算する論理和回路と、“０．５”
なるパルス密度のオフセット入力パルス列を生成するオ
フセット信号生成回路と、リニアフィードバックシフト
レジスタよりなり生成された乱数をこのオフセット信号
生成回路によるオフセット入力パルス列生成及び前記第
１の乱数生成回路の生成多項式選択用に出力する第２の
乱数生成回路とを各ニューロンに設けたことを特徴とす
る神経回路模倣素子。 - 【請求項４】 パルス列で表現された信号を信号伝達手
段として各ニューロン間をシナプスにより結合した神経
回路模倣素子において、結合係数の値を２進数で保存す
るメモリと、生成多項式の選択自在なリニアフィードバ
ックシフトレジスタよりなる第１の乱数生成回路及び前
記メモリに保存された結合係数の値をこの第１の乱数生
成回路により生成された乱数と比較してパルス列で表現
された結合係数を出力する比較器を備えた数値・パルス
列変換装置と、ニューロンに対する入力信号パルス列と
結合係数パルス列との論理積を演算して重み付けを行う
論理積回路とを前記各シナプスに設け、結合係数パルス
列により重み付けされた入力信号パルス列について全シ
ナプス分の論理和を演算する論理和回路と、“０．５”
なるパルス密度のオフセット入力パルス列を生成するオ
フセット信号生成回路と、リニアフィードバックシフト
レジスタよりなる第２の乱数生成回路と、この第２の乱
数生成回路からの乱数出力を入力として予め定められた
ビットを用いて前記オフセット信号生成回路によるオフ
セット入力パルス列生成及び前記第１の乱数生成回路の
生成多項式選択用に出力するシフトレジスタとを各ニュ
ーロンに設けたことを特徴とする神経回路模倣素子。 - 【請求項５】 パルス列で表現された信号を信号伝達手
段として各ニューロン間をシナプスにより結合した神経
回路模倣素子において、結合係数の絶対値を２進数で保
存するメモリと、前記結合係数の正負の符号を保存する
符号メモリと、生成多項式の選択自在なリニアフィード
バックシフトレジスタよりなる第１の乱数生成回路及び
前記メモリに保存された結合係数の値をこの第１の乱数
生成回路により生成された乱数と比較してパルス列で表
現された結合係数を出力する比較器を備えた数値・パル
ス列変換装置と、ニューロンに対する入力信号パルス列
と結合係数パルス列との論理積を演算して重み付けを行
う論理積回路とを前記各シナプスに設け、結合係数パル
ス列により重み付けされた入力信号パルス列について全
シナプス分の論理和を前記結合係数の符号別に演算する
論理和回路と、“０．５”なるパルス密度のオフセット
入力パルス列を生成するオフセット信号生成回路と、前
記結合係数の符号別に演算された論理和結果同士が一致
しているときには前記オフセット入力パルス列を出力し
不一致のときには正の符号を持つ結合係数の論理和結果
なるパルス列を出力する出力選択回路と、リニアフィー
ドバックシフトレジスタよりなり生成された乱数を前記
オフセット信号生成回路によるオフセット入力パルス列
生成及び前記第１の乱数生成回路の生成多項式選択用に
出力する第２の乱数生成回路とを各ニューロンに設けた
ことを特徴とする神経回路模倣素子。 - 【請求項６】 パルス列で表現された信号を信号伝達手
段として各ニューロン間をシナプスにより結合した神経
回路模倣素子において、結合係数の絶対値を２進数で保
存するメモリと、前記結合係数の正負の符号を保存する
符号メモリと、生成多項式の選択自在なリニアフィード
バックシフトレジスタよりなる第１の乱数生成回路及び
前記メモリに保存された結合係数の値をこの第１の乱数
生成回路により生成された乱数と比較してパルス列で表
現された結合係数を出力する比較器を備えた数値・パル
ス列変換装置と、ニューロンに対する入力信号パルス列
と結合係数パルス列との論理積を演算して重み付けを行
う論理積回路とを前記各シナプスに設け、結合係数パル
ス列により重み付けされた入力信号パルス列について全
シナプス分の論理和を前記結合係数の符号別に演算する
論理和回路と、“０．５”なるパルス密度のオフセット
入力パルス列を生成するオフセット信号生成回路と、前
記結合係数の符号別に演算された論理和結果同士が一致
しているときには前記オフセット入力パルス列を出力し
不一致のときには正の符号を持つ結合係数の論理和結果
なるパルス列を出力する出力選択回路と、リニアフィー
ドバックシフトレジスタよりなる第２の乱数生成回路
と、この第２の乱数生成回路からの乱数出力を入力とし
て予め定められたビットを用いて前記オフセット信号生
成回路によるオフセット入力パルス列生成及び前記第１
の乱数生成回路の生成多項式選択用に出力するシフトレ
ジスタとを各ニューロンに設けたことを特徴とする神経
回路模倣素子。 - 【請求項７】 パルス列で表現された信号を信号伝達手
段として各ニューロン間をシナプスにより結合した神経
回路模倣素子において、興奮性と抑制性とを示す２種類
の結合係数の値を２進数で保存するメモリと、前記結合
係数の興奮性／抑制性に対応した正負の符号を保存する
符号メモリと、生成多項式の選択自在なリニアフィード
バックシフトレジスタよりなる第１の乱数生成回路及び
前記メモリに保存された結合係数の値をこの第１の乱数
生成回路により生成された乱数と比較してパルス列で表
現された結合係数を出力する比較器を備えた数値・パル
ス列変換装置と、ニューロンに対する入力信号パルス列
と結合係数パルス列との論理積を演算して重み付けを行
う論理積回路とを前記各シナプスに設け、結合係数パル
ス列により重み付けされた入力信号パルス列について全
シナプス分の論理和を前記結合係数の符号別に演算する
論理和回路と、“０．５”なるパルス密度のオフセット
入力パルス列を生成するオフセット信号生成回路と、前
記結合係数の符号別に演算された論理和結果同士が一致
しているときには前記オフセット入力パルス列を出力し
不一致のときには正の符号を持つ結合係数の論理和結果
なるパルス列を出力する出力選択回路と、リニアフィー
ドバックシフトレジスタよりなり生成された乱数を前記
オフセット信号生成回路によるオフセット入力パルス列
生成及び前記第１の乱数生成回路の生成多項式選択用に
出力する第２の乱数生成回路とを各ニューロンに設けた
ことを特徴とする神経回路模倣素子。 - 【請求項８】 パルス列で表現された信号を信号伝達手
段として各ニューロン間をシナプスにより結合した神経
回路模倣素子において、興奮性と抑制性とを示す２種類
の結合係数の値を２進数で保存するメモリと、前記結合
係数の興奮性／抑制性に対応した正負の符号を保存する
符号メモリと、生成多項式の選択自在なリニアフィード
バックシフトレジスタよりなる第１の乱数生成回路及び
前記メモリに保存された結合係数の値をこの第１の乱数
生成回路により生成された乱数と比較してパルス列で表
現された結合係数を出力する比較器を備えた数値・パル
ス列変換装置と、ニューロンに対する入力信号パルス列
と結合係数パルス列との論理積を演算して重み付けを行
う論理積回路とを前記各シナプスに設け、結合係数パル
ス列により重み付けされた入力信号パルス列について全
シナプス分の論理和を前記結合係数の符号別に演算する
論理和回路と、“０．５”なるパルス密度のオフセット
入力パルス列を生成するオフセット信号生成回路と、前
記結合係数の符号別に演算された論理和結果同士が一致
しているときには前記オフセット入力パルス列を出力し
不一致のときには正の符号を持つ結合係数の論理和結果
なるパルス列を出力する出力選択回路と、リニアフィー
ドバックシフトレジスタよりなる第２の乱数生成回路
と、この第２の乱数生成回路からの乱数出力を入力とし
て予め定められたビットを用いて前記オフセット信号生
成回路によるオフセット入力パルス列生成及び前記第１
の乱数生成回路の生成多項式選択用に出力するシフトレ
ジスタとを各ニューロンに設けたことを特徴とする神経
回路模倣素子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08463894A JP3463890B2 (ja) | 1994-04-22 | 1994-04-22 | 神経回路模倣素子 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08463894A JP3463890B2 (ja) | 1994-04-22 | 1994-04-22 | 神経回路模倣素子 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07296093A true JPH07296093A (ja) | 1995-11-10 |
| JP3463890B2 JP3463890B2 (ja) | 2003-11-05 |
Family
ID=13836240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08463894A Expired - Fee Related JP3463890B2 (ja) | 1994-04-22 | 1994-04-22 | 神経回路模倣素子 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3463890B2 (ja) |
-
1994
- 1994-04-22 JP JP08463894A patent/JP3463890B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP3463890B2 (ja) | 2003-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4620943B2 (ja) | 積和演算回路及びその方法 | |
| US5131073A (en) | Neuron unit and neuron unit network | |
| US5588090A (en) | Signal processing apparatus | |
| US5481646A (en) | Neuron unit and neuron unit network | |
| JP3463890B2 (ja) | 神経回路模倣素子 | |
| US5274747A (en) | Neuron unit for processing digital information | |
| JPH08123777A (ja) | 神経回路模倣素子 | |
| US5185851A (en) | Neuron unit and neuron unit network | |
| JPH05165987A (ja) | 信号処理装置 | |
| JP2549454B2 (ja) | 神経細胞模倣回路網及び神経細胞模倣ユニット | |
| JP3256553B2 (ja) | 信号処理装置の学習方法 | |
| JP2677656B2 (ja) | ニューロコンピュータの集中制御方式 | |
| JP3338713B2 (ja) | 信号処理装置 | |
| JP3276367B2 (ja) | 神経細胞回路網 | |
| JP2612640B2 (ja) | 信号処理回路、信号処理回路網、信号処理装置及び信号処理方法 | |
| JPH05217010A (ja) | 信号処理装置 | |
| JPH03268080A (ja) | 信号処理装置 | |
| JPH056351A (ja) | 信号処理装置 | |
| JPH05314290A (ja) | 信号処理装置 | |
| JPH0581229A (ja) | 信号処理回路網 | |
| JP3130913B2 (ja) | 信号処理装置 | |
| JP3255425B2 (ja) | 信号処理方法 | |
| JPH04318658A (ja) | 信号処理装置 | |
| JPH05135001A (ja) | 信号処理装置 | |
| JPH03268082A (ja) | 信号処理方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090822 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090822 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100822 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |