JPH04549A - 神経細胞模倣回路網及び神経細胞模倣ユニット - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、神経回路網を模倣したニューラルコンピュー
タ等の神経細胞模倣回路網に関する。

従来の技術 近年、文字認識や連想記憶、運動制御等の従来のノイマ
ン型コンピュータでは比較的困難な問題に対応するため
、生体の神経系を模倣し、並列処理や学習の可能なニュ
ーラルコンピュータの研究が行われ、様々なモデルが提
案されている。同時に、そのモデルをハードウェアで実
現するものも種々考えられている。その内、電気回路に
より実現したものの一例として、第１２図に示すような
ものがある。これは、特開昭６２−２９５１８８号公報
中に示されるもので、基本的には、Ｓ字形伝達関数を有
する複数の増幅器ｌと、各増幅器１の出力を他の層の増
幅器の入力に一点鎖線で示すように接続する抵抗性フィ
ードバック回路網２とが設けられている。各増幅器１の
入力側には接地されたコンデンサと接地された抵抗とに
よるＣＲ時定数回路３が個別に接続されている。そして
、入力電流Ｉ　ＩＴ　　Ｉｌｌ〜、■、が各増幅器ｌの
入力に供給され、出力はこれらの増幅器ｌの出力電圧の
集合から得られる。

ここに、神経細胞間の結合の強さは、各細胞間の入出カ
ラインを結ぶ抵抗４　（抵抗性フィードバック回路網２
中の格子点）の抵抗値で表され、神経細胞応答関数は各
増幅器１の伝達関数で表される。また、神経細胞間の結
合には、周知のように興奮性と抑制性とがあり数学的に
は結合係数の正負符号により表される。しかし、回路上
の定数で正負を実現するのは困難であるので、ここでは
、増幅器１の出力を２つに分け、一方の出力を反転させ
ることにより、正負の２つの信号を生成し、これを適当
に選択することにより実現するようにしている。

また、第１３図は特開昭６２−２９５１８８号公報提案
内容を示し、第１２図のものを改良したものである。こ
れは、数学的解析に基づき回路を簡素化したものであり
、増幅器ｌに代えて単一の出力を持つ負利得増幅器５を
用い、抵抗性フィードバック回路網２に代えてクリップ
ドＴマトリックス回路６を用いて構成したものである。

何れにしてもこれらの回路は基本的にはアナログ方式の
ものである。即ち、入出力量を電流値や電圧値で表し、
内部の演算処理も全てアナログ的に行うものである。

行わせるので、動作の安定性は重要である。また、例え
ば抵抗値等の回路定数の変更も容易ではなく、汎用性に
乏しい。

このようなことから、神経回路網をデジタル方式により
表現したものが、例えば電子情報通信学会技術研究報告
、ＴＣＤ８８−１３０中の「完全ディジタルニューロチ
ップの構成Ｊにより報告されている。しかし、これは従
来のアナログ方式のものをエミュレートしたもので、ア
ップダウンカウンタを用いる等、回路がやや複雑なもの
となっている。

発明が解決しようとする課題 ところが、アナログ方式の場合、例えば増幅器等の温度
特性や電源投入後のドリフト等のため、精度よく安定さ
せて動作させるのは困難である。

特に、神経回路網の場合、増幅器の数は少なくとも数百
側程度必要であり、かつ、非線形な動作を課題を解決す
るための手段 請求項１記載の発明では、複数の神経細胞模倣ユニット
を備えてパルス密度によって定められた入力を同時に処
理する神経細胞模倣回路網において、前記各神経細胞模
倣ユニットが、複数の入力線と、各入力に対して個別に
設けられてパルス密度で定められた結合係数を記憶した
メモリと、これらのメモリの内容を順次読出す読出し手
段と、読出された前記メモリの内容と入力内容とを演算
処理してパルス密度によって定められた出力として出力
する演算処理手段とを有し、ある神経細胞模倣ユニット
の出力を自己又は他の神経細胞模倣ユニットの入力に結
合させ、特に、演算処理手段については請求項２記載の
発明のように論理演算処理手段により構成した。

具体的には、請求項３記載の発明では、各神経細胞模倣
ユニットを、２つのグループに分けられた複数の入力線
と、各入力に対して個別に設けられてパルス密度で定め
られた結合係数を記憶した少なくとも２ビット以上のメ
モリと、これらのメモリの内容を順次読出す読出し手段
と、読出された前記メモリの内容と入力内容との論理積
を順次計算する論理積手段と、複数の論理積の結果同士
の論理和を前記グループ別に順次計算する論理和手段と
、グループ別の演算結果同士を論理演算処理して出力す
る論理演算手段とにより形成した。

請求項４記載の発明では、各神経細胞模倣ユニットを、
複数の入力線と、各入力に対して個別に設けられてパル
ス密度で定められた結合係数とグループ分け用の１ビッ
ト情報とを記憶した少なくとも３ビット以上のメモリと
、前記グループ分け用の１ビット情報を除いてこれらの
メモリの内容を順次読出す読出し手段と、読出された前
記メモリの内容と入力内容との論理積を順次計算する論
理積手段と、複数の論理積の結果同士の論理和を前記メ
モリ中の前記グループ分け用の１ビット情報により分け
られるグループ別に順次計算する論理和手段と、グルー
プ別の演算結果同士を論理演算処理して出力する論理演
算手段とにより形成した。

さらに、請求項５記載の発明では、各神経細胞模倣ユニ
ットを、少なくとも複数の入力線と、各入力に対して個
別に２組以上設けられてパルス密度で定められた結合係
数を記憶したメモリと、これらのメモリの内容を順次読
出す読出し手段と、読出された前記メモリの内容と入力
内容との論理積を順次計算する論理積手段と、複数の論
理積の結果同士の論理和を前記メモリの組別に分けられ
るグループ別に順次計算する論理和手段と、各グループ
の演算結果同士を論理演算処理して出力する論理演算手
段とにより形成した。

作用 まず、パルス密度で定められてメモリに記憶された結合
係数を順次読出し、パルス密度で定められた入力との演
算処理、例えば論理積等の論理演算処理を演算処理手段
により行う。この演算結果、例えば論理積結果が、近似
的にアナログ方式の結合係数と同様の機能を有すること
になり、実際の神経細胞模倣ユニットへの実際の入力と
なる。ここに、１つの神経細胞模倣ユニットは多入力で
あるので、演算結果、即ち論理積結果も複数あるため、
演算処理手段中の論理和手段によりさらに演算処理を行
い、論理和をとってまとめる。この論理和を求める処理
は、アナログ計算における和の計算及び非線形関数処理
部分に相当する。

このような処理において、結合には興奮性結合と抑制性
結合との２種類があるため、結合係数の工員により２つ
のグループに分けて処理する。ここに、請求項３記載の
発明では、入力が何れの結合であるかにより予め２つの
グループに分けてグループ毎に論理和を求めるまでの処
理が行われる。

一方、請求項４記載の発明では、入力段階ではグループ
分けせずに、２種類の結合を表す１ビットの情報用にメ
モリが別個に用意され、このメモリ内容に応じて論理積
結果を２つのグループに振り分けて各々のグループの論
理和を求める処理が行われる。また、請求項５記載の発
明では、各入力毎に興奮性結合と抑制性結合との結合係
数を記憶した２組以上のメモリが用意され、組別に分け
られたグループ別に論理和を求めるまでの処理が行なわ
れる。

そして、最終的には、演算処理手段によりパルス密度に
よって定められた出力として出力させる。

具体的には、２つのグループの論理和結果について、興
奮性グループの論理和結果のみが「１」のときに「１」
を出力し、抑制性グループの論理和結果のみが「ｌ」の
ときに「０」を出力するように論理演算する。両グルー
プともｒｌＪのとき、或いは、両グループとも「０］の
ときは、出力は「ＩＪ、「Ｏ」の何れでもよいし、確率
１／２程度で「ｌ」を出力するようにしてもよい。例え
ば、両グループともｒＱＪ又は「１」のときはｒＱＪを
出力する場合、２種類の結合の論理和のうち、一方は否
定出力に反転させて、論理演算手段により両者の論理積
をとることにより、興奮性結合と抑制性結合とを加味し
た結果が得られることになる。また、両グループとも「
０」又は「１」のときは「１」を出力する場合、２種類
の結合の論理和のうち、一方は否定出力に反転させて、
論理演算手段により両者の論理和をとることにより、興
奮性結合と抑制性結合とを加味した結果が得られること
になる。

このように全てデジタル的な処理、特に、パルス密度表
現による信号処理によるため、増幅器の温度特性等の影
響を受ける等のアナログ方式のような不都合は生じない
。また、結合係数についてもメモリ上に用意されるので
、抵抗等による場合と異なり、書換え可能であり、汎用
性を持つものとなる。このようにして、動作が安定し、
論理回路等による簡略な回路構成にして、計算速度の極
めて速い神経細胞模倣ユニット数が数千のオーダとなる
神経回路網を実現できることになる。

実施例 本発明の一実施例を第１図ないし第１１図に基づいて説
明する。第１図ないし第３図は何れも１番目のある１つ
の神経細胞模倣ユニット１１の単体構成を示し、第１図
は請求項３記載の発明に相当する神経細胞模倣ユニット
、第２図は請求項４記載の発明に相当する神経細胞模倣
ユニット例を示し、第３図は請求項５記載の発明に相当
する神経細胞模倣ユニット例を示す。

第１図の場合、神経細胞模倣ユニット１１は、興奮性と
抑制性とで２つのグループａ、ｂに分けられた複数の入
力線１２ａ、、１２ｂｚと、入力に対して個別をこ設け
られて結合係数ＴＩＪを記憶した少なくとも２ビット以
上のメモリとしてのシフトレジスタ１３，１ｊ、１３ｂ
７と、これらのシフトレジスタ１３に記憶された内容（
結合係数）を同期クロックに同期して順次読出すための
読出し手段（図示せず）と、読出されたシフトレジスタ
１３の内容と入力内容との論理積を順次計算する論理積
手段としてのＡＮＤゲート１４　ａ、、　　Ｉ　４　ｂ
、と、複数の論理積の結果同士の論理和をグループ別に
順次計算する論理和手段としての２つのＯＲゲート１５
ａ、１５ｂと、一方のグループについてのＯＲゲート１
５ａの論理和出力のインバータ１６による否定と他方の
グループについてのＯＲゲート１５ｂの論理和出力との
論理積を順次計算するＡＮＤゲート１７とにより形成さ
れている。ここに、インバータ１６とＡＮＤゲート１７
とにより論理演算手段１８が構成されている。また、Ａ
ＮＤゲート１４、ＯＲゲート１５、論理演算手段１８な
る論理回路により請求項１記載の発明にいう演算処理手
段１９が構成されている。

第２図の場合、神経細胞模倣ユニットｌ】は、複数の入
力線２０．、と、各入力に対して個別に設けられて結合
係数Ｔ１１とグループ分け用の１ビット情報とを記憶し
た少なくとも３ビット以上のメモリとしてのシフトレジ
スタ２１．、及び１ビットメモリ２２１１と、グループ
分け用のメモリ２２．。

の１ビット情報を除いてこれらのシフト１ノジスタ２ｊ
１．の内容を順次読出す読出し手段（図示せず）と、読
出されたシフトレジスタ２１．、の内容と入力内容との
論理積を順次計算する論理積手段としてのＡＮＤゲート
２３．、と、メモリ２２．１中の１ビット情報に応じて
入力を興奮性と抑制性の２グループに分けるＡＮＤゲー
ト２４ａ＋、、２４ｂ、。

（一方のグループについてはインバータ２５ｂ＋Ｊが介
在）による切換え論理回路と、複数の論理積の結果同士
の論理和をグループ別に順次計算する論理和手段として
の２つのＯＲゲート１５ａ、１５ｂと、一方のグループ
についてのＯＲゲート１５ａの論理和出力のインバータ
１６による否定と他方のグループについてのＯＲゲート
１５ｂの論理和出力との論理積を順次計算するＡＮＤゲ
ート１７とにより形成されている。この場合も、ＡＮＤ
ゲート２３，２４、インバータ２５、ＯＲゲート１５、
論理演算手段１８なる論理回路により請求項１記載の発
明にいう演算処理手段２７が構成されている。

第３図の場合、神経細胞模倣ユニット１１は、複数の入
力線２８．Ｊと、各入力に対して個別に２組ずつ設けら
れて結合係数ＴＩＪを記憶したメモリとしてのシフトレ
ジスタ２９ａ、１，２９ｂｌＪと、これらのシフトレジ
スタ２９ａ＋７．２９　ｂｚの内容を順次読出す読出し
手段（図示せず）と、読出されたシフトレジスタ２９　
ａ　＋４．　２９　ｂ　ＩＪの内容と入力内容との論理
積を順次計算する論理積手段としてのＡＮＤゲート３０
ａ、ｉ、３０ｂ、ｊと、これらのＡＮＤゲート３０ａ１
１，３０ｂｌＪ出力なる複数の論理積の結果同士の論理
和を組別に分けられたグループ別に順次計算する論理和
手段としての２つのＯＲゲート１５ａ、１５ｂと、一方
のグループについてのＯＲゲート１５ａの論理和出力の
インバータ１６による否定と他方のグループについての
ＯＲゲート１５ｂの論理和出力との論理積を順次計算す
るＡＮＤゲート１７とにより形成されている。この場合
も、ＡＮＤゲート３０、ＯＲゲート１５、論理演算手段
１８なる論理回路により請求項１記載の発明にいう演算
処理手段３１が構成されている。即ち、１つの入力に対
してシフトレジスタ２９　ａ１４．　２９　ｂ＋７によ
り結合係数が２組用意されている。この場合、シフトレ
ジスタ２９ａ、Ｊ、２９ｂｚの内容は異なっていてもよ
いが、本実施例では、一方のシフトレジスタ２９ａ、Ｊ
には興奮性の結合係数Ｔｌｊが格納され、他方のシフト
レジスタ２９ｂＩＪには抑制性の結合係数ＴＩ、が格納
されている。

なお、これらの構成において、論理演算手段１８はいず
れの場合も、第４図に示すようにＡＮＤゲート１７に代
えて、ＯＲゲート３２を用いた構成とし、最終段で論理
和をとるようにしてもよい。

何れの回路構成による場合も、本実施例方式では、入出
力信号は全て２値化され、かつ、同期化されたものが用
いられる。例えば、「１」と「０」との２値とする。あ
る入力Ｊの信号の量は、パルス密度で表現するものとし
、例えばある一定期間内にある「１」の状態数で表わさ
れる。第５図は同期クロックと０．５なる情報を表す信
号を示した図であり、同期パルス１０個中に入力信号と
しては「１」が５個、「０」が５個存在する。この時、
「１」と「０」との並び方はランダムであることが望ま
しい 一方、結合係数Ｔ１．も同様にパルス密度で表現し、ｒ
ＱＪと「１」とのビット列として予めメモリ　（シフト
レジスタ１３，１９．２９）上に用意しておく。例えば
、［００１０１０１１０Ｊは０．５を表すが、この時、
ｒＯＪと「１」の並び方は入力と同様にランダムである
方が望ましい（具体的にどのように決めるかは後述する
）。このような２値のビット列を同期クロックに応じて
メモリ　（シフトレジスタ１３，１９．２９）上より順
次読出し、ＡＮＤゲート１４．２３又は３゜により、入
力パルス列との論理積をとる。これにより、あるｉ番目
の神経細胞である神経細胞模倣ユニット１１への入力を
定義する。即ち、上側を用いて説明すると、第６図に示
すように、入力信号が［１０１０ｏＯ１０１１」で入力
した時、これと同期してメモリ上より結合係数ＴＩＪの
ビット列ｒｌｏｏ１０１０１１０Ｊを呼出し、順次論理
積をとることにより、結果Ｎ　０００００００１０Ｊが
得られ、これは入力ｖｌＪが結合係数Ｔ１１により変換
されパルス密度が０．２となることを示している。この
部分け近似的には、出力のパルス密度が、入力信号のパ
ルス密度と結合係数ＴＩＪのパルス密度との積となり、
アナログ方式の結合係数と同様の機能を有することを意
味する。これは、信号の列が長い程、また、「１」と「
０」の並び方がランダムである程、積に近い機能となる
。なお、入力パルス列に比べて結合係数Ｔ、Ｊのパルス
列が短く読出すべきデータがなくなってしまった場合に
は、再びデータの先頭に戻って、読出しを繰返すように
すればよい。

ところで、１つの神経細胞模倣ユニット１１は多入力で
あるので、上述した入力信号と結合係数Ｔ１．との論理
積も多数あるので、次にＯＲゲート１５によりこれらの
論理和をとる。この時、各入力は同期化されているので
、例えば１番目のデータがｒｌ　０００００００１０Ｊ
　、２番目のデータがｒｏ　１１０１００１００Ｊ　（
１）”ＪＡ合、両者ノ論理和は第７図に示すようにＮ　
１１０１００１１０Ｊとなる。これを多入力同時に計算
し、出力とする。

この部分の処理は、アナログ計算における和の計算及び
非線形関数（シグモイド関数）の部分の処理に対応する
。パルス密度が低い場合、その論理和をとったもののパ
ルス密度は各々のパルス密度の和に近似的に一致する。

パルス密度が高くなるにつれて、論理和の出力はだんだ
ん飽和してくるので、パルス密度の和とは結果が一致せ
ず、非線形性が出てくる。論理和の場合、パルス密度は
１より大きくなることはなく、かつ、０より小さくなる
こともなく、また、単調増加でありシグモイド関数と近
似的に同様となる。

また、結合には興奮性と抑制性とがあり、数値計算の場
合には、結合係数の正負符号で表し、アナログ回路の場
合であれば結合係数Ｔ１４が負となる場合（抑制性結合
）には反転増幅器を用いて出力を反転させＴｌｊに相当
する抵抗値で他の神経細胞に結合させるようにしている
。この点、本実施例のデジタル方式にあっては、まず、
結合係数ＴＩＪの正負により各結合を興奮性結合と抑制
性結合との２つのグループに分け、次いで、各々入力信
号と結合係数のパルス列との論理和をとる部分までの計
算をグループ毎に行い、その後で、興奮性結合グループ
の出力が「１」で、抑制性結合グループの出力が「０」
の時のみ神経細胞模倣ユニット１１から出力「１」を出
すようにすればよい。

この機能を実現するためには、第８図に示すように、抑
制性結合グループの出力の否定と興奮性結合グループの
出力との論理積をとればよい。これによりデジタル方式
にあっても興奮性結合と抑制性結合との両方を実現でき
る。図では、メモリとしてシフトレジスタ１３．２１又
は２９を用いているが、市販のメモリとコントローラと
を組合せたものでもよい。

この時、入力線１２ａ、、１２ｂ、なる入力段階で予め
興奮性結合と抑制性結合とを２つのグループに分け、ど
の入力が何れの結合であるかを予め固定してグループ毎
に論理積計算、論理和計算まで行うようにしたのが第１
図方式である。また、興奮性結合、抑制性結合を表す１
ビット情報を別にメモリ２２に用意しくどちらの結合が
「Ｏ」でも「ＩＪでもよい）、このメモリ２２の内容に
応じて切換え可能に構成したのが第２図方式である。

この切換え機能については、例えば第２図中に示すよう
にインバータ２５、ＡＮＤゲート２４等による論理回路
により簡単に実現できる他、リレー等を用いて構成する
こともできる。さらに、各入力毎に興奮性結合、抑制性
結合を示す結合係数を格納するためのメモリを２組ずつ
用意しておくようにしたのが第３図方式である。

なお、第４図に示したようにＯＲゲート３２を用いた論
理演算手段１８とし、両グループとも「０」又は「１」
のときは「１」を出力するようにさせてもよい。

上述した説明は、神経細胞模倣ユニット１１単体につい
てであるが、実際に機能させるためには複数の神経細胞
模倣ユニット１１を設けてネットワークとする必要があ
る。このためには、例えば第９図に示すように階層型ネ
ットワーク摺造とし、ある神経細胞模倣ユニット１１の
出力を次層の各神経細胞模倣ユニット１１の入力に結合
させる。

そしてネットワーク全体を同期させておけば、次々と同
じ機能で計算することが可能となる。

ところで、このようなネットワークにおける結合係数Ｔ
ｌｊの求め方について説明する。第１０図は従来数値計
算でよく用いられている神経細胞モデル（マッカロー、
ビッツモデル）であり、このモデルのネットワークを考
えパックプロパゲーション手法を適用すればよい。まず
、層の構成をデジタル回路と同じにしく層の数、各層の
ニューロンの数）、入力は０〜ｌのアナログ値とする。

結合係数は興奮性の場合「正」、抑制性の場合「負」と
し、第１０図に関する式 ％式％） を用いて計算する。これをネットワーク各層にっいて順
次計算を行い、最終出力を得る。結合係数は最初ランダ
ムに選んでおく。入力を与えると、何んらかの出力ｙ１
が得られるので、これを望ましい出力ｌ、と比較し、 △Ｔ、ｌ＝　ａ　Ｅ／　ａ　ＴＩＪ　　　　・・・・・
・・・・・・・・・・・・・・・・（２）なる式に基づ
いて結合係数ＴＩＪを求め直す。これを何回か繰返すう
ちに、やがである入力を与えた時に望ましい出力が得ら
れるようになる。この動作を予め計算機上で行い、結合
係数ＴＩ、を計算し、これをパルス密度に変換する。こ
の時、パルス列は前述し、たようにパルス間隔がランダ
ムな方が望ましい。アナログ値よりパルス列を求めるに
は、例えば、計算機内で乱数を発生させ、アナログ値と
の比較を行い、乱数の方が大きければ「１」、乱数の方
が小さければ「Ｏ」とし、この操作を何回か繰返すこと
により所望のパルス列が得られる。

このようにして得られたパルス列をそのままメモリ　（
シフトレジスタ１３．２］、２９）上に格納させる。

なお、結合係数Ｔ０．の求め力としては、次のようにし
てもよい。即ち、階層型ネットワークの場合、次式を用
いて結合係数Ｔ１．を決定する。このとき、当初には結
合係数Ｔ１．はランダムに決定しておく。

ａ、最終出力層において得られた出力と理想出力とから
、誤差信号δを計算する。

なお、誤差を数値で表現すると、一般には正負両方の値
をとり得るが、パルス密度ではそのような表現はできな
いので十成分を表す信号と、−成分を表す信号との２つ
を使って誤差信号を表現するものとする。即ち、出力を
ｙ、理想出力をｄとすると、 δ”−（ｙ　　ＸＯＲｄ）ＡＮＤ　　ｄδ−Ｅ（ｙ　　
ＸＯＲｄ）ＡＮＤ　　ｙ・・・・・・・・・・・・・・
・・・・・・・（３）ｂ、この誤差信号δから結合係数
ＴＩＪを新たに求める。即ち、 ΔＴ＋。＝δ＋Ｉｎｙ＋ △Ｔ−、、＝δ−１ｎｙ 新Ｔ　ｌｊ”　Ｔ　ＩＪ　Ｕ　ΔＴ”ｌＪ　ｎ　ΔＴ−
ＩＪ（Ｔ＝興奮性） 新Ｔ　＋　ｒ　＝　Ｔ　Ｉ　Ｊ　Ｕ　ΔＴ　−Ｉ　Ｊ　
ｎ　ΔＴ　”。

（Ｔ＝抑制性） ・・・・・・・・・・・・・・・・・・・・・（４）ｃ
、ａの誤差信号から１つ前の層での計算に用いる誤差信
号を求める。

Ｇ　Ｐ　＋＝　８　”ｌ（”ＩＴｚ、　ＧＭ＋＝　８−
＋ｎＴ１１（Ｔ＝興奮性） Ｇ　Ｐ　＋　＝　８−　ＩｎＴ　ｌ　、ｌ　、　Ｇ　Ｍ
　＋　＝　８　”　ｌｎ　Ｔ　＋４（Ｔ＝抑制性） ・・・・・・・・・・・・・・・・・・・・・（５）ｄ
、１つ前の層で誤差信号を求める。

δ”、＝Ｕ　　ＧＰｋ δ−、＝ｔＪ　　ＧＭ。

・・・・・・（６） ｅ、ｂ、ｃと同様の計算をする。

ｆ、さらに１つ前の層でｄ、ｅの計算をし、最初の層ま
で同じ計算を繰返す。

このような計算を、出力ｙが理想出力ｄになるまで何度
も繰返し、最終的に結合係数ＴＩＪを求める。これを計
算機上で求め、得られたパルス列をそのままメモリ（シ
フトレジスタ１３，２１．２９）上に格納させる。

一方、入力データは一般にアナログ値であることが多い
ので、これをパルス列に変換するには、上記の場合と同
様に乱数発生機により乱数を発生させ、これと入力デー
タとを比較し大小判定により「１」又はｒＱＪを発生さ
せれば所望のものが得られる。また、出力もパルス列に
て出力されるが、これはカウンタ等を用いればパルス密
度に相当する値を求めることができろ。また、用途によ
ってはパルス列出力のまま用いるようにしてもよい。

本実施例のように信号をパルス密度により表現し処理す
る方式は、実際の回路のみならず、計算機上でシミュレ
ートする場合にも有用である。即ち、計算機上では演算
が直列的に行われるが、アナログ値を用いて計算させる
のに比べ、ｒＱＪ「】」の２値の論理演算のみであるの
で、計算速度は著しく向上するものとなる。一般に、実
数値の四則演算は、１回の計算に多くのマシンサイクル
を必要とするが、本実施例のような論理演算では少なく
て済む。また、論理演算のみであると高速処理向けの低
水準言語が使用しやすいものとなる利点も併せ持つ。

ところで、第２図の神経細胞模倣ユニットＩＩ構成例に
よる具体例を説明する。まず、各入力に対する結合係数
には１２８ビット分のシフトレジスタ２１を用いる。中
身はローテションさせて用いるものとする。さらに、興
奮性、抑制性を区別するために各入力に対し１ビット分
のメモリ２２を持ち、ｒｌＪの時に抑制性、「（川（″
）時に興奮性とした。このようなユニット構成のものを
、第９図に示すようにネッＩ・ワーク＋１４成した、こ
こでは、３層構造であり、図中、入力側の第１層は２５
６個、中間の第２層は４個、出力側の第３層は５個の神
経細胞模倣ユニット１１からなる。このような３層構造
において、第１，２層間、第２゜３層間は、ユニット同
士の出入力が全て結合されている。

このようなネットワークに対し、本具体例では、手書き
文字を入力し文字認識を行わせたものである。このため
の結合係数（シフトレジスタ２１の内容）は、コンピュ
ータシミュレーションにより次のように求めたゆまず、
第１１図に示すような文字をスキャナで読取り、１６Ｘ
１６のメツシュに分け、文字部分のあるメツシュをパル
ス密度［ＩＪ、ないメツシュをパルス密度「０」とした
。

この２５６個のデータをネットワークに入力させ、出力
は５個ある第、３層の神経細胞模倣ユニット１１の出力
中で一番出力の大きい出力のものの位置が、認識結果と
なる。ようにした。そのため、［ｌＪ〜ｒ５）までの数
字を入力した時、その数字に対応する番号の出力が一番
大きくなるように学習させた。具体的には、各結合係数
、興奮性結合、抑制性結合の区別を、次の手順により求
めた。まず、本実施例と同じネットワーク構成、即ち、
第１゜２．３層が各々２５６個、４個、５個のユニット
からなるネットワークを計算機シミュレーション上で用
意し、前述した場合と同様な入力信号を入力させる。最
初は、各結合係数をランダムにしておくと、出力結果は
必ずしも所望のものとはならない。そこで、前述した（
２）式を用いて各結合係数を新たに求め直し、これを何
回か繰返すことにより、所望の出力がイ）られるように
する。このように求めた結合係数の絶対値を、前述した
手順でパルス密度に変換し、結果をシフトレジスタ２１
に書込んだ。また、結合係数の正負が興奮性、抑制性の
区別を表すので、これをメモリ２２に書込んだ。ここで
は、入ツノが「０」かｒｌＪであるので、入力パルス列
は常にＬレベル、又はＦルーベルなる単純なものであり
、前述したような乱数発生機は特に必要ない。また、第
３層からの最終出力は、トランジスタを介してＬＥＤと
結び、■、レベル出力の時には■、ＥＤが消灯、トＩレ
ベル出ツノの時には点灯させるようにした。また、同期
クロックの周波数は］０ＯＯｋＨｚとしたので、パルス
密度に応じて、人間の目にはＬ　Ｅ　ｒ）の明るさが変
ることになり、一番明るいＬＥＤ部分が答えとなる。

計算機シミュレーションで十分に学習させた文字に対し
て、この回路により認識を行わせた結果、計算機シミュ
レーションと同様の結果が得られたものである。

なお、異なる具体例として、第３図構成のもので、第９
図に示すように３層構造にネットワーク構成し、入力側
の第１層は２５６個、中間の第２層は２０個、出力側の
第３層は５個の神経細胞模倣ユニットとし、第１１図に
示すような文字をスキャナで読取り、同様にコンピュー
タシミュレーション学習して結合係数を求め、シフトレ
ジスタ２９に書込んだ。ここに、各結合係数には興奮性
、抑制性があるので、それに応じて興奮性のものはは２
組の内、シフトレジスタ２９ａ側にのみ書込み、抑制性
のものはシフトレジスタ２９ｂ側にのみ書込むようにし
た。このような回路により認識を行わせた結果も、計算
機シミュレーションと同様の結果が得られたものである
。

発明の効果 本発明は、上述したように構成したので、全てデジタル
的な処理によるため、アナログ方式のように増幅器の温
度特性等の影響を受けるといった問題がなく、安定した
動作を行わせることができ、また、結合係数についても
メモリ上に用意されているので、抵抗値等による場合と
異なり、書換え可能であり、汎用性を持たせることがで
き、また、論理細路等により簡略に回路構成することが
でき、神経細胞模倣ユニット数が数千のオーダとなる神
経回路網を実現することができ、特に、パルス密度表現
による信号を扱うため、回路機能を計算機上でシミュレ
ートする時も、単純２値による処理のため、計算速度が
速く、高速計算向きの低水準言語にも適したものとなる
。

【図面の簡単な説明】

第１図ないし第１１図は本発明の〜実施例を示すもので
、第１図は請求項３記載の発明のユニット構成を示すブ
ロック図、第２図は請求項４記載の発明のユニット構成
を示すブロック図、第３図は請求項５記載の発明のユニ
ット構成を示すブロック図、第４図は変形例を示すブロ
ック図、第５図ないし第８図は動作を示すパルス列のタ
イミングチャート、第９図はネットワーク構成を示す概
念図、第１０図は神経細胞モデルの模式図、第１１図は
説明図、第１２図及び第１３図は従来例を示す回路図で
ある。 １１・・・神経細胞模倣ユニット、１２，２０，２８・
・・入力線、１３，２１，２２．２９・・・メモリ、１
４．２３．３０・・・論理積手段、１５・・・論理和手
段、１訃・・論理演算手段、ｌ　９．　２７．３１用論
理演算処理手段 出　願　人　　　株式会社　　　リ　コ図 」 は 図 ｍ、　　　、Ｊ ３５図 ３６　図 ３７図 御名 昆

Claims (1)

1. 【特許請求の範囲】 １、複数の神経細胞模倣ユニットを備えてパルス密度に
   よって定められた入力を同時に処理する神経細胞模倣回
   路網において、前記各神経細胞模倣ユニットが、複数の
   入力線と、各入力に対して個別に設けられてパルス密度
   で定められた結合係数を記憶したメモリと、これらのメ
   モリの内容を順次読出す読出し手段と、読出された前記
   メモリの内容と入力内容とを演算処理してパルス密度に
   よって定められた出力として出力する演算処理手段とを
   有し、ある神経細胞模倣ユニットの出力を自己又は他の
   神経細胞模倣ユニットの入力に結合させたことを特徴と
   する神経細胞模倣回路網。 ２、演算処理手段を論理演算処理手段としたことを特徴
   とする請求項１記載の神経細胞模倣回路網。 ３、複数の神経細胞模倣ユニットを備えてパルス密度に
   よって定められた入力を同時に処理する神経細胞模倣回
   路網において、前記各神経細胞模倣ユニットを、２つの
   グループに分けられた複数の入力線と、各入力に対して
   個別に設けられてパルス密度で定められた結合係数を記
   憶した少なくとも２ビット以上のメモリと、これらのメ
   モリの内容を順次読出す読出し手段と、読出された前記
   メモリの内容と入力内容との論理積を順次計算する論理
   積手段と、複数の論理積の結果同士の論理和を前記グル
   ープ別に順次計算する論理和手段と、グループ別の演算
   結果同士を論理演算処理して出力する論理演算手段とに
   より形成し、ある神経細胞模倣ユニットの出力を自己又
   は他の神経細胞模倣ユニットの入力に結合させたことを
   特徴とする神経細胞模倣回路網。 ４、複数の神経細胞模倣ユニットを備えてパルス密度に
   よって定められた入力を同時に処理する神経細胞模倣回
   路網において、前記各神経細胞模倣ユニットを、複数の
   入力線と、各入力に対して個別に設けられてパルス密度
   で定められた結合係数とグループ分け用の１ビット情報
   とを記憶した少なくとも３ビット以上のメモリと、前記
   グループ分け用の１ビット情報を除いてこれらのメモリ
   の内容を順次読出す読出し手段と、読出された前記メモ
   リの内容と入力内容との論理積を順次計算する論理積手
   段と、複数の論理積の結果同士の論理和を前記メモリ中
   の前記グループ分け用の１ビット情報により分けられる
   グループ別に順次計算する論理和手段と、グループ別の
   演算結果同士を論理演算処理して出力する論理演算手段
   とにより形成し、ある神経細胞模倣ユニットの出力を自
   己又は他の神経細胞模倣ユニットの入力に結合させたこ
   とを特徴とする神経細胞模倣回路網。 ５、複数の神経細胞模倣ユニットを備えてパルス密度に
   よって定められた入力を同時に処理する神経細胞模倣回
   路網において、前記各神経細胞模倣ユニットを、少なく
   とも複数の入力線と、各入力に対して個別に２組以上設
   けられてパルス密度で定められた結合係数を記憶したメ
   モリと、これらのメモリの内容を順次読出す読出し手段
   と、読出された前記メモリの内容と入力内容との論理積
   を順次計算する論理積手段と、複数の論理積の結果同士
   の論理和を前記メモリの組別に分けられるグループ別に
   順次計算する論理和手段と、グループ別の演算結果同士
   を論理演算処理して出力する論理演算手段とにより形成
   し、ある神経細胞模倣ユニットの出力を自己又は他の神
   経細胞模倣ユニットの入力に結合させたことを特徴とす
   る神経細胞模倣回路網。