JPH0567985B2

JPH0567985B2 -

Info

Publication number: JPH0567985B2
Application number: JP1794788A
Authority: JP
Inventors: Kazuo Nishimura
Original assignee: Tokyo Shibaura Electric Co Ltd
Current assignee: Toshiba Corp
Priority date: 1988-01-28
Filing date: 1988-01-28
Publication date: 1993-09-28
Also published as: JPH01193982A

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）本発明は、生体の細胞群を構成する複数の細胞
要素とそれらの結合を模擬し、様々な演算を行う
神経回路網演算装置に関するものである。

（従来の技術）近年、生体の神経細胞あるいは脳を模倣した神
経網の工学モデルを用いてメモリを実現したり、
様々な演算を行う装置が脚光を浴びている。この
ような装置はニユーラルネツト（以下、神経回路
網演算装置という）ともいわれている。

上述した神経回路網演算装置は、ｉ番目の細胞
に着目すると、これに対する入力は、 Hi＝〓^j Tij Vj＋Ii ……(1) Vj；他の神経細胞（ニユーロン）の出力。

Tij；細胞ｊからｉへの結合の強さ。

Ii；これらの他の細胞の影響とは別に、外部入力
として細胞ｉへ与えられる刺激。

と定義される。

そして、細胞ｉは入力Hiに対して反応するが、
例えば、入力Hiがあるしきい値値Uiを超えた時
の細胞ｉの出力ViはVi¹となり、しきい値Uiを超
えない時の細胞ｉの出力ViはVi⁰となるような入
出力特性が考えられている。

細胞ｉの入出力特性としては、入出力を連続的
な関数で表したり、細胞の反応遅れ時間を考慮し
たりする場合もある。

そして、例えばBiological Cybernetics 52.141
−152 1985.に示されているように、 ci（dui／dt）＋ui／Ri＝〓^j Tij Vj＋Ii……(2) Vi＝gi（ui） ……(3) として細胞の入出力特性を表し、これを実現する
ために第７図に示すような回路が提案されてい
る。

同図に示すような回路では、外部入力Iiは電流
源で与えられ、細胞間インタラクシヨンを表す
Tijは抵抗器によつて構成されている。

このとき、抵抗器の抵抗値をRijとすれば、Tij
の大きさは、｜Tij｜＝１／Rij ……(4) となるように設定されている。

しかし、抵抗器のみでは負のTijを作ることが
できないために、この回路ではVijと同時に−Vij
も反転増幅器によつて構成され、これにより等価
的に負のTijを得ている。また、遅れ特性は、抵
抗riとコンデンサci並列回路によつて得ている。

このとき、上記の(2)式におけるRiは、次式で
与えられている。

１／Ri＝〓^j （１／Rij） ……(5) また、上記の(3)式で与えられる関数は、外部か
らの影響の総和によつて得られる細胞の内部状態
uiと出力Viとの関係を与えるものであり、種々
の関数形が考えられるが、例えば前述のしきい値
特性に類似した特性として、 Vi＝ｇ（ui）＝（１＋tanh（ui／u₀））／２ ……(6) u₀；関数の非線形性の程度を変えるためのパラメ
ータ。

が提案されており、これは第８図に示すような特
性となる。

そして、従来の研究によれば、このような神経
回路網演算装置によつて複数の町をセールスマン
が巡回する場合に、最短の経路を見いだすといつ
た最適化問題を効率良く解けるとされている。

（発明が解決しようとする課題）しかしながら、上記従来の神経回路網演算装置
では、原理的に種々の問題に適用されうるが、そ
のためには上記の(1)式あるいは(2)式のTij、すな
わち、細胞間の影響を示す極めて多数の係数を問
題に合せて適切な値に設定することが前提となつ
ている。

従つて、第７図に示した神経回路網演算装置で
は、抵抗器によつて実現されているので、Tijの
値を決定するためには、膨大な数の抵抗器の値を
設定することになり、これによりその値を設定す
る労力あるいは時間が極めて膨大となるので、問
題によつては事実上不可能となる場合も考えられ
る。

また、これらの係数Tijは扱う問題によつて変
えなければならないが、アナログ回路でこれを可
能にするために、上記の膨大な数の抵抗器を可変
抵抗にしなければならない。このため、これらの
多数の可変抵抗器を安定した形で調整すること
は、その数が膨大であることを考えると手動では
極めて困難である。また、コンピユータ等の電子
機器装置により自動設定することを考えた場合に
は、一つの可変抵抗の構造が複雑となるばかりか
コストアツプを招いてしまうという問題がある。

さらには、アナログ回路の一般的な欠点の一つ
として、例えば一つの細胞に多くの入力が集まつ
ている場合には、増幅器の飽和などを考慮しなけ
ればならないという問題がある。

本発明は、上述した課題に鑑み、細胞要素間の
結合の有無やその度合を容易に制御することがで
き、かつ取り扱いうる信号のダイナミツクレンジ
を広くすることができる神経回路網演算装置を提
供しようとするものである。

［発明の構成］（課題を解決するための手段）本発明は、上記の目的を達成するために、生体
の細胞構造に類似する複数の細胞要素と各細胞要
素間の結合を生体の細胞構造の結合を模擬して
様々な演算を行う神経回路網演算装置において、
各細胞要素間の入出力の大きさをパルス密度に変
換するパルス密度変調手段と、各細胞要素の出力
パルス列を入力しそのパルス密度の総和に等しい
パルス密度に変換して出力するパルス加算調整手
段と、各細胞要素を接続する接続手段とを備えた
ことを特徴とする。

（作用）本発明では、各細胞要素間の入出力の大きさを
パルス密度に変換するパルス密度変調手段と、各
細胞要素の出力パルス列を入力しそのパルス密度
の総和に等しいパルス密度に変換して出力するパ
ルス加算調整手段と、各細胞要素を接続する接続
手段とを備えたので、細胞要素間の結合の有無や
その度合を容易に制御することができ、かつ取り
扱いうる信号のダイナミツクレンジを広くするこ
とができる。

（実施例）以下、本発明の実施例を図面を参照しながら詳
細に説明する。

第１図は、神経回路網演算装置の一実施例を示
す図である。

同図に示すように、神経回路網演算装置には、
細胞要素１，１…、各細胞要素１の入出力が接続
される接続回路網２が備えられている。

また、各細胞要素１には、他の細胞要素１の出
力信号であるパルス列を任意のパルス密度に変換
するパルス変換変調部３，３…、出力パルス列を
入力してそのパルス密度の総和に等しいパルス密
度に変換し、かつ必要な場合にはこの総和のパル
ス列に時間的な調整を加えて出力するパルス加算
調整部４，，４…、外部からの信号を取り入れる
外部信号入力部５，５…、信号のパルス密度と細
胞の最終的な出力信号のパルス密度との間に関数
関係を与える関数部６，６…が備えられている。

次に、上述した神経回路網演算装置の動作につ
いて説明する。

まず、各細胞要素１の出力が接続回路網２に接
続されており、結果的に、ある細胞要素の出力が
他の細胞要素の入力となるように接続されている
ために、各細胞要素１の出力信号の大きさは、単
位時間当りのパルス数、すなわちパルス密度によ
つて表される。また、各細胞要素１の出力信号が
正負の極性を持つ場合には、これに対応させてパ
ルスに極性を持たせることにより信号の極性を表
現する方式や、パルス密度にオフセツトを持た
せ、あるパルス密度を０と定義して、それ以上の
密度を正、それ以下の密度を負とすることができ
る。

この実施例では、信号とパルス密度との種々の
対応方向を包含するものである。

そして、細胞要素１の出力信号は他の細胞要素
１の各パルス密度変調部３に入力される。この
後、各パルス密度変調部３では、他の細胞からの
パルス密度の増幅あるいは分周が行われる。この
とき、例えば倍率３／２の場合には、入力パルス
２個当り３個のパルスが出力される。また、倍率
が−１／４の場合には、４個の入力パルスに対し
て極性の反転したパルス１個が出力されるように
パルス列が変調される。

次いで、各パルス加算調整部４により、各パル
ス密度変調部３の出力パルスと各外部信号入力部
５から入力されたパルス列を加算して、それぞれ
のパルス密度総和に等しい密度を持つパルス群が
発生される。

この後、関数部６は、そのパルス密度総和に等
しい密度ををmiとすると、この密度miと出力の
パルス密度niとの間に、 ni＝hi（mi） ……(7) なる関数関係を与える。

ここで、hiの形としては従来の神経回路のgiの
場合と同様に種々の形式が考えられるが、本実施
例ではあらゆるhiの形式が包含されている。

なお、１つの細胞要素１の出力は、他の細胞要
素１に数本並列にはいつていてもよい。また、各
関数部６は細胞要素１の入出力関係に非線形性が
要求されない場合には不要である。さらに、外部
入力を必要としない場合にのみ用いられる細胞要
素１では、各外部信号入力部５は不要である。

従つて、この実施例では、並列入力数、パルス
変調の倍率を変えることによつて、多様な結合を
作り出すことができ、これによりデイジタルゲー
ト回路群や、その多様な結合の設定、変更等の制
御がコンピユータ等の電子機器装置により容易と
なる。また、１つの細胞要素１に多数の入力が入
つた場合には、パルス密度が高くなつてしまう
が、現在のデイジタル技術では高密度のパルスを
作ることは容易であり、かつ、単位時間を長くす
れば計算速度の犠牲のもとに信号のダイナミツク
レンジをいくらでも高くすることができるので、
従来のアナログ回路のような飽和の問題もない。

第２図は、第１図の神経回路網演算装置の構成
を変えた他の実施例を示すものである。

なお、第１図に示した神経回路網演算装置の各
構成要素と同一のものには、同一符号を付して重
複する説明を省略する。

同図に示すように、神経回路網演算装置には、
細胞要素１，１…、接続回路網２、外部信号入力
部５，５…、結合の開閉やその度合を変更する結
合制御部７、細胞への入力Iiを指定する外部入力
設定部８が備えられている。

このように構成された神経回路網演算装置で
は、各細胞要素１間の結合がデイジタル信号によ
るため、その結合の開閉やその度合が結合制御部
７により変更される。また、各細胞要素１への入
力Iiを指定する外部入力設定部８は、結合制御部
７により制御される。

次に、上述した神経回路網演算装置の演算の一
例として、静電界のポテンシヤル計算を第３図を
用いて説明する。

同図に示すように、対象となる静電場は、計算
のために格子状に分割されており、また各格子点
に細胞要素１が割り当てられている。

そして、結合制御部７により、例えば格子点
（ｉ，ｊ）の細胞要素１に、（ｉ−１，ｊ）、（ｉ＋
１，ｊ）、（ｉ，１−ｊ）、（ｉ，ｊ＋１）の格子点
にある各細胞要素１の出力が接続されるようにな
つている。また、これの入力のそれぞれに対し、
各パルス密度変調部３がそのパルス密度を１／４
に分周して、各パルス加算調整部４に送るように
なつている。

なお、ここで関数hi(x)は、 hi(x)＝ｘ ……(8) となる関数が用いられている。

また、境界点の各細胞要素１については、他の
細胞要素との接続を切り、外部入力がそのまま細
胞要素の出力になるように結線が制御されてい
る。

そして、境界AD、DCでは10000個／secのパル
スが出力され、境界AB、BCではパルスを出力
しないようになつている。また、境界以外の細胞
要素への外部入力もすべて０とするようになつて
いる。

このように、細胞要素１間の結線と外部入力を
決めた時の格子点に位置する細胞要素１の出力
は、第４図ａに示すようになる。

また、第４図ｂは、AB、BCでのポテンシヤ
を0V、AD、DCでのポテンシヤルを1Vとした場
合の解を有限要素法によつて求めたものを示すも
のである。

同図に示すように、ポテンシヤルは各細胞要素
１の出力パルス密度に近い分布を示している。

従つて、この実施例では、極めて容易にポテン
シヤル問題を解くことができる。

第５図は、第１図の神経回路網演算装置の構成
を変えたさらに他の実施例を示すものである。

同図に示すように、神経回路網演算装置には、
細胞要素１，１…、接続回路網２、外部信号入力
部５，５…、結合の開閉やその度合を変更する結
合制御部７、細胞への入力Iiを指定する外部入力
設定部８、例えば複数の画素を有する固体撮像管
からなるイメージ取込み部９が備えられている。

このように構成された神経回路網演算装置で
は、イメージ取込み部９の各画素の出力に比例し
たパルス密度の信号が、これらの画素に対応する
細胞群に外部入力として与えられる。

そして、これらの細胞群を、２次元画素の位置
に対応させ、（ｉ，ｊ）で区別する。また各細胞
群は、第３図に示した境界に位置する各細胞要素
１と同様に、外部入力とのみ結線されているの
で、その外部入力がそのままXijの大きさのパル
ス密度として出力される。

そして、結合制御部７により、これらの細胞群
に隣接するもう１組の細胞群が定義され、第６図
に示すように結線される。

なお、図中の各細胞要素１間の矢印は、矢印の
元側の細胞要素１の出力が先側の細胞要素１の入
力として与えられることを示している。また、矢
印に付加えられている量は、出力に対するパルス
変調の倍率を示しており、単に矢印のみの場合は
倍率が１あることを示している。

そして、入力に対するパルス変調の倍率を
｛W⁽¹⁾ij｝とし、第６図のような結線で加算して総
和S₁を作ると、 S₁＝〓ⁱ （〓^j W⁽¹⁾ij Xij＝〓^i,j W⁽¹⁾ij Xij ……(9) となる。

この総和S₁は、画像情報積分変換に対応する量
であり、｛W⁽¹⁾ij｝の値によつて決まる特徴量にな
つている。また、これと同様にして、結合制御部
７により、｛Xij｝を出力する細胞群に隣接する、
もう１個の細胞群を定義することができる。

すなわち、パルス変換の倍率｛W⁽²⁾ij｝により
他の特徴量は、 S₂＝〓^i,j W⁽²⁾ij Xij ……(10) となる。

なお、これらの定義は結合制御部７が順を追つ
て行うものではなく、隣接細胞群を定義して、そ
れを実現する結線を実現すれば、S₁，S₂を同時に
求めることができるとともに、さらには、特徴量
の数を更に増加させることもできる。

従つて、この実施例では、一群の細胞群の定量
と、それらの間の結合の度合を与えることによ
り、画像情報の並列的な演算を行うことができ
る。

なお、この実施例および第２図に示した実施例
において、連続的な量の大きさをパルス密度の大
きさに置き換えたが、例えば、２種類の周波数の
うち、一方の周波数を論理的に“１”、他方を論
理的に“０”と定義すれば、２値情報を扱うこと
も可能である。

また、パルス加算調整部４においては、時間的
な変化など必要なパルス調整を行う場合、例え
ば、遅延機能を持たせるとともに、ある細胞要素
１において他の細胞要素１との結合をすべて切り
離し、この細胞要素１の出力をそのまま倍率１で
細胞要素１自身に入力することにより、この細胞
要素１はそのパルス密度を記憶することになるの
で、記憶素子として用いることもできる。

従つて、上述した各実施例では、各細胞要素１
間の結合の有無やその度合をコンピユータ等の電
子機器装置により制御が容易となり、また取り扱
いうる信号のダイナミツクレンジも広くなる。さ
らには、アナログ量の並列演算から２値情報の処
理や記憶等が広範囲にわたつて使用可能である。

［発明の効果］以上、説明したように、本発明の神経回路網演
算装置は、細胞要素間の結合の有無やその度合を
容易に制御することができ、かつ取り扱いうる信
号のダイナミツクレンジを広くすることができ
る。

【図面の簡単な説明】

第１図は本発明の一実施例を示す神経回路網演
算装置の構成ブロツク図、第２図は第１図の構成
を変えた他の実施例を示す構成ブロツク図、第３
図は第２図の電界を格子点に分割したものを示す
図、第４図ａ，ｂは第２図の細胞要素の出力と数
値計算によつて求めたポテンシヤルとを比較した
ものを示す図、第５図は第１図の構成を変えたさ
らに他の実施例を示す構成ブロツク図、第６図は
第５図の細胞要素の結合を簡単に示す図、第７図
は従来の神経回路網演算装置を示す図、第８図は
第７図の内部状態と外部出力との関数関係を示す
図である。１……細胞要素、２……接続回路網、３……パ
ルス密度変調部、４……パルス加算調整部、５…
…外部信号入力部、６……関数部。

Claims

【特許請求の範囲】

１生体の細胞構造に類似する複数の細胞要素と
各細胞要素間の結合を前記生体の細胞構造の結合
を模擬して様々な演算を行う神経回路網演算装置
において、前記各細胞要素間の入出力の大きさを
パルス密度に変換するパルス密度変調手段と、前
記各細胞要素の出力パルス列を入力しそのパルス
密度の総和に等しいパルス密度に変換して出力す
るパルス加算調整手段と、前記各細胞要素を接続
する接続手段とを備えたことを特徴とする神経回
路網演算装置。