JPH06110862A

JPH06110862A - 自己成長型ニューラルネットワーク

Info

Publication number: JPH06110862A
Application number: JP4261107A
Authority: JP
Inventors: Katsunari Shibata; 克成柴田; Kenichi Yoshida; 健一吉田; Yuji Sato; 裕二佐藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-09-30
Filing date: 1992-09-30
Publication date: 1994-04-22

Abstract

(57)【要約】【構成】結合を求めている結合先ニューロン101から
求結合信号拡散手段102を用いて求結合信号を拡散し、
結合元ニューロン110、111は、拡散された求結合信号の
濃度勾配などのローカルな情報を用いて成長型データ転
送路121を成長させ、結合を行い、シナプス回路103を構
成してデータを転送する。また、結合を行った後に、学
習によって不要であるとされた結合に関しては、そのデ
ータ転送路を除去または解放する。【効果】大規模なニューラルネットワークを構成する
際に、予めネットワークの形状を決める必要がなく、ま
た、学習を利用して必要な箇所だけ結合でき、かつ近い
ところほど結合がしやすいといったことにより、効率的
かつ柔軟にネットワーク間結合が実現できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】知能ロボットなどの、大規模でコ
ンパクトな学習可能なニューラルネットハードウエアが
必要とされる分野に係り、特にニューラルネットワーク
におけるニューロン間の結合を、学習機能を利用して自
動的に成長させる自己成長型ニューラルネットワークに
関する。

【０００２】

【従来の技術】ニューラルネットによって学習を行う際
に、どのくらいのネットワーク規模を用意するか、ま
た、どのようなネットワーク形状にするかという指針が
なく、近年、与える問題に対してその指針を示すべく研
究がなされている。しかし、現実問題として、学習させ
る問題の複雑さ等が既知のものは少なく、未知の場合が
圧倒的であると考えられる。特に、人間のように、経験
を通じてその能力を常に向上させようとする場合には、
学習させる問題というのは予め与えられるというもので
はない。このような場合に、問題にあったネットワーク
規模や形状を実現させるためには、学習を進めるにつれ
てネットワークの規模や形状を変化させて、最適なもの
常に近付けていくことが非常に重要となる。このような
観点からの発明として、特開平2-83656号公報記載の学
習処理装置がある。この発明では、中間層のニューロン
数を学習中に増加させることを提案している。ただ、主
な目的としては、ニューラルネットの学習の際の極小値
収束を避けることをあげているが、自己成長型ニューラ
ルネットといった観点からも注目される。

【０００３】また、特開平3-209553号公報の自己組織化
機能を備えた神経回路網装置では、ニューロン間距離に
よってニューロン間の結合のし易さ、つまり、学習効率
をニューロン間距離に応じて変えるという神経回路網装
置が提案されている。本装置を用いることにより、近い
距離にあるニューロンほど強い結合を持ちやすいという
点で、効率的なハードウエアを構成できる可能性があ
る。

【０００４】一方、ニューラルネットのハードウエアの
研究も近年盛んであり、実現される規模（ニューロン
数）は年々大きくなってきている。また、現在、ニュー
ラルネットハードウエアにおけるニューロン間の結合方
式として大きく次の２つがある。まず、全結合方式で
は、図２のように、ニューロン201毎にデータ転送路204
を設け、各ニューロンは存在する全ニューロンとシナプ
ス回路203で結合され、その入力された値を基に細胞体
回路202で自らの出力値を定めて再びデータ転送路２０
４を用いて出力するという方式である。一方時分割バス
方式では、図３のように、ニューロン301は、一本のデ
ータバス304に接続され、アドレス発生器である制御回
路305から指定された各ニューロンが順次その出力値を
ブロードキャストし、その値を全ニューロンが値を受け
取り、シナプス回路303で重み付けをして細胞体回路302
で順番に入ってくる入力を加算して自らの出力を求める
というものである。この時、シナプス回路303自体も時
分割で使われ、重み値の値だけは複数保持して必要なも
のをロード重み付けを行っている。

【０００５】

【発明が解決しようとする課題】大規模化するニューラ
ルネットワークのハードウエアを考えた場合、人間や生
体の脳細胞の数を考えれば、将来的には、ミリオン、億
といったオーダーのものまで必要になってくる可能性が
非常に高い。ところが、従来例のような方法で大規模な
ハードウエアを実現しようとした時には、全結合方式で
は結合のための配線領域が莫大なものになる上、１ニュ
ーロンが存在するニューロン数分のシナプス回路を持た
なければならず、ニューロン自体の回路も非常に大きな
ものとなってしまう。一方、時分割バス方式では、各ニ
ューロンが順次バスを専有して自分の値をブロードキャ
ストするため、全てのニューロンが値を出し終わるまで
に非常に時間が掛かるという問題がある。すると、図４
のように、各モジュール411、412、413内は時分割バス
方式でニューロン401間を全結合し、モジュール間を中
継ノード421、422、423で交信し、さらに高レベルの通
信を中継ノード431で行うといった階層型モジュール間
コミュニケーション方式が考えられる。しかし、この方
法では、モジュール内の規模、形状を予め決めなければ
ならないが、これを決めることは非常に困難であり、融
通性に欠けることになる。以上のことから、図５のよう
に、各ニューロン501は専用のデータ転送路504を持つ
が、必要箇所だけ選択的に結合させるということが非常
に有効であるということがわかる。ところが、ニューロ
ン間の結合がどこが必要で、どこが不要かをミリオン、
億のニューロンに対して見定めることは、これまた非常
に困難である。従って、ニューロン間は必要な箇所だけ
自動的に結合されていくような仕組みが必要になってく
る。また、当然、距離的に近いものを優先的に結合させ
るといった機能も必要になってくる。

【０００６】前述の学習処理装置のように、ニューロン
を次第に増加させていく場合にも、増加させたニューロ
ンを他の全てのニューロンと結合させていると、ニュー
ロン間全結合の場合と同じ問題となる。

【０００７】一方、従来例の１つである自己組織化機能
を備えた神経回路網装置では、距離的に近いものほど効
率的に結合させようとしている。しかし、この装置で
は、遠くにあるものでも小さい学習効率ながら結合を有
し、学習させなければならない。現在の学習アルゴリズ
ムは、既に結合があるものに対して適用されるものであ
るため、実際に前記従来例をハードウエアで構成しよう
とすると、結局物理的に全ニューロンに対して結合を設
けなければならないことになる。

【０００８】本発明は、大規模なニューラルネットワー
クにおけるニューロン間の結合を、学習機能を利用し
て、自動的に成長させることによって、必要な箇所だけ
効率的に、かつ問題に応じて柔軟に実現する自己成長型
ニューラルネットワークを提供することを目的とする。

【０００９】

【課題を解決するための手段】ニューロン間を必要な箇
所だけ効率的に結合させるために、自分が現在結合を求
めているかどうかを判断する手段と、結合を求めている
と判断したニューロンがその情報を拡散させる手段と、
その拡散された信号を基に成長方向を制御し、結合が形
成された時点でデータを転送する成長型データ転送手段
と、拡散させる信号にラベル付けする手段と、不要と判
定されたデータ転送路を除去、解放するデータ転送路解
放手段を設けた。

【００１０】

【作用】求結合信号発生手段において、他のニューロン
や外部から与えられる値または自らの発火状態や発火履
歴を用いて、自分が現在結合を求めているかどうかを表
す求結合信号発生し、この求結合信号を求結合信号拡散
手段によってＮ(>1)次元的に拡散させることにより広く
結合を求める。そして、拡散された求結合信号の勾配の
ようなローカルな情報に基づいて成長型データ転送手段
を成長させ、自分または他のニューロンと結合を形成し
た後に該ニューロンから該被結合ニューロンへ１次元的
にデータを転送する。また、求結合信号に予めニューロ
ンに割り当てたラベルを付けすることによって、ある程
度意図的な結合をさせることが可能となる。また、ニュ
ーロンのその時の状態をラベルとして求結合信号に付加
しておけば、成長型転送路の方で、結合を行う前にその
結合が必要かどうか判断することができる。また、逆
に、とにかく最初は必要稼働かの判断をせずに結合を行
わせ、結合後にそれを判断する方法もある。つまり結合
後は、学習によって結合の強度を変えていく一方、結合
切断信号発生手段において、結合が０になる等によって
不必要と判断された結合に対しては、結合切断信号を流
し、データ転送のための資源を解放、または除去するこ
とにより、必要なデータ転送路だけを残すことができ
る。

【００１１】

【実施例】図１に、本発明の基本構成を示す。結合を求
めている結合先ニューロン101では、求結合信号拡散手
段102を用いて求結合信号をｎ(＞１)次元に拡散、つま
り、結合先ニューロン101内で生成される以外の求結合
信号の総和を等しくし、かつ、求結合信号は濃度の大き
い方から小さい方へ移動させる。例えば、求結合信号を
化学物質で表す時は、結合先ニューロン101の内部に持
つ求結合信号拡散手段102によって化学物質を放出すれ
ば、自然の原理に任せて拡散させることができる。ま
た、電磁波や光のようなものを用いれば、結合先ニュー
ロン101の内部に求結合信号拡散手段102として、電磁波
や光の発生手段を置くことによって、非常に高速な拡散
機能が実現できる。また、通常の電気的な信号を用いる
場合は、例えば、図９のように、メッシュ状に配線を形
成し、格子点にノードを置き、拡散のシミュレート演算
を行わせることによって実現が可能である。これに関す
る詳細の実現方法に関しては、後ほど述べる。一方、結
合元ニューロン110では、求結合信号の濃度の勾配方向
に成長型データ転送路121を成長させることによって、
結合先ニューロン101と結合を形成する。すると、結合
元ニューロン110と同一の働きをしている結合元ニュー
ロン111があったとしても、より距離が近い結合元ニュ
ーロン110が先に結合を形成することができる。そし
て、結合形成後は、結合元ニューロン110から結合先ニ
ューロン101へデータを転送すると共に、そのデータを
シナプス回路103によって重み付けをして結合先ニュー
ロン101に渡される。また、それと並行して学習によっ
てシナプス回路103内で保持している重み値を所望の値
に変化させていく。そして、結合が不要になったと判断
された時、例えば重み値(負の結合を持つものは、実際
の重み値に−１を掛けたもの)が０またはそれ以下にな
った時に、結合先ニューロン101が結合切断信号を発生
し、成長型データ転送路104を減退させることによっ
て、不要な結合が占める面積をなくすことができる。

【００１２】図６に１ニューロンの構造の例を示す。ま
ず、既に結合が形成されている部分では、結合元のニュ
ーロンから結合済み成長型データ転送路620を通してデ
ータが入力され、シナプス回路603で重み付けされ細胞
体回路602の内部に取り込まれる。そして、出力値計算
手段610によって、各シナプス回路から重み付けされた
入力データを受け取り、これらを加算し、非線形変換を
行ってニューロンの出力データを求めて、成長型データ
転送路621へ渡し、そのデータ転送路が既に結合が形成
されていれば、その結合先のニューロンへ値が伝播され
る。ここで、学習として２つの場合を考える。始めに、
バックプロパゲーション法の場合のように、教師信号あ
りの学習で、かつ、その教師信号と実際の出力との誤差
を、結合の逆方向へ伝播させて、その値を用いて各ニュ
ーロンでの重み値を更新させるといった学習をさせる場
合を考える。この学習を、バックプロパゲーション型と
呼ぶぶこととする。この場合、他のニューロンから結合
修正信号伝播手段623によって伝播される結合修正伝播
信号δ_kjは、結合修正信号計算手段611に取り込まれ、
自ニューロンの結合修正信号Ｅ_jを計算する。この計算
は、バックプロパゲーション法と同様に、δ_kjを用いて

【００１３】

【数１】Ｅ_j＝ｆ'(ｕ_j)Σ_jδ_kj f(ｕ_j):ニューロンの興奮関数ｕ_j:ニューロンの内部
状態と、計算することができる。この結合修正信号Ｅ_jｗ
を、結合修正信号分配手段612によって、各シナプス回
路603から読み出してきた重み値の値に従って、拡散さ
せる求結合信号Ｄ_jと結合元に伝播させる結合修正伝播
信号δ_jiに分配する。例えば、拡散させる求結合信号の
量Ｄを、

【００１４】

【数２】Ｄ_j＝ＫＥ_j／（Ｋ＋Σ_i|ｗ_ji|）Ｋ:拡散分配定数ｗ_i:ｉ番目のニューロンとの結合の
重み値Ｅ_j:結合修正信号各結合に渡される結合修正伝播信号δ_jiを

【００１５】

【数３】δ_ji＝ |ｗ_ji|Ｅ_j／（Ｋ＋Σ_i|ｗ_ji|）とすることによって、結合の数と強さが大きいものほど
拡散される求結合信号が小さくなり、結合の重み値を修
正したり、結合元のニューロンへ結合修正伝播信号を伝
播させたりする量が大きくなり、結合がされていないも
のほど拡散される求結合信号信号が大きくなるように分
配することができる。また、各結合元へ伝播される結合
修正伝播信号δ_jiの比は、バックプロパゲーション法で
行っているものと同じとなる。また、この場合の中間層
ニューロンのように、他のニューロンから入力される結
合修正伝播信号によってのみ自らの結合修正信号を決定
するニューロンの場合、入力される結合修正伝播信号の
和が、必ず出力される結合修正伝播信号よりもＤだけ小
さくなるため、ニューロン間結合がループを構成してい
る場合でも、結合修正伝播信号がどんどん大きくなって
発散してしまうことがなくなる。そして、求結合信号の
方は、拡散手段613によってニューロン外へ拡散され、
結合修正伝播信号はシナプス回路603へ渡される。

【００１６】図７にシナプスの構造の一例を示す。ここ
では、入力データ720を重み値保持部710から読み出して
きた重み値に従って入力重み付け部711で重み付けを行
い、重み付け済み入力データ721として重み値722と共に
細胞体回路へ渡される。一方、細胞体回路にて計算され
て入力される結合修正伝播信号は、そのまま結合元ニュ
ーロンへ伝播される。また、重み値の修正については、
バックプロパゲーションの学習アルゴリズムと同様な方
法で、

【００１７】

【数４】ｄｗ_ji／ｄｔ＝ ηｆ(ｕ_i)Ｅ_j とすることで実現できる。従って、結合元ニューロンか
ら入力される入力データ720であるｆ(ｕ_i)と、細胞体回
路で計算される結合修正信号725であるＥ_j、及び現在の
重み値722を重み値修正部713へ入力し、数４に従った計
算を行って新しい重み値を重み値保持部710へ書き込む
ことで実現ができる。

【００１８】次に、求結合信号を自分の出力の状態及び
履歴から決める場合を考える。これを自己学習型と呼ぶ
こととする。この時のニューロンの構造の例を図８に示
す。まず、出力データの計算に関しては、図６の場合と
同様に、シナプス回路803で重み付けされ出力値計算手
段810によって出力データを求めて、結合先のニューロ
ンへ値が伝播される。また、出力変化量計算手段811に
於いて、出力値の時間微分を計算し、出力変化量累積手
段812に於いて、その累積及び絶対値の累積を行う。つ
まり、

【００１９】

【数５】 τ_jｄＶａ_j／ｄｔ＝ −Ｖ_j＋|ｄｆ(ｕ_j)／ｄｔ| τ_j：時定数Ｖａ_j：出力変化量の絶対値の累積値

【００２０】

【数６】τ_jｄＶ_j／ｄｔ＝ −Ｖ_j＋ｄｆ(ｕ_j)／ｄｔＶ_j：出力変化量の累積値とする。そして、出力変化量の絶対値の累積値Ｖａ_jは
ニューロンの興奮状態の変化が大きいほど大きくなるよ
うにする。そして、出力の変化量累積値Ｖａ_jが大きい
時は、それを成長信号822として、自分が出力する成長
型データ転送路を速く成長させるようにする一方、出力
の変化量累積値Ｖａ_jが小さい時はニューロンの興奮状
態の変化が少ないということになるので、新たな結合を
求めたり、既存の結合を変化させて、自ニューロンの興
奮の強弱を強くさせる。例えば、結合修正信号Ｅ_jを

【００２１】

【数７】Ｅ_j＝ τ_j−Ｖa_j とする。そして、各シナプス回路802において、入力デ
ータ820の変化量の累積値Ｖ_iを前記数６のように求めて
おき、これを結合修正信号分配手段813が受け取り、結
合修正信号を分配する。例えば、拡散させる求結合信号
の量Ｄ_jを、

【００２２】

【数８】Ｄ_j＝ＫＥ_j／（Ｋ＋Σ_i|Ｖ_i|）として求める。また、各シナプス回路803では、Ｖ_jを受
け取り、ｄｗ_ji／ｄｔ＝Ｖ_jＶ_i によって重み値を修正することによって、ニューロンの
活性化を図る。

【００２３】次に、拡散を通常の電気信号で送る場合の
実施例を示す。図９にメッシュ状の配線を行い、各格子
点に結合元ニューロン901から出る求結合信号の拡散の
計算及びデータの転送制御を行う中継ノード904を設け
たものを示す。

【００２４】図１０にメッシュの構造の例の詳細図を示
す。中継ノード1001間は、拡散信号転送路1002が２本
（複数のラベル付けした求結合信号を用いる場合は各ラ
ベルに対して２本）、データ転送路割り当て要求信号10
03、データ転送路からなる。また、データ転送路は、デ
ータ転送路割り当て要求信号1003によって既に割り当て
られた占有データ転送路1004とまだどこにも割り当てら
れていない非占有データ転送路1005に分けられる。

【００２５】図１１に中継ノードの例の詳細図を示す。
中継ノードでは、隣接する４個の中継ノードとのデータ
のやり取りを行う。ただし、この図では、一つの中継ノ
ードとのデータのやり取りのみを代表して表現した。ま
ず、拡散信号転送路1110から入ってきた求結合信号を、
求結合信号拡散演算部1101にて、例えば、

【００２６】

【数９】 τｄｓ／ｄｔ＝−ｓ＋（ｓ₁＋ｓ₂＋ｓ₃＋ｓ₄）／４ τ：時定数ｓ：自中継ノードの求結合信号の値ｓ₁、ｓ₂、ｓ₃、ｓ₄：隣接する４個の中継ノードの求結
合信号の値として、求めることができる。そして、自分の求結合信
号の値を拡散信号転送路1111を用いて隣接ノードへ転送
する。また、隣接する４個のノードと自ノードの求結合
信号の値から求結合信号勾配計算部1102にてその勾配を
求め、その最急勾配方向を求め、最急方向保持部1103に
てその値を保持する。また、データ転送路割り当て要求
信号1112から信号が入ると、データ転送路割り当て部11
04にて最急方向保持部1103から最急方向を読み出し、割
り当て先を決める。そして、割り当て先へデータ転送路
割り当て要求信号1113に信号を出すと共に、データ転送
テーブル1105に情報を書き込む。そして、データ転送路
制御部1106では、データ転送路から入ってきたデータ
を、データ転送テーブルに掛かれている内容に従って、
別の転送路に値を送る。

【００２７】図１２にデータ転送テーブルの例を示す。
ここでは、データ転送路の各方向、Ｎｏ.毎に、割り
当て済かどうかを表す値、送信か受信かを表す値、
交信先の方向、交信先のＮｏ.の値を保持している。
そして、これらの値をデータ転送路制御部へ送る。な
お、＊はdon't careを表す。Ｎｏ.３の転送路は、ここ
では物理的に存在しないので＊となっている。

【００２８】図１３にデータ転送路制御部の例を示す。
この図は、方向０と方向１の間での制御部分のみ示す。
データ転送テーブルから送られてくる制御信号は、制御
回路1303にて、正しく割り当てられているかチェックさ
れる。それと共に、正しい場合には、必要な箇所の双方
向バッファ1302を正しい方向にドライブすることによっ
て、データを転送させる。

【００２９】図１４にニューラルネットワークの成長の
例を表した図を示す。ここでは、前述のバックプロパゲ
ーション型と自己学習型とを融合させ、自分が何も結合
していない時は自己学習型で、結合した場合にはバック
プロパゲーション型を含めて学習させることとする。ま
た、図に示した８個のニューロンのうち、下の３個には
外部からの入力があり、上の１個には外部からの教師信
号が与えられるとする。初期状態を(ａ)とすると、結合
されていないニューロンは求結合信号を盛んに出し、入
力があるニューロンは盛んにその成長型データ転送路を
成長させる。従って、まず、少し時間が立つと(ｂ)のよ
うに、近いところが結合を形成し始める。すると、結合
されたニューロンは、次第に自らの結合を伸ばし始める
ため、(ｃ)のようにネットワークが成長していく。そし
て、(ｄ)のようにさらにネットワークが成長して、一番
上のニューロンまで結合が及ぶと、バックプロパゲーシ
ョン型の結合が行われるため、不必要な結合が減少し、
一方、遠距離でも必要な結合が生じ、(ｅ)のようにな
り、所望のネットワークが完成する。

【００３０】次に、ラベリングに関しての実施例を図１
５と１６に示す。図１５はラベリングによって、遠距離
結合を行う場合である。拡散だけによって遠距離を結合
させるためには、近いものから順に結合していくという
手順を踏まなければならず、非常に効率が悪い。そこ
で、遠距離間を結合したいものだけラベリングを行う。
例えば、ニューロン1501はあるラベル付けされた求結合
信号を拡散させる。この求結合信号に対して、ニューロ
ン1502だけが反応し、成長型データ転送路を成長させる
ことができるとする。また、この場合は、とくに求結合
信号の濃度が小さくても早く成長するするようにしてお
く。また、同様にニューロン1503は別のラベル付けを
し、求結合信号を発生する。そして、ニューロン1504だ
けがそれに反応して前記と同様に結合を行うようにす
る。こうすることによって、予め遠距離間結合が必要で
あるとわかっている場合には、ラベル付けしたニューロ
ンをそこに配置しておけば良いことがわかる。また、図
１６では、例えば、人間の脳で、視覚と聴覚を連合させ
て高次の情報処理を行わせていると言われている連合野
のような領域を生成する方法を示す。ここでは、連合野
にそれぞれ別々にラベル付けされた複数のニューロン、
ここでは1601、1602を設け、このニューロンが拡散させ
る求結合信号がそれぞれ領域Ａ、領域Ｂにしか反応しな
いように予め設定しておく。すると、領域Ａ、領域Ｂか
らそれぞれ結合を受け取り、連合領域ではこれらを新た
な入力として、高次の処理を行わせることができる。ま
た、領域感の結合を通して、バックプロパゲーション型
の学習を行わせることによって、領域Ａ、領域Ｂの中の
ネットワークも高次の処理に都合が良いような出力を得
るように学習されていくことができる。

【００３１】以上のように、ハードウエアを構成する
が、従来のように予め重み値を用意するような場合にお
いても、結合の重み値を図１７のように結合の成長過程
にも定義し、例えば、全く成長していないと時を０、結
合したばかりを１とし、データの重み付けは、重み値が
１以下のときは０、それ以上の時は、ｗ_ji−１を掛け算
することによって、従来のニューロコンピュータを用い
て上記の成長型ニューラルネットワークのシミュレーシ
ョンを行うことができる。

【００３２】尚、本発明は、バックプロパゲーション
型、自己学習型に限らず、種々なニューラルネットワー
クに適用可能である。また、本発明の自己成長型ニュー
ラルネットワークは、知能ロボットのような分野に好的
であるばかりか、種々な制御分野、認識分野等、広く適
用可能である。

【００３３】

【発明の効果】大規模なニューラルネットワークにおけ
るニューロン間の結合を、効率的にかつ柔軟に実現する
ことができる。

【図面の簡単な説明】

【図１】本発明の基本的な構成である自己成長によるニ
ューロン間結合を示した図である。

【図２】従来例であるニューロン間の全結合を表した図
である。

【図３】従来例であるニューロン間の時分割バス結合を
表した図である。

【図４】従来例であるニューロン間の階層型モジュール
間結合を表した図である。

【図５】本発明により構成されるニューロン間の選択的
結合を表した図である。

【図６】本発明を実施する際のニューロンの構成例を示
した図である。

【図７】本発明を実施する際のシナプス回路の構成例を
示した図である。

【図８】本発明を実施する際のニューロンの構成例を示
した図である。

【図９】メッシュ状の配線による拡散シミュレートをす
る例の概要を示した図である。

【図１０】メッシュ状の配線による拡散シミュレートを
する際の中継ノード間の結合の様子を表した図である。

【図１１】中継ノードの構成の例を示した図である。

【図１２】データ転送制御テーブルの例を示した図であ
る。

【図１３】データ転送路制御部の例を示した図である。

【図１４】ニューラルネットの成長の一例を示した図で
ある。

【図１５】ラベリングによる遠距離間結合を行わせる例
を示した図である。

【図１６】ラベリングによる連合領域生成を行わせる例
を示した図である。

【図１７】従来型ニューロコンピュータを用いる場合の
ニューロン間結合状態値の定義例と情報伝達の例を表し
た図である。

【符号の説明】

101…結合先ニューロン、102…求結合信号拡散手段、10
3…シナプス回路、110…結合元ニューロン、111…結合
元ニューロン、121…成長型データ転送路

Claims

【特許請求の範囲】

【請求項１】結合を求めている少なくとも１個の結合先
ニューロンは、結合先ニューロン自身、他の結合元ニュ
ーロン、または外部との結合を求める信号である求結合
信号を発生する求結合信号発生手段を有し、前記求結合信号をＮ(>1)次元的に拡散させる求結合信号
拡散手段を有し、少なくとも１個の他の結合元ニューロンまたは外部から
の入力部分から、拡散された前記求結合信号に基づいて
成長して、結合先ニューロン自身、他の結合元ニューロ
ン、または外部との結合を形成した後に、結合先ニュー
ロン自身、他の結合元ニューロン、または外部から結合
先ニューロンへ１次元的にデータを転送する成長型デー
タ転送手段を有することを特徴とする自己成長型ニュー
ラルネットワーク。
【請求項２】前記成長型データ転送手段が、拡散された
該求結合信号の勾配に基づいて成長することを特徴とす
る請求項１記載の自己成長型ニューラルネットワーク。
【請求項３】前記求結合信号にラベルを付加することを
特徴とする請求項１記載の自己成長型ニューラルネット
ワーク。
【請求項４】結合を求めている少なくとも１個の結合先
ニューロンは、他の結合元ニューロンまたは外部から与
えられる値、または結合先ニューロン自身の発火状態や
発火履歴から結合修正信号を生成する結合修正信号生成
手段を有し、前記結合修正信号を、結合先ニューロンへ
の結合の数、その結合の強度、及び信号の強度に応じ
て、既に形成されている結合の強度を修正するものと、
求結合信号として拡散させるものとに分配する結合修正
用信号分配手段を有することを特徴とする請求項１記載
の自己成長型ニューラルネットワーク。
【請求項５】結合を求めている少なくとも１個の結合先
ニューロンは、他の結合元ニューロンまたは外部から与
えられる値、または結合先ニューロン自身の発火状態や
発火履歴から結合修正信号を生成する結合修正信号生成
手段を有し、前記結合修正信号の一部または全てを、結
合先ニューロンへの結合の数、その結合の強度、及び信
号の強度に応じて、既に形成されている各結合元のニュ
ーロンに分配し伝播させる結合修正信号伝播手段を有
し、結合元ニューロンへ伝播された結合修正信号を、結
合元ニューロン内の結合修正信号生成手段に入力するこ
とを特徴とする請求項１記載の自己成長型ニューラルネ
ットワーク。
【請求項６】結合を求めている少なくとも１個の結合先
ニューロンは、前記結合修正信号を、結合先ニューロン
への結合の数、その結合の強度、及び信号の強度に応じ
て、既に形成されている結合の結合元のニューロンに伝
播されるものと、求結合信号として拡散させるものとに
分配する結合修正用信号分配手段を有することを特徴と
する請求項５記載の自己成長型ニューラルネットワー
ク。
【請求項７】結合を求めている少なくとも１個の結合先
ニューロンは、結合を切断信号を発生する結合切断信号
発生手段を有し、前記結合切断信号に基づいて、既に存在するデータ転送
路やその他のデータ転送のための手段を除去または解放
するデータ転送路解放手段を有することを特徴とする請
求項１記載の自己成長型ニューラルネットワーク。
【請求項８】結合の重み値が０または０以下になった時
に、前記結合切断信号を発生することを特徴とする請求
項７記載の自己成長型ニューラルネットワーク。
【請求項９】結合の重み値が、予め正か負かを決定され
ていることを特徴とする請求項７記載の自己成長型ニュ
ーラルネットワーク。
【請求項１０】前記求結合信号に、正の結合を求めるか
負の結合を求めるかによってラベル付けすることを特徴
とする請求項３記載の自己成長型ニューラルネットワー
ク。
【請求項１１】ニューロン間のデータ転送が非同期で行
なわれることを特徴とする請求項１記載の自己成長型ニ
ューラルネットワーク。
【請求項１２】ニューロン間のデータ転送に際しパルス
状信号を用いることを特徴とする請求項１記載の自己成
長型ニューラルネットワーク。
【請求項１３】結合を求めている少なくとも１個の結合
先ニューロンは、転送されてきたデータから出力を求め
る出力データ生成手段を有し、他の結合元ニューロンま
たは外部から与えられる値、または結合先ニューロン自
身の発火状態や発火履歴から結合修正信号を生成する結
合修正信号生成手段を有し、各結合と同数またはそれ以
上の数の結合の重み値を保持する重み値保持手段と重み
値を更新する重み値更新手段を各結合部分に分散して有
し、結合のないものを除いて常時並列に動作させることを特
徴とする請求項１記載の自己成長型ニューラルネットワ
ーク。
【請求項１４】各ニューロンは、予めニューロン間の結
合のための記憶及び演算の領域を確保し、未結合の状態
において、その成長型データ転送路の成長の状態によ
り、０から１までの値を割り当てることによって実現す
ることを特徴とする請求項１記載の自己成長型ニューラ
ルネットワーク。