JPH0822446A - ニューラルネットワーク回路 - Google Patents

Abstract

(57)【要約】 【目的】 ニューラルネットワークのネットワーク規模
を容易に拡張可能なニューラルネットワーク回路を提供
する。 【構成】 入力ベクトルＩＶが演算装置１０４に入力さ
れると、記憶装置１０１に記憶されたネットワークの接
続情報に従い入力ベクトルＩＶに応答するニューロンが
検索されニューロン番号がレジスタ１０５に書き込まれ
る。演算装置１０４は、このニューロン番号を用いて記
憶装置１０２に記憶された当該ニューロンの内部情報を
読み出してレジスタ１０６に書き込み、この内部情報を
用いて当該ニューロンの出力と当該ニューロンに接続さ
れたシナプスの結合荷重との積和演算を行なう。このよ
うな動作を入力ベクトルＩＶの個数に相当する回数だけ
繰り返すことによって認識処理が実行される。ここで、
記憶装置１０１，１０２の内容を書き換えることにより
ネットワークの構成が変更される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像認識処理等を行な
うニューラルネットワーク回路に関する。

【０００２】

【従来の技術】近年、情報処理分野においてニューラル
ネットワークを応用した情報処理に大きな関心が集まっ
てきている。ニューラルネットワークは、生物の頭脳に
備わるニューロンの構造を模倣したものである。ニュー
ラルネットワーク上の処理の多くは、従来のフォン・ノ
イマン型の逐次計算機により実現されているが、処理速
度が極めて遅いため、最近、ニューラルネットワークを
専用の電子回路で実現する試みがなされている。

【０００３】専用の電子回路でニューラルネットワーク
を実現する方法としては、例えば、特開平２−２３６６
５８号公報に記載されるように、ニューラルネットワー
クでより複雑な情報処理を行なうためにニューロンの個
数を増やしてもハードウェア量が飛躍的に増大すること
がないように、ハードウェアを共通に時分割で使うもの
が知られている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来のニューラルネットワークの実現方法においては、単
一のニューラルネットワーク回路で実現できるニューラ
ルネットワークの構造は固定されており、簡単な情報処
理から複雑な情報処理まで、すなわち、ネットワーク規
模の小さなものから大きなものまでを単一のニューラル
ネットワーク回路で実現することには適していないとい
う問題点がある。なぜなら、小規模なニューラルネット
ワークから大規模なニューラルネットワークまでを実現
するためには、ニューラルネットワーク回路を大規模な
ニューラルネットワークの仕様に合わせる必要があるた
め、小規模なニューラルネットワークを実現する場合に
冗長な部分が多くなるからである。

【０００５】また、上記従来のニューラルネットワーク
の実現方法では、出力ニューロンの出力値を比較して最
大の値を持つ出力ニューロンの番号を認識結果としてい
るが、後処理や学習等には認識結果の候補が複数個必要
であると言われている。従来、値を２つずつ順次比較し
ていく方法が用いられているが、この方法ではデータの
個数に処理時間が比例するため多大な時間がかかってし
まう。例えば、Ｎ個のデータの中から１０個の候補を見
つける場合、１回の比較に要する時間を１サイクルとす
ると、最大値を持つ候補を求めるのにＮサイクル、その
次に大きな値を持つ候補を求めるのに最大値以外の（Ｎ
−１）個のデータから求めるので（Ｎ−１）サイクル必
要とし、以下、同様にして、（Ｎ−２）サイクル、（Ｎ
−３）サイクル、…、（Ｎ−９）サイクル必要であり、
全体として、 Ｎ＋（Ｎ−１）＋（Ｎ−２）＋（Ｎ−３）＋…＋（Ｎ−
９）＝１０Ｎ−４５［サイクル］ の時間が必要である。Ｎ＝１００のときには、１０個の
候補すべてを選出するために９５５サイクルの時間を要
することになる。

【０００６】このように、入力するデータ数や選出する
候補数が多くなればなるほど、選出に要するサイクル数
がそれらに比例して多くなるので全体の処理時間も長く
なってしまう。

【０００７】さらに、上記従来のニューラルネットワー
クの実現方法では、すべてのニューロンに対してそれぞ
れアドレスを割り当て、各ニューロンは対応するアドレ
スにより特定された場合にのみ出力を行なうようになっ
ており、学習を行なう場合にもアドレスにより特定され
たニューロンのみが学習するように構成されている。こ
のため、拡張し得るネットワーク規模がアドレスのビッ
ト幅により制限されてしまい、さらに、ニューロンのア
ドレスが共通のバスに出力される場合には複数のアドレ
スを同時に出力することはできないので、処理時間も学
習すべきニューロンの個数分だけ処理時間を要すること
になる。

【０００８】本発明は、上記に鑑みなされたものであっ
て、ニューラルネットワークのネットワーク規模を容易
に拡張でき高速処理が可能なニューラルネットワーク回
路を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記の目的を達成するた
め、対象とする情報処理に応じて動的にニューロンを増
殖し、ネットワークを自己生成することが可能なニュー
ラルネットワークをハードウェアで実現することが考え
られる。

【００１０】このようなニューラルネットワークの一つ
として、例えば、文献「適応増殖量子化ニューロン（AS
QA）による文字認識」（電子情報通信学会技術報告NC91
-51、pp.23-28）又は文献「Adaptive Segmentation of
Quantizer Neuron Architecture (ASQA) 」（IJCNN'93,
Proceedings Vol.1, pp.367-370 ）に記述されるもの
が知られている。

【００１１】以下、ネットワークを自己生成するニュー
ラルネットワークを図面を用いて説明する。

【００１２】図１５は上記ニューラルネットワークの一
例を示す図であり、図１５において、ニューラルネット
ワークは、入力ベクトルをそれぞれ入力するニューロン
１０−１，１０−２からなる入力層と、状態エネルギー
や各出力ニューロンとのシナプスの結合荷重の値等を内
部情報として持っているニューロン１１−１〜１１−５
からなる中間層と、中間層の各ニューロンの出力を統合
する出力ニューロン１２−１，１２−２からなる出力層
とにより構成される３層構造のニューラルネットワーク
である。ここで、ニューロン間の接続は各層間にのみ存
在し、各層内には存在しないものとする。当該ニューラ
ルネットワークにおけるネットワークの接続情報とは入
力層の各ニューロンと中間層の各ニューロンとの接続状
態を示す情報であり、具体的には、ニューロン１０−１
とニューロン１１−１，１１−３との接続状態を示す情
報と、ニューロン１０−２とニューロン１１−２，１１
−４，１１−５との接続状態を示す情報とが相当する。
中間層の各ニューロンと出力層の各ニューロンとの接続
状態については考慮していないが、中間層におけるすべ
てのニューロンはそれぞれ各出力ニューロンとシナプス
の結合荷重を介して接続されている。

【００１３】中間層のニューロンの状態エネルギーとし
ては、平均値、分散、学習回数等があげられる。ここ
で、平均値とは、１つのニューロンに入力されたデータ
列の値の平均のことである。ニューラルネットワークの
学習はニューロンの内部情報を更新することによって行
なわれる。

【００１４】当該ニューラルネットワークでは入力ニュ
ーロン毎に多次元空間を中間層のニューロン数だけ分割
し、中間層のニューロン１つ１つが固有の空間を占め
る。当該ニューラルネットワークに入力ベクトルが入力
されると、中間層のあるニューロンが反応して出力層の
各ニューロンに信号を伝え、中間層の残りのニューロン
は信号を伝えない。中間層の各ニューロンの出力とそれ
ぞれに対応するシナプスの結合荷重との積和を求めるこ
とによって出力ニューロンは中間層の各ニューロンの出
力を統合する。そして、各出力ニューロンの出力値の大
小比較を行ない、出力値が最も大きい出力ニューロンの
番号を認識結果として設定する。

【００１５】ニューロンの内部情報の更新を行なった際
に、例えば、ニューロン１１−５の状態エネルギーが所
定のしきい値を越えた場合には、図１６に示すように、
ニューロン１１−５が分裂してニューロン１１−６が生
成され、このニューロン１１−６と入力層及び出力層の
ニューロンとの間に新たにネットワークが生成されるこ
とになる。このとき、ネットワークの接続情報としてニ
ューロンの増殖履歴も記憶される。ここで、増殖履歴と
は、分裂時のニューロンの内部情報とニューロン１１−
５が新たなニューロン１１−５とニューロン１１−６と
に分裂したという事象を表わす情報とにより構成される
情報である。

【００１６】図１７（ａ）及び図１７（ｂ）は２次元空
間におけるニューロンの分裂の様子を示しており、分裂
時の新たなニューロン１１−５とニューロン１１−６と
の境界条件を増殖履歴における１つの情報として記憶す
る。ここでの境界条件は、分裂する直前のニューロン１
１−５の平均値とする。ニューロン１１−６の各出力ニ
ューロンとのシナプスの結合荷重はニューロン１１−５
の各出力ニューロンとのシナプスの結合荷重から複製さ
れる。

【００１７】このように、シナプスの結合荷重の値を変
化させるだけでなくネットワークの構造自体も動的に変
化させることによって、対象とする情報処理に適応した
ネットワーク規模にすることができる。

【００１８】請求項１〜７の発明は、以上説明したよう
な、ネットワークの自己生成が可能なニューラルネット
ワークをハードウェアで実現するものである。

【００１９】具体的に請求項１の発明が講じた解決手段
は、入力信号をネットワークの演算により認識又は学習
する複数個のニューロンを有した多層のニューラルネッ
トワークを実現するニューラルネットワーク回路を対象
とし、上記ニューラルネットワークにおける上記複数個
のニューロンの接続状態を示すネットワーク接続情報を
書き換え可能に記憶する第１の記憶手段と、上記ニュー
ラルネットワークにおける各ニューロン固有の情報であ
るニューロン内部情報を書き換え可能に記憶する第２の
記憶手段と、上記第１の記憶手段から読み出されたニュ
ーロンを記憶する第３の記憶手段と、上記第２の記憶手
段から読み出されたニューロン内部情報を記憶する第４
の記憶手段と、上記第１の記憶手段に記憶されたネット
ワーク接続情報を用いて上記入力信号に応答するニュー
ロンを検索し、捜し出されたニューロンを上記第１の記
憶手段から読み出して上記第３の記憶手段に書き込み、
該第３の記憶手段に記憶されたニューロンに対応するニ
ューロン内部情報を上記第２の記憶手段から読み出して
上記第４の記憶手段に書き込み、該第４の記憶手段に記
憶されたニューロン内部情報を用いて上記ネットワーク
の演算を行なう演算手段とを備えている構成とするもの
である。

【００２０】請求項２の発明は、請求項１の発明の構成
に、上記演算手段は、上記第２の記憶手段に記憶された
ニューロン内部情報を書き換え、書き換えられたニュー
ロン内部情報を用いて上記第１の記憶手段に記憶された
ネットワーク接続情報を書き換える機能をさらに有して
いる構成を付加するものである。

【００２１】また、請求項３の発明は、状態エネルギー
を持ち該状態エネルギーが所定のしきい値を超過すると
増殖する複数個のニューロンを有し、該複数個のニュー
ロンのうちの何れかのニューロンの状態エネルギー及び
該ニューロンに接続されたシナプスの結合荷重を変更す
ることにより学習を行なう多層のニューラルネットワー
クを実現するニューラルネットワーク回路を対象とし、
上記複数個のニューロンのそれぞれに固有のニューロン
番号を付与する番号付与手段と、上記ニューロン番号が
それぞれ付与された上記複数個のニューロンの接続状態
を、該複数個のニューロンが増殖により生成されてきた
過程を示すことによって表わすネットワーク接続情報を
書き換え可能に記憶する第１の記憶手段と、上記複数個
のニューロンのうちのそれぞれのニューロン毎の、該ニ
ューロンの状態エネルギー及び該ニューロンに接続され
たシナプスの結合荷重をそれぞれ書き換え可能に記憶す
る第２の記憶手段と、上記第１の記憶手段に記憶された
ネットワーク接続情報を用いて発火したニューロンを検
索し、捜し出されたニューロンに付与されたニューロン
番号を上記第１の記憶手段から読み出す第１の演算手段
と、該第１の演算手段により読み出されたニューロン番
号を用いて、該ニューロン番号に対応するニューロンの
状態エネルギーと該ニューロンに接続されたシナプスの
結合荷重とを上記第２の記憶手段から読み出す第２の演
算手段と、該第２の演算手段により読み出されたシナプ
スの結合荷重を用いて、上記複数個のニューロンの出力
と該複数個のニューロンにそれぞれ接続されたシナプス
の結合荷重との積和を演算する第３の演算手段とを備え
ている構成とするものである。

【００２２】請求項４の発明は、請求項３の発明の構成
に、上記番号付与手段は、上記複数個のニューロンに対
して、各ニューロンが増殖により生成された順番に相当
するニューロン番号を付与する構成を付加するものであ
る。

【００２３】請求項５の発明は、請求項３の発明の構成
に、上記第２に演算手段は、上記第２の記憶手段に記憶
された状態エネルギー及びシナプスの結合荷重を書き換
える機能をさらに有し、上記第１の演算手段は、上記第
２の演算手段により書き換えられた状態エネルギーを用
いて、上記第１の記憶手段に記憶されたネットワーク接
続情報を書き換える機能をさらに有している構成を付加
するものである。

【００２４】また、請求項６の発明は、状態エネルギー
を持ち該状態エネルギーが所定のしきい値を超過すると
増殖する複数個のニューロンを有し、該複数個のニュー
ロンのうちの何れかのニューロンの状態エネルギー及び
該ニューロンに接続されたシナプスの結合荷重を変更す
ることにより学習を行なう多層のニューラルネットワー
クを実現するニューラルネットワーク回路を対象とし、
上記複数個のニューロンのそれぞれに固有のニューロン
番号を付与する番号付与手段と、上記ニューロン番号が
それぞれ付与された上記複数個のニューロンの接続状態
を、該複数個のニューロンが増殖により生成されてきた
過程を示すことによって表わすネットワーク接続情報、
並びに、上記複数個のニューロンのうちのそれぞれのニ
ューロン毎の、該ニューロンの状態エネルギー及び該ニ
ューロンに接続されたシナプスの結合荷重をそれぞれ書
き換え可能に記憶する記憶手段と、該記憶手段に記憶さ
れたネットワーク接続情報を用いて発火したニューロン
を検索し、捜し出されたニューロンに付与されたニュー
ロン番号を上記記憶手段から読み出す第１の演算手段
と、該第１の演算手段により読み出されたニューロン番
号を用いて、該ニューロン番号に対応するニューロンの
状態エネルギーと該ニューロンに接続されたシナプスの
結合荷重とを上記記憶手段から読み出す第２の演算手段
と、該第２の演算手段により読み出されたシナプスの結
合荷重を用いて、上記複数個のニューロンの出力と該複
数個のニューロンにそれぞれ接続されたシナプスの結合
荷重との積和を演算する第３の演算手段と、上記第１の
演算手段から出力される第１のアドレスをビット毎に論
理反転しその結果得られる第２のアドレスを出力するア
ドレス変換手段と、該アドレス変換手段から出力される
第２のアドレス及び上記第２の演算手段から出力される
第３のアドレスのうちの何れか一方を選択し、上記第２
のアドレスを選択した場合には上記第１の演算手段によ
る上記記憶手段の第２のアドレスに対するアクセスを可
能とする一方、上記第３のアドレスを選択した場合には
上記第２の演算手段による上記記憶手段の第３のアドレ
スに対するアクセスを可能とする選択手段と、該選択手
段による選択を決定するための選択信号を出力する選択
信号出力手段とを備えている構成とするものである。

【００２５】請求項７の発明は、請求項６の発明の構成
に、上記第２に演算手段は、上記記憶手段に記憶された
状態エネルギー及びシナプスの結合荷重を書き換える機
能をさらに有し、上記第１の演算手段は、上記第２の演
算手段により書き換えられた状態エネルギーを用いて、
上記記憶手段に記憶されたネットワーク接続情報を書き
換える機能をさらに有している構成を付加するものであ
る。

【００２６】上記の目的を達成するため、請求項８の発
明は、認識結果の候補数に関係なく、入力するデータの
個数のみで候補の選出に要する時間が決まるニューラル
ネットワーク回路を実現するものである。

【００２７】具体的に請求項８の発明が講じた解決手段
は、入力信号にネットワークの演算を施すことにより得
られ認識の対象となるＮ個のカテゴリーのうちｎ個のカ
テゴリーを認識結果の候補として選出するニューラルネ
ットワークを実現するニューラルネットワーク回路を対
象とし、２つのデータの値同士の大きさを比較する比較
手段と、上記２つのデータのうち値が大きい方のデータ
を記憶する第１の記憶手段と、上記２つのデータのうち
値が小さい方のデータを記憶する第２の記憶手段と、上
記第１の記憶手段に記憶されたデータに付随する他のデ
ータとの識別情報を記憶する第３の記憶手段と、上記第
２の記憶手段に記憶されたデータに付随する他のデータ
との識別情報を記憶する第４の記憶手段とを有する（ｎ
−１）個の第１乃至第（ｎ−１）の候補選出手段と、上
記比較手段と上記第１及び第３の記憶手段とを有する第
ｎの候補選出手段とを備え、第１の候補選出手段の比較
手段により比較される２つのデータのうち一方のデータ
が第１の候補選出手段の第１の記憶手段に記憶されたデ
ータとなり他方のデータがＮ個のデータのうちの何れか
のデータとなり、第ｉの候補選出手段（２≦ｉ≦ｎ）の
比較手段により比較される２つのデータのうち一方のデ
ータが第ｉの候補選出手段の第１の記憶手段に記憶され
たデータとなり他方のデータが第（ｉ−１）の候補選出
手段の第２の記憶手段に記憶されたデータとなるよう
に、ｎ個の第１乃至第ｎの候補選出手段はカスケード接
続されている構成とするものである。

【００２８】上記の目的を達成するため、請求項９の発
明は、複数個用いてネットワーク規模を拡張しても、ニ
ューロンの学習にかかる処理速度を単一の場合と同等に
することができるニューラルネットワーク回路を実現す
るものである。

【００２９】具体的に請求項９の発明が講じた解決手段
は、第１及び第２の値を持つ教師信号を与えることによ
り学習を行なう複数個のニューロンを有したニューラル
ネットワークを実現するニューラルネットワーク回路を
対象とし、上記複数個のニューロンのうち、上記教師信
号の第１の値を用いて学習を行なうニューロンを指定す
る指定手段と、該指定手段によるニューロンの指定を有
効とするか否かを決定する決定手段とを備え、該決定手
段により、上記指定手段によるニューロンの指定を有効
とすると決定された場合にのみ、上記指定手段により指
定されたニューロンに対して上記教師信号の第１の値を
用いて学習を行ない且つ上記複数個のニューロンのうち
上記指定手段により指定されたニューロンを除くニュー
ロンに対して上記教師信号の第２の値を用いて学習を行
なう構成とするものである。

【００３０】

【作用】請求項１の発明の構成により、第１及び第２の
記憶手段にニューラルネットワークにおけるネットワー
クの接続状態を記憶することが可能となる。このため、
第１及び第２の記憶手段の内容を書き換えるだけでネッ
トワークの接続状態を変更することができる。したがっ
て、小規模なニューラルネットワークから大規模なニュ
ーラルネットワークまで単一のニューラルネットワーク
回路で対応することが可能になる。

【００３１】さらに、請求項２の発明の構成により、第
１及び第２の記憶手段の内容を演算手段により書き換え
ることができる。このため、ニューラルネットワークの
内部における学習によりこのニューラルネットワーク自
身のネットワークの接続状態を変更することができる。

【００３２】また、請求項３の発明の構成により、第１
及び第２の記憶手段に対してそれぞれ専用の第１及び第
２の演算手段を設けることによって各記憶手段を独立に
アクセスすることが可能となる。このため、処理速度の
高速化が可能となる。また、ニューロンが増殖していく
過程、ネットワークの構成及びニューロンの内部情報を
各ニューロンに付与された番号のみで管理することが可
能となる。

【００３３】さらに、請求項４の発明の構成により、第
２の記憶手段に各ニューロンの内部情報をニューロンが
増殖により生成された順に書き込むことによって、第２
の記憶手段をフラグメンテーションが生じることなく効
率よく使用でき、記憶容量の低減化を図ることができ
る。

【００３４】請求項５の発明の構成により、第１及び第
２の記憶手段の内容をそれぞれ第１及び第２の演算手段
により書き換えることができる。このため、ニューラル
ネットワークの内部における学習によりこのニューラル
ネットワーク自身のネットワークの接続状態を変更する
ことができる。

【００３５】また、請求項６の発明の構成により、アド
レス変換手段を用いることによって、例えば、第１の演
算手段はネットワーク接続情報を記憶手段の上位アドレ
スから降順に書き込み、第２の演算手段は各ニューロン
の内部情報を記憶手段の下位アドレスから昇順に書き込
むことが可能となる。これにより、単一の記憶手段に２
種類の情報を記憶できるため、記憶手段の少量化を図る
ことができる。

【００３６】さらに、請求項７の発明の構成により、第
１及び第２の記憶手段の内容をそれぞれ第１及び第２の
演算手段により書き換えることができる。このため、ニ
ューラルネットワークの内部における学習によりこのニ
ューラルネットワーク自身のネットワークの接続状態を
変更することができる。

【００３７】また、請求項８の発明の構成により、Ｎ個
のデータを１回与えるだけでｎ個の候補をそれぞれ第１
〜第ｎの候補選出手段により選出することができる。例
えば、Ｎ＝１００、ｎ＝１０の場合には、約１００サイ
クルで１０個の候補すべてを選出することができる。こ
れにより、処理速度を大幅に向上させることができる。
また、同一の機能を持つ候補選出手段を必要な個数だけ
カスケード接続しているだけなので、認識結果の候補数
を容易に変更することが可能である。

【００３８】また、請求項９の発明の構成により、当該
ニューラルネットワーク回路を複数個用いてニューラル
ネットワークを実現する場合にも、１ニューロン当たり
の学習速度を変化させずに、各ニューラルネットワーク
回路毎に独立して学習が行なえる。このため、当該ニュ
ーラルネットワーク回路により大規模なニューラルネッ
トワークを実現しても、学習の処理速度は低下しない。
また、ニューラルネットワークのネットワーク規模は、
単一のニューラルネットワーク回路により実現されるネ
ットワーク規模に制限されないので容易に拡張すること
ができる。

【００３９】

【実施例】

（実施例１）図１は本発明の実施例１に係るニューラル
ネットワーク回路の構成を示すブロック図である。ここ
で、実現の対象となるニューラルネットワークは、例え
ば、図１５に示すように、適応増殖量子化ニューロンを
有する多層のニューラルネットワークである。

【００４０】図１において、１０１はネットワークの接
続情報を記憶する記憶装置、１０２は各ニューロンに固
有の情報を集めたニューロンの内部情報を記憶する記憶
装置、ＩＶは入力ベクトルであり、１０４は演算装置で
あり、記憶装置１０１の内容を読み書きすることによっ
てネットワークの接続情報を操作する機能と、記憶装置
１０２の内容を読み書きすることによってニューロンの
内部情報を操作する機能とを有する。１０５は記憶装置
１０１内のネットワークの接続情報を対象として演算装
置１０４が検索した結果を保持するレジスタ、１０６は
記憶装置１０２に対して演算装置１０４がアクセスして
得られた結果を保持するレジスタである。ここで、各ニ
ューロンには固有のニューロン番号を付与する。

【００４１】以上のように構成されたニューラルネット
ワーク回路の動作について説明する。

【００４２】まず、入力ベクトルＩＶが演算装置１０４
に入力されると、入力ベクトルＩＶに応答するニューロ
ンを特定するために、演算装置１０４は記憶装置１０１
に記憶されたネットワークの接続情報に従って検索を行
なう。つづいて、特定されたニューロンのニューロン番
号をレジスタ１０５に保持する。レジスタ１０５に保持
されたニューロン番号を用いて、ニューロンの内部情報
を記憶する記憶装置１０２に対してアクセスを行なう。
ここで、１ニューロン当たりの内部情報量をｎワードと
すると、特定されたニューロンの内部情報には（ニュー
ロン番号×ｎワード）のアドレスによりアクセスするこ
とができる。このアドレスには特定されたニューロンの
内部情報として、特定されたニューロンの各出力ニュー
ロンとのシナプスの結合荷重が記憶されているので、こ
の内部情報をレジスタ１０６に保持することによって演
算装置１０４により特定されたニューロンの出力とシナ
プスの結合加重との積和演算を行なうことができる。こ
のような動作を入力ベクトルの個数に相当する回数だけ
繰り返すことによって認識処理が実行される。

【００４３】ここで、記憶装置１０１に記憶されたネッ
トワークの接続情報を書き換えることによって、ネット
ワークの構造が異なるニューラルネットワークを容易に
構築することができる。このとき、記憶装置１０２に記
憶されたニューロンの内部情報も記憶装置１０１の内容
の変更に伴ない書き換える。記憶内容の変更方法として
は、例えば、別の計算機上で演算を行ないその結果得ら
れた値を記憶装置１０１及び１０２に直接書き込めばよ
い。

【００４４】以上のように、本実施例にかかるニューラ
ルネットワーク回路によると、ネットワークの接続情報
を記憶する記憶装置を設けることによって、ネットワー
クの接続状態を変更可能なニューラルネットワークを実
現することができる。

【００４５】次に、別の計算機上で演算され得られた結
果を記憶装置１０１及び１０２に書き込むのではなく、
本実施例のニューラルネットワーク回路の内部で演算を
行ない得られた結果を記憶装置１０１及び１０２に書き
込む場合について説明する。ここでは、適応増殖量子化
ニューロンを有するニューラルネットワークにおいて学
習を行なう場合について説明する。

【００４６】上記ニューラルネットワークにおける学習
は、中間層のニューロンの内部情報を更新することによ
って行なわれる。具体的には、状態エネルギー（例え
ば、平均値、分散、学習回数等）の更新と、出力ニュー
ロンとのシナプスの結合荷重の更新とにより実現され
る。

【００４７】学習時には学習の対象となるニューロンの
内部情報を記憶装置１０２から読み出しレジスタ１０６
に保持する。レジスタ１０６に保持されたニューロンの
内部情報に対して演算装置１０４がその内容の書き換え
を行ない、更新されたニューロンの内部情報を記憶装置
１０２における読み出しアドレスと同一のアドレスに書
き込む。このとき、ニューロンの分裂が生じたとする
と、新たに生成されたニューロンに固有のニューロン番
号を付与し、このニューロンを記憶装置１０２における
（ニューロン番号×ｎワード）のアドレスに書き込む。
つづいて、演算装置１０４は、分裂時の境界条件の書き
込みと、ネットワークの接続情報の変更とを行なうため
に記憶装置１０１にアクセスする。ここでの境界条件は
分裂する直前のニューロンの平均値とする。

【００４８】このようにして、ネットワークの構造の変
更をニューラルネットワーク回路内で行なうことができ
る。別の計算機を用いる必要がないため、処理時間を短
縮することができ、実用性を高めることができる。

【００４９】（実施例２）図２は本発明の実施例２に係
るニューラルネットワーク回路の構成を示すブロック図
である。ここで、実現の対象となるニューラルネットワ
ークは、実施例１と同様に、適応増殖量子化ニューロン
を有する多層のニューラルネットワークである。

【００５０】図２において、３０１はニューロンにニュ
ーロン番号を付与するニューロン番号付与装置、３０２
はニューロンの増殖履歴を記憶する増殖履歴記憶装置で
ある。３０３は増殖履歴記憶装置３０２へのアドレス及
びデータバスを有する演算装置であり、増殖履歴記憶装
置３０２内の増殖履歴を操作する。３０４は各ニューロ
ンに固有の情報を集めたニューロンの内部情報を記憶す
る内部情報記憶装置である。３０５は内部情報記憶装置
３０４へのアドレス及びデータバスを有する演算装置で
あり、内部情報記憶装置３０４内のニューロンの内部情
報を操作する。３０６はニューロンの出力とシナプスの
結合荷重との積和演算を行なう積和演算装置、３０７は
演算装置３０３と演算装置３０５との間の通信を行なう
通信装置である。

【００５１】次に、図１５に示すニューラルネットワー
クにおける中間層のニューロンの増殖の過程をどのよう
に表現し増殖履歴記憶装置３０２にどのように記憶する
かを説明する。

【００５２】図３は中間層のニューロンに付与されるニ
ューロン番号及びノード番号を示している。まず、ニュ
ーロンに対するニューロン番号の付与について説明す
る。初期状態において、中間層のニューロンは２つだけ
であるため、この２つのニューロンには１１−１，１１
−２のように昇順に番号を付ける。ここで、初期状態に
おけるニューラルネットワークを図１３に示す。つづい
て、ニューロン番号１１−１のニューロンが分裂してニ
ューロンが増殖した場合には１１−３のように最も新し
いニューロンのニューロン番号の次の番号を付与する。
この様子を図１４に示す。このように、入力ニューロン
の番号には関係なく、中間層のニューロンが分裂する度
に順番にニューロン番号を付けていく。

【００５３】ところで、ネットワークの接続情報を構築
するためには、各ニューロンに対して付与されるニュー
ロン番号と、ニューロンが増殖していった過程を示す増
殖履歴とが必要である。増殖履歴を作成する方法とし
て、ニューロンが増殖する毎に新たに生成されたニュー
ロンにニューロン番号を付けると同時に、分裂五の２つ
のニューロンにノード番号を付ける。これにより、ニュ
ーロンの増殖履歴として、図３に示すように、分裂前の
ニューロン番号１１−２のニューロンのノード番号は２
であり、このノード番号２のニューロンがノード番号５
のニューロンとノード番号６のニューロンとに分裂し、
さらに、このノード番号６のニューロンがノード番号７
のニューロンとノード番号８のニューロンとに分裂して
いることが分かる。ノード番号の付け方はｋ，（ｋ＋
１）というように続き番号で行なう。

【００５４】図４（ａ）及び図４（ｂ）はニューロン番
号及びノード番号が増殖履歴記憶装置３０４に書き込ま
れた様子を示している。図４（ａ）及び図４（ｂ）にお
いて、例えば、ニューロンが分裂した場合、末端フィー
ルドに１を書き込み、番号フィールドには分裂により新
たに生まれた２つのニューロンのうちの一方のノード番
号を書き込む。ここでは、値が小さい方のノード番号を
書き込んでいる。そして、協会条件フィールドに分裂時
の境界条件を書き込む。ここでの境界条件は分裂する直
前のニューロンの平均値とする。番号フィールドに書き
込まれたノード番号の値と同一の値のアドレスの番号フ
ィールドには、そのノード番号を持つニューロンのニュ
ーロン番号を書き込み、その次のアドレスの番号フィー
ルドには、分裂により新たに生まれた２つのニューロン
のうちの他方のニューロン番号を書き込む。なお、初期
状態においては、すべての末端フィールドに０が書き込
まれる。

【００５５】具体的に、図１５に示すニューラルネット
ワークの中間層のニューロンが図１６に示すように分裂
する場合について説明する。

【００５６】分裂前には、図４（ａ）に示すように、増
殖履歴記憶装置３０２のアドレス８には、その番号フィ
ールドにニューロン番号１１−５が、その末端フィール
ドに０（末端であることを示す）が書き込まれている。
ニューロン番号１１−５のニューロンが新たなニューロ
ン番号１１−５のニューロンとニューロン番号１１−６
のニューロンとに分裂すると、図４（ｂ）に示すよう
に、増殖履歴記憶装置３０２のアドレス８には、その番
号フィールドにノード番号９が書き込まれ、さらに、そ
の末端フィールドに１（ニューロンが分裂したことを示
す）が、その境界条件フィールドに境界条件Ａ８が書き
込まれる。ここでの境界条件Ａ８は、分裂する直前のニ
ューロン番号１１−５のニューロンの平均値である。同
時に、増殖履歴記憶装置３０２のアドレス９の番号フィ
ールドにはニューロン番号１１−５が、そして、アドレ
ス１０の番号フィールドにはニューロン番号１１−６が
書き込まれる。

【００５７】次に、本実施例に係るニューラルネットワ
ーク回路の動作を説明する。

【００５８】図２において、演算装置３０３は、増殖履
歴記憶装置３０２に記憶されたニューロン番号の検索を
実行する。詳しくは、入力層の各ニューロンに付与され
たノード番号の値（例えば、ニューロン番号１０−１の
ニューロンであればノード番号１、ニューロン番号１０
−２のニューロンであればノード番号２）と同一の値の
アドレスを初期値として、末端フィールドに０が設定さ
れたアドレスにおける番号フィールドの値すなわちニュ
ーロン番号を検索する。これにより、演算装置３０３
は、発火したニューロンのニューロン番号を捜し出し、
捜し出されたニューロン番号は通信装置３０７を介して
演算装置３０５に転送される。

【００５９】演算装置３０５は、図５に示すように、発
火したニューロンのニューロン番号を用いて内部情報記
憶装置３０４にアクセスする。ここで、１ニューロン当
たりの内部情報量をｎワードとすると、（ニューロン番
号×ｎワード）のアドレス演算を行なうことによってア
クセスすることができる。ニューロンにニューロン番号
を付与する方法として、ニューロンが増殖する毎に順番
に付与する方法をとると、内部情報記憶装置３０４はフ
ラグメンテーションを生じることなく効率よく使用で
き、記憶容量の少容量化を図ることができる。

【００６０】積和演算装置３０６は、内部情報記憶装置
３０４に記憶されたニューロンの内部情報を用いて発火
したニューロンの出力とシナプスの結合荷重との積和演
算を実行する。

【００６１】学習時には、演算装置３０５は、学習する
ニューロンの内部情報を更新する。さらに、ニューロン
が分裂する条件を満たせば、境界条件が通信装置３０７
を介して演算装置３０３に転送され、演算装置３０３は
更新されたニューロンの内部情報を用いて上述した一連
の処理を行ない、増殖履歴記憶装置３０２内のネットワ
ークの接続情報を更新することによって新たなニューラ
ルネットワークを構築する。

【００６２】通信装置３０７は、演算装置３０３と演算
装置３０５との同期をとるための装置である。発火した
ニューロンのニューロン番号が特定されると、演算装置
３０５はこのニューロン番号に対応するニューロンの内
部情報を内部情報記憶装置３０４から読み出すことがで
きる。このとき、演算装置３０３は次の入力ニューロン
に対する処理を実行することができる。これは、増幅履
歴記憶装置３０２及び内部情報記憶装置３０４がそれぞ
れ演算装置３０３及び３０５に対してローカルな記憶装
置だからである。したがって、演算装置３０３及び３０
５は同時に動作させることが可能である。しかし、演算
装置３０５により内部情報記憶装置３０４から読み出さ
れる内部情報が、演算装置３０３により特定されたニュ
ーロン番号のニューロンに関する内部情報であることを
示すために通信装置３０７により同期をとる必要があ
る。具体的な方法としては、例えば、セマフォ制御と１
つのレジスタとによるものや、ＦＩＦＯメモリによるも
の等ががあげられる。

【００６３】以上のように、本実施例に係るニューラル
ネットワーク回路によると、ニューロンが増殖していく
過程、ネットワークの構成、及び各ニューロンの内部情
報を各ニューロンに付与された番号のみで管理すること
によって、ネットワークの接続状態を変更することが可
能なニューラルネットワークを実現することができる。

【００６４】（実施例３）図６は本発明の実施例３に係
るニューラルネットワーク回路の構成を示すブロック図
である。ここで、実現の対象となるニューラルネットワ
ークは、実施例１及び２と同様に、適応増殖量子化ニュ
ーロンを有する多層のニューラルネットワークである。
なお、図２に示す実施例２と同一の構成要素には同じ符
号を付して詳細な説明を省略する。。

【００６５】図６において、４０１はニューロンの内部
情報及びネットワークの接続情報を記憶する記憶装置、
４０２は演算装置３０３から記憶装置４０１へのアドレ
ス信号を変換するアドレス変換回路である。４０３は選
択回路であり、演算装置３０３が有する記憶装置４０１
へのアドレス及びデータバスと、演算装置３０５が有す
る記憶装置４０１へのアドレス及びデータバスとのうち
の何れか一方を選択する。ＳＬＴは選択回路４０３の選
択信号、４０５は選択信号ＳＬＴを出力する選択信号出
力回路、ＥＮはアドレス変換回路４０２を有効にするア
ドレス変換イネーブル信号である。

【００６６】図７はアドレス変換回路４０２の一例を示
す回路図である。ここでは、説明を簡単にするため、演
算装置３０３及び３０５のアドレスのビット幅を１６ビ
ットとする。

【００６７】図７において、Ａ０〜Ａ１５は演算装置３
０３からのアドレスである入力アドレス、Ｂ０〜Ｂ１５
はアドレス変換回路４０２の出力としての出力アドレ
ス、Ｘ０〜Ｘ１５は排他的論理和回路である。アドレス
変換イネーブル信号ＥＮが１になると、アドレス変換回
路４０２が出力する出力アドレスＢ０〜Ｂ１５は、図８
に示すように、入力アドレスＡ０〜Ａ１５をビット毎に
論理反転したものとなる。ここで、選択回路４０３によ
り演算装置３０３からのアドレスが選択されると、図９
に示すように、演算装置３０３からのデータは記憶装置
４０１の上位アドレスから降順に書き込まれていく。こ
れに対して、選択回路４０３により演算回路３０５から
のアドレスが選択されると、演算装置３０５からのデー
タは記憶装置４０１の下位アドレスから昇順に書き込ま
れていく。このように、２種類の情報を単一の記憶装置
上に記憶させることが可能になる。勿論、２種類の情報
が同一のアドレスに書き込まれないように制御する必要
はある。具体的な方法としては、例えば、次に２種類の
情報がそれぞれ書き込まれる２つのアドレスを保持して
おき、この２つのアドレスを比較するという方法があげ
られる。

【００６８】また、演算装置３０３及び３０５が互いに
独立して動作できることは実施例２で述べたが、対象と
なる記憶装置が同一である場合には相互に排他的な制御
が必要になる。この制御を実現する手段が選択信号出力
回路４０５である。通信装置３０７は演算装置３０３と
演算装置３０５との同期をとっているが、選択信号出力
回路４０５は通信装置３０７を利用して選択信号ＳＬＴ
を出力する。演算装置３０３及び３０５のうちの一方か
ら他方にデータが転送される場合、例えば、演算装置３
０３から演算装置３０５にニューロン番号が転送される
場合を考えると、まず、演算装置３０３はニューロンを
特定するために、記憶装置４０１に記憶された増殖履歴
を検索する。そのために、選択回路４０３は演算装置３
０３側のアドレス及びデータバスを選択する。ここで、
アドレスはアドレス変換回路４０２から出力されたアド
レスである。次に、ニューロンが特定されると、このニ
ューロンを示すニューロン番号が演算装置３０３から通
信装置３０７を介して演算装置３０５に転送される。転
送後、選択回路４０３は演算装置３０５側のアドレス及
びデータバスを選択する。演算装置３０５が必要な情報
を記憶装置４０１から得た後に、選択回路４０３は再び
演算装置３０３側のアドレス及びデータバスを選択す
る。

【００６９】ここで、例えば、記憶装置４０１にアクセ
スする演算装置が演算装置３０３から演算装置３０５に
代わる場合には、演算装置３０３がデータを転送した
後、記憶装置４０１にアクセスしないように演算装置３
０３を停止し、演算装置３０５による記憶装置４０１に
対するアクセスが終了した後に、演算装置３０３の動作
を再び開始するという制御を行なう。

【００７０】以上のように、本実施例に係るニューラル
ネットワーク回路によると、アドレス変換回路を用いる
ことによって、単一の記憶装置に２種類の情報を記憶さ
せることが可能となり、実施例２の演算装置３０３及び
３０５を全く変更することなく記憶装置を効率的に使用
することができ、記憶容量の少容量化を図ることが可能
となる。

【００７１】なお、本実施例において、アドレス変換回
路４０２に入力されるアドレス変換イネーブル信号ＥＮ
の値を０とすることによって実施例２と同様のニューラ
ルネットワーク回路を容易に実現することができる。

【００７２】また、本実施例では、簡単のため、入力ニ
ューロン及び出力ニューロンの個数を２個、中間層のニ
ューロンの個数を５〜６個として説明したが、これに限
定されず、他のニューロン数としてもよいのは勿論であ
る。

【００７３】（実施例４）図１０は本発明の実施例４に
係るニューラルネットワーク回路の構成の一部を示す回
路図である。ここでは、説明を簡単にするため、選出さ
れる認識結果の候補の個数を４個とする。

【００７４】図１０において、５０１ａ〜５０１ｄ、５
３１ａ，５３１ｂはレジスタ、５０２，５３２は比較結
果のＭＳＢを出力する比較器、ＤＴは入力されるデー
タ、ＲＳＴはレジスタ５０１ａ〜５０１ｄ、５３１ａ及
び５３１ｂのリセット信号、ＤＴＮはデータＤＴに対応
して付与されたデータ番号、５０６ａ〜５０６ｄ、５３
６ａ，５３６ｂはマルチプレクサ、Ｎ１，Ｎ２，Ｎ３，
Ｎ４は選出される候補のうち、それぞれ１番目、２番
目、３番目、４番目に大きい値を持つデータに付与され
たデータ番号である。ここで、データ番号として出力ニ
ューロンのニューロン番号と同一の番号を割り当てるこ
とによって、Ｎ１〜Ｎ４は認識結果の候補となる。ま
た、比較器５０２及び５３２は１サイクルで比較結果を
出力するものとする。

【００７５】レジスタ５０１ａ及び５３１ａは比較され
た２つのデータのうち値が大きい方のデータを記憶し、
レジスタ５０１ｃは値が小さい方のデータを記憶する。
また、レジスタ５０１ｂ，５３１ｂは、それぞれレジス
タ５０１ａ，５３１ａに記憶されるデータに付与された
データ番号を記憶し、レジスタ５０１ｄはレジスタ５０
１ｃに記憶されるデータに付与されたデータ番号を記憶
する。

【００７６】なお、レジスタ５０１ａ〜５０１ｄと比較
器５０２とマルチプレクサ５０６ａ〜５０６ｄとから候
補選出回路５００が構成され、レジスタ５３１ａ，５３
１ｂと比較器５３２とマルチプレクサ５３６ａ，５３６
ｂとから候補選出回路５３０が構成される。また、候補
選出回路５１０，５２０は候補選出回路５００と同一の
構成を持つものであり、各レジスタのクロックは共通で
あるとする。

【００７７】以上のように構成されたニューラルネット
ワーク回路の動作を説明する。ただし、比較するデータ
の総数はＮ個とする。

【００７８】まず、リセット信号ＲＳＴにより各レジス
タをリセットしその値として０を設定する。つづいて、
データＤＴとこのデータＤＴに付与されたデータ番号Ｄ
ＴＮとを同時に入力する。１番目に入力されたデータＤ
Ｔとレジスタ５０１ａの出力とを比較器５０２により比
較し、比較器５０２から出力される比較結果のＭＳＢを
用いてマルチプレクサ５０６ａ〜５０６ｄはその出力を
それぞれ選択しレジスタ５０１ａ〜５０１ｄにそれぞれ
書き込む。このような動作をデータの個数に相当する回
数すなわちＮ回繰り返す。

【００７９】すると、Ｎサイクル目には、Ｎ個のデータ
のうち最大値を持つデータがレジスタ５０１ａに書き込
まれ、レジスタ５０１ｂには最大値を持つデータのデー
タ番号が書き込まれている。このため、結果として、選
出すべき候補のうち最大値を持つ候補が候補選出回路５
００から出力されることになる。

【００８０】次の（Ｎ＋１）サイクル目にはＮ個のデー
タのうち２番目に大きい値を持つデータのデータ番号が
候補選出回路５１０から出力され、（Ｎ＋２）サイクル
目にはＮ個のデータのうち３番目に大きい値を持つデー
タのデータ番号が候補選出回路５２０から出力され、
（Ｎ＋３）サイクル目にはＮ個のデータのうち４番目に
大きい値を持つデータのデータ番号が候補選出回路５３
０から出力され、４つの候補の選出が完了する。

【００８１】ここで、従来例と同様にＮ＝１００とし１
０個の候補を選出する場合を考えると、１０候補をすべ
て選出するのに要するサイクル数は、 １００＋（１０−１）＝１０９［サイクル］ であり、従来例の９５５サイクルと比較して格段の速度
向上が実現できることが分かる。

【００８２】なお、候補がｎ個必要な場合にはｎ個の候
補選出回路をカスケード接続すればよく容易に拡張が可
能である。

【００８３】（実施例５）図１１は本発明の実施例５に
係るニューラルネットワーク回路の構成を示す模式図で
ある。

【００８４】図１１において、６００はニューラルネッ
トワーク回路、６０１ａ〜６０１ｄはそれぞれニューロ
ン番号０〜３を付与されたニューロン、Ｓ０はニューロ
ンに付与されたニューロン番号を指定するための指定信
号である。Ｃ０は制御信号であり、その値が１の場合に
はすべての教師信号を有効にし、値が０の場合にはすべ
ての教師信号の値を強制的に０とする。

【００８５】ここでは、ニューロンの学習のアルゴリズ
ムとしてデルタルールを用いることにする。デルタルー
ルを簡単に説明すると、ニューロンの出力値と教師信号
の値との差を用いて、そのニューロンが持つシナプスの
結合荷重の値を変更する学習方法である。教師信号は
［０，１］の２値を持つものとし、ニューロンを発火さ
せるように、教師信号の値として１を与えて学習するも
のとする。

【００８６】ニューラルネットワーク回路６００に情報
が入力されたとき、ニューロン番号０のニューロン６０
１ａが発火するように学習を行なう場合について説明す
る。制御信号Ｃ０の値としては１を設定し、指定信号Ｓ
０によりニューロン番号０を指定する。指定信号Ｓ０に
より指定されたニューロン６０１ａについてはその教師
信号の値として１が設定され、他のニューロン６０１ｂ
〜６０１ｄについてはその教師信号の値として０が設定
され、各ニューロンはその出力値と教師信号の値との差
を用いて学習を行なう。すなわち、ニューロン番号０，
１，２，３のニューロンはそれぞれ教師信号１，０，
０，０により学習を行なう。

【００８７】次に、以上のように構成されたニューラル
ネットワーク回路を複数個用いて、ネットワーク規模を
拡張したニューラルネットワークを実現する場合につい
て説明する。

【００８８】図１２は３個のニューラルネットワーク回
路からなるニューラルネットワークシステムを示す図で
ある。図１２において、ニューラルネットワーク回路６
１０，６２０は図１１に示すニューラルネットワーク回
路６００と同一の機能を持つニューラルネットワーク回
路であり、６１１ａ〜６１１ｄはニューラルネットワー
ク回路６１０内においてそれぞれニューロン番号０〜３
を付与されたニューロンであり、同様に、６２１ａ〜６
２１ｄはニューラルネットワーク回路６２０内において
それぞれニューロン番号０〜３を付与されたニューロン
である。また、Ｓ１，Ｓ２は指定信号Ｓ０と同一の機能
を持つ指定信号、Ｃ１，Ｃ２は制御信号Ｃ０と同一の機
能を持つ制御信号である。

【００８９】各ニューラルネットワーク回路内のニュー
ロンのニューロン番号は何れも０〜３であるが、ニュー
ラルネットワーク全体から考えると１２個のニューロン
があるのでネットワーク全体からみたニューロン番号と
しては０〜１１が割り当てられることになる。例えば、
ニューロン６１１ａにはネットワーク全体からみたニュ
ーロン番号として４が付与され、ニューロン６２１ｄに
はネットワーク全体からみたニューロン番号として１１
が付与される。

【００９０】次に、ある情報が入力されたとき、ネット
ワーク全体におけるニューロン番号４のニューロン６１
１ａが発火するように学習を行なう場合について説明す
る。

【００９１】ネットワーク全体におけるニューロン番号
４のニューロンは、ニューラルネットワーク回路６１０
内のニューロン番号０のニューロン６１１ａであるので
指定信号Ｓ１によりニューラルネットワーク回路６１０
内におけるニューロン番号０を指定する。次に、制御信
号Ｃ１の値として１を設定する。このとき、他のニュー
ラルネットワーク回路６００，６２０の制御信号Ｃ０，
Ｃ２の値として０を設定する。このように信号の値を設
定することによって、ニューラルネットワーク回路６０
０，６２０内において、それぞれ指定信号Ｓ０，Ｓ２に
より何れのニューロン番号を指定しても常に教師信号の
値は０に設定されたものとして学習を行なうことができ
る。したがって、指定信号Ｓ０，Ｓ１，Ｓ２を共通にす
ることもできるので、ハードウェア規模の低減が可能と
なる。

【００９２】以上のように、本実施例に係るニューラル
ネットワーク回路によると、このニューラルネットワー
ク回路を複数個用いてニューラルネットワークシステム
を構成した場合に、各ニューラルネットワーク回路毎に
独立に学習を行なうことができるため並列に処理を実行
でき、学習に要する処理時間はネットワーク規模が大き
くなっても単体のニューラルネットワーク回路と同程度
となる。

【００９３】

【発明の効果】以上説明したように、請求項１の発明に
係るニューラルネットワーク回路によると、ニューラル
ネットワークにおけるネットワークの接続状態を記憶手
段に記憶することが可能となるため、この記憶手段の内
容を書き換えるだけでネットワークの接続状態を変更す
ることができる。したがって、小規模なニューラルネッ
トワークから大規模なニューラルネットワークまで単一
のニューラルネットワーク回路で対応することが可能に
なる。

【００９４】また、請求項３の発明に係るニューラルネ
ットワーク回路によると、各記憶手段に専用の演算手段
を設けることによって、各記憶手段を独立にアクセスす
ることが可能となり処理速度の高速化を図ることができ
る。また、ニューロンが増殖していく過程、ネットワー
クの構成及びニューロンの内部情報を各ニューロンに付
与された番号のみで管理することが可能となる。

【００９５】さらに、請求項４の発明に係るニューラル
ネットワーク回路によると、各ニューロンの内部情報を
ニューロンが増殖により生成された順に記憶手段に書き
込むことによって、この記憶手段をフラグメンテーショ
ンが生じることなく効率よく使用でき、記憶容量の低減
化を図ることができる。

【００９６】また、請求項６の発明に係るニューラルネ
ットワーク回路によると、アドレス変換手段を用いるこ
とによって単一の記憶手段に２種類の情報を記憶できる
ため、記憶手段の少量化を図ることができる。

【００９７】さらに、請求項２、５、７の発明に係るニ
ューラルネットワーク回路によると、ネットワークの接
続状態を回路内部における学習により変更することがで
きる。

【００９８】また、請求項８の発明に係るニューラルネ
ットワーク回路によると、データを１回与えるだけで所
望の個数の候補を選出することができるため、処理速度
を大幅に向上させることができる。また、同一の機能を
持つ候補選出手段を必要な個数だけカスケード接続して
いるだけなので、認識結果の候補数を容易に変更するこ
とが可能である。

【００９９】また、請求項９の発明に係るニューラルネ
ットワーク回路によると、このニューラルネットワーク
回路を複数個用いてニューラルネットワークを実現する
場合にも、１ニューロン当たりの学習速度を変化させず
に各ニューラルネットワーク回路毎に独立して学習が行
なえるため、大規模なニューラルネットワークを実現し
ても高速な学習を維持することができる。また、ニュー
ラルネットワークのネットワーク規模は、単一のニュー
ラルネットワーク回路により実現されるネットワーク規
模に制限されないので容易に拡張することができる。

【０１００】以上のように、本発明によると、従来のよ
うなネットワークの構造が固定されたニューラルネット
ワークとは違い、ニューロンの増殖によりネットワーク
の構造が次第に変化していくニューラルネットワークを
実現することができ、ニューラルネットワークのネット
ワーク規模を容易に拡張でき高速処理が可能なニューラ
ルネットワーク回路を提供することができる。

【図面の簡単な説明】

【図１】本発明の実施例１に係るニューラルネットワー
ク回路の構成を示すブロック図である。

【図２】本発明の実施例２に係るニューラルネットワー
ク回路の構成を示すブロック図である。

【図３】実施例２に係るニューラルネットワーク回路に
より実現されるニューラルネットワークのニューロンに
付与されるニューロン番号及びノード番号を示す図であ
る。

【図４】（ａ）及び（ｂ）は実施例２に係るニューラル
ネットワーク回路の増殖履歴記憶装置の内容を示す図で
ある。

【図５】実施例２に係るニューラルネットワーク回路に
おいて演算装置３０５がニューロン番号を用いて内部情
報記憶装置にアクセスする様子を示す図である。

【図６】本発明の実施例３に係るニューラルネットワー
ク回路の構成を示すブロック図である。

【図７】実施例３に係るニューラルネットワーク回路の
アドレス変換回路の一例を示す回路図である。

【図８】上記アドレス変換回路によるアドレスの変換動
作を示す図である。

【図９】実施例３に係るニューラルネットワーク回路の
記憶装置への増殖履歴及びニューロンの内部情報の書き
込み方を示す図である。

【図１０】本発明の実施例４に係るニューラルネットワ
ーク回路の一部を示す回路図である。

【図１１】本発明の実施例５に係るニューラルネットワ
ーク回路の構成を示す模式図である。

【図１２】実施例５に係るニューラルネットワーク回路
を複数個用いて構成されるニューラルネットワークシス
テムを示す図である。

【図１３】初期状態のニューラルネットワークを示す図
である。

【図１４】上記初期状態のニューラルネットワークにお
いてニューロンが分裂した場合におけるニューラルネッ
トワークを示す図である。

【図１５】ネットワークを自己生成するニューラルネッ
トワークの一例を示す図である。

【図１６】図１５に示すニューラルネットワークにおい
てニューロンが分裂した場合におけるニューラルネット
ワークを示す図である。

【図１７】（ａ）及び（ｂ）はニューロンの分裂を２次
元的に表わした図である。

【符号の説明】

１０１，１０２ 記憶装置 １０４ 演算装置 １０５，１０６ レジスタ ３０１ ニューロン番号付与装置 ３０２ 増殖履歴記憶装置 ３０３，３０５ 演算装置 ３０４ 内部情報記憶装置 ３０６ 積和演算装置 ４０１ 記憶装置 ４０２ アドレス変換回路 ４０３ 選択回路 ４０５ 選択信号出力回路 ５００，５１０，５２０，５３０ 候補選出回路 ５０１ａ〜５０１ｄ，５３１ａ，５３１ｂ レジスタ ５０２，５３２ 比較器 ６００，６１０，６２０ ニューラルネットワーク回路 Ｃ０，Ｃ１，Ｃ２ 制御信号 Ｓ０，Ｓ１，Ｓ２ 指定信号

───────────────────────────────────────────────────── フロントページの続き (72)発明者 丸山 征克 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (9)

【特許請求の範囲】
1. 【請求項１】 入力信号をネットワークの演算により認
   識又は学習する複数個のニューロンを有した多層のニュ
   ーラルネットワークを実現するニューラルネットワーク
   回路であって、 上記ニューラルネットワークにおける上記複数個のニュ
   ーロンの接続状態を示すネットワーク接続情報を書き換
   え可能に記憶する第１の記憶手段と、 上記ニューラルネットワークにおける各ニューロン固有
   の情報であるニューロン内部情報を書き換え可能に記憶
   する第２の記憶手段と、 上記第１の記憶手段から読み出されたニューロンを記憶
   する第３の記憶手段と、 上記第２の記憶手段から読み出されたニューロン内部情
   報を記憶する第４の記憶手段と、 上記第１の記憶手段に記憶されたネットワーク接続情報
   を用いて上記入力信号に応答するニューロンを検索し、
   捜し出されたニューロンを上記第１の記憶手段から読み
   出して上記第３の記憶手段に書き込み、該第３の記憶手
   段に記憶されたニューロンに対応するニューロン内部情
   報を上記第２の記憶手段から読み出して上記第４の記憶
   手段に書き込み、該第４の記憶手段に記憶されたニュー
   ロン内部情報を用いて上記ネットワークの演算を行なう
   演算手段とを備えていることを特徴とするニューラルネ
   ットワーク回路。
2. 【請求項２】 上記演算手段は、上記第２の記憶手段に
   記憶されたニューロン内部情報を書き換え、書き換えら
   れたニューロン内部情報を用いて上記第１の記憶手段に
   記憶されたネットワーク接続情報を書き換える機能をさ
   らに有していることを特徴とする請求項１に記載のニュ
   ーラルネットワーク回路。
3. 【請求項３】 状態エネルギーを持ち該状態エネルギー
   が所定のしきい値を超過すると増殖する複数個のニュー
   ロンを有し、該複数個のニューロンのうちの何れかのニ
   ューロンの状態エネルギー及び該ニューロンに接続され
   たシナプスの結合荷重を変更することにより学習を行な
   う多層のニューラルネットワークを実現するニューラル
   ネットワーク回路であって、 上記複数個のニューロンのそれぞれに固有のニューロン
   番号を付与する番号付与手段と、 上記ニューロン番号がそれぞれ付与された上記複数個の
   ニューロンの接続状態を、該複数個のニューロンが増殖
   により生成されてきた過程を示すことによって表わすネ
   ットワーク接続情報を書き換え可能に記憶する第１の記
   憶手段と、 上記複数個のニューロンのうちのそれぞれのニューロン
   毎の、該ニューロンの状態エネルギー及び該ニューロン
   に接続されたシナプスの結合荷重をそれぞれ書き換え可
   能に記憶する第２の記憶手段と、 上記第１の記憶手段に記憶されたネットワーク接続情報
   を用いて発火したニューロンを検索し、捜し出されたニ
   ューロンに付与されたニューロン番号を上記第１の記憶
   手段から読み出す第１の演算手段と、 該第１の演算手段により読み出されたニューロン番号を
   用いて、該ニューロン番号に対応するニューロンの状態
   エネルギーと該ニューロンに接続されたシナプスの結合
   荷重とを上記第２の記憶手段から読み出す第２の演算手
   段と、 該第２の演算手段により読み出されたシナプスの結合荷
   重を用いて、上記複数個のニューロンの出力と該複数個
   のニューロンにそれぞれ接続されたシナプスの結合荷重
   との積和を演算する第３の演算手段とを備えていること
   を特徴とするニューラルネットワーク回路。
4. 【請求項４】 上記番号付与手段は、上記複数個のニュ
   ーロンに対して、各ニューロンが増殖により生成された
   順番に相当するニューロン番号を付与することを特徴と
   する請求項３に記載のニューラルネットワーク回路。
5. 【請求項５】 上記第２に演算手段は、上記第２の記憶
   手段に記憶された状態エネルギー及びシナプスの結合荷
   重を書き換える機能をさらに有し、 上記第１の演算手段は、上記第２の演算手段により書き
   換えられた状態エネルギーを用いて、上記第１の記憶手
   段に記憶されたネットワーク接続情報を書き換える機能
   をさらに有していることを特徴とする請求項３に記載の
   ニューラルネットワーク回路。
6. 【請求項６】 状態エネルギーを持ち該状態エネルギー
   が所定のしきい値を超過すると増殖する複数個のニュー
   ロンを有し、該複数個のニューロンのうちの何れかのニ
   ューロンの状態エネルギー及び該ニューロンに接続され
   たシナプスの結合荷重を変更することにより学習を行な
   う多層のニューラルネットワークを実現するニューラル
   ネットワーク回路であって、 上記複数個のニューロンのそれぞれに固有のニューロン
   番号を付与する番号付与手段と、 上記ニューロン番号がそれぞれ付与された上記複数個の
   ニューロンの接続状態を、該複数個のニューロンが増殖
   により生成されてきた過程を示すことによって表わすネ
   ットワーク接続情報、並びに、上記複数個のニューロン
   のうちのそれぞれのニューロン毎の、該ニューロンの状
   態エネルギー及び該ニューロンに接続されたシナプスの
   結合荷重をそれぞれ書き換え可能に記憶する記憶手段
   と、 該記憶手段に記憶されたネットワーク接続情報を用いて
   発火したニューロンを検索し、捜し出されたニューロン
   に付与されたニューロン番号を上記記憶手段から読み出
   す第１の演算手段と、 該第１の演算手段により読み出されたニューロン番号を
   用いて、該ニューロン番号に対応するニューロンの状態
   エネルギーと該ニューロンに接続されたシナプスの結合
   荷重とを上記記憶手段から読み出す第２の演算手段と、 該第２の演算手段により読み出されたシナプスの結合荷
   重を用いて、上記複数個のニューロンの出力と該複数個
   のニューロンにそれぞれ接続されたシナプスの結合荷重
   との積和を演算する第３の演算手段と、 上記第１の演算手段から出力される第１のアドレスをビ
   ット毎に論理反転しその結果得られる第２のアドレスを
   出力するアドレス変換手段と、 該アドレス変換手段から出力される第２のアドレス及び
   上記第２の演算手段から出力される第３のアドレスのう
   ちの何れか一方を選択し、上記第２のアドレスを選択し
   た場合には上記第１の演算手段による上記記憶手段の第
   ２のアドレスに対するアクセスを可能とする一方、上記
   第３のアドレスを選択した場合には上記第２の演算手段
   による上記記憶手段の第３のアドレスに対するアクセス
   を可能とする選択手段と、 該選択手段による選択を決定するための選択信号を出力
   する選択信号出力手段とを備えていることを特徴とする
   ニューラルネットワーク回路。
7. 【請求項７】 上記第２に演算手段は、上記記憶手段に
   記憶された状態エネルギー及びシナプスの結合荷重を書
   き換える機能をさらに有し、 上記第１の演算手段は、上記第２の演算手段により書き
   換えられた状態エネルギーを用いて、上記記憶手段に記
   憶されたネットワーク接続情報を書き換える機能をさら
   に有していることを特徴とする請求項６に記載のニュー
   ラルネットワーク回路。
8. 【請求項８】 入力信号にネットワークの演算を施すこ
   とにより得られ認識の対象となるＮ個のカテゴリーのう
   ちｎ個のカテゴリーを認識結果の候補として選出するニ
   ューラルネットワークを実現するニューラルネットワー
   ク回路であって、 ２つのデータの値同士の大きさを比較する比較手段と、
   上記２つのデータのうち値が大きい方のデータを記憶す
   る第１の記憶手段と、上記２つのデータのうち値が小さ
   い方のデータを記憶する第２の記憶手段と、上記第１の
   記憶手段に記憶されたデータに付随する他のデータとの
   識別情報を記憶する第３の記憶手段と、上記第２の記憶
   手段に記憶されたデータに付随する他のデータとの識別
   情報を記憶する第４の記憶手段とを有する（ｎ−１）個
   の第１乃至第（ｎ−１）の候補選出手段と、 上記比較手段と上記第１及び第３の記憶手段とを有する
   第ｎの候補選出手段とを備え、 第１の候補選出手段の比較手段により比較される２つの
   データのうち一方のデータが第１の候補選出手段の第１
   の記憶手段に記憶されたデータとなり他方のデータがＮ
   個のデータのうちの何れかのデータとなり、第ｉの候補
   選出手段（２≦ｉ≦ｎ）の比較手段により比較される２
   つのデータのうち一方のデータが第ｉの候補選出手段の
   第１の記憶手段に記憶されたデータとなり他方のデータ
   が第（ｉ−１）の候補選出手段の第２の記憶手段に記憶
   されたデータとなるように、ｎ個の第１乃至第ｎの候補
   選出手段はカスケード接続されていることを特徴とする
   ニューラルネットワーク回路。
9. 【請求項９】 第１及び第２の値を持つ教師信号を与え
   ることにより学習を行なう複数個のニューロンを有した
   ニューラルネットワークを実現するニューラルネットワ
   ーク回路であって、 上記複数個のニューロンのうち、上記教師信号の第１の
   値を用いて学習を行なうニューロンを指定する指定手段
   と、 該指定手段によるニューロンの指定を有効とするか否か
   を決定する決定手段とを備え、 該決定手段により、上記指定手段によるニューロンの指
   定を有効とすると決定された場合にのみ、上記指定手段
   により指定されたニューロンに対して上記教師信号の第
   １の値を用いて学習を行ない且つ上記複数個のニューロ
   ンのうち上記指定手段により指定されたニューロンを除
   くニューロンに対して上記教師信号の第２の値を用いて
   学習を行なうように構成されていることを特徴とするニ
   ューラルネットワーク回路。