JPH08297649A

JPH08297649A - 神経回路網模擬装置

Info

Publication number: JPH08297649A
Application number: JP7099176A
Authority: JP
Inventors: Natsuki Oka; 夏樹岡; Toshiki Kanemichi; 敏樹金道
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-04-25
Filing date: 1995-04-25
Publication date: 1996-11-12

Abstract

(57)【要約】【目的】パターン認識等に用いられる神経回路網模擬
装置に関し、学習の収束性などを保証する損失関数が明
かであり、実用上十分な学習速度が得られ、人にとって
分かりやすく出力算出のための計算負荷も小さい階段関
数に精度を落すことなく容易に変換できる疑似階段関数
で目的関数を近似でき、目的関数の近似に適した構造が
得られることを目的とする。【構成】局所基底修正回路１６および局所基底設定回
路１８により複数の局所基底出力計算回路１０の出力が
入力空間上の各位置で同時には大きい値を持たないよう
に局所基底出力計算回路１０の内部パラメータの修正お
よび初期設定を行う神経回路網模擬装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声、画像をはじめと
するパターン認識、適応制御に用いられる神経回路網模
擬装置に関するものである。

【０００２】

【従来の技術】近年、神経回路網を応用した神経回路網
模擬装置は、音声認識などに広く応用されるようになっ
てきた。神経回路網を応用した神経回路網模擬装置とし
ては、さまざまな種類のものが知られている。代表的な
ものとして、文献（ＰＤＰモデル、Ｄ．Ｅ．ラメルハー
ト他２名、甘利俊一監訳、産業図書、１９８９年）に詳
しく記載されている多層パーセプトロン（ＭＬＰ）と呼
ばれるもの、ある局所的な範囲以外では出力値が０に極
めて近い関数（局所基底関数）を用い、出力信号が局所
基底関数の出力の総和によって規格化されており、必要
に応じて局所基底関数を追加できることを特徴とするＱ
ＣＮｅｔと呼ばれるもの（特願平６−９３２３７号）、
及び文献（セルフ・オーガニゼイション・アンド・アソ
シエイティブ・メモリ、Ｓｅｌｆ−Ｏｒｇａｎｉｚａｔ
ｉｏｎａｎｄＡｓｓｏｃｉａｔｉｖｅＭｅｍｏｒ
ｙ、Ｔ．Ｋｏｈｏｎｅｎ著、Ｓｐｒｉｎｇｅｒ−Ｖｅｒ
ｌａｇ、１９８７年）に記載された学習ベクトル量子化
（ＬＶＱ）と呼ばれるものがある。こうした神経回路網
模擬装置の目的の多くは、提示される入力と教師信号
（理想的な出力信号）から入出力関係を獲得すること
（学習）である。神経回路網模擬装置は、この機能を持
つが故に、入出力関係が従来のルールによる記述では容
易ではない場合、すなわちパターン分類や制御値の推定
が困難である場合でも、利用可能なパターン分類装置や
適応制御装置を実現できる要素技術となっている。

【０００３】また、坂口らは、文献（出力信号の構造を
反映した競合学習型神経回路モデル、坂口豊、村田昇
著、電子情報通信学会研究会報告ＮＣ８９−５４、１９
８９年）において、目的関数の性質を反映した中間素子
を形成し、目的関数をよりよく近似する以下の学習法を
提案している。

【０００４】図１０は、坂口らが提案している従来の神
経回路網模擬装置の構成を示すブロック図である。図１
０において、１−ｉ（ｉ＝１〜４）は入力信号ｘを受け
て内部に保持した参照ベクトルＷｉとの距離を計算して
距離信号Ｄｉを出力する距離計算回路であり、２は距離
計算回路１−１〜４から距離信号Ｄｉ（ｉ＝１〜４）を
受けて、最小の距離信号を与える距離計算回路の番号を
示す最小距離番号信号ＩＤｍｉｎと、２番目に小さい距
離信号を与える距離計算回路の番号を示す第２距離番号
信号ＩＤｓｅｃを出力する競合回路であり、３は競合回
路２から最小距離番号信号ＩＤｍｉｎを受けて内部に保
持した距離計算回路の番号に応じて割り振られたメモリ
から最小距離番号信号ＩＤｍｉｎが指定するアドレスに
格納された値（またはベクトル）を読みだして出力信号
ｙとして出力する出力計算回路であり、４は教師信号入
力端子から与えられる教師信号ｚと出力計算回路３から
出力信号ｙとの差分信号Ｅ＝ｚ−ｙと競合回路２からの
最小距離番号信号ＩＤｍｉｎを受けて出力計算回路３の
メモリを修正する結合加重修正回路であり、５は差分信
号Ｅと最小距離番号信号ＩＤｍｉｎと第２距離番号信号
ＩＤｓｅｃと、入力信号ｘとを受けて距離計算回路１−
１〜４の参照ベクトルを修正する参照ベクトル修正回路
である。

【０００５】以上のように構成された神経回路網模擬装
置について、以下その動作について説明する。まず、距
離計算回路１−ｉ（ｉ＝１〜４）は入力端子からの入力
信号ｘを受け、内部に保持した参照ベクトルＷｉとの距
離を示す距離信号Ｄｉを次式のように計算して、出力す
る。

【０００６】

【数１】

【０００７】競合回路２はそれぞれの距離計算回路１−
ｉから距離信号Ｄｉを受けて、最小の距離信号を与える
距離計算回路の番号を示す最小距離番号信号

【０００８】

【数２】

【０００９】と２番目に小さい距離信号を与える距離計
算回路の番号を示す第２距離番号信号ＩＤｓｅｃとを計
算して出力する。出力計算回路３は競合回路２から最小
距離番号信号ＩＤｍｉｎを受けて、内部記憶に距離計算
回路１−ｉごとに対応して記憶されている値ｖ（ｉ）か
ら、最小距離番号信号ＩＤｍｉｎによって指定される値
ｖ（ＩＤｍｉｎ）を読みだして出力信号ｙとして出力す
る。

【００１０】学習動作は、次のように行われる。結合加
重修正回路４は、出力信号ｙと教師信号ｚとの差分信号
Ｅと最小距離番号信号ＩＤｍｉｎとを受けて、出力計算
回路３の内部記憶の記憶されている最小距離番号信号Ｉ
Ｄｍｉｎによって指定される値ｖ（ＩＤｍｉｎ）をｖ
（ＩＤｍｉｎ）＋ｃ２・Ｅに修正する。ここで、ｃ２は
学習速度を決めるパラメータである。参照ベクトル修正
回路５は、出力信号ｙと教師信号ｚとの差分信号Ｅと最
小距離番号信号ＩＤｍｉｎと第２距離番号信号ＩＤｓｅ
ｃと、入力信号ｘとを受けて、距離計算回路１−ＩＤｍ
ｉｎの内部に記憶された参照ベクトルＷＩＤｍｉｎと距
離計算回路１−ＩＤｓｅｃの内部に記憶された参照ベク
トルＷＩＤｓｅｃとを

【００１１】

【数３】

【００１２】のように修正する。ここで、ｃ１は学習速
度を決めるパラメータである。このように距離の最小の
参照ベクトルだけでなく、第２距離番号信号で指定され
る隣接する領域の参照ベクトルについても学習を行わせ
ることにより、図１１に示されたように最小距離番号信
号によって指定される領域は、学習によってあまり移動
せずに、代わりに領域の大きさが小さくなる。このと
き、参照ベクトルが動く度合いが大きいほど、２つの参
照ベクトルの距離は縮まり、その分だけさらに領域は小
さくなる。したがって、誤差の絶対値に比例した大きさ
で参照ベクトルを動かせば、参照ベクトルの引っ張りあ
いにより、関数の傾きが急なところほど領域は小さくな
り、参照ベクトルは密に分布するようになる。関数の近
似に適した構造が実現される。

【００１３】また、文献（Ｆｏｘ，Ｄ．，Ｈｅｉｎｚ
ｅ，Ｖ．，Ｍｏｅｌｌｅｒ，Ｋ．，Ｔｈｒｕｎ，Ｓ．ａ
ｎｄＶｅｅｎｋｅｒ，Ｇ．，Ｌｅａｒｎｉｎｇｂｙ
Ｅｒｒｏｒ−ＤｒｉｖｅｎＤｅｃｏｍｐｏｓｉｔｉ
ｏｎ，ｉｎＴ．Ｋｏｈｏｎｅｎ，Ｋ．Ｍａｅｋｉｓａ
ｒａ，Ｏ．ＳｉｍｕｌａａｎｄＪ．Ｋａｎｇａｓ
（ｅｄｓ．），ＡｒｔｉｆｉｃｉａｌＮｅｕｒａｌ
Ｎｅｔｗｏｒｋｓ，ＥｌｓｅｖｉｅｒＳｃｉｅｎｃｅ
Ｐｕｂｌｉｓｈｅｒｓ，ｐｐ．２０７−２１２，１９
９１．）では、前記坂口らの方法と類似の方法が提案さ
れている。Ｆｏｘらの方法は、あらかじめ距離計算回路
間に隣接関係を定義しておき、与えられる例の確率分布
と出力誤差に応じて距離計算回路の保持した参照ベクト
ルを修正していく点が、坂口らの方法と異なる。

【００１４】

【発明が解決しようとする課題】上記従来の方法はいず
れも、関数を精度良く近似する目的で提案されたもので
あり、これらのうち、ＭＬＰやＱＣＮｅｔでは、連続関
数は連続関数として学習される。ＭＬＰやＱＣＮｅｔで
は、通常、複数個の基底関数の重ね合わせとして出力を
算出するため、学習した結果の神経回路網模擬装置の動
作を簡潔に分かりやすく説明することが困難であること
が知られており、このことは、学習結果の正当性を保証
したり、学習後の神経回路網模擬装置の動作を予測した
り、安心して学習後の神経回路網模擬装置からの出力を
利用したりするための障害になっている。また、ＭＬＰ
やＱＣＮｅｔにおいては、ある入力に対する出力を計算
するためには、指数関数などの負荷の大きい計算を要す
るが、このことは、低価格の機器内に組み込む安価なマ
イクロコンピュータなどによって、実用的な速度で出力
を求めるための障害になっている。

【００１５】また、ＬＶＱや坂口らの方法やＦｏｘらの
方法では、連続関数は階段関数として近似され、分散的
な表現は生じないため、神経回路網模擬装置の動作を理
解、説明することが比較的容易になる。しかしながら、
これらの方法では、距離計算回路の個数はあらかじめ用
意したものに固定されるため、必要十分な個数の距離計
算回路を用いた簡潔で分かりやすい学習結果を得るため
には、距離計算回路の個数についての多数回の試行錯誤
が必要になるという効率上の課題があった。

【００１６】さらに、ＬＶＱには、出力誤差に応じては
距離計算回路の保持した参照ベクトルの配置は決まらな
いという課題や、出力計算経路が記憶する結合加重は学
習によって修正されるのではなく固定であるという課題
を有していた。坂口らの方法やＦｏｘらの方法では、こ
の２点は部分的に解決されているが、なるべく少ない数
の距離計算回路で出力誤差が所定の値に収まるように、
距離計算回路の保持する参照ベクトルと出力計算回路が
記憶する結合加重とを学習によって効率良く修正すると
いう点で十分ではなかった。これは、これらの方法が、
損失関数の最急降下方向に学習を進めるといった明確な
指針を欠き、出力誤差を小さくするためには本質的でな
い情報（距離計算回路間の隣接関係など）に依存した学
習を行うからである。

【００１７】本発明は上記従来の課題を解決するもの
で、学習の収束性などを保証する損失関数が明かであ
り、実用上十分な学習速度が得られ、人にとって分かり
やすく出力算出のための計算負荷も小さい階段関数に精
度を落すことなく容易に変換できる疑似階段関数で目的
関数を近似でき、目的関数の近似に適した構造が得られ
る神経回路網模擬装置を実現するものである。

【００１８】

【課題を解決するための手段】この目的を達成するため
に本発明の神経回路網模擬装置は、入力信号を受けて局
所基底出力信号を計算して出力する局所基底出力計算回
路と、複数の局所基底出力計算回路からの局所基底出力
信号を受けてその総和をとり総局所基底出力信号を出力
する加算器と、局所基底出力計算回路と加算器とから局
所基底出力信号と総局所基底出力信号とを受けて規格化
局所基底出力信号を出力する除算器と、除算器からの規
格化局所基底出力信号を受け内部に保持した結合加重と
の積を局所出力信号として出力する局所出力計算回路
と、複数の局所出力計算回路からの局所出力信号の総和
を出力信号として出力する加算器と、教師信号と出力信
号との差分信号と除算器からの規格化局所基底出力信号
を受けて対応する局所出力計算回路の結合加重を修正す
る結合加重修正回路と、入力信号と出力信号と差分信号
と除算器からの規格化局所基底出力信号を受けて、複数
の局所基底出力計算回路の出力が入力空間上の各位置で
同時には大きい値を持たないように各局所基底出力計算
回路の内部パラメータを修正する局所基底修正回路と、
出力信号と教師信号と前記加算器からの総局所基底出力
信号とを受けて局所出力計算回路の結合加重を初期設定
する結合加重設定回路と、入力信号と局所出力計算回路
の内部パラメータに基づいて、複数の局所基底出力計算
回路の出力が入力空間上の各位置で同時には大きい値を
持たないように各局所基底出力計算回路の内部パラメー
タを初期設定する局所基底設定回路とからなる構成を有
してしている。

【００１９】

【作用】この構成によって、出力信号ｙは入力信号ｘと
いくつかのパラメータとを用いた初等関数の組み合わせ
で生成されており、神経回路網模擬装置の学習則に対す
る損失関数Ｃは

【００２０】

【数４】

【００２１】と書ける。これを用いて、学習の収束性な
どについても容易に解析できる。また、目的関数に適し
た構造を効率良く得ることができる。加えて、本発明の
構成から明らかなように、一つの入力信号に対しては通
常単一の局所出力計算回路だけが０に極めて近くはない
出力を行うために、ＭＬＰやＱＣＮｅｔと異なって、疑
似階段関数による近似ができる。なお、こうして得られ
た疑似階段関数は、人にとって分かりやすく出力算出の
ための計算負荷も小さい階段関数に精度を落すことなく
容易に変換できる。さらに、誤差が大きい場合に、過去
に蓄積したパラメータに込められた情報を変更すること
なく、新たに入力信号ｘの近くでのみ働く神経細胞模擬
素子を活性化させ、出力信号ｙが入力された教師信号ｚ
となるようにすることによって、学習の高速化を実現す
ることができる。

【００２２】

【実施例】以下本発明の一実施例について、図面を参照
しながら説明する。

【００２３】図１において、１０は入力信号ｘを受けて
局所基底出力信号Ｓを計算して出力する局所基底出力計
算回路であり、１１は複数の局所基底出力計算回路１０
からの局所基底出力信号Ｓを受けてその総和をとり総局
所基底出力信号Ｓｔｏｔａｌを出力する加算器であり、
１２は局所基底出力計算回路１０と加算器１１とから局
所基底出力信号Ｓと総局所基底出力信号Ｓｔｏｔａｌと
を受けて規格化局所基底出力信号ｂを出力する除算器で
あり、１３は除算器１２からの規格化局所基底出力信号
を受け内部に保持した結合加重ｖとの積を局所出力信号
ｏとして出力する局所出力計算回路であり、１４は複数
の局所出力計算回路１３からの局所出力信号ｏの総和を
出力信号ｙとして出力する加算器であり、１５は教師信
号ｚと出力信号ｙとの差分信号Ｅと除算器１２からの規
格化局所基底出力信号ｂを受けて対応する局所出力計算
回路１３の結合加重ｖを修正する結合加重修正回路であ
り、１６は入力信号ｘと出力信号ｙと差分信号Ｅと除算
器１２からの規格化局所基底出力信号ｂを受けて対応す
る局所基底出力計算回路１０の内部パラメータを修正す
る局所基底修正回路であり、１７は出力信号ｙと教師信
号ｚと差分信号Ｅと総局所基底出力信号Ｓｔｏｔａｌを
受けて局所出力計算回路１３の結合加重を設定する結合
加重設定回路であり、１８は入力信号ｘに基づいて局所
基底出力計算回路１０の内部パラメータを設定する局所
基底設定回路である。

【００２４】以上のように構成された神経回路網模擬装
置について、その動作を説明する。なお、ここでは局所
基底出力計算回路１０の性質を特徴づける局所基底関数
として、ガウス関数を用いた場合について説明する。

【００２５】まず、初期の設定については、例えば最初
の２つのデータ（ｘ１，ｚ１）、（ｘ２，ｚ２）から、

【００２６】

【数５】

【００２７】とする方法がある。ただし、σ０は固定値
であって、複数の局所基底出力計算回路１０の参照ベク
トル間の予想される距離に比べて十分小さい値とする。

【００２８】次に、入力信号ｘが局所基底出力計算回路
１０に入る。ｉ番目の局所基底出力計算回路において、
局所基底出力信号Ｓ（ｉ）が

【００２９】

【数６】

【００３０】と計算され、出力される。ここで、ａ
（ｉ）は０または１の値を持つ活性パラメータであり、
μ（ｉ）は参照ベクトルであり、σ²（ｉ）は分散であ
る。加算器１１は局所基底出力計算回路１０から出力さ
れるすべての局所基底出力信号Ｓの総和

【００３１】

【数７】

【００３２】を計算して総局所基底出力信号Ｓｔｏｔａ
ｌを出力する。（ただし、Ｎは局所基底出力計算回路１
０の個数）ｉ番目の除算器１２はｉ番目の局所基底出力
計算回路１０と加算器１１から局基底出力信号Ｓ（ｉ）
と総局所基底出力信号Ｓｔｏｔａｌを受けて、規格化局
所基底出力信号ｂ（ｉ）を

【００３３】

【数８】

【００３４】と計算し出力する。ｉ番目の局所出力計算
回路１３は、除算器１２からの規格化局所基底出力信号
ｂ（ｉ）と内部に保持した結合加重ｖ（ｉ）とから、局
所出力信号ｏ（ｉ）を次式のように計算し、出力する。

【００３５】

【数９】

【００３６】加算器１４は、局所出力計算回路１３から
の局所出力信号ｏを受けて、出力信号ｙを次式のように
計算し、出力する。

【００３７】

【数１０】

【００３８】次に学習の動作について説明する。入力信
号ｘに対して教師信号ｚが与えられると、まず、入力信
号ｘから計算された出力信号ｙと教師信号ｚとの差分が
とられ、差分信号Ｅが生成される。差分信号Ｅは結合加
重修正回路１５と局所基底修正回路１６と結合加重設定
回路１７と局所基底設定回路１８に入力される。

【００３９】差分信号Ｅの絶対値が閾値θＥより小さい
か、または値が１である活性パラメータの数Ｎａが局所
基底出力計算回路１０の数Ｎに等しい場合には、結合加
重修正回路１５と局所基底修正回路１６は以下のように
動作する。

【００４０】ｉ番目（ｉ＝１〜Ｎａ）の結合加重修正回
路１５は、また教師信号ｚとｉ番目の除算器から規格化
局所基底出力信号ｂ（ｉ）を受け、ｉ番目の局所出力計
算回路１３の結合加重ｖ（ｉ）を次のように修正する。

【００４１】

【数１１】

【００４２】一方、ｉ番目の局所基底修正回路１６は、
入力信号ｘとｉ番目の除算器からの規格化局所基底出力
信号ｂ（ｉ）と出力信号ｙとを受け、局所基底出力計算
回路１３から結合加重ｖ（ｉ）を読みだし、ｉ番目の局
所基底出力計算回路１０の内部パラメータを次のように
修正する。

【００４３】

【数１２】

【００４４】この式から分かるように、σ（ｉ）の値は
固定であり、学習によっては変化しない。また、この場
合、結合加重設定回路１７と局所基底設定回路１８は何
もしない。

【００４５】次に、差分信号Ｅの絶対値が閾値θＥより
大きく、かつ値が１である活性パラメータの数Ｎａが局
所基底出力計算回路１０の数Ｎより小さい場合には、結
合加重修正回路１５と局所基底修正回路１６は何もしな
い。また、結合加重設定回路１７と局所基底設定回路１
８は、以下のように動作する。

【００４６】結合加重設定回路１７は、Ｎａ＋１番目の
局所出力計算回路１３の結合加重ｖ（Ｎａ＋１）を次の
ように設定する。

【００４７】

【数１３】

【００４８】一方、局所基底設定回路１８は、入力信号
ｘの値に応じて、Ｎａ＋１番目の局所基底出力計算回路
１０の内部パラメータを次のように設定する。

【００４９】

【数１４】

【００５０】ただし、σ０は固定値であって、複数の局
所基底出力計算回路１０の参照ベクトル間の予想される
距離に比べて十分小さい値とする。

【００５１】また、初期の設定については、分散σ０は

【００５２】

【数１５】

【００５３】としてもよい。ただし、ｋは定数、Ｄは入
力の幅、DIMは入力空間の次元、Ｎは素子の数である。

【００５４】以下、本実施例による神経回路網模擬装置
の特性と従来の神経回路網模擬装置ＱＣＮｅｔ（特願平
６−９３２３７号）の特性を比較する実験の結果、およ
び、本実施例による神経回路網模擬装置の特性を示す実
験の結果を示す。

【００５５】図２に示す３種類の関数ｆ１、ｆ２、ｆ３
の入出力関係を本実施例による神経回路網模擬装置また
は従来の神経回路網模擬装置ＱＣＮｅｔに例として与え
学習させる実験を行った。各図の上側が関数面の３次元
表示、下側が等高線表示である。

【００５６】３種類の関数はそれぞれ、次の通りであ
る。ｆ１（ｘ，ｙ）＝０．５（ｘ＋ｙ）ｆ２（ｘ，ｙ）＝０．５（ｘ²＋ｙ²）ｆ３（ｘ，ｙ）＝０．５（１＋ｃｏｓ（πｘ）ｃｏｓ
（πｙ））（０＜ｘ，ｙ＜１）の領域内で訓練例をランダムに生成
してシステムに順次与え、インクリメンタルに学習させ
た。なお、この領域内では、（０＜ｆ１（ｘ，ｙ），ｆ
２（ｘ，ｙ），ｆ３（ｘ，ｙ）＜１）である。

【００５７】まず、比較のために、従来の神経回路網模
擬装置ＱＣＮｅｔにより、関数ｆ１を学習させた結果
（典型的な一例）を図３と図４を用いて示す。ここで
は、出力誤差が閾値θＥを越えたときに新たに局所基底
出力計算回路を活性化し、また、冗長な局所基底出力計
算回路の不活性化（特願平６−９３２３７号）も行って
いる。

【００５８】図３に学習の経過を示す。図中の正方形は
ｘｙ平面（０＜ｘ，ｙ＜１）である。（ａ）、（ｂ）、
（ｃ）にそれぞれ２００例、１６００例、５１２００例
を与えた時点での等間隔のサンプル点におけるＱＣＮｅ
ｔの出力の大きさを示した。図中の白丸は出力が０．５
以上であることを、黒丸は出力が０．５以下であること
を表し、丸の半径は｜出力−０．５｜に比例する。各図
中の＋印の位置と大きさは、各局所基底出力計算回路の
参照ベクトルμ（ｉ）の位置と分散σ²（ｉ）の大きさ
に対応している。

【００５９】また、図４は、５１２００例の時点でのＱ
ＣＮｅｔの出力値（実線）と、もとの関数ｆ１の出力値
（破線）を併せて３次元表示したものである。

【００６０】この実験では、学習初期に２個の冗長な局
所基底出力計算回路が不活性化された（図には示されて
いない）が、その後、残った２個の局所基底出力計算回
路の参照ベクトルμ（ｉ）が適切な位置に動くととも
に、分散σ²（ｉ）が大きくなることにより、滑らかな
近似が達成されていったことがこれらの図から分かる。
これらの図から分かるように、ＱＣＮｅｔの出力は、複
数の局所基底出力計算回路からの出力の重ね合わせから
なっており、学習対象の関数がより複雑な場合には、活
性化される局所基底出力計算経路の数が増え、また、そ
の重ね合わされ方も複雑になり、装置全体の動作は容易
には理解できないものとなる。

【００６１】次に、関数ｆ１の入出力例を与えて本実施
例による神経回路網模擬装置に学習を行わせた結果の例
を図５、図６、図７、図８、及び図９を用いていくつか
示す。

【００６２】まず、出力誤差が、ＱＣＮｅｔでの前記の
実験と同じ閾値θＥを越えたときに新たに局所基底出力
計算回路１０を活性化した場合の結果（典型的な一例）
を示す。図５に学習の経過を示す。（ａ）、（ｂ）、
（ｃ）にそれぞれ２００例、８００例、１６００例を与
えた時点での状態を示している。なお、これ以上学習を
続けてもあまり変化はなかった。

【００６３】また、図６は、１６００例の時点での本実
施例による神経回路網模擬装置の出力値（実線）と、も
との関数ｆ１の出力値（破線）を併せて３次元表示した
ものである。

【００６４】この実験では、３個の局所基底出力計算回
路１０が作られ、その後、これらの局所基底出力計算回
路１０の参照ベクトルμ（ｉ）が適切な位置に動く（こ
の場合は、ｘ＋ｙの値の勾配方向に沿って一列に並ぶ）
とともに、それぞれの結合加重ｖ（ｉ）が調整されるこ
とにより、疑似階段関数（階段関数の角が少しだけなま
った形の関数）による良好で分かりやすい近似が達成さ
れていったことがこれらの図から分かる。

【００６５】つぎに、局所基底出力計算回路１０の活性
化の閾値θＥをより小さい値としたときの結果の一例を
図７に示す。これは１２８００例提示後の様子である
が、閾値θＥの値を小さくしたことにより、より細かい
階段状の関数として近似されたことが分かる。途中経過
の図は省略するが、この場合は、初期に作られた５個の
局所基底出力計算回路１０の参照ベクトルμ（ｉ）が局
所基底修正回路１６の働きによって、しだいに図のよう
な配置に移動していった。

【００６６】次に、関数ｆ２の学習結果の一例を２次元
表示と３次元表示で図８に示す。これは８００例提示後
の様子であるが、１１個の局所基底出力計算回路１０に
よって階段状の関数として近似されていることが分か
る。関数ｆ１とは異なり、関数ｆ２では、出力値の等高
線は直線でなく円弧であるため、出力値が近い領域は円
弧状となる。また、各局所基底出力計算回路１０の分散
σ²（ｉ）が互いに等しいという条件の下では、円弧状
の領域を単一の局所基底出力計算回路１０でカバーする
ことはできない。したがって、互いに似た結合加重ｖ
（ｉ）と対応する局所基底出力計算回路１０の参照ベク
トルμ（ｉ）が図のように円弧上に並んで生成される。

【００６７】次に、関数ｆ３の学習結果を示す。図９の
（ａ）、（ｂ）は、閾値θＥが比較的大きいとき、
（ｃ）は、閾値θＥが比較的小さいときの結果の例であ
る。一番上の場合と真中の場合の差は、乱数で生成して
いる訓練例の提示場所の違いにより生じたものである。

【００６８】（ａ）は、活性化された４個の局所基底出
力計算回路１０の参照ベクトルμ（ｉ）が局所基底修正
回路１６によって調整されて、１２８００例提示の時点
でほぼ格子状に配置されたときの出力の様子を示したも
のである。本実施例による神経回路網模擬装置の出力値
（実線）と、もとの関数ｆ３の出力値（破線）が併せて
３次元表示されている。

【００６９】（ｂ）は、活性化された５個の局所基底出
力計算回路１０による近似の様子を示したものである
（６４００例提示の時点）。図には示していないが、１
個の局所基底出力計算回路１０の参照ベクトルμ（ｉ）
がｘｙ平面のほぼ中央に配置され、残りの４個はそれぞ
れｘｙ平面の４隅に配置されている。

【００７０】（ｃ）では、閾値θＥが小さいため、９個
の素子により近似が行なわれている（５１２００例提示
の時点）。

【００７１】以上のように、本実施例による神経回路網
模擬装置によれば、出力信号ｙが入力信号ｘといくつか
のパラメータとを用いた初等関数の組み合わせで生成さ
れており、学習のための損失関数Ｃは

【００７２】

【数１６】

【００７３】と書ける。これを用いて、学習の収束性な
どについても容易に解析できる。また、規格化された局
所基底関数を用い、複数の局所基底関数の出力が入力空
間上の各位置で同時には大きい値を持たないように、そ
れぞれの局所基底関数のパラメータを初期設定する局所
基底設定回路１８と、複数の局所基底関数の出力が入力
空間上の各位置で同時には大きい値を持たないように、
それぞれの局所基底関数のパラメータを修正する局所基
底修正回路１６を備えることにより、図５から図９に示
したように、疑似階段関数による近似を実現できる。

【００７４】また、図５から図９に示したように、許容
される出力誤差の上限、すなわち、新たな局所基底出力
計算回路１０を活性化するかどうかを判定する閾値θＥ
の値の設定に応じて、適切な粗さで階段状の関数による
近似がなされる。なお、中間層の素子数の最大値Ｎを設
定して、それに応じた粗さによる近似を行うこともでき
る。

【００７５】さらに、図５から図９に示したように、結
合加重修正回路１５および局所基底修正回路１６の働き
によって各局所基底出力計算回路１０の参照ベクトルμ
（ｉ）の配置および結合加重ｖ（ｉ）が調整されること
により、多くの場合に（ある活性化された局所基底出力
計算回路１０の数の下での出力誤差を最小に近くするも
のという意味で）妥当な疑似階段関数による近似が実現
される。これは、多くの場合に、人にとって理解、伝達
が容易で、かつ、ある限られた計算資源のもとでの出力
誤差を最小に近いものにできる学習結果を得ることがで
きることを意味する。

【００７６】本実施例の神経回路網模擬装置により得ら
れた疑似階段関数による近似は、各局所基底出力計算回
路１０の分散σ²（ｉ）が互いに等しいことから、各局
所基底出力計算回路１０の参照ベクトルμ（ｉ）を母点
とするボロノイ図において、各母点の勢力圏ごとに出力
ｙが一定値ｖ（ｉ）をとるとする近似（階段関数による
近似）に容易に変換でき、また、変換によって出力ｙの
精度はほとんど変化しない。母点からボロノイ図を求め
る効率の良いアルゴリズムは文献（伊理正夫（監）、腰
塚武志（編）、計算幾何学と地理情報処理、４．８節、
ｂｉｔ別冊、共立出版、１９８６）に記されている。こ
のようにして得られた階段関数による近似は、人にとっ
て分かりやすく、また、軽い計算負荷ですむために、安
価なマイクロコンピュータなどによっても実用的な速度
で入力から出力を計算できる入出力形式となっている。

【００７７】さらに、誤差が大きい場合に、過去に蓄積
したパラメータに込められた情報はそのまま保ち、入力
信号ｘの近くでのみ働く神経細胞模擬素子を与えられた
教師信号ｚが出力信号ｙとなるように新たに活性化する
ことによって、学習の高速化が実現される。

【００７８】なお、ここでは、各局所基底出力計算回路
１０の分散σ²（ｉ）を小さい値に固定することによっ
て、複数の局所基底関数の出力が入力空間上の各位置で
同時には大きい値を持たないようにしたが、結合加重修
正回路１５と局所基底修正回路１６において、出力誤差
の大きさを示す項だけでなく、複数の局所基底関数の出
力が入力空間上の各位置で同時に大きい値を持つと値が
大きくなる項を含む損失関数を用いて、最急降下法また
は確率的降下法によって、局所基底出力計算回路１０の
参照ベクトルμ（ｉ）と分散σ²（ｉ）と局所出力計算
回路１３の持つ結合加重ｖ（ｉ）を修正することによ
り、複数の局所基底関数の出力が入力空間上の各位置で
同時には大きい値を持たないようにすることもできる。
このとき、損失関数中の、複数の局所基底関数の出力が
入力空間上の各位置で同時に大きい値を持つと値が大き
くなる項としては、たとえば、

【００７９】

【数１７】

【００８０】を用いることができる。ここに、ｃ_Rは、
損失関数におけるこの項の影響の強さを決める定数であ
る。

【００８１】なお、基底関数は区分線形関数のように、
高々可算個の特異点しか持たない関数であれば、特異点
における微係数をあらかじめ局所基底修正回路１６に組
み込んでおくことにより、実質的に基底関数のパラメー
タに関する微分をとることができ、容易にパラメータの
修正量を計算できる。

【００８２】なお、ここでは基底関数としてガウス関数
を用いたが、ある局所的な範囲以外では出力値が０に極
めて近く、微分可能な関数であれば、任意の関数を用い
ることができる。こうした関数を用いた場合であって
も、本発明においては学習則についての損失関数が与え
られているから、関数のパラメータに関する微分をとる
ことによって、容易にパラメータの修正量を計算でき
る。

【００８３】なお、本発明の神経回路網模擬装置の出力
信号ｙは初等関数の組み合わせで表現される。したがっ
て、演算の順序の変更については、いくらかの自由度が
残されるため、本実施例とは異なる演算の順序に対応し
た構成の装置で本実施例と同等の機能を実現することも
できる。異なる演算の順序に対応した構成の一例は特願
平６−９３２３７号の実施例２に示されている。

【００８４】なお、本実施例においては、局所出力計算
回路１３の働きは、規格化局所基底出力信号ｂまたは局
所出力信号Ｓに入力信号ｘに依存しない結合加重ｖをか
けるものであったが、結合加重ｖをｘに依存する項を含
むように拡張することもできる。この拡張のしかたにつ
いては、特願平６−９３２３７号の実施例３に示されて
いる。

【００８５】なお、本実施例においては、各局所基底修
正回路１６、各結合加重修正回路１５、各局所基底設定
回路１８、各結合加重設定回路１７が、独立に学習の処
理の判定を行っていた。この方法は、装置のロバスト性
を考えれば有効であるが、回路規模が大きくなるという
面を持っている。そこで、学習方法をひとまとめに制御
する学習方法切り替え回路を設けることによって、回路
規模の縮小を実現することもできる。この学習方法切り
替え回路の設け方については、特願平６−９３２３７号
の実施例４に示されている。

【００８６】なお、本実施例の神経回路網模擬装置にお
いては、誤差が大きい場合に、局所基底出力計算回路１
０等を新たに設定することにより、学習の高速化を図っ
ている。しかし、この方法だけでは、学習用のデータに
ノイズが含まれている場合や、学習用のデータの順番に
よっては、実質的に不必要な局所基底出力計算回路１０
が生き残る場合がある。こうした現象は、神経回路網模
擬装置のロバスト性の面からは有効であるが、メモリお
よび回路規模の面からは不利となる。この課題を解決
し、局所基底出力計算回路などを効率的に行うために、
忘却機能を導入することもできる。この忘却機能の導入
のしかたについては、特願平６−９３２３７号の実施例
５および実施例７に示されている。

【００８７】なお、学習すべき入出力関係に関してあら
かじめ分かっている情報が存在するとき、この情報を利
用して本発明の神経回路網模擬装置の内部パラメータを
初期設定することにより、計算量を増やすことなく、よ
り高速で、より少数の局所基底出力計算回路１０による
学習を可能とすることもできる。この方法については、
特願平６−９３２３７号の実施例６に示されている。た
だし、本実施例のように局所基底出力計算回路１０の分
散σ²を学習時に固定したままにしておく方法をとる場
合には、特願平６−９３２３７号の実施例６に示された
分散σ²の初期設定法は採用せず、すべての活性化され
る局所基底出力計算回路１０に対して共通の十分小さい
値を設定するものとする。

【００８８】

【発明の効果】以上のように本発明は、入力信号ｘを受
けて局所基底出力信号Ｓを計算して出力する局所基底出
力計算回路と、複数の局所基底出力計算回路からの局所
基底出力信号Ｓを受けてその総和をとり総局所基底出力
信号Ｓｔｏｔａｌを出力する加算器と、局所基底出力計
算回路と加算器とから局所基底出力信号Ｓと総局所基底
出力信号Ｓｔｏｔａｌとを受けて規格化局所基底出力信
号ｂを出力する除算器と、除算器からの規格化局所基底
出力信号を受け内部に保持した結合加重ｖとの積を局所
出力信号ｏとして出力する局所出力計算回路と、複数の
局所出力計算回路からの局所出力信号ｏの総和を出力信
号ｙとして出力する加算器と、教師信号ｚと出力信号ｙ
との差分信号Ｅと除算器からの規格化局所基底出力信号
ｂを受けて対応する局所出力計算回路の結合加重ｖを修
正する結合加重修正回路と、出力信号ｙとの差分信号Ｅ
と除算器からの規格化局所基底出力信号ｂを受けて、複
数の局所基底出力計算回路の出力が入力空間上の各位置
で同時には大きい値を持たないように、対応する局所基
底出力計算回路の内部パラメータを修正する局所基底修
正回路と、教師信号ｚを受けて局所出力計算回路の結合
加重を設定する結合加重設定回路と、入力信号ｘと局所
出力計算回路の内部パラメータに基づいて、複数の局所
基底出力計算回路の出力が入力空間上の各位置で同時に
は大きい値を持たないように各局所基底出力計算回路の
内部パラメータを初期設定する局所基底設定回路とから
構成することにより、損失関数を持ち、目的関数に適し
た構造を効率的に学習することができ、人にとって分か
りやすく出力算出のための計算負荷も小さい階段関数に
精度を落すことなく容易に変換できる疑似階段関数で目
的関数を近似することができる神経回路網模擬装置を実
現できる。

【図面の簡単な説明】

【図１】本発明の一実施例における神経回路網模擬装置
のブロック図

【図２】本発明の神経回路網模擬装置の学習性能を評価
するために用いた３種類の関数の入出力関係を示す図

【図３】従来の神経回路網模擬装置による関数ｆ１の学
習の進行状況を示す図

【図４】従来の神経回路網模擬装置による関数ｆ１の学
習結果を示す図

【図５】本発明の一実施例における神経回路網模擬装置
による関数ｆ１の学習の進行状況を示す図

【図６】同実施例における神経回路網模擬装置による関
数ｆ１の学習結果を示す図

【図７】同実施例における神経回路網模擬装置による関
数ｆ１の学習結果を示す図

【図８】同実施例における神経回路網模擬装置による関
数ｆ２の学習結果を示す図

【図９】同実施例における神経回路網模擬装置による関
数ｆ３の学習結果を示す図

【図１０】従来の神経回路網模擬装置のブロック図

【図１１】従来の神経回路網模擬装置の学習の様子を説
明するための概念図

【符号の説明】

１−１〜４距離計算回路２競合回路３出力計算回路４結合加重修正回路５参照ベクトル修正回路１０局所基底出力計算回路１１加算器１２除算器１３局所出力計算回路１４加算器１５結合加重修正回路１６局所基底修正回路１７結合加重設定回路１８局所基底設定回路

Claims

【特許請求の範囲】

【請求項１】局所的な範囲以外では出力値が０に極め
て近い関数である局所基底関数を用いた神経回路網模擬
装置であって、前記局所基底関数の分散が入力空間の大
きさに比較して小さい値に固定される如く前記局所基底
関数のパラメータを初期設定する局所基底設定回路と、
前記局所基底関数の分散を固定したまま前記局所基底関
数のパラメータを修正する局所基底修正回路と、前記局
所基底関数の出力の総和によって出力信号を規格化する
規格化手段とを具備することを特徴とする神経回路網模
擬装置。
【請求項２】学習の初期および学習過程の途中におい
て局所基底関数に対応する結合加重を設定する結合加重
設定回路を具備し、局所基底設定回路は学習の初期およ
び学習過程の途中において局所基底関数を設定すること
を特徴とする請求項１記載の神経回路網模擬装置。
【請求項３】局所基底修正回路は、複数の局所基底関
数の出力が入力空間上の各位置で同時に大きくなるとと
もに値が大きくなる項を含む損失関数を用いて、最急降
下法または確率的降下法によって局所基底関数のパラメ
ータを修正することを特徴とする請求項１または２記載
の神経回路網模擬装置。