JPH06314268A

JPH06314268A - ニューラルネットの調節装置及び調節方法

Info

Publication number: JPH06314268A
Application number: JP5102980A
Authority: JP
Inventors: Takeshi Shimada; 毅島田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1993-04-28
Filing date: 1993-04-28
Publication date: 1994-11-08

Abstract

(57)【要約】【目的】学習における追加素子数が最小限な、また、
学習済み事例に対する認識精度を低下させることなく、
新規事例学習が可能なニューラルネット調節装置及び調
節方法を提供する。【構成】素子パラメータ保持部２及び結合荷重保持部
３が素子パラメータ及び結合荷重を保持する。事例保存
部４が事例を保存する。反応強度計算部５が各入力パタ
ーンに対する各素子の反応強度及び出力パターンを計算
する。素子パラメータ修正部７及び結合荷重修正部８が
素子に係る素子パラメータ又は結合荷重の少なくとも一
方を教師情報に基づいて修正する。追加条件判定部９が
弱反応パターンを判定する。素子追加部１１、追加素子
パラメータ保持部１２及び追加素子結合荷重保持部１３
が、新たな素子をニューラルネットワークに追加する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、学習によってニューラ
ルネットワークを形成するための、ニューラルネットの
調節装置及び調節方法の改良に関するもので、特に、学
習における追加素子数が最小限で、学習済み事例に対す
る認識精度を低下させることなく新規事例学習を可能と
したものに係る。

【０００２】

【従来の技術】パターン認識において高い認識精度を得
るには、認識に必要な特徴を、認識対象から正確に抽出
することが重要である。しかし、文字画像、音声信号、
電力系統の状態など、認識対象とされる多くのパターン
では、パターンを発生する系（例えば、手・腕・発声器
官・電力系統など）の構成や作用が複雑である。また、
パターン自体についても、高次元のベクトルによって構
成され、パターンの内容も非常に多様であり、さらに、
様々な要因によってパターンに複雑なノイズが重畳され
やすい。このため、これらのパターンから、人間が直
接、系統だった論理に基づいて特徴を抽出することは困
難である。

【０００３】このような特徴抽出を機械化する装置とし
て、ニューラルネットワーク（以下「ニューラルネッ
ト」という）が知られている。このニューラルネット
は、生体の神経組織を模擬した情報処理装置で、入力層
及び出力層を含む多数の素子を有している。これら各素
子間には、入力側から出力側に向かって、信号の伝達効
率（刺激の通り易さ）を表す結合荷重（荷重値リンクと
もいう）が設定されており、また、各素子には信号入力
に対する出力の程度（刺激に対する興奮の強さを表現し
た数値）を決定する関数である反応特性を調節する素子
パラメータが設定されている。なお、結合荷重及び素子
パラメータは、ニューラルネット内部における素子の振
る舞いを決定するパラメータであるから、内部パラメー
タと総称される。

【０００４】このニューラルネットでは、前記内部パラ
メータの適切な調節によって、入力パターンと、各入力
パターンに対する正しい認識結果である出力パターンと
の対応関係を蓄積することができる。このため、認識対
象である入力パターンが入力層に印加されると、入力層
が生じた信号が内部パラメータにしたがって素子間を伝
搬し、その結果、出力層には、入力パターンに対応した
出力パターンが認識結果として出力される。

【０００５】ところで、一般のニューラルネットは、反
応特性を表す反応特性関数がシグモイド(sigmoid）型関
数である素子から構成される。このシグモイド(sigmoi
d）型関数の素子から構成される層が複数重なる構造の
ニューラルネットを、多層パーセプトロン型ニューラル
ネットと呼ぶ。

【０００６】また、近年、反応特性関数の値が所定の閾
値以上になる入力空間の領域（以下「反応領域」とい
う）が有界な素子から構成されるニューラルネットが試
みられている（以下、このような反応特性関数を「反応
領域有界な反応特性関数」と総称する）。すなわち、こ
のようなニューラルネットにおける素子の反応特性関数
をａとし、所定の閾値をθとすると、反応特性関数の出
力値が所定の閾値以上になる入力空間の領域Ωは、

【数１】と定義される。ここで、入力空間は入力パターンのベク
トルによって構成される空間であり、ｎ次元実数空間で
ある。また、ｘはｎ次元実数空間の元で、素子への入力
ベクトルを表す。

【０００７】そして、Ωが有界であるとは、

【数２】が有限であることを意味する。なお、ここで、記号sup
は上限を、ｄ（ｘ，ｙ）はΩの元ｘ，ｙの間の距離を意
味する。また、ｄは、数学上の「距離」の性質を満た
し、ｎ次元実数空間上で定義されるものであればその具
体的内容は限定されないが、例としては、ユークリッド
の距離

【数３】を挙げることができる。ｘ_i，ｙ_iは各々、Ωの元Ｘ，
Ｙの第ｉ番目の成分を表す。

【０００８】表現「反応特性関数の値が所定の閾値以上
になる入力空間の領域が有界な素子」は、換言すれば、
「その素子では、強く反応する入力の存在範囲が、無限
に広がっていない」ことを意味する。

【０００９】なお、このように素子の反応領域が有界と
なる反応特性関数としては、吊鐘型反応特性関数（参考
文献：特願平４−１９５６４０）や、統計学における正
規分布を定義するガウシアン関数、関数近似で用いられ
る円形基底関数(radial basis functions)などを挙げる
ことができる。ここで、図１７は、吊鐘型反応特性関数
における反応特性の概形を示す図である。すなわち、こ
の図では、入力空間を２次元のＸ−Ｙ平面とし、縦軸で
あるＺ軸に関数値をとっている。吊鐘型反応特性関数
は、この図に示すように、その関数に係る素子に外部か
らの入力信号を伝える結合荷重を成分とするベクトル
（以下「結合荷重ベクトル」という）と、入力パターン
のベクトル（以下「入力パターンベクトル」という）と
が一致するときに最大値をとり、結合荷重ベクトルと入
力パターンベクトルの間の距離（たとえば、ユークリッ
ド距離）が大きくなるにつれて値が小さくなる。図で
は、吊鐘の中心が結合荷重ベクトルの位置であり、その
位置でＺ軸上の関数値が最大になっている。この特性関
数の名称は、入力空間が２次元である場合に、関数の形
状が椀を伏せた形、もしくは、「吊鐘」の形に似ている
点に由来する。

【００１０】素子の反応特性がこのような吊鐘型関数で
ある場合、当該素子が反応する入力パターンの存在範囲
（反応領域）は、結合荷重ベクトルを中心座標とする入
力空間上の超球となる（以下、反応領域である超球を
「反応超球」という）。ここで、「超球」とは、多次元
空間上における球を意味する。すなわち、中心をｘ、半
径をｒとするｎ次元実数空間Ｒⁿ上の超球Ｓとは、Ｒⁿ
の部分集合で、

【数４】を満たすものである。これは、空間が二次元の場合には
「円」、三次元の場合には「球」と称されるが、任意次
元の場合に「超球」と称される。

【００１１】次に、図１８は、３次元の入力空間におけ
る反応超球を示す模式図である。ここで、吊鐘型反応特
性関数は、結合荷重ベクトルからの距離が同じ各入力パ
ターンに対して同じ値をとるから、等値面も超球をな
す。そして、反応超球は、具体的には、反応特性関数の
値が所定の微小な閾値となる等値面であるから、ある素
子の反応超球の半径は、当該素子の反応特性関数の値
（本明細書において「反応強度」という）が上記閾値以
上となる範囲から求めることができる。

【００１２】従来のニューラルネットの調節装置や調節
方法は、下記のような各手法に基づいてニューラルネッ
トの調節を行うものである。すなわち、以上のようなニ
ューラルネットにおける学習は内部パラメータの調節を
意味するが、このような学習を行う手法として、バック
プロパゲーションが多用される（参考文献：詳細は、Ru
melhart,D.E.,etc Learning Internal Repersentations
by Error Propagation, Parallel Distributed Proces
sing vol.1, MIT Press(1986) ）。

【００１３】バックプロパゲーションでは、まず、認識
対象としてニューラルネットに入力される入力パターン
と、その入力パターンに対してニューラルネットから出
力されるべき正しい認識結果である出力パターン（本明
細書において「教師情報」という）との対（本明細書に
おいて「事例」という）を形成する。そして、各事例の
各入力パターンをニューラルネットの入力層に印加す
る。これによって、入力側の素子が反応し、入力側の素
子の反応がより出力側にある素子に伝わりその素子が反
応する。これを反応の伝搬と呼ぶ。そして、反応の伝搬
によって、最終的に出力層に現れた出力パターンと教師
情報の誤差を縮小するように内部パラメータを調節す
る。この調節過程は、すべての事例に関して正しい認識
が得られるまで繰り返され、これによってニューラルネ
ットは、認識に必要な特徴を自動的に学習、抽出する。

【００１４】上述したニューラルネットの大きな問題点
として、学習に先立って必要な素子の個数を予測するこ
とが困難である点が指摘されている。すなわち、設定し
た素子の個数が少な過ぎる場合は、入出力特性を実現す
る能力が不足して高い認識精度を得ることができない。
一方、個数が多過ぎる場合は、ニューラルネットの動作
の自由度が高くなって誤差の状態空間内に極小値が多く
発生し、誤差が極小値に捉えられやすくなるため、やは
り高い認識精度を得ることができない。

【００１５】ここで、「誤差が極小値に捉えられ」た状
態とは、次のような状態を意味する。すなわち、ニュー
ラルネットＮを誤差Ｅの観点から見ると、

【数５】Ｅ＝Ｎ（Ｐ）と定式化することができる。ここで、Ｐはニューラルネ
ットの内部パラメータを成分としてとるベクトルを意味
し、具体的には素子間の結合荷重、素子の反応特性を表
す素子パラメータなどの組を意味する。すなわち、誤差
Ｅは、Ｐに各種変化を与えた場合、関数Ｎによって値が
決まるとみなすことができる。

【００１６】ここで、ニューラルネットに、実数値を取
る内部パラメータがｍ個あるとすると、内部パラメータ
のベクトルＰはｍ次元実数空間の点と考えられ、

【数６】が成立する。なお、誤差Ｅは、通常［０，１］の範囲の
実数値であり、このとき、誤差Ｅの状態空間εは、Ｒ^m
と［０，１］との直積空間

【数７】として定義される。

【００１７】そして、素子の個数が増大すると、その
分、素子に繋がる結合荷重の本数や素子パラメータの数
が増大することによって内部パラメータの個数が増大
し、Ｐの次元数が高くなり、その結果、状態空間ε内に
おける誤差Ｅの曲面に、極小値が増加する。

【００１８】ここで、図１９、図２０は、それぞれ、内
部パラメータの個数が１個（ｐ１），２個（ｐ１，ｐ
２）の場合の、状態空間ε内における誤差Ｅの曲面を表
す模式図である。図１９において、ｐ１はパラメータ、
Ｅは誤差を表しており、最小値、極小値がそれぞれ１つ
ずつ存在する。図２０において、ｐ１，ｐ２もパラメー
タであり、誤差Ｅの曲面をｐ１−Ｅ平面で切ると、図１
９となる。図２０においては、個々のパラメータ方向に
極小値が１つずつ存在するため、この場合には計２個の
極小値が存在することとなる。

【００１９】このように、素子が増加し、内部パラメー
タが増加すると、一般には、誤差Ｅの状態空間における
極小値の個数が増大する。ニューラルネットの学習と
は、誤差Ｅが小さくなるように内部パラメータＰの値を
少しずつ変更する手順を意味する。ここで、図２１に示
すように、内部パラメータＰの値は、初期値ａにあると
仮定する。このとき、学習では、誤差Ｅが小さくなる方
向に内部パラメータＰを修正するので、その結果、内部
パラメータＰは極小値をとる位置ｂに移動する。極小値
の付近では、極小値において最も誤差Ｅが低いので、内
部パラメータＰはそれ以上修正されることがなく、誤差
Ｅは最小値に到達することができない。この状態が、
「誤差が極小値に捉えられ」た状態である。

【００２０】このような問題点に対処するには、一般
に、所望の精度を得るまでに試行錯誤的に素子の個数を
変え、適当な素子の個数が判明するまで素子数の異なる
各種のニューラルネットで学習を繰り返すという手法が
用いられる。

【００２１】但し、この手法にも、学習すべきパターン
の数量によっては、ニューラルネットの形成に長時間を
要するという問題点が生ずる。例えば、文字認識は、認
識対象の文字種類が多い大規模なパターン認識であり、
そのうえ、同一の文字でも様々な変形の可能性がある。
このため、それら変形をも高精度に認識させるために
は、極めて大量の事例を学習させなければならない。こ
の結果、上述の試行錯誤と一回の学習に要する長い時間
のために、大規模なパターン認識のためのニューラルネ
ットの形成には、莫大な開発時間が必要となる。

【００２２】さらに、この問題に対する解決策として
は、学習の過程で、必要に応じ徐々に素子数を増やす手
法が用いられている。この手法は、誤差が増加するこ
と、あるいは、誤差の減少の割合が所定の閾値以下にな
ること、などの条件の成立をもって、誤差が極小値に捉
えられているとみなし、中間層の素子を追加するもので
ある。このように素子を追加して増加させれば、極小値
の回避が容易になる。

【００２３】多層パーセプトロンを対象とする素子追加
の手法としては、次のようなものを例示することができ
る（参考文献：特開平２−８３６５６、特開平２−２０
５９６７）。すなわち、これらの手法は、追加しようと
する素子（本明細書において「追加素子」という）につ
ながる結合荷重の初期値として０に近い乱数を設定し、
この乱数によってニューラルネットの内部パラメータの
状態空間の構造をわずかに変化させることで、極小値回
避を期待するものである。

【００２４】また、反応領域有界な反応特性関数を持つ
素子を含むニューラルネットを対象とする素子追加の手
法としては、米国のネスター社(Nestor Incorporated）
のＲＣＥ（ＲＣＥはネスター社の商標である）ニューラ
ルネットワーク（参考文献：特開昭６１−１９３２７９
号，「複数のニューラル・ネット・モデルを統合した学
習システム」,Nestor Inc.(1988.11.28)／「ニューロコ
ンピュータ最前線」、日経ＢＰ社刊）や、特開平２−２
３８５６０、特開平２−２６０８６２各号公報記載の手
法が知られている。

【００２５】すなわち、これらの手法では、追加素子へ
の結合荷重ベクトルの初期値として認識結果に誤差のあ
る入力パターンベクトルそのものを設定し、追加素子の
反応超球の半径には一律に所定の初期値を与える。この
ため、この手法によって追加された素子は誤差のあった
上記の入力パターンに対して最大値で反応することにな
るため、極小値の回避が可能となる。

【００２６】

【発明が解決しようとする課題】しかしながら、上記の
ような従来技術には、次のような問題点が存在してい
た。まず、第１に、多層パーセプトロンを対象とする上
記の手法は、必ずしも有効に極小値回避を実現するもの
ではなかった。すなわち、この手法では、乱数によって
結合荷重の初期値を設定した素子をニューラルネットに
加えていたため、素子追加によってかえってニューラル
ネットにおける誤差の状態空間の構造が悪化し、学習済
み事例に対する認識精度が低下するおそれがあった。

【００２７】第２に、反応領域有界な反応特性関数を持
つ素子を含むニューラルネットを対象とする上記の技術
では、誤差の大きい各入力パターンそれぞれに対して素
子を一個ずつ追加していた。このため、学習事例が大量
の場合には、莫大な数の素子が必要であった。そして、
このようにニューラルネットを構成する素子数が増大す
ると、ニューラルネットの形成に要する時間や内部パラ
メータを格納する記憶装置の容量など、ニューラルネッ
ト形成・維持のための資源もより多く費消されざるを得
ないという問題点があった。

【００２８】本発明は、上記のような従来技術の問題点
を解決するために提案されたもので、その目的は、学習
における追加素子数が最小限なニューラルネットの調節
装置及び調節方法を提供することにある。また、本発明
の他の目的は、学習済み事例に対する認識精度を低下さ
せることなく、新規事例学習が可能なニューラルネット
の調節装置及び調節方法を提供することである。

【００２９】

【課題を解決するための手段】上記の目的を達するた
め、請求項１のニューラルネットの調節装置は、ニュー
ラルネットワークを構成する素子の反応特性を調節する
素子パラメータ及び前記素子間の信号伝達効率を表す結
合荷重を保存する内部パラメータ保存手段と、前記ニュ
ーラルネットに入力する入力パターンとこの入力パター
ンに対応すべき前記ニューラルネットからの出力パター
ンを示す教師情報とからなる事例を保存する事例保存手
段と、前記素子パラメータ及び前記結合荷重に基づいて
前記各入力パターンに対する前記各素子の反応強度及び
出力パターンを計算する反応強度計算手段と、前記素子
に係る前記素子パラメータ又は前記結合荷重の少なくと
も一方を、前記入力パターンに対応する前記教師情報に
基づいて修正する内部パラメータ修正手段と、各素子の
前記反応強度が所定の閾値以下となる前記入力パターン
を弱反応パターンと判定する追加条件判定手段と、前記
弱反応パターンに対して所定値以上の反応強度を生じる
前記素子パラメータ及び前記結合荷重を有する新たな素
子を前記ニューラルネットワークに追加する素子追加手
段とを有することを特徴とする。

【００３０】また、請求項２の発明は、請求項１記載の
ニューラルネットの調節装置において、前記ニューラル
ネットワークは、反応特性関数の値が所定の閾値以上に
なる入力空間の領域が有界な素子を有することを特徴と
する。

【００３１】また、請求項３の発明は、請求項１記載の
ニューラルネットの調節装置において、前記素子追加手
段は、前記各弱反応パターンを、前記入力パターンのベ
クトル空間において相互に所定距離内に位置し、かつ、
当該弱反応パターンに対応する前記教師情報が前記出力
パターンのベクトル空間において相互に所定距離内に位
置する前記弱反応パターンごとのクラスタにクラスタリ
ングするパターンクラスタリング手段と、追加しようと
する各追加素子の前記素子パラメータを、それぞれ別個
の前記クラスタに属する全ての前記弱反応パターンに対
して当該追加素子が所定以上の強度で反応するように決
定する素子パラメータ決定手段と、前記各追加素子の結
合荷重を、前記別個の各クラスタに属する全ての前記弱
反応パターンに対して当該追加素子が所定以上の強度で
反応するように決定する結合荷重決定手段とを有するこ
とを特徴とする。

【００３２】また、請求項４のニューラルネットの調節
方法は、ニューラルネットワークを構成する素子の反応
特性を調節する素子パラメータ及び前記素子間の信号伝
達効率を表す結合荷重に基づいて、前記ニューラルネッ
トに入力される入力パターンに対する前記各素子の反応
強度及び出力パターンを計算する計算工程と、前記素子
に係る前記素子パラメータ又は前記結合荷重の少なくと
も一方を、前記入力パターンに対応すべき前記出力パタ
ーンを示す教師情報に基づいて修正する修正工程と、前
記各素子の前記反応強度が所定の閾値以下となる前記入
力パターンを弱反応パターンと判定する判定工程と、前
記弱反応パターンに対して所定値以上の反応強度を生じ
る前記素子パラメータ及び前記結合荷重を有する新たな
素子を前記ニューラルネットワークに追加する追加工程
とを有することを特徴とする。

【００３３】また、請求項５の発明は、請求項４記載の
ニューラルネットの調節方法において、前記ニューラル
ネットワークは、反応特性関数の値が所定の閾値以上に
なる入力空間の領域が有界な素子を有することを特徴と
する。

【００３４】また、請求項６の発明は、請求項４記載の
ニューラルネットの調節方法において、前記追加工程
は、前記各弱反応パターンを、前記入力パターンのベク
トル空間において相互に所定距離内に位置し、かつ、当
該弱反応パターンに対応する前記教師情報が前記出力パ
ターンのベクトル空間において相互に所定距離内に位置
する前記弱反応パターンごとのクラスタにクラスタリン
グするクラスタリング工程と、追加しようとする各追加
素子の前記素子パラメータを、それぞれ別個の前記クラ
スタに属する全ての前記弱反応パターンに対して当該追
加素子が所定以上の強度で反応するように決定する素子
パラメータ決定工程と、前記各追加素子の結合荷重を、
前記別個の各クラスタに属する全ての前記弱反応パター
ンに対して当該追加素子が所定以上の強度で反応するよ
うに決定する結合荷重決定工程とを有することを特徴と
する。

【００３５】

【作用】上記のような構成を有する本発明は、次のよう
な作用を有する。すなわち、請求項１及び４の発明で
は、前記素子パラメータ及び前記結合荷重に基づいて前
記各入力パターンに対する前記各素子の反応強度及び出
力パターンが計算され、前記素子に係る素子パラメータ
又は結合荷重の少なくとも一方が、前記教師情報に基づ
いて修正される。

【００３６】また、各素子の前記反応強度が所定の閾値
以下となる入力パターンが弱反応パターンと判定され、
前記弱反応パターンに対して所定値以上の反応強度を生
じる素子パラメータ及び結合荷重を有する新たな素子が
ニューラルネットワークに追加される。

【００３７】このように、請求項１及び４の発明では、
素子の素子パラメータ又は結合荷重の少なくとも一方が
修正されるので、既存素子の反応領域について位置と大
きさ双方の修正を行うことができ、また、大きさの修正
は減少のみならず増加方向へも可能なので、素子を追加
することなく誤差の減少が可能な場合が増加する。した
がって、請求項１及び４の発明によれば、学習における
追加素子数が最小限なニューラルネットの調節装置及び
調節方法を提供することができる。

【００３８】また、請求項１及び４の発明では、弱反応
パターンに対して所定値以上の反応強度を生じる素子パ
ラメータ及び結合荷重を有する新たな素子がニューラル
ネットワークに追加される。このため、乱数を用いた追
加素子によってニューラルネットの状態が悪化すること
がない。したがって、請求項１及び４の発明によれば、
学習済み事例に対する認識精度を低下させることなく、
新規事例学習が可能なニューラルネットの調節装置及び
調整方法を提供することができる。

【００３９】また、請求項２及び５の発明では、反応特
性関数の値が所定の閾値以上になる入力空間の領域が有
界な素子を有するニューラルネットワークについて、学
習における追加素子数が最小限で、かつ、新規事例学習
において学習済み事例に対する認識精度を低下させるこ
とのない、有効かつ効率的なニューラルネットの調節装
置及び調節方法を提供することができる。

【００４０】また、請求項３及び６の発明では、素子の
追加に際して、前記各弱反応パターンが、入力パターン
のベクトル空間において相互に所定距離内に位置し、か
つ、当該弱反応パターンに対応する教師情報が出力パタ
ーンのベクトル空間において相互に所定距離内に位置す
る弱反応パターンごとのクラスタにクラスタリングされ
る。また、各追加素子の素子パラメータが、それぞれ別
個の前記クラスタに属する全ての弱反応パターンに対し
て当該追加素子が所定以上の強度で反応するように決定
される。また、前記各追加素子の結合荷重が、前記別個
の各クラスタに属する全ての弱反応パターンに対して当
該追加素子が所定以上の強度で反応するように決定され
る。

【００４１】このように、請求項３及び６の発明によれ
ば、ひとつのクラスタに属するすべての弱反応パターン
を単一の追加素子が被覆するので、学習における追加素
子数が少ないニューラルネットの調節装置及び調節方法
を提供することができる。

【００４２】

【実施例】以下、本発明の実施例として、ニューラルネ
ットの調節装置（以下「本装置」という）及び本装置を
用いたニューラルネットの調節方法について、図面に従
って具体的に説明する。なお、本装置はコンピュータ上
に実現されるもので、本装置の各機能は、プログラムの
形式で表現された所定の手順でコンピュータを動作させ
ることによって実現されている。したがって、以下、本
装置の各機能を有する仮想的回路ブロックを想定して本
装置を説明する。

【００４３】なお、本実施例の説明では、まず、本装置
の概略的構成を示し、次に、本装置の動作手順の大まか
な流れを説明し、続いて、各手段内部における処理のう
ち、特に説明を要するものの詳細について、適宜フロー
チャートや数式等を参照して説明する。

【００４４】（１）実施例の構成…図１図１は、本装置の構成を示すブロック図である。本装置
は、この図に示すように、ニューラルネットの素子の素
子パラメータ及び結合荷重を保存する内部パラメータ保
存部１と、学習中に前記素子パラメータを格納する素子
パラメータ保持部２と、学習中に前記結合荷重を格納す
る結合荷重保持部３とを有している。なお、内部パラメ
ータ保存部１、素子パラメータ保持部２及び結合荷重保
持部３は、前記内部パラメータ保存手段を構成してい
る。

【００４５】また、本装置は、学習用の事例を格納する
事例保存部４（前記事例保存手段に相当するもの）と、
ニューラルネットの前記各素子の反応強度を算出する反
応強度計算部５（前記反応強度計算手段に相当するも
の）と、算出された素子の反応強度を格納する反応強度
保持部６とを有している。また、本装置は、素子パラメ
ータを修正する素子パラメータ修正部７と、結合荷重を
修正する結合荷重修正部８とを有している。なお、素子
パラメータ修正部７及び結合荷重修正部８は、前記内部
パラメータ修正手段を構成している。

【００４６】また、本装置は、各素子の前記反応強度が
所定の閾値以下となる入力パターンを弱反応パターンと
判定し、ニューラルネットへの新たな素子の追加の要否
を決定する追加条件判定部９（前記追加条件判定手段に
相当するもの）と、前記弱反応パターンを格納する弱反
応パターン保存部１０とを有している。また、本装置
は、弱反応パターンをクラスタリングし追加素子の内部
パラメータ（結合荷重及び素子パラメータ）の初期値を
決定する素子追加部１１と、追加素子の素子パラメータ
を保存する追加素子パラメータ保持部１２と、追加素子
の結合荷重の初期値を保持する追加素子結合荷重保持部
１３と、を有している。なお、素子追加部１１、追加素
子結合荷重保持部１３及び追加素子パラメータ保持部１
２は、前記素子追加手段を構成している。また、本装置
は、学習終了条件の成立を判定する終了条件判定部１４
を有している。

【００４７】このうち事例保存部４に格納される事例
は、入力パターンとその入力パターンに対する正しい認
識結果である出力パターンを示す教師情報との対であ
る。なお、素子パラメータ及び結合荷重の初期値は、新
たに本装置に入力されてもよいし、すでに一定の事例を
学習済みの既存のニューラルネットの内部パラメータを
用いてもよい。後者の場合は、既存ニューラルネットへ
の新規事例の追加学習を行うことになる。

【００４８】（２）実施例の作用…図２〜図１６上記のような構成を有する本装置によるニューラルネッ
トの調節（学習）は、次のように行われる。なお、本装
置各部間における動作の前後関係や条件関係は、図示し
ない制御手段によって制御されている。

【００４９】［［［概略的動作手順］］］図２は、本装
置によるニューラルネット調節の手順を示すフローチャ
ートである。すなわち、本装置によるニューラルネット
調節では、この図に示すように、まず、ニューラルネッ
トの初期設定が行われる（ステップ２１）。この初期設
定では、素子パラメータ保持部２が、内部パラメータ保
存部１から、各素子の反応特性関数を調節する素子パラ
メータの初期値を読み込む。同様に、結合荷重保持部３
が、各素子につながる結合荷重の初期値を読み込む。な
お、この後の学習中における素子パラメータや結合荷重
の読み出しは、素子パラメータ保持部２又は結合荷重保
持部３から行われ、内部パラメータ保存部１が直接アク
セスされることはない。そして、素子パラメータ保持部
２や結合荷重保持部３中のデータは、学習終了時に、内
部パラメータ保存部１に書き戻される。したがって、本
実施例によれば、ニューラルネットの初期状態を表す内
部パラメータの初期値が学習終了時まで維持されるの
で、学習が何らかの事由によって所期の効果を奏しない
場合、初期状態から学習をやり直すことができる。

【００５０】続いて、反応強度計算部５が、事例保存部
４から事例の入力パターンを順次読み込み（ステップ２
２）、素子パラメータ保持部２中の素子パラメータ及び
結合荷重保持部３中の結合荷重に基づいて、読み込んだ
事例（以下「現在事例」という）の入力パターンに対す
るすべての素子の反応強度を算出する（ステップ２３／
前記計算工程に相当するもの）。なお、素子の反応強度
を決定する素子の反応特性関数については後に詳述する
が、素子の反応強度には出力側の素子の反応強度が含ま
れるので、算出される反応強度は入力パターンに対する
出力パターンを含むことになる。このように算出された
各素子の反応強度は、反応強度保持部６に送られ格納さ
れる。

【００５１】そして、一つの事例に対する反応強度の計
算が終了する度に、ニューラルネットの出力端子、すな
わち出力層の素子の反応強度の、教師情報に対する誤差
を小さくするために、内部パラメータ（素子パラメータ
と結合荷重）の修正が行われる（ステップ２４／前記修
正工程に相当するもの）。

【００５２】この修正では、素子パラメータ修正部７
が、現在事例、素子パラメータ、結合荷重及び反応強度
に基づいて、素子パラメータの修正値を算出する。算出
された修正値は、素子パラメータ保持部２に送られ、格
納される。この素子パラメータ修正の詳細については後
に詳述する。また、結合荷重修正部８は、現在事例、結
合荷重、素子パラメータ及び反応強度に基づいて、結合
荷重の修正値を算出する。算出された修正値は、結合荷
重保持部３に送られ格納される。この結合荷重の修正の
詳細についても後に詳述する。

【００５３】このような内部パラメータの修正後、追加
条件判定部９が素子追加の必要性を判定する（ステップ
２５，２６／前記判定工程に相当するもの）。この判定
は、現在事例を正しく認識するために素子を追加する必
要があるかという観点から行われ、具体的には、次の二
つの条件の成否によって行われる。すなわち、第一の条
件は、現在事例の入力パターンに対し所定の閾値以上で
反応する素子の有無であり（ステップ２５）、第一の条
件を満たす素子が存在する場合には、素子は追加されな
い。

【００５４】本実施例では、上記第一の条件が成立して
いない場合、第二の条件、すなわち現在事例に対して行
われた内部パラメータの修正における修正量が、所定の
閾値以上であるか否かが判定される（ステップ２６）。
このとき、現在事例に対する内部パラメータの修正量が
大きい場合には、ニューラルネットは極小値に捉えられ
ていないので、素子は追加されない。なお、内部パラメ
ータの修正量は、図示はしないが、保持部２，３におい
て内部パラメータ修正値受入れの際にそれぞれ算出さ
れ、追加条件判定部９に送られる。また、図１における
矢印は主要なデータのみを簡略に示したものであり、図
１において明示しない場合でも、各ブロックにおいて必
要なデータは、適宜他のブロックによって算出・転送さ
れる。

【００５５】ここで、現在事例による内部パラメータの
修正量が所定の閾値未満の場合には、内部パラメータを
それ以上修正しても誤差が低下しないと予測され、以
下、このような事例の入力パターンを弱反応パターンと
称する。この場合には、現在事例の入力パターンに強く
反応する素子を追加することによって、誤差を下げるこ
とができる。そこで、このような弱反応パターンは、事
例保存部４から読み出され、弱反応パターン保持部１０
に登録（格納）される（ステップ２７）。事例の読み込
みから弱反応パターンの格納までの上記の処理は、事例
保存部４に格納されているすべての事例について繰り返
される（ステップ２８）。

【００５６】続いて、登録された弱反応パターンがある
場合（ステップ２９）、追加しようとする追加素子に関
する内部パラメータが決定される。すなわち、まず、素
子追加部１１が、弱反応パターン保持部１０から弱反応
パターンを一つずつ読み込み、入力パターンのベクトル
空間内における距離が所定値以内で、かつ、教師情報
（出力パターン）のベクトル空間内における距離も所定
値以内である弱反応パターン同士をまとめ、一つ以上の
弱反応パターンを要素とする弱反応パターンの集合を生
成する（ステップ３０／前記クラスタリング工程に相当
するもの）。このパターン集合をクラスタと呼ぶ。クラ
スタ形成の方法、すなわちクラスタリングに関しては、
後に詳述する。

【００５７】次に、素子追加部１１は、追加素子につな
がる結合荷重を計算する（ステップ３１／前記結合荷重
決定工程に相当するもの）。この計算では、まず、各ク
ラスタごとに、クラスタを代表するクラスタ代表パター
ンが算出される。このクラスタ代表パターンは、クラス
タに属する弱反応パターンの平均値を計算することによ
って生成され、このクラスタ代表パターンに基づいて、
追加素子につながる結合荷重の初期値が算出される。な
お、クラスタと追加素子は１対１に対応する。追加素子
の結合荷重設定については、後に詳述する。この結合荷
重の初期値は、追加素子結合荷重保持部１３に送られ、
格納される。

【００５８】続いて、追加素子の素子パラメータが計算
される（ステップ３２／前記素子パラメータ決定工程に
相当するもの）。すなわち、この素子パラメータは、各
追加素子の反応超球が当該追加素子に対応するクラスタ
に属するすべての弱反応パターンを含み、かつ、それら
に対する追加素子の反応強度が所定値を超えるように決
定される。より具体的には、クラスタに属するすべての
弱反応パターンと上述のクラスタ代表パターンとの距離
が計算され、距離が最大になる弱反応パターンに対して
も、所定値以上で追加素子が反応するように、素子パラ
メータが決定される。追加素子の素子パラメータ設定に
ついては、後に詳述する。このように得られた追加素子
の素子パラメータは、追加素子パラメータ保持部１２に
送られ、格納される。

【００５９】上記のような追加素子の内部パラメータの
決定、すなわち、結合荷重の計算と素子パラメータの計
算は、全ての前記クラスタについて終了するまで繰り返
される（ステップ３３）。そして、全てのクラスタに関
して上記のような追加素子の内部パラメータの決定が終
了すると、素子の追加が行われる（ステップ３４）。

【００６０】素子の追加に際して、素子パラメータ保持
部２は素子を追加するための準備を行ったのち、追加素
子パラメータ保持部１２から全ての追加素子の素子パラ
メータを読み込み、格納する。同様に、結合荷重保持部
３は素子を追加するための準備を行ったのち、追加素子
結合荷重保持部１３から全ての追加素子の結合荷重を読
み込み、格納する。なお、ここで保持部２，３が行う追
加するための準備としては、データを格納するための記
憶領域の確保などを挙げることができる。

【００６１】なお、前記ステップ３０からステップ３４
間での処理は、前記追加工程を構成している。

【００６２】素子の追加が終了すると、終了条件判定部
１４が、学習の終了条件を判定する（ステップ３５）。
すなわち、終了条件判定部１４は、素子パラメータ保持
部２から素子パラメータの修正量、結合荷重保持部３か
ら結合荷重の修正量、素子追加部１１から素子追加の有
無をそれぞれ読み込み、所定の学習終了条件が成立して
いるか否か判定する。学習終了条件の具体例に関して
は、後に詳述する。そして、判定の結果、学習終了条件
が成立していれば、学習過程の処理全体が終了する。成
立していなければ、上記のような学習過程全体が再度繰
り返される。

【００６３】［［［ニューラルネットの構造］］］次
に、本実施例におけるニューラルネットについて説明す
る。ここで、図３は、本装置が調節対象とするニューラ
ルネットの構造の一例を示す概念図である。このニュー
ラルネットは、この図に示すように、三つの層を有して
いる。各層は、図の下方から順に、入力層、中間層、出
力層と呼ばれる。また、各層は、複数の素子を含み、各
素子は直下の層のすべての素子と、信号線によって結合
されている。各信号線には、刺激（出力）の通りやすさ
を表す結合荷重が対応している。図３において、丸印は
個々の素子を、矢印は素子間の信号線を表す。なお、こ
の図においては、単純化のため、各素子間の信号線は、
その一部のみを示している。

【００６４】［［入力層］］上記各層のうち、入力層の
素子（以下「入力層素子」という）は、ニューラルネッ
トにおける入力端子として機能する。換言すれば、入力
層は、入力される入力パターンの次元Ｊに等しいＪ個の
素子Ｕ_jを有しており、入力パターンｘを、

【数８】と表すとき、各素子Ｕ_jには入力パターンｘの成分ｘ_j
が入力される。この入力層素子の反応特性は恒等関数で
あり、Ｕ_jの反応強度はｘ_jである。

【００６５】［［中間層］］また、中間層の素子（以下
「中間層素子」という）は、層の上に格子状に配置され
ている。図４は、中間層をその素子の配列面の上方から
見た図である。この図に示すように、各素子の置かれて
いる格子点には層上の物理座標が定義されており、中間
層の左下隅の格子点の座標が（０，０）、その一つ右隣
の座標は（１．０）、一つ上の座標は（０，１）のよう
になっている。すべての格子点には同様に物理座標が対
応しており、これを、その格子点上にある素子の物理座
標とする。すなわち、中間層上に、縦横にＸ×Ｙ個の素
子が配置されているとき、例えば、層の右上角にある素
子の座標は（Ｘ−１，Ｙ−１）である。

【００６６】このように配列された中間層素子Ｕ_iは、
入力層のすべての素子の反応強度（出力）を受信する。
なお、中間層素子の反応特性には、次の式で定義される
吊鐘型反応特性関数ｇを採用する。

【数９】ここで、各記号はそれぞれ、

【数１０】を表す。

【００６７】なお、上記ベクトル間距離ｄはいかように
定義しても差し支えないが、ここではもっとも一般的な
ユークリッド距離を採用する。すなわち、

【数１１】とする。

【００６８】次に、図５は前記吊鐘型反応特性関数ｇの
反応強度の概形を示す特性図であり、横軸に距離ｄ、縦
軸に反応強度ａ_iをとっている。この図において、反応
特性のパラメータｒ_i，ｐ_iは反応特性の形状を調節す
るパラメータであり、両者あわせて素子パラメータとな
っている。これらは、素子が反応する入力の範囲と反応
の感度を決める役割を果たす。すなわち、ｒ_iを大きく
すれば、素子が強く反応する入力パターンｘの存在範囲
は広がり、ｒ_iを小さくすれば強く反応する入力パター
ンｘの範囲が狭まる。また、ｐ_iを小さくすればｄの変
化に対し緩やかに変化する特性となり、ｐ_iを大きくす
ればｄの変化に対し敏感に変化する特性となる。

【００６９】そして、図５において反応特性を表す曲線
のうち、実線はｒ_i＝１．０，ｐ_i＝１．０の場合のｇ
の形状、破線はｒ_i＝０．５，ｐ_i＝５．０の場合の形
状を示している。なお、同図において、斜線左側の領域
は、前記破線の場合において素子が所定の閾値θ_i以上
で反応する範囲を示しており、この場合における閾値は
０．１である。閾値以上で反応するこのような領域が、
当該素子の反応領域である。

【００７０】吊鐘型反応特性を持つ素子の場合、反応領
域は結合荷重ベクトルｗ_iを中心とするＪ次元入力空間
上の超球となり、この反応領域が反応超球となる。図１
８は、反応超球と結合荷重ベクトルとの関係を示す図で
あり、入力パターンのベクトル空間が三次元の場合とし
て描いたものである。素子Ｕ_iは、この反応超球に含ま
れる入力パターンのみにθ_i以上で反応する。

【００７１】［［出力層］］出力層の素子（以下「出力
層素子」という）Ｕ_kは、中間層のすべての素子の反応
強度を受信し、ニューラルネットの出力端子として機能
する。なお、出力層素子の反応特性にはシグモイド型関
数を用い、本実施例では、次の特性関数ｆを採用する。

【数１２】ここで、各記号はそれぞれ、

【数１３】を表す。

【００７２】［［反応の伝搬］］上述のニューラルネッ
トにおいて、素子の反応強度の伝搬は、反応強度計算部
５が各素子の反応強度を算出することによって実現され
る。この反応強度の算出は、入力層から始まり、中間
層、出力層の順に進行する。その際の算出順序は、層に
ついては上述した入力層−中間層−出力層の順序で行う
が、同じ層内においてはどの素子の計算を先に行っても
よい。また、自己の反応強度を計算する自律的ニューロ
ン素子（参考文献：特願平４−１９５６４０）を用いれ
ば、並列的に行うことも可能である。

【００７３】［［［内部パラメータの修正］］］素子パ
ラメータ修正部７と結合荷重修正部８が行う素子パラメ
ータと結合荷重の修正を実施する具体的手法は、公知技
術のいずれを用いてもよい（参考文献：特願平４−１９
５６４０）。本実施例では、内部パラメータ修正の具体
的手法として、出力パターンと教師情報との誤差に基づ
いて修正する手法を採用し、説明する。

【００７４】［［出力層素子の結合荷重の修正］］すな
わち、出力層素子の結合荷重を修正するには、まず、出
力層のすべての素子Ｕ_kの反応と、教師情報との誤差を
求める。ここで、事例保存部４に現在事例の入力パター
ンと対をなして格納されている教師情報は、当該入力パ
ターンに対する出力層の素子の望ましい反応強度を指定
するものである。ここで教師情報ｔは、

【数１４】であり、その成分ｔ_kは、それぞれ、出力層の素子Ｕ_k
の望ましい反応強度を指定する値である。したがって、
Ｕ_kにおける誤差Ｅ_kは、

【数１５】と定義される。

【００７５】そして、中間層のすべての素子Ｕ_iからＵ
_kへの結合荷重ｗ_kiは、誤差Ｅ_kに基づいて、

【数１６】

【数１７】と修正される。ここで←は、変数への代入操作を表して
いる。またηは結合荷重の修正率を示す係数であり、通
常はη＝０．１程度に設定すればよい。

【００７６】［［中間層素子の結合荷重と素子パラメー
タの修正］］中間層素子の結合荷重と素子パラメータの
修正においては、以下の計算を行う。すなわち、まず、
その中間層において最も強く反応した素子を特定する。
つまり、

【数１８】の値が最大となる素子Ｕ_mを特定し、次に、中間層上
に、素子Ｕ_mを中心とする半径Ｒの領域νを設定する。
すなわち、前述した中間層上の格子点に対応して定めて
ある座標を用いて、

【数１９】とする。ここでＰ_m，Ｐ_iは、それぞれ素子Ｕ_m，Ｕ_i
の中間層上における物理座標を示す。また、ｄはユーク
リッド距離である。Ｒの値についてはここでは詳述しな
いが、一例としては、中間層の大きさが縦横Ｘ・Ｙであ
るとき、

【数２０】とすることが考えられる。ここでＴは、図２のステップ
２２からステップ３５までの処理の繰り返し回数であ
る。

【００７７】数式１９におけるνは、素子Ｕ_mの近傍に
ある素子の集合となり、結合荷重ベクトルｗ_iと素子パ
ラメータｐ_i，ｒ_iが修正されるのは、νに属する素子
のみに限定する。また、νに含まれる素子について、結
合荷重の修正は以下の式に従う。

【数２１】

【数２２】ここで、ｘは入力パターンである。また、αは結合荷重
の修正率を示す係数であり、この値は、例えば、０．１
程度に設定すればよい。

【００７８】また、νに含まれる素子について、素子パ
ラメータｒ_iの修正は次の式に従う。

【数２３】

【数２４】ここで、γ_rはｒ_iの修正率を与える正係数であり、通
常は０．１程度に設定する。ｒ_iの修正量Δｒ_iは、上
記数式２４において、出力層素子の反応強度と教師情報
との誤差で定まる第一項と、拡散項と呼ばれる第二項の
和として求められる。

【００７９】なお、数式２４は、次のような意味を有す
る。すなわち、ｗ_kiＥ_kは、素子Ｕ_iの反応が誤差Ｅ_k
の原因である程度を表す量である。このため、ｗ_kiＥ_k
＞０なら、これを０に近付けるためには、Ｕ_iの反応が
弱まることが望ましいから、ｒ_iを減少させることによ
って、Ｕ_iの反応超球の半径を縮小すべきである。した
がって、

【数２５】とすればよい。出力層のすべての素子について和をとる
ことによって、第一項が得られる。

【００８０】第二項は、出力層で誤差が出ない範囲で、
反応超球の半径を増加させる効果を持つ。第二項は、一
つの中間層素子を、可能な限り広い領域の入力パターン
に反応させるための項である。なお、出力層での誤差に
影響しないように、γr ＞＞ξ_r＞０としておく。一般
には、ξ_r＝０．００１程度でよい。

【００８１】νに含まれる素子について、素子パラメー
タｐ_iの修正は以下の式に従う。

【数２６】

【数２７】ここで、γ_pはｐ_iの修正率を与える正係数であり、通
常は、０．１程度に設定する。ξ_pは、誤差に影響を与
えない範囲で、Ｕ_iが強く反応する領域を広げる効果を
持つ。γ_p＞＞ξ_p＞０としておく。通常は、ξ_p＝
０．００１程度でよい。

【００８２】［［［素子の追加］］］次に、素子の追加
について説明する。前記のように、本実施例における素
子の追加は、中間層のどの素子も強く反応しない入力パ
ターンに対して行われる。すなわち以下の処理は、すべ
ての中間層素子Ｕ_iに対して、

【数２８】なる入力パターンｘに対し実施される。

【００８３】［［追加条件の判定］］まず、追加条件判
定部９は、現在の事例の入力パターンに対し所定の閾値
以上で反応する素子の有無を判定し、強く反応する素子
がある場合は、素子は追加されない。強く反応する素子
がない場合には、さらに、ニューラルネットの誤差が極
小値に入っていないか判定する。

【００８４】このとき追加条件判定部９は、素子パラメ
ータ修正部７が算出した素子パラメータの修正量の二乗
和Ｓ_p、結合荷重修正部８が算出した結合荷重の修正量
の二乗和Ｓ_cを次のように求める。

【数２９】

【数３０】ここで、総和をとる計算のインデクスｉ，ｊ，ｋは、各
々中間層素子、入力層素子、出力層素子の番号を示す。
加えて、Ｉ，Ｊ，Ｋは、各々中間層の素子数、入力層の
素子数、出力層の素子数を表す。したがって、Ｓ_cの右
辺の第一項は入力層と中間層の間の結合荷重の修正量の
二乗和を、第二項は中間層と出力層の間の結合荷重の修
正量の二乗和を表している。

【００８５】次に、追加条件判定部９は、極小値検知の
判定条件として、

【数３１】の成立の有無を判定する。ここで、

【数３２】

【数３３】は、それぞれ、素子パラメータ、結合荷重に、一定以上
の変化があったことを示すための閾値で、具体的な値は
ニューラルネットに学習させる対象に適した値を設定す
る。また、逆Ｖ字型の記号は論理積の演算記号で「且
つ」と読み替えられる。

【００８６】数式３１で表される条件は、「素子パラメ
ータの修正量が小さい」且つ「結合荷重の修正量が小さ
い」こと、すなわち、修正によって内部パラメータが変
化しない（誤差が極小値に捉われている）ことを意味す
る。この場合は、内部パラメータの修正では誤差を下げ
ることができない。

【００８７】［［弱反応パターンの登録］］このとき、
現在事例の入力パターンｘは、弱反応パターンとして弱
反応パターン保持部１０に登録される。登録された弱反
応パターンに反応する素子が、のちの処理で追加され
る。

【００８８】［［追加素子の内部パラメータの決定］］
次に、素子追加部１１が行う弱反応パターンのクラスタ
リング処理と、追加素子に関する結合上の荷重ベクトル
並びに素子パラメータの決定処理について詳細に説明す
る。

【００８９】まず、図６は、素子追加部１１の内部構造
を示すブロック図である。すなわち、素子追加部１１
は、弱反応パターンのクラスタリングを行うパターンク
ラスタリング手段１１１と、追加素子の結合荷重を算出
する結合荷重決定手段１１２と、追加素子の素子パラメ
ータを算出する素子パラメータ決定手段１１３とを有す
る。

【００９０】［弱反応パターンのクラスタリング］パタ
ーンクラスタリング手段１１１は、まず弱反応パターン
保持部１０から、弱反応パターンの集合Ｓを読み込む。
そして、パターンクラスタリング手段１１１は以下の処
理を実行することによって、入力パターンのベクトル空
間内における互いの距離が所定値以内で、出力パターン
のベクトル空間内における教師情報同士の距離も所定値
以内である弱反応パターンからなるクラスタＳ_iを、ｌ
個生成する。ここで各記号はそれぞれ、

【数３４】を意味する。

【００９１】そして、クラスタリング処理は、以下の各
手順から構成される。

【数３５】ここで、上記手順［３］，［５］で用いている集合同士
の演算＼は集合差演算を表しており、

【数３６】を意味している。また、手順［５］，［６］から明らか
なように、各クラスタＳ_lに含まれる弱反応パターン同
士の距離はＤ／２以下で、しかも、各々の弱反応パター
ンの教師情報の各成分同士の距離は

【数３７】以下である。また手順［４］，［６］からわかるよう
に、集合Ｃは、すでにいずれかのクラスタに含まれてい
る弱反応パターンからなる集合である。したがって、手
順［７］の条件が成立すれば、すべての弱反応パターン
は必ずいずれかのクラスタに属していることとなる。

【００９２】なお、Ｄ，εの値を大きく設定すればクラ
スタの個数が少なくなり、小さく設定すれば、後の素子
追加後に、弱反応パターンに対するニューラルネットの
出力の誤差が小さくなる。Ｄ，εの適当な値は、ニュー
ラルネットに学習させる認識対象に依存するが、一例と
しては各々、Ｄ＝０．２，ε＝０．０５とすればよい。

【００９３】［結合荷重の計算］素子は、上述のクラス
タ一つにつき１個追加される。クラスタＳ_lに対し追加
する素子Ｕ_lの結合荷重は、結合荷重決定手段１１２に
よって以下のように初期設定される。すなわち、結合荷
重決定手段１１２は、パターンクラスタリング手段１１
１から供給される弱反応パターンのｌ個のクラスタを読
み込み、各クラスタについて以下の二種類の処理を行
い、ｌ個の素子の結合荷重ベクトルの初期値を決定し
て、追加素子結合荷重保持部１３に格納する。

【００９４】つまり、中間層素子Ｕ_lにつながる結合荷
重のベクトルには、入力層の素子からの結合上のベクト
ルと、素子Ｕ_lから出力層の素子への結合上のベクトル
との２つがあり、各々以下に記述する異なる処理によっ
て初期設定される。

【００９５】まず、入力層からの結合荷重は、次のよう
に決定される。すなわち、入力層の素子から、素子Ｕ_l
につながる結合上の結合荷重ベクトルｗ_lには、Ｓ_lに
属する弱反応パターンの平均を、

【数３８】のように設定する。ここで＃Ｓ_lは、クラスタＳ_lに含
まれる弱反応パターンの個数である。

【００９６】上記の設定によって、ｗ_lとＳ_lのすべて
の弱反応パターンｘ_mとの距離は、Ｄ以下となる。図７
はこの様子を表す模式図である。ｘ_pを上述のクラスタ
リング処理における手順［３］のｘ_pとすると、三角不
等式から

【数３９】である。このとき、右辺の２つの項はいずれも、Ｄ／２
以下である。したがって、

【数４０】となる。

【００９７】また、出力層への結合荷重は、次のように
決定される。すなわち、素子Ｕ_lから出力層の素子Ｕ_k
へつながる結合上の結合荷重は、Ｓ_lに属す弱反応パタ
ーンｘ_mの教師情報ｔ_mの平均ｔを用いて設定する。こ
こでｔは、

【数４１】であり、ｔの第ｋ成分を、ｔ_kと現すことにすると、ｔ
は、

【数４２】と表すことができる。このとき、素子Ｕ_lから出力層の
素子Ｕ_kへつながる結合上の結合荷重ｗ_klは、次のよう
に求めることができる。

【数４３】ここで、０＜δ＜１とし、教師情報の定義（数式１４）
から、０＜ｔ_k＜１である。

【００９８】また、クラスタＳ_lに対応して追加される
素子Ｕ_lの素子パラメータｐ_l，ｒ_lは、素子パラメー
タ決定手段１１３によって以下のように初期設定され
る。すなわち、素子パラメータ決定手段１１３は、パタ
ーンクラスタリング手段１１１から供給される弱反応パ
ターンｌ個のクラスタＳ_lを読み込み、素子パラメータ
の初期値を以下のように決定し、追加素子パラメータ保
持部１２へ格納する。

【数４４】

【数４５】ここでδの具体的な値としては、例えば０．５と設定す
ればよい。この追加素子は、クラスタＳ_l内の弱反応パ
ターンに少なくともδの強さで反応する。

【００９９】［［素子の挿入座標の決定］］Ｕ_lを中間
層に追加する際の中間層上の位置（座標）は、パターン
クラスタリング手段１１１によって、

【数４６】という条件を満たす既存の素子Ｕ_nに隣接する８つの格
子点のいずれかの座標として決定され、その座標は結合
荷重保持部３と素子パラメータ保持部２に送られる。結
合荷重保持部３と素子パラメータ保持部２は、追加され
た素子についての結合荷重、素子パラメータを格納す
る。

【０１００】なお、上記数式４６において、各記号は、

【数４７】を表す。

【０１０１】ここで、図８は、中間層を上方から見た平
面図であるが、図８に示すように、追加素子を挿入する
座標としては素子Ｕ_n（斜線で示す）の上下左右斜めの
８つの選択肢（網掛け及び黒丸で示す）があるが、その
どれを選択してもよい。図９は、図８と同様の平面図で
あり、図８において黒丸で表した挿入座標に追加素子を
挿入した後の中間層の様子を示している。この図９で
は、挿入する座標はＵ_nの左隣になっており、挿入の結
果、素子Ｕ_nの左側に位置している既存素子の座標が、
格子点一つ分ずつ左にずれている。また、図１０は、素
子Ｕ_lを中間層に追加した後のニューラルネット全体を
示す模式図である。

【０１０２】なお、パターンクラスタリング手段１１１
は、追加素子の個数を、終了条件判定部１４に送る。

【０１０３】［［極小値の回避］］上述の素子追加によ
って、弱反応パターンｘ_mに対する出力層における誤差
はε以下になる。以降、この点について具体的に説明す
る。すなわち、まず、弱反応パターンｘ_mに対する出力
層の誤差Ｅ（ｘ_m）は、次式で定義される。

【数４８】ここでｔ_mkは、次の式に示すように、弱反応パターンｘ
_mに対応する教師情報ｔ_mの第ｋ成分である。

【数４９】出力層の素子Ｕ_kの反応強度ａ_k（ｘ_m）は、数式１２
から

【数５０】であるが、ｘ_mは弱反応パターンであるから、

【数５１】

【数５２】が成立する。ここで、素子Ｕ_lは、中間層に追加された
素子である。

【０１０４】数式４４，４５，９から反応強度ａ_l（ｘ
_m）は、

【数５３】であり、数式４０より、

【数５４】であるから、Ｕ_lの反応強度ａ_l（ｘ_m）は、次のよう
に、δ以上となる。

【数５５】上式から、出力層の素子Ｕ_kの反応強度ａ_k（ｘ_m）
は、

【数５６】となるが、数式４３から、

【数５７】よって、

【数５８】が成立する。

【０１０５】ここで、ｔ_pをクラスタリング処理手順
［３］のｘ_pの教師情報とすると、

【数５９】で、数式４１、及び、数式３５の［５］における第２番
目の式から、ｔ_kは次式を満たし、

【数６０】となり、また、ｔ_mkは

【数６１】を満たすので、

【数６２】が成立し、最終的に、

【数６３】となる。これは上述の素子追加によって、弱反応パター
ンｘ_mに対する出力層の誤差がεより小さくなることを
示している。

【０１０６】［［［学習終了条件］］］次に、終了条件
判定部１４によって成立が判断される、学習の終了条件
を説明する。すなわち、学習終了条件としては、以下に
あげるようなものを例示することができる。

【０１０７】［１］すべての事例に対し、出力層におけ
る誤差の二乗和が、所定の値ε未満になること。

【数６４】［２］ループ１の繰り返し回数が、所定の回数に達する
こと。［３］素子パラメータの修正量の二乗和Ｓp 、結合荷重
の修正量の二乗和Ｓc が所定値以下で、且つ、追加素子
の個数が所定値以下であること。［４］パターン分類問題、例えば文字認識の場合で、入
力パターンは文字の画像、教師情報は文字の種類に対応
する成分のみが値１をとり、それ以外の成分の値０をと
るものとする。このとき、最大出力を出す出力層の素子
が表す文字の種類が、その文字パターンの認識結果であ
るとする認識方式において、教師情報で示される文字種
類と、出力最大の出力層の素子の表す文字種類とが異な
る入力パターンの件数の、入力パターン件数全体に対す
る割合（誤読率）が所定値以下であること。

【０１０８】［［［従来技術との相違］］］ここで、内
部パラメータの修正と素子追加に関して、本実施例と従
来技術との相違を説明する。

【０１０９】［［素子追加が必要な状況についての比
較］］従来技術であるＲＣＥでは、内部パラメータの修
正において、素子の結合荷重を変化させなかった。ま
た、反応領域の大きさ（本実施例の、反応超球の半径を
決める素子パラメータｒ_iに対応）の修正は、縮小のみ
であった。したがって、広い領域に分布する入力パター
ンを認識するためには、多くの素子を必要としていた。

【０１１０】これに対して、本実施例では、広い領域に
分布する入力パターンを反応超球で被覆するために、反
応超球の半径の修正と同時に、結合荷重の修正をも行っ
て、適切な反応超球の配置調節を行う。すなわち、本実
施例は、ＲＣＥとの比較において、上述した目的を実現
するために調整可能なパラメータが増えている点に特徴
を有している。しかも、本実施例では、反応領域の大き
さは拡大方向に修正可能であるから、広い範囲に分布す
る入力パターンでも、少数の素子の大きな反応超球で被
覆することができる。

【０１１１】ここで、単純なモデルとして、図１１に示
す状況を仮定する。すなわち、図１１は、入力空間にお
ける反応超球と入力パターンとの位置関係を示す模式図
である。この図では、入力空間の次元は２次元である。
また、中間層は一個の素子から成っており、その反応超
球は図中の円で示されている。入力層からこの素子への
結合荷重ベクトルを黒点で示し、入力された入力パター
ンｘを図上Ｘ印で示す。

【０１１２】このとき、入力パターンｘは、中間層の素
子の反応超球が被覆していない位置にある。このため、
中間層の素子はｘに対して反応せず、出力層の素子には
反応が伝わらない。したがって、

【数６５】が成立し、出力層のすべての素子Ｕ_kは、ｘに対して反
応しない。

【０１１３】ここで、単純なモデルとして、教師情報ｔ

【数６６】の第ｋ成分のみが正である場合

【数６７】を考える。

【０１１４】このとき出力層は、素子Ｕ_kでのみ誤差Ｅ
_kが非零で

【数６８】となる。

【０１１５】この状況において、ＲＣＥによるニューラ
ルネットの学習では、入力パターンｘそのものを入力層
からの結合荷重ベクトルとする新たな素子を追加してい
た。図１２は、図１１と同様の形式でこの様子を示す模
式図である。この図では、追加された素子の反応超球を
ハッチングされた円で表示している。追加素子の結合荷
重ベクトルｗ_lは、入力パターンｘに一致している。

【０１１６】これに対し、同じ図１１の状況に対して本
実施例によるニューラルネットの学習を行えば、素子を
追加しないで誤差を下げることができる。すなわち、前
述した中間層素子の結合荷重と素子パラメータの修正の
処理を、この状況において実行すると、以下のようにな
る。

【０１１７】まず、数式１８によって、ｘに最も強く反
応する中間層素子Ｕ_mが求められる。いま中間層には、
図１１に反応超球を図示した素子しかないから、これが
Ｕ_mとなる。次に、数式１９によって、素子Ｕ_mの近傍
の素子集合νが計算されるが、νはＵ_mだけからなる。
したがって、結合荷重と素子パラメータの修正は、Ｕ_m
に関してのみ行われる。

【０１１８】そして、まず、結合荷重の修正は、数式２
１，２２によって行われる。この式から明らかに、Ｕ_m
の結合荷重ベクトルｗは、入力パターンｘに接近する。
したがって、反応超球はｘの方向に移動する。図１３
は、その様子を図１１及び図１２と同様の形式で示す模
式図である。この図では、修正前の結合荷重ベクトルが
記号Ｗで、修正後のベクトルが記号Ｗ′で表されてい
る。

【０１１９】また、素子パラメータの修正は、数式２
３，２４，２６，２７によって行われる。すなわち、数
式２４の右辺は、

【数６９】となる。

【０１２０】Ｕ_mがＵ_kの反応に貢献する素子である
（ｗ_km＞０）なら、Ｅ_k＞０より、

【数７０】（右辺）＞０であるから、ｒ_iは増加し、反応超球が拡大する。その
様子は図１３に示されている。図１３において、元の反
応超球の半径ｒ、と修正後の反応超球の半径ｒ′では、
ｒ＜ｒ′となっている。

【０１２１】また、Ｕ_mがＵ_kの反応を抑制する素子で
ある（ｗ_km＜０）場合には、一旦反応超球は縮小する
が、数式１６，１７から明らかなように、学習の繰り返
しによっていずれｗ_km＞０となり、それ以降、反応超球
はやはり拡大する。上記は、教師情報において正値をと
る成分が一つでない場合にも成立する。

【０１２２】［［追加素子の個数についての比較］］Ｒ
ＣＥや、特開平２−２３８５６０，特開平２−２６０８
６２各号公報に記載される技術では、素子を追加する場
合に、誤差の大きな入力パターン一個につき一つの素子
を追加していた。また、追加する素子の反応領域の大き
さは固定されていた。

【０１２３】これに対して、本実施例では、弱反応パタ
ーンのクラスタリング処理の説明において前述したよう
に、互いに距離が近く且つ各々の教師情報同志の距離が
近い弱反応パターンは一つのクラスタを形成するとみな
してひとまとめにし、クラスタ一つに対して素子を一個
追加する。しかも、本実施例では、追加する素子の反応
超球の大きさも、個々のクラスタの広がりの大きさに応
じて、最適に決定する。したがって、より少数の素子追
加で弱反応パターンを被覆する反応超球を持つ素子を得
ることができる。

【０１２４】ここで、単純なモデルとして、図１４に示
す状況を仮定する。すなわち、図１４は、入力空間にお
ける弱反応パターン群の位置関係を示す模式図である。
この図においても、図１１の場合と同じように、入力空
間の次元は２次元、素子の反応超球は図中の円で示され
ている。そして、図中のＸ１，Ｘ２，Ｘ３は、それぞれ
異なるクラスタを形成する弱反応パターン群である。な
お、Ｘ２，Ｘ３の弱反応パターン群は、互いの距離が近
いが、教師情報の距離が遠いために、別々の二つのクラ
スタを形成する。

【０１２５】この状況において、従来技術による素子の
追加では、すべての弱反応パターン一個に対して、それ
を結合荷重ベクトルとする素子を一つ追加していた。図
１５は、図１４と同様の形式でこの様子を示す模式図で
ある。この図では、狭い領域に分布する弱反応パターン
群に対して、計１２個の素子が追加されている。

【０１２６】これに対し、本実施例による素子の追加で
は、互いに距離が近く且つ教師情報の距離も近い弱反応
パターン群に対しては同一の素子が割り当てられるの
で、図１６に示すように素子の追加は３個に抑えられて
いる。

【０１２７】（３）実施例の効果以上のように、本実施例では、既存素子の反応領域につ
いて位置と大きさ双方の修正を行うことができ、また、
大きさの修正は減少のみならず増加方向へも可能なの
で、素子を追加することなく誤差の減少が可能な場合が
増加する。したがって、本実施例によれば、学習におけ
る追加素子数が最小限となるので、ニューラルネットの
形成に要する時間や内部パラメータを格納する記憶装置
の容量など、ニューラルネット形成・維持のための資源
を節約することができる。

【０１２８】また、本実施例によれば、乱数を用いた追
加素子によってニューラルネットの状態が悪化すること
がないので、学習済み事例に対する認識精度を低下させ
ることなく、新規事例学習が可能となる。また、本実施
例によれば、ひとつのクラスタに属するすべての弱反応
パターンを単一の追加素子が被覆するので、学習におけ
る追加素子数が少ないニューラルネットの調節装置及び
調節方法を提供することができる。

【０１２９】このように、本実施例によれば、大規模・
複雑な対象のパターン認識に好適なニューラルネットの
調節装置及び調節方法を提供することができ、このよう
なニューラルネットは、例えば文字・音声の認識、電力
系統・化学プラント等大規模システムの状態監視、電力
需要・株式や為替の市況の予測、部材の表面瑕疵検出な
ど、人間の能力では困難な多種多様なパターン認識に効
果的に利用することができる。

【０１３０】特に、本実施例によれば、学習中における
素子パラメータや結合荷重の読み出しは、素子パラメー
タ保持部２又は結合荷重保持部３から行われ、内部パラ
メータ保存部１が直接アクセスされることはない。そし
て、素子パラメータ保持部２や結合荷重保持部３中のデ
ータは、学習終了時に、内部パラメータ保存部１に書き
戻される。したがって、本実施例によれば、ニューラル
ネットの初期状態を表す内部パラメータの初期値が学習
終了時まで維持されるので、学習が何らかの事由によっ
て所期の効果を奏しない場合、初期状態から学習をやり
直すことができる。

【０１３１】（４）他の実施例なお、本発明は上記実施例に限定されるものではなく、
次のような他の実施例をも包含するものである。例え
ば、上記実施例では、三層のニューラルネットを例示し
たが、本発明の適用対象となるニューラルネットには層
数の制限はない。また、前記実施例では、素子の反応特
性関数を吊鐘型特性としたが、本発明では任意の反応領
域有界な反応特性関数を用いることができる。そうした
特性の例には、例えば、統計学における正規分布を定義
するのに用いられるガウシアン関数がある。また、本発
明は反応特性関数の値が所定の閾値以上になる入力空間
の領域が有界な素子から構成されるニューラルネットに
適したものであるが、適宜実施態様を変更し、これ以外
のニューラルネットに適用することは自由である。ま
た、上記実施例のニューラルネットの調節装置はコンピ
ュータ上に実現されているが、その機能の全部又は一部
は専用の電子回路上に実現してもよい。さらに、内部パ
ラメータの調節の方法も、実施例に示したものに限定さ
れない。

【０１３２】

【発明の効果】以上のように、本発明によれば、学習に
おける追加素子数が最小限なニューラルネットの調節装
置及び調節方法を提供することができる。また、本発明
によれば、学習済み事例に対する認識精度を低下させる
ことなく、新規事例学習が可能なニューラルネットの調
節装置及び調節方法を提供することができる。したがっ
て、本発明によれば、従来よりも、小規模で認識精度の
高いニューラルネットを、より少ない所要時間で形成す
ることができる。

【図面の簡単な説明】

【図１】本発明の実施例のニューラルネットの調節装置
の構成を示すブロック図。

【図２】同装置によるニューラルネット調節の手順を示
すフローチャート。

【図３】同装置が調節対象とするニューラルネットの構
造の一例を示す概念図。

【図４】同ニューラルネットの中間層をその素子の配列
面の上方から見た平面図。

【図５】吊鐘型反応特性関数ｇの反応強度の概形を示す
特性図。

【図６】本発明の実施例における素子追加部１１の内部
構造を示すブロック図。

【図７】本発明の実施例において、追加素子の結合荷重
ベクトルと弱反応パターンとの距離関係を示す模式図。

【図８】本発明の実施例におけるニューラルネットの中
間層をその素子の配列面の上方から見た平面図（素子追
加前）。

【図９】本発明の実施例におけるニューラルネットの中
間層をその素子の配列面の上方から見た平面図（素子追
加後）。

【図１０】本発明の実施例において素子追加後のニュー
ラルネット全体を示す模式図。

【図１１】入力空間における反応超球と入力パターンと
の位置関係を示す模式図。

【図１２】入力空間における反応超球と入力パターンと
の位置関係を示す模式図（ＲＣＥによる素子追加後）。

【図１３】入力空間における反応超球と入力パターンと
の位置関係を示す模式図（本発明の実施例による内部パ
ラメータ修正後）。

【図１４】入力空間における弱反応パターン群の位置関
係を示す模式図。

【図１５】入力空間における弱反応パターン群の位置関
係を示す模式図（従来技術による素子追加後）。

【図１６】入力空間における弱反応パターン群の位置関
係を示す模式図（本発明の実施例による素子追加後）。

【図１７】吊鐘型反応特性関数における反応特性の概形
を示す図。

【図１８】３次元の入力空間における反応超球と結合荷
重ベクトルとの関係を示す模式図。

【図１９】内部パラメータの個数が１個の場合における
状態空間内における誤差の曲面を表す模式図。

【図２０】内部パラメータの個数が２個の場合における
状態空間内における誤差の曲面を表す模式図。

【図２１】内部パラメータの個数が２個の場合における
状態空間内における誤差の曲面を表す模式図（内部パラ
メータ修正の状態を示す）。

【符号の説明】

１：内部パラメータ保存部２：素子パラメータ保持部３：結合荷重保持部４：事例保存部５：反応強度計算部６：反応強度保持部７：素子パラメータ修正部８：結合荷重修正部９：追加条件判定部１０：弱反応パターン保持部１１：素子追加部１２：追加素子パラメータ保持部１３：追加素子結合荷重保持部１４：終了条件判定部Ｓ：手順の各ステップ

Claims

【特許請求の範囲】

【請求項１】ニューラルネットワークを構成する素子
の反応特性を調節する素子パラメータ及び前記素子間の
信号伝達効率を表す結合荷重を保存する内部パラメータ
保存手段と、前記ニューラルネットに入力する入力パターンとこの入
力パターンに対応すべき前記ニューラルネットからの出
力パターンを示す教師情報とからなる事例を保存する事
例保存手段と、前記素子パラメータ及び前記結合荷重に基づいて前記各
入力パターンに対する前記各素子の反応強度及び出力パ
ターンを計算する反応強度計算手段と、前記素子に係る前記素子パラメータ又は前記結合荷重の
少なくとも一方を、前記入力パターンに対応する前記教
師情報に基づいて修正する内部パラメータ修正手段と、前記各素子の前記反応強度が所定の閾値以下となる前記
入力パターンを弱反応パターンと判定する追加条件判定
手段と、前記弱反応パターンに対して所定値以上の反応強度を生
じる前記素子パラメータ及び前記結合荷重を有する新た
な素子を前記ニューラルネットワークに追加する素子追
加手段とを有することを特徴とするニューラルネットの
調節装置。
【請求項２】前記ニューラルネットワークは、反応特
性関数の値が所定の閾値以上になる入力空間の領域が有
界な素子を有することを特徴とする請求項１記載のニュ
ーラルネットの調節装置。
【請求項３】前記素子追加手段は、前記各弱反応パターンを、前記入力パターンのベクトル
空間において相互に所定距離内に位置し、かつ、当該弱
反応パターンに対応する前記教師情報が前記出力パター
ンのベクトル空間において相互に所定距離内に位置する
前記弱反応パターンごとのクラスタにクラスタリングす
るパターンクラスタリング手段と、追加しようとする各追加素子の前記素子パラメータを、
それぞれ別個の前記クラスタに属する全ての前記弱反応
パターンに対して当該追加素子が所定以上の強度で反応
するように決定する素子パラメータ決定手段と、前記各追加素子の結合荷重を、前記別個の各クラスタに
属する全ての前記弱反応パターンに対して当該追加素子
が所定以上の強度で反応するように決定する結合荷重決
定手段とを有することを特徴とする請求項１記載のニュ
ーラルネットの調節装置。
【請求項４】ニューラルネットワークを構成する素子
の反応特性を調節する素子パラメータ及び前記素子間の
信号伝達効率を表す結合荷重に基づいて、前記ニューラ
ルネットに入力される入力パターンに対する前記各素子
の反応強度及び出力パターンを計算する計算工程と、前記素子に係る前記素子パラメータ又は前記結合荷重の
少なくとも一方を、前記入力パターンに対応すべき前記
出力パターンを示す教師情報に基づいて修正する修正工
程と、前記各素子の前記反応強度が所定の閾値以下となる前記
入力パターンを弱反応パターンと判定する判定工程と、前記弱反応パターンに対して所定値以上の反応強度を生
じる前記素子パラメータ及び前記結合荷重を有する新た
な素子を前記ニューラルネットワークに追加する追加工
程とを有することを特徴とするニューラルネットの調節
方法。
【請求項５】前記ニューラルネットワークは、反応特
性関数の値が所定の閾値以上になる入力空間の領域が有
界な素子を有することを特徴とする請求項４記載のニュ
ーラルネットの調節方法。
【請求項６】前記追加工程は、前記各弱反応パターンを、前記入力パターンのベクトル
空間において相互に所定距離内に位置し、かつ、当該弱
反応パターンに対応する前記教師情報が前記出力パター
ンのベクトル空間において相互に所定距離内に位置する
前記弱反応パターンごとのクラスタにクラスタリングす
るクラスタリング工程と、追加しようとする各追加素子の前記素子パラメータを、
それぞれ別個の前記クラスタに属する全ての前記弱反応
パターンに対して当該追加素子が所定以上の強度で反応
するように決定する素子パラメータ決定工程と、前記各追加素子の結合荷重を、前記別個の各クラスタに
属する全ての前記弱反応パターンに対して当該追加素子
が所定以上の強度で反応するように決定する結合荷重決
定工程とを有することを特徴とする請求項４記載のニュ
ーラルネットの調節方法。