JP3329806B2

JP3329806B2 - ニューラルネット構築装置

Info

Publication number: JP3329806B2
Application number: JP30244090A
Authority: JP
Inventors: 重夫阿部; 昌宏鹿山; 寛武長; 泰男諸岡; 潤三川上; 政雄高藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1990-11-09
Filing date: 1990-11-09
Publication date: 2002-09-30
Anticipated expiration: 2017-09-30
Also published as: US5546503A; JPH04175964A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、多層ニューラルネットを構築する装置、並
びに多層ニューラルネットの各種の応用装置（認識，予
測，推定，関数近似，制御等を行う装置）に関する。

〔従来の技術〕

ニューラルネットワークを用いてパターン認識，予
測，推定，関数近似，制御等を行なう方法について、エ
ム・アイ・ティープレス（1986年）パラレルディス
トリビューティドプロセシング第318頁から362頁（Pa
rallel Distributed Processing,Vol.1,MIT Press,Camb
ridge MA,1986 pp318−362）において論じられてい
る。

ここでパターン認識を例にとってニューラルネットを
説明する。ニューラルネットは、ニューロンをカスケー
ド状に多層に結合したもので第２図は３層ニューラルネ
ットの例を示している。図において1000,1001は入力ニ
ューロン、1003,1004は中間層ニューロン、1006,1007は
出力ニューロン、1002,1005はバイアスニューロンであ
る。入力及びバイアスニューロンは、入力をそのまま出
力するが、中間層及び出力ニューロンは、第３図に示す
ようなシグモイド関数と呼ばれる飽和特性のある入出力
関係を持ち入力をｘ、出力をＺとするととなる。ここでＴは、シグモイド関数の傾きを決める定
数である。

入力側から各層の番号を打つとし、ｉ番目の層ｊ番目
のニューロンの入力、及び出力を各々x_j（ｉ）,Z
_j（ｉ）とすると、入力ニューロンの入出力関係は、上
述したことにより、 x_j（ｉ）＝Z_j（ｉ）ｊ＝1,…,n（ｉ）,i＝１ Z_n(i)+1（１）＝１ ……（２）となる。ここでｎ（ｉ）はｉ番目の層への入力数であ
り、Z_n(i)+1（１）はバイアス項となる。

第２、及び第３層のｉ番目のニューロンの出力は、 Z_j（ｉ）＝ｆ（x_j（ｉ））ｊ＝1,…,n（ｉ）,i＝2,3 Z_n(i)+1（ｉ）＝１ｉ＝2,3 ……（３）となる。ここでZ_n(i)+1（ｉ）はバイアス項である。

各層間のニューロンはシナプスを介して完全に結合さ
れており、各シナプスは重みを持ち、ニューロンの出力
にその重みを乗じたものを次段のニューロンへの入力と
する。従って第2,3層目のｊ番目のニューロンへの入力
は次式で与えられる。

x_j（ｉ）＝w_j（ｉ−１）Ｚ（ｉ−１）ｉ＝2,3,j＝1,…ｎ（ｉ−１） ……（４）但し、 w_j（ｉ−１）＝（w_j1（ｉ−１），…,w_j,
_n(i-1)+1（ｉ−１））は重みベクトルでw_jk（ｉ−１）
は、（ｉ−１）番目の層のｋ番目のニューロンとｉ番目
の層のｊ番目のニューロンの間のシナプスの重みであ
り、Ｚ（ｉ−１）＝（Z₁（ｉ−１），…,Z_n(i-1)（ｉ−
１）,1）^ｔは（ｉ−１）層ニューロンの出力ベクトル
で、ｔは行列の転置を示している。

上記のニューラルネットで入力データをｎ（３）個の
パターンで分離する場合は、ｉ番目の出力ニューロンを
パターンｉに対応させ、ある入力に対してｉ番目の出力
ニューロンが１で他が０のときパターンｉであるという
ように判定する。このようにパターン分離ができるため
には、重みw_ij（ｉ）（ｉ＝2,3）を適切に決める必要が
あるが、そのために入出力データを教師データとして学
習により重みを決める。今ｍ個の教師データの値｛（x_il（１）,s_jl）｝ｉ＝1,…,n（１）,j＝1,…,n（３）,l＝1,…,m ……（５）とすると、となるように重みw_ih（ｉ）を決める。但しZ_jl（３）は
教師データ入力x_il（１）に対応する出力ニューロンの
出力である。重みを決める方法としては、上記文献に示
されている逆伝播法が広く用いられている。この方法で
は、１組の教師データの入力x_il（１）,i＝1,…,n
（１）に対して出力Z_jl（３）がs_jl ｊ＝1,…,n（３）
に近づくように出力側から順次入力側に重みを修正し、
それが終ったら次の教師データについて上記を同じ手順
を繰り返し、 |Z_jl（３）−s_jl|＜ε ……（７）ｉ＝1,…,n（３）,l＝1,…,m が成り立つまで修正を繰り返す。但しεは、収束を判定
するための小さな正の数である。

このようにしてニューラルネットの重みを決定した後
で、未学習データに対するネットワークの出力を調べる
ことによりパターン認識が可能となる。

この方式では、入出力パターンに基づいた学習により
パターン識別ネットを構成できるため、識別アルゴリズ
ムを作る必要がないという大きな利点がある。

予測，推定等によりニューラルネットを用いる場合
は、ニューラルネット出力が離散値でなく連続値を取る
だけで本質的な差異はない。

このようなニューラルネットの構成特に多層ニューラ
ルネットの構成のうちとりわけ中間層ニューロン数を最
適化する手法として従来の装置は、電子情報通信学会技
術報告NC89−104,P85〜90における『淘汰機能を有する
バックプロパゲーション』に記載のように、中間層ユニ
ットを学習時に動的に追加，削除することにより、その
最適化を図っていた。

さらにIJCNN'90−WASH−DC,1−739〜１−742における
『Analysis of the Hidden Units of Back−Propagatio
n Model by Singular Value Decomposition（SVD）』に
記載のように、入力層と中間層の間のシナプスの重みを
行列化し、この行列のRANKの値に着目して中間層ニュー
ロン数を決定する方法が知られている。

〔発明が解決しようとする課題〕

上記従来技術のうち前者については、ニューロンを削
除するかどうか（本文中では不良ユニットかどうか）の
臨界値に対しては言及されておらず、最も不良なものを
次々と削除していく場合には、その都度学習を必要とす
るため、従来の試行錯誤的シミュレーションと変わりな
い演算量を必要とする。またこの操作を打切る指標につ
いて記載されていないため、最小構成の状態からさらに
削除した場合には、ネットワークが収束しなくなること
が問題となる。

また、後者の方式では、条件として中間層ニューロン
数は、入力層ニューロン数以下の値となるため、中間層
で情報が圧縮されるタイプのニューラルネットにしか適
用できないことが大きな問題となる。

また、入力層のニューロン数やその内容に関して、有
効な最適化手法は知られていない。

また、一旦学習したネットワークでパターン識別ある
いは予測等を行なったとき誤認識あるいは大きな予測誤
差が発生してもその対策は、その誤まったデータを追加
して再度学習するという方法しかなく識別あるいは、予
測等の精度を上げるために試行錯誤になるという問題が
あった。また逆伝播法は、教師データを一個ずつ逐次的
に処理するために学習が極めて遅いという問題があっ
た。

本発明の目的は、与えられた条件に対して最適なニュ
ーラルネットを構成する手法を提供することにある。与
えられた条件とは、（イ）ニューラルネットの規模の最
適化（例えば、入力層のニューロン数，中間層のニュー
ロン数，入力層と中間層のニューロン数の積を最小化す
るなどがある。）、（ロ）学習の精度の指定（ハ）学習
時間の指定（ニ）教師データ以外の入力データに対する
誤動作の最小化等ニューラルネットを構築する際に指定
する条件を言う。本発明の他の目的は、学習によって得
られたニューラルネットワークで未学習データに誤認識
あるいは大きな予測誤差が生じたときに、重みをチュー
ニングする、あるいはネットワークを再構築することに
よりこれらを回避する手段を提供することにある。本発
明の他のもう１つの目的は、高速な学習方式を提供する
ことにある。

〔課題を解決するための手段〕

本発明は、（イ）与えられた条件に対するニューラル
ネットの構築方法、（ロ）ニューラルネットの重みチュ
ーニング方法、（ハ）ニューラルネット再構築方法、
（ニ）学習の高速化方法、などに特徴を有するものであ
り、これらの独立した手段，方法のみならず、種々な組
合せにも夫々特徴がある。

以下問題を解決するための手段の一例を理論的に説明
する。

（イ）与えられた条件に対するニューラルネットの構築
方法規模最適化するという条件のもとでパターン認識用ニ
ューラルネットを構築する方法について説明を行なうが
予測等の問題でも同様に適用が可能である。パターン認
識をニューラルネットで行なう場合は、教師データに対
するニューラルネットの出力は１あるいは０であり、シ
グモイド関数の飽和特性が極めて重要な意味を持つ。ニ
ューラルネットの出力（ニューラルネットの中間層又は
出力層のニューロンの出力）1,0に対応する出力ニュー
ロンへの入力は、＋∞，−∞に対応するため、1,0を各
々１−ε，εとして、学習の打切りを（７）式で行なう
とすると、（７）式は、・s_il＝１−εのとき１Z_jl（３）１−２ε ……（８）・s_il＝εのとき２εZ_jl（３）０ ……（９）となる。これを出力ニューロンへの入力で考えると、第
４図に示す如く、・s_il＝１−εのとき ∞＞x_jl（３）α ……（10）・s_il＝εのとき −αx_jl（３）２−∞ ……（11）但し α＝−Tlog(1/(１−２ε)−１)＝Tlog(1/2ε−１) 即ち出力側での有限な区間が入力側では半無限区間に
対応することになる。これにより（６）式の最小化が、
中間層と出力層の間の重みの決定に関しては、不等式を
解くことで求まりうることが分かる。ここでもう少し一
般化すれば1,0に対応する出力ニューロンの値は１−
ε′，ε′（ε′０）としたときε′εがあればよ
い。従ってε′＝０としてもε＞０ととれば上記と同じ
ことが言える。以下ではε＝ε′（＞０）として話を進
めるが、ε＞ε′としても同じことが成り立つ。

ニューラルネットの重みは、超平面を記述する方程式
の係数と解釈できる。（４）式でx_j（ｉ）＝０とすると w_j（ｉ−１）Ｚ（ｉ−１）＝０ ……（12）は、ｎ（ｉ−１）次元空間の超平面を表わし、バイアス
項の重みw_j,_n(i-1)+1（ｉ−１）の値を変えることは、
超平面を平行移動することに対応する。（１）式より
（12）式を満足するx_j（ｉ）に対応するZ_j（ｉ）の値は
1/2となる。ここでｎ（ｉ−１）次元の点（Z₁（ｉ−
１），…Z_n(i-1)（ｉ−１））^ｔは、 x_j（ｉ）＞０あるいはZ_j（ｉ）＞1/2 ……（13）のとき超平面の正の側にあり、 x_j（ｉ）＜０あるいはZ_j（ｉ）＜1/2 ……（14）のとき超平面の負の側にあるということにする。またあ
るパターンは、そのパターンに属する全ての教師データ
がｋ個の超平面の同じ側にあり、他のパターンのデータ
は存在しないとき、そのパターンはｋ個の超平面で単一
分離可能と呼ぶ。またあるパターンの教師データが単一
分離可能な集合に分割されるときそのパターンは分離可
能と呼ぶ。これら分離可能な超平面を以下分離超平面と
いう。

第５図の平面上の３つのパターンの分離を考える。３
つの平面P₁,P₂,P₃の矢印は、平面の正の側を示すとし、
平面上の各点は教師データを示すとする。パターンＩの
全ての教師データはP₂,P₃の正の側にあり他の教師デー
タは存在しないので、パターンＩは平面P₂,P₃で単一分
離可能である。同様にパターンIVは平面P₁,P₂,P₃で単一
分離可能である。また、パターンIIは単一分離可能な部
分集合からなるから分離可能である。

以上のことから次のことを示すことができる。ｎ
（１）次元データをｎ（３）個のパターンに分離するこ
とを考える。ｎ（１）次元空間にｎ（２）個の超平面が
存在し、ｎ（３）個のパターン全てがｎ（２）個の超平
面の部分集合で単一分離可能なとき、入力ｎ（１）個，
中間層ニューロンｎ（２）個，出力ｎ（３）個の３層の
ニューラルネットでパターン分離が可能である。

これは次のようにして分かる。ｎ（２）個の超平面を w_j（１）Ｚ（１）＝０ｊ＝1,…,n（２）……（15）とする。ここで Z_j（２）＝1/（１＋exp（−x_j（２）/T））， Z_j（２）＝w_j（１）Ｚ（１）ｊ＝1,…,n（２） ……（16）として、ニューラルネットの第1,第２層に対応するよう
にする。そうすると仮定により、教師データに対応する
Z_i（２）は、 Z_i（２）＞1/2あるいはZ_i（２）＜1/2 ……（17）のいずれかになる。

従ってw_j（１）に正の定数をかけると、教師データに
対応するZ_j（２）を Z_j（２）＝１あるいはZ_j（２）＝０ ……（18）のどちらかにすることができる。

次に出力と中間層ニューロンの間の重みを求める。出
力ニューロンの入力x_i（３）を x_i（３）＝w_i（２）Ｚ（２）ｉ＝1,…,n（３） ……（19）で与えられるとする。w_i（２）はｉ番目のパターンに対
してx_i（３）が１−εでそれ以外のパターンに対して
は、εとなるように決めればよい。そのためには w_i（２）Ｚ（２）α パターンｉ ……（20） w_i（２）Ｚ（２）−α パターンｉ以外のパターン ……（21）とすればよい。

第５図のパターンＩのようにパターンｉがｎ（２）個
より少ない超平面で分離されるときは、分離に貢献して
いない平面に対応する重みを０とすればよいので、パタ
ーンｉはｎ（２）個の平面で分離されると仮定する。こ
の仮定によりパターンｉに対するZ_i（２），…,Z
_n(2)（２）の出力は一意に決まる。ここで、 (Z₁(２)，…,Z_n(2)(２))＝(1,…,0,…,0) パターンｉ ……（22）とする。即ち最初のｓ個の出力が１で残りが０であると
する。

さらに w_ij（２）＝２α ｊ＝1,…,s ……（23） w_ij（２）＝−２α ｊ＝ｓ＋1,…,n（２） ……（24）とすると、（20），（21）式は各々次のようになる。

w_i,_n(2)+1（２）α−25α パターンｉ ……（25）パターンｉは単一分離可能であるから、Z_j（２）＝０
がｊ＝1,…,sのどれかのｊで成立するか、Z_j（２）＝１
がｊ＝ｓ＋1,…,n（２）のどれかのｊで成立する。従っ
て（25），（26）式を満たすw_i,_n(2)+1（２）を決める
ことができる。それには例えばw_i,_n(2)+1（２）＝α
（１−2s）とすればよい。

以上の証明より、もしパターンｉが分離可能であるな
らば、３層目でパターンｉの各々の分離領域を分離し、
４層目でそれらを合成することにより４層のニューラル
ネットで分離が可能となることが分かる。

なお同一パターンが超平面によりいくつかの領域に分
離されるときも、それらの領域が異なるパターンに対応
する領域と１つの超平面で分離できるときは３層で合成
することができる。

またここで証明を簡略化するために、中間層の出力を
１と０としたが、実際はその必要がない。

上記の手順を行なうと第５図の平面上の点の分離を行
なうニューラルネットは次のようになる。入力と中間層
の重みは、図の直線を表現する方程式の係数に設定す
る。このとき重みの符号は図の矢印の方向が正の側にな
るようにとる。重みに正の数をかけることにより中間層
の出力が1,0をとるようにすると各パターンに対する入
力は次のようになる。

パターンＩでZ₁（２）が１と０をとるが、Z₂（２）と
Z₃（２）がどちらの場合も１であるからZ₁（２）はパタ
ーン分離に貢献していない。従ってパターンＩは直線
P₂,P₃により単一に分離可能である。同様にパターンIV
は直線P₁,P₂,P₃で単一に分離可能である。これに対しパ
ターンIIは分離可能である。従って第６図のようにネッ
トワークが構成される。図において、1010〜1012は入力
ニューロン、1013〜1016,1018,1019は中間層ニューロ
ン,1017,1020,1021は出力ニューロンである。1013,101
4,1015は各々直線P₁,P₂,P₃に対応している。また1017,1
021,1020は各々パターンI,V,IVに対応しているパターン
Ｉは、直線P₂,P₃により単一分離可能であるから1013と1
017とはつながっていない。パターンIIは、２つの単一
分離可能な領域を合成することになるので４層ネットで
構成される。４層目の重みは、となるように重みを決めればよいので w₂₁＋w₄₁α w₃₁＋w₄₁α w₄₁−α が成立するようにとればよいので w₄₁＝−α とすれば、 w₂₁＋w₃₁＝２α とすればよい。

ここで1018,1019どちらの出力も１となることはない
がそのときも1021の出力は１となる。

以上の手順によればネットワーク規模を最小化でき
る。また分離平面を教師データのない境界上にとれるた
め誤認識に強いネットとすることができる。

規模を最適化するという条件を達成する別の手順とし
て、入力信号セットと出力信号セットからなる教師情報
（ニューラルネット系の入力と出力に関する既知の対応
関係）の内容を基に、ニューラルネット左の各シナプス
の重みを決定する同定手順を備えたニューラルネット構
築装置に、これらと情報交換しつつ動作するニューラル
ネット最適設計手順を備えたものである。

また該ニューラルネット最適設計手段に、入力信号最
適化手段と中間層ニューロン数最適化手段を備えたもの
である。

（ロ）ニューラルネットの重みのチューニング方法（イ）の最初の方法でパターン認識を行なうネットワ
ークが構成されているとする。但しこのとき入力と中間
層の重みは、各パターンを分離するように設定されてい
ればよく、教師データに対する中間層出力が1,0となる
必要はない。各パターンを分離とは、各パターンの教師
データの少なくとも２つ以上教師データを含む部分集合
に対して、中間層出力Z_i（２）が Z_i（２）＞1/2あるいはZ_i（２）＜1/2 ……（27）のどちらかになっていることを言う。

未学習データx_i（１）,i＝1,…,n（１）をニューラル
ネットに入力して、誤認識が生じたとき、x_i（１）に対
応する中間層入力及び出力をx_j（２）,Z_j（２）ｊ＝1,
…,n（２）とする。このとき、未学習データがパターン
ｋに属するとするとき、パターンｋに対応する教師デー
タに対応する中間層の入力あるいは出力と比較し、未学
習データが教師データが存在しない超平面の側に存在す
る中間層ニューロンを検出する。このニューロンが誤認
識を生じる原因となっていることが分かる。

次にその中間層ニューロンの重みを調整し、未学習デ
ータが、同一パターンの学習データとその平面に対して
同一の側にあるようにする。このとき他のパターンに属
する教師データのその平面に対する位置関係を変えては
ならない。この調整の仕方としては例えば、超平面を平
行移動即ちバイアス項を変化させればよい。予測等を行
なう場合も、同様の方法により重みのチューニングが可
能である。

（ハ）ニューラルネット再構築方法上記目的を達成するために、ニューラルネットの性能
（制御性能，認識率，汎化能力，予測情報等）を評価す
る手段と、性能が低下したときに教師データの内容を更
新する手段と、この後ニューラルネット系最適設計手段
に再度起動をかける再構築指令発生手段よりなるニュー
ラルネット再構築手段を備えたものである。

（ニ）学習の高速化方法（イ）の考え方を用いれば従来のパターン認識の学習
法も高速化ができる。ここでx_il（１）,s_ilの教師デー
タを用いて学習がある程度進んだ段階で、・s_il＝１に対して Z_il（３）＞1/2＋ε_１あるいはx_il（３）＞ε_２ ……（28）・s_il＝０に対して Z_il（３）＜1/2−ε_１あるいはx_il（３）＜ε_２ ……（29）が全てのｉ＝1,…,n（３）,l＝1,…,mに対して成立する
か調べる。ここでε₁,ε_２は、学習の打切りを指定する
正の小さな定数である。もし成立すれば学習を終了し、を求める。ここでM_i＜αのときw_ki（２）を次のように
修正する。

w_ki（２）←（α/M_i）w_ki（２）,k＝1,…,n（２）＋１ ……（31） M_iαのときはw_ki（２）を修正する必要はない。

ここで（28）あるいは（29）が成立すれば、パターン
は既に分離されているから、（30），（31）の手順で重
みを定数倍にすることによりネットワークの出力が1,0
になるように調整できる。

なおw_ki（２）だけの調整だけでなく、w_ij（１）が分
離超平面に対応するように調整した後にw_ki（２）を調
整した方が、誤認識に強いネットとすることができる。

〔作用〕

（イ）学習の打切りを（８），（９）式あるいは（1
0），（11）式とすることにより、中間層と出力層の重
みを不等式を解くことにより求めることが可能となる。
また入力層と中間層の重みを、パターンを分離する超平
面に対応させることにより、パターン分離を行なうニュ
ーラルネットを３層あるいは４層で構成できる。

また規模を最適化する別の方法で入力信号最適化手段
は、前記記憶手段の情報を取込み、実施例に詳述する手
法で、出力の決定に貢献している無意味な入力と、他の
入力の線形和で表わされる冗長な入力を指摘する。

中間層ニューロン数最適化手段は、同定を終えたネッ
トワークに、入力信号セットを入力し、このときの各中
間層ニューロンの出力の振舞いを分析する。

（ロ）入力と中間層の重みをパターンを分離する超平面
に対応させることにより、誤認識が生じたときに重みを
調整することにより誤認識を解消することができる。

（ハ）ニューラルネット再構築方法ニューラルネットの性能を評価する手順は、教師デー
タに含まれない入力データに関し、対応するニューラル
ネットの出力が、所望の出力データとなっているかどう
かを検出する。そして所望の出力データが得られていな
いとき、性能が低下したことを判定する。このとき教師
データの内容を更新する手段は、所望の出力データが得
られなかった入力データと、これに対応する所望の出力
データの組合せを教師データに追加する。再構築指令発
生手段は、前に述べたニューラルネット最適設計手段を
駆動し、ニューロン数の最小化、シナプスの重みの再構
築を行う。

（ニ）全ての教師データが、パターン毎に分離された段
階で学習を終らせることにより、学習の高速化を図るこ
とができる。

〔実施例〕

以下、本発明の一実施例を第１図を用いて説明する。
図において、101はニューラルネット構築装置、102はニ
ューラルネット演算手段、103は記憶手段、105はニュー
ラルネット系最適設計手段である。102は、多層のニュ
ーラルネットの構成に基づいて入力信号に対する出力信
号を演算する手段である、入力に対する望ましい出力の
組合せ（教師データ）は、後述する第15図に示す記憶内
容のとおり、記憶手段103に記憶されており、ニューラ
ルネット系最適設計手段105は指定された条件と教師デ
ータとにより条件を満たすニューラルネットを構築す
る。

第７図に、ニューラルネット系最適設計手段105の処
理フローを示す。

ステップ10では、ニューラルネットを最初から構築す
る場合はステップ11へ、そうでないときはステップ12に
進む。

ステップ11では、ニューラルネットワークを構築し終
了する。

ステップ112では、誤りが生じたデータを教師データ
を用いて、ニューラルネットの重みをチューニングして
誤りを解消して処理を終了する。

ネットワーク規模の最小化及び誤認識に強いことを条
件にパターン認識用ネットを構築するステップ11の手順
を第８図に示す。

ステップ11において、教師データ（x_il（１）,s_il）
ｉ＝1,…,n（１）,j＝1,…,n（３）,l＝1,…,mを用いて
ｎ（３）個のパターンに分離する平面を決定し、それに
よりニューラルネットの中間層数ｎ（２）及び入力と中
間層間の重みW_ij（１）ｉ＝1,…,n（２）,j＝1,…,n
（１）を決める。

次にステップ112において、ｎ（３）個の各パターン
に対して、（20），（21）式が成立するように重みW_ij
（２）,i＝1,…,n（３）,j＝1,…,n（２）を決める。

ここで111のステップにおける分離平面の決定は、例
えば、“パターン認識に学習機械”昭晃堂（昭和45年）
38頁−41頁の手順で行なうことができる。

また112のステップは、中間層の出力を1,0になるよう
に調整したときは、（22），（23）式に従って重みを決
め、また単一分離可能でないときは、３層あるいは４層
で合成する。1,0になるように調整していないときは、
（20），（21）式の不等式を解けば求めることができ
る。なお112のステップで分離に貢献していない中間層
ニューロンの出力は、対応する出力ニューロンには入力
しないようにする。

第７図のステップ12のパラメータチューニングのステ
ップは、第９図のようになる。即ち、先ずステップ121
において、誤認識を生じた入力データx_i（１）ｉ＝1,
…,n（１）の中間層の入力x_j（２）（あるいは出力Z
_j（２））とそのデータに対応するパターンｊの教師デ
ータの中間層の入力（あるいは出力）とを比較し、教師
データが存在しない超平面の側にある中間層ニューロン
を検出する。

次にステップ122において、検出された中間層ニュー
ロンに対して誤認識を生じたデータが同一パターン教師
データと同じ側になるように重みを調整する。このとき
その超平面により分離されている教師データの位置関係
を変えない範囲で調整する。それが終ったら第８図のス
テップ112と同じ手順で出力層の重みを調整する。

最も簡単な重みの調整法は、バイアス項を変えて、超
平面を平行移動することにより行なうことができるが、
第８図のステップ111と同じ方法を用いてもよい。

第７図のステップ11の別の実施例を第10図に示す。

先ず、ステップ113において、教師データ（x
_il（１）,s_il）を用い、逆伝播法、その他の手法でニュ
ーラルネットの重みを修正する。

次にステップ114において、（28），（29）式が成立
していれば、収束したとして、ステップ115へ進む。そ
うでなければ、ステップ113へ戻る。

ステップ115においては、入力側の重みが分離超平面
となるように、重みをチューニングする。具体的には、
例えばバイアス項を変えて分離超平面を平行移動するこ
とにより行なう。

次にステップ116において、入力側の調整に従い、出
力側の重みを、第８図のステップ112と同じ手順で修正
する。このときもパターン分離貢献していない中間層ニ
ューロンと出力ニューロンとは結ばないことにする。

なお上の手順でステップ115を行なう必要はなく、そ
のときは、（30），（31）式の手順でW_kj（２）を修正
すればよい。

第５図において、パターンＶをパターンIIとパターン
IVの２つに分けて単一分離可能として、第10図の113,11
4のステップを実行したときの平面の学習結果を第11図
に示す。このとき113のステップの学習は、入力データ
を一括して層毎に重みを決める方式とした。このとき第
11図において、P1,P2,P3のバイアス項を調整して平行移
動させると、第５図のように各パターンを分離でき、11
5,116のステップを実行できる。

このようにすることにより誤認識に強いニューラルネ
ットを構築することができる。

以下、本発明の他の実施例を図に従って詳細に説明す
る。まず第12図により装置全体の構成を説明する。本実
施例でニューラルネット構築装置101は、入力信号に後
述する所定の演算を施した後出力するニューラルネット
演算手段102,入力信号に対するニューラルネット演算手
段102の操作として望ましい入力と出力の組合せ（以下
教師信号）を格納しておく記憶手段103と信号の交換を
行う。ニューラルネット構築装置101は記憶手段103に格
納されている教師信号を基に、ニューラルネット演算実
行手段102の演算定数を決定する同定手段104,記憶手段1
03の内容および同定手段104の学習結果を基に、ニュー
ラルネット演算手段102の最適な構成を決定するニュー
ラルネット系最適設計手段105から構成される。またニ
ューラルネット系最適設計手段105は、ニューラルネッ
ト演算手段102へ入力される入力信号の内容を最適化す
る入力信号最適化手段106と、102の内部構造である中間
層のニューロン数の最適な値を決定する中間層ニューロ
ン数最適化手段107からなる。以下各手段の機能を順次
詳細に説明する。

ニューラルネット演算手段102は第13図に示すよう
に、入力演算手段201,中間演算手段202,出力演算手段20
3により構成される。入力演算手段には、ニューラルネ
ット演算に必要な入力信号（制御応用の場合には制御対
象からの帰還信号，認識応用の場合には認識対象の図形
情報等）が入力される。また出力演算手段203からは演
算支結果として、制御指令や認識結果に対応した信号が
出力される。各演算手段は複数の演算単位204からな
る。演算単位204を結合するアーク205は演算単位間の信
号の流れを表わしており、図に示すように、隣接した演
算手段に含まれる演算単位と結合される。演算単位204
は入力アークにより結ばれている他の演算単位の出力値
を入力データとして取込み、後述する演算を行い、その
結果を出力アークにより結ばれている他の演算単位へ出
力する。第13図は０〜９の数字を認識するシステムにニ
ューラルネット演算装置101を適用した例を示してい
る。この場合入力演算手段201には数字を弁別するため
の特徴量として、図形に含まれる穴の数等が各ニューロ
ンに入力される。入力情報としてはこの他に、図形を適
当数に分割し、各領域の情報（画素があるかないか等）
を、領域に対応づけたニューロンに入力する方法も考え
られる。また出力演算手段203の各ニューロンは、例え
ば０〜９の各数字に対応したものが用意される。各出力
ニューロンは、割付けられた数字に該当した信号が入力
されたときアクティブとなり、これらの結果が出力され
る。

第14図に演算単位204が実行する演算の内容を中間演
算手段202に含まれる演算単位の動作を例にして示す。
他の演算単位からの入力値X₁〜X_nを取込んだ後、各入力
値に対応した重みW_iを乗じ、その結果を加算しｕとす
る。すなわちｕは、で与えられる。ｕを定められた関数ｆで写像し、出力値
Ｙを決定する。関数ｆの形は種々考えられるが、一般に
広く用いられる例としてはシグモイド関数と呼ばれる。
（33）式の非線形飽和関数がある。

第14図は中間演算手段202に属する演算単位について
示したが、入力演算手段201に属する演算単位の場合、
入力は第13図から自明なように唯一となる。したがつて
第14図でｎ＝１の場合と考えればよい。また出力演算手
段203に属する演算単位の場合には、逆に出力が唯一と
なる。ニューラルネット演算手段102の構成としては、
中間演算手段を２つ以上設けた多段構造や、入力演算手
段201の出力に直接出力演算手段203を結合した構成をも
考えられる。また入力演演算手段201の関数ｆによる変
換を省略することも考えられる。

記憶手段103は、ニューラルネット演算手段102におけ
る入力信号セットと出力信号セットの望ましい組合せを
データの対として、たとえば第14図に示す形態で記憶す
る。本実施例で入力信号セットは前述した図形情報によ
り構成され、出力信号セットは０〜９に対応しており、
例えば図のように該当する数字を１、他を０で与える。
これらは同定手段104における同定用のデータとして用
いられる。詳しくは後述するが記憶手段103には、この
他に同定結果の評価用データとして、第15図の形態で入
力信号セットと出力信号セットの対を格納しておくこと
も考えられる。

同定手段104は、記憶手段103に蓄えられている入力信
号セットと出力信号セットの組合せから、学習によりそ
れらの関係を同定する。同定は（32）式に示した各ニュ
ーロンのシナプスの重みW_iの変更により行われ、最終的
な同定結果によりニューラルネット演算手段102へ転送
されるシナプスの重みが決定される。第16図の同定手段
104の構成を示す。本実施例では、繰返しの学習により
同定を行う例を示す。ニューラルネット演算模擬手段50
0に含まれ、ニューラルネット演算手段102の構成に対応
した、入力演算手段501,中間演算手段502,出力演算手段
503に加え、記憶手段103から取込んだ教師信号である入
力信号セットと出力信号セットをそれぞれ受信する機
能、出力演算手段503の出力と出力信号セットとの差分
を基に各ニューロンのシナプスの重みW_iを修正する機能
を備えている。以下学習動作の代表例であるバックプロ
パゲーション法について説明する。

まず記憶手段103に蓄えられている入力信号セットと
出力信号セットの対を一つ抽出し、入力信号を入力演算
手段501の対応したニューロンに入力する。このとき各
演算単位の前述した演算の後、出力演算手段503から出
力される各ニューロンの値を、対応した出力信号セット
の値と比較し、不一致の差分を検出する。そしてバック
プロパゲーションの名で知られるアルゴリズムに従い、
差分がなくなるように各演算手段501〜503に属する演算
単位の重みW_iを変更していく。変更アルゴリズムの詳細
は、たとえば『ニューラルコンピュータ』（東京電機大
学出版局，合原一幸著）のp110〜113に述べられてい
る。総てのニューロンの重み変更が終了すると、同定手
段104は記憶手段103から別の信号の対を同様に抽出し、
同じ手順で重みの変更を行う。これを記憶手段103に蓄
えられている総ての信号の対について行う。この動作
を、前述した不一致の差分が許容値以下になるまで繰返
す。このようにして決定された各演算単位の重みをW_ij
（ｉはアーク番号、ｊはニューロン番号）とする。同定
手段104はW_ijをニューラルネット演算手段102に転送
し、102の各シナプスの重みを決定する。

本発明で新たに備えられたニューラルネット系最適設
計手段105は、記憶手段103に格納されている信号を分析
して入力信号セットに含まれる信号の内容を最適化する
入力信号最適化手段106と、学習手段104の学習結果とし
て構築されたニューラルネット演算模擬手段500に入力
信号セットを次々と入力したときの中間演算手段の各ニ
ューロンの出力に着目して中間層ニューロンの最適数を
決定する中間層ニューロン数最適化手段107を備えてい
る。

第17図のニューラルネット系最適設計手段105の機能
を示すアルゴリズムと、同定手段104との間の情報交換
方式を示す。Ｔ＊（T₁〜T₃）が入力信号最適化手段106
の機能、T₄が中間層ニューロン数最適化手段107の機能
であり、本実施例では入力信号最適化手段106の後、中
間層ニューロン数最適化手段が動作する。入力信号最適
化手段106は、まずT₁で記憶手段103より教師信号（入力
信号セットと出力信号セット）を取込む。T₂とT₃ではこ
れらを用いて出力に貢献しない入力と冗長な入力を指摘
する。

出力に貢献しない入力特定方法として本実施例では、
教師データの各入力ニューロンと出力ニューロンの値に
着目する方法を示す。まず１つずつの入力ニューロンと
出力ニューロンを抽出し、これに対応した教師信号の値
をX_i,T_i（ｉ＝1,2,…N;Nは教師信号数）とする。入力値
のフルスケールを適当数N_Tに分割し、分割された各エリ
ア（1,…N_T）に属するX_iに対応したT_iの値を求める。こ
こで例えばT_iの平均値であるT_meanを用いて、T_i≧T_mean
である場合とT_i＜T_meanである場合のX_iの個数をカウン
トすることにより、第18図（ａ）の２つのヒストグラム
が得られる。

各エリアを1,…,k,…,N_Tとし、T_i≧T_meanのX_iの個数
を▲Ｕ^* _k▼、T_i＜T_meanのX_iの個数を▲Ｕ^** _k▼とする。
次に２つのヒストグラムについて各エリア毎に▲Ｕ^* _k▼
と▲Ｕ^** _k▼の小さい方の値であるMIN（▲Ｕ^* _k▼，▲Ｕ
^** _k▼）を求め、第18図（ｂ）のヒストグラムを求め
る。このヒストグラムを本願ではANDヒストグラムと呼
ぶ。ここでANDヒストグラムには第19図の３つのパター
ンが存在する。（ａ）の場合、抽出した入力値は抽出し
た出力値をそれ以外の出力値と完全に分離する能力を備
えていることを示している。また（ｂ）の場合、抽出し
た入力値は、抽出した出力値を他の出力値とともに、そ
れ以外の出力値と分離する能力を備えている。（ｃ）の
場合には、抽出した入力は抽出した出力と無相関であ
る。結局、抽出した入力値が抽出した出力値を弁別する
能力がないのは、（ｃ）の場合であり、それはANDヒス
トグラムの要素数が多く、しかもそれらが入力値のスケ
ール全体に分散している場合である。そこで例えば要素
数（ANDヒストグラムにおけるエリア番号数）と要素の
分散（ヒストグラム値MIN（Ｕ^＊,U^＊＊）とエリア番号
の積の各値と全平均値の差を２乗した総和を個数で除し
た値）を、抽出した入力が抽出した出力を弁別する能力
の指標とできる。この値が大きいときは、ANDヒストグ
ラムの形状は第19図（ｃ）となり、弁別能力が少ないと
判定される。この値をD_ij（ｉ＝1,…,p;iは入力信号セ
ットのデータ番号、ｊ＝1,…,q;jは出力信号セットのデ
ータ番号）とすると、各入力信号と出力信号のD_ijの値
を用いて、第20図のテーブルが構築できる。このとき適
当な臨界値（D_ij）_thを設定し、各入力信号について（D
_ij）_thより小さいD_ijの値を２つ以上有していないもの
を、出力に貢献しない入力として指摘する。

次にT₃の動作を説明する。冗長な入力を指摘する手法
として本実施例では、他の入力信号の線形和で表わされ
る割合を指標とした場合を示す。この割合を与える統計
量として、本実施例では寄与率R²を用いた。R²は以下の
式で表わされる。

但し、各入力信号についてR²の値を求めたとき、R²が最大の
入力信号が最も冗長な入力として指摘される。統計量と
してはR²の他にも残差平方和の値等種々考えられる。

入力信号の削除によりニューラルネット演算手段102
の性能を低下させないため、102の性能を確認しながら
入力信号を削除する方法を次に示す。まずT₂で出力に貢
献しない入力がいくつか指摘されると、データパス１に
より、これらの番号を同定手段104へ転送する。次にT₃
において、T₂で除かれた信号以外の入力信号の中で、最
もR²の大きい入力信号の番号をデータパス２により、同
定手段104に伝える。S1では今回転送された信号番号とT
₂で転送された信号番号を除いた入力信号セットと、出
力信号セットを教師信号の入力信号セットとして学習を
行う。この結果構築されたネットワークを、記憶手段10
3から取込んだ評価用の入力信号セットと出力信号セッ
トを用いて評価する。本実施例では出力信号セットと、
入力信号セットを入力したときのニューラルネット演算
模擬手段500の出力を比較した結果を、認識率として評
価の指摘にすればよい。S₂で性能の低下が許容範囲内で
あることを確認したうえで、S3でこの入力を除くことを
決定する。この後データパス３で次の入力信号をニュー
ラルネット系最適設計手段105に要求する。105は前回転
送した入力信号をさらに除いた入力信号セットの組合せ
て同様に各入力信号のR²を算出し、最もR²が大きい入力
信号の番号をデータパス２により同定手段104に送る。
以下S₁〜S₃の演算が繰返される。S₂で性能が低下した場
合には、S4で前回までに除いた入力信号を削除可能と判
定する。

また、第17図に示す入力信号最適化手段Ｔ＊の他の実
施例を第21図に示す。この手法は、次の考え方に基づい
ている。すなわち、ニューラルネットは、第15図の示す
学習データ（入力信号セットと出力信号セットの組合
せ）からパターン認識の法則を学習していく。そのた
め、第15図の入力信号セット（X₁,X₂,…X_p）の中に冗長
な入力（X_i,X_j,…;1i,j…ｐ）が含まれていない場
合は、それがパターン認識の法則に与えない影響、すな
わち入力の変動に対する出力の感度が低くなると考えら
れる。そこで、第21図の実施例では、学習済みのニュー
ラルネットの入力の変動と出力の関係を表わす感度特性
に着目し、その特性を解析することにより冗長な入力を
検出し、それを削除することで最適な入力を選択する。

本実施例に基づく入力信号最適化手段106は、まずT₁₁
で記憶手段103より第15図に示す学習データ（入力信号
セットと出力信号セットの組合せ）を読込み、これをカ
テゴリー毎に分類する。カテゴリー毎に分類する方法と
しては、第15図に示すＮ個の学習データの中から出力信
号セット（T₁,T₂,…T_q）が同じものをグループ化して、
それを１つのカテゴリーとする方法を用いればよい。す
なわち、例えば番号１の出力信号セット（0.99,0.01,
…,0.01）と同じ出力信号セットを番号２〜Ｎの学習デ
ータから選択してグループ化して、それをカテゴリー１
とする。次に、番号２の出力信号セット（0.01,0.09,
…,0.01）と同じ出力信号セットを番号３〜Ｎから選択
してグループ化し、それをカテゴリー２とする。以下こ
の操作を繰り返して学習データをカテゴリー毎に分類す
る。T₁₁では、T₁₀で分類したカテゴリー毎に入力信号セ
ット（X₁,X₂,…,X_p）の中のX_i（ｉ＝１〜ｐ）を変動さ
せ、そのときのニューラルネットの出力を観測する。こ
のとき、X_i以外の入力信号セットとしてはカテゴリーの
代表値を入力する。代表値としては、下式に示すように
カテゴリー毎に分類した複数の（ｎ（C_m）個）の入力信
号セットの平均値X_jmean（ｊ≠i,j＝１〜ｐ）を用いる
か、あるいは、平均値X_jmeanに最も距離の近い入力信号
セットを用いることが考えられる。

ここでｎ（C_m）はカテゴリーC_mの学習に用いられた入
力信号セットの個数である。

また、T₁₁で観測するニューラルネットの出力は、カ
テゴリーC_mを認識する出力ニューロンC_mとそれ以外の出
力ニューロンである。そして、入力信号X_iを変動させた
ときの出力ニューロンC_mとそれ以外の出力ニューロンの
各々の出力を第22図のようにグラフ化する。グラフ化し
た入出力特性、すなわち感度特性から、例えば第22図
（ａ）のように出力ニューロンC_mの出力値が、出力ニュ
ーロンC_m以外の出力ニューロンの出力値と交差しない場
合はその入力X_iはカテゴリーC_mの認識に影響を与えない
入力であるため○と評価する。一方、第22図（ｂ）のよ
うに出力ニューロンC_mの出力値が、出力ニューロンC_m以
外の出力ニューロンの出力値と交差する場合はその入力
X_iはカテゴリーC_mの認識に影響を与える入力であるため
×と評価する。評価結果の○あるいは×を、例えば第23
図に示すように、カテゴリーを縦の欄に、入力信号セッ
トを横の欄にとった表の中に記入していく。カテゴリー
C_mについて、全ての入力信号を１つずつ変動させたとき
の感度特性を調べて○，×を表に記入する。カテゴリー
C_mが終了したら次に別のカテゴリーに対して同様に感度
特性を調べて○，×を表に記入し、第23図の表（感度特
性表）を完成させる。

最後に、第21図のT₁₂では、T₁₁で作成した感度特性表
を入力信号X_i（ｉ＝１〜ｐ）について縦方向に調べ、ほ
とんど全てのカテゴリーについて○となっているX_iを検
出し、それを削除可能な入力信号として指摘する。

削除可能と指摘された入力信号の番号ｉをは第17図の
データパス１あるいは２を介して同定手段104へ転送さ
れる。

前述した入力信号最適化手段の別の実施例の場合と同
様に、T₁₂から転送された信号番号を除いた入力信号セ
ットと出力信号セットを学習データとして学習を行な
う。この結果構築されたニューラルネットの認識率を評
価し、入力信号を削除する前の認識率に比べて認識率の
低下がないことを確認したうえで、S₃でこの入力を除く
ことを決定する。認識率が低下した場合は、削除する前
の入力信号セットに戻して終了する。この後データパス
３で次に削除可能な入力信号をニューラルネット系最適
設計手段105に要求する。ニューラルネット系最適設計
手段105は、削除可能な入力信号を除いた入力信号セッ
トを用いて学習したニューラルネットについて再び感度
特性を取り、次に削除可能な入力信号があるかどうかを
調べる。削除可能な入力信号があれば上記を繰り返し、
なければ中間層ニューロン数最適化手段107に移る。

次に、T₄の中間層ニューロンの最適数決定の方法を説
明する。同定手段104は、S₄で除かれなかった入力信号
により構築されたニューラルネット演算模擬手段500に
入力信号セットを次々に入力したときの、中間演算手段
502の各ニューロンの出力（Y₁,…,Y_m）を、データパス
４により、ニューラルネット系最適設計手段106に転送
する。中間層ニューロン数最適化手段107は、各入力信
号セットに対応したY₁〜Y_mの出力を統計処理し、その値
から、最適なニューロン数を決定する。本実施例は各ニ
ューロンの教師信号に対応した出力値の線形関係を演算
の重複分とし、これに相当するニューロン数を除くこと
で最適化する手法を示す。

第24図に本手法のアルゴリズムを示す。まずS₁でｉを
１にする。S₂で転送されたY₁〜Y_mの値より、Y_iをY_i+1〜
Y_mの線形和で近似した値を_ｉとする。このとき _ｉ＝b₀＋b_i+1・Y_i+1＋…b_m・Y_m ……（38）近似式は良く知られた線形重回帰分析等により、容易に
求められる。次にY_iがY_i+1〜Y_mの線形和で記述できた割
合として、Y_iと_ｉの重相関数の絶対値C_iを求め記憶す
る。C_iは、次式で与えられる。

但し N :教師信号数 Y_ij :j番目の教師信号の入力信号セットを入力
したときのｉ番目の中間層の出力 _ij:j番目の教師信号の入力信号セットを入力
したとき、（38）式で与えられる値 C_iは０〜１の値をとり、C_i＝１のときY_iはY_i+1〜Y_mの線
形和で完全に記述できたことを示している。逆にC_i＝０
のとき、Y_iはY_i+1〜Y_mの総てと全く無相関である。S₄で
ｉの値をインクリメントし、S₅でｉが中間演算手段502
のニューロン数ｍと一致しているか判定する。一致して
いないとき、S₂〜S₄の処理を繰返す。一致していれば、
S₆で、 SUM＝ｍ−（C₁＋C₂＋…＋C_m-1） ……（43）を計算し、SUMの値を最適なニューロン数とする。実際
にはニューロン数は整数であるため、S₇で値を整数化す
る。ニューロン数はデータパス５を通して同定手段104
へ送られる。

本実施例では、各ニューロンの出力値の線形関係を定
量化して抽出する手法として、統計量である寄与率と重
相関係数に着目したが、各ニューロンの出力値の分散等
の他統計量に着目したアルゴリズムも考えられる。また
統計量でなく、各シナプスに与えられている重みW_iの値
を評価して求めることも考えられる。さらに本実施例で
は、各ニューロンの出力の重複機能分を評価するのに、
出力の間の線形関係成分と非線形関係成分に着目して行
ったが、重複機能分を他の成分で評価することも考えら
れる。またニューラルネット系最適設計手段105を入力
信号最適化手段106と中間層ニューロン数最適化手段107
から構成したが、必要に応じて一方のみの構成とするこ
ともできる。入力信号最適化手段106を除いた構成の場
合、第６図に示した同定手段104の処理のうちS₁〜S₄が
省略される。また中間層ニューロン数最適化手段107を
除いた構成の場合、S₅〜S₆が省略できる。また本実施例
で入力信号最適化手段106には、入力信号の中から不要
と思われるものを次々と指摘していく機能を備えたが、
入力信号の内容からこれらを適当に合成することにより
信号数を減らしても良い。さらに第12図に記載した各手
段は同一の装置に搭載した一体型の構成としても良い
し、別個の装置としてネットワーク等でデータを交換す
る形態としても良い。また同定手段104に備えたニュー
ラルネット演算模擬手段500は必要に応じて省略し、ニ
ューラルネット演算手段102を兼用して同定を行っても
良い。

次の実施例として第25図に、ニューラルネット最適設
計手段105の動作をユーザに報知するための表示手段110
1を設けた例を示す。表示手段1101では、入力信号最適
化手段106で除かれた入力の番号や、中間層ニューロン
数最適化手段107で決定された中間演算手段202のニュー
ロン数をディスプレイ等に表示する。またこの他に学習
の進行状況等を合わせて表示することもできる。

本発明の次の実施例として、演算量が最小のネットワ
ークを設計する手法を示す。第26図はこれを実現するア
ルゴリズムであり、本実施例では、一旦適当な構成に決
定されたネットワーク（入力層ニューロン数p,中間層ニ
ューロン数ｍ）に対して、この構成を演算量最小化の観
点からさらに最適化する例を示す。したがって本アルゴ
リズムは、例えば第17図のS₅の後に実行すればよい。第
26図において、まずS₁で入力量として適当なものを１つ
追加することにより、入力層のニューロンを１つ追加す
る。次にS₂でこの条件における中間層ニューロンの最適
数ｍ＊を決定する。最適数は第24図のアルゴリズムによ
り算出すれば良い。次にS₃で、ｐとｍの積と（ｐ＋１）
とｍ＊の積の大小関係を比較する。ｐ×ｍ＞（ｐ＋１）
×ｍ＊のとき、入力層ニューロンと出力層ニューロンの
積を減少させられ、したがってこれらの間の接続シナプ
ス数が減少させられることになる。この場合にはS₅で、
ｐ＋１をp,m＊をｍと置いた後、S₁に戻り、以上の処理
を繰返す。S₃で、ｐ×ｍ＞（ｐ＋１）×ｍ＊ではないと
き、演算量の更なる最小化を図ることはできないため、
入力層ニューロン数p,中間層ニューロン数ｍのネットワ
ークを最終的な構成に決定する。

本実施例では、入力層のニューロン数と中間層のニュ
ーロン数の積を最小化したが、さらに出力層のニューロ
ン数を乗じた値を最小化することもできる。

本実施例の次の実施例として、第27図にユーザにより
与えられた学習精度で学習を打切る手法を示す。Ｎ個の
学習サンプルによる学習において、S₁でこれらのおのお
のにおける出力層ニューロンの出力値と教師信号との差
分（エラー）が所定の範囲（e_th）以下に収まっている
かどうかを調べる。そしてＮ個の学習サンプルのうち、を満足するもののパーセンテージを算出する。S₂でこの
パーセンテージがユーザにより指定された値以下かどう
かの判定を行う。以上の場合にはS₃で学習を打切る。パ
ーセンテージに達していないときにはS₄で学習を継続す
る。本アルゴリズムは、学習中に適当なタイミング（通
常学習は再帰的に行われるため、例えばＮ個の学習サン
プルに対する演算が一区切りしたタイミング等）で実行
し、学習の終了もしくは継続を判定する。

本発明の次の実施例として、第１図の条件指定として
学習時間が指定された場合のネットワーク設計手法を示
す。ここでは、学習アルゴリズムとしてバックプロパゲ
ーションアルゴリズム（例えば、『ニューラルコンピュ
ータ』（東京電機大学出版局，合原一幸著）のp110〜11
3参照）を用いる場合について述べるがこれに限定され
るものではない。

バックプロパゲーションアルゴリズムによる１つのシ
ナプス結合の重みの修正に要する時間Ｔは、そのアルゴ
リズムを実行する手段（プログラムあるいはハードウェ
ア）によって決まってしまう。また、ニューラルネット
の全てのシナプス結合の重みを出力層から入力層に向っ
て１回だけ修正する時間は、ニューラルネットのシナプ
ス結合の総数（以下、結合総数と呼ぶ）に比例する。

したがって、ニューラルネットの学習時間LTは、出力
層から入力層に向って重みを修正する回数（ここでは学
習回数と呼ぶ）と結合総数を用いて、次式で表現するこ
とができる。

LT＝Ｔ×（結合総数）×（学習回数） ……（44）したがって、学習時間LTが指定された場合、重みの修
正時間Ｔは既知であるので、結局結合総数と学習回数を
LT以内に納まるように決定すればよい。決定する戦略と
しては、結合総数学習回数とも小さくなるように選ぶこ
とが考えられる。第28図は、本実施例を実現する装置構
成であり、第29図は第28図の装置で実行されるアルゴリ
ズムである。第28図の装置構成は第12図の装置構成とほ
とんど同一であるが、第28図では同定手段104から記憶
手段103に向う信号を付加した所が特徴となっている。
以下、第29図のアルゴリズムに従って説明する。第29図
のアルゴリズムは同定手段104で実行され、T₂₀とT₂₁の
機能からなる。T₂₀は、結合総数を小さく選ぶ方法であ
り、そのために入力信号の中に冗長な入力がないかを検
出する。検出手段としては、第17図の入力信号最適化手
段106の機能T₃を用いればよい。冗長な入力信号が含ま
れていないことがわかっている場合は、学習時間LTをオ
ペレータが指定するときに入力信号の冗長性の検出を行
わないことを指定すればよい。

次に、T₂₁では学習回数を少なくする。学習回数を決
定する要因は、前述した学習精度の他に学習データの個
数，重みの初期値、重みの修正式に用いられる学習定数
（η）、安定化定数（α）などがあるが、これらのデー
タと学習回数との間に明確な関係式は現在ない。そこ
で、これらのデータと学習回数との関係を、例えば第30
図に示すような学習回数データベースとして同定手段10
4から記憶手段103に登録するようにした。

T₂₀で結合総数が決まれば、（44）式より学習回数が
決まる。そこで、同定手段104は記憶手段103から学習回
数データベースを読み込み、（44）式で求めた学習回数
に近いものを探索する。近いものがあれば、そのときの
学習データの精度や学習データの個数などのパラメータ
を選択してニューラルネット演算手段102を用いて学習
を行う。但し、学習データの個数は記憶手段103に格納
されている学習データの個数と一致しない場合が発生す
る。学習回数データベースから得られた学習データの個
数が、記憶手段103に格納されている実学習データの個
数より小さい場合は、実学習データから選択する必要が
ある。この選択方法としては、各カテゴリー毎にほぼ同
数となるように実学習データから無作為に抽出する方
法、あるいは各カテゴリー毎に入力信号の分布を求め分
布に比例して抽出する方法などが考えられる。

一方、（44）式で求めた学習回数に近いものが、学習
回数データベースにない場合は、学習回数データベース
の内容から推測して、学習精度，学習データ個数などの
パラメータを決めればよい。このとき、実学習データ個
数とに違いが出れば、前述した選択方法で実学習データ
から選択すればよい。

第30図の学習回数データベースには、当然のことであ
るが、本発明の装置を用いて学習を行う毎に追加が行わ
れる。

第30図のデータベースに、ニューラルネットを構築す
るのに要した学習時間，ニューラルネットの規模（例え
ばシナプス結合の総数など）も登録することも可能であ
る。この場合は、条件指定された学習時間で直接データ
ベースを参照して、学習に必要なパラメータを推定する
ことができる。

本発明の次の実施例として、第31図にニューラルネッ
ト構築装置101に、ニューラルネット演算手段102の性能
が所望でないときにこれを再構築する手段を追加した例
を示す。ニューラルネット再構築手段1401は、性能評価
手段1402,教師データ更新手段1403,再構築指令発生手段
1404からなる。性能評価手段1402はニューラルネット演
算手段102が取込んだ入力と、この入力に対する演算結
果である出力を取込み、出力が入力に対応した所望の値
であるかどうかを評価する。評価はユーザが望ましい出
力値を提示し、この値とニューラルネット演算手段102
との出力との差分を検出すれば容易に行える。評価結果
が所望のレベルに達していないとき、性能評価手段1402
により教師データ更新手段1403が信号１により駆動さ
れ、差分の大きかった入力と、これに対応した望ましい
出力の組合せを追加することで、記憶手段103の内容を
更新する。このとき既に記憶手段103に蓄えられている
入力のうち追加した入力に近い値の入力と、これに対応
した出力の組を削除する等の操作を、さらに行っても良
い。この後再構築指令発生手段1404に、記憶手段103の
更新が終了したことを信号２により伝えると、再構築指
令発生手段1404はニューラルネット系最適設計手段105
を再起動する信号を、信号３により提示する。ニューラ
ルネット系最適設計手段105は、前述した処理を再度行
うことにより、ニューラルネット演算手段102の構成の
最適化を行う。

次に本発明で与えられたニューラルネット演算手段10
2が、各種システムに組込まれた例を示す。第32図は制
御システムの制御ループの中に本装置が組込まれた例で
ある。ニューラルネット演算手段102は、制御対象1201
からの帰還信号を入力値とし、制御対象1201を駆動する
ための信号を出力する。

第33図はニューラルネット演算手段102を、制御系130
1のチューニング手段として用いた例である。102は制御
対象1201からの帰還信号や、他のセンサからの信号を入
力信号とし、制御系1301にとって最適な制御仕様や各部
の制御定数を出力信号とする。

第34図は制御対象1201に与える目標値の発生部に適用
した例である。ニューラルネット演算手段102は、制御
対象1201からの帰還信号や各種センサの信号を入力と
し、制御対象1201に与える最適な目標値を出力信号とす
る。この出力信号は制御対象1201からの対応した帰還信
号と比較され、これらの偏差に対応した値が制御1401に
入力される。1401はこれらの値を基に制御対象1201に出
力する信号を演算により求める。帰還信号との比較は必
要に応じて省略し、フィードフォワード制御を行っても
良い。

尚、上記制御対象としては、例えば圧延機，発電プラ
ント等をいう。

第35図は認識装置に適用した実施例である。ニューラ
ルネット演算手段102は、認識対象1501からの情報を入
力信号とし、認識結果を出力信号とする。認識対象1501
としては、数字，文字，音声，人の顔，人間の性別，物
体の色やりんかく等、種々考えられる。認識結果は例え
ば数字の場合、認識結果表示装置1502においてランプで
明示することもできるし、ディスプレイや音声出力装置
で表示してもよい。

〔発明の効果〕

以上説明した本発明の実施例の効果を説明する。

（イ）ニューラルネットの構築方法従来ブラックボックスとしてしか扱えなかったニュー
ラルネットが、本発明を実施することにより解析的に構
築でき、しかも誤認識のおこりにくい構成とすることが
できる。

入力信号最適化手段を設けたことにより、ニューラル
ネット演算装置へ入力すべき信号を最小数の組合せに最
適化できる。また中間層ニューロン数最適化手段を設け
たことで、中間演算手段のニューロン数が最適な値に自
動設定できる。以上２つの手段を設けたことにより、ニ
ューラルネット演算手段の構成を簡易な演算で必要最小
にできるので、従来行われていた試行錯誤的なシミュレ
ーションを省略できる。またこれをハードで実現した場
合には小型，安価，低工数となり、ソフトで実現した場
合には、高応答の装置が提供される。

また決定されたニューロン数等のニューラルネット構
築装置の演算内容を表示する手段を設けたことにより、
ユーザインターフェイスが向上できる。

（ロ）ニューラルネットの重みのチューニング方法従来誤認識が生じたとき、誤認識が生じたデータを追
加して再学習する方法しかなかったが、本発明を実施す
ることにより、できあがったニューラルネットの重みを
チューニングすることにより誤認識が解消できる。

（ハ）ニューラルネット再構築方法ニューラルネット再構築手段を設けたことにより、ニ
ューラルネットの性能を装置の稼動状況を把握しなが
ら、随時向上させられる。したがって装置の適用対象が
経年変化等により動的に特性を変える場合においても、
本発明を問題なく適用できる。また完全な教師データを
事前に揃えておかなくて良いので、システム立上げが高
速化される。

（ニ）学習の高速化従来広く用いられている逆伝播法は、教師データを一
個ずつ処理するために極めて収束が悪かったが本発明を
実施することにより、高速化が可能となる。またその他
の学習方法についても本発明を実施することにより高速
化が可能である。

本発明をパターン認識予測等の種々なシステムに適用
する際、ニューラルネットワークの解析が行なえるた
め、誤認識誤った予測等に強くかつ誤認識誤った予測等
が生じたとき容易に対応することが可能となる。

具体的なアプリケーションの例として車番認識システ
ムにおける例を第36図に示す。図において車のナンバー
プレートは、工業用テレビで画像認識装置に取りこまれ
る。画像認識装置では、ナンバープレートの切り出しを
行ない、その中から文字を１つずつ切り出し、文字画の
特徴量を抽出する。抽出された特徴量は、ニューラルネ
ットワークに入力され、その識別結果が出力される。

このニューロンの学習及び誤認識が生じたときのパラ
メータのチューニング及びネットワークの再構成に本発
明を実施することにより、誤認識に強くかつ高速な学習
を実現することが可能となる。

【図面の簡単な説明】

第１図は本発明の一実施例、第２図は、ニューラルネッ
トの構成図、第３図はシグモイド関数を示した図、第４
図は、収束判定条件を説明した図、第５図は、２次元デ
ータのパターン分離の例、第６図は、第５図のパターン
を分離するニューラルネットを示した図、第７図は、最
適化の手段を示した図、第８図は、ニューラルネットワ
ークを構成する方法を説明した図、第９図は重みのチュ
ーニング法を説明した図、第10図は学習の高速化を説明
した図、第11図は第10図の方法で学習した例を示す図、
第12図は本発明の他の一実施例の構成図、第13図乃至第
14図は、ニューラルネット演算の説明図、第15図は教師
信号の例、第16図は同定手段の説明図、第17図はアルゴ
リズム、第18図乃至第20図は入力信号最適化手段の処理
の説明図、第21図は入力信号最適化手段の別の実施例、
第22図乃至第23図は、第21図の方式を説明した図、第24
図は、アルゴリズム、第25図は構成図、第26図は、演算
量最小の条件でネットを構成する実施例、第27図は学習
精度を条件として、ネットを構成する実施例、第28図は
指定演算時間内にネットを構成する実施例、第29図乃至
第30図は、第28図の方式を説明する図、第31図はネット
を再構築する実施例、第32図乃至第35図は本発明を適用
したシステムの構成図、第36図は車番認識に適用した例
である。 11……ニューラルネットを構築するステップ、12……パ
ラメータをチューニングするステップ、101……ニュー
ラルネット構築装置、102……ニューラルネット演算手
段、103……記憶手段、104……同定手段、105……ニュ
ーラルネット系最適設計手段、106……入力信号最適化
手段、107……中間層ニューロン数最適化手段、1101…
…表示手段。

───────────────────────────────────────────────────── フロントページの続き (72)発明者川上潤三茨城県日立市久慈町4026番地株式会社日立製作所日立研究所内 (72)発明者高藤政雄茨城県日立市久慈町4026番地株式会社日立製作所日立研究所内審査官久保光宏 (56)参考文献特開平２−235170（ＪＰ，Ａ) 特開平３−83157（ＪＰ，Ａ) 特開平２−308359（ＪＰ，Ａ) 特開平１−263859（ＪＰ，Ａ) 特開平２−294768（ＪＰ，Ａ) 特開平１−183763（ＪＰ，Ａ) 特開平３−48363（ＪＰ，Ａ) 甘利俊一，「認知科学選書22 神経回路網モデルとコネクショニズム」，日本，財団法人東京大学出版会・発行, 1989年，初版，ｐｐ．123−129 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/08 G06G 7/60 G05B 13/00 - 13/04 G06F 19/00 ＣＳＤＢ（日本国特許庁) ＪＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】入力データに対する望ましい出力データを
教師データとし、いくつかの教師データの入出力データ
をいくつかのニューロンを多層に接続したニューラルネ
ットに記憶させるニューラルネット構築装置において、前記入力データに含まれる複数の信号の中から、ネット
ワークの性能に与える影響の少ない信号を検出して、入
力信号を最適化する入力信号最適化手段を有し、前記入力信号最適化手段は、前記入力データと前記出力
データの相関関係を評価し、入力データに含まれる各信
号のうち出力データの決定に貢献していないものを指摘
する機能と、前記入力データの各信号の線形関係を評価
し、他の信号により良好に線形近似できるものを冗長な
信号として指摘する機能を備えたことを特徴とするニュ
ーラルネット構築装置。
【請求項２】請求項１に記載のニューラルネット構築装
置において、入力層と中間層の間の各ニューロン結線に設定された重
み係数を、入力パターンを分離する方程式の係数に設定
し、前期中間層のニューロン数を最適値に設定する中間
層ニューロン数最適設定手段を有すことを特徴とするニ
ューラルネット構築装置。
【請求項３】請求項１に記載のニューラルネット構築装
置において、入力層と中間層の間の各ニューロン結線に設定された重
み係数を、入力パターンを分離する方程式の係数に設定
し、入力層のニューロン数と中間層のニューロン数との
積を最小化するニューラルネット系最適設計手段を設け
たことを特徴とするニューラルネット構築装置。