JPH08235145A - 応用問題に対して最適なニューラルネットワークの構造を決定する方法 - Google Patents

Abstract

(57)【要約】 【目的】 ニューラルネットワークの中間層に属する素
子の最適な個数を算出可能なニューラルネットワーク構
造決定方法を提供する。 【構成】 学習の収斂に十分な個数の中間層の素子数を
含むニューラルネットワークをまず構成し、このニュー
ラルネットワークを用いて学習を行う。次に、この学習
したニューラルネットワークの中間層の各素子の出力を
主成分分析によって検査する。次に、第ｋ主成分までの
累積寄与率＝１．０となるようなｋを求める。そして、
このｋを中間層の最適な素子数として出力する。これに
よって、１回の学習だけで最適な中間層の素子数を算出
することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クの構造決定方法に関する。特に、ニューラルネットワ
ークの中間層の素子数を最適な値とすることが可能なニ
ューラルネットワークの構造決定方法に関する。

【０００２】

【従来の技術】多層ニューラルネットワークは、制御、
認識、予測などさまざまな分野に適用が試みられてい
る。例えば、経済予測や、気象情報の予測、もしくは電
力消費量の予測、もしくは手書き文字の認識、パターン
認識などその適応分野は極めて広い。しかしながら、各
種の問題に対応した最適なネットワーク構成を決定する
手法については、未だ確定的な方法は見い出されていな
い。

【０００３】特に、中間層のニューロン数に関しては、
入出力の関係のマッピングや、汎化能力に十分な個数
を、シミュレーションで試行錯誤の上決定する場合がほ
とんどである。このように試行錯誤によって決定するこ
とがニューラルネットワーク応用システムの発展の障害
の１つとなっている。

【０００４】階層型ニューラルネットワークに誤差逆伝
搬学習をさせ、制御やパターン認識などを行う場合、そ
の入力層と出力層に含まれる素子（ニューロン）数は、
それぞれニューラルネットワークへの入力数と、必要と
される出力数とによって一意に決定される。一方、中間
層に含まれる素子数には学習パターンの情報構造によっ
て定まる必要最小限の値が存在すると考えられるが、一
般の学習の問題においてはその値は未知である。そこ
で、通常はニューラルネットワークの設計者が経験的に
中間層に含まれる素子数を決定するが、その場合素子数
を少なく選ぶほど演算速度やシステムのコストなどの点
で有利である。

【０００５】

【発明が解決しようとする課題】中間層に含まれるニュ
ーロン数を最適な値にする方法は、これまでもいくつか
の提案がなされている。まず、その代表的な手法とし
て、以下のものが挙げられる。

【０００６】（イ）中間層自動削減法 （ロ）重回帰分析を用いた中間層数決定法 上記（イ）は、これまで設計者が行ってきた試行錯誤に
よって中間層に含まれるニューロン数を決定する手法
を、いわば単にアルゴリズム化しただけのものであっ
て、最終的には最適な中間層に含まれるニューロン数が
求められるが、１回の試行毎に再学習し直すために、決
定までに膨大な工程を経なければならず、工学的な興味
からは魅力があるとは言い難い。

【０００７】これに対し、上記（ロ）の手法では、１回
の学習で最適な中間層に含まれるニューロン数が決定で
きる画期的なものであり、その反面中間層に含まれる正
確なニューロン数が求められないという欠点がある。

【０００８】上記（ロ）の手法において、中間層に含ま
れる正確なニューロン数が求められないと言う欠点は、
中間層に含まれるニューロンの互いに相関のある振舞い
を解析する手段として、重回帰を用いたことによるもの
と考えられる。すなわち、この重回帰は、解析の要因間
に相関がないことを前提にしているので、この重回帰を
用いたことによって生じる、多重共線性の影響によるも
のと考えられる。

【０００９】換言すれば、解析において相関のある中間
層のニューロンの出力値を説明変数とし、この解析に説
明変数間に相関がないことを前提とする線形重回帰分析
を用いるという矛盾があるため、寄与率が見掛け上大き
くなり、推定される最適中間素子ニューロン数が過少評
価（実際必要な数より少なく推定）される欠点があるも
のと考えられる。

【００１０】本発明は、上記課題に鑑みなされたもので
あり、その目的は、ニューラルネットワークが扱う問題
によらずに、汎用的に中間層に含まれるニューロン数の
最適値を、試行錯誤なしに一意的に決定する方法を提供
することである。

【００１１】

【課題を解決するための手段】本発明は、上記課題を解
決するために、ニューラルネットワークの中間層の素子
数を対象データに対して充分に大きな個数に設定するこ
とによって、ニューラルネットワークを構成する初期ニ
ューラルネットワーク構成工程と、前記初期ニューラル
ネットワーク構成工程において構成されたニューラルネ
ットワークに、対象データの教師データを供給し、学習
を行わせる学習工程と、前記学習工程によって、学習が
終了したニューラルネットワークの中間層の各素子の出
力データに基づき、主成分分析を行う主成分分析工程
と、前記主成分分析工程の結果に基づき、第ｋ番目（ｋ
は正の整数）の主成分までの累積寄与率がほぼ「１」の
場合、前記ｋを中間層の最適な素子数として出力する最
適素子数決定工程と、を含むことを特徴とする。

【００１２】

【作用】本発明における最適素子数決定工程は、第１番
目から第ｋ番目までの主成分の累積寄与率が「１」とな
るか否かを検査し、ほぼ「１」となるような前記ｋを、
中間層の最適な素子数として出力する。

【００１３】

【実施例】以下、本発明の好適な実施例を図面に基づい
て説明する。

【００１４】１．ニューラルネットワークモデル 一般に多層ニューラルネットワークは、図１に示されて
いるような３層構造をなしている。これは、連続な非線
形の関数は３層のニューラルネットワークで近似できる
ことが証明されていることや、また実用の面からも簡易
な構造のニューラルネットワークが望まれているからな
どの理由による。

【００１５】ある層の神経細胞（ニューロン）は、その
１つ前の全ての神経細胞からその１つ前の全ての神経細
胞（ニューロン）から重み付けされた入力を受け付け、
各層で決められている関数に従って出力を決定し、この
出力を次の層の全ての神経細胞（ニューロン）に送る。

【００１６】従って、図１に示されている３層ニューラ
ルネットワークにおいて、入力と出力との関係は、以下
の式（１）〜（３）によって示される。

【００１７】

【数１】 本実施例においては、各学習パターンに対する中間層の
出力、つまりＹｑ（２）の振舞いに注目して解析を行
う。

【００１８】２．最適ニューロン数の定義及びその算定
方法の基本的な考え 中間層に含まれるニューロン数は、少な過ぎる場合には
マッピング能力の不足から学習が収斂せず、また反対に
多過ぎる場合には中間層の描く超空間の曲面が不必要に
複雑となり、汎化能力の低下を招くと考えられる。中間
層のニューロン数と、汎化能力の関係についてはこれま
での研究においては依存関係は少ないと考えられ、また
汎化能力が最大となるニューロン数が存在するという種
々の報告がなされている。

【００１９】これは、アプリケーションにより、学習や
評価に用いたデータの性格に差が大きいためであると思
われるが、一般には中間層に含まれるニューロン数の増
大は、ニューラルネットワークの性能を直接向上させる
ものではなく、一定数以上のニューロンを備えていれ
ば、例えばそのニューラルネットワークの認識率はニュ
ーロン数に依存せずに飽和すると考えられる場合が多
い。

【００２０】一方、ニューラルネットワークを制御や認
識などのリアルタイム性の制約が大きい用途に用いる場
合には、制御応答や認識速度との兼合いから、ニューラ
ルネットワークは最小の構成とすることが望ましい。す
なわち、最適なニューロン数とは、最小の中間層ニュー
ロン数であって最大の汎化能力を実現する値である。本
実施例において特徴的なことはこの最適なニューロン数
を決定するために、収斂に十分な数の中間層ニューロン
をまず備えさせ、この十分な数の中間素子のニューロン
によって学習を終えたネットワークに対し教師信号を再
入力したときの中間層のニューロンの出力の振舞いに着
目したことである。一般に中間層のニューロン数が過剰
になると、いくつかのニューロンが類似の動作をするこ
とが広く知られている。また、中間層ニューロン数の多
いニューラルネットワークにおいては、これらの間の統
計挙動に強い線形関係が生じ、結果的には１つのニュー
ロンが果す役割が減少してしまうことも報告されてい
る。ニューラルネットワークにおいて本来必要な仕事量
は、ニューロン数に拘らず不変のはずであるから、ニュ
ーロン間に含まれる線形成分を定量化し、これに相当す
るニューロン数を設定されているニューロン数から減じ
ることで、最適な中間層のニューロン数が得られると考
えられる。

【００２１】まとめると、本実施例におけるニューラル
ネットワークの中間層の最適素子数決定方法は、以下の
ように行われる。

【００２２】（１）まず、学習の収斂に十分な数の中間
層の素子数によってニューラルネットワークを構成す
る。そして、この十分な素子数を備えたニューラルネッ
トワークに対して、各パターンの学習データに対して正
しい出力が得られるようにニューラルネットワークを学
習させる。この学習の様子を表す説明図が図２に示され
ている。

【００２３】このようにして学習したニューラルネット
ワークの各学習パターン毎のそれぞれの中間層に含まれ
る素子の出力を調べる。この出力を例えば並べた図が、
図３に示されている。

【００２４】なお、図２及び図３に示されている例は、
パリティ問題（最適中間層の素子数が４）の例が示され
ている。そして、例えば図２に示されているように初期
においては、中間層に含まれる素子数を十分な数、例え
ば６個（図２参照）として、このニューラルネットワー
クに学習を行わせている。このようにして学習した後の
中間層の出力が図３に示されている。

【００２５】（２）次に、この図３に示されている各学
習パターン毎のそれぞれの中間層の素子の出力データを
基にして、主成分分析を行う。その結果、第ｋ主成分ま
での累積寄与率がほぼ１の場合には、このｋが求めるべ
き最適中間層の素子数となる。例えば、図２や図３に示
されている場合は、ｋ＝４となる。累積寄与率がほぼ１
となる主成分の数が４であることを説明する図が図４に
示されている。図４に示されているように、第ｋ主成分
までの累積寄与率が図４に示されている表の最下段に示
されており、第４主成分までの累積寄与率が１となるこ
とが図４から理解されよう。

【００２６】以上述べた主成分分析を最適中間層素子
（ニューロン）数決定に用いる本実施例の手法によれ
ば、ニューラルネットワークを１回だけ学習する必要は
あるものの、中間層に含まれるニューロン数を一意的に
決定可能である。従って、従来のような試行錯誤的なシ
ミュレーションは必要なく、速かにかつ正確に最適な中
間層のニューロン数を確定可能である。

【００２７】３．最適なニューロン数の具体的算出方法 一般に同一のサンプルについて何らかの相関関係がある
ｐ種の変量（ｘ１、ｘ２、…ｘｐ）（ｐ＞２）の測定さ
れたＮ組のデータ（ｘ１λ、ｘ２λ、…ｘｐλ）（λ＝
１、２、…Ｎ）が得られた場合を説明する。これらＮ個
のデータはそれぞれｐ変量相互に関連のある変動を示し
ていると見なせるので、これを説明する関数としてｐ個
の変量の一次結合を次のように仮定する。

【００２８】

【数２】 すると、ｌ1 、ｌ2 、…ｌp を変えてΣｌｉ² ＝１とい
う条件の下で上記ｚの分散が最大になるときのｚを第１
主成分と言う。この時の係数をｌ1 ｉ（ｉ＝1、２、…
ｐ）で表すと、次のように表すことができる。

【００２９】

【数３】 次に、ｚ１とは無層間がｚのうちで、Σｌｉ² ＝１を満
たす最大の分散をもつｚ² （これを、第２主成分と言
う。）を決定する。このときの係数をｌ２ｉ（ｉ＝１、
２、…ｐ）で表すと、このｚ２は、以下のように表すこ
とができる。

【００３０】

【数４】 以下、同様にしてｚｍまでで全変動の大部分が説明され
ていれば、これ以上求めることを停止する。このような
ｚｍを次のように書く。

【００３１】

【数５】 従って、各係数は、

【数６】 を満足し、各主成分は、第１主成分ｚ１の分散が最大で
あること、及び第α主成分ｚαはｚ１、ｚ２、…ｚα−
１（α＝２、３、…ｍ）と無層間で分散が最大であると
いう条件を満たすように定まる。

【００３２】具体的には、まず得られたデータから各変
量の分散共分散σｉｊを求め、それを行列で表す。行列
は、以下のように表される。

【００３３】

【数７】 ここで、σｉｊは各変量の分散共分散の不偏推定値であ
り、それぞれ以下のように表される。

【００３４】

【数８】 さらに、相関行列を求めると、その相関行列Ｒは、以下
のように表される。

【００３５】

【数９】 ｐ個の変量ｘ１、ｘ２、…ｘｐからなるベクトル変量
は、以下のように表される。

【００３６】

【数１０】 ここで、ベクトル変量Ｘの取り得る値は、

【数１１】 である。また、各主成分を上記（４）式の形で求めるた
めに、各主成分の変量ｘｉの係数をそれぞれ、ベクトル

【数１２】 で表すと、主成分は、

【数１３】 と書くことができる。但し、上記（１５）式において各
１ａは、長さ１の単位ベクトル（１ａ´１ａ＝１）とす
る。係数ベクトル１ａを求めるには、まず

【数１４】 を、１₁ ´１₁ ＝１の条件の下で最大にするため、ラグ
ランジェの未定乗数λを用いて、

【数１５】 を１₁ ´で微分して０とおくと、連立方程式

【数１６】 が得られる。この（１８）式のベクトルの様子が全て０
以外の解を持つためには、λが固有方程式

【数１７】 の解（固有値）でなければならない。また、ｚ１の分散
を最大にするものがあるとするならば、上記（１８）式
より、

【数１８】 であり、上記（１９）式の固有値に等しくなるので、ｚ
１における係数ベクトル１₁ としては、上記（１９）式
の最大の固有値λ１に対応する単位固有ベクトルとして
第１主成分ｚ１を決定することができる。一方、上記
（１９）式の固有方程式を展開すると、λについてのｐ
次方程式になるので、ｐ個の固有値が存在（重複するも
のも含め）し、しかもこの（１９）式におけるΣは非負
の対称行列であるから固有値は全て非負の実数である。
その中の最大のものをλ１として、１₁ を求める。さら
に大きさの順にλ２、λ３、…λｍを取り出し、λ２に
対応する単位固有ベクトルを第２種主成分ｚ２における
係数ベクトル１₂ 、λ３に対応する単位固有ベクトルを
第３種成分ｚ３における係数ベクトル１₃ …λｍに対応
する単位固有ベクトルを第ｍ主成分ｚｍにおける係数ベ
クトル１_m としてｍ個の主成分（（１５）式）を求め
る。

【００３７】主成分分析の目的は、ｐ変量のデータをで
きるだけ少ない主成分ｚ１、ｚ２、…ｚｋ（ｋ＜ｐ）で
表すことであるから、求まる主成分のうち何番目の主成
分まで用いるか、またどの程度まで説明できるのかを知
る尺度が必要となる。このために、各主成分の寄与率と
いう概念を次のように定義する。

【００３８】

【数１９】 すなわち、Ｃαは主成分ｚαの分散のｐ変量ｘ１、ｘ
２、…ｘｐの分散和に対する割合を表す。固有値がｐ個
求まった場合には、

【数２０】 であるため、通常はこのＣαを％で表している。さら
に、

【数２１】 を第ｋ主成分までの累積寄与率と呼ぶ。

【００３９】本実施例においては、この（２１）及び
（２３）式を用いて、累積寄与率が何％になるまで主成
分を考えることによって、できるだけ少ないｚ１、ｚ
２、…ｚｋでｐ変量データに内在する関係を明らかに
し、データの説明変数をできるだけ小さい値にしてい
る。

【００４０】以上述べたことを、図で説明すれば、以下
のようになる。すなわち、図５には、以上述べた説明の
幾何学的な説明が示されている。上記（１３）式のデー
タは、ｐ次元空間にちらばるｎ個の点によって表すこと
ができる。一方、ｍ個の主成分のとる値は、ｍ次元空間
におけるｎ個の点によって表される。今、ｎ個の点が、
ｐ次元空間内である１つの平面上にほぼ乗っているとす
ると、この平面上に全ての点を射影して、その上でのｎ
点のばらつきの状態だけに着目しても、情報のロスはほ
とんどないと考えられる。また、このような平面が見つ
からなくとも、ｎ個の点はあるｍ次元（ｍ＜ｐ）空間に
固っているかも知れず、その時は次元数をｍにまで下げ
ることが可能となる。

【００４１】上記手法は、このｍ次元空間の決め方であ
ると言うことができる。これによって、ｚ１、ｚ２、…
ｚｍは求めるｍ次元における直交座標系となる。つま
り、この手法を用いることによって、ほとんど情報のロ
スを生じさせることなく、ニューラルネットワークの中
間層に含まれるニューロン数をｐ個（次元）→ｍ個（次
元）に低次元化できる可能性がある。

【００４２】この主成分分析を最適中間層ニューロン数
設定に用いる本実施例によれば、ニューラルネットワー
クを１回学習させる必要はあるものの、これを用いた統
計解析で中間層ニューロン数を一時的に決定可能であ
る。従って、試行錯誤的なシュミレーションは必要な
く、速かに中間層のニューロン数を確定可能である。

【００４３】次に、本手法の有効性を評価するためのシ
ュミレーションの実験結果について述べる。また、先に
述べた従来の方法である線形重回帰分析を用いた最適中
間層数決定手法も合せて行って、それら有効性について
比較及び検討を行った。

【００４４】４．シュミレーション実験 本実施例において提案される主成分分析による最適中間
層ニューロン数決定手法の有効性を確認するため、本実
施例においては３つのニューラルネットワークシステム
を構築した。図６（ａ）〜（ｃ）に、それぞれ構成され
たニューラルネットワークの構造を示す。

【００４５】図６（ａ）は、連続関数の恒等写像に適用
したもので、１＋ｘ＋ｘ² の入力に対して同じく１＋ｘ
＋ｘ² を出力するものである。入力層及び出力層のニュ
ーロン数は、１、ｘ、ｘ² の「３」である。このような
３層構造の多層ニューラルネットワークが構成されてい
る。教師信号には、図７に示されているような１及びｘ
＝０〜１の値を１１等分したもの（Ｘ＝０．０，０．
１，０．２，…１．０）とそれに対応するｘ² の値を１
１パターン用いている。

【００４６】図６（ｂ）は非線形関数の近似問題に適用
したものである。すなわち、ｘの値を入力して、ｓｉｎ
ｘの値を出力するものである。教師信号には図８に示さ
れているようなｘ＝０〜２πの値を１００等分したもの
とそれに対応するｓｉｎｘの値を１００パターン用いて
いる。

【００４７】図６（ｃ）には、パリティ問題に適用した
場合の構成であり、教師信号には、図９に示されている
１６パターンを用いている。

【００４８】５．実験結果 以上示したような３つの異なる問題に対し今回の最適中
間層ニューロン数決定の方法が有効であるかを確認する
ために実験を行っている。

【００４９】恒等写像問題の実験結果 恒等写像問題では、中間層の初期ニューロン数を１〜１
０に変化させた場合の実験結果が図１０及び図１１に示
されている。図１０には、横軸が累積された主成分の数
を表し、縦軸が累積寄与率を表すグラフが示されてい
る。図１１には、横軸が初期設定中間層ニューロン数を
表し、縦軸には推定された最適中間層ニューロン数を表
すグラフが示されている。学習は、中間層ニューロン数
＝１で終息しているため、この写像問題での最適な中間
層ニューロン数は１である。今回本実施例において提案
した主成分分析を用いた手法においては、累積寄与率Ｐ
ｋ＝１．０とした場合、中間層の初期設定ニューロン数
に拘らず推定された最適中間層数は、初期設定中間層数
＝１であった場合を除いて、正しいｋ＝１であった。こ
れに対し、従来の線形重回帰分析を用いた手法によれ
ば、この手法で推定された最適中間層のニューロン数は
図１１から理解されるように約１〜２であることが分
る。

【００５０】非線形関数近似問題 非線形関数近似問題では、図８に示された１００パター
ンの教師データを用いて、中間層の初期ニューロン数を
１〜１５に変化させた場合の実行の結果が図１２及び図
１３にされている。学習は中間層ニューロン数＝２で収
束しているため、この非線形関数近似問題での最適な中
間層のニューロン数は２である。本実施例において提案
される主成分分析を用いた手法によれば、累積寄与率を
Ｐｋ＝１．０とした場合、中間層の初期設定ニューロン
数に拘らず推定された最適中間層数は正解と同じｋ＝２
となった。これに対して、従来の重回帰分析を用いた手
法で推定された最適中間層ニューロン数は、図１３から
理解されるようにおよそ１である。

【００５１】パリティ問題 パリティ問題においては、図９に示された１６パターン
の教師データを用いて、中間層の初期ニューロン数を４
〜１０に変化させた場合の実験結果が図１４及び図１５
に示されている。図１４には、横軸が累積された主成分
の数を表し、縦軸が累積寄与率を表すグラフが示されて
いる。また、図１５には横軸が初期設定中間層ニューロ
ン数を表し、縦軸が推定された最適中間層ニューロン数
を表すグラフが示されている。学習は、中間層のニュー
ロン数＝４で収束しているため、このパリティ問題にお
ける最適な中間層のニューロン数は４である。本実施例
において提案されている主成分分析を用いた手法によれ
ば、累積寄与率Ｐｋ＝１．０とした場合、中間層の初期
設定ニューロン数に拘らず、推定された最適中間層数は
正解と同じｋ＝４であった。これに対して、従来の重回
帰分析による手法で推定された最適な中間層のニューロ
ン数は、図１５に示されているようにおよそ１〜３であ
る。

【００５２】従来の重回帰分析を用いた手法によれば、
恒等写像問題に対してほぼ正確な最適中間層ニューロン
数の推定が行えたが、非線形関数近似問題やパリティ問
題においては実際の最適中間層のニューロン数より少な
い値を推定する傾向が上記実験結果から見られた。

【００５３】この原因としては、先に述べたように、線
形重回帰分析における多重共線性の影響が考えられよ
う。重回帰分析は通常説明変数に相関がないことを前提
として用いられている。しかし今回の場合には、相関の
ある中間層ニューロン数の出力値を説明変数として用い
ている。（つまり、説明変数の相関を求めるに、説明変
数間に相関がないことを前提としている線形重回帰分析
を用いているという矛盾がある）。

【００５４】このため、寄与率（線形近似率）が見掛け
上大きくなり推定される最適中間層ニューロン数が過少
評価（実際必要な数よりも少なく推定）されるため、正
確な最適の中間層のニューロン数を推定することができ
ないものと思われる。

【００５５】一方、本実施例において提案されている主
成分分析を用いた手法では、それぞれの問題に対して最
適中間層のニューロン数が正確に推定されており、本実
施例で提案した手法が従来の重回帰分析による手法より
優れていることが理解されよう。

【００５６】中間層のニューロン数が過剰になるといく
つかのニューロンが類似の動作をするため、これらの間
の統計挙動の線形関係を求めこれに相当するニューロン
数を設定されているニューロン数から減じることで、最
適中間層のニューロン数を推定する手法が考えられてき
た。

【００５７】従来の手法によればこの解析に線形重回帰
分析が用いられており、説明変数に相関がないことを前
提とした解析であり正確な最適中間層ニューロン数を確
定することは難しかった。本実施例においてはこの解析
に主成分分析を用いることによって、最適な中間層のニ
ューロン数を推定することが可能となった。

【００５８】なお本実施例において提案した手法を実際
問題に用いる場合の留意点としては、以下のものが挙げ
られよう。

【００５９】中間層の振舞いを分析して得られる各主成
分の寄与率は、学習の解析と共に変化する。ニューラル
ネットワークを実際の問題に応用する場合、学習精度は
勿論のこと、汎化能力（未学習データに対する推定精
度）が重要である。

【００６０】よって、交差学習法（未学習データに対す
る誤差が増加している時点で、学習を打ち切る。；Ｃｒ
ｏｓｓＶａｌｉａｔｉｏｎ）で最適な学習を終了したニ
ューラルネットワークでの中間層の振舞いを解析する必
要があり、学習が収束していないものや、過学習の下に
本実施例で提案した手法を用いても意味がない。

【００６１】本実施例におけるシュミレーションに用い
た実験データは３つ問題共理論値であるため、累積寄与
率＝１．０の場合で最適中間層を正確に推定することが
できたが、実際の問題はデータに誤差やばらつきがある
ため、ほとんどの場合寄与率が１．０まで達しないと考
えられる。この場合、今回行った実験で得られた傾向
「第ｋ主成分までの累積寄与率≧０．９であるｋまたは
ｋ＋１が最適中間層数」というルールを用いれば良い。

【００６２】

【発明の効果】以上述べたように、本発明によれば１回
の学習を行うだけで、中間層の最適な素子数を正確に算
出することが可能である。その結果、従来試行錯誤によ
って行われていた中間層の素子数を最適な個数にするこ
とができるので、問題に適した効率的な構造のニューラ
ルネットワークが提供可能である。

【図面の簡単な説明】

【図１】 ３層構造のニューラルネットワークの構造を
表す説明図である。

【図２】 本発明の学習工程を説明する説明図である。

【図３】 学習後のニューラルネットワークの中間層に
属する素子の出力の様子を表す説明図である。

【図４】 本発明の最適素子数決定工程を説明する説明
図である。

【図５】 本実施例における主成分分析の動作を幾何学
的に表した説明図である。

【図６】 本実施例において説明されている３つの問題
に対して構成された３つのニューラルネットワークの構
成を表す説明図である。

【図７】 本実施例において恒等写像問題に用いられ教
師データを説明する説明図である。

【図８】 本実施例において非線形関数近似問題に対す
る教師データとして用いられるデータを説明する説明図
である。

【図９】 本実施例においてパリティ問題に対する教師
データとして用いられるデータを説明する説明図であ
る。

【図１０】 本実施例における恒等写像問題における第
ｋ主成分と、累積寄与率との関係を表すグラフである。

【図１１】 恒等写像問題における初期設定の中間層の
ニューロン数と、推定されたニューロン数の個数との関
係を表すグラフである。

【図１２】 非線関数近似問題における第ｋ主成分と、
累積寄与率の関係を表すグラフである。

【図１３】 非線形関数近似問題における初期設定の中
間層のニューロン数と、推定されたニューロン数との関
係を表すグラフである。

【図１４】 パリティ問題における第ｋ主成分と、累積
寄与率との関係を表すグラフである。

【図１５】 パリティ問題における初期設定のニューロ
ン数と、推定されたニューロン数との関係を表すグラフ
である。

【符号の説明】

１０ 入力層、２０ 中間層、３０ 出力層。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ニューラルネットワークの中間層の素子
   数を対象データに対して充分に大きな個数に設定するこ
   とによって、ニューラルネットワークを構成する初期ニ
   ューラルネットワーク構成工程と、 前記初期ニューラルネットワーク構成工程において構成
   されたニューラルネットワークに、対象データの教師デ
   ータを供給し、学習を行わせる学習工程と、 前記学習工程によって、学習が終了したニューラルネッ
   トワークの中間層の各素子の出力データに基づき、主成
   分分析を行う主成分分析工程と、 前記主成分分析工程の結果に基づき、第ｋ番目（ｋは正
   の整数）の主成分までの累積寄与率がほぼ「１」の場
   合、前記ｋを中間層の最適な素子数として出力する最適
   素子数決定工程と、 を含むことを特徴とするニューラルネットワーク構造決
   定方法。