JPH05346916A - ニューラルネットワークの前処理装置及びパラメータ設定装置 - Google Patents

Abstract

(57)【要約】 【目的】 使用する相関関係のある多変量データ（入力
データ）の数が増加しても、学習時間を比較的短期間で
行うとともに、認識率の向上を図ること。 【構成】 学習データ設定装置１にて設定されるカテゴ
リ分類するためのサンプルデータＸj と教師データＹj
のうち、前者を統計解析装置２に送り、複数のカテゴリ
に分離する判別関数Ｚk を形成し、その形成した判別関
数を入力データ変換装置３に送るようになる。入力デー
タ変換装置では、与えられた判別関数相互の内積を取
り、類似する関数があったらいずれか１つを残して他を
削除するようになっている。そして、最終的に残った判
別関数に、上記学習データ設定装置や想起データ設定装
置４から送られて来る多変量データＹ，Ｗを代入して得
られた算出結果（その数は、多変量データの数より少な
い）をＮＮ解析装置５に形成されるニューラルネットワ
ークの入力層に入力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クの前処理装置及びパラメータ設定装置に関するもので
ある。

【０００２】

【従来の技術】生物の神経回路網をモデルにした情報処
理装置であるニューラルネットワークは、多数のニュー
ロンと、それら各ニューロン間を連結するシナプスにて
構成されており、各シナプスには所定の結合係数（重
み）が付与されている。この結合係数を適正な値に設定
するために、バックプロパゲーションや遺伝的アルゴリ
ズムなどの学習を行い、ネットワーク自身で結合係数の
最適解を求めるようになっている。また、階層型ニュー
ラルネットワークの場合、入力層，中間層（必要に応じ
て複数層から構成される）並びに出力層から構成されて
いる。そして、上記のようなニューラルネットワークに
相関関係のある多変量データを入力し、パターン認識を
して特徴量を抽出し、想起データがどの特徴をもってい
るかを判断することができるようになっている。

【０００３】

【発明が解決しようとする課題】しかしながら、例えば
非線形性の強い境界面を持つ認識を行うような場合、入
力するデータ数は増加し、また、認識率の向上を図ろう
とすると、それにともない入力のデータ数が増加する。
そして、入力のデータ数は、入力層のニューロン（ユニ
ット）数に対応し、この数が増加するにつれて後段の中
間層を構成するユニット数はさらに増加する。

【０００４】その結果、上記最適解を求めるための学習
時間が増大し、さらには、最適解が得られなくなるおそ
れもある。また、入力のデータ数の増加にともない、判
断基準の複雑化を招き、認識率が低下してしまうという
問題も生じる。

【０００５】本発明は、上記した背景に鑑みてなされた
もので、その目的とするところは、たとえ使用する相関
関係のある多変量データ（入力データ）の数が増加して
も、学習時間を比較的短期間で行うとともに、認識率の
向上を図るためのニューラルネットワークの前処理装置
を提供することにある。

【０００６】

【課題を解決するための手段】上記した目的を達成する
ために、本発明に係るニューラルネットワークの前処理
装置では、サンプルデータから複数のカテゴリ分布に対
して統計解析を行い、そのサンプルデータの数より少な
い数の線形の関数を求める統計解析装置と、その統計解
析装置から出力される前記関数を受けるとともに、その
関数に入力データを代入して得られる算出結果をニュー
ラルネットワークの入力層に供給する手段とを備えた。

【０００７】

【作用】統計解析装置にサンプルデータを入力し、そこ
において統計解析を行い、所定数の判別関数や主成分式
等の線形の関数を形成する。この形成された関数の数
は、サンプルデータの数よりも少なくなる。そして、カ
テゴリ分析を行う多変量の入力データ等を上記関数に代
入し、得られた算出結果をニューラルネットワークの入
力層に入力し、所定の認識処理等をする。すなわち、実
際にニューラルネットワークに入力されるデータの数
は、上記関数の数となり、上記入力データの数に比し少
なくなる。

【０００８】

【実施例】以下、本発明に係るニューラルネットワーク
の前処理装置の好適な実施例を添付図面を参照にして詳
述する。本発明は、従来のように相関関係のある多変量
データをそのままニューラルネットワークの入力層に入
力するのではなく、前処理として統計解析をして得られ
た所定の関数に代入し、その算出結果を入力層に入力す
ることにより、ニューラルネットワークの入力層の数の
削減を図るもので、係る前処理を行うための装置であ
る。そして、具体的には以下の通りである。

【０００９】図１は、本発明に係る前処理装置の第１実
施例を示している。同図に示すように、図中１は、カテ
ゴリ分類するためのサンプルデータ（学習用の入力デー
タ）と教師データを設定し、そのデータを所定の装置に
与える学習データ設定装置であり、上記サンプルデータ
は、ベクトルＸj （ｊ＝１，２，…，Ｎ）となってお
り、具体的には、下記のようになっている。

【００１０】

【表１】Ｘｊ＝［ｘ1j，ｘ2j，…，ｘij，…，ｘnj］ （ｊ個目のｎ次元サンプルデータ） 但し、ｉ＝１，２，…，ｎで、ｎは変数の数 ｊ＝１，２，…，Ｎで、Ｎはサンプル数 また、教師データは、ベクトルＴj となっており、具体
的には下記のようになっている。

【００１１】

【表２】Ｔj ＝［ｔ1j，ｔ2j，…，ｔij，…，ｔsj］ 但し、ｉ＝１，２，…，ｓで、ｓはカテゴリの数 各ｔjiは、自分の含まれるカテゴリの時…１ それ以外のカテゴリの時 ……０ そして、学習データ設定装置１では、上記サンプルデー
タＸj を統計解析（多変量解析）を行う統計解析装置
（判別分析装置）２並びに入力データ変換装置３に与え
るようになっている。

【００１２】統計解析装置２は、本例では上記与えられ
たサンプルデータをカテゴリごとに分類してその分類数
ｓを求め、すべての組み合わせに対する線形の判別関数
Ｚｋ（複数のカテゴリに分離する時に確率的に最も誤判
別の少なくなるような線形の関数）を求めるようになっ
ている。そして、この統計解析装置２にて形成される判
別関数Ｚｋ（ｘ）は、下記のようになる。

【００１３】

【表３】Ｚｋ（ｘ）＝ak1*x1+ak2*x2+…+akn*xn+bk 但し aki,bkは定数項 ｋ＝１，２，…ｍ （不連続な自然数） ｍ ：判別関数の数量でｓ＊（ｓ−１）／２ さらに、統計解析装置２は、このようにして求められた
各判別関数Ｚｋを、入力データ変換装置３に送るように
なっている。

【００１４】この入力データ変換装置３では、まず、上
記のようにして求められた判別関数Ｚｋ（ｘ）を比較
し、類似するものは一つの関数として関数の数を減らす
ようになっている。すなわち、類似する判別関数を用い
てカテゴリ分離したとしても、判別関数の数が増加する
割にはその判別結果の精度の向上等の効果が少なく、一
方、上記のように判別関数の数の増加は、そのままニュ
ーラルネットワークにおける入力層のユニット数の増加
を招くからである。したがって、本例では、近似する複
数の判別関数を検索し、いずれか一つを選択するように
なっている。

【００１５】具体的には、仮に二つのカテゴリＡ，Ｂの
判別関数としてＺ1 とＺ2 の２本が存在する場合に、両
者の傾きを比較し、その傾きが近い場合にはいずれか一
個を選択するようにし、その判別の処理は以下の通りで
ある。すなわち、求められた各判別関数の係数・定数を
受け取る。そして、判別関数のすべての組み合わせにつ
いて、係数ベクトルの法線の単位ベクトル間の内積を求
める。ここで２本の直線に関する内積は、次のようにし
て求められる。

【００１６】すなわち、両関数の係数をそれぞれ（ａ1
1，…，ａ1i，…，ａ1n），（ａ21，…，ａ2i，…，ａ2
n）とすると、これらの法線の単位ベクトルＥ１＝（ｅ1
1，…，ｅ1i，…，ｅ1n），Ｅ２＝（ｅ21，…，ｅ2i，
…，ｅ2n）の各要素は、

【００１７】

【数１】 ｅ1i＝ａ1i／（ａ11＊ａ11＋…＋ａ1i＊ａ1i＋…＋ａ1n＊ａ1n）^1/2 ｅ2i＝ａ2i／（ａ21＊ａ21＋…＋ａ2i＊ａ2i＋…＋ａ2n＊ａ2n）^1/2 となり、単位ベクトル間の内積は、 （Ｅ１，Ｅ２）＝ｅ11＊ｅ21＋…＋ｅ1i＊ｅ2i＋…＋ｅ1n＊ｅ2n であらわされる。そして、この内積が１に近いほど、２
本の直線の傾きが近いことを意味する。そこで、この内
積が予め設定した閾値（１に近い値）よりも高い時に２
個の判別関数のうち一方を削除するようにしている。そ
して削除する方は、例えば誤判別率の高い方とする。ま
た、類似する判別関数が３個以上あった場合には、最も
誤判別率の低い１つを残し、他を削除するようにしてい
る。そして、上記のようにして求めた判別関数を、入力
データ変換装置３内に設けた記憶部（データベース）に
格納保持するようになっている。

【００１８】なお、本例では、入力データ変換装置３に
て、不要な判別関数を削除するようにしたが、必ずしも
削除する機能を設ける必要はなく、係る場合には、統計
解析装置２から与えられた判別関数がそのまま上記記憶
部内に格納されることになる。そしてその場合でも、生
データをそのままニューラルネットワークに入力する場
合に比べると入力層におけるユニット数が少なくなるた
め、学習の短時間化並びに高認識率を発揮することがで
きる。

【００１９】また本例では、誤判別率の最も少ないもの
以外の近似した判別関数すべてを削除するようにした
が、本発明ではこれに限ること無く近似する判別関数を
２個以上残すようにしてもよい。さらには、削除する判
別関数を選定するに際し、必ずしも誤判別率を用いる必
要もない。さらには、近似する複数の判別関数が抽出さ
れたなら、それら各判別関数の傾きの平均をとるなどし
て、それらを統合した新たな代表となる線を形成し、そ
の線に基づく（判別）関数（係数，定数等）を求め、元
となる複数の判別関数を削除するようにしても良く、種
々のものとすることができる。

【００２０】さらにこの入力データ変換装置３では、上
記のようにして得られ、記憶部内に格納された判別関数
に、学習データ設定装置１から入力されたサンプルデー
タＸj 或いは想起データ設定装置４から入力された想起
データ（実際の入力データ）Ｘj を代入することによ
り、Ｚｋ（ｘ）を算出し、その算出結果をニューラルネ
ットワーク解析装置５に与えるようになっている。すな
わち、その算出結果が、ニューラルネットワーク解析装
置５における実際の入力データとなり、上記判別関数Ｚ
ｋの数が、そのままニューラルネットワーク解析装置５
における入力層のユニット数になる。なお、本例では、
上記入力データ変換装置３が、算出結果を入力層に供給
する手段と関数の数を削減する手段とを兼ねている。

【００２１】さらに、このニューラルネットワーク解析
装置５は、本例では、通常の階層型のニューラルネット
ワークから構成され、入力データが、学習用のサンプル
データの場合に、算出された出力データＹを収束判定装
置６に与えるようになっている。ここでＹは［ｙ１，ｙ
２，…ｙｓ］であらわされ、０〜１の実数となる。ま
た、このニューラルネットワーク解析装置５は、その装
置内にニューラルネットワークを構築するシナプスの結
合係数である重みＷを格納する重みデータベースを有
し、さらにその重みを修正する学習機能も備えている。

【００２２】そして、収束判定装置６は、ニューラルネ
ットワーク解析装置５における学習が収束したか否かを
判断し、学習を続行するか、終了するかの判断を行うよ
うになっている。具体的には、すべてのサンプルデータ
に関する出力データＹと、学習データ設定装置１から送
られて来る教師データＴとを比較して、その差を求める
とともに、その差の二乗和が目標の許容誤差ε以上か否
かを判断する。

【００２３】そして、「以上」の場合には学習が十分で
ない（収束していない）と判断し、ニューラルネットワ
ーク解析装置５へフィードバック（学習続行命令）をか
けてニューラルネットワークのニューロン間のシナプス
の結合係数（重み）を変更・調整させるようになってい
る。そして、学習結果（出力データＹ）が許容誤差ε以
下になるまで上記処理が続行される。

【００２４】なお、このニューラルネットワーク解析装
置５における具体的な算出並びに学習方法や、収束判定
装置６における判定処理は、従来公知のものを用いるこ
とができるため、詳細な説明を省略する。また、実機へ
の搭載の態様としては、入力データ変換装置３，想起デ
ータ設定装置４並びにニューラルネットワーク解析装置
（学習機能を除く）となる。

【００２５】次に、上記した装置の作用について説明す
ると、図２のフローチャートに示すように、まず、学習
データ設定装置１でサンプルデータＸj を設定し、統計
解析装置２に送り、各カテゴリ分けをする複数の判別関
数を求める（Ｓ１０１，１０２）。これにより、例えば
図３に示すように、４つのカテゴリＡ〜Ｄに対し、６個
の判別関数が求められる。

【００２６】次いで、上記のようにして得られた判別関
数のうち、類似する判別関数を抽出し、一本の関数にす
る（Ｓ１０３）。すなわち、図３の例では、判別関数Ｚ
ADと、ＺBDとが類似し、また、判別関数ＺCDと、ＺABと
が類似する。そして、ＺADとＺABが残り、ＺBDとＺCDと
が削除される。これにより、実際に使用される判別関数
は４個となる。

【００２７】そして、上記最終的に残った判別関数の数
（４個）だけのユニットをニューラルネットワークの入
力層に設定する（図４参照）。次いで、学習データ設定
装置１から入力データ変換装置３に送られるサンプルデ
ータを上記４個の判別関数に入力し、得られた結果をニ
ューラルネットワークに入力する（Ｓ１０４，１０
５）。そして、出力データＹを収束判定装置６に送り、
収束したか否かを判断し（Ｓ１０６）、収束していない
場合には、ステップ１０５に戻り再度学習を行う。ま
た、収束した場合には、想起データ設定装置４でカテゴ
リ分析をしたい想起データＷを設定し、それを入力デー
タ変換装置３に送り上記４個の判別関数に代入し、算出
結果Ｚｋ（ｗ）を得、それをニューラルネットワークに
入力する。その結果により、想起データが、学習させた
カテゴリのどれに含まれるかどうかの判断が行われる
（Ｓ１０７〜１０９）（図５参照）。そして、実際には
例えば入力データが５０個くらいあった場合に、ニュー
ラルネットワークの入力層のユニット数を１０以下に抑
えることが可能となる。

【００２８】一方、上記した第１実施例では、統計解析
装置２に、サンプルデータから判別関数を求める機能を
持たせたが、その機能に替えてサンプルデータに対して
主成分分析を行い、関数となる主成分式を求める機能と
し、他の装置等は図１に示すものを用いることにより、
本発明に係る前処理装置の第２実施例を構成することが
できる。

【００２９】すなわち、本例における統計解析装置（主
成分分析装置）では、上記第１実施例と同様に学習用サ
ンプルデータをカテゴリ毎に分類し、その分類数ｓを求
める。そして、本例では、そのデータから主要な変動を
見付けだし、その主成分Ｇk（データの分散が最大の成
分）をｓ個抽出する。なお、このｓは、累計寄与率が８
０％ぐらいとなるように決定する。またここで、主成分
式は、下記のようになっている。

【００３０】

【表４】Ｇｋ（ｘ）＝lk1*x1+lk2*x2+…+lkn*xn 但し lki は定数項 ｋ＝１，２，…ｓ （不連続な自然数）：第ｋ主成分 ｓ ：主成分の数量 このようにして求められた各判別関数Ｇｋを、入力デー
タ変換装置に送り、そこにおいて求められた主成分式Ｇ
ｋ（ｘ）を比較し、類似するものは一つの式として数を
減らし、サンプルデータや想起データ等の入力データを
最終的に得られた主成分式に代入して得られた算出結果
をニューラルネットワーク解析装置に供給するようにな
っている。なお、その他の構成は、上記した第１実施例
のものと同様であるため、その説明を省略する。

【００３１】また、この装置における作用も、基本的に
は上記した第１実施例と同様であり、図６に示すフロー
チャートにしたがって実行される。すなわち、図７に示
すように統計分析装置（主成分分析装置）にて、サンプ
ルデータに対して２次元での主成分分析（分離するカテ
ゴリは３つ）をすると、各カテゴリで、変動が最も大き
くなるような直線である第１主成分式ＧA1，ＧB1，ＧC1
が求められ、その第１主成分式と直交する空間で各デー
タの変動が最大になるような直線である第２主成分式Ｇ
A2，ＧB2，ＧC2が求められる（主成分式は６個とな
る）。

【００３２】そして、入力データ変換装置では、上記得
られた６個の主成分式同士の内積をとり、類似する成分
（ＧA1とＧC1）を抽出し、いずれか１つ（ＧA1）を残
す。次いで、図８に示すように最終的に残った主成分式
ＧA1，ＧB1，ＧA2，ＧB2，ＧC2の数だけニューラルネッ
トワークの入力層のユニットとし、入力データを各式に
代入して得られた結果をその入力層に入力するようにな
る。

【００３３】なお、上記した実施例では、いずれもサン
プルデータから求められた判別関数或いは主成分式に入
力データを代入し、得られた結果（入力データ変換）を
ニューラルネットワークの入力層に入力するようにした
が、さらに、図９に示すように本来的な入力データであ
る生データ（サンプルデータ，想起データ等）の中で、
出力結果に重要な影響を与えるデータは、そのデータも
ニューラルネットワークの入力層に入力するようにして
も良い。これにより、認識率が向上する。そして、この
ような重要なデータは、例えばカテゴリ間のマハロノビ
ス距離を求め、その距離が大きくなる特徴軸，入力デー
タを選ぶことにより自動抽出することができる。

【００３４】図１０は、本発明の第３実施例であるパラ
メータ設定装置を含むブロック構成図を、また図１１は
その動作を説明するフローチャート図をそれぞれ示して
いる。すなわち、上記した各実施例で求めた線形結合式
（判別関数／主成分式）を用いて前処理をした後、ニュ
ーラルネットワークに入力処理するようにした場合に、
線形結合式の数が多くなると、前処理に費やす時間が長
くなり、実際の想起時間（前処理時間＋ニューラルネッ
トワークにおける処理時間）が長くなり、実機のメモリ
容量が増加することになる。そこで、本例では、より短
時間（小メモリ容量）化を図るために、求めた線形結合
式とニューラルネットワークの重みとを統合可能とし
た。

【００３５】すなわち、同図に示すように、上記した各
実施例と同様の学習データ設定装置１，統計解析装置
２，入力データ変換装置３，想起データ設定装置４，ニ
ューラルネットワーク解析装置５並びに収束判定装置６
に連携されるもので（各装置における処理は、上記の各
実施例と同様であるため基本的に説明を省略する）、上
記したごとく入力データ変換装置３内には線形結合式デ
ータベース３ａが、またニューラルネットワーク解析装
置５内には重みデータベース５ａを備え、それぞれ所定
のデータが格納されている。さらに、ニューラルネット
ワーク解析装置５における出力の算出式の一例を示す
と、下記のようになっている（なお、具体的に例示はし
なかったが図１に示した第１，第２実施例におけるニュ
ーラルネットワーク解析装置５も同様の式に基づいて処
理がなされる。但し、本例では、第１実施例の判別関数
と第２実施例の主成分式をまとめて線形結合式と称する
関係から、適宜記号等を替えて記載している）。

【００３６】

【数２】 但し、上側の式はニューラルネットワークの第２層のニ
ューロンの出力で、下側の式が出力データ（ニューラル
ネットワークの第３層のニューロンの出力）で有る。そ
して、各式中の記号は、下記表のようになっている。

【００３７】

【表５】 ｉ＝1,2,…,pe1+1 ：入力データ（線形結合データ）の
順番 pe1 ＝in num or f num ：入力数（線形結合式の総
数） ｊ＝1,2,…,pe2+1 ：第２層のニューラルネットワーク
のニューロンの順番 pe2 ：第２層のニューラルネットワーク
のニューロン数 ｋ＝1,2,…,out num：出力データの順番 out num ：出力数 inij＝ｘip，ｚj(Ｘp)：入力データ（線形結合データ） ｐ＝1,2,…,ptn ：入力データ（線形結合データ）の
パタンの順番 ptn ：入出力データのパタン数 func(x) ＝１／｛１＋exp(-x) ｝：ニューラルネットワ
ークの出力関数 ｗpe1+1j(1) ：しきい値素子（常に１を出力する
ニューロン） ｗpe2+1k(2) ：しきい値素子（常に１を出力する
ニューロン） ここで本発明では、まず処理時間見積り装置７を設け、
線形結合式と重みを統合した場合と、しない場合のそれ
ぞれに要する時間を算出するもので、上記統計解析装置
２（或いは入力データ変換装置内で削減すること）によ
り求められた線形結合式の総数並びに入力データの数を
与え、処理時間見積り式データベース８に格納された見
積り式を用いて両者に要する時間を求める。

【００３８】すなわち、線形結合式の項数は、入力数×
線形結合式の総数に比例する。また、ニューラルネット
ワークの第１層の計算式は、一種の線形結合式であり、
線形結合式とニューラルネットワーク重みを統合処理す
る前と後で、ニューラルネットワークの第２層のニュー
ロン数が変わらないとすると、計算式の項数は、「統合
処理前は線形結合式の総数に比例し」、「統合処理後は
入力数に比例する」ことになる。

【００３９】また、統合処理する前と後でニューラルネ
ットワークの第２〜第３層のニューロン数が変わらない
とすると、ニューラルネットワークの第２〜第３層の計
算式の項数は変化しない。したがって、全体の処理時間
（統合処理後Ｔaft ，統合処理前Ｔbef ）は下記式のよ
うになり、係る式がデータベース８に格納され、本見積
り装置７にて各式中の変数に与えられた数値を代入し演
算処理するようになっている。

【００４０】

【数３】 Ｔaft (in num) ＝ t1(in num)＋to （１） Ｔbef (in num,f num)＝t2(in num,f num)＋t1(f num) ＋to （２） in num：入力数 f num ：線形結合式の総数 to ：ニューラルネットワークの第２〜第３層の処理
時間 t1 ：ニューラルネットワークの第１〜第２層の処理
時間 t2 ：線形結合式の処理時間 そして、上記各式（１），（２）は、それぞれ下記の
（１）′，（２）′に近似（便宜上「＝」で記す）する
ことができる。

【００４１】

【数４】 Ｔaft (in num) ＝in num×pe2 ×ｙ＋to （１）′ Ｔbef (in num,f num)＝in num×f num ×ｘ＋f num ×pe2 ×ｙ＋to （２）′ ｘ ：線形結合式の１つの項数当たりの計算時間 ｙ ：第１〜第２層の１つの項数（重み）当たりの計算
時間 pe2 ：第２層のニューロン数 そして、上記のようにして求めた両処理時間Ｔaft ，Ｔ
bef を、次段の最適化判断装置９に送るようになってい
る。

【００４２】この最適化判断装置９では、与えられた両
処理時間を比較し、パラメータ最適化装置１０に対し起
動命令を発するか否かの判断を行うもので、具体的な判
断基準は、統合処理をした方が全体の処理時間が短くな
る条件「Ｔaft ≦Ｔbef 」を満たす時に命令を発するよ
うになっている。なお、本例では、処理時間の長短のみ
で判断するようにしたが、処理時間とメモリ容量を総合
判断してもよいし、実機等の他の制約条件を使用しても
もちろんよい。

【００４３】パラメータ最適化装置１０は、上記最適化
判断装置９から起動命令を受けた場合にのみ線形結合式
とニューラルネットワークの重みとを統合処理するよう
になっている。ここで統合処理とは、入力データ変換装
置３内の線形結合式データベース３ａから線形結合式
を、また、ニューラルネットワーク解析装置５内の重み
データベースから重みデータＷをそれぞれ読み込み、そ
れに基づいて最適化重みデータＷ′を生成し、それを最
適化重みデータベース５′ａに書き込むもので、具体的
には以下の通りである。

【００４４】すなわち、前処理の線形結合式とニューラ
ルネットワークの第１層の計算式が、双方積和の式であ
るので、予め係数を統合することができると言うことに
着目してなされている。つまり、仮に２つの関数ｆ１，
ｆ２がそれぞれ下記のようにｆ１の算出結果に基づいて
ｆ２が求められるような場合に、予め各係数の積和を取
って統合処理しＢ１，Ｂ２，Ｂ３を係数にもつ新たな関
数ｆ２を生成し、係る関数ｆ２に直接ｘ１，ｘ２を代入
処理を可能とするものである。

【００４５】

【数５】 f1(x1,x2) ＝a1・x1＋a2・x2＋a3 f2{f1(x1,x2)} ＝b1・f1(x1,x2) ＋b2 ＝b1・a1・x1＋b1・a2・x2＋a3・b1＋b2 ＝B1・x1＋B2・x2＋B3 但し、B1＝b1・a1，B2＝b1・a2，B3＝a3・b1＋b2 そして具体的な統合処理後の最適化重みデータＷ′は、
下記式により求められる。

【００４６】

【数６】 ｗ′jk(2) ＝ｗjk(2) 但し ｉ＝1,2,…,in num ：入力データの順番 in num ：入力数 ｉ′＝1,2,…,f num：線形結合データの順番 f num ：線形結合式の総数 ｊ＝1,2,…,pe2+1 ：第２層のニューラルネットワーク
のニューロンの順番 pe2 ：第２層のニューラルネットワーク
のニューロン数 ｋ＝1,2,…,out num：出力データの順番 out num ：出力数 そして、統合前の（前処理を行うことを条件とする）重
みデータＷ（ニューラルネットワーク解析装置５内のデ
ータベース５ａ内に格納される）と、上記のようにして
統合処理してニューラルネットワーク解析装置５′内の
データベース５′ａに格納された最適化重みデータＷ′
のデータ構造は、それぞれ図１２，図１３に示すように
なっている。

【００４７】さらに、統合処理した場合の実機への搭載
は、図中Ａで示す想起データ設定装置４，ニューラルネ
ットワーク解析装置５′となり、入力データＸj が与え
られたなら、前処理をすることなく最適化重みデータ
Ｗ′を用いてニューラルネットワーク想起装置５′ｂに
より演算処理し、所定の出力データＹj を出力すること
になる。なお、上記最適化判断装置９における判断結果
が、統合前の方が処理時間が短い場合（起動命令が発せ
られない場合）は、上記した両実施例のように、入力デ
ータ変換装置３を含む構成Ｂとなる。

【００４８】

【発明の効果】以上のように、本発明に係るニューラル
ネットワークの前処理装置及びパラメータ設定装置で
は、カテゴリ分析を行う多変量の入力データ等を上記関
数に代入し、得られた算出結果をニューラルネットワー
クの入力層に入力し、所定の認識処理等をすることがで
きるため、実際にニューラルネットワークに入力される
データの数は、上記関数の数となり、上記入力データの
数に比し少なくなる。すなわち、ニューラルネットワー
クの入力層のユニット数を少なくすることができる。し
たがって、たとえ使用する相関関係のある多変量データ
（入力データ）の数が増加しても、ニューラルネットワ
ークを構成するニューロン数等はさほど増加しないた
め、学習時間を比較的短期間で行うとともに、認識率の
向上を図ることができる。そして、線形結合式と、重み
データとを統合処理をするようにした場合には、実際の
想起処理時間の高速化を図ることができる。

【図面の簡単な説明】

【図１】本発明に係るニューラルネットワークの前処理
装置の好適な実施例を示すブロック構成図である。

【図２】本発明の第１実施例の装置の作用を説明するた
めのフローチャート図である。

【図３】同作用を説明するための図である。

【図４】同作用を説明するための図である。

【図５】同作用を説明するための図である。

【図６】本発明の第２実施例の装置の作用を説明するた
めのフローチャート図である。

【図７】同作用を説明するための図である。

【図８】同作用を説明するための図である。

【図９】本発明のさらの他の実施例を説明する図であ
る。

【図１０】本発明の第３実施例の装置を示すブロック構
成図である。

【図１１】その作用を説明するフローチャート図であ
る。

【図１２】統合処理しない時の重みデータのデータ構造
を示す図である。

【図１３】統合処理した時の重みデータのデータ構造を
示す図である。

【符号の説明】

１ 学習データ設定装置 ２ 統計解析装置 ３ 入力データ変換装置 ４ 想起データ設定装置 ５ ニューラルネットワーク（ＮＮ）解析装置 ６ 収束判定装置 ７ 処理時間見積もり装置 ９ 最適化判断装置 １０ パラメータ最適化装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 堤 康弘 京都府京都市右京区花園土堂町10番地 オ ムロン株式会社内 (72)発明者 入江 篤 京都府京都市右京区花園土堂町10番地 オ ムロン株式会社内

Claims (5)

【特許請求の範囲】
1. 【請求項１】 サンプルデータから複数のカテゴリ分布
   に対して統計解析を行い、そのサンプルデータの数より
   少ない数の線形の関数を求める統計解析装置と、 その統計解析装置から出力される前記関数を受けるとと
   もに、その関数に入力データを代入して得られる算出結
   果をニューラルネットワークの入力層に供給する手段と
   を備えたニューラルネットワークの前処理装置。
2. 【請求項２】 前記統計解析装置が、判別関数を求める
   手段からなる請求項１に記載のニューラルネットワーク
   の前処理装置。
3. 【請求項３】 前記統計解析装置が、主成分分析を行い
   前記関数である主成分式を求める手段からなる請求項１
   に記載のニューラルネットワークの前処理装置。
4. 【請求項４】 前記統計解析装置により得られる複数の
   関数を比較し、類似する関数があった場合に、関数の数
   を削減する手段を備えた請求項１〜３項のいずれか１項
   に記載のニューラルネットワークの前処理装置。
5. 【請求項５】 前記前処理装置で形成される前記線形の
   関数と、ニューラルネットワークの重みを統合するパラ
   メータ最適化手段と、 入力データを直接前記パラメータ最適化手段により求め
   られた最適化重みデータに基づいて構成されるニューラ
   ルネットワークに与えることにより想起処理する場合
   と、入力データを請求項１〜４に記載のニューラルネッ
   トワークの前処理装置を介して統合処理前の重みデータ
   に基づいて構成されるニューラルネットワークに与える
   ことにより想起処理する場合とを比較し、前記パラメー
   タ最適化手段を起動するか否かを判断する手段とを備え
   たニューラルネットワークのパラメータ設定装置。