JPH05346916A - ニューラルネットワークの前処理装置及びパラメータ設定装置 - Google Patents
ニューラルネットワークの前処理装置及びパラメータ設定装置Info
- Publication number
- JPH05346916A JPH05346916A JP5020719A JP2071993A JPH05346916A JP H05346916 A JPH05346916 A JP H05346916A JP 5020719 A JP5020719 A JP 5020719A JP 2071993 A JP2071993 A JP 2071993A JP H05346916 A JPH05346916 A JP H05346916A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- data
- input
- function
- functions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 使用する相関関係のある多変量データ(入力
データ)の数が増加しても、学習時間を比較的短期間で
行うとともに、認識率の向上を図ること。 【構成】 学習データ設定装置1にて設定されるカテゴ
リ分類するためのサンプルデータXj と教師データYj
のうち、前者を統計解析装置2に送り、複数のカテゴリ
に分離する判別関数Zk を形成し、その形成した判別関
数を入力データ変換装置3に送るようになる。入力デー
タ変換装置では、与えられた判別関数相互の内積を取
り、類似する関数があったらいずれか1つを残して他を
削除するようになっている。そして、最終的に残った判
別関数に、上記学習データ設定装置や想起データ設定装
置4から送られて来る多変量データY,Wを代入して得
られた算出結果(その数は、多変量データの数より少な
い)をNN解析装置5に形成されるニューラルネットワ
ークの入力層に入力する。
データ)の数が増加しても、学習時間を比較的短期間で
行うとともに、認識率の向上を図ること。 【構成】 学習データ設定装置1にて設定されるカテゴ
リ分類するためのサンプルデータXj と教師データYj
のうち、前者を統計解析装置2に送り、複数のカテゴリ
に分離する判別関数Zk を形成し、その形成した判別関
数を入力データ変換装置3に送るようになる。入力デー
タ変換装置では、与えられた判別関数相互の内積を取
り、類似する関数があったらいずれか1つを残して他を
削除するようになっている。そして、最終的に残った判
別関数に、上記学習データ設定装置や想起データ設定装
置4から送られて来る多変量データY,Wを代入して得
られた算出結果(その数は、多変量データの数より少な
い)をNN解析装置5に形成されるニューラルネットワ
ークの入力層に入力する。
Description
【0001】
【産業上の利用分野】本発明は、ニューラルネットワー
クの前処理装置及びパラメータ設定装置に関するもので
ある。
クの前処理装置及びパラメータ設定装置に関するもので
ある。
【0002】
【従来の技術】生物の神経回路網をモデルにした情報処
理装置であるニューラルネットワークは、多数のニュー
ロンと、それら各ニューロン間を連結するシナプスにて
構成されており、各シナプスには所定の結合係数(重
み)が付与されている。この結合係数を適正な値に設定
するために、バックプロパゲーションや遺伝的アルゴリ
ズムなどの学習を行い、ネットワーク自身で結合係数の
最適解を求めるようになっている。また、階層型ニュー
ラルネットワークの場合、入力層,中間層(必要に応じ
て複数層から構成される)並びに出力層から構成されて
いる。そして、上記のようなニューラルネットワークに
相関関係のある多変量データを入力し、パターン認識を
して特徴量を抽出し、想起データがどの特徴をもってい
るかを判断することができるようになっている。
理装置であるニューラルネットワークは、多数のニュー
ロンと、それら各ニューロン間を連結するシナプスにて
構成されており、各シナプスには所定の結合係数(重
み)が付与されている。この結合係数を適正な値に設定
するために、バックプロパゲーションや遺伝的アルゴリ
ズムなどの学習を行い、ネットワーク自身で結合係数の
最適解を求めるようになっている。また、階層型ニュー
ラルネットワークの場合、入力層,中間層(必要に応じ
て複数層から構成される)並びに出力層から構成されて
いる。そして、上記のようなニューラルネットワークに
相関関係のある多変量データを入力し、パターン認識を
して特徴量を抽出し、想起データがどの特徴をもってい
るかを判断することができるようになっている。
【0003】
【発明が解決しようとする課題】しかしながら、例えば
非線形性の強い境界面を持つ認識を行うような場合、入
力するデータ数は増加し、また、認識率の向上を図ろう
とすると、それにともない入力のデータ数が増加する。
そして、入力のデータ数は、入力層のニューロン(ユニ
ット)数に対応し、この数が増加するにつれて後段の中
間層を構成するユニット数はさらに増加する。
非線形性の強い境界面を持つ認識を行うような場合、入
力するデータ数は増加し、また、認識率の向上を図ろう
とすると、それにともない入力のデータ数が増加する。
そして、入力のデータ数は、入力層のニューロン(ユニ
ット)数に対応し、この数が増加するにつれて後段の中
間層を構成するユニット数はさらに増加する。
【0004】その結果、上記最適解を求めるための学習
時間が増大し、さらには、最適解が得られなくなるおそ
れもある。また、入力のデータ数の増加にともない、判
断基準の複雑化を招き、認識率が低下してしまうという
問題も生じる。
時間が増大し、さらには、最適解が得られなくなるおそ
れもある。また、入力のデータ数の増加にともない、判
断基準の複雑化を招き、認識率が低下してしまうという
問題も生じる。
【0005】本発明は、上記した背景に鑑みてなされた
もので、その目的とするところは、たとえ使用する相関
関係のある多変量データ(入力データ)の数が増加して
も、学習時間を比較的短期間で行うとともに、認識率の
向上を図るためのニューラルネットワークの前処理装置
を提供することにある。
もので、その目的とするところは、たとえ使用する相関
関係のある多変量データ(入力データ)の数が増加して
も、学習時間を比較的短期間で行うとともに、認識率の
向上を図るためのニューラルネットワークの前処理装置
を提供することにある。
【0006】
【課題を解決するための手段】上記した目的を達成する
ために、本発明に係るニューラルネットワークの前処理
装置では、サンプルデータから複数のカテゴリ分布に対
して統計解析を行い、そのサンプルデータの数より少な
い数の線形の関数を求める統計解析装置と、その統計解
析装置から出力される前記関数を受けるとともに、その
関数に入力データを代入して得られる算出結果をニュー
ラルネットワークの入力層に供給する手段とを備えた。
ために、本発明に係るニューラルネットワークの前処理
装置では、サンプルデータから複数のカテゴリ分布に対
して統計解析を行い、そのサンプルデータの数より少な
い数の線形の関数を求める統計解析装置と、その統計解
析装置から出力される前記関数を受けるとともに、その
関数に入力データを代入して得られる算出結果をニュー
ラルネットワークの入力層に供給する手段とを備えた。
【0007】
【作用】統計解析装置にサンプルデータを入力し、そこ
において統計解析を行い、所定数の判別関数や主成分式
等の線形の関数を形成する。この形成された関数の数
は、サンプルデータの数よりも少なくなる。そして、カ
テゴリ分析を行う多変量の入力データ等を上記関数に代
入し、得られた算出結果をニューラルネットワークの入
力層に入力し、所定の認識処理等をする。すなわち、実
際にニューラルネットワークに入力されるデータの数
は、上記関数の数となり、上記入力データの数に比し少
なくなる。
において統計解析を行い、所定数の判別関数や主成分式
等の線形の関数を形成する。この形成された関数の数
は、サンプルデータの数よりも少なくなる。そして、カ
テゴリ分析を行う多変量の入力データ等を上記関数に代
入し、得られた算出結果をニューラルネットワークの入
力層に入力し、所定の認識処理等をする。すなわち、実
際にニューラルネットワークに入力されるデータの数
は、上記関数の数となり、上記入力データの数に比し少
なくなる。
【0008】
【実施例】以下、本発明に係るニューラルネットワーク
の前処理装置の好適な実施例を添付図面を参照にして詳
述する。本発明は、従来のように相関関係のある多変量
データをそのままニューラルネットワークの入力層に入
力するのではなく、前処理として統計解析をして得られ
た所定の関数に代入し、その算出結果を入力層に入力す
ることにより、ニューラルネットワークの入力層の数の
削減を図るもので、係る前処理を行うための装置であ
る。そして、具体的には以下の通りである。
の前処理装置の好適な実施例を添付図面を参照にして詳
述する。本発明は、従来のように相関関係のある多変量
データをそのままニューラルネットワークの入力層に入
力するのではなく、前処理として統計解析をして得られ
た所定の関数に代入し、その算出結果を入力層に入力す
ることにより、ニューラルネットワークの入力層の数の
削減を図るもので、係る前処理を行うための装置であ
る。そして、具体的には以下の通りである。
【0009】図1は、本発明に係る前処理装置の第1実
施例を示している。同図に示すように、図中1は、カテ
ゴリ分類するためのサンプルデータ(学習用の入力デー
タ)と教師データを設定し、そのデータを所定の装置に
与える学習データ設定装置であり、上記サンプルデータ
は、ベクトルXj (j=1,2,…,N)となってお
り、具体的には、下記のようになっている。
施例を示している。同図に示すように、図中1は、カテ
ゴリ分類するためのサンプルデータ(学習用の入力デー
タ)と教師データを設定し、そのデータを所定の装置に
与える学習データ設定装置であり、上記サンプルデータ
は、ベクトルXj (j=1,2,…,N)となってお
り、具体的には、下記のようになっている。
【0010】
【表1】Xj=[x1j,x2j,…,xij,…,xnj] (j個目のn次元サンプルデータ) 但し、i=1,2,…,nで、nは変数の数 j=1,2,…,Nで、Nはサンプル数 また、教師データは、ベクトルTj となっており、具体
的には下記のようになっている。
的には下記のようになっている。
【0011】
【表2】Tj =[t1j,t2j,…,tij,…,tsj] 但し、i=1,2,…,sで、sはカテゴリの数 各tjiは、自分の含まれるカテゴリの時…1 それ以外のカテゴリの時 ……0 そして、学習データ設定装置1では、上記サンプルデー
タXj を統計解析(多変量解析)を行う統計解析装置
(判別分析装置)2並びに入力データ変換装置3に与え
るようになっている。
タXj を統計解析(多変量解析)を行う統計解析装置
(判別分析装置)2並びに入力データ変換装置3に与え
るようになっている。
【0012】統計解析装置2は、本例では上記与えられ
たサンプルデータをカテゴリごとに分類してその分類数
sを求め、すべての組み合わせに対する線形の判別関数
Zk(複数のカテゴリに分離する時に確率的に最も誤判
別の少なくなるような線形の関数)を求めるようになっ
ている。そして、この統計解析装置2にて形成される判
別関数Zk(x)は、下記のようになる。
たサンプルデータをカテゴリごとに分類してその分類数
sを求め、すべての組み合わせに対する線形の判別関数
Zk(複数のカテゴリに分離する時に確率的に最も誤判
別の少なくなるような線形の関数)を求めるようになっ
ている。そして、この統計解析装置2にて形成される判
別関数Zk(x)は、下記のようになる。
【0013】
【表3】Zk(x)=ak1*x1+ak2*x2+…+akn*xn+bk 但し aki,bkは定数項 k=1,2,…m (不連続な自然数) m :判別関数の数量でs*(s−1)/2 さらに、統計解析装置2は、このようにして求められた
各判別関数Zkを、入力データ変換装置3に送るように
なっている。
各判別関数Zkを、入力データ変換装置3に送るように
なっている。
【0014】この入力データ変換装置3では、まず、上
記のようにして求められた判別関数Zk(x)を比較
し、類似するものは一つの関数として関数の数を減らす
ようになっている。すなわち、類似する判別関数を用い
てカテゴリ分離したとしても、判別関数の数が増加する
割にはその判別結果の精度の向上等の効果が少なく、一
方、上記のように判別関数の数の増加は、そのままニュ
ーラルネットワークにおける入力層のユニット数の増加
を招くからである。したがって、本例では、近似する複
数の判別関数を検索し、いずれか一つを選択するように
なっている。
記のようにして求められた判別関数Zk(x)を比較
し、類似するものは一つの関数として関数の数を減らす
ようになっている。すなわち、類似する判別関数を用い
てカテゴリ分離したとしても、判別関数の数が増加する
割にはその判別結果の精度の向上等の効果が少なく、一
方、上記のように判別関数の数の増加は、そのままニュ
ーラルネットワークにおける入力層のユニット数の増加
を招くからである。したがって、本例では、近似する複
数の判別関数を検索し、いずれか一つを選択するように
なっている。
【0015】具体的には、仮に二つのカテゴリA,Bの
判別関数としてZ1 とZ2 の2本が存在する場合に、両
者の傾きを比較し、その傾きが近い場合にはいずれか一
個を選択するようにし、その判別の処理は以下の通りで
ある。すなわち、求められた各判別関数の係数・定数を
受け取る。そして、判別関数のすべての組み合わせにつ
いて、係数ベクトルの法線の単位ベクトル間の内積を求
める。ここで2本の直線に関する内積は、次のようにし
て求められる。
判別関数としてZ1 とZ2 の2本が存在する場合に、両
者の傾きを比較し、その傾きが近い場合にはいずれか一
個を選択するようにし、その判別の処理は以下の通りで
ある。すなわち、求められた各判別関数の係数・定数を
受け取る。そして、判別関数のすべての組み合わせにつ
いて、係数ベクトルの法線の単位ベクトル間の内積を求
める。ここで2本の直線に関する内積は、次のようにし
て求められる。
【0016】すなわち、両関数の係数をそれぞれ(a1
1,…,a1i,…,a1n),(a21,…,a2i,…,a2
n)とすると、これらの法線の単位ベクトルE1=(e1
1,…,e1i,…,e1n),E2=(e21,…,e2i,
…,e2n)の各要素は、
1,…,a1i,…,a1n),(a21,…,a2i,…,a2
n)とすると、これらの法線の単位ベクトルE1=(e1
1,…,e1i,…,e1n),E2=(e21,…,e2i,
…,e2n)の各要素は、
【0017】
【数1】 e1i=a1i/(a11*a11+…+a1i*a1i+…+a1n*a1n)1/2 e2i=a2i/(a21*a21+…+a2i*a2i+…+a2n*a2n)1/2 となり、単位ベクトル間の内積は、 (E1,E2)=e11*e21+…+e1i*e2i+…+e1n*e2n であらわされる。そして、この内積が1に近いほど、2
本の直線の傾きが近いことを意味する。そこで、この内
積が予め設定した閾値(1に近い値)よりも高い時に2
個の判別関数のうち一方を削除するようにしている。そ
して削除する方は、例えば誤判別率の高い方とする。ま
た、類似する判別関数が3個以上あった場合には、最も
誤判別率の低い1つを残し、他を削除するようにしてい
る。そして、上記のようにして求めた判別関数を、入力
データ変換装置3内に設けた記憶部(データベース)に
格納保持するようになっている。
本の直線の傾きが近いことを意味する。そこで、この内
積が予め設定した閾値(1に近い値)よりも高い時に2
個の判別関数のうち一方を削除するようにしている。そ
して削除する方は、例えば誤判別率の高い方とする。ま
た、類似する判別関数が3個以上あった場合には、最も
誤判別率の低い1つを残し、他を削除するようにしてい
る。そして、上記のようにして求めた判別関数を、入力
データ変換装置3内に設けた記憶部(データベース)に
格納保持するようになっている。
【0018】なお、本例では、入力データ変換装置3に
て、不要な判別関数を削除するようにしたが、必ずしも
削除する機能を設ける必要はなく、係る場合には、統計
解析装置2から与えられた判別関数がそのまま上記記憶
部内に格納されることになる。そしてその場合でも、生
データをそのままニューラルネットワークに入力する場
合に比べると入力層におけるユニット数が少なくなるた
め、学習の短時間化並びに高認識率を発揮することがで
きる。
て、不要な判別関数を削除するようにしたが、必ずしも
削除する機能を設ける必要はなく、係る場合には、統計
解析装置2から与えられた判別関数がそのまま上記記憶
部内に格納されることになる。そしてその場合でも、生
データをそのままニューラルネットワークに入力する場
合に比べると入力層におけるユニット数が少なくなるた
め、学習の短時間化並びに高認識率を発揮することがで
きる。
【0019】また本例では、誤判別率の最も少ないもの
以外の近似した判別関数すべてを削除するようにした
が、本発明ではこれに限ること無く近似する判別関数を
2個以上残すようにしてもよい。さらには、削除する判
別関数を選定するに際し、必ずしも誤判別率を用いる必
要もない。さらには、近似する複数の判別関数が抽出さ
れたなら、それら各判別関数の傾きの平均をとるなどし
て、それらを統合した新たな代表となる線を形成し、そ
の線に基づく(判別)関数(係数,定数等)を求め、元
となる複数の判別関数を削除するようにしても良く、種
々のものとすることができる。
以外の近似した判別関数すべてを削除するようにした
が、本発明ではこれに限ること無く近似する判別関数を
2個以上残すようにしてもよい。さらには、削除する判
別関数を選定するに際し、必ずしも誤判別率を用いる必
要もない。さらには、近似する複数の判別関数が抽出さ
れたなら、それら各判別関数の傾きの平均をとるなどし
て、それらを統合した新たな代表となる線を形成し、そ
の線に基づく(判別)関数(係数,定数等)を求め、元
となる複数の判別関数を削除するようにしても良く、種
々のものとすることができる。
【0020】さらにこの入力データ変換装置3では、上
記のようにして得られ、記憶部内に格納された判別関数
に、学習データ設定装置1から入力されたサンプルデー
タXj 或いは想起データ設定装置4から入力された想起
データ(実際の入力データ)Xj を代入することによ
り、Zk(x)を算出し、その算出結果をニューラルネ
ットワーク解析装置5に与えるようになっている。すな
わち、その算出結果が、ニューラルネットワーク解析装
置5における実際の入力データとなり、上記判別関数Z
kの数が、そのままニューラルネットワーク解析装置5
における入力層のユニット数になる。なお、本例では、
上記入力データ変換装置3が、算出結果を入力層に供給
する手段と関数の数を削減する手段とを兼ねている。
記のようにして得られ、記憶部内に格納された判別関数
に、学習データ設定装置1から入力されたサンプルデー
タXj 或いは想起データ設定装置4から入力された想起
データ(実際の入力データ)Xj を代入することによ
り、Zk(x)を算出し、その算出結果をニューラルネ
ットワーク解析装置5に与えるようになっている。すな
わち、その算出結果が、ニューラルネットワーク解析装
置5における実際の入力データとなり、上記判別関数Z
kの数が、そのままニューラルネットワーク解析装置5
における入力層のユニット数になる。なお、本例では、
上記入力データ変換装置3が、算出結果を入力層に供給
する手段と関数の数を削減する手段とを兼ねている。
【0021】さらに、このニューラルネットワーク解析
装置5は、本例では、通常の階層型のニューラルネット
ワークから構成され、入力データが、学習用のサンプル
データの場合に、算出された出力データYを収束判定装
置6に与えるようになっている。ここでYは[y1,y
2,…ys]であらわされ、0〜1の実数となる。ま
た、このニューラルネットワーク解析装置5は、その装
置内にニューラルネットワークを構築するシナプスの結
合係数である重みWを格納する重みデータベースを有
し、さらにその重みを修正する学習機能も備えている。
装置5は、本例では、通常の階層型のニューラルネット
ワークから構成され、入力データが、学習用のサンプル
データの場合に、算出された出力データYを収束判定装
置6に与えるようになっている。ここでYは[y1,y
2,…ys]であらわされ、0〜1の実数となる。ま
た、このニューラルネットワーク解析装置5は、その装
置内にニューラルネットワークを構築するシナプスの結
合係数である重みWを格納する重みデータベースを有
し、さらにその重みを修正する学習機能も備えている。
【0022】そして、収束判定装置6は、ニューラルネ
ットワーク解析装置5における学習が収束したか否かを
判断し、学習を続行するか、終了するかの判断を行うよ
うになっている。具体的には、すべてのサンプルデータ
に関する出力データYと、学習データ設定装置1から送
られて来る教師データTとを比較して、その差を求める
とともに、その差の二乗和が目標の許容誤差ε以上か否
かを判断する。
ットワーク解析装置5における学習が収束したか否かを
判断し、学習を続行するか、終了するかの判断を行うよ
うになっている。具体的には、すべてのサンプルデータ
に関する出力データYと、学習データ設定装置1から送
られて来る教師データTとを比較して、その差を求める
とともに、その差の二乗和が目標の許容誤差ε以上か否
かを判断する。
【0023】そして、「以上」の場合には学習が十分で
ない(収束していない)と判断し、ニューラルネットワ
ーク解析装置5へフィードバック(学習続行命令)をか
けてニューラルネットワークのニューロン間のシナプス
の結合係数(重み)を変更・調整させるようになってい
る。そして、学習結果(出力データY)が許容誤差ε以
下になるまで上記処理が続行される。
ない(収束していない)と判断し、ニューラルネットワ
ーク解析装置5へフィードバック(学習続行命令)をか
けてニューラルネットワークのニューロン間のシナプス
の結合係数(重み)を変更・調整させるようになってい
る。そして、学習結果(出力データY)が許容誤差ε以
下になるまで上記処理が続行される。
【0024】なお、このニューラルネットワーク解析装
置5における具体的な算出並びに学習方法や、収束判定
装置6における判定処理は、従来公知のものを用いるこ
とができるため、詳細な説明を省略する。また、実機へ
の搭載の態様としては、入力データ変換装置3,想起デ
ータ設定装置4並びにニューラルネットワーク解析装置
(学習機能を除く)となる。
置5における具体的な算出並びに学習方法や、収束判定
装置6における判定処理は、従来公知のものを用いるこ
とができるため、詳細な説明を省略する。また、実機へ
の搭載の態様としては、入力データ変換装置3,想起デ
ータ設定装置4並びにニューラルネットワーク解析装置
(学習機能を除く)となる。
【0025】次に、上記した装置の作用について説明す
ると、図2のフローチャートに示すように、まず、学習
データ設定装置1でサンプルデータXj を設定し、統計
解析装置2に送り、各カテゴリ分けをする複数の判別関
数を求める(S101,102)。これにより、例えば
図3に示すように、4つのカテゴリA〜Dに対し、6個
の判別関数が求められる。
ると、図2のフローチャートに示すように、まず、学習
データ設定装置1でサンプルデータXj を設定し、統計
解析装置2に送り、各カテゴリ分けをする複数の判別関
数を求める(S101,102)。これにより、例えば
図3に示すように、4つのカテゴリA〜Dに対し、6個
の判別関数が求められる。
【0026】次いで、上記のようにして得られた判別関
数のうち、類似する判別関数を抽出し、一本の関数にす
る(S103)。すなわち、図3の例では、判別関数Z
ADと、ZBDとが類似し、また、判別関数ZCDと、ZABと
が類似する。そして、ZADとZABが残り、ZBDとZCDと
が削除される。これにより、実際に使用される判別関数
は4個となる。
数のうち、類似する判別関数を抽出し、一本の関数にす
る(S103)。すなわち、図3の例では、判別関数Z
ADと、ZBDとが類似し、また、判別関数ZCDと、ZABと
が類似する。そして、ZADとZABが残り、ZBDとZCDと
が削除される。これにより、実際に使用される判別関数
は4個となる。
【0027】そして、上記最終的に残った判別関数の数
(4個)だけのユニットをニューラルネットワークの入
力層に設定する(図4参照)。次いで、学習データ設定
装置1から入力データ変換装置3に送られるサンプルデ
ータを上記4個の判別関数に入力し、得られた結果をニ
ューラルネットワークに入力する(S104,10
5)。そして、出力データYを収束判定装置6に送り、
収束したか否かを判断し(S106)、収束していない
場合には、ステップ105に戻り再度学習を行う。ま
た、収束した場合には、想起データ設定装置4でカテゴ
リ分析をしたい想起データWを設定し、それを入力デー
タ変換装置3に送り上記4個の判別関数に代入し、算出
結果Zk(w)を得、それをニューラルネットワークに
入力する。その結果により、想起データが、学習させた
カテゴリのどれに含まれるかどうかの判断が行われる
(S107〜109)(図5参照)。そして、実際には
例えば入力データが50個くらいあった場合に、ニュー
ラルネットワークの入力層のユニット数を10以下に抑
えることが可能となる。
(4個)だけのユニットをニューラルネットワークの入
力層に設定する(図4参照)。次いで、学習データ設定
装置1から入力データ変換装置3に送られるサンプルデ
ータを上記4個の判別関数に入力し、得られた結果をニ
ューラルネットワークに入力する(S104,10
5)。そして、出力データYを収束判定装置6に送り、
収束したか否かを判断し(S106)、収束していない
場合には、ステップ105に戻り再度学習を行う。ま
た、収束した場合には、想起データ設定装置4でカテゴ
リ分析をしたい想起データWを設定し、それを入力デー
タ変換装置3に送り上記4個の判別関数に代入し、算出
結果Zk(w)を得、それをニューラルネットワークに
入力する。その結果により、想起データが、学習させた
カテゴリのどれに含まれるかどうかの判断が行われる
(S107〜109)(図5参照)。そして、実際には
例えば入力データが50個くらいあった場合に、ニュー
ラルネットワークの入力層のユニット数を10以下に抑
えることが可能となる。
【0028】一方、上記した第1実施例では、統計解析
装置2に、サンプルデータから判別関数を求める機能を
持たせたが、その機能に替えてサンプルデータに対して
主成分分析を行い、関数となる主成分式を求める機能と
し、他の装置等は図1に示すものを用いることにより、
本発明に係る前処理装置の第2実施例を構成することが
できる。
装置2に、サンプルデータから判別関数を求める機能を
持たせたが、その機能に替えてサンプルデータに対して
主成分分析を行い、関数となる主成分式を求める機能と
し、他の装置等は図1に示すものを用いることにより、
本発明に係る前処理装置の第2実施例を構成することが
できる。
【0029】すなわち、本例における統計解析装置(主
成分分析装置)では、上記第1実施例と同様に学習用サ
ンプルデータをカテゴリ毎に分類し、その分類数sを求
める。そして、本例では、そのデータから主要な変動を
見付けだし、その主成分Gk(データの分散が最大の成
分)をs個抽出する。なお、このsは、累計寄与率が8
0%ぐらいとなるように決定する。またここで、主成分
式は、下記のようになっている。
成分分析装置)では、上記第1実施例と同様に学習用サ
ンプルデータをカテゴリ毎に分類し、その分類数sを求
める。そして、本例では、そのデータから主要な変動を
見付けだし、その主成分Gk(データの分散が最大の成
分)をs個抽出する。なお、このsは、累計寄与率が8
0%ぐらいとなるように決定する。またここで、主成分
式は、下記のようになっている。
【0030】
【表4】Gk(x)=lk1*x1+lk2*x2+…+lkn*xn 但し lki は定数項 k=1,2,…s (不連続な自然数):第k主成分 s :主成分の数量 このようにして求められた各判別関数Gkを、入力デー
タ変換装置に送り、そこにおいて求められた主成分式G
k(x)を比較し、類似するものは一つの式として数を
減らし、サンプルデータや想起データ等の入力データを
最終的に得られた主成分式に代入して得られた算出結果
をニューラルネットワーク解析装置に供給するようにな
っている。なお、その他の構成は、上記した第1実施例
のものと同様であるため、その説明を省略する。
タ変換装置に送り、そこにおいて求められた主成分式G
k(x)を比較し、類似するものは一つの式として数を
減らし、サンプルデータや想起データ等の入力データを
最終的に得られた主成分式に代入して得られた算出結果
をニューラルネットワーク解析装置に供給するようにな
っている。なお、その他の構成は、上記した第1実施例
のものと同様であるため、その説明を省略する。
【0031】また、この装置における作用も、基本的に
は上記した第1実施例と同様であり、図6に示すフロー
チャートにしたがって実行される。すなわち、図7に示
すように統計分析装置(主成分分析装置)にて、サンプ
ルデータに対して2次元での主成分分析(分離するカテ
ゴリは3つ)をすると、各カテゴリで、変動が最も大き
くなるような直線である第1主成分式GA1,GB1,GC1
が求められ、その第1主成分式と直交する空間で各デー
タの変動が最大になるような直線である第2主成分式G
A2,GB2,GC2が求められる(主成分式は6個とな
る)。
は上記した第1実施例と同様であり、図6に示すフロー
チャートにしたがって実行される。すなわち、図7に示
すように統計分析装置(主成分分析装置)にて、サンプ
ルデータに対して2次元での主成分分析(分離するカテ
ゴリは3つ)をすると、各カテゴリで、変動が最も大き
くなるような直線である第1主成分式GA1,GB1,GC1
が求められ、その第1主成分式と直交する空間で各デー
タの変動が最大になるような直線である第2主成分式G
A2,GB2,GC2が求められる(主成分式は6個とな
る)。
【0032】そして、入力データ変換装置では、上記得
られた6個の主成分式同士の内積をとり、類似する成分
(GA1とGC1)を抽出し、いずれか1つ(GA1)を残
す。次いで、図8に示すように最終的に残った主成分式
GA1,GB1,GA2,GB2,GC2の数だけニューラルネッ
トワークの入力層のユニットとし、入力データを各式に
代入して得られた結果をその入力層に入力するようにな
る。
られた6個の主成分式同士の内積をとり、類似する成分
(GA1とGC1)を抽出し、いずれか1つ(GA1)を残
す。次いで、図8に示すように最終的に残った主成分式
GA1,GB1,GA2,GB2,GC2の数だけニューラルネッ
トワークの入力層のユニットとし、入力データを各式に
代入して得られた結果をその入力層に入力するようにな
る。
【0033】なお、上記した実施例では、いずれもサン
プルデータから求められた判別関数或いは主成分式に入
力データを代入し、得られた結果(入力データ変換)を
ニューラルネットワークの入力層に入力するようにした
が、さらに、図9に示すように本来的な入力データであ
る生データ(サンプルデータ,想起データ等)の中で、
出力結果に重要な影響を与えるデータは、そのデータも
ニューラルネットワークの入力層に入力するようにして
も良い。これにより、認識率が向上する。そして、この
ような重要なデータは、例えばカテゴリ間のマハロノビ
ス距離を求め、その距離が大きくなる特徴軸,入力デー
タを選ぶことにより自動抽出することができる。
プルデータから求められた判別関数或いは主成分式に入
力データを代入し、得られた結果(入力データ変換)を
ニューラルネットワークの入力層に入力するようにした
が、さらに、図9に示すように本来的な入力データであ
る生データ(サンプルデータ,想起データ等)の中で、
出力結果に重要な影響を与えるデータは、そのデータも
ニューラルネットワークの入力層に入力するようにして
も良い。これにより、認識率が向上する。そして、この
ような重要なデータは、例えばカテゴリ間のマハロノビ
ス距離を求め、その距離が大きくなる特徴軸,入力デー
タを選ぶことにより自動抽出することができる。
【0034】図10は、本発明の第3実施例であるパラ
メータ設定装置を含むブロック構成図を、また図11は
その動作を説明するフローチャート図をそれぞれ示して
いる。すなわち、上記した各実施例で求めた線形結合式
(判別関数/主成分式)を用いて前処理をした後、ニュ
ーラルネットワークに入力処理するようにした場合に、
線形結合式の数が多くなると、前処理に費やす時間が長
くなり、実際の想起時間(前処理時間+ニューラルネッ
トワークにおける処理時間)が長くなり、実機のメモリ
容量が増加することになる。そこで、本例では、より短
時間(小メモリ容量)化を図るために、求めた線形結合
式とニューラルネットワークの重みとを統合可能とし
た。
メータ設定装置を含むブロック構成図を、また図11は
その動作を説明するフローチャート図をそれぞれ示して
いる。すなわち、上記した各実施例で求めた線形結合式
(判別関数/主成分式)を用いて前処理をした後、ニュ
ーラルネットワークに入力処理するようにした場合に、
線形結合式の数が多くなると、前処理に費やす時間が長
くなり、実際の想起時間(前処理時間+ニューラルネッ
トワークにおける処理時間)が長くなり、実機のメモリ
容量が増加することになる。そこで、本例では、より短
時間(小メモリ容量)化を図るために、求めた線形結合
式とニューラルネットワークの重みとを統合可能とし
た。
【0035】すなわち、同図に示すように、上記した各
実施例と同様の学習データ設定装置1,統計解析装置
2,入力データ変換装置3,想起データ設定装置4,ニ
ューラルネットワーク解析装置5並びに収束判定装置6
に連携されるもので(各装置における処理は、上記の各
実施例と同様であるため基本的に説明を省略する)、上
記したごとく入力データ変換装置3内には線形結合式デ
ータベース3aが、またニューラルネットワーク解析装
置5内には重みデータベース5aを備え、それぞれ所定
のデータが格納されている。さらに、ニューラルネット
ワーク解析装置5における出力の算出式の一例を示す
と、下記のようになっている(なお、具体的に例示はし
なかったが図1に示した第1,第2実施例におけるニュ
ーラルネットワーク解析装置5も同様の式に基づいて処
理がなされる。但し、本例では、第1実施例の判別関数
と第2実施例の主成分式をまとめて線形結合式と称する
関係から、適宜記号等を替えて記載している)。
実施例と同様の学習データ設定装置1,統計解析装置
2,入力データ変換装置3,想起データ設定装置4,ニ
ューラルネットワーク解析装置5並びに収束判定装置6
に連携されるもので(各装置における処理は、上記の各
実施例と同様であるため基本的に説明を省略する)、上
記したごとく入力データ変換装置3内には線形結合式デ
ータベース3aが、またニューラルネットワーク解析装
置5内には重みデータベース5aを備え、それぞれ所定
のデータが格納されている。さらに、ニューラルネット
ワーク解析装置5における出力の算出式の一例を示す
と、下記のようになっている(なお、具体的に例示はし
なかったが図1に示した第1,第2実施例におけるニュ
ーラルネットワーク解析装置5も同様の式に基づいて処
理がなされる。但し、本例では、第1実施例の判別関数
と第2実施例の主成分式をまとめて線形結合式と称する
関係から、適宜記号等を替えて記載している)。
【0036】
【数2】 但し、上側の式はニューラルネットワークの第2層のニ
ューロンの出力で、下側の式が出力データ(ニューラル
ネットワークの第3層のニューロンの出力)で有る。そ
して、各式中の記号は、下記表のようになっている。
ューロンの出力で、下側の式が出力データ(ニューラル
ネットワークの第3層のニューロンの出力)で有る。そ
して、各式中の記号は、下記表のようになっている。
【0037】
【表5】 i=1,2,…,pe1+1 :入力データ(線形結合データ)の
順番 pe1 =in num or f num :入力数(線形結合式の総
数) j=1,2,…,pe2+1 :第2層のニューラルネットワーク
のニューロンの順番 pe2 :第2層のニューラルネットワーク
のニューロン数 k=1,2,…,out num:出力データの順番 out num :出力数 inij=xip,zj(Xp):入力データ(線形結合データ) p=1,2,…,ptn :入力データ(線形結合データ)の
パタンの順番 ptn :入出力データのパタン数 func(x) =1/{1+exp(-x) }:ニューラルネットワ
ークの出力関数 wpe1+1j(1) :しきい値素子(常に1を出力する
ニューロン) wpe2+1k(2) :しきい値素子(常に1を出力する
ニューロン) ここで本発明では、まず処理時間見積り装置7を設け、
線形結合式と重みを統合した場合と、しない場合のそれ
ぞれに要する時間を算出するもので、上記統計解析装置
2(或いは入力データ変換装置内で削減すること)によ
り求められた線形結合式の総数並びに入力データの数を
与え、処理時間見積り式データベース8に格納された見
積り式を用いて両者に要する時間を求める。
順番 pe1 =in num or f num :入力数(線形結合式の総
数) j=1,2,…,pe2+1 :第2層のニューラルネットワーク
のニューロンの順番 pe2 :第2層のニューラルネットワーク
のニューロン数 k=1,2,…,out num:出力データの順番 out num :出力数 inij=xip,zj(Xp):入力データ(線形結合データ) p=1,2,…,ptn :入力データ(線形結合データ)の
パタンの順番 ptn :入出力データのパタン数 func(x) =1/{1+exp(-x) }:ニューラルネットワ
ークの出力関数 wpe1+1j(1) :しきい値素子(常に1を出力する
ニューロン) wpe2+1k(2) :しきい値素子(常に1を出力する
ニューロン) ここで本発明では、まず処理時間見積り装置7を設け、
線形結合式と重みを統合した場合と、しない場合のそれ
ぞれに要する時間を算出するもので、上記統計解析装置
2(或いは入力データ変換装置内で削減すること)によ
り求められた線形結合式の総数並びに入力データの数を
与え、処理時間見積り式データベース8に格納された見
積り式を用いて両者に要する時間を求める。
【0038】すなわち、線形結合式の項数は、入力数×
線形結合式の総数に比例する。また、ニューラルネット
ワークの第1層の計算式は、一種の線形結合式であり、
線形結合式とニューラルネットワーク重みを統合処理す
る前と後で、ニューラルネットワークの第2層のニュー
ロン数が変わらないとすると、計算式の項数は、「統合
処理前は線形結合式の総数に比例し」、「統合処理後は
入力数に比例する」ことになる。
線形結合式の総数に比例する。また、ニューラルネット
ワークの第1層の計算式は、一種の線形結合式であり、
線形結合式とニューラルネットワーク重みを統合処理す
る前と後で、ニューラルネットワークの第2層のニュー
ロン数が変わらないとすると、計算式の項数は、「統合
処理前は線形結合式の総数に比例し」、「統合処理後は
入力数に比例する」ことになる。
【0039】また、統合処理する前と後でニューラルネ
ットワークの第2〜第3層のニューロン数が変わらない
とすると、ニューラルネットワークの第2〜第3層の計
算式の項数は変化しない。したがって、全体の処理時間
(統合処理後Taft ,統合処理前Tbef )は下記式のよ
うになり、係る式がデータベース8に格納され、本見積
り装置7にて各式中の変数に与えられた数値を代入し演
算処理するようになっている。
ットワークの第2〜第3層のニューロン数が変わらない
とすると、ニューラルネットワークの第2〜第3層の計
算式の項数は変化しない。したがって、全体の処理時間
(統合処理後Taft ,統合処理前Tbef )は下記式のよ
うになり、係る式がデータベース8に格納され、本見積
り装置7にて各式中の変数に与えられた数値を代入し演
算処理するようになっている。
【0040】
【数3】 Taft (in num) = t1(in num)+to (1) Tbef (in num,f num)=t2(in num,f num)+t1(f num) +to (2) in num:入力数 f num :線形結合式の総数 to :ニューラルネットワークの第2〜第3層の処理
時間 t1 :ニューラルネットワークの第1〜第2層の処理
時間 t2 :線形結合式の処理時間 そして、上記各式(1),(2)は、それぞれ下記の
(1)′,(2)′に近似(便宜上「=」で記す)する
ことができる。
時間 t1 :ニューラルネットワークの第1〜第2層の処理
時間 t2 :線形結合式の処理時間 そして、上記各式(1),(2)は、それぞれ下記の
(1)′,(2)′に近似(便宜上「=」で記す)する
ことができる。
【0041】
【数4】 Taft (in num) =in num×pe2 ×y+to (1)′ Tbef (in num,f num)=in num×f num ×x+f num ×pe2 ×y+to (2)′ x :線形結合式の1つの項数当たりの計算時間 y :第1〜第2層の1つの項数(重み)当たりの計算
時間 pe2 :第2層のニューロン数 そして、上記のようにして求めた両処理時間Taft ,T
bef を、次段の最適化判断装置9に送るようになってい
る。
時間 pe2 :第2層のニューロン数 そして、上記のようにして求めた両処理時間Taft ,T
bef を、次段の最適化判断装置9に送るようになってい
る。
【0042】この最適化判断装置9では、与えられた両
処理時間を比較し、パラメータ最適化装置10に対し起
動命令を発するか否かの判断を行うもので、具体的な判
断基準は、統合処理をした方が全体の処理時間が短くな
る条件「Taft ≦Tbef 」を満たす時に命令を発するよ
うになっている。なお、本例では、処理時間の長短のみ
で判断するようにしたが、処理時間とメモリ容量を総合
判断してもよいし、実機等の他の制約条件を使用しても
もちろんよい。
処理時間を比較し、パラメータ最適化装置10に対し起
動命令を発するか否かの判断を行うもので、具体的な判
断基準は、統合処理をした方が全体の処理時間が短くな
る条件「Taft ≦Tbef 」を満たす時に命令を発するよ
うになっている。なお、本例では、処理時間の長短のみ
で判断するようにしたが、処理時間とメモリ容量を総合
判断してもよいし、実機等の他の制約条件を使用しても
もちろんよい。
【0043】パラメータ最適化装置10は、上記最適化
判断装置9から起動命令を受けた場合にのみ線形結合式
とニューラルネットワークの重みとを統合処理するよう
になっている。ここで統合処理とは、入力データ変換装
置3内の線形結合式データベース3aから線形結合式
を、また、ニューラルネットワーク解析装置5内の重み
データベースから重みデータWをそれぞれ読み込み、そ
れに基づいて最適化重みデータW′を生成し、それを最
適化重みデータベース5′aに書き込むもので、具体的
には以下の通りである。
判断装置9から起動命令を受けた場合にのみ線形結合式
とニューラルネットワークの重みとを統合処理するよう
になっている。ここで統合処理とは、入力データ変換装
置3内の線形結合式データベース3aから線形結合式
を、また、ニューラルネットワーク解析装置5内の重み
データベースから重みデータWをそれぞれ読み込み、そ
れに基づいて最適化重みデータW′を生成し、それを最
適化重みデータベース5′aに書き込むもので、具体的
には以下の通りである。
【0044】すなわち、前処理の線形結合式とニューラ
ルネットワークの第1層の計算式が、双方積和の式であ
るので、予め係数を統合することができると言うことに
着目してなされている。つまり、仮に2つの関数f1,
f2がそれぞれ下記のようにf1の算出結果に基づいて
f2が求められるような場合に、予め各係数の積和を取
って統合処理しB1,B2,B3を係数にもつ新たな関
数f2を生成し、係る関数f2に直接x1,x2を代入
処理を可能とするものである。
ルネットワークの第1層の計算式が、双方積和の式であ
るので、予め係数を統合することができると言うことに
着目してなされている。つまり、仮に2つの関数f1,
f2がそれぞれ下記のようにf1の算出結果に基づいて
f2が求められるような場合に、予め各係数の積和を取
って統合処理しB1,B2,B3を係数にもつ新たな関
数f2を生成し、係る関数f2に直接x1,x2を代入
処理を可能とするものである。
【0045】
【数5】 f1(x1,x2) =a1・x1+a2・x2+a3 f2{f1(x1,x2)} =b1・f1(x1,x2) +b2 =b1・a1・x1+b1・a2・x2+a3・b1+b2 =B1・x1+B2・x2+B3 但し、B1=b1・a1,B2=b1・a2,B3=a3・b1+b2 そして具体的な統合処理後の最適化重みデータW′は、
下記式により求められる。
下記式により求められる。
【0046】
【数6】 w′jk(2) =wjk(2) 但し i=1,2,…,in num :入力データの順番 in num :入力数 i′=1,2,…,f num:線形結合データの順番 f num :線形結合式の総数 j=1,2,…,pe2+1 :第2層のニューラルネットワーク
のニューロンの順番 pe2 :第2層のニューラルネットワーク
のニューロン数 k=1,2,…,out num:出力データの順番 out num :出力数 そして、統合前の(前処理を行うことを条件とする)重
みデータW(ニューラルネットワーク解析装置5内のデ
ータベース5a内に格納される)と、上記のようにして
統合処理してニューラルネットワーク解析装置5′内の
データベース5′aに格納された最適化重みデータW′
のデータ構造は、それぞれ図12,図13に示すように
なっている。
のニューロンの順番 pe2 :第2層のニューラルネットワーク
のニューロン数 k=1,2,…,out num:出力データの順番 out num :出力数 そして、統合前の(前処理を行うことを条件とする)重
みデータW(ニューラルネットワーク解析装置5内のデ
ータベース5a内に格納される)と、上記のようにして
統合処理してニューラルネットワーク解析装置5′内の
データベース5′aに格納された最適化重みデータW′
のデータ構造は、それぞれ図12,図13に示すように
なっている。
【0047】さらに、統合処理した場合の実機への搭載
は、図中Aで示す想起データ設定装置4,ニューラルネ
ットワーク解析装置5′となり、入力データXj が与え
られたなら、前処理をすることなく最適化重みデータ
W′を用いてニューラルネットワーク想起装置5′bに
より演算処理し、所定の出力データYj を出力すること
になる。なお、上記最適化判断装置9における判断結果
が、統合前の方が処理時間が短い場合(起動命令が発せ
られない場合)は、上記した両実施例のように、入力デ
ータ変換装置3を含む構成Bとなる。
は、図中Aで示す想起データ設定装置4,ニューラルネ
ットワーク解析装置5′となり、入力データXj が与え
られたなら、前処理をすることなく最適化重みデータ
W′を用いてニューラルネットワーク想起装置5′bに
より演算処理し、所定の出力データYj を出力すること
になる。なお、上記最適化判断装置9における判断結果
が、統合前の方が処理時間が短い場合(起動命令が発せ
られない場合)は、上記した両実施例のように、入力デ
ータ変換装置3を含む構成Bとなる。
【0048】
【発明の効果】以上のように、本発明に係るニューラル
ネットワークの前処理装置及びパラメータ設定装置で
は、カテゴリ分析を行う多変量の入力データ等を上記関
数に代入し、得られた算出結果をニューラルネットワー
クの入力層に入力し、所定の認識処理等をすることがで
きるため、実際にニューラルネットワークに入力される
データの数は、上記関数の数となり、上記入力データの
数に比し少なくなる。すなわち、ニューラルネットワー
クの入力層のユニット数を少なくすることができる。し
たがって、たとえ使用する相関関係のある多変量データ
(入力データ)の数が増加しても、ニューラルネットワ
ークを構成するニューロン数等はさほど増加しないた
め、学習時間を比較的短期間で行うとともに、認識率の
向上を図ることができる。そして、線形結合式と、重み
データとを統合処理をするようにした場合には、実際の
想起処理時間の高速化を図ることができる。
ネットワークの前処理装置及びパラメータ設定装置で
は、カテゴリ分析を行う多変量の入力データ等を上記関
数に代入し、得られた算出結果をニューラルネットワー
クの入力層に入力し、所定の認識処理等をすることがで
きるため、実際にニューラルネットワークに入力される
データの数は、上記関数の数となり、上記入力データの
数に比し少なくなる。すなわち、ニューラルネットワー
クの入力層のユニット数を少なくすることができる。し
たがって、たとえ使用する相関関係のある多変量データ
(入力データ)の数が増加しても、ニューラルネットワ
ークを構成するニューロン数等はさほど増加しないた
め、学習時間を比較的短期間で行うとともに、認識率の
向上を図ることができる。そして、線形結合式と、重み
データとを統合処理をするようにした場合には、実際の
想起処理時間の高速化を図ることができる。
【図1】本発明に係るニューラルネットワークの前処理
装置の好適な実施例を示すブロック構成図である。
装置の好適な実施例を示すブロック構成図である。
【図2】本発明の第1実施例の装置の作用を説明するた
めのフローチャート図である。
めのフローチャート図である。
【図3】同作用を説明するための図である。
【図4】同作用を説明するための図である。
【図5】同作用を説明するための図である。
【図6】本発明の第2実施例の装置の作用を説明するた
めのフローチャート図である。
めのフローチャート図である。
【図7】同作用を説明するための図である。
【図8】同作用を説明するための図である。
【図9】本発明のさらの他の実施例を説明する図であ
る。
る。
【図10】本発明の第3実施例の装置を示すブロック構
成図である。
成図である。
【図11】その作用を説明するフローチャート図であ
る。
る。
【図12】統合処理しない時の重みデータのデータ構造
を示す図である。
を示す図である。
【図13】統合処理した時の重みデータのデータ構造を
示す図である。
示す図である。
1 学習データ設定装置 2 統計解析装置 3 入力データ変換装置 4 想起データ設定装置 5 ニューラルネットワーク(NN)解析装置 6 収束判定装置 7 処理時間見積もり装置 9 最適化判断装置 10 パラメータ最適化装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 堤 康弘 京都府京都市右京区花園土堂町10番地 オ ムロン株式会社内 (72)発明者 入江 篤 京都府京都市右京区花園土堂町10番地 オ ムロン株式会社内
Claims (5)
- 【請求項1】 サンプルデータから複数のカテゴリ分布
に対して統計解析を行い、そのサンプルデータの数より
少ない数の線形の関数を求める統計解析装置と、 その統計解析装置から出力される前記関数を受けるとと
もに、その関数に入力データを代入して得られる算出結
果をニューラルネットワークの入力層に供給する手段と
を備えたニューラルネットワークの前処理装置。 - 【請求項2】 前記統計解析装置が、判別関数を求める
手段からなる請求項1に記載のニューラルネットワーク
の前処理装置。 - 【請求項3】 前記統計解析装置が、主成分分析を行い
前記関数である主成分式を求める手段からなる請求項1
に記載のニューラルネットワークの前処理装置。 - 【請求項4】 前記統計解析装置により得られる複数の
関数を比較し、類似する関数があった場合に、関数の数
を削減する手段を備えた請求項1〜3項のいずれか1項
に記載のニューラルネットワークの前処理装置。 - 【請求項5】 前記前処理装置で形成される前記線形の
関数と、ニューラルネットワークの重みを統合するパラ
メータ最適化手段と、 入力データを直接前記パラメータ最適化手段により求め
られた最適化重みデータに基づいて構成されるニューラ
ルネットワークに与えることにより想起処理する場合
と、入力データを請求項1〜4に記載のニューラルネッ
トワークの前処理装置を介して統合処理前の重みデータ
に基づいて構成されるニューラルネットワークに与える
ことにより想起処理する場合とを比較し、前記パラメー
タ最適化手段を起動するか否かを判断する手段とを備え
たニューラルネットワークのパラメータ設定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5020719A JPH05346916A (ja) | 1992-04-14 | 1993-01-14 | ニューラルネットワークの前処理装置及びパラメータ設定装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4-119580 | 1992-04-14 | ||
JP11958092 | 1992-04-14 | ||
JP5020719A JPH05346916A (ja) | 1992-04-14 | 1993-01-14 | ニューラルネットワークの前処理装置及びパラメータ設定装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH05346916A true JPH05346916A (ja) | 1993-12-27 |
Family
ID=26357696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5020719A Withdrawn JPH05346916A (ja) | 1992-04-14 | 1993-01-14 | ニューラルネットワークの前処理装置及びパラメータ設定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH05346916A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003317083A (ja) * | 2002-04-25 | 2003-11-07 | Dainippon Screen Mfg Co Ltd | 画像分類方法、プログラムおよび画像分類装置 |
JP2011054200A (ja) * | 2010-11-11 | 2011-03-17 | Fuji Electric Systems Co Ltd | ニューラルネットワークの学習方法 |
-
1993
- 1993-01-14 JP JP5020719A patent/JPH05346916A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003317083A (ja) * | 2002-04-25 | 2003-11-07 | Dainippon Screen Mfg Co Ltd | 画像分類方法、プログラムおよび画像分類装置 |
JP2011054200A (ja) * | 2010-11-11 | 2011-03-17 | Fuji Electric Systems Co Ltd | ニューラルネットワークの学習方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Altman et al. | Corporate distress diagnosis: Comparisons using linear discriminant analysis and neural networks (the Italian experience) | |
Tang et al. | GA-TSKfnn: Parameters tuning of fuzzy neural network using genetic algorithms | |
Lee et al. | Hybrid neural network models for bankruptcy predictions | |
US7362892B2 (en) | Self-optimizing classifier | |
Świniarski | Rough sets methods in feature reduction and classification | |
JP3329806B2 (ja) | ニューラルネット構築装置 | |
US6269353B1 (en) | System for constructing decision tree classifiers using structure-driven induction | |
US6950813B2 (en) | Fuzzy inference network for classification of high-dimensional data | |
CN111061700A (zh) | 基于相似性学习的就医迁移方案推荐方法及系统 | |
Retzlaff-Roberts | Relating discriminant analysis and data envelopment analysis to one another | |
Chen et al. | Finding active membership functions for genetic-fuzzy data mining | |
JPH08227408A (ja) | ニューラルネットワーク | |
Takefuji et al. | Neural networks in design and manufacturing | |
JPH05346916A (ja) | ニューラルネットワークの前処理装置及びパラメータ設定装置 | |
Chen et al. | A neural network approach-decision neural network (DNN) for preference assessment | |
Denton et al. | A neural network approach to the classification problem | |
Jagielska | Linguistic rule extraction from neural networks for descriptive data mining | |
CN116089801A (zh) | 一种基于多重置信度的医疗数据缺失值修复的方法 | |
Pearson et al. | A genetic algorithm for multicriteria inventory classification | |
Hassan et al. | Rough neural classifier system | |
Zhu et al. | Connectionist approaches for solver selection in constrained project scheduling | |
Sarkar et al. | A hybrid approach to design efficient learning classifiers | |
JPH07110818A (ja) | データベースシステム | |
Wang et al. | Protein sequences classification using radial basis function (RBF) neural networks | |
Wang et al. | Protein sequences classification using modular rbf neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20000404 |