JPH0991263A - ニューラルネットワーク構造最適化装置ならびに方法 - Google Patents

ニューラルネットワーク構造最適化装置ならびに方法

Info

Publication number
JPH0991263A
JPH0991263A JP7266386A JP26638695A JPH0991263A JP H0991263 A JPH0991263 A JP H0991263A JP 7266386 A JP7266386 A JP 7266386A JP 26638695 A JP26638695 A JP 26638695A JP H0991263 A JPH0991263 A JP H0991263A
Authority
JP
Japan
Prior art keywords
neural network
evaluation value
unit
neurons
changed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7266386A
Other languages
English (en)
Inventor
Kenji Suzuki
賢治 鈴木
Isao Horiba
勇夫 堀場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP7266386A priority Critical patent/JPH0991263A/ja
Publication of JPH0991263A publication Critical patent/JPH0991263A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Feedback Control In General (AREA)

Abstract

(57)【要約】 【目的】階層型ニューラルネットワークや相互結合型ニ
ューラルネットワークあるいはその他各種のニューラル
ネットワーク全てにおいて最適化を行えるものはなく、
また階層型においては各層ごとでしか最適化を行えなか
った。そこで、任意のニューラルネットワークに対応で
きる構造最適化装置および方法を提供する。 【構成】構造変更部6によりニューラルネットワーク部
1の構造を仮想的に変更させ、それぞれ変更した構造に
対して評価値算出部4にて評価値を算出する。この評価
値に基づいて構造判定部5では任意のニューラルネット
ワークを判定し、この判定結果を構造変更部6へ指示し
ニューラルネットワーク部1の構造を変更する。これに
より、ニューラルネットワークの演算時間の短縮や学習
速度の向上などニューラルネットワークの構造を最適化
することができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はニューロンを層状に
結合した階層型ニューラルネットワーク、またはニュー
ロンを相互に結合した相互結合型ニューラルネットワー
ク、またはフィードバック結合を含むリカレントニュー
ラルネットワーク、またはファジーニューラルネットワ
ークなどの任意のニューラルネットワークに係り、特に
ニューラルネットワークの構造について、所望の構造に
するためのニューラルネットワーク構造最適化装置およ
び方法に関する。
【0002】
【従来の技術】一般的にニューラルネットワークは、ニ
ューラルネットワークの出力が理想的な出力となる(目
的を達成する)よう評価を繰り返すいわゆる学習が行わ
れ、これによりさまざまな目的の機能を実現するように
なっている。しかしながら、学習だけでは演算時間の短
縮や学習自身の速度向上を行うことはできなかった。そ
のために、ニューラルネットワークの構造を変更、例え
ばニューロンを削減するなどして最適化を図っていた。
【0003】従来ニューラルネットワークにおける構造
の最適化は、例えばニューラルネットワークのなかで最
も広く応用されている階層型のニューラルネットワーク
では、中間層ニューロン数の最適化、及び入力層ニュー
ロンの最適化の2種類が一般的に知られている。中間層
ニューロン数の最適化は、中間層ニューロンの出力分散
を分散基準と定義し、またある2つの中間層ニューロン
の出力値の相関を相関基準と定義し、この分散基準及び
相関基準に基づきニューロンを削減するものである。
(押野隆弘,他:誤差逆伝搬学習における中間層ユニッ
トの逐次削減法,電子情報通信学会論文誌, D-II, Vol.
J76-D-II, No.7, pp.1414-1424 (1993)参照)。
【0004】また、入力層ニューロンの最適化は、入力
層のあるニューロンと結合されている入力層−中間層間
の結合係数の絶対値の総和を重要度として定義し、この
重要度に基づきニューロンを削減するものである。(片
山洋志,他:人工ニューラルネットワークを用いたラッ
トの味覚神経系データの解析,電子情報通信学会論文
誌, D-II, Vol. J75-D-II, No.2, pp.395-401 (1992)参
照)。
【0005】
【発明が解決しようとする課題】しかし、上記中間層ニ
ューロン数、入力層ニューロンの最適化では、ニューラ
ルネットワークの各層ごとでしか最適化を行えなかっ
た。また、このような最適化は適用範囲が階層型のニュ
ーラルネットワークに限定されたものであり、相互結合
型のニューラルネットワークやその他各種のニューラル
ネットワークに対して適用できるものではなかった。
【0006】また、分散基準や相関基準や重要度に基づ
いてネットワーク構造の最適化を行うものは、評価基準
が学習時の評価基準と異なるため、必ずしも所望の構造
への最適化を行えるものではなかった。
【0007】そこで本発明は、上記問題点に鑑み、ニュ
ーロンを層状に結合した階層型ニューラルネットワー
ク、又はニューロンを相互に結合した相互結合型ニュー
ラルネットワークなどの任意のニューラルネットワーク
の構造について、所望の構造への最適化、つまりニュー
ラルネットワークの演算時間の短縮や学習速度の向上、
汎化能力の向上、入力情報の合理的選択、システムの同
定を行うニューラルネットワークの構築を行うことがで
きるニューラルネットワークの構造最適化装置ならびに
方法を提供することを目的とする。
【0008】
【課題を解決するための手段】上記目的を達成するため
に本発明の構造最適化装置は、少なくとも2つ以上のニ
ューロンが結合された構造のニューラルネットワークを
持つニューラルネットワーク部と、該ニューラルネット
ワーク部に対して入力信号を供給する入力信号供給部
と、教師信号を供給する教師信号供給部と、前記ニュー
ラルネットワーク部の出力信号と前記教師信号とにより
評価値を算出する評価値算出部と、この評価値を比較し
ニューラルネットワークを所望の構造に変更するよう判
定する構造判定部と、前記ニューラルネットワーク部に
対し構造変更を行う構造変更部とを有するものである。
また、上記構造変更したニューラルネットワーク部に対
して再学習をさせる再学習部を備えてもよい。さらに、
上記構造変更部は仮想的にニューラルネットワークの構
造を変更させ、仮想的に変更したそれぞれのニューラル
ネットワークに対応する評価値の判定結果に基づいてニ
ューラルネットワークの構造を変更するようにしてもよ
い。さらにまた、上記ニューラルネットワーク部は、階
層型のニューラルネットワークを用いてもよい。
【0009】また、上記の評価値算出部の評価値は、ニ
ューラルネットワークの学習時に使用する評価関数に基
づいて算出するようにしてもよい。さらにまた、仮想的
なニューラルネットワークの構造変更は、任意のニュー
ロンの除去あるいは追加により行うようにしてもよい
し、任意のニューロン間の任意の結合を除去することに
より行うようにしてもよい。
【0010】次に、本発明の構造最適化方法は、少なく
とも2つ以上のニューロンが結合されたニューラルネッ
トワークの構造を仮想的に異ならせて、構造の異なるそ
れぞれのニューラルネットワークに対応した評価値を算
出し、それぞれの評価値を比較判定し、この判定結果に
基づいて所望の構造のニューラルネットワークに変更す
ることにより最適化を行う。また、評価値に基づいて所
望の構造のニューラルネットワークに変更したあとに、
変更したニューラルネットワークに対して再学習を行っ
てもよい。
【0011】
【発明の実施の形態】以下、本発明の実施形態を添付図
面に基づいて詳細に説明する。図1は、本発明によるニ
ューラルネットワークの構造最適化装置の実施形態を示
すブロック図である。このニューラルネットワークの構
造最適化装置は、図1に示すように、ニューラルネット
ワーク部1と、入力信号供給部2と、教師信号供給部3
と、評価値算出部4と,構造判定部5と、構造変更部6
とを備えて成る。
【0012】ニューラルネットワーク部1は、ニューロ
ンを可塑性を持つ結合により多数相互に結合したもので
あり、構造を最適化する対象となるニューラルネットワ
ークであり、本実施形態では階層型ニューラルネットワ
ークを用いる。ここで、ニューラルネットワーク部1
は、バックプロパゲーション(誤差逆伝播学習)やヘブ
の学習則、相関学習、競合学習、ホップフィールド型学
習、ボルツマンマシン型学習などの任意の学習アルゴリ
ズムによって、学習が行われたものである。
【0013】ここで、ニューラルネットワークを構成す
るニューロンについて図2により説明する。図2に示す
ように、ニューロン11は生物の神経細胞素子の働きを
模した多入力一出力の情報処理素子で、入力Ii(I1〜
IN)12と結合係数Wji(Wj1〜WjN)13の積和に
より出力Oj14が決定される。すなわち、入出力関数
f(x)を用いて次式のように決定される。
【0014】
【数1】
【0015】ただし、θjはしきい値に相当する入出力
関数のオフセットであり、Nは入力の数である。
【0016】次に、本実施形態のニューラルネットワー
ク部である階層型ニューラルネットワークを図3により
説明する。階層型ニューラルネットワークは、複数のニ
ューロン11で構成された入力層及び中間層並びに出力
層の結合によりネットワークを構成し、信号処理及び情
報処理の機能を実現するように構成されている。また、
図3において、符号15は入力層−中間層間結合を示
し、入力層の各ニューロン11は中間層の全てのニュー
ロン11とそれぞれ結合されている。また、符号16は
中間層−出力層間結合を示し、中間層の各ニューロンモ
デル11は出力層の全てのニューロン11とそれぞれ結
合されている。そして、入力層に供給される入力情報を
変換して出力層から出力情報として出力するようになっ
ている。ここで、上記入力層においては、入出力関数と
して次式に示すような恒等関数が用いられている。
【0017】
【数2】
【0018】これにより、入力がそのまま出力される。
なお、この恒等関数の代わりに他の関数を用いて入力情
報に変調をかけてもよい。
【0019】また、上記中間層においては、入出力関数
としてシグモイド関数が用いられている。もちろん、他
の関数を用いることもできる。シグモイド関数は次式の
ように表現される。
【0020】
【数3】
【0021】ただし、U0は傾きを制御するパラメータ
である。また、上記出力層においては、入出力関数とし
て上述のシグモイド関数が用いられている。もちろん、
この入出力関数は出力が入力に対して直線的に増減する
リニア関数などの他の関数を用いることもできる。
【0022】本実施形態では、ニューラルネットワーク
部1に階層型ニューラルネットワークを用いたが、図4
に示すような相互結合型ニューラルネットワーク、ある
いは図5に示すようなリカレントニューラルネットワー
ク、さらにはファジーニューラルネットワークなどのニ
ューロンを任意に結合した任意のニューラルネットワー
クを用いてもよい。
【0023】ここで、相互結合型ニューラルネットワー
ク及びリカレントニューラルネットワークについて簡単
に説明する。相互結合型ニューラルネットワークは図4
に示すように、各ニューロンを他の全てのニューロンと
結合した構造となっている。リカレントニューラルネッ
トワークは図5に示すように、フィードバック結合を持
つニューラルネットワークである。このリカレントニュ
ーラルネットワークの場合では、階層型のニューラルネ
ットワークにフィードバック結合を持つ構成となってお
り、出力層から入力層へのフィードバック結合を持つ構
成となっている。このような層間をまたぐフィードバッ
ク結合を持つリカレントニューラルネットワークを示し
たが、同ニューロンへのフィードバック結合を持つリカ
レントニューラルネットワークや、層内で結合を持つネ
ットワークなど任意の結合を持つリカレントニューラル
ネットワークでもよい。
【0024】入力信号供給部2は、ニューラルネットワ
ーク部1を評価するための入力信号を供給するもので、
例えば入力信号データを計測する計測部、または入力信
号データを記憶しておき必要に応じて読み出す記憶装置
などから構成される。教師信号供給部3は、ニューラル
ネットワーク部1への入力信号に対する理想的な出力信
号である教師信号を供給するもので、例えば教師信号デ
ータを計測する計測部、または教師信号データを記憶し
ておき必要に応じて読み出す記憶装置などから構成され
る。
【0025】評価値算出部4は、後述の構造変更部6に
より仮想的に変更されたニューラルネットワークの出力
信号と教師信号供給部3からの教師信号を入力して、ニ
ューラルネットワーク部1の最適化の程度を評価するた
めの評価値を構造の異なるニューラルネットワークに対
応してそれぞれ算出し、出力するものである。ここで、
評価値とは具体的にはニューラルネットワークの目的に
対する達成度または未達成度を表すもの、換言するとニ
ューラルネットワークの良さまたは悪さを表すものとな
っている。構造判定部5は、評価値算出部4からの仮想
的に変更したそれぞれのニューラルネットワークの評価
値を入力して比較判定する、つまりニューラルネットワ
ーク部1の構造をどのように変更するかを判定するもの
である。構造変更部6は、ニューラルネットワーク部1
の構造を仮想的に変更したり、構造判定部5からの判定
結果に基づいて実際にニューラルネットワーク部1の構
造を変更するものである。
【0026】次に、このように構成されたニューラルネ
ットワークの構造最適化装置における動作を説明する。
まず、階層型のニューラルネットワークでの最適化動作
の前に行われるバックプロパゲーション学習法による学
習動作を図3及び図6を用いて説明する。ニューラルネ
ットワーク部1では入力信号に対して所望の出力が出力
されるように学習が行なわれる。換言すると、まずニュ
ーラルネットワーク部1の入力層−中間層間結合15及
び中間層−出力層間結合16の結合係数の初期化が行わ
れる。次に、このニューラルネットワーク部1に入力信
号が供給され、その結果出力信号が出力される。そし
て、この入力信号に対する理想的な出力である教師信号
との誤差が小さくなるように入力層−中間層結合15及
び中間層−出力層結合16の結合係数を変化させて、所
望の出力が得られるようにネットワークを自己組織化し
ていく。以上により学習が行われる。
【0027】図6は、階層型のニューラルネットワーク
におけるバックプロパゲーション学習法を数式を用いて
示したものである。図6における個々の記号の意味は次
のとおりである。 I;入力信号 O(k);第k層のニューロンモデルの出力 W(k);第k層と第k+1層間の結合係数 θ(k);第k層のニューロンモデルのオフセット T;教師信号 ηW;Wに対する学習定数 ηθ;θに対する学習定数 δ(k);第k−1層を修正するための誤差量 fi;恒等関数 fs;シグモイド関数 なお、入力信号I、第k層のニューロンモデルの出力O
(k)、第k層のニューロンモデルのオフセットθ
(k)、教師信号T、第k-1層を修正するための誤差量δ
(k)は1次元ベクトルで表されており、第k層と第k+1
層間の結合係数W(k)は2次元ベクトルで表されてい
る。また、本実施形態のニューラルネットワーク部1は
3層のものであり、fiに相当する部分が入力層であ
り、θ(2)を出力するfsに相当する部分が中間層であ
り、θ(3)を出力するfsに相当する部分が出力層とな
っている。
【0028】この学習アルゴリズムについて以下に説明
する。教師信号Tと出力層の出力O(3)との平均二乗
誤差Eは、
【0029】
【数4】
【0030】である。これが減少するように第k層と第k
+1層間の結合係数W(k)を修正量
【0031】
【数5】
【0032】によって修正する。ただし、Xj(k+1)は
k+1層j番目のニューロンモデルの入出力関数への入力で
ある。次式のようにδを定義すると、
【0033】
【数6】
【0034】中間層と出力層間の修正量を決めるδは、
【0035】
【数7】
【0036】である。よって、修正量は、
【0037】
【数8】
【0038】となる。また、入力層と出力層間の修正量
を決めるδは、
【0039】
【数9】
【0040】となり、修正量は、
【0041】
【数10】
【0042】となる。オフセットθ(k)についても同
様に求めることにより、図6に示すアルゴリズムとな
る。
【0043】なお、ここでは3層のニューラルネットワ
ークについて例を示したが、中間層の数を増やすことに
よって3層以上のニューラルネットワークが構成可能で
あり、その場合の学習アルゴリズムは誤差量δを逆伝播
させ、漸化的に修正量を求めて上記同様に算出すること
ができる。
【0044】上述のように学習されたニューラルネット
ワーク部1に対し、入力信号供給部2から評価するため
の入力信号が出力され、ニューラルネットワーク部1へ
供給される。また、教師信号供給部3からは、入力信号
に対して理想的な出力信号を示す教師信号を出力する。
そして、ニューラルネットワーク部1からの出力信号及
び教師信号を評価値算出部4へ供給する。ここで、入力
信号及び教師信号は、実際に計測されたデータでもよい
し、予め計測され記憶部に書き込まれたデータを読み出
したものでもよいし、記憶部に書き込まれたデータを処
理したデータを読み出したものでもよい。また、入力信
号および教師信号は、学習時に用いる信号をそのまま用
いてもよいし、さらに多いパターンを含んだ信号などの
学習時に用いた以外の信号でもよい。
【0045】また、ニューラルネットワーク部1に対し
て構造変更部6は、任意のニューロンを仮想的に除去し
たり、新たなニューロンを仮想的に追加する。これによ
り、構造の異なるニューラルネットワーク部1が複数構
成されることとなる。そして、この複数のニューラルネ
ットワークそれぞれの出力信号と教師信号を評価値算出
部4に入力して、それぞれに対応する評価値を算出する
と共に構造判定部5へ出力する。すなわち、構造変更部
6により仮想的に変更されたいくつかのニューラルネッ
トワーク部1の中から目的とする機能を獲得した構造の
ニューラルネットワークを選択するための評価値が算出
される。これは次式に示すように、学習時のニューラル
ネットワークの評価尺度である誤差Eの平均が評価値と
して算出される。
【0046】
【数11】
【0047】ただし、Noは全出力層の出力数、Npは全
パターン数を表す。なお、本実施形態では、評価値には
学習時に使用した誤差Eの定義である二乗誤差を用いた
が、この評価値はこれに限るものではなく出力信号と教
師信号を用いて算出される、例えば次式に示すような絶
対値誤差の平均値、あるいは標準偏差、さらには学習時
に使用する任意の評価関数を用いてもよい。
【0048】
【数12】
【0049】また、ホップフィールドネットワークやボ
ルツマンマシンに代表される図4に示した相互結合型の
ニューラルネットワークにおいては、エネルギー関数が
ニューラルネットワークの良さすなわち目的に対する一
致度を表す評価関数であり、これを評価値として用いる
ことにより、このようなニューラルネットワークの学習
アルゴリズムに対応可能である。
【0050】そして、評価値を入力した構造判定部5に
おいて、構造変更部6で仮想的に変更したニューラルネ
ットワークの評価値を個々に比較判定する。ここで、比
較判定について詳細に説明する。ニューラルネットワー
クは構造変更部6により仮想的にニューロンの除去ある
いは追加が行われ、構造を変更していく。そして、この
構造を変更したニューラルネットワークの評価値を評価
値算出部4で算出し、この評価値を構造判定部5に入力
する。構造判定部5では、所望の評価値を持つニューラ
ルネットワークを選び出す。評価値とは、ニューラルネ
ットワークの目的に対する達成度または未達成度を示す
ものであり、評価値が高いと達成度が高く、評価値が低
いと達成度が低いものである。また、所望の評価値と
は、ニューラルネットワークが目的とする必要な機能を
達成する評価値である。
【0051】例えば、構造判定部5では、ニューロンa
を仮想的に除去したときの評価値と、ニューロンbを仮
想的に除去したときの評価値を比較して、ニューロンa
を除去した方が評価値が高い場合には、ニューロンaを
除去したほうが目的に対する達成度が高いものが得られ
るため、ニューロンaを除去すると判定する。また、複
数のニューロンを同時に除去する場合においても同様
に、その中で評価値の高いニューロン群を除去すると判
定する。
【0052】また、このほかに構造判定部5では、必要
かつ最小限の構造を持つニューラルネットワークを判定
するように、必要な機能を決定する基準の評価値を設け
判定する。例えば、ニューロンa,bを共に除去したと
きの評価値とニューロンcを除去したときの評価値とを
比較して、両者とも設定した基準評価値以下とならない
がニューロンcを除去したときの評価値の方が高い場合
には、両者とも目的は達成されているがニューロンcを
除去するよりニューロンa,bを除去したほうが、構造
が単純かつ規模が小さくなることから、構造判定部5で
はニューロンa,bを除去すると判定する。つまり、こ
のような判定の場合、構造が単純かつ目的を達成した構
造のニューラルネットワークが得られる。このような構
造判定部5からの判定結果は、構造変更部6へ入力して
ニューラルネットワーク部1の構造を変更する。
【0053】次に、ニューラルネットワークの構造の変
更のうち、ニューロンの仮想的除去について図7により
説明する。符号25は仮想的な除去対象である所定のニ
ューロンである。所定のニューロン25と接続している
出力層側の結合の結合係数を0として、仮想的に切断す
ることにより、所定ニューロン25の出力信号が伝わら
なくなり、仮想的にニューロン25を除去した場合と同
じことになる。また、所定のニューロン25の出力を0
とすることによっても同様に行うことができる。 ニュ
ーロン間の結合除去を図2のニューロンの数値表現に従
い数式で示すと、次式のようになる。
【0054】
【数13】
【0055】上式は、所定のニューロンの入力側に結合
している全ての結合係数W=0とし、オフセットθ=0
としても成り立ち、仮想的な除去を行うことができるこ
とは明らかである。また、上式は入力信号I=0とし、
オフセットθ=0としても成り立ち、さらに入出力関数
fが恒等関数などのオフセット=0の関数の時は、W=
0またはI=0とすることにより、ニューロンの仮想的
な除去を行うことができる。ニューロンの仮想的除去に
おいて、任意のニューロン間の任意の結合だけを除去す
るときは、任意の結合を切断することで行われる。例え
ば、i番目のニューロンとj番目のニューロンの結合を
除去するときは、結合係数Wji=0にすることで行われ
る。
【0056】このようなニューラルネットワークの構造
最適化をフローチャートにより説明する。まず、ニュー
ラルネットワーク部1に対して仮想的にニューロンを除
去あるいは追加することで構造を変更し(ステップ3
1)、仮想的に変更したニューラルネットワーク部1の
出力を算出し(ステップ32)、この出力に対応した評
価値を算出し(ステップ33)、変更可能な全ての構造
のニューラルネットワーク部1に対応した評価値を全て
算出したかを判定する(ステップ34)。全ての構造に
対して評価値を算出していなければ、ステップ31へ戻
り、全ての評価値が算出していれば、これらの評価値の
中から最大の評価値の構造を判定し、この判定結果に対
応した構造のニューラルネットワークに変更する(ステ
ップ35)。つまり、目的の達成度が一番高い構造のニ
ューラルネットワークに変更する。また、ステップ35
を図9に示すように、ニューロン数が少ないなどの単純
かつ評価値が基準評価値を下回らない評価値の構造を判
定し、変更(ステップ35’)すれば、上述の方法に比
べてさらに構造の最適化となる。
【0057】以上のような構造最適化装置及び方法によ
れば、所望の構造への最適化、つまりニューラルネット
ワークの演算時間の短縮や学習速度の向上、汎化能力の
向上、入力情報の合理的選択、システムの同定を行うニ
ューラルネットワークの構築などを行うことができる。
【0058】次に、上述のニューラルネットワーク部1
に対して再学習を行う再学習部を備えた構造最適化装置
の実施形態を図10により説明する。本実施形態におい
て、同一の符号の説明は省略する。再学習部7は、構造
判定部5からの判定結果により構造を変更したニューラ
ルネットワークに対して再学習を行い、再度構造判定す
るものである。つまり、構造変更部6にて仮想的にニュ
ーラルネットワークの構造を変更し、評価値算出部4で
この変更した構造に対する評価値を算出し、構造判定部
5により最大の評価値である構造、あるいは構造が単純
かつ基準評価値を下回らない評価値の構造を判定し、構
造変更部6により所望の構造に変更する。そして、所望
の構造に変更されたニューラルネットワークは、再学習
部7にて再学習を行うと共に評価値を算出し、この評価
値を基準評価値を比較し、基準評価値より下回る場合
は、再度仮想的な変更するよう指示する。ここで、再学
習は上述に示した各種学習アルゴリズムを用いてもよ
い。また、再学習は最適化したニューラルネットワーク
の構造のみを生かし、結合係数を初期値にしてから再学
習してもよいし、結合係数を継続してもよい。
【0059】このような構造最適化をフローチャートで
説明する。まず、上述と同様にニューラルネットワーク
部1に対して仮想的にニューラルを除去あるいは追加す
ることで構造を変更し(ステップ31)、仮想的に変更
したニューラルネットワーク部1の出力を算出し(ステ
ップ32)、この出力に対応した評価値を算出し(ステ
ップ33)、変更可能な構造のニューラルネットワーク
部1に対応した評価値を全て算出したかを判定する(ス
テップ34)。全ての構造に対して評価値を算出してい
なければ、ステップ31へ戻り、全ての評価値が算出し
ていれば、これらの評価値の中から最大の評価値の構造
あるいは構造が単純かつ基準評価値を下回らない評価値
の構造を判定し、この判定結果に対応した構造のニュー
ラルネットワークに変更する(ステップ35”)。そし
て、変更したニューラルネットワークに対して再学習を
行い(ステップ36)、再学習したニューラルネットワ
ークの評価値が基準評価値より下回るかを判定する(ス
テップ37)。基準評価値より下回る場合、再度ステッ
プ31から繰り返す。
【0060】以上のような構造最適化装置及び方法によ
れば、ニューラルネットワークの演算時間の短縮や学習
速度の向上、汎化能力の向上、入力情報の合理的選択、
システムの同定を行うニューラルネットワークの構築な
どを行うことができるると共に、さらに目的とする機能
の向上を図ることができる。
【0061】このほかに、図12に示すようにニューロ
ンを1個ずつ除去あるいは結合を除去し、1個除去した
ニューラルネットワークの中から評価値が最大の構造に
変更し(ステップ41〜ステップ45)、変更したニュ
ーラルネットワークを再学習し(ステップ46)、この
ニューラルネットワークの評価値と基準評価値とを比較
して(ステップ47)、評価値の方が高い、つまり基準
評価値を下回らない場合はステップ41へ戻り、評価値
の方が低い、基準評価値を下回る場合は構造をステップ
45で変更する前の状態に戻して(ステップ48)処理
を終了する。これは、例えば仮想的な変更がニューロン
を1個ずつ除去するような場合では、ニューロンを1個
除去したニューラルネットワークにおける最大評価値が
基準評価値より高ければ、他に除去してもよいニューロ
ンがあるので、再度仮想的変更を行う。次の仮想的変更
では既に1個除去している状態であり、この状態からさ
らに1個除去したつまり合計2個除去したニューラルネ
ットワークに仮想的に変更して最大の評価値を算出し
て、基準評価値と比較する。評価値が基準評価値より下
回らなければこれを繰り返し、下回れば2個のニューロ
ンを除去したものの中で一番高い評価値が基準評価値を
下回ったということから、ニューロンの除去は2個でき
ないと判定し、再び1個除去の状態に戻し、処理を終了
させる。また、ステップ48のあとに再学習を行うよう
にすれば、さらに機能向上が図れる。以上のような方法
でも、構造を最適化することができる。また、評価値が
基準評価値を下回った時を終了としたが、除去するニュ
ーロン数が所定のニューロン数を越えた時を終了とする
など、別の終了条件を用いてもよい。
【0062】ここで、再学習部7では、再学習を行うほ
かに評価値の算出及び比較判定を行うものとしている
が、評価値算出部4により評価値を算出し、構造判定部
により比較判定を行えることは言うまでもない。また、
上述の構造最適化は、入力層や中間層といった意味づけ
を持ったニューロンの集団ごとに行ってもよい。
【0063】また、ニューラルネットワークの構造の変
更は、様々な構造の変更が存在する中で、その例とし
て、ニューロンの構成を変更して最適化する例について
説明したが、ニューロンとニューロンの結合を最適化す
ることもできる。すなわち、構造判定部5は、評価値算
出部4の評価値を入力し、この評価値に基づいて除去あ
るいは追加するニューロン間の結合を判定するものとな
る。構造変更部6は、ニューラルネットワーク部1のニ
ューロン間を結合している任意の結合を仮想的に切断あ
るいは任意の結合を追加し、構造判定部5からの判定結
果に基づいてニューラルネットワーク部1のニューロン
間の結合を切断あるいは任意のニューロンとの結合を行
うものとなる。これによれば、ニューロンとニューロン
の結合単位にニューラルネットワークの最適化を行うこ
とにより、きめ細かな最適化を実現できる。
【0064】
【発明の効果】本発明は任意の構造のニューラルネット
ワークに関する評価値を算出し、この評価値からニュー
ラルネットワークの構造を変更することにより、目的に
一致した構造の最適化、つまりニューラルネットワーク
の演算時間の短縮や学習速度の向上、汎化能力の向上、
入力情報の合理的選択あるいはシステムの同定を行うニ
ューラルネットの構築などを行うことができる。また、
仮想的にニューラルネットワークの構造を変更させ、仮
想的に変更したそれぞれの構造に対応した評価値を算出
し、これらの評価値から所望の構造に変更することによ
っても、上述と同様の効果を得ることができる。さら
に、所望の構造に変更したあと、再学習をさせること
で、上述の効果を得ることができると共に、目的の機能
の向上を図ることができる。
【図面の簡単な説明】
【図1】本発明の第一の実施形態を示すブロック図
【図2】ニューラルネットワークを構成するニューロン
を示す説明図
【図3】階層型ニューラルネットワークを示す図
【図4】相互結合型ニューラルネットワークを示す図
【図5】フィードバック結合を含むリカレントニューラ
ルネットワークを示す図
【図6】バックプロパゲーション学習法を示す図
【図7】仮想的なニューロンの除去を示す図
【図8】本発明の第一の実施形態におけるフローチャー
トを示す図
【図9】本発明の第一の実施形態におけるフローチャー
トを示す図
【図10】本発明の第二の実施形態を示すブロック図
【図11】本発明の第二の実施形態におけるフローチャ
ートを示す図
【図12】本発明の第三の実施形態におけるフローチャ
ートを示す図
【符号の説明】
1 ニューラルネットワーク部 2 入力信号供給部 3 教師信号供給部 4 評価値算出部 5 構造判定部 6 構造変更部 11 ニューロン 12 ニューロンへの入力 13 結合係数 14 ニューロンの出力 15 入力層−中間層間結合 16 中間層−出力層間結合 25 所定のニューロン

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】少なくとも2つ以上のニューロンが結合さ
    れた構造のニューラルネットワークを持つニューラルネ
    ットワーク部と、該ニューラルネットワーク部に対して
    入力信号を供給する入力信号供給部と、教師信号を供給
    する教師信号供給部と、前記ニューラルネットワーク部
    の出力信号と前記教師信号とにより評価値を算出する評
    価値算出部と、この評価値を比較しニューラルネットワ
    ークを所望の構造に変更するよう判定する構造判定部
    と、前記ニューラルネットワーク部に対し構造変更を行
    う構造変更部とを有することを特徴とするニューラルネ
    ットワーク構造最適化装置。
  2. 【請求項2】上記所望の構造に変更したニューラルネッ
    トワーク部に対して再学習をさせる再学習部を備えた請
    求項1に記載のニューラルネットワーク構造最適化装
    置。
  3. 【請求項3】上記構造変更部は仮想的にニューラルネッ
    トワークの構造を変更させ、仮想的に変更したそれぞれ
    のニューラルネットワークに対応する評価値の判定結果
    に基づいてニューラルネットワークの構造を変更するこ
    とを特徴とする請求項1及び2に記載のニューラルネッ
    トワーク構造最適化装置。
  4. 【請求項4】上記ニューラルネットワーク部は、階層型
    のニューラルネットワークで構成されていることを特徴
    とする請求項1及び2に記載のニューラルネットワーク
    構造最適化装置。
  5. 【請求項5】上記の評価値算出部の評価値は、ニューラ
    ルネットワークの学習時に使用する評価関数に基づいて
    算出することを特徴とする請求項1及び2に記載のニュ
    ーラルネットワーク構造最適化装置。
  6. 【請求項6】仮想的なニューラルネットワークの構造変
    更は、任意のニューロンを除去あるいは追加することに
    より行うことを特徴とする請求項3に記載のニューラル
    ネットワーク構造最適化装置。
  7. 【請求項7】仮想的なニューラルネットワークの構造変
    更は、任意のニューロン間の任意の結合を除去あるいは
    追加することにより行うことを特徴とする請求項3に記
    載のニューラルネットワーク構造最適化装置。
  8. 【請求項8】少なくとも2つ以上のニューロンが結合さ
    れたニューラルネットワークの構造を仮想的に変更し、
    構造の異なるそれぞれのニューラルネットワークに対応
    した評価値を算出し、それぞれの評価値を比較判定し、
    この判定結果に基づいて所望の構造のニューラルネット
    ワークに変更して最適化を行うことを特徴とするニュー
    ラルネットワーク構造最適化方法。
  9. 【請求項9】上記評価値に基づいて所望の構造のニュー
    ラルネットワークに変更したあとに、ニューラルネット
    ワークの再学習を行い最適化を行うことを特徴とする請
    求項8に記載のニューラルネットワーク構造最適化方
    法。
JP7266386A 1995-09-20 1995-09-20 ニューラルネットワーク構造最適化装置ならびに方法 Pending JPH0991263A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7266386A JPH0991263A (ja) 1995-09-20 1995-09-20 ニューラルネットワーク構造最適化装置ならびに方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7266386A JPH0991263A (ja) 1995-09-20 1995-09-20 ニューラルネットワーク構造最適化装置ならびに方法

Publications (1)

Publication Number Publication Date
JPH0991263A true JPH0991263A (ja) 1997-04-04

Family

ID=17430222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7266386A Pending JPH0991263A (ja) 1995-09-20 1995-09-20 ニューラルネットワーク構造最適化装置ならびに方法

Country Status (1)

Country Link
JP (1) JPH0991263A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226544B1 (en) 1997-06-13 2001-05-01 Nec Corporation Living body internal active source estimation apparatus
WO2007135723A1 (ja) * 2006-05-22 2007-11-29 Fujitsu Limited ニューラルネットワーク学習装置、方法、及びプログラム
KR20160117537A (ko) 2014-02-10 2016-10-10 미쓰비시덴키 가부시키가이샤 계층형 뉴럴 네트워크 장치, 판별기 학습 방법 및 판별 방법
JP2018014060A (ja) * 2016-07-22 2018-01-25 ファナック株式会社 機械学習モデル構築装置、数値制御装置、機械学習モデル構築方法、機械学習モデル構築プログラム、及び記録媒体
JP2019200743A (ja) * 2018-05-18 2019-11-21 ヤフー株式会社 生成装置、生成方法、生成プログラムおよびプログラムパラメータ
US10915812B2 (en) 2016-11-09 2021-02-09 Samsung Electronics Co., Ltd. Method and system of managing computing paths in an artificial neural network
JP2021022050A (ja) * 2019-07-25 2021-02-18 国立大学法人 和歌山大学 ニューラルネットワークの圧縮方法、ニューラルネットワーク圧縮装置、コンピュータプログラム、及び圧縮されたニューラルネットワークデータの製造方法
JP2021157379A (ja) * 2020-03-26 2021-10-07 株式会社デンソー 情報処理装置、重要ノード特定方法、及び重要ノード特定プログラム
JP2022523666A (ja) * 2019-01-23 2022-04-26 グーグル エルエルシー ニューラルネットワークのための複合モデルスケーリング
US11341398B2 (en) 2016-10-03 2022-05-24 Hitachi, Ltd. Recognition apparatus and learning system using neural networks
US11599791B2 (en) 2017-11-22 2023-03-07 Nec Solution Innovators, Ltd. Learning device and learning method, recognition device and recognition method, program, and storage medium

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226544B1 (en) 1997-06-13 2001-05-01 Nec Corporation Living body internal active source estimation apparatus
WO2007135723A1 (ja) * 2006-05-22 2007-11-29 Fujitsu Limited ニューラルネットワーク学習装置、方法、及びプログラム
JPWO2007135723A1 (ja) * 2006-05-22 2009-09-24 富士通株式会社 ニューラルネットワーク学習装置、方法、及びプログラム
US7895140B2 (en) 2006-05-22 2011-02-22 Fujitsu Limited Neural network learning device, method, and program
US10796223B2 (en) 2014-02-10 2020-10-06 Mitsubishi Electric Corporation Hierarchical neural network apparatus, classifier learning method and discriminating method
KR20160117537A (ko) 2014-02-10 2016-10-10 미쓰비시덴키 가부시키가이샤 계층형 뉴럴 네트워크 장치, 판별기 학습 방법 및 판별 방법
JP2018014060A (ja) * 2016-07-22 2018-01-25 ファナック株式会社 機械学習モデル構築装置、数値制御装置、機械学習モデル構築方法、機械学習モデル構築プログラム、及び記録媒体
US10649416B2 (en) 2016-07-22 2020-05-12 Fanuc Corporation Machine learning model construction device, numerical control, machine learning model construction method, and non-transitory computer readable medium encoded with a machine learning model construction program
US11341398B2 (en) 2016-10-03 2022-05-24 Hitachi, Ltd. Recognition apparatus and learning system using neural networks
US10915812B2 (en) 2016-11-09 2021-02-09 Samsung Electronics Co., Ltd. Method and system of managing computing paths in an artificial neural network
US11599791B2 (en) 2017-11-22 2023-03-07 Nec Solution Innovators, Ltd. Learning device and learning method, recognition device and recognition method, program, and storage medium
JP2019200743A (ja) * 2018-05-18 2019-11-21 ヤフー株式会社 生成装置、生成方法、生成プログラムおよびプログラムパラメータ
JP2022523666A (ja) * 2019-01-23 2022-04-26 グーグル エルエルシー ニューラルネットワークのための複合モデルスケーリング
US11893491B2 (en) 2019-01-23 2024-02-06 Google Llc Compound model scaling for neural networks
JP2021022050A (ja) * 2019-07-25 2021-02-18 国立大学法人 和歌山大学 ニューラルネットワークの圧縮方法、ニューラルネットワーク圧縮装置、コンピュータプログラム、及び圧縮されたニューラルネットワークデータの製造方法
JP2021157379A (ja) * 2020-03-26 2021-10-07 株式会社デンソー 情報処理装置、重要ノード特定方法、及び重要ノード特定プログラム

Similar Documents

Publication Publication Date Title
Nowlan Maximum likelihood competitive learning
Lu et al. Generalized radial basis function neural network based on an improved dynamic particle swarm optimization and AdaBoost algorithm
US5107454A (en) Pattern associative memory system
Pal Soft computing for feature analysis
Montana Neural network weight selection using genetic algorithms
CA2353992A1 (en) Robust modeling
JPH0991263A (ja) ニューラルネットワーク構造最適化装置ならびに方法
JP2003228706A (ja) データ分類装置
Kim et al. Uncertain reasoning and learning for feature grouping
US5317675A (en) Neural network pattern recognition learning method
US6505181B1 (en) Recognition system
JPH09204310A (ja) 判断規則修正装置と判断規則修正方法
Kuo et al. Generalized part family formation through fuzzy self-organizing feature map neural network
JP3935211B2 (ja) 低減縮小されたニューラルネットワーク
JPH0991264A (ja) ニューラルネットワーク構造最適化装置ならびに方法
JPH05225163A (ja) ニューラルネットシステムおよびニューラルネットの学習方法
CN115238874A (zh) 一种量化因子的搜索方法、装置、计算机设备及存储介质
Kuo et al. Part family formation through fuzzy ART2 neural network
Koivisto A practical approach to model based neural network control
JP2000172662A (ja) ニューラルネットワークの学習方法
Hurtado et al. Reliability assessment of structural systems using neural networks
Venkatesh et al. A novel SOM-based approach for active contour modeling
JP3287738B2 (ja) 関係関数探索装置
JP4267726B2 (ja) 制御装置における動作信号と操作量との関係を決定する装置、制御装置、データ生成装置、入出力特性決定装置及び相関関係評価装置
JP4258268B2 (ja) 多層ニューラルネットワーク学習方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050822

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060105