JPH10134018A

JPH10134018A - 法則発見方法と装置及び法則発見プログラムを格納した記憶媒体、及びニューラルネット学習方法と装置及びニューラルネット学習プログラムを格納した記憶媒体

Info

Publication number: JPH10134018A
Application number: JP9180026A
Authority: JP
Inventors: Kazumi Saito; 和巳斉藤; Ryohei Nakano; 良平中野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1996-07-08
Filing date: 1997-07-04
Publication date: 1998-05-22

Abstract

(57)【要約】【課題】指数部が整数に制限されない一般多項式型法
則を発見することが可能な法則発見方法と装置及び法則
発見プログラムを格納した記憶媒体と、誤差が効率よく
減少し、問題の規模がある程度大きい場合でも現実的な
時間内で学習結果の取得可能なニューラルネットの学習
方法及び装置及びニューラルネットの学習プログラムを
格納した記憶媒体を提供することを目的とする。【解決手段】本発明は、物理数法則を表現し得る学習
目的関数式を設定し、物理数法則を表現し得る学習目的
関数式に対するデータベクトルの誤差の二乗和を最小化
するように学習させ、出力層から学習後の係数及び指数
が調整された学習目的関数式を物理数法則を満たす一般
多項式として取得する。さらに、結合重みの自乗和を正
規化係数倍した項を付加して学習目的関数を設定し、２
次学習法を用いてニューラルネットの学習を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、法則の発見方法と
装置及び法則発見プログラムを格納した記憶媒体に係
り、特に、観測データ（事例）より、そのデータが満た
す法則（numeric law)を自動的に求めるもので、研究者
や技術者等が関わる様々な現象を説明する法則を発見す
るための法則発見方法と装置及び法則発見プログラムを
格納した記憶媒体及び、ニューラルネット学習方法及び
装置及びニューラルネット学習プログラムを格納した記
憶媒体に関する。

【０００２】例えば、金属の電気伝導度σ、入射光の周
波数νおよび、金属の光の反射率Ｒに関するサンプルデ
ータから、ハーゲン−ルーベンスの法則Ｒ＝１−２（σ
／ν）^1/2を帰納的に発見しようとする場合に利用でき
る法則発見方法と装置及び法則発見プログラムを格納し
た記憶媒体に関する。また、本発明は、ニューラルネッ
トの学習方法及び装置及びニューラルネットの学習プロ
グラムを格納した記憶媒体に係り、特に、音声処理、画
像処理、または、運動制御等の広い分野において必要と
なる関数近似問題において、訓練事例だけでなく、未知
の事例に対しても信頼性の高い出力を可能とする（高い
汎化能力を有する）ニューラルネットの学習を高速に実
行するための正規化項を用いたニューラルネットの学習
方法及び装置及びニューラルネットの学習プログラムを
格納した記憶媒体に関する。

【０００３】

【従来の技術】データから法則を発見する代表的なシス
テムには、ＢＡＣＯＮ［P. Langley,H.A. Simon,G.Brad
shaw and J. Zytkow: "Scientific discovery: computa
tional explorations of the creative process" MIT P
ress （1987）］がある。表１にＢＡＣＯＮによるケプ
ラーの第３法則の発見過程を示す。

【０００４】

【表１】

【０００５】但し、ケプラーの法則は太陽との距離γと
惑星の公転周期Ｔの関係Ｔ＝０．４１γ^3/2である。１：γの値が大きくなれば、Ｔの値も大きくなるので、
γ／Ｔを計算する。２：γ／Ｔの値が一定であるか調べる。３：γの値が大きくなれば、γ／Ｔの値は小さくなるの
で、γ²／Ｔを計算する。

【０００６】４：γ²／Ｔの値が一定であるか調べる。５：γ／Ｔの値が小さくなれば、γ²／Ｔの値は大きく
なるので、γ³／Ｔ²を計算する。６：γ²／Ｔ³の値がほぼ一定になるので、入力データ
を満たす法則が発見できる。

【０００７】すなわち、ＢＡＣＯＮでは、乗算、除算、
または、予め定義した関数を用いて、２つの既存変数を
組み合わせ、新たな変数を再帰的に生成し、法則を探索
する。ＢＡＣＯＮでの先駆的な研究の後、いくつかの改
良法が提案されているが、これらの基本的な探索戦略は
ほとんど同じであり、所定の尺度で変数を組み合わせ、
ヒューリスティックスを加えた深さ優先探索を行うＦＡ
ＨＲＥＮＨＥＩＴ、proportinal graph を生成し、ビー
ム探索を行うＡＢＡＣＵＳ、相関分析が適用され、ビー
ム探索を行うＩＤＳ、２変数の法則のみを対象とするＥ
^*アルゴリズム、回帰を行ない、自乗誤差と変数値の自
乗についての相関を用いて変数を組み合わせるSutton-M
atheusアルゴリズム等がある。

【０００８】また、ニューラルネットの学習法には、最
急降下（steepest descent) 法に基づくバックプロパゲ
ーション（ＢＰ）アルゴリズム（D.E. Rumelhart, J.L.
McClellandnd: "Parallel distributed processing",
MIT Press (1986) ) がある。この方法は、目標出力値
とニューラルネットの出力値の自乗誤差を局小化する結
合重みの探索を行う方法である。

【０００９】一方、ニューラルネットの学習結果の汎化
能力を向上させるためには、正規化項を用いる方法（C.
M. Bishop: "Neural networks for pattern recognitio
n",Clarendon Press (1955)) があり、その正規化係数
を決定するには、交差検証法（M. Stone:"Cross-valida
tion: A review", Operationsforsch, Statist, Ser.St
atistics B9(1):111-147 (1978)) が用いられている。
この方法は、未知の事例に対して、ニューラルネットが
望ましい値を出力するか評価を行う方法である。

【００１０】

【発明が解決しようとする課題】しかしながら、これら
の既存法には、以下の問題点がある。第１に、２つの変
数を順番に組み合わせて新たな変数を作るので、多くの
変数からなるデータにおいて複雑な法則を探索すれば、
容易に組合せ爆発が起き、また、探索パラメータが適切
でなければ、望ましい法則を発見できないことが予想さ
れる。

【００１１】第２に、法則に現れる指数の値が整数では
ないとき、適当な関数を予め定義しなければ、法則の発
見は困難になる。しかし、多くの場合、事前知識はな
い。第３に、現実の観測データは確実にノイズを含む
が、既存法は比較的ノイズに弱いことが指摘されてい
る。ニューラルネットを用いるアプローチは上記の問題
点解決に有望である。指数の値が整数に制限されない一
般化した多項式の各項を直接学習するには、入力値の重
み付け和の代りに、入力値を結合重みで累乗した値の積
を計算するプロダクト・ユニットと呼ばれる計算ユニッ
トが提案されている。これらの学習には、ＢＰ（バック
プロパゲーション）アルゴリズムが用いられている。し
かし、ＢＰでは、例えば、慣性項(momentum term) を導
入しても、収束までには、一般に多くの反復回数が必要
となり、さらに、性能に直結する学習定数(learning ra
te) などのパラメータは、ユーザが試行錯誤により決定
しなければならない。

【００１２】これに対して、いくつかの学習アルゴリズ
ムを組合せる方法等が提案さているが、ＢＰアルゴリズ
ムと比較してそれらの有効性はあまり顕著ではない。ま
た、既存法では、２値データのみを扱っているため、法
則の発見における問題を解消しているとは言えない。こ
れらの課題の解決に向けて、各反復で誤差が増加しない
範囲で近似的に学習定数の最大化を行う学習定数最大化
法等がある。

【００１３】また、改良アルゴリムの提案には、各結合
重みに対して異なる学習定数を与え、その学習定数群を
過去の勾配レベル値に基づいて調整する方法がある。さ
らに、Levenbrg-Marquardt法、準ニュートン法、共役勾
配法等の非線型最適化手法を単純に適用する方法に基づ
く２次学習アルゴリズム等が提案されている。

【００１４】これらのアプローチの中では、理論的に優
れた収束性が保証されるので、２次学習アルゴリズムが
有望であるが、現時点では、解決すべき以下の２つの課
題がある。第１は、大規模問題への適用性である。即
ち、Levenberg-Marquardt 法や準ニュートン(quasi-New
ton)法では、問題規模が大きくなれば、適用が困難にな
る。即ち、Levenberg-Marquardt 法に基づくアルゴリズ
ムでは、各反復において探索方向を求めるのに、Ο（Ｎ
²ｍ）の計算量が必要となるので、数百の結合重みから
なるネットワークでも、一般に収束までには、多くの計
算量が必要となる。但し、Ｎは、結合重みの総数、ｍは
事例数を表す。

【００１５】また、標準的な準ニュートン法に基づくア
ルゴリズムでは、探索方向を求めるのに、Ｎ²の記憶容
量が必要となるので、Ｎが数千以上のネットワークでは
実用的でない。第２は、最適探索幅計算の処理負荷が問
題となる。適切な探索幅(step-length) を求める直線探
索(line search) は、準ニュートン法や共役勾配(conju
gate gradient)法に基づく学習アルゴリズムにおいて不
可欠であり、不正解な直線探索では望ましい性能を得ら
れないので、ある程度正確な直線探索を実行しなければ
ならず、結果として多くの計算量が必要となる。なお、
厳密な直線探索には、最小値を求めるために多くの反復
が必要となり、この反復処理が計算量を増大させる。と
ころが、共役勾配法に基づくアルゴリズムで優れた収束
性を実現するには、かなり正確な直線探索が必要であ
り、よって、この種のアルゴリズムの効率を改善するの
は実際には困難である。

【００１６】さらに、上記従来のニューラルネットの学
習方法は、上記の最急降下法と交差検証法を用いた正規
化項を用いる方法を単純に組み合わせても、望ましい学
習結果を効率よく得ることは困難である。即ち、単純な
最急降下法であるＢＰ法では、探索幅を定数（学習定
数）とするので、収束の保証がなく、一般に誤差の減少
が不安定となる。また、最終段階では、探索方向が極小
値に向けてジグザクになる傾向が強く、誤差が効率良く
減少しないことが多い。

【００１７】さらに、交差検証法による正規化係数の決
定には、多くのニューラルネットの学習が必要であり、
問題の規模がある程度大きくなれば、ＢＰ法では、現実
的な計算時間で結果を得ることは困難になる。本発明
は、上記の点に鑑みなされたもので、法則発見のための
場当たり的な変数組み合せ規則が不要となり、観測デー
タにノイズが含まれる場合であっても、指数部が整数に
制限されない一般多項式型法則を効率良く発見すること
が可能なニューラルネットを用いた法則発見方法と装置
及び法則発見プログラムを格納した記憶媒体を提供する
ことを第１の目的とする。

【００１８】本発明の第２の目的は、ニューラルネット
の学習を行う場合に、誤差が効率よく減少すると共に、
問題の規模がある程度大きくなった場合でも現実的な時
間内で学習結果を取得することが可能なニューラルネッ
トの学習方法及び装置及びニューラルネットの学習プロ
グラムを格納した記憶媒体を提供することである。

【００１９】

【課題を解決するための手段】図１は、本発明の原理を
説明するための図である。本発明は、複数組の測定され
たデータベクトルにおいて、該データベクトルの任意の
１つの属性を基準変数、残りの属性群を説明変数群と
し、説明変数値ベクトルから基準変数値を計算可能とす
る法則を、指数値が整数に制限されない一般多項式とし
て取得する法則の発見方法において、法則発見をニュー
ラルネットワークの学習問題として定式化することによ
り学習目的関数式を設定し（ステップ１）、準ニュート
ン法に基づいて、該準ニュートン法の探索方向をユーザ
が定義する局部性パラメータに比例した記憶容量で計算
し、該準ニュートン法の探索幅を、該探索幅に対する勾
配と、曲率からなる学習目的関数の２次近似式の最小点
として求めることを繰り返すことにより、ニューラルネ
ットワークの学習を行い（ステップ２）、学習完了後の
ニューラルネットでの入力層及び中間層間の各結合重み
を指数値とし、該中間層及び出力層間の各結合重みを係
数値とする一般多項式の形で、法則を取得する（ステッ
プ３）。

【００２０】また、本発明は、ニューラルネットワーク
に学習を行わせる際に（ステップ２）法則を表現し得る
説明変数の個数と等しい数の入力ユニットからなる入力
層、一般多項式の項数と等しい数の中間ユニットからな
る中間層及び、基準変数に対応する一つの出力ユニット
からなる出力層の３層を有し、該中間層の各ユニットの
活性化関数が指数関数であるニューラルネットワークに
対して、説明変数値ベクトルの各値を、入力層の各ユニ
ット値として入力し、入力ユニット値群の各データに対
し、入力層及び中間層間の結合重みで重み付けして、合
計した値に対して、指数関数を施した値を、中間層の各
中間ユニットの値として計算し、該中間ユニット値群の
各データに対し、中間層及び出力層間の結合重みで重み
付けして合計した値を、出力層の出力ユニット値として
計算し、法則による基準変数の計算値に対応するニュー
ラルネットワークの出力層の出力ユニット値と、実際の
データの基準変数値の誤差を各データについて求め、そ
の二乗和（以下、法則誤差と記す）を最小化するよう
に、入力層及び中間層の結合重みと中間層及び出力層間
の結合重みを調整することにより、ニューラルネットワ
ークを学習させる。

【００２１】また、本発明は、学習目的関数を設定する
際に、ニューラルネットワークの中間層のユニット数の
初期値と、最大値を決定する。また、本発明は、法則を
取得する際に、所定の評価尺度を用いて学習結果である
一般多項式の選択を行う。また、本発明は、一般多項式
を得る場合に、中間層のユニット数を変化させた時の、
ニューラルネットワークの学習による複数の学習結果を
取得し、複数の学習結果のうち、法則誤差と、ニューラ
ルネットワークの複雑さをトレードオフする評価関数の
値が最小となる各係数と各指数（結合重み）を有したニ
ューラルネットを、法則を表す多項式として採用する。

【００２２】また、本発明は、評価尺度として、ＭＤＬ
（Minimum Description Length）基準を用いる。図２
は、本発明の原理構成図である。本発明は、複数組の測
定されたデータベクトルにおいて、該データベクトルの
任意の１つの属性を基準変数、残りの属性群を説明変数
群とし、説明変数値ベクトルから基準変数値を計算可能
とする法則を、指数値が整数に制限されない一般多項式
として取得する法則の発見装置において、ニューラルネ
ットワーク４０の学習問題として、法則発見を定式化し
て学習目的関数式として設定する目的関数設定手段と、
準ニュートン法に基づいて、該準ニュートン法の探索方
向をユーザが定義する局部性パラメータに比例した記憶
容量で計算し、該準ニュートン法の探索幅を、該探索幅
に対する勾配と、曲率からなる学習目的関数の２次近似
式の最小点として求めることを繰り返すことによりニュ
ーラルネットワーク４０の学習を行う学習手段２０と、
学習完了後のニューラルネット４０での入力層及び中間
層間の各結合重みを指数値とし、中間層及び出力層間の
各結合重みを係数値とする一般多項式の形で、法則を取
得する法則取得手段５０とを有する。

【００２３】また、本発明は、学習手段２０に対して、
説明変数値ベクトルの値を、入力層の各ユニット値とし
て入力し、入力ユニット値群の各データに対し、入力層
及び中間層間の結合重みで重み付けして、合計した値に
対して、指数関数を施した値を、中間層の各中間ユニッ
トの値として計算し、該中間ユニット値群の各データに
対し、中間層及び出力層間の結合重みで重み付けして合
計した値を、出力層の出力ユニット値として計算する学
習制御手段を含む。

【００２４】また、上記の学習手段２０は、結合重みの
修正方向として、準ニュートン法の探索方向を、ユーザ
により定義された局部性のパラメータに比例した記憶容
量で計算する探索方向計算手段と、結合重みの修正幅と
して、準ニュートン法の探索幅を、該探索幅に対する勾
配と曲率から求める探索幅計算手段と、結合重みを更新
する結合重み更新手段とを含む。

【００２５】また、上記の探索方向計算手段は、記憶容
量が２Ｎｓ（ｓ≪Ｎ）（但し、Ｎ＝法則の定数項、全係
数、全指数の値からなるベクトルΦの次元（パラメータ
数）、ｓ＝ユーザから入力される局部性パラメータ）と
なる小記憶ＢＦＧＳ法を用いる。また、上記の探索幅計
算手段は、勾配を一次微分より求め、曲率を二次微分に
より求める手段を含む。

【００２６】また、上記の法則取得手段５０は、評価尺
度の値が最小となる各係数と各指数を有したニューラル
ネットを選択する学習結果選択手段を含む。また、上記
の学習結果選択手段は、評価尺度として、ＭＤＬ（Mini
mum Description Length）基準を用いる。また、本発明
は、少なくとも、学習手段２０によるニューラルネット
ワーク４０の中間出力結果、及び選択された学習結果、
学習目的関数設定手段１０により設定された学習目的関
数式、各手段を動作させるためのプログラムを格納する
記憶手段３０を更に有する。

【００２７】また、本発明は、複数組の測定されたデー
タベクトルにおいて、該データベクトルの任意の１つの
属性を基準変数、残りの属性群を説明変数群とし、説明
変数値ベクトルから基準変数値を計算可能とする法則
を、指数値が整数に制限されない一般多項式として取得
する法則発見プログラムを格納した記憶媒体であって、
法則発見をニューラルネットワークの学習問題として定
式化することにより学習目的関数式を設定する定式化プ
ロセスと、準ニュートン法に基づいて、該準ニュートン
法の探索方向をユーザが定義する局部性パラメータに比
例した記憶容量で計算し、該準ニュートン法の探索幅
を、該探索幅に対する勾配と、曲率からなる学習目的関
数の２次近似式の最小点として求めることを繰り返すこ
とにより、ニューラルネットワークの学習を行う学習プ
ロセスと、学習完了後のニューラルネットでの入力層及
び中間層間の各結合重みを指数値とし、該中間層及び出
力層間の各結合重みを係数値とする一般多項式の形で、
法則を取得する法則取得プロセスとを有する。

【００２８】また、上記の学習プロセスは、ニューラル
ネットワークに学習を行わせる際に、法則を表現し得る
説明変数の個数と等しい数の入力ユニットからなる入力
層、一般多項式の項数と等しい数の中間ユニットからな
る中間層及び、基準変数に対応する一つの出力ユニット
からなる出力層の３層を有し、該中間層の各ユニットの
活性化関数が指数関数であるニューラルネットワークに
対して、説明変数値ベクトルの各値を、入力層の各ユニ
ット値として入力させる入力プロセスと、入力ユニット
値群の各データに対し、入力層及び中間層間の結合重み
で重み付けして、合計した値に対して、指数関数を施し
た値を、中間層の各中間ユニットの値として計算し、該
中間ユニット値群の各データに対し、中間層及び出力層
間の結合重みで重み付けして合計した値を、出力層の出
力ユニット値として計算する出力ユニット計算プロセス
と、法則による基準変数の計算値に対応するニューラル
ネットワークの出力層の出力ユニット値と、実際のデー
タの基準変数値の誤差を各データについて求め、その二
乗和（以下、法則誤差と記す）を最小化するように、入
力層及び中間層の結合重みと中間層及び出力層間の結合
重みを調整することにより、ニューラルネットワークを
学習させる重み調整プロセスとを含む。

【００２９】また、上記の定式化プロセスは、学習目的
関数を設定する際に、ニューラルネットワークの中間層
のユニット数の初期値と、最大値を決定するプロセスを
含む。また、上記の法則取得プロセスは、法則を取得す
る際に、所定の評価尺度を用いて学習結果である一般多
項式の選択を行う多項式選択プロセスを含む。

【００３０】また、上記の多項式選択プロセスは、一般
多項式を得る場合に、中間層のユニット数を変化させた
時の、ニューラルネットワークの学習による複数の学習
結果を取得し、複数の学習結果のうち、法則誤差と、ニ
ューラルネットワークの複雑さをトレードオフする評価
関数の値が最小となる各係数と各指数（結合重み）を有
したニューラルネットを、法則を表す多項式として採用
するプロセスを含む。

【００３１】また、上記の多項式選択プロセスは、評価
尺度として、ＭＤＬ（Minimum Description Length）基
準を用いる。また、本発明の法則発見プログラムを格納
した記憶媒体は、準ニュートン法に基づいて、該準ニュ
ートン法の探索方向をユーザが定義する局部性パラメー
タに比例した記憶容量で計算し、該準ニュートン法の探
索幅を、該探索幅に対する勾配と、曲率からなる学習目
的関数の２次近似式の最小点として求めることを繰り返
すことによりニューラルネットワークの学習を行う学習
プロセスと、学習プロセスの完了後のニューラルネット
での入力層及び中間層間の各結合重みを指数値とし、該
中間層及び出力層間の各結合重みを係数値とする一般多
項式の形で、法則を取得する法則取得プロセスと、法則
取得プロセスにより呼び出される、評価尺度として、Ｍ
ＤＬ基準を用いる学習結果選択プロセスと、測定された
データベクトルを表現するデータの入力を促す第１の入
力プロセスと、学習プロセスに用いる学習目的関数での
中間ユニット数（項数）の初期値と最大値の入力を促す
第２の入力プロセスと、学習プロセスに用いる局部性パ
ラメータの入力を促す第３の入力プロセスと、法則取得
プロセスにより取得して法則を出力する出力プロセスか
らなる。

【００３２】また、上記の記憶媒体は、脱着可能な媒
体、ＣＰＵ内に内蔵されるメモリ、ネットワークを介し
て取得したプログラムモジュールを格納するディスク装
置を含む外部記憶媒体を含む。図３は、本発明のニュー
ラルネットの学習方法の原理を説明するための図であ
る。

【００３３】本発明は、入力ベクトルと目標出力値から
なる事例に対して、該入力ベクトルから該目標出力値を
出力可能とするニューラルネットの学習方法において、
各事例における目標出力値とニューラルネットの出力値
の自乗誤差の和の項に、該ニューラルネットの結合重み
の自乗和を正規化係数倍した項を付加して、学習目的関
数を設定し（ステップ１１）、２次学習法を用いて、ニ
ューラルネットの学習を行う（ステップ１２）。ま
た、本発明は、正規化係数を決定する際に、交差検証法
を用いる（ステップ１３）。

【００３４】また、本発明は、２次学習法として、準ニ
ュートン法に基づいて、該準ニュートン法の探索方向
を、ユーザが提示する局部性パラメータに比例した記憶
容量で計算し、準ニュートン法の探索幅を、該探索幅に
対する勾配（１次微分）と曲率（２次微分）からなる学
習目的関数の２次近似式の最小点として求める方法を用
いる。

【００３５】図４は、本発明のニューラルネットの学習
装置の原理構成図である。本発明は、入力ベクトルと目
標出力値からなる事例の集合に対して、該入力ベクトル
から該目標出力値を出力可能とするニューラルネットの
学習装置であって、各事例における目標出力値とニュー
ラルネットの出力値の自乗誤差の和の項に、ニューラル
ネットの結合重みの自乗和を正規化係数倍した項を付加
して、学習目的関数を設定する学習目的関数設定手段２
１００と、２次学習法を用いてニューラルネットの学習
を行う学習手段２２００とを有する。

【００３６】また、上記の学習目的関数設定手段２１０
０は、正規化係数を決定する際に、交差検証法を用いる
正規化係数決定手段２３００を含む。また、上記の学習
手段２２００は、準ニュートン法に基づいて、該準ニュ
ートン法の探索方向を、ユーザにより定義された局部性
パラメータに比例した記憶容量で計算する探索方向計算
手段と、準ニュートン法の探索幅を、該探索幅に対する
勾配（１次微分）と曲率（２次微分）からなる学習目的
関数の２次近似式の最小点として求める探索幅計算手段
とを含む。

【００３７】また、本発明は、入力ベクトルと目標出力
値からなる事例に対して、該入力ベクトルから該目標出
力値を出力可能とするニューラルネットの学習プログラ
ムを格納した記憶媒体であって、各事例における目標出
力値とニューラルネットの出力値の自乗誤差の和の項
に、該ニューラルネットの結合重みの自乗和を正規化係
数倍した項を付加して、学習目的関数を設定する学習目
的関数設定プロセスと、２次学習法を用いて、ニューラ
ルネットの学習を行う学習プロセスとを有する。

【００３８】上記の学習目的関数設定プロセスは、正規
化係数を決定する際に、交差検証法を用いる。また、上
記の学習プロセスは、２次学習法として、準ニュートン
法に基づいて、該準ニュートン法の探索方向を、ユーザ
が提示する局部性パラメータに比例した記憶容量で計算
し、準ニュートン法の探索幅を、該探索幅に対する勾配
（１次微分）と曲率（２次微分）からなる学習目的関数
の２次近似式の最小点として求める方法を用いる。

【００３９】上記のように、本発明の法則発見方法及び
装置によれば、事例データから当該データが満たす法則
を自動的に発見するために、所定の評価尺度を用いて学
習結果を選択する。本発明による法則発見を行う際に、
ニューラルネットワークを用いることにより、観測デー
タが満たす法則を変数の制約なしに求めることが可能で
あり、さらに、非線形関数近似問題にも適用可能であ
る。従って、複雑な法則を探索するような場合であって
も組み合わせ爆発が起きることなく容易に法則の発見が
可能となる。

【００４０】また、本発明では、ニューラルネットワー
クの学習方法として、準ニュートン法を用いるのが特徴
である。その理由は、発明が解決しようとした課題で述
べた通りである。探索方向を妥当な記憶容量で計算し、
最適探索幅を妥当な精度で効率良く求めることができれ
ば、準ニュートン法に基づくアルゴリズムは収束性と効
率の両面で優れた方法である。

【００４１】さらに、本発明において、評価関数は、法
則誤差とニューラルネットワークの複雑さをトレードオ
フするために用いられる。なお、本発明において、評価
関数として経験則により最も効果が高いＭＤＬを用いて
いる。また、本発明は、上記の各要素を種々の媒体に格
納が可能である。さらに、本発明のニューラルネットの
学習方法及び装置は、交差検証法を用いてニューラルネ
ットの各層の結合重みの自乗和を正規化項として用いて
学習を行うため、交差検証誤差を最小化することが可能
となり、高い汎化能力を有するニューラルネットを得る
ことが可能となる。

【００４２】

【発明の実施の形態】

［法則発見方法及び装置］図５は、本発明の法則発見装
置の構成を示す。同図に示す構成は、設定部１０、学習
部２０、格納部３０、ニューラルネットワーク４０、学
習結果選択部５０及び結果出力部６０より構成される。

【００４３】法則発見装置は、観測データより、該観測
データが満たす法則を、指数値が整数に制限されない一
般多項式として発見するものである。設定部１０は、法
則発見をニューラルネットの学習問題として定式化する
ことにより学習目的関数を設定する。学習部２０は、初
期化部２１、停止条件判定部２２、探索方向計算部２
３、探索幅計算部２４、結合重みの更新部２５より構成
される。

【００４４】初期化部２１は、ニューラルネットワーク
４０の各層のユニットの結合重みの初期化を行う。停止
条件判定部２２は、学習の反復の停止条件を満足した場
合にはニューラルネットワークの学習の内部の反復を終
了する。探索方向計算部２３は、準ニュートン法をベー
スとし、該準ニュートン法の探索方向を、ユーザが定義
する局部性パラメータに比例した記憶容量で計算する。

【００４５】探索幅計算部２４は、準ニュートン法の探
索幅を、探索幅に対する勾配（１次微分）と曲率（２次
微分）からなる該学習目的関数の２次近似式の最小点と
して求める。格納部３０は、ニューラルネットワークの
各層の出力結果や、評価値（ＭＤＬ）所定の終了判定条
件等を格納する。

【００４６】ニューラルネットワーク４０は、入力層、
中間層、出力層からなり、学習部２０の制御により学習
を行う。学習結果選択部５０は、経験則によりＭＤＬ
（Minimum Description Length)基準を評価尺度として
用いて学習結果の選択する。結果出力部６０は、学習結
果選択部５０により選択された学習結果である多項式を
出力する。

【００４７】図６は、本発明の法則発見処理の一連の動
作のフローチャートを示す。ステップ１０１）設定部１０は、中間ユニット数をｈ
＝１とし、最大値をＭとする。ステップ１０２）学習部２０の初期化部２１は、ニュ
ーラルネットの結合重み、即ち、法則の定数項、全係
数、全指数からなるベクトルであるΦを初期化する。こ
こで、ｋ＝１とする。

【００４８】ステップ１０３）停止条件判定部２２
は、ニューラルネットワーク４０の学習により所定の停
止条件を満たしていれば、学習の反復を終了させ、ステ
ップ１０７に移行する。ステップ１０４）探索方向計算部２３は、準ニュート
ン法により、ユーザから入力される入力パラメータに対
応する記憶容量を用いて探索方向ベクトルΔΦを計算す
る。

【００４９】ステップ１０５）探索幅計算部２４は、
準ニュートン法の探索幅λを勾配と曲率を求めることに
より計算する。ステップ１０６）結合重み更新部２５は、上記のステ
ップ１０４及びステップ１０５により求められた結果に
基づいて、 Φ ← Φ ＋ λΔΦ により、パラメータを更新し、ステップ１０３に移行す
る。

【００５０】ステップ１０７）ｈ←ｈ＋１とする。ステップ１０８）結果出力６０は、ｈ＞Ｍであれば、
アルゴリズムを終了させ、格納部３０に格納されている
学習結果候補である多項式のうち、ＭＤＬ最小となる多
項式を出力する。以下に、各構成要素の動作を詳細に説明する。

【００５１】法則発見をニューラルネットワーク４０を
用いて定式化する場合を説明する。｛（ｘ⁽¹⁾，ｙ⁽¹⁾），・・・，（ｘ⁽ⁿ⁾，ｙ^(m)）｝を事例集合、ｘ^(t)＝ｘ₁ ^(t)，…，ｘ_n ^(t) をｎ次元説明変数値ベクトル、ｙ_tをｘ_tに対する基準
変数値とする。本発明では、

【００５２】

【数１】

【００５３】で表される数法則のクラスについて考え
る。ここで、各パラメータｃ_i，ｗ_ijは未知の実数、ｈ
は未知の整数である。以下では、（ｃ₀，・・・，
ｃ_h）^T，（ｗ_i1，・・・，ｗ_in）^Tをそれぞれｃ，ｗ
_iと表記する。但し、ａ^Tはａの転置を意味する。ま
た、全てのパラメータからなる１つのベクトル（ｃ^T，
ｗ₁ ^T，・・・，ｗ_h ^T）^TをΦで表し、ＮをΦの次元
（パラメータ数）とする。

【００５４】必要ならば適当な値を各説明変数値入力ベ
クトルの要素に加えることより、一般に、ｘ_i ^(t)＞０
を仮定できる。よって、（１）式は

【００５５】

【数２】

【００５６】と等価である。（２）式は各中間ユニット
の活性化関数がｅｘｐ（ｓ）＝ｅ^sである図７に示す３
層ニューラルネットとみなすことができる。つまり、
ｈ，ｗ_i、および、ｃはそれぞれ中間ユニット数、全入
力ユニットと中間ユニットｉとの結合重み、および、全
中間ユニットと出力ユニットとの結合重みである。以下
では、中間ユニットｉの出力値を、

【００５７】

【数３】

【００５８】出力ユニットの出力値を

【００５９】

【数４】

【００６０】で表す。なお、このタイプの中間ユニット
は、プロダクトユニットと呼ばれる。よって、（１）式
を対象とする数法則の発見問題は、

【００６１】

【数５】

【００６２】を最小化するΦを求めるニューラルネット
の学習問題として定式化できる。次に、学習部２０の動
作について説明する。最初に、ニューラルネットの学習
に用いる準ニュートン法について述べる。学習の目的関
数ｆ（Φ＋ΔΦ）のΔΦでの２次テイラー展開式は、ｆ（Φ）＋（∇ｆ（Φ））^TΔΦ＋１／２（ΔΦ）^T∇
²ｆ（Φ）ΔΦ であり、ヘス行列∇²ｆ（Φ）が正定値ならば、この式
の最小値は、 ΔΦ＝−（∇²ｆ（Φ））^-1∇ｆ（Φ）で与えられる。

【００６３】ニュートン法では、各反復でこの修正ベク
トルΔΦを求めることにより、目的関数ｆ（Φ）を最小
化する。しかし、（∇²ｆ（Φ））^-1を求めるにはＯ
（Ｎ³）の計算量が必要であり、ニュートン法を大規模
問題へ適用することは困難であるため、本発明では、準
ニュートン法を用いるものとする。一方、準ニュートン
法は、探索の過程で反復により、ヘス逆行列（∇²ｆ
（Φ））^-1の近似行列（Ｈ）を各ステップで求めること
を特徴とする。基本アルゴリズムは以下に示す通りであ
る。

【００６４】ステップ２０１）初期化部２１は、法則
の定数項、全係数、全指数の値からなるベクトルΦ₁を
初期化しする。ステップ２０２）停止条件判定部２２は、所定の停止
条件を満たせば、ニューラルネットワーク４０の学習の
反復を終了させ、ステップ２０７に移行する。ステップ２０３）探索方向計算部２３は、探索方向を
求めるため、探索方向ベクトルΔΦ_kを求める。

【００６５】ステップ２０４）探索幅計算部２４は、
ｆ（Φ_k＋λΔΦ_k）を最小にする探索幅λ_kを求め
る。ステップ２０５）結合重み更新部２５は、ニューラル
ネットワーク４０の各層のユニットの結合重みを Φ_k+1＝Φ_k＋λ_kΔΦ_k により修正する。

【００６６】ステップ２０６）ｋ←ｋ＋１とし、ステ
ップ２０２に戻る。ステップ２０７）学習結果選択部５０は、評価値ＭＤ
Ｌが最小となるΦを求める。次に、上記の学習結果選択部５０による学習結果選択の
ための評価尺度について述べる。

【００６７】一般に、与えられたデータ集合に対して、
最適な中間ユニット数を予め知ることはできない。ま
た、データは普通ノイズを含むので、（３）式を最小に
する法則候補がベストとは限らない。よって、中間ユニ
ット数を変えて発見した法則候補を適切に評価するため
の尺度が必要である。ここでは、ノイズを想定して、目
標出力値とニューラルネットの出力値の差ｙ−ｚが、平
均０、標準偏差σの正規分布に従うと仮定する。すなわ
ち、その対数尤度を

【００６８】

【数６】

【００６９】（４）で定義する。よって、最適な中間ユニット数を求めるこ
とは、最尤推定におけるモデル選択問題となるので、そ
の評価尺度としてＭＤＬ(Minimum Description Length)
基準を採用できる。事例データに対する負の対数尤度
は、

【００７０】

【数７】

【００７１】である。ここで、ｍは事例数である。
（４）式の最小化を考えれば、Φについては、（３）式
の最小化と等価であり、ニューラルネットの学習で最尤
推定量

【００７２】

【数８】

【００７３】得ることができる。一方、σについては、
（４）式をσで微分して０とおけば、

【００７４】

【数９】

【００７５】であり、よって、分散の最尤推定量

【００７６】

【数１０】

【００７７】は、

【００７８】

【数１１】

【００７９】（５）となり、この

【００８０】

【数１２】

【００８１】の値は平均自乗誤差（ＭＳＥ：Mean Squar
ed Error）に他ならない。（５）式を（４）式に代入す
れば、（４）式の第３項は事例数にのみ依存する値（ｍ
／２）となり、第１項と第３項は、各法則候補で等しい
ので、本発明では、次のＭＤＬ値を評価尺度として格納
部３０に格納しておき、採用する。ＭＤＬ＝0.5 ｍ log (ＭＳＥ）＋0.5 Ｎ log（ｍ）（６）ここで、ｎは、Φの総パラメータ数である。

【００８２】次に、探索方向計算部２３は、ユーザが定
義する局部性パラメータに比例した記憶容量で探索方向
を計算する。探索幅計算部２４は、探索幅に対する勾配
（１次微分）と曲率（２次微分）からなる該学習目的関
数の２次近似式の最小点として探索幅を求める。・探索方向の計算法ここで用いる準ニュートン法としては、発明が解決しよ
うとする課題の欄で述べた従来のＢＦＧＳ法がはらむ記
憶容量と記憶なしＢＦＧＳ法の近似計算による計算値の
非保証性という課題解決のため、本発明では、記憶容量
が２Ｎs （ｓ≪Ｎ）となる少記憶ＢＦＧＳ法を用いる。
その探索方向は、始めのｓ＋１反復において、オリジナ
ルＢＦＧＳ法と完全に一致し、パラメータｓは以下で述
べる履歴の長さを表す。

【００８３】オリジナルＢＦＧＳ法がｋ反復目に求めた
近似行列をＨ_kとし、ｇ_k＝∇ｆ（Φ_k），Ｐ_k＝λ_kΔΦ_k，ｑ_k＝ｇ_k+1
−ｇ_k とおけば、オリジナルＢＦＧＳ法がｋ＋１反復目に計算
する近似行列は、

【００８４】

【数１３】

【００８５】ｒ_k＝Ｈ_kｑ_kとおけば、Ｈ_kｇ_k+1＝Ｈ_kｑ_k＋Ｈ_kｇ_k＝ｒ_k−ｐ_k／λ_k である。よって、計算する探索方向は、

【００８６】

【数１４】

【００８７】となり、近似行列Ｈ_k+1を用いることな
く、ｋ＋１反復目の探索方向を計算でき、つまり、ｒ_k
が求まれば、記憶なしＢＦＧＳ法と同様に、（８）式は
Ｏ（Ｎ）の計算量とＯ（Ｎ）の記憶容量で計算できる。
そこで、ｒ_kがＯ（Ｎs ）の計算量と２Ｎｓの記憶容量
で計算できることを以下に示す。まず、ｋ＜ｓを仮定す
る。ｋ＝１のとき、Ｈ₁は単位行列に設定するので、ｒ
₁（＝Ｈ₁ｑ₁＝ｇ₂−ｇ₁）は引き算だけで計算でき
る。ｋ＞１のとき、ｒ₁，・・・，ｒ_k-1の各要素は既
に計算されている。加えて、ｉ＜ｋでは、

【００８８】

【数１５】

【００８９】は各反復で既に計算されている。よって、
（７）式を再帰的に適用すれば、第ｋ反復後にＨ_kとｑ
_kから求めた修正ベクトルｒ_kは以下のようにＯ（Ｎs
）の計算量と２Ｎs の記憶容量で計算できる。

【００９０】

【数１６】

【００９１】次に、ｋがｓ＋１より大きいとき、２つの
更新法が考えられる。すなわち、これまでに蓄えた探索
情報ベクトル（ｐ，ｒ）をすべて消去して更新を再開す
る方法、または、最新の探索情報ベクトルで更新を続け
る方法である。どちらの場合も（９）式はＯ（Ｎs ）の
計算量と２Ｎs の記憶容量で計算できる。従って、
（８）式はＯ（Ｎs ）の計算量と２Ｎs の記憶容量で計
算できることが示された。なお、ｓ＝０ならば、少記憶
ＢＦＧＳ法は常に勾配方向を計算し、ｓ＝１のときは、
記憶なしＢＦＧＳ法となる。

【００９２】次に、探索幅計算部２３が、探索幅に対す
る勾配（１次微分）と曲率（２次微分）からなる学習目
的関数の２次近似式の最小点として探索幅を求める。
（３）式で定義したニューラルネットの学習目的関数に
おける、探索幅計算法について述べる。λはｆ（・）の
唯一の変数なので、ｆ（Φ＋λΔΦ）をζ（λ）で表せ
ば、ζ（λ）の２次テイラー展開式は

【００９３】

【数１７】

【００９４】である。ζ’（０）＜０かつζ" （０）＞
０のとき、この近似式の最小点は

【００９５】

【数１８】

【００９６】で与えられる。他のケースについては後述
する。以下では、ζ’（０）及びζ" （０）を効率よく
計算できることを示す。ζ（λ）を微分し、λに０を代
入すれば、

【００９７】

【数１９】

【００９８】となる。ここで、ｚ^(t)＝ｚ（ｘ^(t)；
Φ）の微分は

【００９９】

【数２０】

【０１００】で定義され、

【０１０１】

【数２１】

【０１０２】となる。ここで、ｖ’_i ^(t)＝ｖ_i ^(t)×Σ_i=1 ⁿΔｗ_ij log
（ｘ_j ^(t)）ｖ”_i ^(t)＝ｖ’_i ^(t)×Σ_i=1 ⁿΔｗ_ij log（ｘ_j
^(t)）であり、Δｃ_i，Δｗ_ijは少記憶ＢＦＧＳ法で計算され
るｃ_i，ｗ_ijの変化量である。

【０１０３】上述のケースでは、ζ’（０）＜０を仮定
した。ζ’（０）＞０のとき、その探索方向で学習目的
関数の値を減少できないので、ΔΦ_k＝−∇ｆ（Φ_k）
とし、これまでに蓄えた探索情報ベクトル（ｐ，ｒ）を
すべて消去する。すなわち、これ以降、各反復での探索
方向を勾配方向から再開する。このとき、 ζ’（０）＝（∇ｆ（Φ_k））^TΔΦ_k＝−‖∇ｆ（Φ
_k）‖²＜０より、 ζ’（０）＜０が保証される。

【０１０４】但し、ζ’（０）＜０かつζ”（０）＜０
のとき、（１０）式の値は負または無限大となるので、
この場合に限っては、ガウス−ニュートン法を用いて対
処する。ここで、ガウス−ニュートン法を用いる理由
は、常にζ”（０）＞０が保証されているためである。
ｚ（ｘ^(t)；Φ＋λΔΦ）の１次近似はｚ^(t)＋ｚ’
^(t)λとなるので、ζ（λ）の近似は

【０１０５】

【数２２】

【０１０６】であり、この式の右辺の最小値は

【０１０７】

【数２３】

【０１０８】で与えられる。明らかに、ζ’（０）＜０
のとき、（１１）式の値は正となる。多くの場合、各反
復でΦの修正量に対して上限を設定することは有効であ
る。よって、‖λΔΦ‖＞１．０ならば、λを１．０／
‖ΔΦ‖とする。λは近似に基づき計算されるので、目
的関数ζ（λ）の値が常に減少するとは限らない。ζ
（λ）＞ζ（０）のときは、条件ｈ（０）＝ζ（０），
ｈ（λ₀）＝ζ（λ₀），ｈ’（０）＝ζ’（０）を満
たす次の２次近似式ｈ（λ）を考える。

【０１０９】

【数２４】

【０１１０】ζ（λ₀）＞ζ（０）かつζ’（０）＜０
より、ｈ（λ）の最小点は

【０１１１】

【数２５】

【０１１２】で与えられる。このとき、（１２）式では
０＜λ＜λ₀が保証される。よって、この処理をζ
（λ）＜ζ（０）となるまで繰り返せば、ζ（λ）＜ζ
（０）となるλを常に求めることができる。次に、図５
における探索幅計算部２４の動作を詳細に説明する。図
８は、本発明の探索幅計算部の処理を説明するための図
である。図９〜図１２は、探索幅計算部２４における各
層のプログラムとデータの関連を示す。

【０１１３】まず、図９に示す下半分の中間ユニット４
００の変化方向計算プログラム１２４１は、外部から入
力されたデータを対数化処理により、対数関数で表され
る入力データ２０１（log ｘ₁ ⁽¹⁾… log ｘ_n ⁽¹⁾，
…，log ｘ₁ ^(m)… log ｘ _n ^(m)）と結合重みの修正
方向ベクトル値２０２（Δｗ₁₁ …Δｗ_hn，…，Δｗ _h1
…Δｗ_hn）が入力されると、以下の計算を行い、格納部
３０に中間値２０３を出力する。

【０１１４】

【数２６】

【０１１５】このとき、中間値２０３として当該プログ
ラム１２４１から格納部３０に転送される値は、Δｕ₁
⁽¹⁾…Δｕ_h ⁽¹⁾ _,…，Δｕ₁ ^(m)…Δｕ_h ^(m)であ
る。これらの各値は、結合重みの修正に伴い、結合重み
で重み付けして合計した中間ユニットへの入力の変化量
を意味する。次に、図１０に示す上半分の中間ユニット
５００の微係数計算プログラム１２４２ｖ’は、上記の
中間ユニットの変化方向計算プログラム１２４１で取得
した中間値２０３（Δｕ₁ ⁽¹⁾…ｕ_h ⁽¹⁾，…，ｕ₁
^(m)…ｕ_h ^(m)）と、中間ユニットの出力値２０４（ｖ
₁ ⁽¹⁾…ｖ_h ⁽¹⁾ _,…，ｖ₁ ^(m)…ｖ_h ^(m)）を用い
て、ｖ’_i ^(t)＝ｖ_i ^(t)Δｕ_i の計算を行い、探索幅に対する中間ユニットの出力値の
一次微分ｖ’を計算結果とし、中間−出力層間の結合重
みと出力ユニット６００の出力ユニットの一次微係数計
算プログラム１２４３ｖ’，１２４３ｖ”と、微係数計
算プログラム１２４２ｖ”に出力する。

【０１１６】微係数計算プログラム１２４２ｖ”は、中
間ユニットの変化方向計算プログラム１２４１で取得し
た中間値２０３（Δｕ₁ ⁽¹⁾…ｕ_h ⁽¹⁾ _,ｕ₁ ^(m)…ｕ
_h ^(m ⁾）と、微係数計算プログラム１２４２ｖ’の出力
結果中間値ｖ’２０５（ｖ’ _i ^(t)）を用いて、ｖ”_i ^(t)＝ｖ’_i ^(t)Δｕ_i の計算を行い、計算結果であるｖ”を探索幅に対する中
間ユニット６００の出力ユニットの二次微分係数計算プ
ログラム１２４３ｖ”に出力する。

【０１１７】次に、図１１に示す出力ユニット６００の
微係数計算プログラム１２４３ｖ’，ｖ”は、各々結合
ベクトル値２０７（ｃ₀，ｃ₁，…，ｃ_h）と、結合重
みの修正方向ベクトル値２０８（Δｃ₀，Δｃ₁，…，
Δｃ_h）と上記の中間ユニットの微係数計算プログラム
１２４２で求められた中間値ｖ’とｖ”を用いて、以下
の計算を行う。

【０１１８】

【数２７】

【０１１９】なお、上記のｚ’^(t)の計算は、一次微分
係数計算プログラム１２４３ｖ’で行い、ｚ^{" (t)}の計
算は、二次微分係数計算プログラム１２４３ｖ”で行う
ものとする。上記により求められた結果ｚ’⁽¹⁾…ｚ’
^(m)、ｚ^{" (1)}…ｚ^{" (m)}とを出力ユニットの中間値２
０９及び２１１として、格納する。

【０１２０】次に、図１２に示す探索幅計算プログラム
１２４４は、上記で求められた出力ユニットの中間値２
０９と２１０（ｚ’⁽¹⁾…ｚ’^(m)、ｚ^{" (1)}…ｚ
^{" (m)}）と、目標出力値２１１（ｙ⁽¹⁾…ｙ^(m)）と出
力ユニットの出力値２１２（ｚ⁽¹ ⁾…ｚ^(m)）を用いて
以下の計算を行う。

【０１２１】

【数２８】

【０１２２】により探索幅λ_kを取得し、探索幅格納エ
リア３１に格納する。次に、探索方向計算部２３の処理
について説明する。図１３は、本発明の探索方向計算部
の処理を説明するための図である。同図に示すように、
探索方向計算部２３のプログラムは、プログラムＡ１２
３１，プログラムＢ１２３２，プログラムＣ１２３３に
分けられる。

【０１２３】プログラムＡ１２３１として、減算プログ
ラムａ，減算プログラムｂがあり、これらの各プログラ
ムでは、格納部３０に格納されている前回の探索幅λ_k
を格納する格納エリア３１（前述の探索幅計算部２４で
最終的に算出された探索幅）、前回の探索地点を格納し
ている探索地点格納エリア３２、今回の探索地点を格納
する探索地点格納エリア３３、前回のループにおいて使
用した勾配ベクトルを格納する前回勾配ベクトル格納エ
リア３４、今回のループにおいて使用する勾配ベクトル
を格納する勾配ベクトル格納エリア３５のそれぞれの値
を用いて計算する。上記の各値は、１回の反復が行われ
るごとに、格納部３０内に蓄積されているものとする。
また、以下で説明する各探索情報も学習が行われる毎
に、各探索情報のメモリ内の格納エリアに格納されるも
のとする。

【０１２４】減算プログラムａは、第ｋ回目のループに
おける修正ベクトルｐ_kを算出するために、今回の探索
地点の値から前回の探索地点の値を減算し、その結果を
探索情報格納エリア２１７に格納する。減算プログラム
ｂは、第ｋ回目のループにおける勾配ベクトルの変化量
ベクトルｑ_kを算出するために、今回勾配ベクトルｇ
_k+1から前回の勾配ベクトルｇ_kを減算し、その結果を
探索情報格納エリア２１８に格納する。

【０１２５】プログラムＢ１２３２は、結合重みを更新
する過去の探索情報（第１ループから第ｋ−１ループ）
を用いて第ｋループでの探索情報４（２２１）を計算す
る。ためのプログラムであり、初期設定プログラム、ベ
クトル更新プログラムａ、ベクトル更新プログラムｂか
らなる。初期設定プログラムは、探索情報４（ｒ_k）の
初期値設定のために、ｋ回目のループの後に、変化量の
ベクトルｑ_kから求めた修正ベクトルをｒ_kに代入し、
その結果をベクトル更新プログラムａに転送する。

【０１２６】ベクトル更新プログラムａは、第１回反復
後の探索情報格納エリア２１９から探索情報として、修
正ベクトルと探索幅計算に用いる係数α、βを取得して
以下の計算を行い、その結果をベクトル更新プログラム
ｂに転送する。Ａ＝（−α₁ｒ₁＋β₁ｐ₁）^Tｑ_k Ｂ＝−α₁ｐ₁ ^Tｑ_k ｒ_k＝ｒ_k＋Ａｐ₁＋Ｂｒ₁ ベクトル更新プログラムｂは、第ｋ−１回反復後の探索
情報格納エリア２２０から探索情報を取得して、上記の
ベクトル更新プログラムａと同様の計算を行い、その結
果を探索情報格納エリア２２１に格納する。

【０１２７】Ａ＝（−α_k-1ｒ_k-1＋β_k-1ｐ_k-1）^Tｑ_k Ｂ＝−α_k-1ｐ_k1 ^Tｑ_k ｒ_k＝ｒ_k＋Ａｐ_k-1＋Ｂｒ_k-1 この結果をベクトル更新プログラムｂに転送する。この
例では、１回目のループによる値を計算するプログラム
とｋ−１回目のループによる値を計算するプログラムと
を別個に記載しているが現実的には、同一のプログラム
で、ループごとに与えられるデータを用いて探索情報ｒ
_kを算出するものである。

【０１２８】次に、上記のプログラムＢ１２３２におい
て取得した修正ベクトルを用いてプログラムＣ１２３３
により探索方向を計算する。プログラムＣ１２３３は、
係数計算プログラム、探索情報格納プログラム、探索方
向計算プログラムより構成される。係数計算プログラム
は、プログラムＢ１２３２のベクトル更新プログラムに
より取得した値を用いて、 α_k＝（ｐ_k ^Tｑ_k）^-1 β_k＝α_k（１＋α_kｐ_k ^Tｒ_k）を計算する。

【０１２９】次に、探索情報格納プログラムは、求めら
れたα_kとβ_kを第ｋ回反復後の探索情報格納エリア２
２２に格納する。さらに、探索方向計算プログラムは、
前回探索幅λ_kを用いて、Ａ＝（λ_k ^-1＋α_kｑ_k−β_kｐ_k）^Tｇ_k+1 Ｂ＝α_kｑ_k ^Tｇ_k+1 ΔΦ_k+1＝−ｒ＋Ａｐ_k＋Ｂｐ_k を求め、計算結果格納エリア２２４に格納する。

【０１３０】なお、上記の探索方向計算部２３及び探索
幅計算部２４の学習プログラムを、必要な関数、パラメ
ータ等のデータの入力誘導アルゴリズム及び取得した結
果を出力するためのプログラム共に、一連のプログラム
として構成し、パッケージング化することも可能であ
る。上記で説明した処理は、特殊なハードウェアを有し
ない一般的なコンピュータ装置で走行するソフトウェア
で実現可能である。従って、上記の処理をソフトウェア
（プログラム）で構築し、コンピュータのディスク装置
等の記憶媒体や、フロッピーディスクやＣＤ−ＲＯＭ等
の可搬記憶媒体に格納して流通させることも可能であ
る。

【０１３１】また、上記の処理のうち、図５に示すニュ
ーラルネットワーク４０の部分を市販のニューラルネッ
ト回路で実行させることも可能である。この場合は、ニ
ューラルネット回路の構成を図７に示すように設定し、
初期値を図５に示す初期化部２１による初期化アルゴリ
ズムにより与え、図８に示す入力データ２０１を入力層
に順次与えて学習させ、出力層のデータをＭＤＬにより
評価する。また、学習の進行に伴い、探索方向計算部２
３による探索方向アルゴリズムと探索幅計算部２４によ
る探索幅計算アルゴリズムの結果を学習結果選択部５０
により選択し、結果である法則を取得する。

【０１３２】なお、上記で説明した処理についても、特
殊なハードウェアを有しないワークステーション装置で
走行するソフトウェアで実現可能である。［ニューラルネットの学習方法及び装置］次に、本発明
のニューラルネットの学習方法及び装置について説明す
る。図１４は、本発明のニューラルネットの学習装置の
構成を示す。

【０１３３】同図に示すニューラルネットの学習装置
は、設定部２１００、記憶装置２６００、学習部２７０
０、交差検証誤差計算部２３００、及び結果出力部２４
００から構成される。学習部２７００は、学習制御部２
２００とニューラルネット２５００から構成され、学習
制御部２２００は、初期化部２２１０、停止条件判定部
２２２０、探索方向計算部２２３０、探索幅計算部２２
４０、及び結合重み更新部２２５０を有する。

【０１３４】記憶装置２６００は、入力データとして、
設定部２１００で用いられる事例、正規化係数の初期値
と下限値、停止条件判定部２２２０で用いられる勾配ベ
クトル、処理時間、目的関数値、探索方向計算部２２３
０で用いられる勾配ベクトル、前回までの探索情報、探
索幅計算部２２４０で用いられる探索方向ベクトル、ニ
ューラルネットの出力値、結合重み更新部２２５０で用
いられる探索方向ベクトル、探索幅、更新前の結合重み
が格納され、出力データとして、初期化部２２１０から
出力される結合重みの初期値、探索方向計算部２２３０
から出力される探索方向ベクトル、探索幅計算部２２４
０から出力される探索幅、結合重み計算部２２５０から
出力される更新された結合重み、交差検証誤差計算部２
３００から出力される交差検証誤差、結果出力部２４０
０から出力される学習結果を格納する。

【０１３５】学習制御部２２００の初期化部２２１０
は、ニューラルネット２５００の各層のユニットの結合
重みと結合変数の初期化を行う。停止条件判定部２２２
０は、記憶装置２６００に格納されている学習の反復の
停止条件を満足した場合には、ニューラルネット２５０
０の学習の内部の反復を終了するための判定を行う。

【０１３６】探索方向計算部２２３０は、準ニュートン
法に基づいて、当該準ニュートン法の探索方向を、ユー
ザによって定義され、記憶装置２６００に格納されてい
る局部性パラメータに比例した記憶容量で計算する。探
索幅計算部２２４０は、探索方向ベクトル及びニューラ
ルネット２５００の出力値が入力されると、探索幅に対
する勾配（１次微分）と曲率（２次微分）からなる学習
目的関数の２次近似式の最小点として求める。

【０１３７】結合重み更新部２２５０は、探索方向ベク
トル、探索幅、更新前の結合重みに基づいて、ニューラ
ルネット２５００の各層間の結合重みを更新する。図１
５は、本発明のニューラルネットの学習方法の動作を示
すフローチャートである。以下に、上記の図１４に基づ
いて一連の学習動作を説明する。ステップ５００）設定部２１００は、記憶装置２６０
０から事例、正規化係数の初期値と下限値を読み出し
て、正規化係数μの初期値（μ＝ｓ）とその下限値Ｅを
設定する。

【０１３８】ステップ５０１）学習制御部２２００の
初期化部２２１０は、ニューラルネット２５００の各層
間の結合重みとパラメータΦの初期化を行う。ステップ５０２）停止条件判定部２２２０は、終了条
件として、記憶装置２６００から勾配ベクトル、処理時
間、目的関数値を読み出して、所定の条件を満たせば内
側のループを停止させ、ステップ５０６に移行する。

【０１３９】ステップ５０３）探索方向計算部２２３
０は、記憶装置２６００から勾配ベクトル及び前回まで
の探索情報を読み出して、結合重みの修正方向（探索方
向ベクトルΔΦ）を計算し、その結果を記憶装置２６０
０に格納する。ステップ５０４）探索幅計算部２２４０は、記憶装置
２６００から探索方向ベクトル及びニューラルネット２
５００の出力値に基づいて結合重みの修正幅を計算し、
計算された探索幅λを記憶装置２６００に格納する。

【０１４０】ステップ５０５）結合重み更新部２２５
０は、記憶装置２６００から探索方向ベクトル、探索
幅、及び更新前の結合重みを読み出して結合重みを、 Φ＝Φ＋λΔΦ により更新し、更新された結合重みを記憶装置２６００
に格納する。ステップ５０６）設定部２１００は、交差検証ループ
を制御する。中間ユニット数ｈ（初期値＝１）がｍにな
るまで、ステップ５１１までの処理を繰り返す。ｈ＞ｍ
のとき、ステップ５１２に移行する。

【０１４１】ステップ５０７）初期化部２２１０は、
結合重みと制御変数の初期化を行う。第ｈ番目の事例を
除き、パラメータΦを初期化する。ステップ５０８）停止条件判定部２２２０は、記憶装
置２６００から読みだした停止条件を満たせば、ステッ
プ５０６に移行する。ステップ５０９）探索方向計算部２２３０は、記憶装
置２６００から勾配ベクトル及び前回のループで取得し
た探索情報に基づいて結合重みの修正方向（探索方向ベ
クトルΔΦ）を計算する。

【０１４２】ステップ５１０）探索幅計算部２２４０
は、記憶装置２６００から探索方向ベクトル及びニュー
ラルネット２５００の出力値に基づいて結合重みの修正
幅を計算し、計算された探索幅λを記憶装置２６００に
格納する。ステップ５１１）結合重み更新部２２５０は、記憶装
置２６００から探索方向ベクトル、探索幅、及び更新前
の結合重みを読み出して結合重みを、 Φ＝Φ＋λΔΦ により更新し、更新された結合重みを記憶装置２６００
に格納し、ステップ５０８に移行する。

【０１４３】ステップ５１２）ステップ５０６におい
て、ｈ＞ｍとなったとき、交差検証誤差計算符２３００
は、交差検証誤差を μ＝γμ により計算し、記憶装置２６００に格納する。ステップ
５１３）停止条件判定部２２２０は、μ＜Ｅならば、
アルゴリズムを終了させ、結果出力部２４００により学
習結果を出力する。

【０１４４】本発明のニューラルネットの学習方法及び
装置における学習目的関数設定手段における、学習目的
関数の設定について説明する。まず、問題の枠組につい
て説明する。｛（ｘ₁，ｙ₁），…，（ｘ_m，ｙ_m）｝を事例集合とし、ｘ_iをニューラルネットへのｎ次元入
力ベクトル、ｙ_iをニューラルネットからの目標出力値
とする。また、３層ニューラルネットにおいて、ｈを中
間ユニット数、ｗ_j（ｊ＝１，…，ｈ）を全入力ユニッ
トから中間ユニットへの結合重み、ｗ₀＝（ｗ₀₀，…，
ｗ_0h）^Tを全中間ユニットから出力ユニットへの結合重
みとする。ここで、ｗ_j0は、バイアスであり、ｘ_t0＝１
とする。但し、ａ^Tは、ベクトルａの転置ベクトルを表
す。以下では、全結合重み（ｗ₀，…，ｗ_h）を、Φ＝
（φ₁，…，φ_N）^Tで表し、Φの次元をＮ（＝ｈ（ｎ
＋２）＋１）とする。よって、結合重みの自乗和を正規
化項として用いるニューラルネットの学習とは、

【０１４５】

【数２９】

【０１４６】を最小化する問題として定義できる。ここ
で、σ（ｚ）は適当な非線型関数であり、本発明では、
シグモイド関数σ（ｚ）＝１／１（１＋ｅ^-z）を採用す
るものとする。また、μは、正規化係数である。さら
に、本発明の探索方向計算部２２３０、及び探索幅計算
部２２４０については、準ニュートン法をベースとした
ニューラルネットの学習を行う場合に、ユーザが定義し
た局部性パラメータに比例した記憶容量で探索方向を計
算し、探索幅に対する勾配（１次微分）と曲率（２次微
分）からなる学習目的関数の２次近似式の最小点とし
て、探索幅を求める。この基本アルゴリズムを以下に示
す。

【０１４７】ステップ４０１） Φ₁を初期化し、ｋ＝
１とする。ステップ４０２）停止条件を満たせば、反復処理を終
了させる。ステップ４０３）探索方向ΔΦ_kを少記憶ＢＦＧＳ法
で求める。ステップ４０４）ｆ（Φ_k＋λΔΦ_k）を最小にする
探索幅λ_kを求める。ステップ４０５）結合重みを以下の式により、修正す
る。

【０１４８】Φ_k+1＝Φ_k＋λΔΦ_k ステップ４０６）ｋ＝ｋ＋１とし、ステップ４０２に
移行する。上記のステップ４０３の探索方向の計算方法について説
明する。ｇ_k＝▽ｆ（Φ_k），ｐ_k＝λ_kΔΦ_k，ｑ_k＝ｇ_k+1−ｇ_k とおけば、ｋ＋１反復目の探索方向は、

【０１４９】

【数３０】

【０１５０】である。但し、α_i＝（ｐ_i ^Tｑ_i）^-1、
β_i＝α_i（１＋α_iｐ_i ^Tｒ_i）とおけば、ｒ_kの値
は、

【０１５１】

【数３１】

【０１５２】である。ここで、パラメータｓは、探索の
履歴を表す局部性パラメータである。次に、上記のステ
ップ４０４の探索幅計算法について説明する。λは、ｆ
（・）の唯一の変数であるので、ｆ（Φ＋λΔ）をζ
（λ）で表せば、ｋ反復目の探索方向は、

【０１５３】

【数３２】

【０１５４】（１３）である。但し、

【０１５５】

【数３３】

【０１５６】である。ここで、ｖ_ti＝σ（（Δｗ_i）^T
ｘ_t），ｖ’_ti（１−ｖ_ti）（Δｗ_i）^Tｘ_t，ｖ”_ti
＝ｖ’_ti（１−２ｖ_ti）（Δｗ_i）^Tｘ_tであり、Δｃ
_i，Δｗ_ijは、少記憶ＢＦＧＳ法で計算されるｃ_i，ｗ
_ijの変化量である。次に、学習結果選択のための評価尺
度として、本発明では、適切な正規化係数を決定するた
めに交差検証法を用いている。

【０１５７】この交差検証法は、一般に、与えられた事
例集合に対して、最適な正規化係数を予め知ることはで
きない。よって、正規化係数を変えて学習したニューラ
ルネットを適切に評価するための方法が必要であり、本
発明では、交差検証法を採用する。訓練事例集合から１
つの事例（ｘ_h，ｙ_h）を除いた学習結果、すなわち、

【０１５８】

【数３４】

【０１５９】を最小化するパラメータをΦ^(-h)とする。
交差検証誤差とは、事例（ｘ_h，ｙ_h）のパラメータΦ
^(-h)に対する二乗誤差の各事例毎の和であり、交差検証
誤差を最小化する正規化係数を用いれば、高い汎化能力
を有するニューラルネットを有することが期待できる。
本発明では、正規化係数μの初期値とその下限値を設定
し、初期値をγ倍して減少させる。ただし、０＜γ＜１
であり、以下の実施例では、γ＝０．５に設定した。

【０１６０】図１６は、本発明の検証誤差を最小にする
ニューラルネットの計算処理を示す。まず、正規化係数
の初期値Ｓ、乗数係数γ、及び嗜好回数Ｍが３３００に
与えられると、正規化係数生成処理３３００では、各試
行に用いるＭ個の正規化係数値Ｓ，Ｓγ，…，Ｓγ^M-1
を生成する。次いで、交差検証誤差計算プログラム３４
００では、上記の正規化係数値群後を順番に用いて、そ
れぞれの交差検証誤差を計算する。但し、Ｍ回の交差検
証誤差計算プログラムは、同様な動作をする。代入処理
３４１０で、与えられた正規化係数値をμに代入した
後、まず、ニューラルネット学習処理３４２０では、訓
練事例３１００と正規化係数値μを用いて、ニューラル
ネットワークの学習を行い、その学習結果の結合重みΦ
₁，…，Φ_Nを学習結果３４３０に出力する。

【０１６１】次に、交差検証誤差計算処理３４４０で
は、訓練事例３１００と正規化係数値μを用いて、交差
検証誤差計算をおない、その結果の誤差Ｅ_rr1を交差検
証誤差３４５０に出力する。全ての正規化係数値での交
差検証誤差Ｅ_rr1，…，Ｅ_rrMより、最小値となるＥ
_rriを検出し、そのときの試行における学習結果の結合
重みΦ₁，…，Φ_Nを学習結果３７００に出力する。つ
まり、学習結果３７００の結合重みを有するニューラル
ネットが本発明の結果である。

【０１６２】図１７は、本発明の交差検証誤差の計算処
理を示す。まず、訓練事例３１００が入力されると、ｈ
番目の事例のみを分離する処理４０００では、分離した
事例４１１０と残りの事例集合４１２０を検証誤差計算
処理４１６０に出力する。但し、この処理は、１番目か
らｍ番目までの全ての事例に対して順番に行われ、ｍ回
の検証誤差プログラムは同様な動作をする。

【０１６３】まず、ニューラルネット学習処理４１３０
では、事例集合４１２０と正規化係数値μを用いて、ニ
ューラルネットの学習を行い、その学習結果の重み
Φ₁，…，Φ_Nを学習結果４１４０に出力する。次に、
除いた事例の誤差計算処理４１５０では、事例４１１０
と学習結果４１４０を用いて、誤差計算を行い、その結
果の誤差ｅｒｒ₁を検証誤差４１６０に出力する。

【０１６４】全ての事例に対する計算が行われた後、加
算平均計算処理４２００では、各事例に対して計算した
検証誤差ｅｒｒ₁，…，ｅｒｒ_mの加算平均を計算し、
その結果Ｅｒｒ_jを学習結果４３００に出力する。但
し、添字ｊは、交差検証誤差計算処理３４３０でのｊ回
目の試行であることを表す。図１８は、本発明の除いた
事例の誤差計算処理を示す。同図に示す処理は、ｈ番目
の事例に対する処理において、除いた事例の誤差計算処
理４１５０に格納された除いた事例ｙ^(h)，ｘ₁ ^h) ，
…，ｘ_n ^(h)が与えられると、学習結果４１４０に格納
された学習結果の結合重みをニューラルネットの結合重
みとして、既に述べたニューラルネットの動作で、ｘ₁
^(h)，…，ｘ_n ^(h)より、ニューラルネットの出力値ｚ
^(h)を計算する。自乗誤差計算処理５０００は、目標出
力値ｙ ^(h)とニューラルネットの出力値ｚ^(h)の自乗誤
差ｅｒｒ_hを出力する。

【０１６５】図１９は、本発明のニューラルネットの学
習処理の詳細を示す。基本的には、既に述べた学習理と
同じであるが、異なる部分は、探索幅計算処理に前述の
計算式を用いて、探索幅計算プログラム１２４４は、目
標出力値２１１と出力ユニットの出力値２１２だけでな
く、結合重みベクトル値２１３、修正方向ベクトル値及
び正規化係数値２１５の値を受け取り、式（１３）で探
索幅を計算する。

【０１６６】なお、上記で説明したニューラルネットの
学習方法及び装置に関して、方法の各手法及び装置にお
ける各構成要素をソフトウェア（プログラム）で構築
し、コンピュータのディスク装置に格納する、または、
フロッピーディスクやＣＤ−ＲＯＭ等の可搬記憶媒体に
格納して流通することも可能である。

【０１６７】

【実施例】

［法則発見装置を適用した実施例］最初の実施例は、上
記の法則発見装置を適用した例について述べる。最初に
現実データへ適用した例として電池の残存容量と内部抵
抗の法則を発見する例を示す。この法則は、ケプラーの
法則等のように、純理論的に説明できず、数学的にもき
れいな形をしていないが、実用上は極めて重要である。

【０１６８】設定部１０において、中間ユニット数ｈの
初期値として１を、中間ユニット数の最大値として、３
を設定し、初期化部２２において、結合重みと制御変数
の初期化を行う。具体的には、平均０、標準偏差０．１
の正規分布に基づくランダムな値を各結合重みに与え、
ループ数を制御するパラメータｋを１とする。

【０１６９】次に、探索方向計算部２３において、前述
の式（８）を用いて探索方向の計算を行い、さらに、探
索幅計算部２４において、前述の式（１５）により探索
幅の計算を行う。さらに、結合重み更新部２５におい
て、結合重みを、 Φ_k+1＝Φ_k＋λ_kΔΦ_k による更新を行い、格納部３０に格納されているパラメ
ータに基づいて、学習結果選択部５０において、ＭＤＬ
が最小となる多項式ｙ＝−１０１３．４ｘ^0.30＋６７４３．６を取得する。

【０１７０】電池の残存容量ｙは、電池の内部抵抗ｘに
関係することが知られている。従来、残存容量ｙと内部
抵抗の対数ｌｏｇｘが線型関係にあるとして経験則を導
いていた。すなわち、３１事例から導かれる法則はｙ＝−１０９５．１ logｘ＋６９３９．７であった。一方、同じ事例集合から発見した法則はｙ＝−１０１３．４ｘ^0.35＋６７４３．６となった。既存の経験則によっＲＭＳＥ（平均自乗誤差
の平方根）は２０２．９７であったのに対し、発見した
法則では１３８．９５に減少した。

【０１７１】このように、本発明を適用すれば、これま
で説明してきたような物理数法則ばかりでなく、高速道
路の車両密度と単位時間当たりの交通量の間の法則発見
等のように一般的な社会現象にも適用が可能であること
が大きな特長である。・人工データへの適用Ｓｕｔｔｏｎ−Ｍａｔｈｅｕｓの問題とその修正問題を
用いて、本発明を評価した。オリジナル問題はｙ＝２＋３ｘ₁ｘ₂＋４ｘ₃ｘ₄ｘ₅ （１６）を復元する問題である。事例ついては、ｘ₁，・・・，
ｘ₅の各変数に［０，１］の範囲でランダムな値を与
え、対応するｙの値を（１６）式より計算する。但し、
変数の総数は９（ｎ＝９）であり、不要変数ｘ₆，・・
・，ｘ₉にも［０，１］の範囲でランダムな値を与え、
合計２００（ｍ＝２００）事例を生成した。実験では、
各結合重みの初期値を、平均０、標準偏差０．１の正規
分布に基づいて独立に生成し、ＭＳＥ値が十分小さいと
き、

【０１７２】

【数３５】

【０１７３】勾配ベクトルの大きさが十分小さいとき、

【０１７４】

【数３６】

【０１７５】また、ＣＰＵ処理時間が１００秒を越えた
ときに、アルゴリズムの反復を終了させた。各反復にお
いては、まず、結合重みの修正方向を計算する探索方向
計算部２３では、勾配ベクトルｇ_k＝∇ｆ（Φ_k）と過
去の探索情報［Ｐ₁，…，Ｐ_k］，［ｒ₁，…，
ｒ_k-1］、［（α₁，β₁），…，（α_k-1，
β_k-1）］により、前述の式（８）の計算式により探索
方向ΔΦ_kを計算する。

【０１７６】次に、結合重みの修正幅を計算する探索幅
計算部２４では、探索方向ベクトルとニューラルネット
の各ユニットの出力値により、前述の式（１５）の計算
式により探索幅λ_kを計算する。そして、結合重みの更
新部２５では、探索方向計算部２３と探索幅計算部２４
の結果、ΔΦ_kとλ_kを用いて、結合重みを ΔΦ_k+1＝Φ_k＋λ_kΔΦ_k のように更新する。

【０１７７】格納部３０には、図２０に示すような法則
候補を格納し、最後に結果出力部４０において、ＭＤＬ
が最小となる法則として図２０において枠で囲んだもの
を発見結果として出力する。・オリジナル問題実験では、入力を対数関数で表された［log （ｘ₁ ⁽¹⁾），…， log（ｘ_n ⁽¹⁾），…，log
（ｘ₁ ⁽¹⁾），…，log（ｘ_n ⁽¹⁾）］とし、中間ユニット数を１から３まで変化させ（ｈ＝
１，２，３），それぞれ１００回の試行を行なった。実
験結果のＭＳＥ値、ＭＤＬ値、反復回数、および、処理
時間（秒）に関する基本統計量を表２、表３に示す。

【０１７８】これらの表の値に基づいて以下に示す法則
を発見する動作を説明する。まず、設定部１０は、中間
ユニットの初期値を１、最大値を３に設定し、ループ数
を制御するパラメータｋを１に設定する。初期化部２１
は、結合重みの初期化を行う。これにより、探索方向計
算部２３は、前述の式（８）により探索方向ΔΦ_kを求
め、探索幅計算部２４は、前述の式（１５）により探索
幅λ_kを求める。探索方向計算部２３と探索幅計算部２
４により実行される学習により、最終的に学習結果Φ＝
（ｃ₀，ｃ₁，…，ｃ_k1 ，ｗ₁₁，…，ｗ_kn）が得られ
る。

【０１７９】次にこれらの学習結果として取得した解を
学習結果選択部３００により、以下の表に示すように、
ｈ＝２でＭＤＬ値が最小になり、正しい中間ユニット数
を発見できたことが分かる。また、このとき１００回全
ての試行が最適解に収束した。

【０１８０】

【表２】

【０１８１】

【表３】

【０１８２】発見した法則はｙ＝2.000 ＋3.00ｘ₁ ^1.000ｘ₂ ^1.000＋4.000 ｘ₃ ^1.000ｘ
₄ ^1.000ｘ₅ ^1.000 である。但し、各値を小数点第４位まで四捨五入した。
上記の表により本発明は元の法則を完全に復元できたこ
とが分かる。ここで、各試行の平均反復回数は９３．７
回、平均処理時間は０．８７８秒であり、この実験に要
した全処理時間は４．４分であった。・修正問題整数指数でない場合での本発明の有効性を評価するた
め、（１６）式の代わりに、ｙ＝２＋３ｘ₁ ^-1ｘ₂ ³＋４ｘ₃ｘ₄ ^1/2ｘ₅ ^-1/3 （１７）を用いて実験を行なった。但し、実験の条件はオリジナ
ル問題のときと全て同じとした。結果を表３に示す。発
見した法則はｙ＝2.000 ＋3.00ｘ₁ ^-1.000ｘ₂ ^3.000＋4.000 ｘ₃ ^1.000
ｘ₄ ^0.500ｘ₅ ^-0.333 である。これは（１７）式と等価である。既存法では、
適切な関数を用意しなければ、このような法則を発見で
きないので、既存法と比べて、本発明には重要な長所が
あることが示された。

【０１８３】

【表４】

【０１８４】

【表５】

【０１８５】・ノイズ許容性本発明のノイズ許容性を評価するため、（１６）式、ま
たは、（１７）式で計算する各ｙの値に、平均０、分散
０．１の正規分布に基づく独立なノイズを与えて実験を
行なった。但し、これ以外の実験の条件は、以前のもの
と全て同じとした。結果を表４と表５に示す。最小のＭ
ＳＥ値はｈ＝３のときであるが、最良のＭＤＬ値はｈ＝
２のときであり、いずれの問題でも、正しい中間ユニッ
ト数を発見できた。オリジナルと修正問題で本発明が発
見した法則はｙ＝1.968 ＋3.028 ｘ₁ ^1.000ｘ₂ ^0.969ｘ₄ ^-0.007ｘ₅
^-0.007ｘ₆ ^0.004ｘ₇ ^0.008ｘ₈ ^-0.007ｘ₉ ^0.001＋3.880 ｘ
₁ ^-0.027ｘ₂ ^-0.014ｘ₃ ^1.025ｘ₄ ^0.995ｘ₅ ^1.048ｘ₆
^-0.008ｘ₇ ^-0.020ｘ₈ ^0.010ｘ₉ ^-0.014 ｙ＝2.012 ＋3.004 ｘ₁ ^-1.000ｘ₂ ^3.001ｘ₆ ^-0.001ｘ₇
^0.001＋3.983 ｘ₁ ^0.002ｘ₂ ^-0.003ｘ₃ ^1.022ｘ₄ ^0.500ｘ₅
^-0.333ｘ₆ ^-0.005ｘ₇ ^-0.002ｘ₈ ^0.003ｘ₉ ^-0.007 である。各値を小数点第２位で四捨五入した結果はｙ＝ 2.0＋ 3.0ｘ₁ ^1.0ｘ₂ ^1.0＋ 3.9ｘ₃ ^1.0ｘ₄ ^1.0ｘ₅ ^1.0 ｙ＝ 2.0＋ 3.0ｘ₁ ^-1.0ｘ₂ ^3.0＋ 4.0ｘ₃ ^1.0ｘ₄ ^0.5ｘ₅
^-0.3 となる。ほんの一部が異なるだけで、元の法則とほぼ等
価な法則を発見できた。このことは、本発明では頑健
で、ある程度のノイズを許容できることを示している。・学習効果の評価ここでは、本発明における学習法の効率を評価する。

【０１８６】まず、本発明とＢＰとの比較をした場合を
説明する。学習効率をグラフィカルに評価するため、２
変数からなる人工問題を作成した。法則の一般形をｙ＝ｘ^w1＋ｗ₂ （１８）とし、（ｗ₁，ｗ₂）＝（０．４，０．２）で真の法則
を与え、各事例の変数ｘ ^(t)は｛０．１，０．２，０．
３，０．４，０．５｝の各要素とし、目標出力値ｙ^(t)
は（１８）式に真のパラメータを代入して各ｘ^(t)から
計算した。すなわち、最小値は真のパラメータの値で与
えられる。実験では、オフライン（ｏｆｆ−ｌｉｎｅ）
ＢＰ、オンライン（ｏｎ−ｌｉｎｅ）ＢＰ、慣性項付き
（ｍｏｍｅｎｔｕｍｔｅｒｍ）ＢＰ、および、本学習
法を比較した。

【０１８７】誤差曲面上において、（ｗ₁，ｗ₂）＝
（０．０，０．０）を初期値とし、最大で１００反復さ
せた学習軌跡を図２１に示す。但し、同図の学習定数や
慣性項の係数は試行錯誤で決定した。同図より、オフラ
インＢＰ、オンラインＢＰ、および、慣性項付きＢＰで
は、初期値を比較的最小値の近くに設定したにもかかわ
らず、１００反復では最小値に到達できなかった。この
理由は、谷底近くでは、連続する２つの勾配ベクトルの
方向がほぼ逆向きになるためであり、これは１次学習ア
ルゴリズムの本質的な問題点である。なお、オンライン
ＢＰの１反復は、全ての事例を用いたｍ（５）回の結合
重みの更新であり、また、学習定数ηを大きくすれば、
ＢＰの学習軌跡は大きく振動する。一方、本学習法で
は、十数反復で効率良く最小値に到達できた。さらに、
提案法には試行錯誤で決定するパラメータがないので、
一般の問題への適用が容易となる。

【０１８８】次に、本発明と適応型ＢＰとを比較した場
合を説明する。ノイズありのＳｕｔｔｏｎ−Ｍａｔｈｅ
ｕｓのオリジナルと修正問題を用いて、本学習法の効率
を評価した。この実験では、標準的なＢＰでは、すべて
の試行が収束しなかったので、Ｓｉｌｖａ−Ａｌｍｅｉ
ｄａの学習定数適応規則を用いた適応型（ａｄａｐｔｉ
ｖｅ）ＢＰと比較した。なお、適応型ＢＰでは、ｋ反復
目の各結合重みφ_iに対する学習定数η_kiは

【０１８９】

【数３７】

【０１９０】で調整される。ここで、パラメータｕは提
案者が推奨するように１．１に設定した。但し、目的関
数の値が減少しないときには、全ての学習定数の値はそ
の半分の値に設定される。実験結果を図２２に示す。但
し、同図の値は１００回の試行の平均である。図２２
（ａ）では、ノイズありオリジナル問題において、１反
復の処理時間と収束までに要した反復回数の関係を示
す。同図より、適応型ＢＰの１反復の処理時間は提案法
より僅かに少ないが、適応型ＢＰの反復回数は提案法の
１６．１であり、全体では、提案法は適応型ＢＰより１
１．４倍速いことが分かる。図２２（ｂ）では、ノイズ
ありオリジナル問題において、ＭＤＬ値による収束性を
比較する。明らかに、提案法の収束性は適応型ＢＰより
優れている。

【０１９１】図２３では、ノイズあり修正問題におい
て、ＭＤＬ値による収束性を比較する。この問題では、
適応型ＢＰの全ての試行が収束しなかった。適応型ＢＰ
がノイズあり修正問題をうまく学習できなかった理由に
ついては、目標値ｙ^(t)関する基本統計量がヒントを与
える。今回の実験では、ノイズありオリジナル問題での
平均と標準偏差は３．３３と０．９０であったが、ノイ
ズあり修正問題では、１９．４０と６０．９５であっ
た。これは、結合重みベクトルが変化すると、オリジナ
ル問題と比較して、修正問題での勾配ベクトルがより急
激に変化することを意味する。これが適応型ＢＰでは学
習できなかった理由であると考える。・現実データへの適用（既知法則）図２４は、本発明の一実施例の現実データへの適用例に
おける比較を示す図である。現実データとして、Ｈａｇ
ｅｎ−Ｒｕｂｅｎｓの法則、Ｋｅｐｌｅｒの第３法則、
および、Ｂｏｙｌｅの法則に従うデータを用いた実験を
行なった。この実験では、各データの事例数は少ないの
で、中間ユニット数を１に固定した。なお、この場合で
も、定数項ｃ₀を考慮するので、その学習は単純な回帰
問題に帰着されない。以下の結果は１０回の試行でＭＤ
Ｌ値を最小にしたものであり、各値は小数点第３位で四
捨五入した。・Ｈａｇｅｎ−Ｒｕｂｅｎｓの法則Ｈａｇｅｎ−Ｒｕｂｅｎｓの法則は金属の電気伝導度
σ、入射光の周波数ν、および、金属の光の反射率Ｒの
関係であり、元の法則は

【０１９２】

【数３８】

【０１９３】である。９事例から発見した法則はＲ＝１．００−２．０８ν^0.57σ^-0.57 となった。データには、元の法則からかなり外れた事例
も含まれるが、元の法則と類似した法則を発見できた。［ニューラルネット学習装置を適用した実施例］次に、
本発明のニューラルネットワークの学習装置における実
施例を説明する。

【０１９４】本発明の評価のため、ｙ＝（１−ｘ＋２ｘ
²）ｅ^-0.5x2を学習する問題を用いる。事例について
は、入力変数ｘには［−４，４］の範囲でランダムな値
を与え、対応するｙの値をｘより計算した。ただし、各
ｙの値には、平均０、標準偏差０．２の正規分布に基づ
く独立なノイズを与えた。また、事例の総数は３０と
し、中間ユニット数は５に設定した。図２５に、訓練事
例、真の関数、および、正規化項なしの学習結果を示
す。この学習結果は訓練事例にある程度過剰適合してい
ることが分かる。

【０１９５】適用例では、まず、設定部２１００におい
て、正規化係数μの初期値を２⁰、その下限値を２^-19
に設定する。次いで、初期化部２２１０において、各結
合重みの初期値を、平均０、標準偏差０．１の正規分布
に基づいて独立に生成する。また、停止条件判定部２２
２０では、勾配ベクトルの大きさが十分小さいとき、

【０１９６】

【数３９】

【０１９７】または、ＣＰＵ処理時間が１００秒を越え
たときに、アルゴリズムの反復を終了させる。各反復に
おいては、まず、結合重みの修正方向を計算する探索方
向計算部２２３０では、勾配ベクトルと過去の探索情報
より、探索方向を計算する。次いで、結合重みの修正幅
を計算する探索幅計算部２２４０では、探索方向ベクト
ルとニューラルネットの各ユニットの出力値より、探索
幅を計算する。そして、結合重みの更新部２２５０で
は、探索方向計算部２２３０と探索幅計算部２２４０の
結果を用いて、結合重みを更新する。

【０１９８】一方、設定部２１００では、交差検証ルー
プを制御し、ニューラルネット２５００では、１つの事
例を除いた訓練事例で学習を行い、交差検証誤差計算部
２３００では、交差検証誤差を計算する。最後に、結果
出力部２４００において、交差検証誤差が最小となるニ
ューラルネットを結果として出力する。

【０１９９】図２６に、正規化項付きの学習結果の例を
示す。μ＝２^-3では、訓練事例への適合が不十分であ
り、μ＝２^-6では、真の関数にかなり近い学習結果を得
られているが、μ＝２^-15では、ある程度訓練事例に適
合していることが分かる。図２７に、正規化項付きと
正規化項なしの学習性能を比較する。ただし、汎化誤差
は訓練事例と独立な５０００のテスト事例を用いて評価
した。正規化項付きの学習では、正規化項なしと比較し
て、適切な正規化係数において、高い汎化能力を示しな
がら、２０倍程度高速に学習が完了していることが分か
る。

【０２００】図２８に、交差検証誤差と汎化誤差を比較
する。交差検証誤差は実際より悪い評価を与えるが、両
者はほぼ同じ正規化係数で最小になっていることが分
る。よって、現実の問題では汎化誤差を知ることはでき
ないが、交差検証誤差を用いて、適切な正規化係数を得
られることが期待できる。なお、本発明は上記実施例に
限定されることなく、特許請求の範囲内において、社会
現象において発生する法則性の発見等にも適用でき、種
々、変更／応用が可能である。

【０２０１】

【発明の効果】上記のように、本発明のニューラルネッ
トの法則発見方法及び装置によれば、観測データより、
該観測データが満たす法則の発見において、法則発見を
ニューラルネットの学習問題として定式化することによ
り学習目的関数を設定し、該ニューラルネットの学習に
は、準ニュートン法をベースとし、該準ニュートン法の
探索方向を、ユーザが定義する局部性パラメータに比例
した記憶容量で計算し、該準ニュートン法の探索幅を、
探索幅に対する勾配（１次微分）と曲率（２次微分）か
らなる該学習目的関数の２次近似式の最小点として求
め、評価尺度を用いて学習結果の選択することを特徴と
するニューラルネットを用いた法則発見方法を提供する
ことにより、ある程度のノイズを含むデータからでも、
指数部が整数に制限されない一般多項式型法則や、社会
現象等における一般法則等も効率良く発見することが可
能となる。

【０２０２】また、本発明の法則発見プログラムを格納
した記憶媒体は、特殊なハードウェアを有しないワーク
ステーション装置で実現可能であるので、広範囲な情報
処理環境で容易に利用に供することができるという大き
な特徴がある。さらに、本発明の機能を実現する計算プ
ログラムは、着脱可能な記憶媒体や、別装置であるデー
タベース等に格納しておくことができ、必要に応じて読
み出し、または、取得して実行させることができるの
で、本発明の機能を有するアプリケーションソフトを容
易にパッケージ商品等にできることも顕著な効果であ
る。

【０２０３】また、本発明のニューラルネットの学習方
法及び装置及びニューラルネットの学習プログラムを格
納した記憶媒体によれば、入力ベクトルと目標出力値か
らなる事例の集合に対して、該入力ベクトルから該目標
出力値を出力可能とするニューラルネットの学習におい
て、各事例における目標出力値とニューラルネットの出
力値の自乗誤差の和の項にニューラルネットの結合重み
の自乗和を正規化係数倍した項を付加して、学習目的関
数を設定し、該ニューラルネットの学習には、準ニュー
トン法の探索方向を、ユーザが定義した局部性パラメー
タに比例した記憶容量で計算し、準ニュートン法の探索
幅を、探索幅に対する勾配（１次微分）と曲率（２次微
分）からなる学習目的関数の２次近似式の最小点として
求め、正規化係数の決定には、交差検証法で行うことに
より、訓練事例だけでなく、未知の事例に対しても信頼
性の高い出力を可能とする（高い汎化能力を有する）ニ
ューラルネットの学習を高速に実行することが可能とな
る。

【図面の簡単な説明】

【図１】本発明の法則発見方法の原理を説明するための
図である。

【図２】本発明の法則発見装置の原理構成図である。

【図３】本発明のニューラルネットの学習方法の原理を
説明するための図である。

【図４】本発明のニューラルネットの学習装置の原理構
成図である。

【図５】本発明の法則発見装置の構成図である。

【図６】本発明の法則発見処理の一連の動作のフローチ
ャートである。

【図７】本発明に用いられるニューラルネットの構造を
示す図である。

【図８】本発明の探索幅計算部の処理を説明するための
図である。

【図９】図８の入力−中間層間の結合重みと中間ユニッ
トの下半分のプログラムとデータの関連を示す図であ
る。

【図１０】図８の中間ユニットの上半分のプログラムと
データの関連を示す図である。

【図１１】図８の中間−出力層間の結合重みと出力ユニ
ットのプログラムとデータの関連を示す図である。

【図１２】図８の目標出力値とニューラルネットワーク
の出力との比較部のプログラムとデータの関連を示す図
である。

【図１３】本発明の探索方向計算部の処理を説明するた
めの図である。

【図１４】本発明のニューラルネットの学習装置の構成
図である。

【図１５】本発明のニューラルネットの学習方法の動作
を示すフローチャートである。

【図１６】本発明の交差検証誤差を最小にするニューラ
ルネットの計算処理を示す図である。

【図１７】本発明の交差検証誤差の計算処理を示す図で
ある。

【図１８】本発明の事例の誤差計算処理を示す図であ
る。

【図１９】本発明のニューラルネット学習処理の詳細を
示す図である。

【図２０】本発明の一実施例の人工データに適用した場
合における法則候補の例を示す図である。

【図２１】本発明の一実施例の学習軌跡を示す図であ
る。

【図２２】本発明の一実施例の実験結果を示す図であ
る。

【図２３】本発明の一実施例の学習結果を説明するため
の図である。

【図２４】本発明の一実施例の現実データの適用例にお
ける比較を示す図である。

【図２５】本発明の一実施例のニューラルネットの学習
における学習問題の訓練事例、真の関数及び正規化項無
しの学習結果の例である。

【図２６】本発明の一実施例の正規化項付きの学習結果
を示す図である。

【図２７】本発明の一実施例の正規化項による性能評価
を示す図である。

【図２８】本発明の一実施例の交差検証法による性能評
価を示す図である。

【符号の説明】

１０設定部２０学習部２１初期化部２２停止条件判定部２３探索方向計算部２４探索幅計算部２５結合重み更新部３０格納部３１前回の探索幅格納エリア３２前回の探索地点格納エリア３３今回の探索地点格納エリア３４前回の勾配ベクトル格納エリア３５今回の勾配ベクトル格納エリア４０ニューラルネットワーク５０学習結果選択部６０結果出力部２００出力ユニットの中間値ｚ” ２０１入力データ２０２結合重みの修正方向ベクトル値２０３中間値２０４中間ユニットの出力値２０５中間値ｖ’ ２０６中間値ｖ” ２０７結合重みベクトル値２０８結合重みの修正方向ベクトル値２０９出力ユニットの中間値ｚ’ ２１０出力ユニットの中間値ｚ” ２１１目標出力値２１２出力ユニットの出力値２１３前回の探索地点の格納エリア２１４今回の探索地点の格納エリア２１５前回の勾配ベクトルの格納エリア２１６今回の勾配ベクトルの格納エリア２１７、２１８、２２１、２２３探索情報の格納エリ
ア２１９第１回反復の探索情報の格納エリア２２０第ｋ−１回反復後の探索情報の格納エリア２２２第ｋ回反復後の探索情報の格納エリア２２４計算結果の格納エリア３００入力層４００入力−中間層間の結合重みと中間ユニットの下
半分５００中間ユニットの上半分６００中間−出力層間の結合重みと出力ユニット７００目標出力値とニューラルネットの出力との比較
部１２３１プログラムＡ１２３２プログラムＢ１２３３プログラムＣ１２４１中間ユニットの変更方向計算プログラム１２４２中間ユニットの微係数計算プログラム１２４３出力ユニットの微係数計算プログラム１２４４探索幅計算プログラム２１００学習目的関数設定手段、設定部２１３１結合重みベクトルの値２１４１修正方向ベクトルの値２１５１正規化係数の値２２００学習手段、学習制御部２２１０初期化部２２２０停止条件判定部２２３０探索方向計算部２２４０探索幅計算部２２４４探索幅計算プログラム２２５０結合重み更新部２３００正規化係数決定手段、交差検証誤差計算部２４００結果出力部２５００ニューラルネット２６００記憶装置２７００学習部３１００訓練事例集合３３００正規化係数生成処理３４００交差検証誤差計算プログラム３４１０正規化係数３４２０ニューラルネット学習処理３４３０学習結果３４４０交差検証誤差計算処理３４５０交差検証誤差３６００最小値検出処理３７００学習結果４０００ｈ番目の事例のみを分離する処理４１００交差検証誤差計算処理４１１０，４１２０事例４１３０ニューラルネット学習処理４１４０学習結果４１５０除いた事例の誤差計算処理４１６０検証誤差４２００加算平均を計算する処理４３００交差検証誤差５０００自乗誤差計算処理

Claims

【特許請求の範囲】

【請求項１】複数組の測定されたデータベクトルにお
いて、該データベクトルの任意の１つの属性を基準変
数、残りの属性群を説明変数群とし、説明変数値ベクト
ルから基準変数値を計算可能とする法則を、指数値が整
数に制限されない一般多項式として取得する法則の発見
方法において、前記法則発見をニューラルネットワークの学習問題とし
て定式化することにより学習目的関数式を設定し、準ニュートン法に基づいて、該準ニュートン法の探索方
向をユーザが定義する局部性パラメータに比例した記憶
容量で計算し、該準ニュートン法の探索幅を、該探索幅
に対する勾配と、曲率からなる前記学習目的関数の２次
近似式の最小点として求めることを繰り返すことによ
り、ニューラルネットワークの学習を行い、学習完了後のニューラルネットでの入力層及び中間層間
の各結合重みを指数値とし、該中間層及び出力層間の各
結合重みを係数値とする一般多項式の形で、前記法則を
取得することを特徴とする法則発見方法。
【請求項２】前記ニューラルネットワークに学習を行
わせる際に、前記法則を表現し得る前記説明変数の個数と等しい数の
入力ユニットからなる入力層、前記一般多項式の項数と
等しい数の中間ユニットからなる中間層及び、前記基準
変数に対応する一つの出力ユニットからなる出力層の３
層を有し、該中間層の各ユニットの活性化関数が指数関
数であるニューラルネットワークに対して、前記説明変数値ベクトルの各値を、前記入力層の各ユニ
ット値として入力し、入力ユニット値群の各データに対
し、入力層及び中間層間の結合重みで重み付けして、合
計した値に対して、前記指数関数を施した値を、前記中
間層の各中間ユニットの値として計算し、該中間ユニッ
ト値群の各データに対し、中間層及び出力層間の結合重
みで重み付けして合計した値を、前記出力層の出力ユニ
ット値として計算し、前記法則による基準変数の計算値に対応する前記ニュー
ラルネットワークの出力層の出力ユニット値と、実際の
データの基準変数値の誤差を各データについて求め、そ
の二乗和（以下、法則誤差と記す）を最小化するよう
に、前記入力層及び前記中間層の結合重みと前記中間層
及び前記出力層間の結合重みを調整することにより、前
記ニューラルネットワークを学習させる請求項１記載の
法則発見方法。
【請求項３】前記学習目的関数を設定する際に、前記ニューラルネットワークの中間層のユニット数の初
期値と、最大値を決定する請求項１記載の法則の発見方
法。
【請求項４】前記法則を取得する際に、所定の評価尺度を用いて学習結果である一般多項式の選
択を行う請求項１記載の法則の発見方法。
【請求項５】前記一般多項式を得る場合に、前記中間層のユニット数を変化させた時の、前記ニュー
ラルネットワークの学習による複数の学習結果を取得
し、前記複数の学習結果のうち、前記法則誤差と、前記ニュ
ーラルネットワークの複雑さをトレードオフする評価関
数の値が最小となる各係数と各指数（結合重み）を有し
たニューラルネットを、前記法則を表す多項式として採
用する請求項４記載の法則の発見方法。
【請求項６】前記評価尺度として、ＭＤＬ（Minimum
Description Length）基準を用いる請求項４記載の法則
の発見方法。
【請求項７】複数組の測定されたデータベクトルにお
いて、該データベクトルの任意の１つの属性を基準変
数、残りの属性群を説明変数群とし、説明変数値ベクト
ルから基準変数値を計算可能とする法則を、指数値が整
数に制限されない一般多項式として取得する法則の発見
装置において、ニューラルネットワークの学習問題として、法則発見を
定式化し、学習目的関数式として設定する目的関数設定
手段と、準ニュートン法に基づいて、該準ニュートン法の探索方
向をユーザが定義する局部性パラメータに比例した記憶
容量で計算し、該準ニュートン法の探索幅を、該探索幅
に対する勾配と、曲率からなる前記学習目的関数の２次
近似式の最小点として求めることを繰り返すことにより
ニューラルネットワークの学習を行う学習手段と、学習完了後のニューラルネットでの入力層及び中間層間
の各結合重みを指数値とし、該中間層及び出力層間の各
結合重みを係数値とする一般多項式の形で、前記法則を
取得する法則取得手段とを有することを特徴とする法則
発見装置。
【請求項８】前記学習手段に対して、前記説明変数値ベクトルの値を、前記入力層の各ユニッ
ト値として入力し、入力ユニット値群の各データに対
し、入力層及び中間層間の結合重みで重み付けして、合
計した値に対して、前記指数関数を施した値を、前記中
間層の各中間ユニットの値として計算し、該中間ユニッ
ト値群の各データに対し、中間層及び出力層間の結合重
みで重み付けして合計した値を、前記出力層の出力ユニ
ット値として計算する学習制御手段を含む請求項７記載
の法則発見装置。
【請求項９】前記学習手段は、前記結合重みの修正方向として、前記準ニュートン法の
探索方向を、ユーザにより定義された局部性のパラメー
タに比例した記憶容量で計算する探索方向計算手段と、前記結合重みの修正幅として、前記準ニュートン法の探
索幅を、該探索幅に対する勾配と曲率から計算する探索
幅計算手段と、結合重みを更新する結合重み更新手段とを含む請求項７
記載の法則発見装置。
【請求項１０】前記探索方向計算手段は、前記記憶容量が２Ｎｓ（ｓ≪Ｎ）（但し、Ｎ＝法則の定
数項、全係数、全指数の値からなるベクトルΦの次元
（パラメータ数）、ｓ＝ユーザから入力される局部性パ
ラメータ）となる小記憶ＢＦＧＳ法を用いる請求項９記
載の法則発見装置。
【請求項１１】前記探索幅計算手段は、前記勾配を一次微分より求め、前記曲率を二次微分によ
り求める手段を含む請求項９記載の法則発見装置。
【請求項１２】前記法則取得手段は、評価尺度の値が最小となる各係数と各指数を有した学習
結果（ニューラルネット）を選択する学習結果選択手段
を含む請求項７記載の法則発見装置。
【請求項１３】前記学習結果選択手段は、前記評価尺度として、ＭＤＬ（Minimum Description Le
ngth）基準を用いる請求項７記載の法則の発見装置。
【請求項１４】少なくとも、前記学習手段による前記
ニューラルネットワークの中間出力結果、及び前記選択
された学習結果、前記学習目的関数設定手段により設定
された学習目的関数式、各手段を動作させるためのプロ
グラムを格納する記憶手段を更に有する請求項７記載の
法則発見装置。
【請求項１５】複数組の測定されたデータベクトルに
おいて、該データベクトルの任意の１つの属性を基準変
数、残りの属性群を説明変数群とし、説明変数値ベクト
ルから基準変数値を計算可能とする法則を、指数値が整
数に制限されない一般多項式として取得する法則発見プ
ログラムを格納した記憶媒体であって、前記法則発見をニューラルネットワークの学習問題とし
て定式化することにより学習目的関数式を設定する定式
化プロセスと、準ニュートン法に基づいて、該準ニュートン法の探索方
向をユーザが定義する局部性パラメータに比例した記憶
容量で計算し、該準ニュートン法の探索幅を、該探索幅
に対する勾配と、曲率からなる前記学習目的関数の２次
近似式の最小点として求めることを繰り返すことによ
り、ニューラルネットワークの学習を行う学習プロセス
と、学習完了後のニューラルネットでの入力層及び中間層間
の各結合重みを指数値とし、該中間層及び出力層間の各
結合重みを係数値とする一般多項式の形で、前記法則を
取得する法則取得プロセスとを有することを特徴とする
法則発見プログラムを格納した記憶媒体。
【請求項１６】前記学習プロセスは、前記ニューラルネットワークに学習を行わせる際に、前記法則を表現し得る前記説明変数の個数と等しい数の
入力ユニットからなる入力層、前記一般多項式の項数と
等しい数の中間ユニットからなる中間層及び、前記基準
変数に対応する一つの出力ユニットからなる出力層の３
層を有し、該中間層の各ユニットの活性化関数が指数関
数であるニューラルネットワークに対して、前記説明変
数値ベクトルの各値を、前記入力層の各ユニット値とし
て入力させる入力プロセスと、入力ユニット値群の各データに対し、入力層及び中間層
間の結合重みで重み付けして、合計した値に対して、前
記指数関数を施した値を、前記中間層の各中間ユニット
の値として計算し、該中間ユニット値群の各データに対
し、中間層及び出力層間の結合重みで重み付けして合計
した値を、前記出力層の出力ユニット値として計算する
出力ユニット計算プロセスと、前記法則による基準変数の計算値に対応する前記ニュー
ラルネットワークの出力層の出力ユニット値と、実際の
データの基準変数値の誤差を各データについて求め、そ
の二乗和（以下、法則誤差と記す）を最小化するよう
に、前記入力層及び前記中間層の結合重みと前記中間層
及び前記出力層間の結合重みを調整することにより、前
記ニューラルネットワークを学習させる重み調整プロセ
スとを含む請求項１５記載の法則発見プログラムを格納
した記憶媒体。
【請求項１７】前記定式化プロセスは、前記学習目的関数を設定する際に、前記ニューラルネットワークの中間層のユニット数の初
期値と、最大値を決定するプロセスを含む請求項１５記
載の法則発見プログラムを格納した記憶媒体。
【請求項１８】前記法則取得プロセスは、前記法則を取得する際に、所定の評価尺度を用いて学習結果である一般多項式の選
択を行う多項式選択プロセスを含む請求項１５記載の法
則発見プログラムを格納した記憶媒体。
【請求項１９】前記多項式選択プロセスは、前記一般多項式を得る場合に、前記中間層のユニット数を変化させた時の、前記ニュー
ラルネットワークの学習による複数の学習結果を取得
し、前記複数の学習結果のうち、前記法則誤差と、前記ニュ
ーラルネットワークの複雑さをトレードオフする評価関
数の値が最小となる各係数と各指数（結合重み）を有し
たニューラルネットを、前記法則を表す多項式として採
用するプロセスを含む請求項１８記載の法則発見プログ
ラムを格納した記憶媒体。
【請求項２０】前記多項式選択プロセスは、前記評価尺度として、ＭＤＬ（Minimum Description Le
ngth）基準を用いる請求項１８記載の法則発見プログラ
ムを格納した記憶媒体。
【請求項２１】準ニュートン法に基づいて、該準ニュ
ートン法の探索方向をユーザが定義する局部性パラメー
タに比例した記憶容量で計算し、該準ニュートン法の探
索幅を、該探索幅に対する勾配と、曲率からなる学習目
的関数の２次近似式の最小点として求めることを繰り返
すことによりニューラルネットワークの学習を行う学習
プロセスと、学習プロセスの完了後のニューラルネットでの入力層及
び中間層間の各結合重みを指数値とし、該中間層及び出
力層間の各結合重みを係数値とする一般多項式の形で、
法則を取得する法則取得プロセスと、法則取得プロセスにより呼び出される、評価尺度とし
て、ＭＤＬ基準を用いる学習結果選択プロセスと、測定されたデータベクトルを表現するデータの入力を促
す第１の入力プロセスと、前記学習プロセスに用いる学習目的関数での中間ユニッ
ト数（項数）の初期値と最大値の入力を促す第２の入力
プロセスと、前記学習プロセスに用いる前記局部性パラメータの入力
を促す第３の入力プロセスと、前記法則取得プロセスにより取得して法則を出力する出
力プロセスからなる法則発見プログラムを格納した記憶
媒体。
【請求項２２】前記記憶媒体は、脱着可能な媒体、ＣＰＵ内に内蔵されるメモリ、ネット
ワークを介して取得したプログラムモジュールを格納す
るディスク装置を含む外部記憶媒体を含む請求項２１記
載の法則発見プログラムを格納した記憶媒体。
【請求項２３】入力ベクトルと目標出力値からなる事
例に対して、該入力ベクトルから該目標出力値を出力可
能とするニューラルネットの学習方法において、各事例における目標出力値とニューラルネットの出力値
の自乗誤差の和の項に、該ニューラルネットの結合重み
の自乗和を正規化係数倍した項を付加して、学習目的関
数を設定し、２次学習法を用いて、前記ニューラルネットの学習を行
うことを特徴とするニューラルネットの学習方法。
【請求項２４】前記正規化係数を決定する際に、交差
検証法を用いる請求項２３記載のニューラルネットの学
習方法。
【請求項２５】前記２次学習法として、準ニュートン法に基づいて、該準ニュートン法の探索方
向を、ユーザが提示する局部性パラメータに比例した記
憶容量で計算し、前記準ニュートン法の探索幅を、該探索幅に対する勾配
（１次微分）と曲率（２次微分）からなる前記学習目的
関数の２次近似式の最小点として求める方法を用いる請
求項２３記載のニューラルネットの学習方法。
【請求項２６】入力ベクトルと目標出力値からなる事
例の集合に対して、該入力ベクトルから該目標出力値を
出力可能とするニューラルネットの学習装置であって、各事例における目標出力値とニューラルネットの出力値
の自乗誤差の和の項に、ニューラルネットの結合重みの
自乗和を正規化係数倍した項を付加して、学習目的関数
を設定する学習目的関数設定手段と、２次学習法を用いてニューラルネットの学習を行う学習
手段とを有することを特徴とするニューラルネットの学
習装置。
【請求項２７】前記学習目的関数設定手段は、前記正規化係数を決定する際に、交差検証法を用いる正
規化係数決定手段を含む請求項２６記載のニューラルネ
ットの学習装置。
【請求項２８】前記学習手段は、準ニュートン法に基づいて、該準ニュートン法の探索方
向を、ユーザにより定義された局部性パラメータに比例
した記憶容量で計算する探索方向計算手段と、前記準ニュートン法の探索幅を、該探索幅に対する勾配
（１次微分）と曲率（２次微分）からなる学習目的関数
の２次近似式の最小点として求める探索幅計算手段とを
含む請求項２６記載のニューラルネットの学習装置。
【請求項２９】入力ベクトルと目標出力値からなる事
例に対して、該入力ベクトルから該目標出力値を出力可
能とするニューラルネットの学習プログラムを格納した
記憶媒体であって、各事例における目標出力値とニューラルネットの出力値
の自乗誤差の和の項に、該ニューラルネットの結合重み
の自乗和を正規化係数倍した項を付加して、学習目的関
数を設定する学習目的関数設定プロセスと、２次学習法を用いて、前記ニューラルネットの学習を行
う学習プロセスとを有することを特徴とするニューラル
ネットの学習プログラムを格納した記憶媒体。
【請求項３０】前記学習目的関数設定プロセスは、前記正規化係数を決定する際に、交差検証法を用いる請
求項２９記載のニューラルネットの学習プログラムを格
納した記憶媒体。
【請求項３１】前記学習プロセスは、前記２次学習法として、準ニュートン法に基づいて、該準ニュートン法の探索方
向を、ユーザが提示する局部性パラメータに比例した記
憶容量で計算し、前記準ニュートン法の探索幅を、該探索幅に対する勾配
（１次微分）と曲率（２次微分）からなる前記学習目的
関数の２次近似式の最小点として求める方法を用いる請
求項３０記載のニューラルネットの学習プログラムを格
納した記憶媒体。