JPH10198645A

JPH10198645A - ニューラルネット学習方法及び装置

Info

Publication number: JPH10198645A
Application number: JP97097A
Authority: JP
Inventors: Kazumi Saito; 和巳斉藤
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1997-01-07
Filing date: 1997-01-07
Publication date: 1998-07-31

Abstract

(57)【要約】【課題】訓練事例のみならず、未知の事例に対しても
信頼性の高い出力を可能とするニューラルネットの学習
を自動的に実行することが可能な最小記述長原理に基づ
くニューラルネット学習方法及びシステムを提供する。【解決手段】本発明は、各事例における目標出力値
とニューラルネットの出力値の自乗誤差の和を最小にす
る結合重みベクトルを、２次学習法を用いて求め、全事
例の目標出力値を符号化したときの記述長を最小化する
ように結合重みベクトルの精度を丸めるとき、丸め結合
重みバクトルを連続近似させ、最小化問題を正規化項付
きニューラルネットの学習問題として目的関数を設定
し、目的関数を２次学習法を用いて学習する第３の過程
からなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、最小記述長原理に
基づくニューラルネット学習方法及び装置に係り、特
に、音声処理、画像処理、または、運動制御等の広い分
野において必要となる関数近似問題において、訓練事例
だけでなく、未知の事例に対しても信頼性の高い出力を
可能とする（高い汎化能力を有する）ニューラルネット
の学習を実行するための最小記述長原理に基づくニュー
ラルネット学習方法及び装置に関する。

【０００２】

【従来の技術】従来において、ニューラルネットの学習
結果の汎化能力を向上させるための方法として、例え
ば、正規化項を用いる方法として『C.M. Bishop: "Neur
al networks for pattern recognition", Clarendon Pr
ess (1995)』がある。これは、学習目的関数に、訓練事
例に関する誤差項だけでなく、結合重みの値が大きくな
ることを抑制するペナリティを付加する方法であり、多
くの場合、汎化能力の高いニューラルネットを得られる
ことが観測されているが、ペナルティの強さを制御する
正規化係数を適切に設定しなければならない。その正規
化係数の決定には、交差検証法『M.Stone:"Cross-valid
ation: A review", Operationsforsch, Statist, Ser.
Statistics B 9(1):111-147 (1978)』または、ベイズ学
習法『D.J.C.MacKay:"Bayesian interpolation", Neura
l Computation 4(3):415-447(1992)』が用いられてい
る。交差検証法は、予め正規化係数の候補を複数用意
し、訓練事例の一部を学習に用いずテストに用いてその
誤差が最小になる正規化係数を選択する方法である。ベ
イズ学習法は、結合重みに関する事前分布を仮定し、こ
の分布を用いた事後確率を最大にすることにより、正規
化係数を求める。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
方法には、以下のような問題がある。一般の問題におい
て、望ましい学習結果を効率良く得ることは困難であ
る。即ち、交差検証法による正規化係数の決定には、多
数のニューラルネットの学習が必要であり、問題の規模
がある程度大きくなれば、現実的な計算時間で結果を得
ることは困難になる。

【０００４】一方、ベイズ学習法では、結合重みに関す
る事例分布を仮定することにより、正規化係数を自動決
定可能であるが、一般の問題において、その事前分布を
予め知ることができないという問題がある。本発明は、
上記の点に鑑みなされたもので、上記従来の問題点を解
決し、訓練事例のみならず、未知の事例に対しても信頼
性の高い出力を可能とするニューラルネットの学習を自
動的に実行することが可能な最小記述長原理に基づくニ
ューラルネット学習方法及び装置を提供することを目的
とする。

【０００５】

【課題を解決するための手段】図１は、本発明の原理を
説明するための図である。本発明は、入力ベクトルと目
標出力値からなる事例集合に対して、該入力ベクトルか
ら該目標出力値を出力可能とするニューラルネット学習
方法において、各事例における目標出力値とニューラル
ネットの出力値の自乗誤差の和を最小にする結合重みベ
クトルを、２次学習法を用いて求め（ステップ１）、全
事例の目標出力値を符号化したときの記述長を最小化す
るように結合重みベクトルの精度を丸めるとき、丸め結
合重みバクトルを連続近似させ、最小化問題を正規化項
付きニューラルネットの学習問題として目的関数を設定
し（ステップ２）、目的関数を２次学習法を用いて学習
する第３の過程からなる（ステップ３）。

【０００６】また、本発明は、上記のステップ１とステ
ップ３において、２次学習法として、準ニュートン法に
基づいて、該準ニュートン法の探索方向を、ユーザが定
義する局部性パラメータに比例した記憶容量で計算し、
該ニュートン法の探索幅を、探索幅に対する勾配（１次
微分）と曲率（２次微分）からなる学習目的関数の２次
近似式の最小点として求める。

【０００７】図２は、本発明の原理構成図である。本発
明は、入力ベクトルと目標出力値からなる事例の集合
と、該入力ベクトルから該目標出力値を出力可能とする
学習手段とを有するニューラルネット学習装置であっ
て、事例の集合中の各事例における目標出力値とニュー
ラルネットの出力値の自乗誤差の和を最小にする最尤結
合重みベクトルを、２次学習法を用いて求める第１の学
習手段１０と、事例の集合の全事例の目標出力値を符号
化したときの記述長を最小にするように結合重みベクト
ルの精度を丸めるとき、丸め結合重みベクトルを連続近
似させて、最小化問題を正規化項付きニューラルネット
の学習問題として目的関数を設定する目的関数設定手段
２０と、目的関数を２次学習法を用いて学習し、最終的
な結合重みベクトルを取得する第２の学習手段３０とを
有する。

【０００８】また、上記の第１の学習手段１０及び第２
の学習手段３０は、２次学習法として、準ニュートン法
に基づいて、該ニュートン法の探索方向を、ユーザが定
義する局部性パラメータに比例した記憶容量で計算する
探索方向計算手段と、準ニュートン法の探索幅を探索幅
に対する勾配（１次微分）と曲率（２次微分）からなる
該学習目的関数の２次近似式の最小点として求める探索
幅計算手段と、探索方向計算手段と、探索幅計算手段に
より取得した値に基づいて結合重みを更新する結合重み
更新手段を含む。

【０００９】このように、上記の第１の学習手段では、
準ニュートン法に基づいた２次学習法を用いることによ
り、目標出力値とニューラルネットの出力値の自乗誤差
の和を最小にした最尤結合重みベクトルを取得すること
が可能である。これにより、少ない計算量と妥当な記憶
容量で高品質の解が得られることである。

【００１０】さらに、目的関数設定手段では、丸め結合
重みベクトルを連続近似させて、最小化問題を正規化項
付きニューラルネットの学習問題として目的関数を設定
することにより、最少化問題を記述長最小化評価尺度を
用いて目的関数を得ることが可能となる。これにより、
多数のニューラルネットの学習が不要となり、かつ、結
合重みに関する事前分布を仮定することなしに、正規化
係数が求まることである。

【００１１】そして、第２の学習手段において、目的関
数設定手段により得られた目的関数を用いて２次学習を
行うことにより、２次学習の探索方向を準ニュートン法
におけるユーザが定義する局部性パラメータに比例した
記憶容量で計算し、探索幅を学習目的関数の２次近似式
の最小点として求めることにより、探索方向と探索幅か
ら丸め結合重みベクトルを求める。これにより、第１の
学習手段と同様に、少ない計算量と妥当な記憶容量で高
品質の解が得られる。

【００１２】このようにして、求められた結合重みベク
トルは、最尤結合重みベクトルよりかなり高い汎化結果
を得ることができる。

【００１３】

【発明の実施の形態】図３は、本発明のニューラルネッ
ト学習装置の構成を示す。同図に示すニューラルネット
学習装置は、学習部１０と定式化部２０から構成され
る。学習部１０は、探索方向計算部１３と探索幅計算部
１４から構成され、準ニュートン法に基づいて学習を行
う。定式化部２０は、最小記述長原理に基づいて、結合
重みベクトルの精度を丸めるとき、丸め結合重みバクト
ルを連続近似させ、最小化問題を正規化項付きニューラ
ルネットの学習問題として目的関数を設定し、学習部１
０にフィードバックする。

【００１４】学習部１０における学習目的関数の設定に
ついて説明する。学習目的関数を設定において、まず、
問題の枠組について説明する。｛（ｘ₁，ｙ₁），…，（ｘ_m，ｙ_m）｝を事例集合とし、そのうち、ｘ_iをニューラルネットへ
のｎ次元入力ベクトルとし、ｙ_iをニューラルネットか
らの目標出力値とする。また、３層ニューラルネットに
おいて、ｈを中間ユニット数、ｗ_j（ｊ＝１，…，ｈ）
を全入力ユニットから中間ユニットへの結合重み、ｗ₀
＝（ｗ₀₀，…，ｗ_0h）^Tを全中間ユニットから出力ユニ
ットへの結合重みとする。ここで、ｗ_j0はバイアスであ
り、ｘ_t0＝１とする。但し、ａ^Tは、ベクトルａの転置
ベクトルを表す。以下では、全結合重み（ｗ₀，…，ｗ
_h）をΦ＝（φ₁，…，φ_N）^Tで表し、Φの次元をＮ（＝ｈ（ｎ＋２）＋１）とする。このとき、３層ニューラルネットの出力は以下
となる。

【００１５】

【数１】

【００１６】いま、各目標出力値ｙは、平均０と未知の
標準偏差σに従うガウスノイズが含まれていると仮定す
る。このとき、ニューラルネットの学習は、以下の対数
尤度を最大化する最尤推定問題として定式化できる。

【００１７】

【数２】

【００１８】ここで、式（２）を最大にする最尤結合重
みベクトル

【００１９】

【数３】

【００２０】は、目標出力値とニューラルネットの出力
値の自乗誤差の和を最小にする。これにより、２次学習
法を用いて目標出力値とニューラルネットの出力値の自
乗誤差の和を最小にする結合重みベクトルを求めること
ができる。学習部１０は、この最尤結合重みベクトルを
定式化部２０に渡す。

【００２１】次に、定式化部２０における最小記述長原
理に基づく正規化法について説明する。最小記述長原理
の直感的な考え方は、送信者が最小記述長で受信者にメ
ッセージを送る通信問題として説明できる。但し、関数
近似問題は与えられた入力データから出力データを推定
する問題なので、受信者は、既に入力データを得ている
と仮定し、出力データだけの送信について考える。

【００２２】いま、まず学習後の結合重みベクトルを送
るとすれば、受信者は出力データの近似データを知るこ
とができる。よって、近似データと出力データの差分値
ベクトルを送るだけで、受信者は完全な出力データを受
信することができる。最尤結合重みベクトル

【００２３】

【数４】

【００２４】を用いれば、差分値ベクトルは、

【００２５】

【数５】

【００２６】のメッセージ長で最適に符号化できるが、
一方、最尤結合重みベクトルを符号化するメッセージに
は多くのビット数が必要となる。これら２つのメッセー
ジ長の妥協点を得るため、最尤結合重みベクトル

【００２７】

【数６】

【００２８】に対して丸め結合重みベクトル

【００２９】

【数７】

【００３０】を用いた、以下の記述長最小化評価尺度が
提案されている。

【００３１】

【数８】

【００３２】実際、より丸めた結合重みベクトルを用い
れば、第２項の値は小さくなるが、一方、丸め結合重み
ベクトルと最尤結合重みベクトルの違いが大きくなるの
で、第１項の値は一般に大きくなる。以下では、前述の
記述長最小化評価尺度の式（３）に基づいて、新たな正
規化技術を提案する。任意の丸め結合ベクトル

【００３３】

【数９】

【００３４】に対して、あるＮ次元ベクトルｕ＝（ｕ₁，…，ｕ_N）^T が存在して、

【００３５】

【数１０】

【００３６】が成立する。ここで、ｆ（ｕ_k）はシグモ
イド関数

【００３７】

【数１１】

【００３８】を表し、０＜ｆ（ｕ_k）＜１である。逆
に、任意のベクトルｕに対して

【００３９】

【数１２】

【００４０】は、適当な丸め結合ベクトル

【００４１】

【数１３】

【００４２】の１つの近似を与える。よって、以下の評
価尺度は式（３）の連続近似となる。

【００４３】

【数１４】

【００４４】但し、第４項

【００４５】

【数１５】

【００４６】は、定数であり、最小化とは無関係であ
る。なお、直接式（３）を

【００４７】

【数１６】

【００４８】について最小化するためには、常に

【００４９】

【数１７】

【００５０】が、

【００５１】

【数１８】

【００５２】の丸めベクトルとなることを保証しなけれ
ばならないので、解くことが困難な制約付き最小化問題
になると考えられる。式（４）で定義した最小化問題に
は、２種類のパラメータｕとσ²が存在するので、座標
降下（coordinate descent) 法を採用する。即ち、ｕを
固定して、式（４）をσ²について微分して０とおけ
ば、最小値を与えるσ²の値は以下のようになる。

【００５３】

【数１９】

【００５４】逆に、σ²を固定して、最小化と独立な項
を無視してσ²を乗ずれば式（４）は、以下の目的関数
の最少化問題に変形できる。

【００５５】

【数２０】

【００５６】但し、

【００５７】

【数２１】

【００５８】ここで、Ｆ₂（ｕ）のｕ_iについての２回
微分は常に正となることは以下よりわかる。

【００５９】

【数２２】

【００６０】従って、式（６）の第２項は、正規化項と
見なすことができる。ここで、正規化係数は（５）で自
動的に決定される。次に、定式化部２０からのフィード
バック情報に基づいて実行される学習部１０における準
ニュートン法に基づく２次学習アルゴリズムについて説
明する。

【００６１】前述の式（６）で定義した目的関数を最小
化するために、本発明では、準ニュートン法に基づく２
次学習アルゴリズムＢＰＱを用いる。ＢＰＱは、探索方
向ベクトルΔｕを小記憶ＢＦＧＳ法で計算し、妥当な精
度の探索幅λを目的関数の２次近似の最小点として計算
する。

【００６２】まず、探索方向ベクトルは、勾配ベクトル
より、小記憶ＢＦＧＳ法を直接適応して計算できる。こ
こで、式（６）のｕ_iについての微分は以下の式で計算
できる。

【００６３】

【数２３】

【００６４】但し、

【００６５】

【数２４】

【００６６】は、標準的なバックプロパゲーション法で
計算できる。探索幅計算法を説明するために、次式で定
義される“Pearlmutter ”のオペレータを用いる。

【００６７】

【数２５】

【００６８】このとき、

【００６９】

【数２６】

【００７０】ならば、目的関数の２次近似に対する最小
点は、

【００７１】

【数２７】

【００７２】で計算できる。式（６）で定義された目的
関数では、以下のようにして１次微分を計算できる。

【００７３】

【数２８】

【００７４】一方、２次微分は以下のように計算でき
る。

【００７５】

【数２９】

【００７６】ここで、

【００７７】

【数３０】

【００７８】を探索方向と見なすことにより、

【００７９】

【数３１】

【００８０】は標準的なニューラルネットの２次部分と
して計算できる。従って、以下の値を用いて、探索幅を
２次近似の最小点として効率良く計算できることが分か
る。

【００８１】

【数３２】

【００８２】上述の座標項化法では、式（６）で定義し
た目的関数の最小化過程の任意の時点で、式（５）によ
るσ²の更新を実行することができる。しかし、ＢＰＱ
は準ニュートン法に基づいているので、最も良い機会
は、探索過程で得た探索情報を捨て、ヘス（Hess）逆行
列の更新を再開始するときであると考えられる。以下、
ｓを小記憶ＢＦＧＳ法で用いる局部性パラメータとす
る。

【００８３】

【実施例】以下、本発明の実施例を図面と共に説明す
る。図４は、本発明の一実施例のニューラルネット学習
装置の構成を示す。前述の図３の構成においては、１つ
の学習部１０で最尤結合重みベクトルと最終結果の結合
重みベクトルの双方を求めるような構成を示している
が、説明の明瞭化のため、本実施例では、最尤結合重み
ベクトルを得るための学習を行う第１の学習部１０と最
終結果の結合重みベクトルを得るための学習を行う第２
の学習部３０に分けて説明する。

【００８４】同図に示すニューラルネット学習装置は、
第１の学習部１０、定式化部２０及び第３の学習部３０
から構成される。第１の学習部１０は、事例を読み込み
結合重みの初期化を行う第１の初期化部１１、所定の条
件を満たせば学習のループを停止させ、求められた最尤
結合重みベクトルを定式化部２０に送る第１の停止条件
判定部１２、結合重みの修正方向を計算する第１の探索
方向計算部１３、結合重みの修正幅を計算する第１の探
索幅計算部１４及び結合重みを更新する第１の結合重み
更新部１５より構成される。

【００８５】定式化部２０は、第１の学習部１０から取
得した最尤結合重みベクトルに対する最小記述長原理に
基づく学習目的関数を設定する。第２の学習部３０は、
丸めベクトルの初期化を行う第２の初期化部３１、所定
の条件を満たせば学習のループを停止させ、結果を出力
する第２の停止条件判定部３２、丸めベクトルの修正方
向を計算する第２の探索方向計算部３３、丸めベクトル
の修正幅を計算する第２の探索幅計算部３４、丸めベク
トルを更新する第２の結合重み計算部３５及び所定の条
件に基づいて分散を更新する分散更新部３６から構成さ
れる。

【００８６】図５は、本発明の一実施例のニューラルネ
ット学習の動作のフローチャートである。ステップ１０１）第１の学習部１０の第１の初期化部
１１は、入力ベクトルと目標出力値からなる事例集合が
入力されると、最尤結合重みベクトルのパラメータΦを
初期化する。

【００８７】ステップ１０２）第１の停止条件判定部
１２は、停止条件（所定の勾配ベクトル）を満たす場合
には、ステップ１０６に移行する。ステップ１０３）第１の探索方向計算部１３は、探索
方向ベクトルをユーザが定義する局部性パラメータに比
例した記憶容量で計算する。

【００８８】ステップ１０４）第１の探索幅計算部１
４は、第１の探索方向計算部１３で求められた探索方向
ベクトルと、探索幅に対する勾配（１次微分）と曲率
（２次微分）からなる学習目的関数の２次近似式の最小
点としての探索幅を求める。ステップ１０５）第１の結合重み更新部１５は、第１
の探索方向計算部１３により求められた探索方向と第１
の探索幅計算部１４で求められた探索幅と前回までの学
習の更新前の結合重みを用いて結合重みを更新する。

【００８９】ステップ１０６）定式化部２０は、最小
記述長原理に基づいて、全事例の目標出力値を符号化し
たときの記述長を最小化するように結合重みベクトルの
精度を丸めるとき、丸め結合重みベクトルを連続近似し
て最小化問題を正規化項付きニューラルネットニューラ
ルネットの学習問題として目的関数を設定して、第２の
学習部３０に渡す。

【００９０】ステップ１０７）第２の学習部３０の第
２の初期化部３１は、パラメータｕを初期化する。ステップ１０８）第２の停止条件判定部３２は、停止
条件（勾配ベクトルの大きさが十分小さく、かつ分散の
修正量が十分小さい）を満たせば学習処理のループを終
了し、結果を出力する。

【００９１】ステップ１０９）第２の探索方向計算部
３３は、勾配ベクトルと過去の探索情報より丸めベクト
ルの修正方向を計算する。ステップ１１０）第２の探索幅計算部３４は、第２の
探索方向計算部３３で求められた修正方向とニューラル
ネットの各ユニットの出力値より探索幅を計算する。

【００９２】ステップ１１１）第２の結合重み更新部
３５は、探索時方向と探索幅を用いて丸めベクトルを更
新する。ステップ１１２）第２の結合重み更新部３５におい
て、ｋ≡０（mod ｓ）であれば、分散更新部３６は分散
の値を更新する。

【００９３】なお、図５のフローチャート中において、
ステップ１０４とステップ１１０において、求めてられ
ている探索幅λは、ステップ１０４においては、探索方
向ベクトルΔΦと、探索幅に対する勾配（１次微分）と
曲率（２次微分）からなる学習目的関数の２次近似式の
最小点としての探索幅を意味しており、ステップ１１０
において求められている探索幅λは、修正方向である探
索方向ベクトルΔｕと、ニューラルネットの各ユニット
の出力値より求められるものであり、その値は、異な
る。

【００９４】以下、本発明の実施例を詳細に説明する。
本発明の評価のため、ｙ＝（１−ｘ＋２ｘ²）ｅ^-0.5x2 を学習する問題を用いる。事例については、入力変数ｘ
には、［−４，４］の範囲でランダムな値を与え、対応
するｙの値をｘより計算した。但し、各ｙの値には、平
均０、標準偏差０．２の正規分布に基づく独立なノイズ
を与えた。また、事例の総数は３０とし、中間ユニット
数は５に設定した。

【００９５】図６は、本発明の一実施例の学習結果を示
す。同図（Ａ）は、訓練事例、真の関数及び最尤結合重
みベクトルの学習結果を示す。同図に示す学習結果は、
訓練事例にある程度過剰適合していることが分かる。一
方同図（Ｂ）は、最終学習結果を示し、この学習結果
は、明らかに最尤結合重みベクトルより、真の関数に近
づいていることが分かる。

【００９６】適用例では、まず、第１の学習部１０にお
いて、最尤結合重みベクトルを得るための学習を行う。
即ち、まず、第１の初期化部１１において、事例を読み
込み、各結合重みの初期値を平均０、標準偏差０．１の
正規分布に基づいて独立に生成する。また、第１の停止
条件判定部１２では、勾配ベクトルの大きさが十分小さ
いとき、

【００９７】

【数３３】

【００９８】アルゴリズムの反復を終了させる。各反復
においては、まず、結合重みの修正方向を計算する第１
の探索方向計算部１３では、勾配ベクトルと過去の探索
情報より、探索方向を計算する。次いで、結合重みの修
正幅を計算する第１の探索幅計算部１４では、探索方向
ベクトルとニューラルネットの各ユニットの出力値よ
り、探索幅を計算する。そして、第１の結合重みの更新
部１５では、第１の探索方向計算部１３と第１の探索幅
計算部１４の結果を用いて、結合重みを更新する。

【００９９】次に、定式化部２０は、最小記述長原理に
基づく学習目的関数を設定する。その後、第２の学習部
３０は、最終結果の結合重みベクトルを得るための学習
を行う。即ち、まず、第２の初期化部３１において、丸
めベクトルの各要素の初期値を、ｆ（ｕ_k）＝０．９と
なるように設定する。また、第２の停止条件判定部３２
では、勾配ベクトルの大きさが十分小さいとき、かつ、
分散の修正量が十分小さいとき、 ‖σ²−Ｆ₁（ｕ）／ｍ‖＜１０^-4σ⁴，アルゴリズムの反復を終了し、結果を出力する。各反復
においては、まず、丸めベクトルの修正方向を計算する
第２の探索方向計算部３３では、勾配ベクトルの過去の
探索情報より、探索方向を計算する。次いで、丸めベク
トルの修正幅を計算する第２の探索幅計算部３４では、
探索方向ベクトルとニューラルネットの各ユニットの出
力値より、探索幅を計算する。そして、丸めベクトルの
第２の結合重み更新部３５では、第２の探索方向計算部
３３と第２の探索幅計算部３４の結果を用いて、丸めベ
クトルを更新する。但し、もしｋ≡０（mod ｓ）なら
ば、分散更新部３６の値を更新する。

【０１００】図７（Ａ）に１０回の試行における最尤結
合重みベクトルと最終結果の結合重みベクトルの汎化能
力を比較する。但し、汎化誤差は、訓練事例と独立な５
０００のテスト事例に対する平均ＲＭＳＥ(root mean s
quared error) を用いて評価した。なお、テスト事例に
も訓練事例と同じ量のノイズを与えているので、可能な
汎化誤差の下限は０．２である。同図より、最終結果の
結合重みベクトルを用いれば、最尤結合重みベクトルよ
りかなり高い汎化結果を得られることが分かる。さら
に、最終結果の汎化誤差の分散はかなり小さく、本発明
は、最尤結合重みベクトルの変化に対して、ある程度頑
健であることが分かる。図７（Ｂ）に学習に要した反復
回数を比較する。最終結果を得るための反復回数はあま
り多くないことが分かる。

【０１０１】本発明の結果をさらに評価するため、自乗
値正規化項、即ち、

【０１０２】

【数３４】

【０１０３】を誤差項に加えて学習する方法との比較を
行った。実験では、正規化係数μの初期値を４⁰とし、
４^-1を乗じて４^-9まで変化させ、各正規化係数に対して
１０回の試行を行った。図８に、それぞれの汎化能力を
比較する。同図より、正規化係数値が適切でなければ、
自乗値正規化法の性能はかなり悪いことがわかる。ここ
で、一般の問題において、正規化係数値の適切な設定は
困難なので、このような定数のないケースに対して、本
発明は特に効果を奏する。

【０１０４】なお、本発明は、上記の実施例に限定され
ることなく、特許請求の範囲内で種々変更・応用が可能
である。

【０１０５】

【発明の効果】上述のように、本発明のニューラルネッ
ト学習方法及び装置によれば、入力ベクトルと目標出力
値からなる事例の集合に対して、当該入力ベクトルから
目標出力値を出力可能とするニューラルネットの学習に
おいて、まず、各事例における目標出力値とニューラル
ネットの出力値の自乗誤差の和を最小にする結合重みベ
クトルを２次学習法を用いて求め、次に、全事例の目標
出力値を符号化した時の記述長を最小化するように、結
合重みベクトルの精度を丸めるとき、丸め結合重みベク
トルを連続近似させて、最小化問題を正規化項付きニュ
ーラルネットの学習問題として目的関数を設定し、その
目的関数を２次学習法を用いて学習し、ニューラルネッ
トの学習には、準ニュートン法の探索方向を、ユーザが
定義する局部性パラメータに比例した記憶容量で計算
し、準ニュートン法の探索幅を探索幅に対する勾配（１
次微分）と曲率（２次微分）からなる学習目的関数の２
次近似式の最小点として求め、訓練事例だけでなく、未
知の事例に対しても信頼性の高い出力を可能とする（高
い汎化能力を有する）ニューラルネットの学習を自動的
に実行することが可能となる。

【図面の簡単な説明】

【図１】本発明の原理を説明するための図である。

【図２】本発明の原理構成図である。

【図３】本発明のニューラルネット学習装置の構成図で
ある。

【図４】本発明の一実施例のニューラルネット学習装置
の構成図である。

【図５】本発明の一実施例のニューラルネット学習動作
のフローチャートである。

【図６】本発明の一実施例の学習結果である。

【図７】本発明の一実施例の学習結果の性能を示す図で
ある。

【図８】本発明の一実施例の自乗値正規化法との比較を
示す図である。

【符号の説明】

１０学習部、第１の学習手段１１第１の初期化部１２第１の停止条件判定部１３探索方向計算部、第１の探索方向計算部１４探索幅計算部、第１の探索幅計算部１５第１の結合重み更新部２０定式化部、目的関数設定手段３０第２の学習部、第２の学習手段３１第２の初期化部３２第２の停止条件判定部３３第２の探索方向計算部３４第２の探索幅計算部３５第２の結合重み更新部３６分散更新部

Claims

【特許請求の範囲】

【請求項１】入力ベクトルと目標出力値からなる事例
集合に対して、該入力ベクトルから該目標出力値を出力
可能とするニューラルネット学習方法において、各事例における目標出力値とニューラルネットの出力値
の自乗誤差の和を最小にする結合重みベクトルを、２次
学習法を用いて求める第１の過程と、全事例の目標出力値を符号化したときの記述長を最小化
するように前記結合重みベクトルの精度を丸めるとき、
丸め結合重みバクトルを連続近似させ、最小化問題を正
規化項付きニューラルネットの学習問題として目的関数
を設定する第２の過程と、前記目的関数を２次学習法を用いて学習する第３の過程
からなることを特徴とするニューラルネット学習方法。
【請求項２】前記第１及び前記第３の過程において、前記２次学習法として、準ニュートン法に基づいて、該
準ニュートン法の探索方向を、ユーザが定義する局部性
パラメータに比例した記憶容量で計算し、該ニュートン
法の探索幅を、探索幅に対する勾配（１次微分）と曲率
（２次微分）からなる前記学習目的関数の２次近似式の
最小点として求める請求項１記載のニューラルネット学
習方法。
【請求項３】入力ベクトルと目標出力値からなる事例
の集合と、該入力ベクトルから該目標出力値を出力可能
とする学習手段とを有するニューラルネット学習装置で
あって、前記事例の集合中の各事例における目標出力値とニュー
ラルネットの出力値の自乗誤差の和を最小にする最尤結
合重みベクトルを、２次学習法を用いて求める第１の学
習手段と、前記事例の集合の全事例の目標出力値を符号化したとき
の記述長を最小にするように前記結合重みベクトルの精
度を丸めるとき、丸め結合重みベクトルを連続近似させ
て、最小化問題を正規化項付きニューラルネットの学習
問題として目的関数を設定する目的関数設定手段と、前記目的関数を前記２次学習法を用いて学習し、最終的
な結合重みベクトルを取得する第２の学習手段とを有す
ることを特徴とするニューラルネット学習装置。
【請求項４】前記第１の学習手段及び前記第２の学習
手段は、前記２次学習法として、準ニュートン法に基づいて、該
ニュートン法の探索方向を、ユーザが定義する局部性パ
ラメータに比例した記憶容量で計算する探索方向計算手
段と、前記準ニュートン法の探索幅を探索幅に対する勾配（１
次微分）と曲率（２次微分）からなる該学習目的関数の
２次近似式の最小点として求める探索幅計算手段と、前記探索方向計算手段と、前記探索幅計算手段により取
得した値に基づいて結合重みを更新する結合重み更新手
段を含む請求項３記載のニューラルネット学習装置。